Aufsatz : Was Behörden bei der Verwendung von KI beachten müssen : aus der RDV 5/2024, Sei­te 267 bis 270

I. Praxisbeispiel „BehördenGPT“

Was bedeutet das für die Praxis? Betrachten wir die regulierte Wertschöpfungskette, die zum fiktiven Einsatz eines KI-Sprachassistenten in einer deutschen Verwaltungsbehörde führt. Der Sprachassistent soll aus einer Vielzahl von Anträgen auf Arbeitslosengeld weniger erfolgversprechende aussortieren. Der Assistent arbeitet auf Basis eines Sprachmodells, das von einem privaten Unternehmen in jahrelanger Arbeit entwickelt wurde. Das Modell wurde mit Texten trainiert. Mit jedem eingespielten Textbaustein hat es die Parameter seiner Wahrscheinlichkeitsberechnungen angepasst. Aufgrund dieser Berechnungen ist es nunmehr in der Lage, die in einem vorgegebenen Kontext wahrscheinlichste Wortfolge auszuspielen.

Das Sprachmodell ist für keinen spezifischen Anwendungszweck entwickelt worden. Es ist von seinem Entwickler und Anbieter auch nicht als Wissensdatenbank konzipiert. Vielmehr soll das Modell als Basis einer Vielzahl von KI-Systemen Anwendung finden und für unbestimmt viele Einsatzzwecke sinnvoll klingende Wortfolgen erzeugen. Diese Simulation von Sprache erzeugt überzeugend anmutende Sinnzusammenhänge. Für Modelle mit vielseitigem Anwendungszweck, die als Grundlage zahlreicher KI-Anwendungen dienen, hat sich der EU-Gesetzgeber dazu entschlossen, besondere Regulierungsmaßnahmen zu etablieren. Für Modelle mit systemischem Risiko gelten zusätzliche Pflichten. Das systemische Risiko macht der Gesetzgeber unter anderem von der Rechenleistung abhängig, die für das Training des Modells erforderlich ist.

Der Entwickler des Sprachmodells bietet dieses nunmehr einem Softwareentwickler an, der es in eine konkrete Anwendung integriert, indem er ihm eine Prägung für den anvisierten Einsatzzweck auf den Weg gibt. In unserem Beispiel könnte der Softwareentwickler das Modell etwa darauf trainieren, Massen von Verwaltungsvorgängen zu Anträgen auf Arbeitslosengeld für die Agentur für Arbeit zu analysieren und Bewilligungs- und Ablehnungsmuster nachzuzeichnen. Hierzu füttert er das Modell mit einer Vielzahl entsprechender Dokumente und bringt ihm dadurch bei, welche Schlagworte es bei der Analyse zu beachten hat. Daneben entwickelt er eine Benutzeroberfläche für die Verwaltungsmitarbeiter. So entsteht ein generatives KI-System, also ein KI-System, das in der Lage ist, verschiedene Inhalte (z.B. Texte, Bilder, Videos) herzustellen. Anbieter generativer KI-Systeme müssen nach der KI‑VO stets besondere Transparenzpflichten erfüllen. Sie müssen dafür sorgen, dass ihre Systeme die künstliche Erzeugung der Inhalte erkennbar machen.

II. Anforderungen an den behördlichen Einsatz von Hochrisiko-KI-Systemen

Das weitere Pflichtenprogramm ist abhängig von der Frage, ob das System im Einsatzkontext hochriskant ist. KI-Systeme unterliegen nämlich grundsätzlich einem risikobasierten Regulierungsansatz. Anders als allgemeine Vorgaben, etwa des Medien- oder des Urheberrechts, führt der risikobasierte Ansatz der KI‑VO dazu, dass bei hochriskanten Anwendungsfällen strengere Maßnahmen vorzusehen sind als bei einfachen KI-Systemen.

Die KI‑VO führt diese hochriskanten Anwendungsfälle in einem Katalog auf und bezeichnet sie als Hochrisiko-KI-Systeme. Der Katalog nennt unter anderem Systeme, die von Behörden eingesetzt werden sollen, um zu beurteilen, ob jemand Anspruch auf eine öffentliche Unterstützungsleistung, beispielsweise Arbeitslosengeld, hat. Trainiert der Softwareentwickler den Sprachassistenten auf einen der aufgelisteten Fälle und bietet ihn entsprechend auf dem Markt an, muss er zusätzliche Pflichten erfüllen. Er hat dann etwa bestimmte Vorgaben zu den Trainingsdatensätzen zu beachten und muss das System so programmieren, dass ein Mensch dessen Einsatz beaufsichtigen kann. Die Erfüllung dieser Pflichten ist mit erheblichen Kosten verbunden. Um diese Kosten zu sparen, können die Anbieter von Sprachassistenten deren Einsatz zu hochriskanten Zwecken in ihren Nutzungsbedingungen ausschließen. Dazu können sie etwa entsprechende Klauseln in die Lizenzverträge mit den Behörden oder Unternehmen aufnehmen, welche die Systeme als Betreiber einsetzen wollen.

Der Softwareentwickler im genannten Beispiel könnte also festlegen, dass sein System zwar auf die Analyse von Dokumenten programmiert, allerdings nicht dazu gedacht ist, Arbeitslosengeldanträge zu bearbeiten. Setzt die Behörde das System entgegen dieser Vorgabe doch zu einem solchen Zweck ein, geht die Anbieterrolle mit allen daran anknüpfenden Pflichten auf sie über. Das führt dazu, dass die Anbieterpflichten der KI‑VO unter Umständen an Akteuren mit deutlich weniger Fachkenntnis und finanzieller Ausstattung hängen bleiben. Behörden sollten bei der öffentlichen Vergabe darauf achten, nur KI-Systeme zu beschaffen, die von den Anbietern hinsichtlich ihres Einsatzzwecks bereits spezialisiert und an die Anforderungen für Hochrisiko-KI-Systeme angepasst wurden. In die Leistungsbeschreibung gehören daher alle Anbieterpflichten nach der KI‑VO. Die Anbieter werden sich ihre besondere Verantwortlichkeit von den Betreibern zwar teuer bezahlen lassen. Die Spezialisierung durch die Behörde ist aber mit Kosten und Mühen verbunden, die regelmäßig nicht mehr im Verhältnis zum Nutzen des Hochrisiko-KI-Systems stehen dürften.

Unabhängig von ihrer Verpflichtung als Anbieterin treffen die Behörde aber auch in ihrer Eigenschaft als Betreiberin eines Hochrisiko-KI-Systems Pflichten. Ein Teil dieser Pflichten gilt für private und öffentliche Stellen gleichermaßen. So müssen Betreiber stets den Einsatz der KI durch die Beschäftigten überwachen und Vorfälle mit erheblichen Auswirkungen melden. Dabei ist sicherzustellen, dass der Sprachassistent nur nach Maßgabe seiner Gebrauchsanweisung verwendet wird. Das dürfte in der Praxis umfangreiche Maßnahmen der Behördenleitung erfordern. Insbesondere ist die zweckgemäße Verwendung schwer zu greifen. Sie ergibt sich aus den Maßgaben des Anbieters, einschließlich des spezifischen Kontexts und den Nutzungsbedingungen sowie der Gebrauchsanweisung im Werbe- oder Verkaufsmaterial.

Wann stimmt die Verwendung eines KI-Systems nicht mehr mit dem beabsichtigten Zweck überein, der sich aus vernünftigerweise vorhersehbarem menschlichem Verhalten oder der Interaktion mit anderen Systemen, einschließlich anderen KI-Systemen, ergeben kann? Die hierzu erforderlichen umfangreichen Schulungen der Behördenmitarbeiter sind nicht nur zweckmäßig, sondern nach der KI‑VO zwingend vorgesehen. Behörden müssen für generative KI-Systeme einstehen, die sie in ihre behördlichen Anwendungen integrieren. Das heißt, sie müssen das komplexe und teilweise nicht einsehbare Gefüge eines Sprachassistenten verstehen und ihr Wissen sowie Nichtwissen transparent vermitteln. Das wirft weitere Fragen auf: Wie verantwortet man halluzinierendes „Verhalten“ der autonomen Maschine, wenn dessen Ursache nicht erkennbar ist? Wie sollen Verwaltungsmitarbeiter diese nicht erlaubten Abweichungen des KI-Systems erkennen und einschätzen – wie soll eine Kontrolle durch den Arbeitgeber aussehen?

III. Grundrechte-Folgenabschätzung

Die hinter diesen Vorgaben stehenden Fragen um den verantwortungsvollen, risikogerechten Einsatz von KI-Systemen kulminieren bei öffentlichen Stellen in einer weiteren Pflicht: der Grundrechte-Folgenabschätzung. Der Gesetzgeber fordert damit öffentliche Stellen auf, den Wald vor lauter Bäumen nicht aus den Augen zu verlieren. Die zahlreichen Dokumentations-, Berichts-, und Meldepflichten über das „Wie“ des Einsatzes sollen öffentliche Stellen nicht davon ablenken, „ob“ der konkrete Einsatz grundrechtskonform ist. Die Grundrechte-Folgenabschätzung soll die Verwaltung nachdenklich stimmen, sie zum Innehalten bringen: Welche Risiken sind mit einem staatlichen KI-Einsatz verbunden?

Diese Pflicht trifft nicht ausschließlich Behörden, sondern den gesamten öffentlichen Sektor. Erfasst sind alle öffentlichen Stellen, Einrichtungen, öffentliche Unternehmen aber auch private Anbieter, die öffentliche Aufgaben erfüllen. Ob der KI-Einsatz zur öffentlichen Aufgabenerfüllung von einer Gemeinde, Hochschule, einem privatem Krankenhaus oder Energieversorger vorgenommen wird, ist nicht entscheidend. Zu prüfen sind potenzielle Folgen für Grundrechte, indem relevante Zielgruppen für die Anwendung festgelegt und Risiken für diese Zielgruppen bewertet werden. Wenn die Zielgruppe gefährdet sein könnte, muss ein System zur menschlichen Überprüfung der KI-Anwendung festgelegt werden. Für den Fall einer Realisierung der gelisteten Risiken muss schon vorab festgelegt sein, wie mit Grundrechtseingriffen umzugehen ist: Die öffentliche Stelle muss in der Lage sein, auf Beschwerden hin korrigierend einzugreifen und das KI-System präventiv zu übersteuern.

Diese Pflicht zum Bewusstsein über die Risiken des KI-Einsatzes bedeutet auch sokratische Zurückhaltung: Behörden sind verpflichtet zu wissen, welche Risiken aus Nichtwissen folgen. Gegenwärtige Sprachmodelle können nicht aufzeigen, wodurch ein bestimmtes Ergebnis verursacht worden ist. Weshalb die vom Sprachassistenten ausgegebene Wortfolge im konkreten Fall gerade so erfolgt ist, kann der Anwender nicht nachvollziehen – er sieht nur die Ausgabebox. Auch der Anbieter kann dies allenfalls begründet vermuten. Der Einsatz solcher Technologien bedarf daher einer gründlichen Abwägung und Expertise. Einerseits muss erwogen werden, ob bei einschneidenden Lebensereignissen wie staatlichen Prüfungen, der Beantragung sozialer Leistungen zur Existenzsicherung oder der Frage über den Zugang zur Daseinsvorsorge dieser Grad an Nichtwissen über die Entscheidungsursache akzeptabel ist. Andererseits muss sichergestellt sein, dass die KI Werkzeug bleibt und nicht die Entscheidung ersetzt – im Einzelfall durch den menschlichen Eingriff. Letzteres ist auch datenschutzrechtlich geboten: Der Europäische Gerichtshof hat 2023 entschieden, dass Algorithmen nicht das letzte Wort haben dürfen. Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig – Ausnahmen gibt es etwa, wenn der Betroffene dem ausdrücklich zustimmt oder ein Gesetz das vorsieht.

Die KI‑VO versucht dieses Dilemma von Innovationsinteresse und fehlender Anwenderkenntnis durch Informationsansprüche gegen die Entwickler von Sprachmodellen auszugleichen: Würde eine Behörde den Sprachassistenten in ihre IT-Systeme integrieren, hat sie das Recht, alle Informationen über die Fähigkeiten und Einschränkungen des KI-Systems zu verlangen, die notwendig sind, um ihre Pflichten nach der KI‑VO zu erfüllen. Weil die Grundrechte-Folgeneinschätzung der öffentlichen Stellen vor Einsatz des Systems erfolgen muss, erwächst dieses Informationsrecht zur Pflicht. Wenn Behörden nunmehr versuchen, mit KI-Systemen den zähen Digitalisierungsprozess zu überspringen, ist daher zu Vorsicht geraten. Eine rasche Implementierung ohne bedachte Risikoabwägung kann zum Geltungsbeginn der KI‑VO zwar vollendete Tatsachen schaffen – allerdings auch Erklärungsnot auslösen. Richtigerweise sollten derartige Auswirkungen schon jetzt bei datenschutzrechtlichen Folgeabschätzungen mitgedacht werden. Hierfür braucht es eine Expertise, welche die turbulente technische Entwicklung nachvollziehen, den Einsatz solcher Systeme kritisch hinterfragen – und begrenzen kann. Die Frage nach Wegen der verantwortungsvollen Innovation prägt die Arbeit von Datenschutzaufsichtsbehörden im Verhältnis zu Behörden und Unternehmen schon jetzt.

IV. KI-Einsatz auf dem Prüfstand

Ein Komplex, der auch die zuständigen Aufsichtsbehörden nach der KI‑VO beschäftigten wird – ist die Grundrechte-Folgenabschätzung. Die KI‑VO hat schon festgelegt, dass die Datenschutzaufsichtsbehörden den KI-Einsatz bei Kernelementen unserer demokratischen Ordnung kontrollieren werden: Wenn KI-Systeme Wahlen beeinflussen, im Bereich der Migration und Grenzkontrolle verwendet oder zur Justizverwaltung und Strafverfolgung eingesetzt werden, werden die Datenschutzaufsichtsbehörden zuständig sein. Darüber hinaus werden die Mitgliedstaaten entscheiden müssen, welche Stellen „Marktüberwachungsbehörden“ sein sollen. Naheliegend ist, die Datenschutzaufsichtsbehörden auch hinsichtlich der weiteren Anwendung von KI-Systemen mit der Aufsicht zu betrauen. Als Bestandteil von IT-Systemen werden KI-Anwendungen ohnehin datenschutzrechtlich auf die Zulässigkeit von automatisierten Entscheidungen hin überprüft werden. Die Aufsicht nach der KI‑VO würde diese Aufsicht um einen für die Produktregulierung typischen Schutz von Leben, Gesundheit, Sicherheit und Freiheit ergänzen.

Letztlich würde es hier aber um eine dem Datenschutzrecht gleichende Frage gehen: Wie schützen wir uns vor intransparenten, kaum nachvollziehbaren Systemen, die unser Leben und unsere Grundrechtsausübung beeinflussen?

Auch die Gerichte prüfen eine behördliche Entscheidung, die unter Einsatz von KI-Systemen getroffen wurde. Hat der KI-Assistent den Antrag auf Arbeitslosengeld abgelehnt, hat der Bürger das Recht, diese Entscheidung gerichtlich überprüfen zu lassen. Das Gericht prüft dabei nicht nur, ob der Antrag zu Recht abgelehnt wurde, sondern auch den Weg zur Entscheidung. Denn es könnte sein, dass Antragsunterlagen fehlerhaft nicht geprüft wurden, ein atypischer Fall von der KI nicht erkannt wurde oder die Behördenentscheidung schlichtweg nicht begründet wurde. Behördliche KI-Systeme müssen daher sowohl für den Bürger als auch die Justiz transparent sein. Sind sie das nicht, geht dies zu Lasten der Behörde, die das intransparente KI-System einsetzt. Es wäre kontraproduktiv, wenn öffentliche Stellen KI-Systeme zur Entlastung einsetzen, die Gerichte hingegen belastet werden, weil die behördlichen KI-Entscheidungen massenhaft angefochten werden.

V. Die Möglichkeiten des innerstaatlichen Gesetzgebers

Um das zu verhindern, könnte der Gesetzgeber dem Bürger ein Vetorecht einräumen. Der Bürger kann verlangen, dass eine KI-basierte Entscheidung von einer natürlichen Person in der Behörde überprüft wird. Der Sachbearbeiter kann die Entscheidung bestätigen oder abändern und stellt dadurch sicher, dass die menschliche Entscheidung immer Vorrang genießt. Eine solche Regelung fehlt in der KI‑VO, obwohl der Gedanke nicht neu ist. In Schleswig-Holstein gilt bereits seit 2022 ein KI-Gesetz (IT-Einsatz-Gesetz), das den Einsatz Künstlicher Intelligenz in der Verwaltung regelt. Hiernach kann der Bürger kostenlos eine sog. „KI-Rüge“ erheben, bevor er kostenpflichtig klagt. Der Gesetzgeber in Schleswig-Holstein erhofft sich dadurch, das Vertrauen der Bürger in den Einsatz von KI zu fördern und zugleich das autonome System stichprobenartig zu überprüfen. Das Landesgesetz ist sogar strenger als die KI‑VO auf europäischer Ebene. Entscheidungen, bei denen ein behördliches Ermessen oder ein Beurteilungsspielraum besteht, dürfen nicht von KI-Systemen getroffen werden. Geschieht dies doch, z.B. bei der Anordnung einen Schwarzbau zu beseitigen, ist dieser Verwaltungsakt nichtig.

Was noch fehlt ist das Bewusstsein der handelnden Staatsdiener, dass KI nur eine Unterstützung sein darf. Hierzu wären in besonders sensiblen Anwendungsbereichen wie der Rechtsprechung Regelungen sinnvoll, welche die richterlichen Anwender verpflichten, zunächst eine eigene Entscheidung zu treffen und diese erst im Anschluss von einem KI-System überprüfen zu lassen. Die von der KI‑VO antizipierte Stopptaste müsste in diesen Szenarien zu einer Starttaste umgebaut werden.

Auch andere Bundesländer erarbeiten mit dem IT-Einsatz-Gesetz vergleichbare Regelungen, die künftig neben der KI‑VO gelten werden. Auf deutsche Behörden kommen daher mehr Pflichten zu als auf Unternehmen, und das bei oftmals geringeren Ressourcen. Einige Länder greifen ihren Behörden unter die Arme und unterstützen bei der Umsetzung der KI‑VO, indem sie die Entwicklung eigener Sprachmodelle fördern. Projekte wie „LLMoin“ oder „BayernGPT“ sollen als unabhängige und datenschutzkonforme Lösung die Verwaltung in Hamburg und Bayern stärken.

VI. Ausblick: Innovation und Grundrechtsschutz?

Bei der Regulierung des Ist-Zustands schwebt über der KI‑VO ein Damoklesschwert: In den Übergangsregelungen werden eingesetzte Hochrisiko-Systeme ausgenommen oder großzügige Umsetzungsfristen gesetzt. So wird generativen KI-Systemen wie ChatGPT drei Jahre gegeben, um erforderliche Maßnahmen zur KI‑VO-Konformität zu implementieren. Der Rückwirkungsschutz ist ein Standard aus dem Produktsicherheitsrecht. Doch bei der rasanten Entwicklung von KI-Systemen könnte er den Anreiz setzen, rasch Tatsachen zu schaffen – „move fast and break things“. So könnte man die KI‑VO kurzschließen und Regulierung umgehen. Ob die KI‑VO in der Lage sein wird, diese Dynamik zu bändigen und einen angemessenen Ausgleich zwischen Innovation und Grundrechtsschutz herzustellen, wird eine Frage der praktischen Umsetzung sein. Hieran wird sich zeigen, ob diese Verordnung ihr Ziel erreichen wird: Europa einen zukunftssicheren und wirtschaftsfördernden Rechtsrahmen für den Einsatz von KI-Systemen zu geben.

Für die Wirtschaft gelten – sieht man von der wichtigen Besonderheit der Grundrechte-Folgenabschätzung ab – im Wesentlichen dieselben Anforderungen. Was für den Staat gilt, gilt demnach auch für Unternehmen. Der Staat hat hier die Möglichkeit, mit gutem Beispiel voranzugehen und eine Vorreiterrolle bei der Implementierung der neuen Technologie einzunehmen, um der Wirtschaft rechtssicher gangbare und wirtschaftlich tragfähige Wege in die neue Welt der Digitalisierung vorzuzeichnen.