Kurzbeitrag : Ausgewählte Probleme des Entwurfs zur KI-Verordnung : aus der RDV 1/2024, Seite 27-29

nabhängig von ihrem konkreten Einsatzzweck haben die genannten Anwendungen gemeinsam, dass sie auf großen Datenpools fußen. Aus ihnen beziehen textgenerierende KISysteme ihr „Wissen“. Diese Datenpools bezeichnet der Entwurf der KI-Verordnung als General Purpose KI (GPAI)^[4]. Damit ist gemeint, dass diese Datenpools nicht darauf spezialisiert sind bestimmte Aussagen hervorzubringen oder zu bestimmten Zwecken eingesetzt zu werden. Es handelt sich bei diesen sog. Basismodellen, um mächtige Modelle, denen über das „Füttern“ mit Daten eine allgemeine Sprachverarbeitungskompetenz antrainiert wurde. Ihre eigentliche Spezialität ist nicht, dass sie Wissen enthalten, sondern, dass sie aus Wissensdatenbanken mit Mitteln der Wahrscheinlichkeitsrechnung sinnvolle und zusammenhängende Texte hervorbringen. Sie arbeiten sog. Prompts, also Anfragen, ab. Je spezifischer die Frage ist, desto präziser ist die Antwort. Aus der Datenbasis wird keine Antwort auf eine Frage generiert, mit der die Datenbasis etwas Unrechtes zum Ausdruck bringen möchte.

Allerdings bergen diese Datenmodelle ein besonderes Risiko. Sie liefern zwar Texte, die sich für den menschlichen Nutzer als sinnvolle und zusammenhängende Aussage darstellen. Das System produziert diese Texte allerdings nicht in einem Sinnzusammenhang, sondern Wort für Wort auf der Basis von Wahrscheinlichkeiten. Überspitzt und vereinfacht gesagt treffen bei der Anwendung eines KI-Systems durch einen menschlichen Nutzer zwei gegenläufige Modelle aufeinander: Dialektik und Stochastik. Dialektik hilft nach einem sehr vereinfachten Verständnis, der in unbegrenzten Möglichkeitsräumen sich bewegenden menschlichen Vernunft, über aufeinander bezogene Gründe (These) und Gegengründe (Antithese) zu Einsichten (Synthese) zu gelangen. Stochastik hingegen ist, erneut vereinfacht ausgedrückt, ein Bereich der Mathematik, der Wahrscheinlichkeitstheorie und Statistik verwendet. Stochastik untersucht die mathematische Modellierung von zufälligen Ereignissen. Antworten von Robotern auf menschliche Fragen können allenfalls eine Simulation der dialektischen Methode sein, da ihnen menschliche Vernunft fremd ist.^[5] Der Mensch ist im Gegensatz dazu in der Lage, vernünftig zu sein und danach zu handeln. Er muss entscheiden, ob er den Impulsen seines limbischen Systems ohne Reflexion nachgibt oder sein zugegebenermaßen nicht vorurteilsfreies Denken hinterfragt, bevor er danach handelt.^[6]

Der Mangel an Vernunft als Filter der auf Basis von Wahrscheinlichkeiten gefundenen Ergebnisse führt dazu, dass die KI-Systeme bisweilen Texte generieren, deren Aussagen mit dem Anstandsgefühl der Gesellschaft unvereinbar, sinnlos oder schlicht falsch sind. Die Gründe für derartige Aussagen sind mannigfaltig: Sie können auf Verzerrungen in der Datenbasis zurückzuführen sein, etwa wenn eine bildgenerierende KI auf den Befehl „Zeichne einen Doktor“ stets einen weißen, männlichen Arzt generiert.^[7]Oder sie können auf Lücken in der Datenbasis beruhen, welche die KI fehlerhaft ausfüllt, um dem Befehl des Nutzers gerecht zu werden. So wird aus dem Landesdatenschutzbeauftragten für Baden-Württemberg ein international renommierter Ornithologe. Schließlich kann der menschliche Nutzer die Schwachstellen dieser Technologie auch bewusst ausnutzen: Provoziert er das KI-System nämlich durch einen Prompt dazu, fragwürdige Ergebnisse zu generieren, dann wird es diese aufgrund der mathematischen Gesetze der Wahrscheinlichkeitsrechnung auch liefern. So wird das KI-System bei Eingabe eines entsprechenden Prompts den Satz „Das Schöne an der Diskriminierung von Schwachen ist, …“ sprachlich sinnvoll, aber rechtlich und moralisch inakzeptabel vervollständigen. Will man derartige Ergebnisse verhindern, muss man den Sprachmodellen diese Antworten abtrainieren.

Ein entscheidender Streitpunkt der KI-Verordnung war es, wer die Verantwortung für derartige Ergebnisse trägt. Müssen die Hersteller ihre Datenmodelle so programmieren, dass sie Werte befolgen? In diesem Fall müssten staatliche Strukturen darüber entscheiden, welche Ergebnisse die Maschine liefern darf und welche Prompts sie blocken sollte. Das mag aus bürgerrechtlicher Perspektive abzulehnen sein. Zu groß scheint die Manipulationsgefahr. Nicht umsonst hat das BVerfG in jahrzehntelanger Rechtsprechung den Grundsatz der Staatsferne im Rundfunk entwickelt.^[8] Alternativ könnte der Gesetzgeber den Programmierern die Direktive auf den Weg geben, dass die Datenmodelle keine moralisch verwerflichen oder rechtlich unzulässigen Ergebnisse generieren dürfen. Das führt allerdings dazu, dass die Programmierer die Macht bekommen, zwischen Gut und Böse zu unterscheiden. Man würde also die Entscheidungsgewalt über die Grenzen des Sagbaren in die Hände Privater legen. Das wäre möglicherweise noch vertretbar, wenn man diese Grenze präzise ziehen könnte. In Fällen mit Bezug zum Persönlichkeitsrecht etwa werden aber Probleme deutlich: Hier liegen die Grenzen zwischen erlaubter Meinungsäußerung und Persönlichkeitsrechtsverletzung besonders nah beieinander und sie verschieben sich aufgrund neuer Rechtsprechung ständig. KI-Systeme sind bislang weit davon entfernt, die komplexen rechtlichen Abwägungen gerade im Bereich des Persönlichkeitsrechts vornehmen, also mathematisch simulieren zu können. Es darf aber zugleich bezweifelt werden, dass solche Abwägungen in der demokratischen Gesellschaft jemals von einer KI übernommen werden sollten.

Sollten die Datenmodelle also unreguliert bleiben? Damit wäre der Nutzer in die Verantwortung gezogen. Es würde also stets dem Einzelnen obliegen, die auf Basis seiner Prompts generierten Ergebnisse auf mögliche Rechtsverletzungen zu prüfen und seine Handlungen an die Ergebnisse dieser Prüfung anzupassen. Problematisch sind dabei kognitive Verzerrungen, die typischerweise beim Umgang mit den Ergebnissen einer KI auftreten können. Zu nennen ist zunächst der Automatisierungsbias: Bereits der Entwurf der KI-Verordnung wusste um die mögliche „Neigung zu einem übermäßigen oder automatischen Vertrauen in das von einem Hochrisiko-KI-System hervorgebrachte Ergebnis“.^[9] Wenn es eine Instanz gibt, die für den Menschen Entscheidungen trifft, ist der Mensch also gerne bereit, dieser Instanz zu vertrauen und sich selbst, zumindest in der eigenen Wahrnehmung, einer Verantwortung zu entziehen. Die Gefahr, einem Automatisierungsbias zu unterliegen, dürfte besonders groß sein, wenn KI-Systeme Ergebnisse hervorbringen, die derart ausgereift formuliert sind, dass beim menschlichen Nutzer der Eindruck objektiver Wahrheit entsteht und wenn Entwickler diesen Eindruck dadurch bestärken, dass sie das KI-System in der Ich-Form kommunizieren lassen.^[10]

Die Komplexität des Problems und die unvorhersehbaren Folgen der Entscheidung führten dazu, dass die Frage der Regulierung von GPAI-Modellen im Trilog bis zuletzt diskutiert wurde. Dabei wurden im Wesentlichen drei Ansichten vertreten: Insbesondere die Hersteller und Anbieter der GPAIModelle lehnten eine Regulierung gänzlich ab. Sie wollten die Betreiber und die Nutzer in die Verantwortung ziehen. Sie beriefen sich vor allem darauf, dass Hersteller und Anbieter nicht dafür verantwortlich seien, welche Ziele Betreiber und Nutzer mit dem Einsatz der GPAI-Modelle verfolgen. Schließlich sei auch der Anbieter eines Hammers nicht verantwortlich, wenn das Werkzeug als Mordwaffe eingesetzt wird. Das Europäische Parlament vertrat die Gegenposition. Es wollte die Anbieter verpflichten, bestimmte Mindestanforderungen zu erfüllen. Diese Pflichten sollten die Anbieter von GPAI-Modellen unabhängig davon treffen, ob sie das Modell eigenständig oder eingebettet in ein KI-System auf dem Markt bereitstellen. Hierzu wurde angeführt, dass nur durch eine sachgerechte Zuweisung von Verantwortlichkeiten entlang der gesamten KI-Wertschöpfungskette die Grundrechte der Betroffenen geschützt werden können.^[11]Kurz vor Beginn der letzten Runde der Trilog-Verhandlungen veröffentlichten Deutschland, Frankreich und Italien zudem ein gemeinsames Positionspapier, in dem sie eine verpflichtende Selbstregulierung der Entwickler von GPAI-Modellen im Rahmen eines Verhaltenskodexes vorschlugen. Dazu sollten alle Entwickler der GPAI-Modelle verpflichtet werden, sog. Model Cards zu definieren und zu veröffentlichen. Mithilfe der auf den Model Cards angegebenen Informationen sollte es möglich sein, die Funktionsweise des einzelnen Modells, seine Fähigkeiten und seine Grenzen zu verstehen. So sollte es anderen Entwicklern ermöglicht werden, Verstöße gegen den aufgestellten Verhaltenskodex zu erkennen und zu melden.

Am Ende der Verhandlungen konnte sich das Parlament mit seiner Forderung nach einer harten gesetzlichen Regulierung der GPAI-Entwickler durchsetzen.^[12] Ergebnis der Trilog-Verhandlungen war mit Blick auf die Regulierung von GPAI ein zweistufiger Ansatz: Demnach treffen die Entwickler kleinerer GPAI-Modelle wie etwa das deutsche Unternehmen Aleph Alpha hauptsächlich Transparenzpflichten. Sie müssen technische Dokumentationen erstellen und diese an Aufsichtsbehörden und an Unternehmen weitergeben, die das Modell in eigene KI-Systeme einbinden wollen. Auf der zweiten Stufe der Regulierung stehen die sogenannten systemischen GPAI-Modelle. Diese werden zunächst auf Basis verschiedener Kriterien, unter anderem der zum Training benötigten Rechenleistung, von der Kommission ausgewählt und unterliegen dann weitergehenden Pflichten. Dazu gehören neben der technischen Dokumentation verpflichtende Maßnahmen zur Gewährleistung von Cybersecurity sowie eine interne Evaluierung und ein verpflichtender Mechanismus zur Meldung von Vorfällen im Rahmen des Trainings oder des Betriebs des GPAI-Modells.^[13] Die konkreten Pflichten für die Entwickler systemischer GPAI-Modelle sollen in Zusammenarbeit zwischen Kommission, Wissenschaft, Zivilgesellschaft und Industrie entwickelt werden.^[14]

Im Rahmen der Regulierung wurde allerdings darauf verzichtet, Hersteller von GPAI gesetzlich dazu zu verpflichten, KI-Anwendungen so zu trainieren, dass bei deren Einsatz keine Rechtsverletzungen auftreten. Kommt es aufgrund der Ergebnisse eines KI-Systems zu Rechtsverletzungen, ist daher entscheidend, an welchem Punkt der Lieferkette der Fehler eingetreten ist: In Betracht kommt dann eine Haftung des Entwicklers des GPAI-Modells, eine Haftung des Unternehmens, das eine Hochrisiko-Anwendung auf Basis des GPAIModells anbietet oder eine Haftung des einzelnen Nutzers. Zentral wird insofern Art. 28 der KI-Verordnung sein, der die Verantwortung entlang der Wertschöpfungskette zuweisen soll. Abschließend wird die Vorschrift die Frage der Verantwortlichkeit indes kaum klären können. Erforderlich ist vielmehr eine KI-Haftungs-Verordnung, die bereits geplant war, aufgrund der stockenden Verhandlungen zur KI-Verordnung allerdings pausiert wurde und erst nach den Wahlen zum EUParlament im kommenden Jahr angegangen werden kann.^[15]Jedenfalls solange eine Zuweisung der Verantwortlichkeiten entlang der KI-Wertschöpfungskette noch nicht feststeht, ist jeder einzelne Nutzer dazu berufen, die Ergebnisse seiner Prompts kritisch zu hinterfragen und auf etwaige Rechtsverletzungen zu überprüfen.

Wesentliche Voraussetzungen einer verlässlichen Kontrolle von KI und einer sinnvollen Haftungszuweisung sind zumindest grundsätzlich Transparenz und Nachvollziehbarkeit der Wirkweise der Technik. Erst wenn die Gesellschaft weiß, wie die Dienste jedenfalls grundsätzlich funktionieren, kann sie sich über wirksame Regeln für deren Einsatz einigen. Die regulativen Leitlinien, auf die man sich am Ende der Trilog-Verhandlungen geeinigt hat, sind daher jedenfalls im Grundsatz zu begrüßen. Ihre Wirksamkeit wird von der konkreten Ausgestaltung der Regulierung abhängen, welche die Mitarbeiter des Parlaments in den kommenden Wochen und Monaten in den technischen Gesprächen erarbeiten müssen. Läuft alles nach Plan, soll der Gesetzestext bis Anfang Februar 2024 stehen und die KI-Verordnung noch vor der Europawahl im Juni 2024 verabschiedet werden.

* Prof. Dr. Rolf Schwartmann ist Mitherausgeber von Recht der Datenverarbeitung (RDV) sowie Vorsitzender der Gesellschaft für Datenschutz und Datensicherheit e.V. (GDD), der Co-Autor ist wissenschaftlicher Mitarbeiter der Kölner Forschungsstelle für Medienrecht an der TH Köln.

_{[1] Pressemitteilung der Europäischen Kommission vom 09.12.2023, abrufbar unter https://ec.europa.eu/commission/presscorner/detail/%20en/ip_23_6473 (zuletzt abgerufen am 13.12.2023).}

_{[2] Vgl. Anhang III des Vorschlags für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union, COM/2021/206 final (im Folgenden KI-VO-E).}

_{[3] Vgl. Art. 5 KI-VO-E.}

_{[4] Vgl. Pressemitteilung der Europäischen Kommission vom 09.12.2023, abrufbar unter https://ec.europa.eu/commission/presscorner/detail/%20en/ip_23_6473 (zuletzt abgerufen am 13.12.2023).}

_{[5] Vgl. hierzu Schwartmann, Forschung & Lehre 2023, 132.}

_{[6] Hansen/Köhler/Schwartmann, F.A.Z. vom 23.10.2023, abrufbar unter https://www.faz.net/aktuell/wirtschaft/unternehmen/was-gegen-die-voreingenommenheit-der-ki-systeme-hilft-19260960.html (zuletzt abgerufen am 13.12.2023).}

_{[7] Hansen/Köhler/Schwartmann, F.A.Z. vom 23.10.2023, abrufbar unter https://www.faz.net/aktuell/wirtschaft/unternehmen/was-gegen-die-voreingenommenheit-der-ki-systeme-hilft-19260960.html (zuletzt abgerufen am 13.12.2023).}

_{[8] Vgl. BVerfGE 12, 205; 31, 314; 57, 295; 121, 30; 136, 9.}

_{[9] Art. 14 Abs. 4 Buchst. b) KI-VO-E.}

_{[10] Hansen/Köhler/Schwartmann, F.A.Z. vom 23.10.2023, abrufbar unter https://www.faz.net/aktuell/wirtschaft/unternehmen/was-gegen-die-voreingenommenheit-der-ki-systeme-hilft-19260960.html (zuletzt abgerufen am 13.12.2023).}

_{[11] Vgl. Pressemitteilung der Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder vom 29.11.2023, abrufbar unter https://datenschutzkonferenz-online.de/media/pm/23-11-29_DSK-Pressemitteilung_KI-Regulierung.pdf (zuletzt abgerufen am 13.12.2023)}

_{[12] Pressemitteilung des Europäischen Parlaments vom 09.12.2023, abrufbar unter https://www.europarl.europa.eu/news/de/press-room/20231206IPR15699/artificial-intelligence-act-deal-on-comprehensive-rules-for-trustworthy-ai (zuletzt abgerufen am 13.12.2023).}

_{[13] Zenner, DataAgenda Datenschutz Podcast, Folge 48 ab Minute 13:00, abrufbar unter https://dataagenda.podigee.io/53-kai-zenner.}

_{[14] Pressemitteilung der Europäischen Kommission vom 09.12.2023, abrufbar unter https://ec.europa.eu/commission/presscorner/detail/%20en/ip_23_6473 (zuletzt abgerufen am 13.12.2023)}

_{[15] Zenner, DataAgenda Datenschutz Podcast, Folge 48 ab Minute 16:55, abrufbar unter https://dataagenda.podigee.io/53-kai-zenner.}