Kurzbeitrag : Regeln für Textroboter – ChatGPT auf dem Prüfstand des Europarechts : aus der RDV 2/2023, Seite 106 bis 109

I. Debatte zwischen Euphorie und Verunsicherung

Die öffentliche Debatte um ChatGPT bewegt sich aktuell zwischen Euphorie und Verunsicherung. Das Recht reagiert mit einem Zusammenspiel aus vorhandenem Datenschutzrecht der DS-GVO und der aktuell entstehenden KI-Regulierung. Bislang wird im Zusammenhang mit ChatGPT noch wenig über die Einhaltung der Vorgaben der Datenschutz-Grundverordnung (DS-GVO) diskutiert. Das ist erstaunlich. An den Bot werden nämlich Anfragen von Personen über Personen gerichtet. Sie lassen nicht nur Rückschlüsse auf deren Interessen zu, sondern oft auch auf deren Seelenleben und Gesundheitszustand. Betreffen die Fragen dritte Personen, dann sind auch deren Rechte zu achten.

Da ChatGPT davon überzeugt ist, auf alles die richtigen Antworten geben zu können, schreckt der Bot auch bei Fragen zur Grenzsituation des menschlichen Lebens nicht zurück. Es besteht insofern kein Unterschied zu einem Therapiebot. Dass ChatGPT rechtlich wirksam und mit hinnehmbarem Risiko auf „Empathie“ und die Übernahme von „Verantwortung“ programmiert ist, darf man bezweifeln.

II. ChatGPT im Licht der DS-GVO

Die beschriebene Verarbeitung personenbezogener Daten unterfällt der DS-GVO. Unklar ist aber schon, wie man auf die Verantwortlichen von ChatGPT in Europa zugreifen soll, wenn der Chat unrichtige Daten über Personen verarbeitet und Menschen Betroffenenrechte nach der DS-GVO geltend machen wollen. Dazu zählt etwa ein Auskunftsanspruch über die vom Bot verarbeiteten Daten oder Berichtigungs- bzw. Löschansprüche, die bestehen, wenn die KI Unwahrheiten oder gar diskreditierende Inhalte über Personen verbreitet. Nach der DS-GVO hat jeder grundsätzlich das Recht, einer automatisierten Verarbeitung – einschließlich Profilbildung – nicht unterworfen zu werden, wenn es um „Maschinenentscheidungen“ geht, die rechtliche oder ähnliche Wirkung entfalten. Die von der Maschine ermittelte Entscheidungsoption ist aber zulässig, wenn sie zur Vertragserfüllung mit der betroffenen Person erforderlich ist, oder auf einer speziellen gesetzlichen Grundlage beruht, oder wenn sie mit Einwilligung des Nutzers erfolgt. Eine Systematisierung von Kunden nach Kaufbereitschaft ist danach also mangels rechtlicher oder damit vergleichbarer Bedeutung erlaubt.

Da es um den Einsatz von KI im Alltag geht, setzt die Kontrolle der Software nach der DS-GVO Transparenz über ihre Funktionsweise und ihre Datenbasis bei jedem Anwender voraus. Schließlich können die Programmierer über die Software Einfluss auf unser Denken nehmen. Das kann fatale Folgen für die Selbstbestimmung der Nutzer haben. Anwender müssen grundsätzlich vorhersehen oder wenigstens nachvollziehen können, warum die Software etwas auf eine bestimmte Weise „entscheidet“. Anbieter müssen dazu offen legen, was sie mit dem Einsatz von ChatGPT, das aktuell mit der Suchmaschine Bing verbunden wird , künftig in das Office-Paket von Microsoft eingebunden werden soll, bezwecken.

III. Datenschutzrechtliche Verantwortlichkeit

Das Problem beginnt ganz am Anfang. OpenAI, der Anbieter von ChatGPT, ist rechtlich für Datenschutzverstöße des Bots verantwortlich. Fragt man diesen, bei wem Betroffene sich über ihn beschweren können, dann räumt er freimütig ein, dass eine Europaniederlassung von OpenAI noch gar nicht bestehe. Die ist aber wichtig, um die zuständige Datenschutzbehörde ermitteln zu können. Steht die Aufsichtsbehörde fest, dann kann sie prüfen. So ist es in Italien geschehen. Wegen des unkalkulierbaren Risikos wurde von der dortigen Datenschutzbehörde der Chatbot Replika untersagt, der auf Empathie programmiert ist und auch gegenüber jedermann, also auch etwa Minderjährigen und psychisch labilen Menschen therapeutische Dienste erbringt. Die Verarbeitung von Gesundheitsdaten nach der DS-GVO ist aus guten Gründen streng reglementiert. Grünes Licht für solche Anwendungen gibt es in Europa nur, wenn die Anforderungen des Datenschutzes gewahrt sind. Verstöße können bekanntermaßen teuer werden. Die DS-GVO verlangt von Anbietern von typischerweise risikobehafteten Datenverarbeitungen eine sogenannte Datenschutzfolgenabschätzung für ihre Produkte. Wer einen derart riskanten Bot zur Kommunikation über beliebige Themen mit Menschen einsetzt, handelt blauäugig und leichtfertig, wenn er das nicht eng mit Datenschutzbehörden abstimmt.

Der Dialog des Endnutzers mit dem Chatbot ist dabei nur die Spitze des Eisberges. Wenn die Technik in Produkten, sei es von Microsoft, Google, SAP oder eines beliebigen Anbieters, verwendet wird, so entsteht auch hier eine Verantwortung nach der DS-GVO. Der Einsatz der Technik schreitet rasend schnell voran. Verantwortung zu übernehmen heißt, nun für Staat und Wirtschaft insgesamt Technikfolgenabschätzungen vorzunehmen und endlich den Mitteln zur Reduzierung oder kompletten Beseitigung des Personenbezuges in Daten mit Nachdruck zu Wirkung zu verhelfen. Die DS-GVO fördert das und die neuen Datenakte schreiben die Anonymisierung teilweise sogar vor.

IV. Hochrisiko-Anwendung nach der KI-Verordnung?

Die DS-GVO wird aktuell um eine KI-Regulierung ergänzt. Nach dem Entwurf der EU-Verordnung zur Künstlichen Intelligenz (KI), die bis zum Frühjahr 2024 geltendes Recht sein soll, soll der Mensch die Letztentscheidung nach der Maschine haben. Ob es sich bei Chatbots auf der Basis tiefer neuronaler Netze um Risikoanwendungen handelt, die der KI-Verordnung (KI-VO) unterfallen, ist bis zu deren Verabschiedung offen. Die KI-VO stellt bei der Risikoermittlung auf den Zweck der Anwendung ab. Verboten ist der Einsatz von KI-Systemen, um das Verhalten einer Person zu beeinflussen. Zudem ist sog. Social Scoring und auch der Einsatz von KI im Rahmen biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen nicht gestattet. Der Gesetzgeber will also verhindern, dass Maschinen Steuerungsfunktionen über die Gedanken von Menschen übernehmen oder Handlungsdruck erzeugen. Nicht verboten, aber unter besonderer Rechtfertigungsnotwendigkeit stehen sog. Hochrisiko-Anwendungen von KI-Systemen. Das sind etwa solche zur biometrischen Identifizierung und Kategorisierung von Personen, im Rahmen des Personalmanagements, z.B. im Einstellungsverfahren, oder solche zur Beurteilung des Zugangs zu öffentlichen Leistungen, im Rahmen der Strafverfolgung sowie solche im Einsatz von Justizbehörden. Die KI-VO erkennt also an, dass die öffentliche Hand und auch die Verbrechensbekämpfung nicht ohne den Einsatz Künstlicher Intelligenz auskommen. Das trägt der Erforderlichkeit der Waffengleichheit der Strafverfolgung mit der Internetkriminalität Rechnung, die ihrerseits intensiv digitale Wege nutzt. Über die Einordnung von Textrobotern in das entstehende Recht, herrscht im März 2023 noch Streit.

Weitere Anforderungen zur Absicherung für diese kritischen Systeme sind besondere Vorgaben für Risikomanagement-, Dokumentations- und Transparenzpflichten mit einer Vielzahl von konkreten rechtlichen Anforderungen. Für KIAnwendungen von besonderer Bedeutung ist die Beachtung der Grundsätze einer Verarbeitung von personenbezogenen Daten nach der DS-GVO. Beim Einsatz von KI-Systemen sind hier insbesondere der Transparenzgrundsatz, der Zweckbindungsgrundsatz, die kompatible Weiterverarbeitung, sowie der technische Datenschutz relevant. Nach der nicht abdingbaren DS-GVO, die auch künftig zusätzlich zur KI-VO gelten soll, gilt für die Verarbeitung von personenbezogenen Daten auch wenn KI im Einsatz ist, ein grundsätzliches Verbot mit Erlaubnisvorbehalt.

V. Haftungsfragen nach dem Entwurf der Richtlinie für KI-Haftung

Die EU befasst sich aktuell auch mit der Haftung für den Einsatz von KI. Soweit vertragliche Ansprüche betroffen sind, gelten hier seit Anfang 2022 schon Regelungen im BGB, die eine entsprechende EU-Richtlinie umsetzen. Diese Neuregelung enthält vor allem eine Definition des Mangelbegriffs, während die Haftungsregeln weitgehend denjenigen beim Verbrauchsgüterkauf entsprechen. Zeigt die KI einen Fehler wird vermutet, dass dieser bereits von Anfang an vorlag. Auch das Verschulden wird vermutet.

Aktuell wird auch für die außervertragliche Haftung ein europäischer Rahmen geschaffen, der Ansprüche auf Ersatz für Schäden regelt, die durch smarte Anwendungen oder Produkte, etwa Roboter oder Anwendungen in Smart-HomeSystemen, entstehen. Im September 2022 hat die EU-Kommission einen Entwurf für eine Richtlinie über KI-Haftung veröffentlicht. „Opfer von Schäden, die durch KI verursacht wurden, (sollen) ein gleichwertiges Schutzniveau genießen wie Opfer von Schäden, die ohne den Einsatz von KI verursacht wurden“. Nach dem Entwurf der Richtlinie muss der Geschädigte von KI einen Pflichtverstoß nachweisen, wobei die Kausalität vermutet wird. Gegenüber einem Anbieter von Hochrisiko-KI kommt diese Vermutung allerdings nur zur Anwendung, wenn der Geschädigte nachweist, dass der Anbieter Fehler bei der Konzeption der KI gemacht hat. Das können Mängel beim Training einer KI, bei der Transparenz des Maschinenhandelns, der Möglichkeit seiner Beaufsichtigung, der Datensicherheit oder einer verspäteten Fehlerkorrektur sein. Bei Verwendung von KI, die nicht Hochrisiko-KI ist, soll die Vermutung nur dann gelten, wenn es nach Auffassung des nationalen Gerichts für den Kläger übermäßig schwierig ist, den ursächlichen Zusammenhang nachzuweisen. Schließlich gilt die Vermutung gegenüber einem privaten Nutzer eines KI-Systems nur, wenn dieser die Betriebsbedingungen des KI-Systems wesentlich verändert hat oder wenn er es pflichtwidrig unterlassen hat, die Betriebsbedingungen des KI-Systems festzulegen.

Die Bestandsaufnahme zur Regulierung von Textrobotern auf Basis neuronaler Netzwerke auf der Zielgeraden der europäischen KI-Regulierung ist ernüchternd. Vieles ist rechtlich noch nicht entschieden und politisch umstritten. Allein ChatGPT birgt Risiken und stellt Anforderungen, deren Einhegungen und angemessene Lösung das entstehende Recht in weiten Teilen noch gar nicht adressiert. Spätestens im Mai 2023 muss das Europaparlament über die KI-VO entscheiden, damit das Regelwerk im Trilog zischen Rat, Kommission und Parlament nach der Sommerpause auf die Zielgerade gehen kann, bevor im ersten Halbjahr 2024 Neuwahlen in der EU anstehen. Dann müssen Lösungen zur Regulierung einer „Weltmaschine“ vorliegen.

Auch wenn die Frage der Regulierung von ChatGPT noch weitgehend ungeklärt ist, wird die Technik schon intensiv genutzt. Der Einsatz ist auch dann, wenn er vielleicht unvernünftig ist, nicht unbedingt ein Problem. Man kann selbstbestimmt gegen ärztlichen Rat einer medizinischen Empfehlung eines Computers folgen und aus Prinzip immer anders fahren, als das Navigationssystem es vorschlägt. Aber auch an Schulen und Hochschulen wird der Einsatz von ChatGPT erprobt. Das Wissen der Technik kann man sich zunutze machen, indem Schüler mit der KI über die „Leiden des jungen Werther“ diskutieren und sich dann mit den Ergebnissen der KI im Wissen über von Goethe messen. Man kann die KI sogar Ausbildungs- und Forschungsthemen empfehlen lassen. Der Mensch nutzt sie als kreativen Ideengeber, diskutiert die Themen mit ihr und erweitert so seinen Horizont um die Perspektive der Simulation der KI. Dabei darf man nicht übersehen, dass die Maschine so Themen beeinflusst oder gar setzt, und dem Menschen Forschungsaufträge zur gemeinsamen Lösung erteilen kann.

VI. Verbesserung der Präzision durch Programmierung

Phrasen zu dreschen ist eine Spezialität des Textroboters. ChatGPT ist schließlich keine Software zur Wissensvermittlung, sondern zur Kommunikation. Das Programm ist darauf programmiert, Stile nachzuahmen und mehr oder weniger schlaue und sinnvolle Inhalte aus Daten im Netz zu generieren und daraus Gedanken in menschlicher Sprache zu simulieren. Das ist technisch vergleichbar mit der automatischen Vervollständigung bei der Google-Suche. Böse Zungen könnten behaupten, dass das der Hang zum Schwafeln des Bots eine gute Voraussetzung für politische Reden ist. In der Tat ist ChatGPT gewissermaßen schon in das Europaparlament eingezogen. Ein Europaabgeordneter hat dort kürzlich eine Rede gehalten, die von ChatGPT verfasst war. Das hatte niemand bemerkt. Der EU-Politiker wollte so auf die Gefahren durch den Bot aufmerksam machen. Sein Problem liegt auf der Hand: Abhängig von der „Datengrundlage kann ein KIText Menschen diskriminieren, Rassismus schüren oder Propaganda enthalten“.

Eine Textroboter-Simulation menschlicher Aussagen ist noch nicht perfekt. Mal machen die Ergebnisse des Computers mehr Sinn, mal weniger. Weil das bei menschlichen Aussagen genauso ist, lässt sich ein Ergebnis der Maschine – selbst dann, wenn es falsch ist – von menschlich generierten Resultaten kaum oder gar nicht unterscheiden. Irren ist zwar menschlich, doch vor dem Horizont des Empfängers einer Information sieht ein maschinelles Fehlergebnis auch nicht anders aus als eine menschliche Fehlleistung. Insbesondere bei der Standardversion von ChatGPT sind die Ergebnisse oft noch unbefriedigend. Das liegt an der unspezifischen Suche. Fragt man die KI nach einer bestimmten öffentlichen Person, etwa aus der Juristerei, dann ist sie bei der Antwort überfordert, wenn sie dafür das komplette Weltwissen im Netz durchforsten soll. Es ist aber leicht möglich, der KI vorzugeben, nach Problemlösungen nicht mehr alle Daten des Netzes zu durchsuchen, sondern sich bei der Lösung konkreter Probleme auf den dafür relevanten Kontext von Daten zu beschränken. Mit Hilfe sogenannter „Prompt-Programmierung“ kann der Blick der KI fokussiert werden. Durch die Eingrenzung des Suchkontexts („Suche im Kontext der Juristerei“) werden die Ergebnisse präziser. Eine Person, die der Maschine vorher unbekannt war und die falsch eingeordnet wurde, wird nach Schärfung des Blicks zuverlässig gefunden und eingeordnet. Diese Möglichkeit zur Optimierung ist grundsätzlich jedem Anwender möglich.

VII. Enorme Möglichkeiten einer Technik, die man nicht verhindern kann

Bei alledem gilt: Die neue Technik birgt enorme Möglichkeiten im Dienst der Menschheit und wir wollen und können sie so wenig aufhalten wie die Dampfmaschine. ChatGPT agiert als neuronales Netzwerk heute im Vergleich so modern, wie deren erster Prototyp aus dem Jahr 1690. Die industrielle Revolution nahm 1769 mit James Watts Patent auf dessen Fortentwicklung ihren Anfang. Mit der Dampfmaschine haben wir die Grenzen unserer Körperkraft überwunden. Der Bot hat das Potenzial, die Grenzen unseres Denkens zu erweitern, indem er Denkprozesse simuliert. Mit der Zeit wird die Maschine immer „schlauer“, und am Ende muss der Mensch vielleicht gar nicht mehr denken.

Die Würfel sind geworfen. Hinter den Ufern des Rubikon wartet kein Feind, wohl aber eine große Herausforderung für die Menschheit. In der anstehenden Regulierung neuronaler Netzwerke geht es für die Gesetzgeber in Europa und in aller Welt darum, schnell, umsichtig, klug und entschlossen den Weg für eine ethisch und rechtlich gute Nutzung von KI zu ebnen. Gedanken, die zu einer Lösung führen können, formuliert der israelische Nobelpreisträger Daniel Kahneman in seinem Buch „Noise“ . Er erforscht mit seinen Co-Autoren, insbesondere am Beispiel der Justiz, wie man bei der Entwicklung von Algorithmen nach logischen Regeln erkennbare Fehlerquellen einer Programmierung („Bias“) und unspezifische und verdeckte Fehlerquellen von Computerentscheidungen („Noise“) ausmerzt. Die Frage nach dem Einsatz von KI ist, wenn es um staatliche Urteile über Menschen geht, so virulent wie heikel. Zu Recht widmet der Entwurf der KI-VO sich diesem Komplex in einem eigenen Anhang. Dass rechtliche Simulationen andere Menschen verurteilen oder vorverurteilen, ist nach aktuellen rechtlichen Begriffen unzulässig. Aber spätestens dann, wenn die KI juristische Fälle so präzise bearbeitet, wie sie heute das komplexe Strategiespiel Go spielt, stellt sich die Frage, ob es in Frage kommt, die Kontrolle an eine nach menschlichen Maßstäben und von Menschen perfekt auf Gerechtigkeit programmierte Maschine abzugeben. Wie ein Go-Großmeister dem Computer vernünftigerweise keine bessere Entscheidungsalternative vorschlagen kann, kann das dann vielleicht auch kein Richter mehr. Medizinischen Empfehlungen der KI kann jeder selbstbestimmt und gegen ärztlichen Rat freiwillig folgen. Richter aber sind dem Recht und ihrem Gewissen verpflichtete menschliche Treuhänder des Rechtsstaats. Dass Computer juristische Aufgaben besser als Menschen erledigen können, ist heute schon real. Die Lösungsansätze der KI-VO müssen das gewärtigen und sie dürfen nicht in ihren Anfängen stecken bleiben. Dafür ist ein künstliches neuronales Netz zu mächtig.

VIII. Fazit

Wenn die neue Technik nicht in einer Dystopie münden soll, in der der Mensch seine Selbstbestimmung an die Maschine abgibt, müssen wir es schaffen, die simulierten Gedanken neuronaler Netzwerke von unseren eigenen echten Gedanken zu unterscheiden. Das nimmt uns die KI nicht ab. Das Ziel von Kahneman ist es, die Akkuratesse und Unbestechlichkeit der KI für Justiz und Rechtsstaat verantwortungsvoll zu nutzen und so die Risiken intuitiver Rechtsfindung zu minimieren, die vorschnell und von Stimmungen abhängig sein kann. Kahneman diskutiert konkrete Ansätze und Fälle. Für die Prognose und Bewertung von (Fehl)Entscheidungen ist für ihn am Ende nicht die „plumpe“ Intelligenz entscheidend, sei sie menschlich oder künstlich. Die entscheidende Eigenschaft besteht eher in der Fähigkeit, dem Willen, gar der der Leidenschaft des zur Entscheidung berufenen Menschen, sich zu hinterfragen. Demütig vor der eigenen Fehlbarkeit gilt es, quasi immer gegen sich selbst zu denken, um eigene Entscheidungen zu korrigieren und zu optimieren. Auch ein neuronales Netzwerk ist darauf programmiert, das Bessere als den Feind des Guten zu finden. Dabei kann und darf die Technik dem Menschen aber nur helfen. Er kennt Zweifel und Demut und muss entscheiden, was für ihn das Bessere ist. Das ist eine ethische und damit menschliche Entscheidung, solange der Mensch existiert. Die Entscheidung bleibt selbst dann menschlich, wenn eine Maschine sie übernommen hat, denn nur der Mensch muss sie verantworten. Das ist auch richtig so, denn der Mensch hat die Maschine auf die Welt gebracht.

Prof. Dr. Rolf Schwartmann forscht zu Medienrecht, Daten und Digitalisierung an der TH Köln und leitet dort die Kölner Forschungsstelle für Medienrecht und steht dem Vorstand der GDD vor. Der Beitrag ist eine leicht ergänzte Fassung des in F.A.Z. v. 26.01.2023, S. 6 erschienenen Beitrags des Autors.