Kurzbeitrag : Was gegen die Voreingenommenheit der KI-Systeme hilft : aus der RDV 2/2024, Seite 90-93

II. Die Voreingenommenheit der Maschine

Weil KI schon im Einsatz ist, muss sie also schnell und klug reguliert werden. Worin die Gefahr prinzipiell liegt, sei zunächst an einem Beispiel erläutert: „Zeichne mir einen Doktor“ – wer diesen Befehl einer bildgenerierenden KI erteilt, erhält die Grafik eines Arztes im weißen Kittel. Warum ein männlicher Arzt und nicht – sagen wir – eine promovierte Juristin? Viele Menschen verbinden, so wie die KI im Beispiel, den Begriff Doktor mit einem Arzt. Solches Schubladendenken ist menschlich und oft sinnvoll. Kategorien bilden ermöglicht Orientierung in der komplexen Wirklichkeit. Der Gedanke, dass es sich um einen Doktor im medizinischen Bereich handelt, stellt sich von ganz allein ein. Aber warum ein Mann? Im Jahr 2022 waren erstmals mehr als die Hälfte der Vertragsärzte in Deutschland Ärztinnen.^[6] Und der Trend zu weniger männlichen Ärzten wird sich wahrscheinlich fortsetzen, denn schon seit Jahren gibt es mehr Medizinstudentinnen als Medizinstudenten.^[7] Sollte die KI dann nicht aufgrund der Wahrscheinlichkeitsverteilung eine Ärztin an Stelle eines Arztes zeichnen?

Um der menschlichen Kategorie der Wahrheit nahezukommen, berechnet die KI ihrerseits Wahrscheinlichkeiten aus vorhandenen Daten und leitet Muster ab^.[8] Dazu greift sie auf große Datenmengen zurück. Solange die meisten Doktoren in den Trainingsdaten einer bildgenerierenden KI männliche Ärzte sind, spiegelt sich das in den Ergebnissen mathematisch korrekt. Oft ergibt das für den Menschen Sinn, oft aber auch nicht. So oder so: Sinn muss der Mensch den Zahlen zuweisen, die ihm als Bilder, Worte und Dialoge angeboten werden. Fakt ist, dass nach diesem mathematischen Modell die häufigste Meinung herrscht, aber nicht die im konkreten Fall vernünftige, selbst wenn die Datenbasis das „Weltwissen“ abbildet.^[9] Fakt ist zudem, dass Wahrscheinlichkeiten nach menschlichen Begriffen weder Wahrheiten noch Vorstufen dazu sind. Wahrscheinlichkeitsrechnungen zu vertrauen ist Spekulation auf hohem Niveau, bis die Prognose eingetreten ist.

Der Mensch agiert anders. Im Gegensatz zur KI ist er in der Lage, vernünftig zu sein und danach zu handeln. Er muss entscheiden, ob er den Impulsen seines limbischen Systems ohne Reflexion nachgibt oder sein zugegebenermaßen nicht vorurteilsfreies Denken hinterfragt, bevor er danach handelt.^[10]Während der Mensch reflektieren und Impulse korrigieren kann, ist dies der Maschine fremd.

Ein System, das Ergebnisse ohne Entscheidung generiert, kennt keine schlechte Entscheidung, kein Gewissen und keine Diskriminierung. Es ist nach menschlichen Kategorien unbestechlich und frei von Willkür. Hierauf berufen sich Verfechter der Technologie, wenn sie die Ergebnisse der KI als objektiv oder neutral bezeichnen. Das Beispiel des männlichen Arztes zeigt aber, dass die Daten, auf denen die Ergebnisse beruhen, diese Attribute nicht immer tragen. Die großen Datenmengen, mit denen KI-Systeme trainiert werden, enthalten typischerweise systematische Abweichungen gegenüber dem, was die heutige Gesellschaft oder das Recht als „neutral“ oder „gut“ ansieht. Besonders deutlich wird dies in Fällen der Diskriminierung von Personengruppen, die heute unzulässig wäre, aber sich in den Daten der Vergangenheit spiegelt.^[11] Diese Verzerrungen in den Daten nennt man Bias. Es ist oft nicht einfach, den Bias in Daten zu erkennen. Noch schwieriger – oder unmöglich – ist es, den Bias aus den Daten zu entfernen.

III. Der Ankereffekt

Wie gehen wir damit um? Ein Ansatz ist es, die Entscheidung über den Umgang mit den Ergebnissen einer KI-Anwendung dem jeweiligen Nutzer zu überlassen.^[12] Wenn die KI nicht in der Lage ist, ihre Ergebnisse anhand menschlicher Kategorien zu überprüfen, soll der menschliche Nutzer in die Verantwortung gezogen werden. Eine staatliche Regulierung der von der KI ausgegebenen Inhalte wäre dann nicht erforderlich und mit dem Nutzer der Verantwortliche gefunden. Problematisch ist dabei der sogenannte Ankereffekt. Der Entwurf der KI-Verordnung weiß um die mögliche „Neigung zu einem übermäßigen oder automatischen Vertrauen in das von einem Hochrisiko-KI-System hervorgebrachte Ergebnis („Automatisierungsbias“).“^[13] Der Ankereffekt beschreibt das psychologische Phänomen, dass Menschen in ihrer Entscheidungsfindung unbewusst von vorhandenen Umgebungsinformationen beeinflusst werden.^[14] Im Englischen wird der Ankereffekt als „anchoring bias“, als ankernde Verzerrung, bezeichnet. Als Ursache gilt einerseits eine unzureichende Korrektur des vom Anker gesetzten Ergebnisvorschlags.^[15] Andererseits werden im Gehirn selektiv solche Gedächtnisinhalte aktiviert, die mit dem Anker kompatibel sind.^[16] Einfach gesagt: Wer noch keine gefestigte Meinung hat, kann sich dem Ankereffekt nicht entziehen.

Unser Gehirn gibt sich Mühe, eine Welt zu konstruieren, in welcher der besagte Anker schon das richtige Ergebnis liefert. Denn das ist einfacher (und angenehmer) als kritisch zu denken. Der Ankereffekt ist sogar messbar, wenn der Anker offensichtlich zufällig gewählt wurde und damit keinerlei Informationsgehalt in sich trägt. Der Psychologe Daniel Kahnemann beschreibt in seinem Buch „Schnelles Denken, langsames Denken“ ein Experiment: Richter sollten eine fiktive Ladendiebin zu einer Freiheitsstrafe verurteilen. Vor der Urteilsfindung warfen sie einen gezinkten Würfel, der stets eine Drei oder eine Neun zeigte. Richter, die eine Neun gewürfelt hatten, verurteilten die Ladendiebin im Durchschnitt zu einer Freiheitsstrafe von acht Monaten. Fiel der Würfel auf Drei, lautete das Urteil auf fünf Monate.^[17] Was ergäbe ein Experiment, bei dem nicht ein Würfel eine scheinbar zufällige Zahl anzeigt, sondern eine KI ein eloquent ausgearbeitetes Ergebnis vorschlägt?

Generative KI begünstigt den Ankereffekt und behindert die unbeeinflusste Meinungsbildung und das kritische Denken. Heutige KI-Systeme sind nämlich vielfach darauf programmiert, möglichst auch dann eindeutige Ergebnisse zu liefern, wenn es keine Eindeutigkeit gibt. Oft ergibt sich aus den Ergebnissen keine sinnvolle kontextbezogene Aussage. KI bringt aber Ergebnisse hervor, die sprachlich derart ausgereift formuliert oder bildlich so realistisch ausgearbeitet sind, dass beim menschlichen Nutzer der Eindruck objektiver Wahrheit entstehen kann. Entwickler bestärken diesen Eindruck, wenn sie eine textgenerierende KI-Anwendung in der Ich-Form kommunizieren lassen.^[18] So wird das Gefühl des Austauschs mit einem kompetenten Gesprächspartner erzeugt, der nicht nur sprachlich, sondern auch inhaltlich mindestens ebenbürtig ist. Wegen des Ankereffekts besteht die Gefahr, dass der Nutzer die angebotenen Ergebnisse nicht hinterfragt und sich womöglich – unbewusst – nicht mehr davon lösen kann. Der Rückgriff auf das Bewusstsein würde dann durch blindes Vertrauen auf eine scheinbar objektive Wahrheit ersetzt werden.

IV. Maßnahmen gegen den Ankereffekt

Der KI-VO-E will dem Ankereffekt nun entgegenwirken. Und das Gegenmittel ist die menschliche „Stopptaste“.^[19] Eine Lösung für deren effektive Ausgestaltung ist vor allem in Anwendungsszenarien mit rechtsstaatlicher Relevanz erforderlich: Die Richter hatten im oben beschriebenen Experiment die Entscheidungsgewalt. Wie verhindert man, dass sie in ihrer Entscheidungsfindung unbewusst von einer KI beeinflusst werden? Um solche Angelegenheiten geht es. Im Vergleich dazu wirkt sich der Ankereffekt beispielsweise nicht kritisch aus, wenn ChatGPT genutzt wird, um eine Geburtstagskarte zu schreiben.

Der Umgang mit Ankereffekten wird in Unternehmenskontexten diskutiert. Personalabteilungen wollen dem Effekt etwa während der Bewerberauswahl entgegensteuern, um innovativere Teams zusammenzustellen. Ob im Bewerbungsverfahren oder in Verhandlungen mit Geschäftspartnern – der Rat zur bewussten Ausbremsung des Ankereffekts ist immer ähnlich: Im Vorfeld der Entscheidung muss der Mensch objektive Kriterien aufstellen. Er muss sich zunächst eine eigene Meinung bilden, damit sie während der abschließenden Entscheidungsfindung nicht von äußeren Umständen verzerrt wird. Schließlich ist ratsam, vor der endgültigen Entscheidung eine Pause einzulegen.^[20] Das gilt im Analogen wie im Digitalen. Nötig ist die Entdeckung der Langsamkeit als Gegenmittel zu KI-Berechnungen mit Höchstgeschwindigkeit in menschlichen Angelegenheiten.

V. Einsatz generativer KI in der Justiz

Unverhandelbares Paradebeispiel bleibt indes die richterliche Entscheidung, die nach der Verfassung nur durch den gesetzlichen (menschlichen) Richter getroffen werden darf,^[21] der vorher unbeeinflusst von Maschinen als Mensch rechtliches Gehör gewähren muss.^[22] Die KI darf allenfalls Denkanstöße zur richterlichen Selbstkontrolle geben.^[23]

Wie kann vermieden werden, dass die KI den Anker für die Meinung des Richters setzt? Folgender Dreischritt ist in der Justiz denkbar: Der Richter verfasst einen Entscheidungsentwurf. Diesen präsentiert er – quasi indem er eine Starttaste drückt – einer KI, die ihn darauf basierend auf mögliche Schwachstellen hinweist. Ob der Richter die Impulse der KI umsetzt, entschiedet wiederum er.^[24]

Ein vergleichbarer Mechanismus wirkt beim Videoassistenten in der Fußballbundesliga. Bei Entscheidungen des allein verantwortlichen Schiedsrichters auf dem Spielfeld, die dieser überdenken sollte, greift der in diesem Fall menschliche Assistent aus dem „Kölner Keller“ ein und ruft den Spielleiter an den Spielfeldrand. Dort liefert er ihm Fakten in Form von Zeitlupenbildern einer strittigen Spielszene. Anhand dieser Information kann der Hauptschiedsrichter eine neue Entscheidung treffen. Die KI könnte wie ein Videoassistent als mögliches Korrektiv oder zweite Meinung zum Einsatz kommen, ohne dass die Entscheidung an das System delegiert oder durch den Ankereffekt übermäßig beeinflusst würde.

Rechtlich kann das Problem der faktischen „Maschinenentscheidung“ nur gelöst werden, indem der Mensch den Anker seiner Entscheidung selbst setzt, statt der KI das erste Wort zu geben und der Versuchung zu unterliegen, die maschinellen Vorschläge nur noch durchzuwinken. Wer gar nicht merkt, dass er einem Ankereffekt unterliegen kann, wird auch keine „Stopptaste“ drücken.

Natürlich wird das hier vorgeschlagene System unterlaufen, wenn der Richter seinen ersten Entscheidungsentwurf nur halbherzig skizziert oder die Lösung bei einem anderen KI-System abfragt und diese der KI unterbreitet. Das lässt sich durch die Bindung an Recht und Gesetz vermeiden: Der Richter wäre verpflichtet, sich im relevanten Kontext keiner Hilfe durch KI zu bedienen, oder diese offenzulegen. Man könnte Qualitätseinbußen dadurch entgegenwirken, dass die richterliche Erstentscheidung in einem Teil der Fälle nicht von einer KI, sondern von einem Menschen überprüft wird. Welche Fälle das sind, wäre vorab nicht einsehbar. So wäre der Richter dazu angehalten, einen ausgereiften Entwurf einzureichen.

Dem Ansatz könnte man entgegenhalten, dass dieser assistierende Einsatz von KI die Gerichtsverfahren nicht beschleunigt.^[25] Möglich wäre jedoch etwa, eine Relevanzschwelle einzuziehen und ihn ab der zweiten Instanz und sonst bei Bedarf einzuführen. Wenn es um Schadenersatz für Reiseverspätungen geht, bräuchte man den Assistenten nicht. Auch wenn der Richter nicht entscheidet, sondern einen Vergleich der Parteien anregt, käme der Mechanismus nicht zum Tragen.

Mehrwert entstünde dann, wenn die KI einen neuen und erwägenswerten Impuls setzt. Im Sinne der Aktenwahrheit und Fairness für alle Beteiligten müsste der Einsatz von KI in der Gerichtsakte dokumentiert werden: sowohl die Übernahme eines Vorschlags der KI als auch das Verwerfen durch den Richter samt seiner Begründung. Dabei müssten technische Vorkehrungen zum Schutz der richterlichen Unabhängigkeit und des Beratungsgeheimnisses getroffen werden.^[26]

V. Fazit

Unter dem Strich kann der Dreischritt „Mensch – Maschine – Mensch“ die Qualität staatlicher Entscheidungen erhöhen und so mittelfristig die Effizienz des Rechtsstaats steigern. Man kann ihn auf andere wichtige Kontexte übertragen, in denen der Mensch das entscheidende Wort sprechen muss. Sie reichen von Fragen der Vergabe von öffentlichen Leistungen bis zu bedeutenden Personalentscheidungen. Der Ansatz rahmt den Einsatz von KI ein. So lässt sich moderne Technik menschlich ankern, um sie flächendeckend verantwortbar und mit gutem Gewissen in sensiblen Kontexten einzusetzen.

* Dr. h.c. Marit Hansen ist seit 2015 die Landesbeauftragte für Datenschutz Schleswig-Holstein. Sie wurde 2018 in die Datenethikkommission der Bundesregierung berufen. Moritz Köhler ist wissenschaftlicher Mitarbeiter an der Kölner Forschungsstelle für Medienrecht an der TH Köln. Professor Dr. Rolf Schwartmann ist Leiter der Kölner Forschungsstelle für Medienrecht an der TH Köln und Vorsitzender der Gesellschaft für Datenschutz und Datensicherheit (GDD) e.V. Er wurde 2018 in die Datenethikkommission der Bundesregierung berufen.

Der Beitrag ist zuvor erschienen in der F.A.Z. vom 23.10.2023.