Aufsatz : Konzepte zur Umsetzung von KI-Kompetenz im Unternehmen zwischen KI‑VO und DS‑GVO : aus der RDV 5/2024, Sei­te 261 bis 266

I. Definitionen und Anforderungen

1. Begriffsdefinitionen

Im Zusammenhang mit der KI-Kompetenz relevante Begriffsdefinitionen umfassen die Definition von KI-Kompetenz selbst sowie die von Anbietern, Betreibern, KI-Systemen und Betroffenen.

a) KI-Kompetenz

Der Begriff der KI-Kompetenz ist in Art. 3 Nr. 56 KI‑VO definiert. Demnach beschreibt KI-Kompetenz „die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden“.

b) Anbieter

„Anbieter“ ist laut Art. 3 Nr. 3 KI‑VO „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“.

c) Betreiber

„Betreiber“ ist nach Art. 3 Nr. 4 KI‑VO „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“.

d) KI-System

„KI-System“ ist in Art. 3 Nr. 1 KI‑VO legal definiert als „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

e) Betroffene

Anders als in Art. 4 Nr. 1 der DS‑GVO, wonach eine „betroffene Person“ als „identifizierte oder identifizierbare natürliche Person“ definiert wird, wird Betroffenen in der KI‑VO keine gesonderte Definition zuteil. Aus dem Kontext des Gesetzestextes geht aber hervor, dass hiermit natürliche Personen gemeint sind, deren personenbezogene Daten von KI-Systemen verarbeitet werden (s. z.B. ErwG 10) oder die mit KI-Systemen interagieren (s. z.B. ErwG 27). Ebenso inkludiert sind natürliche Personen, auf die mit Hilfe von KI getroffenen Entscheidungen Auswirkungen haben können (s. z.B. ErwG 20). Es gibt also inhaltliche Überschneidungen mit dem Konzept der betroffenen Person gem. DS‑GVO, aber die Begriffe sind nicht deckungsgleich: Natürliche Personen können auch von den Ausgaben von KI-Systemen „betroffen“ sein, ohne dass dafür ihre personenbezogenen Daten verarbeitet werden, z.B. beim Einsatz von KI-Systemen im Bereich kritische Infrastruktur.

2. Anforderungen

Die Anforderungen an die KI-Kompetenz werden in Art. 4 KI‑VO definiert und weiter in ErwG 20 erläutert. Dabei werden gem. Art. 26 und ErwG 91 noch mal besondere Anforderungen an die KI-VO von Betreibern von Hochrisiko-KI-Systemen gestellt.

a) Anforderungen der KI-Kompetenz an Anbieter und Betreiber von KI-Systemen

Laut Art. 4 KI‑VO ergreifen „Anbieter und Betreiber von KI-Systemen […] Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind“.
Des Weiteren spezifiziert ErwG 20: „Um den größtmöglichen Nutzen aus KI-Systemen zu ziehen und gleichzeitig die Grundrechte, Gesundheit und Sicherheit zu wahren und eine demokratische Kontrolle zu ermöglichen, sollte die KI-Kompetenz Anbieter, Betreiber und betroffenen Personen mit den notwendigen Konzepten ausstatten, um fundierte Entscheidungen über KI-Systeme zu treffen. Diese Konzepte können in Bezug auf den jeweiligen Kontext unterschiedlich sein und das Verstehen der korrekten Anwendung technischer Elemente in der Entwicklungsphase des KI-Systems, der bei seiner Verwendung anzuwendenden Maßnahmen und der geeigneten Auslegung der Ausgaben des KI-Systems umfassen sowie – im Falle betroffener Personen – das nötige Wissen, um zu verstehen, wie sich mithilfe von KI getroffene Entscheidungen auf sie auswirken werden. Im Zusammenhang mit der Anwendung dieser Verordnung sollte die KI-Kompetenz allen einschlägigen Akteuren der KI-Wertschöpfungskette die Kenntnisse vermitteln, die erforderlich sind, um die angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung sicherzustellen“.

b) Anforderungen der KI-Kompetenz an Betreiber von Hochrisiko-KI-Systemen

Erhöhte Anforderungen an die KI-Kompetenz gelten dabei, zumindest prima facie, für Betreiber von Hochrisiko-KI-Systemen. So steht in Art. 26 Nr. 2 KI‑VO noch mal gesondert der Hinweis: „Die Betreiber übertragen natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht und lassen ihnen die erforderliche Unterstützung zukommen“.
Gem. ErwG 91 sollten Betreiber demnach „insbesondere geeignete technische und organisatorische Maßnahmen treffen, um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß den Betriebsanleitungen verwenden, und es sollten bestimmte andere Pflichten in Bezug auf die Überwachung der Funktionsweise der KI-Systeme und gegebenenfalls auch Aufzeichnungspflichten festgelegt werden. Darüber hinaus sollten die Betreiber sicherstellen, dass die Personen, denen die Umsetzung der Betriebsanleitungen und die menschliche Aufsicht gemäß dieser Verordnung übertragen wurde, über die erforderliche Kompetenz verfügen, insbesondere über ein angemessenes Niveau an KI-Kompetenz, Schulung und Befugnis, um diese Aufgaben ordnungsgemäß zu erfüllen“.

c) Zwischenergebnis

Art. 4 KI‑VO verlangt, dass Anbieter und Betreiber von KI-Systemen Maßnahmen ergreifen, um sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag KI-Systeme entwickeln oder betreiben, über ein ausreichendes Maß an KI-Kompetenz verfügen. Dabei soll die KI-Kompetenz es Beschäftigten ermöglichen, fundierte Entscheidungen in der Entwicklung, der Ausgestaltung und dem Einsatz von KI-Systemen zu treffen. Die KI‑VO betont insbesondere, dass KI-Kompetenz die angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung entlang der gesamten KI-Wertschöpfungskette gewährleisten soll. Laut Art. 26 KI‑VO gelten dabei, zumindest auf den ersten Blick, erhöhte Anforderungen für Betreiber von Hochrisiko-KI-Systemen. Welche zusätzlichen rollenspezifischen Schulungen dabei erforderlich sind, hängt unter anderem von den bestehenden technischen Kenntnissen und Erfahrungen der Beschäftigten ab. Aus dem Gesetzestext lassen sich aber auch einige Mindestkenntnisse ableiten, die alle Beschäftigten haben sollten, um Artt. 4 und 26 KI‑VO gerecht zu werden.

II. Relevante Mindestkenntnisse

Um fundierte Entscheidungen über KI-Systeme im Einklang mit Art. 4 KI‑VO zu treffen und die angemessene Einhaltung der KI‑VO zu gewährleisten, müssen Beschäftigte über Mindestkenntnisse verfügen, die über rollenspezifische Anforderungen hinausgehen. Insbesondere müssen Beschäftigte und andere Personen, die beauftragt sind, KI-Systeme zu betreiben, dazu in der Lage sein,

1. KI-Systeme, so wie sie die KI‑VO definiert, zu erkennen,
2. die Rolle der beauftragenden Organisation entlang der KI-Wertschöpfungskette verstehen, und
3. die Chancen, Risiken und möglichen Schäden, die mit dem Einsatz von KI-Systemen einhergehen, kennen.

Zusätzlich sollten Beschäftigte in der Lage sein,

4. Hochrisiko-KI-Systeme von regulären KI-Systemen zu unterscheiden, weil mit deren Betrieb zusätzliche Anforderungen verbunden sind.

1. KI-Systeme erkennen
   Zunächst müssen Beschäftigte dazu in der Lage sein, zu erkennen, wann immer sie ein KI-System entwickeln oder betreiben. Das mag zunächst trivial klingen, verlangt aber ein Grundverständnis, wie die KI‑VO KI-Systeme definiert. Schon die langwierigen Verhandlungen zur KI‑VO hin, haben gezeigt, dass darüber, wie KI-Systeme definiert werden sollten, keine grundsätzliche Einigkeit besteht. Beschäftigten gegenüber kann man also keineswegs mit Hinblick auf KI-Systeme suggerieren: You’ll know it when you see it.

Hier bestehen Parallelen zu dem Wissen, das sich EU-basierte Beschäftigte im Zusammenhang mit der DS‑GVO über personenbezogene Daten aneignen müssen. Auch, was ein personenbezogenes Datum darstellt, ist nicht immer auf den ersten Blick intuitiv, zumal die Grenzen zwischen personenbezogenen und nicht personenbezogenen Daten in einer von Big Data geprägten Welt zunehmend verschwimmen. Und, genau wie bei der Unterscheidung zwischen personenbezogenen Daten und regulären Daten, gilt auch bei der Unterscheidung zwischen KI-Systemen und regulären Software-Systemen mit hoher Wahrscheinlichkeit in Zukunft: Im Zweifelsfall handelt es sich eher um ein personenbezogenes Datum bzw. um ein KI-System als nicht. Dies lässt sich unter anderem auf die Tatsache zurückführen, dass auch viele bestehende Softwaresysteme zunehmend um KI-Komponenten bereichert werden. Das einzige belastbare Ausschlusskriterium steht in ErwG 12: Demnach sind Softwaresysteme, „die ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen“ von der Definition von KI-Systemen exkludiert. Ein Excel-Makro, das lediglich von einem Menschen vorprogrammierte, erwartbare Schritte ausführt, wäre dementsprechend kein KI-System; ein auf der Basis von großen Sprachmodellen entwickeltes Übersetzungstool hingegen schon.

Unabdinglich wird in jedem Fall das Erstellen eines kontinuierlich aktualisierten Inventars an KI-Systemen, ähnlich dem Verzeichnis von Verarbeitungstätigkeiten gem. DS‑GVO, um Beschäftigte bei der Klassifizierung von KI-Systemen zu unterstützen und einen umfassenden Überblick über den Einsatz von KI-Systemen im Unternehmen zu gewährleisten. Hierauf wird in Abschnitt IV. dieses Aufsatzes als Teil der Auflistung relevanter Best Practices näher eingegangen.

2. Rolle der Organisation verstehen
   Sobald feststeht, dass ein KI-System entwickelt oder eingesetzt wird, müssen die verantwortlichen Beschäftigten dazu in der Lage sein, die Rolle ihrer Organisation entlang der KI-Wertschöpfungskette zu verstehen. Relevant im Zusammenhang mit Art. 4 KI‑VO ist vor allem die Unterscheidung zwischen Anbietern und Betreibern von KI-Systemen.

Anbieter von KI-Systemen sind Organisationen, die KI-Systeme entwickeln. OpenAI ist z.B. der Anbieter von dem KI-System ChatGPT. Anbieter von KI-Systemen definieren typischerweise die Zwecke, für die ihre KI-Systeme eingesetzt werden können und sollen. Diese Zwecke werden in einer entsprechenden Gebrauchsanleitung festgehalten. Die Betreiber von KI-Systemen hingegen haben keinen Einfluss auf die Art und Weise, wie ein KI-System aufgebaut ist, einschließlich der Daten, die zum Training des Systems verwendet wurden. Sie setzen das KI-System so ein, wie es ist. Sie müssen jedoch sicherstellen, dass die tatsächliche Nutzung des KI-Systems den Anweisungen des Anbieters entspricht.

So ist beispielsweise ein Unternehmen, welches das handelsübliche ChatGPT für einfache Abfragen verwendet, ein Betreiber eines KI-Systems, da keine Änderungen am ursprünglichen System vorgenommen werden. Sobald das System aber beispielsweise mit eigenen Daten weitertrainiert wird, die Zweckbestimmung des Systems geändert wird oder das KI-System unter der eigenen Handelsmarke eingesetzt wird, wird der Betreiber des KI-Systems laut Art. 25 Abs. 1 KI‑VO selbst zum Anbieter.

Warum ist die Rolle der Organisation aus Perspektive der KI-Kompetenz relevant? Dies lässt sich wieder auf ErwG 20 zurückführen, wonach „die KI-Kompetenz allen einschlägigen Akteuren der KI-Wertschöpfungskette die Kenntnisse vermitteln [sollte], die erforderlich sind, um die angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung sicherzustellen“. Dabei erfordert insbesondere Art. 3 Nr. 56 KI‑VO ein Bewusstsein „der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann“. Welche Kenntnisse jeweils relevant sind, um die Chancen und Risiken sowie möglichen Schäden von KI zu beurteilen und bestenfalls vorsorglich einzudämmen, hängt maßgeblich von der Rolle des Unternehmens und dem konkreten Anwendungsfall ab. Was das in der Praxis bedeutet, zeigen die folgenden zwei Fallbeispiele aus dem Bereich Marketing und der medizinischen Bildauswertung.

3. Chancen, Risiken und mögliche Schäden erkennen

a) Fallbeispiel 1: KI im Marketing

Marketing ist einer der geläufigsten Bereiche, in denen KI und insbesondere generative KI-Anwendungen heute eingesetzt werden, sei es bei der Erstellung und Bearbeitung von Texten, z.B. für soziale Medien, oder bei der Generierung von Bildern für Branding und Werbung. Welche Regeln gelten laut KI‑VO für den Einsatz von KI im Marketing? Welche Chancen, Risiken und potenzielle Schäden sind mit dem Einsatz von KI im Marketing verbunden, und wie können diese minimiert werden?

Die einschlägigen Bestimmungen für die gängigsten Anwendungen von KI im Marketing sind in Art. 50 der KI‑VO aufgeführt. Der Art. unterscheidet dabei zwischen den Verantwortlichkeiten von Anbietern und Betreibern von KI-Systemen. Laut Art. 50 Abs. 1 KI-VO müssen Anbieter von KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, dafür sorgen, dass die KI-Systeme „so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich“.

Darüber hinaus müssen gem. Art. 50 Abs. 2 KI-VO Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, sicherstellen, dass die Ergebnisse der KI-Systeme als künstlich erzeugt oder manipuliert erkennbar sind. Beispiele dafür finden sich neuerdings z.B. auf dem sozialen Netzwerk LinkedIn, wo künstlich erzeugte Bilder mit entsprechenden Inhaltsnachweisen versehen sind.

Die meisten Unternehmen, die KI im Marketing einsetzen, tun dies jedoch in ihrer Eigenschaft als Betreiber von KI-Systemen, z.B. indem sie KI-Systeme wie ChatGPT oder Dall-E zur Erstellung oder Bearbeitung von Texten oder Bildern verwenden. Bei der Erstellung oder Bearbeitung von Texten mit Hilfe von KI, z.B. eines LinkedIn-Posts, muss nicht angegeben werden, dass KI verwendet wurde, allerdings könnten Unternehmen erwägen, freiwillig Disclaimer hinzuzufügen, z.B. mit einem Hashtag #aiassisted oder ✨-Emoji. Die KI‑VO verpflichtet Unternehmen jedoch nicht dies zu tun, es sei denn, eine Organisation setzt KI ein, um Texte zu generieren oder zu manipulieren, die zu dem Zweck veröffentlicht werden, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, z.B. über Gesundheits- oder andere Notfälle. Die KI‑VO schreibt in Art. 50 Abs. 4 allerdings vor, dass Betreiber von KI-Systemen, die Bild-, Audio- oder Videoinhalte erzeugen oder bearbeiten, die ein Deepfake darstellen, offenlegen, dass die Inhalte künstlich erzeugt wurden.

Transparenz in Bezug auf künstlich erzeugte Bild-, Audio- oder Videoinhalte könnte aber auch aus Marken- und Marketingperspektive als Hygienemaßnahme betrachtet werden.

Welche Chancen, Risiken und potenziellen Schäden sind aus Sicht der KI-Kompetenz mit dem Einsatz von KI-Systemen im Marketing verbunden? Zu den Chancen des Einsatzes von KI-Systemen im Marketing gehören Effizienz- und Qualitätsgewinne, da Inhalte schneller erstellt und automatisch auf z.B. Rechtschreibfehler und Verbesserungspotenziale überprüft werden können. Zu den Risiken des Einsatzes von KI-Systemen im Marketing gehören schlecht gepromptete und unzureichend geprüfte Inhalte, die ungenau oder irreführend sein können. Unternehmen sollten auch vermeiden, personenbezogene oder anderweitig sensible Geschäftsdaten in die Eingabeaufforderungen aufzunehmen, zumal damit ansonsten auch Anforderungen aus Datenschutz und Informationssicherheit verbunden sind. Zu den potenziellen Schäden des Einsatzes von KI im Marketing gehört, dass Kunden und andere Stakeholder, die mit dem KI-System interagieren, mit ungenauen oder irreführenden Informationen versorgt werden, was zu Haftungsansprüchen führen und das Vertrauen untergraben kann. Diese Risiken und Schäden können durch Unternehmensrichtlinien zur angemessenen Nutzung von Daten in KI-Anwendungen, durch eine sorgfältige Prüfung der Eingaben und Ausgaben von KI-Systemen und durch eine angemessene menschliche Aufsicht, z.B. durch die Überprüfung von Inhalten vor ihrer Veröffentlichung, verringert werden.

b) Fallbeispiel 2: KI in der medizinischen Bildauswertung

Auch in der Medizin werden zunehmend KI-Systeme eingesetzt, um die Diagnostik und Behandlung von Krankheitsfällen zu beschleunigen und zu verbessern. Dazu zählen KI-Systeme, die dazu eingesetzt werden, um automatisch Anomalien in medizinischen Bildern zu erkennen, z.B. Tumoren. Nun stellt sich für einen Anbieter eines solchen Systems zunächst die Frage, welche Algorithmen sich am besten zur Erkennung von Tumoren eignen und mit welchen Daten der Algorithmus trainiert werden muss, damit das System diesen Zweck erfüllt. Und mit Hinblick auf die Anforderungen an die KI-Kompetenz: Welche Chancen gehen mit dem Einsatz des KI-Systems einher, aber auch welche Risiken und mögliche Schäden, die minimiert werden müssen? Die Chance dieses KI-Systems besteht darin, die medizinische Diagnostik zu verbessern und zu beschleunigen. Ein Risiko könnte beispielsweise sein, dass der Algorithmus, der zur Bilderkennung benutzt wird, mit einseitigen Daten trainiert wird, z.B. besser Tumore in männlichen als weiblichen Körpern erkennt. Ein weiteres Risiko könnte sein, dass das behandelnde medizinische Personal einem sogenannten Automatisierungsbias verfällt, also der menschlichen Tendenz, automatisierten Entscheidungsfindungssystemen blind zu vertrauen, statt diese basierend auf ihrer menschlichen Erfahrung noch mal kritisch zu hinterfragen. Der Schaden, der dabei entstehen kann, ist eine Fehldiagnose, die für die zu behandelnden Personen gravierende Folgen haben kann. Dies sind also Beispiele von Chancen, Risiken und potenziellen Schäden von KI-Systemen, derer sich Beschäftigte von Anbietern von KI-Systemen bewusst sein müssen und die sie während der Entwicklung des Systems in Betracht ziehen sollten, z.B. bei der Auswahl der Daten, um das KI-System zu trainieren, aber auch der Gestaltung der Nutzeroberfläche. Was die Systeme leisten und wie sie zweckmäßig eingesetzt werden könnten, sollte wiederum in der Gebrauchsanweisung festgehalten werden.

Betreiber von KI-Systemen hingegen müssen sicherstellen, dass Mitarbeitende nicht nur wissen, wann sie ein KI-System gemäß der Definition der KI‑VO zum Einsatz bringen, sondern auch wie sie dieses im Einklang mit der von dem Anbieter des KI-Systems zur Verfügung gestellten Gebrauchsanweisung tun. Denn, wie oben schon erläutert, sobald eine wesentliche Änderung an der Natur oder den Zwecken eines KI-Systems vorgenommen wird oder ein Unternehmen ein KI-System unter seinem eigenen Namen oder seiner eigenen Marke einsetzt, wird es selbst vom Betreiber zum Anbieter dieses Systems, mit all den Pflichten, die damit einhergehen. Darüber hinaus könnte sich ein Unternehmen strafbar machen, wenn KI-Systeme entgegen der Gebrauchsanleitung des Anbieters missbräuchlich zum Einsatz kommen.

Die Chancen, Risiken und potenziellen Schäden, die mit dem Betrieb eines KI-Systems einhergehen, sind natürlich kontextspezifisch. Doch um bei dem Beispiel des KI-Systems zur Diagnose von Tumoren zu bleiben: Gegen das Risiko eines mit unzureichenden oder unzureichend repräsentativen Datenbasis kann der Betreiber eines handelsüblichen KI-Systems nichts machen, es sei denn natürlich, er trainiert es mit eigenen Daten weiter. In dem Fall wird er, wie gesagt, selbst zum Anbieter des KI-Systems, mit all den Pflichten, die damit einhergehen. Gegen das Risiko des Automatisierungsbias hingegen kann ein Betreiber von einem KI-System schon Maßnahmen ergreifen, z.B. das medizinische Personal, welches das KI-System zum Einsatz bringt, schulen und anweisen, die Ergebnisse des Systems kritisch zu hinterfragen. Die potenziellen Schäden des Betriebs dieses KI-Systems umfassen einerseits den schon genannten potenziellen Schaden einer medizinischen Fehldiagnose, aber auch eine Untergrabung der Expertise des medizinischen Fachpersonals.

c) Zwischenfazit

Was bedeuten die vorhergegangenen Illustrationen für die Grundanforderungen der KI-Kompetenz gem. Art. 4? Zunächst müssen Beschäftigte erkennen, wann sie mit einem KI-System interagieren und welche Rolle ihr Unternehmen in Bezug auf das KI-System spielt. Ist das Unternehmen ein Anbieter oder ein Betreiber des KI-Systems? Zweitens müssen Beschäftigte verstehen, welche Verantwortlichkeiten mit dieser Rolle verbunden sind: Wenn das Unternehmen Anbieter des KI-Systems ist, müssen die Algorithmen und Daten, die zur Entwicklung des KI-Systems verwendet werden, sorgfältig ausgewählt sein, die bei der Entwicklung des KI-Systems getroffenen Entscheidungen ordnungsgemäß dokumentiert und das KI-System von einer relevanten und angemessenen Gebrauchsanweisung begleitet werden. Wenn das Unternehmen andererseits das KI-System als Betreiber einsetzt, muss sichergestellt werden, dass Beschäftigte das KI-System gemäß den Anweisungen des Anbieters verwenden und Beschäftigte sich auch der Grenzen der Einsatzmöglichkeiten bewusst sind.

4. Hochrisiko-KI-Systeme unterscheiden

Welche besonderen Anforderungen an die KI-Kompetenz gehen mit dem Betrieb von Hochrisiko-Systemen einher? Auch wenn, wie oben schon erläutert, die KI‑VO in Art. 26 und ErwG 91 noch mal gesondert hervorhebt, dass Betreiber von Hochrisiko-KI-Systemen sicherstellen sollten, dass Hochrisiko-KI-Systeme gemäß der Gebrauchsanleitung verwendet werden und eine angemessene menschliche Aufsicht gewährleistet wird, so stellt dies eher eine Hervorhebung der Grundanforderung an die KI-Kompetenz als eine gesonderte Aufforderung dar: Zweifelsohne müssen auch Betreiber regulärer KI-Systeme als elementarer Teil der KI-Kompetenz sicherstellen, dass die Systeme ausschließlich im Einklang mit der Anleitung der jeweiligen Anbieter genutzt werden. Trotzdem sollten Beschäftigte dazu in der Lage sein, Hochrisiko-KI-Systeme von regulären KI-Systemen zu unterscheiden, da die Entwicklung und der Betrieb dieser Systeme auch unabhängig von Art. 4 bzw. Art. 26 KI‑VO mit hohen Auflagen verbunden ist.

III. Schnittstellen mit der DS‑GVO

Welche Schnittstellen oder Überschneidungen gibt es zwischen den Schulungsanforderungen der KI‑VO und der DS‑GVO? In der DS‑GVO gibt es keine dezidierte Forderung der „Datenschutzkompetenz“ von Beschäftigten analog zur Anforderung der KI-Kompetenz laut Art. 4 KI‑VO. Gleichzeitig wird man aber auch, um den Pflichten der DS‑GVO gerecht zu werden, nicht umhinkommen, seine Mitarbeitenden entsprechend zu schulen. Dies ergibt sich beispielsweise aus Art. 39 Nr. 1 a) DS‑GVO, wonach der Datenschutzbeauftragte nicht nur den Verantwortlichen oder Auftragsverarbeiter, sondern auch Beschäftigte hinsichtlich ihrer Pflichten unter der Verordnung unterrichten und beraten muss. Dass der Verantwortliche dafür sorgt, dass Beschäftigte oder Dienstleister, die in seinem Auftrag personenbezogene Daten verarbeiten, dies im Einklang mit den Vorgaben der Regulierung tun, und dafür geeignete technische und organisatorische Maßnahmen trifft, lässt sich auch aus Artt. 5 Nr. 2 und 32 DS‑GVO ableiten. Denn, egal ob es um die Einhaltung der KI‑VO oder DS‑GVO geht: Letztlich steht und fällt die Gesetzeskonformität auch mit dem Reifegrad der jeweiligen Compliance-Kultur. Dafür braucht es ein Grundverständnis der rechtlichen Anforderungen sowie adäquate Dokumentation. Beachtenswert ist dabei, dass die DS‑GVO gem. Art. 37 die Benennung eines Datenschutzbeauftragten vorsieht, die KI‑VO allerdings kein vergleichbares Erfordernis der Bestellung eines KI-Beauftragten enthält. Andererseits werden auch Organisationen, die in den Anwendungsbereich der KI‑VO fallen, in der KI‑VO versiertes Fachpersonal einstellen müssen, das wiederum dabei helfen kann, sicherzustellen, dass Beschäftigte über relevante, inklusive kontextspezifische, KI-Kenntnisse im Einklang mit Art. 4 verfügen.

Sofern personenbezogene Daten in KI-Systemen verarbeitet werden, greifen natürlich sowohl die KI‑VO als auch die DS‑GVO. Ein Bewusstsein der Grundanforderungen der verantwortungsvollen Datenverarbeitung beider Gesetzestexte unter Beschäftigten ist für die konsequente Einhaltung der Rechtsvorschriften unabdinglich. Diese lassen sich in der DS‑GVO insbesondere von den Grundsätzen für die Verarbeitung personenbezogener Daten in Art. 5 ableiten und in der KI‑VO von den Anforderungen an hochriskante Systeme in Kapitel III Abschnitt 2. Letztere sind aber, wie der Titel schon suggeriert, nur für Hochrisiko-KI-Systeme verpflichtend, während Art. 5 DS‑GVO für jegliche Verarbeitung personenbezogener Daten in der EU gilt. Gleichsam sieht Art. 95 Nr. 1 KI‑VO „die Ausarbeitung von Verhaltenskodizes [vor], einschließlich damit verbundener Governance-Mechanismen, mit denen die freiwillige Anwendung einiger oder aller in Kapitel III Abschnitt 2 genannten Anforderungen auf KI-Systeme, die keine Hochrisiko-KI-Systeme sind, gefördert werden soll“.

Ein praxisorientierter Compliance-Ansatz sollte sich daher mit der Frage auseinandersetzen, ob und inwiefern die Umsetzung der jeweiligen Anforderungen der KI‑VO und DS‑GVO miteinander kombiniert werden können. Darum geht es unter anderem in dem nächsten Teil der Best Practices.

IV. Best Practices für die Umsetzung

Um die Umsetzung von KI-Kompetenz im Unternehmen zwischen KI‑VO und DS‑GVO zu erleichtern, bieten sich eine Reihe an Best Practices an. Diese werden im Folgenden als Empfehlung ausgesprochen und umfassen

1. Grundkenntnisse relevanter Begrifflichkeiten,

2. einen umfassenden Überblick über die Datenverarbeitung in KI-Systemen,

3. ein besonderes Augenmaß bei einer Datenverarbeitung, die mit einem hohen Grundrechtsrisiko einhergeht, und

4. kontextangemessene menschliche Aufsicht.

5. Grundkenntnisse relevanter Begrifflichkeiten

Beschäftigte müssen dazu in der Lage sein, sowohl personenbezogene Daten gem. Art. 4 Nr. 1 DS‑GVO als auch KI-Systeme gem. Art. 3 Nr. 1 KI‑VO zu erkennen. Unternehmen sollten ihren Beschäftigten anhand konkreter, bestenfalls kontextrelevanter, Beispiele erläutern, wann sie es mit einem KI-System gem. Art. 3 Nr. 1 KI-VO zu tun haben und wann nicht. Hierbei können zumindest perspektivisch auch entsprechende Leitlinien der Europäischen Kommission, die zu erstellen sie nach Art. 96 Abs. 1 UAbs. 1 S. 1 lit. f) KI-VO verpflichtet ist, behilflich sein.

1. Umfassender Überblick über die Datenverarbeitung in KI-Systemen

Analog zum Verzeichnis von Verarbeitungstätigkeiten, wie es Art. 30 DS‑GVO verlangt, sollten Unternehmen auch ein laufend aktualisiertes Inventar an KI-Systemen führen. Dies kann mehrere Zwecke erfüllen: Erstens bietet es Beschäftigten konkrete Beispiele an KI-Systemen aus dem gelebten Unternehmensalltag, an denen sie sich beim Einsatz bestehender oder der Klassifizierung neuer KI-Systeme orientieren können. Zweitens ermöglicht es Unternehmen, einen Überblick über die jeweiligen Verantwortlichkeiten zu behalten, die mit der Entwicklung oder dem Betrieb des KI-Systems einhergehen. Unternehmen könnten z.B. als Teil des Inventars festhalten, in welchem Fachbereichen das KI-System eingesetzt wird bzw. werden darf, ob es in dem Fall als Anbieter oder Betreiber des KI-Systems agiert, ob es sich um ein Hochrisiko-KI-System handelt und welche Pflichten und Verantwortlichkeiten mit der Entwicklung oder dem Betrieb des KI-Systems einhergehen. Sofern auch personenbezogene Daten in dem KI-System verarbeitet werden bzw. verarbeitet werden dürfen, kann eine direkte Verknüpfung mit dem Verzeichnis von Verarbeitungstätigkeiten nach Art. 30 DS‑GVO geschaffen werden. Zu guter Letzt könnten sowohl das Inventar als auch das Verzeichnis mit einem Genehmigungsprozess für die Inbetriebnahme neuer KI-Systeme verbunden werden. So könnten Beschäftigte beispielsweise über eine Nutzerschnittstelle anfragen, ob sie ein neues KI-System für bestimmte Anwendungsbereiche entwickeln oder einsetzen dürfen. In diesem Zusammenhang könnten auch schon einige grundlegende Fragen abgefragt werden, z.B. ob personenbezogene Daten im KI-System verarbeitet werden sollen, ob es sich um einen Hochrisiko-Anwendungsbereich handelt und welche Chancen, Risiken und potenzielle Schäden mit dem Einsatz des KI-Systems einhergehen. Somit gibt es auch eine kontinuierlich aktualisierte Dokumentation.

1. Besonderes Augenmaß bei Hochrisiko-Datenverarbeitung

Besondere Vorkehrungen sollten getroffen werden, um eine rechtskonforme Datenverarbeitung im Kontext von Hochrisiko-KI-Systemen zu ermöglichen. Vor allem im Hochrisikobereich wird es Überschneidungen zwischen den Anforderungen der DS‑GVO und denen der KI‑VO geben. Betrachtet man beispielsweise die Liste an Hochrisiko-KI-Systemen in Annex III KI‑VO, so scheint es geradezu unabdingbar, dass mindestens im Zusammenhang mit dem Einsatz von KI-Systemen in der biometrischen Fernidentifizierung oder Kategorisierung, im Bildungs- oder Beschäftigungsbereich, bei der Inanspruchnahme wesentlicher privater oder öffentlicher Dienste und Leistungen, in der Strafverfolgung, im Migrations-, Asyl- und Grenzkontrollmanagement oder in der Rechtspflege und demokratischen Prozessen auch eine Verarbeitung personenbezogener Daten vorgesehen sein wird, inklusive besonderer Kategorien personenbezogener Daten nach Art. 9 DS‑GVO. Beim Einsatz von Hochrisiko-KI in Einrichtungen des öffentlichen Rechts oder privaten Stellen, die öffentliche Dienstleistungen erbringen, muss dabei laut Art. 27 KI‑VO zusätzlich eine Grundrechte-Folgenabschätzung durchgeführt werden, die mit einer Datenschutz-Folgenabschätzung vergleichbar ist. Auch hier bietet es sich an, Schnittstellen zu erzeugen.

1. Kontextangemessene menschliche Aufsicht

Für die Einhaltung und ordnungsgemäße Durchsetzung der KI‑VO ist eine kontextangemessene menschliche Aufsicht von KI-Systemen unabdingbar. Auch dies muss Ziel der Vermittlung der KI-Kompetenz sein, nicht zuletzt, weil die Pflicht wirksamer menschlicher Aufsicht im Zusammenhang mit Hochrisiko-KI-Systemen in Artt. 14 und 26 explizit hervorgehoben wird. Insbesondere die in Art. 14 genannten Maßnahmen, beispielsweise zur Vermeidung eines Automatisierungsbias, der explizit in Art. 14 Abs. 4 lit. b) genannt wird, erleichtern den sachkundigen Einsatz von KI-Systemen, so wie es auch die Definition der KI-Kompetenz in Art. 3 Nr. 56 verlangt, erheblich und helfen Beschäftigten, die Risiken und potenziellen Schäden, die mit dem Einsatz von KI-Systemen einhergehen, zu minimieren.

V. Fazit

KI-Kompetenz laut Art. 4 KI‑VO ist eine umfassende Pflicht, die bereits zum 1. Februar 2025, im Zusammenhang mit den Allgemeinen Bestimmungen aus Kapitel 1, in Kraft tritt. Dabei müssen Beschäftigte, über kontextspezifische Anforderungen hinaus, mindestens dazu in der Lage sein, KI-Systeme, so wie sie die KI‑VO definiert, zu erkennen, die Rolle der beauftragenden Organisation entlang der KI-Wertschöpfungskette verstehen, und die Chancen, Risiken und mögliche Schäden, die mit dem Einsatz von KI-Systemen einhergehen, zu erkennen. Dabei gibt es Synergien zwischen KI‑VO und DS‑GVO, die es sich zu heben lohnt, insbesondere zwischen Schulungskonzepten, Verarbeitungsverzeichnissen und den jeweiligen Folgenabschätzungen. Unternehmen, die in den Anwendungsbereich der KI‑VO fallen, ist zu raten, schon jetzt technische und organisatorische Maßnahmen zu ergreifen, um ihren Beschäftigten ausreichende KI-Kenntnisse zur ordnungsgerechten Durchführung der KI‑VO zu vermitteln.