Die KI-VO verfolgt einen risikobasierten Ansatz (siehe auch Teil 1 der Beitragsserie zur Klassifizierung von KI-Systemen Die EU-KI-Verordnung kommt – ein erster Überblick). Praktiken, die ein unannehmbares Risiko beinhalten, sind generell verboten (Art. 5 KI-VO). Daneben bestehen Anforderungen für Hochrisiko-KI-Systeme (Kapitel 3 KI-VO), KI-Systeme mit allgemeinem Verwendungszweck (Kapitel 5 KI-VO) und weitere KI-Systeme (Kapitel 4 KI-VO). Je nachdem, in welcher Rolle Unternehmen und Organisationen innerhalb der Wertschöpfungskette eines KI-Systems aktiv sind – sei es als Anbieter, Betreiber, Einführer oder Händler –, gelten unterschiedliche Anforderungen und Verpflichtungen. Sie sollen das Vertrauen in die Wertschöpfungskette stärken und den sicheren und verantwortungsvollen Einsatz von KI sicherstellen.
Was müssen die einzelnen Stakeholder tun?
1. Verbotene Praktiken
Betroffen sind beispielsweise Beeinträchtigungen der Entscheidungsfreiheit, „social scoring“ oder Emotionserkennung am Arbeitsplatz. Das Verbot des Einsatzes von KI zu bestimmten Praktiken gem. Art. 5 KI-VO knüpft an das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI‑Systems an und betrifft somit alle Akteure entlang der KI-Wertschöpfungskette. KI-Systeme mit derartigen Zwecken dürfen nicht in Verkehr gebracht oder eingesetzt werden. Die Kommission wird zu diesen Verboten noch Leitlinien herausgeben, um den Umgang damit zu erleichtern.
2. Hochrisiko-KI-Systeme
Das Herzstück der Verordnung sind die Anforderungen hinsichtlich Hochrisiko-KI-Systemen. Im Ergebnis dürften über die Hälfte der Anforderungen aus der KI-VO nur für solche Hochrisiko-KI-Systeme gelten. Wird ein KI-System gemäß Art. 6 KI-VO als Hochrisiko-KI-System eingestuft, folgt das Pflichtenprogramm der entsprechenden Position in der KI-Wertschöpfungskette.
a. Anbieter (Provider)
Betroffen sind insbesondere Anbieter von Hochrisiko-KI-Systemen. Anbieter sind natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System entwickeln oder entwickeln lassen und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nehmen (Art. 3 Nr. 3 KI-VO), wobei auch Betreiber, Händler oder Einführer gegebenenfalls als Anbieter gelten können (Art. 25 KI-VO).
Ihr Pflichtenkatalog ergibt sich insbesondere aus Art. 16 KI-VO. Die wesentlichen drei Anforderungen an Anbieter von Hochrisiko-KI-Systemen sind (1) die Sicherstellung, dass das Hochrisiko-KI-System die es betreffenden Anforderungen einhält, (2) der Anbieter ein Qualitätsmanagement nach Art. 17 KI-VO betreibt und (3) das Hochrisiko-KI-System dem betreffenden Konformitätsbewertungsverfahren nach Art. 43 KI-VO unterzieht, die Konformitätserklärung ausstellt und die damit verbundene CE-Kennzeichnung anbringt. Dabei können die Anbieteranforderungen grundsätzlich als solche kategorisiert werden, die direkt an oder in dem Hochrisiko-KI-System umzusetzen sind, oder als solche organisatorischer Natur, die sich an den Anbieter selbst richten. Die Pflichten erstrecken sich auch, teils punktuell, über den gesamten KI-Lebenszyklus, sprich von der Entwicklung (vor dem Inverkehrbringen) über das Inverkehrbringen selbst bis hin zur Nutzung und und schließlich zum Stilllegen (nach dem Inverkehrbringen). Damit sind kontinuierliche Compliance-Anstrengungen von Unternehmen und Organisationen, die als Anbieter agieren, erforderlich.
Pflichten von Anbietern vor dem Inverkehrbringen eines Hochrisiko-KI-Systems
Die Pflichten vor Inverkehrbringen setzen bei der Entwicklung des jeweiligen KI-Systems an. Dabei müssen Hochrisiko-KI-Systeme nach Art. 8 KI-VO die Anforderungen der Art. 9–15 KI-VO, unter Rechnungstragung ihrer Zweckbestimmung und des allgemein anerkannten Standes der Technik in Bezug auf KI und KI-bezogene Technologien, erfüllen. Handelt es sich um ein Hochrisiko-KI-System, das Teil eines Produkts ist, das den in Anhang I Abschnitt A aufgeführten Harmonisierungsvorschriften der Union unterliegt, so müssen auch die Anforderungen aus der Harmonisierungsvorschrift eingehalten werden.
Die Pflichten an das Hochrisiko-KI-System selbst sind die folgenden:
Einrichtung, Anwendung, Dokumentation und Aufrechterhaltung eines Risikomanagementsystems für Hochrisiko-KI-Systeme als kontinuierlicher iterativer Prozess, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert (Art. 9 KI-VO)
Verwendung von Datensätzen für das Training von KI-Modellen in Hochrisiko-KI-Systemen, die den in der Verordnung aufgestellten Datenqualitätskriterien entsprechen, und Etablierung geeigneter Daten-Governance- und entsprechender Verwaltungssysteme (Art. 10 KI-VO)
ebenfalls in der Phase der Entwicklung Berücksichtigung, dass der Betrieb des KI-Systems hinreichend transparent umgesetzt werden kann, damit die Betreiber die Ausgaben eines Systems angemessen interpretieren und verwenden können (Art. 13 Abs. 1b)
Konzeptionierung und Entwicklung des Hochrisiko-KI-Systems dahin gehend, dass es ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreicht und in dieser Hinsicht während des gesamten Lebenszyklus beständig funktioniert (Art. 15 KI-VO)
Aus organisatorischer Sicht muss der Anbieter ein Qualitätsmanagement nach Art. 17 KI-VO etablieren, das die Einhaltung der KI-VO gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert. Art. 17 Abs. 1 KI-VO enthält eine Mindestauflistung der Aspekte, die das System leisten muss.
Daneben hat der Anbieter oder gegebenenfalls sein Bevollmächtigter vor dem Inverkehrbringen oder der Inbetriebnahme eines Hochrisiko-KI‑Systems sich und sein System in einer EU-Datenbank für Hochrisiko-KI-Systeme zu registrieren (Art. 49 KI-VO).
Die Konformitätsbewertung als Pflicht für das Inverkehrbringen
Um die Einhaltung all dieser Pflichten zu versichern und damit ein hohes Maß an Vertrauenswürdigkeit zu gewährleisten, ist es für Anbieter von Hochrisiko-KI-Systemen ebenfalls verpflichtend, vor dem Inverkehrbringen oder der Inbetriebnahme und im Falle von wesentlichen Änderungen nach diesen Zeitpunkten entweder selbst oder durch eine notifizierte Stelle ein Konformitätsbewertungsverfahren durchzuführen (Art. 16 lit. F KI-VO). Zudem muss eine EU-Konformitätserklärung, mit der die Verantwortung für die Einhaltung der Pflichten übernommen wird, abgegeben (Art. 47 KI-VO) und eine CE-Kennzeichnung an dem Hochrisiko-KI-System angebracht werden (Art. 48 KI-VO). Im dritten Teil der Beitragsserie beleuchten wir das Konformitätsbewertungsverfahren im Detail.
Pflichten von Anbietern nach dem Inverkehrbringen eines Hochrisiko-KI-Systems
Auch nach dem Zeitpunkt des Inverkehrbringens oder der Inbetriebnahme sind Anbieter von Hochrisiko-KI-Systemen zu Maßnahmen verpflichtet. Sie müssen ein System zur Beobachtung einrichten (Art. 72 KI-VO) und schwerwiegende Vorfälle während des Betriebs den zuständigen Behörden melden (Art. 73 KI-VO), damit rechtzeitig etwaige Korrekturmaßnahmen ergriffen werden können. Außerdem bestehen Aufbewahrungspflichten hinsichtlich der technischen Dokumentation (Art. 18 KI-VO) und der automatisch erzeugten Protokolle (Art. 19 KI-VO). Sollte sich nach dem Inverkehrbringen herausstellen, dass die Konformität mit den bereits erörterten Pflichten nicht mehr gegeben ist, so haben die Anbieter die Konformität ihres Hochrisiko-KI-Systems unverzüglich wiederherzustellen oder es andernfalls zurückzurufen, zu deaktivieren oder zurückzunehmen (Art. 20 KI-VO). Auf begründete Anfrage der zuständigen Behörde müssen auch sämtliche Informationen und Dokumentationen übermittelt werden, um die Rechtskonformität nachzuweisen (Art. 21 KI-VO).
b. Betreiber (Deployer)
Betreiber ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet (Art. 3 Nr. 4 KI-VO). Für Betreiber von Hochrisiko-KI-Systemen besteht die Pflicht, technische und organisatorische Maßnahmen zu treffen, um die korrekte Verwendung und Überwachung gemäß der Betriebsanleitung zu gewährleisten (Art. 26 Abs. 1 und 5 KI-VO) und sofern die Eingabedaten ihrer Kontrolle unterliegen, dafür zu sorgen, dass sie der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen (Art. 26 Abs. 4 KI-VO). Die Aufsicht über die Hochrisiko-KI-Systeme muss Menschen übertragen werden, die die erforderliche Kompetenz und Ausbildung dazu besitzen (Art. 26 Abs. 2, Art. 4 KI-VO). Darüber hinaus besteht eine Reihe von Informationspflichten gegenüber Betroffenen und Behörden. Sofern sie dazu aufgrund Art. 35 DSGVO verpflichtet sind, führen Betreiber eine Datenschutz-Folgenabschätzung durch. Bestimmte Betreiber, etwa Einrichtungen des öffentlichen Rechts, müssen außerdem eine Grundrechte-Folgenabschätzung durchführen (Art. 27 KI-VO).
c. Händler und Einführer
Händler und Einführer sind verpflichtet, vor dem Bereitstellen oder Inverkehrbringen die Konformität der Hochrisiko-KI-Systeme mit den Pflichten zu überprüfen (Art. 23, 24 KI-VO). Dabei dienen das von den Anbietern durchzuführende Konformitätsbewertungsverfahren und die CE-Kennzeichnung als „Passierschein“. Händler und Einführer kommen ihren Pflichten dadurch nach, dass sie überprüfen, ob ein Konformitätsverfahren durchgeführt wurde und die entsprechende Dokumentation vorhanden ist.
3. Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme
Für Anbieter und Betreiber bestimmter KI-Systeme gelten außerdem spezifische Transparenzpflichten, die ab der ersten Interaktion der betreffenden Personen mit dem System zu erfüllen sind (Art. 50 KI-VO).
So müssen Anbieter von KI-Systemen, die für die direkte Interaktion mit Menschen bestimmt sind, die betreffenden Personen darüber informieren, dass sie mit einem KI-System interagieren oder wenn das KI-System synthetische Audio-, Bild-, Video- oder Textinhalte erzeugt, dass es sich um von KI-Systemen erzeugte Inhalte handelt (Art. 50 Abs. 1 f. KI-VO).
Ebenfalls über den Einsatz des KI-Systems informieren müssen Betreiber eines Emotionserkennungssystems die davon betroffenen Personen. Betreiber von KI-Systemen, die Deep Fakes erzeugen, müssen offenlegen, dass es sich um künstlich erzeugtes Material handelt (Art. 50 Abs. 3 f. KI-VO).
4. KI-Systeme mit allgemeinem Verwendungszweck – GPAI
KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI, kurz: GPAI) werden danach unterschieden, ob sie ein systemisches Risiko beinhalten oder nicht (Art. 51 KI-VO).
Anbieter von GPAI ohne systemisches Risiko müssen eine technische Dokumentation erstellen und „up to date“ halten, um sie dem neu eingerichteten Büro für Künstliche Intelligenz zur Verfügung zu stellen. Sie müssen ferner anderen Anbietern, die ihr KI-Modell in ihr KI-System integrieren wollen, Informationen zu dem Modell bereitstellen. Darüber hinaus muss bei generativen GPAI-Modellen eine Strategie zur Einhaltung des Urheberrechts erstellt werden. Zuletzt muss auch eine detaillierte Zusammenfassung der Inhalte, die für das Training verwendet werden, erstellt und veröffentlicht werden (Art. 53 KI-VO).
Anbieter von GPAI mit systemischem Risiko müssen zusätzlich eine Modellbewertung durchführen, um Risiken, die sich aus der Verwendung ergeben können, zu bewerten und zu mindern. Zudem müssen sie schwerwiegende Vorfälle dokumentieren und an die EU-Kommission berichten sowie ein angemessenes Maß an Cybersicherheit gewährleisten (Art. 55 KI-VO).
EY Law Insight
Eines der wichtigsten Instrumente zur Umsetzung der zuvor genannten Anforderungen werden Standards, Verhaltenskodizes und Leitlinien sein. Hier bleibt abzuwarten, wann beispielsweise das Büro für Künstliche Intelligenz oder andere Stellen und Einrichtungen derartige Instrumente veröffentlichen.
Es gibt es bereits Normen wie die ISO 42001 für „AI management systems“. Bisher stellen solche Normen aber nur Standards und Methoden für einzelne Anforderungen der KI-VO wie beispielsweise das Risikomanagement (ISO 23894) dar und sind kein Nachweis für ganzheitliche KI-Compliance von Unternehmen oder einzelnen KI-Systemen.
Unternehmen und Organisation, die KI-Systeme entwickeln oder einsetzen, benötigen darüber hinaus einen ganzheitlichen Ansatz, um sämtlichen Anforderungen gerecht zu werden. Insbesondere bei Hochrisiko-KI-Systemen sollten sie neben einem Bußgeldrisiko nicht auch das wesentlich gravierendere Risiko eingehen, dass ihr Hochrisiko-KI-System durch die Marktaufsichtsbehörden vom Markt verbannt wird.
