Der AI Act – eine kurze Einführung

Nun wird es konkret: Nach der politischen Einigung im Trilogverfahren haben Anfang Februar der Ausschuss der ständigen Vertreter des Rates und nun auch die entsprechenden Ausschüsse des Parlaments den Entwurf gebilligt. Mit dem „Gesetz über künstliche Intelligenz“ (sog. „AI Act“ bzw. „KI-VO“) möchte der EU-Gesetzgeber sicherstellen, dass KI-Systeme und Produkte, die KI-Systeme beinhalten, sicher, transparent, nachvollziehbar, nicht diskriminierend und mit den europäischen Rechten und Grundwerten vereinbar sind.

An den AI Act werden sich alle Unternehmer halten müssen, die KI-Systeme im Rahmen ihrer geschäftlichen Tätigkeit entwickeln, vertreiben oder verwenden.

Der AI Act verfolgt einen risikobasierten Ansatz. Manche Anwendungen werden verboten sein, andere stark reguliert, manche gar nicht. Je nachdem, in welchem Bereich das KI-System angewendet werden soll, haben Unternehmer daher unterschiedliche Verpflichtungen. Je höher das inhärente Risiko, desto mehr Verpflichtungen hat der Unternehmer. Auch die sogenannten General Purpose AI werden nun geregelt.

1. Verbotene Anwendungen:

KI wird in manchen Anwendungsbereichen als klare Bedrohung für die Sicherheit, die Lebensgrundlagen und die Rechte der Unionsbürger angesehen. Der AI Act verbietet daher, KI-Systeme für folgende Zwecke anzuwenden:

• unterschwellige Beeinflussung von Personen oder Gruppen von Personen
• Ausnutzung der Schutzbedürftigkeit von Personen oder Gruppen von Personen
• biometrische Kategorisierung auf Grundlage bestimmter biometrischer Daten nach sensiblen Merkmalen
• Social Scoring (Bewertung sozialen Verhaltens)
• biometrische Echtzeit-Fernidentifizierung im öffentlich zugänglichen Raum durch Strafverfolgungsbehörden, außer in genau abgegrenzten Ausnahmefällen
• ungezieltes „Scraping“ von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen, um Gesichtserkennungs-Datenbanken aufzubauen oder zu erweitern
• Emotionserkennung am Arbeitsplatz und in Bildungs­einrichtungen außer zu medizinischen oder sicherheitstechnischen Zwecken

2. Hochriskante Anwendungen:

In gewissen Bereichen können KI-Systeme ein hohes, aber akzeptables Risiko für die Gesundheit, die Sicherheit und die Grundrechte der Unionsbürger sowie die Umwelt darstellen. Der AI Act legt bestimmte Kriterien für die Einstufung eines KI-Systems als hochriskant fest.

KI-Systeme sind nach dem AI Act einerseits hochriskant, wenn

• sie regulierte Produkte oder Sicherheitskomponenten von regulierten Produkten im Sinne der in Anhang II zum AI Act aufgeführten Harmonisierungsrechtsvorschriften sind und
• daher vor Inverkehrbringen oder Inbetriebnahme einer Konformitätsbewertung durch Dritte unterzogen werden müssen.

KI-Systeme sind nach Anhang IIIweiters hochriskant, wenn sie

• mit biometrischen Daten arbeiten,
• als Sicherheitskomponenten in kritischen Infrastrukturen (z.B. Verkehr, Energieversorgung),
• in Bildungsumgebungen, Beschäftigung oder wesentlichen privaten und öffentlichen Diensten,
• in der Verwaltung von Sozialleistungen,
• in der Strafverfolgung, Verwaltung der Justiz, der Migrationskontrolle oder zur Beeinflussung demokratischer Prozesse verwendet werden sollen.

Unternehmer müssen in Anhang III aufgeführte Hochrisiko-KI-Systeme in einer EU-Datenbank der Kommission registrieren, bevor sie diese in Verkehr bringen oder in Betrieb nehmen.

KI-Systeme, die grundsätzlich unter Anhang III fallen, gelten dann nicht als hochriskant, wenn sie kein erhebliches Risiko für die Gesundheit, die Sicherheit oder fundamentale Rechte natürlicher Personen darstellen, etwa wenn das KI-System

• eine eng begrenzte Verfahrensaufgabe ausführen soll,
• ein Ergebnis einer Tätigkeit verbessern soll, die zuvor ein Mensch ausgeführt hat,
• Entscheidungsmuster oder Abweichungen von vorangegangenen Entscheidungsmustern erkennen soll und nicht dazu gedacht ist, die vorherige Beurteilung durch einen Menschen zu ersetzen oder zu beeinflussen, ohne dass ein Mensch dies überprüft oder
• eine vorbereitende Aufgabe für eine Bewertung übernehmen soll, die für die in Anhang III aufgezählten Anwendungsfälle relevant ist.

Gelangt der Unternehmer zum Ergebnis, dass ein KI-System iSd Anhangs III nicht hochriskant ist, muss er seine Beurteilung nachvollziehbar dokumentieren und sein KI-System vor Markteinführung trotzdem auch in der EU-Datenbank für in Anhang III aufgeführte Hochrisiko-KI-Systeme registrieren.

Anbieter und Betreiber von Hochrisiko-KI müssen im Wesentlichen folgende Verpflichtungen einhalten:

• Einrichtung, Implementierung, Dokumentation und laufende Aktualisierung eines Risikomanagement-Systems
• Anforderungen an Datensätze (u.a. Qualität und Relevanz) und Verwaltung der Daten
• Erstellen und laufende Aktualisierung der technischen Dokumentation für das KI-System, allenfalls einschließlich der Dokumentation, die nach den Rechtsvorschriften in Anhang II erforderlich ist
• Dokumentation der Anwendung des KI-Systems („logs“) über dessen Lebensdauer hinweg bzw. 10 Jahre nach dessen Markteinführung
• Transparenz und Informationen für Anwender des KI-Systems (u.a. Bedienungsanleitungen)
• Ermöglichen der menschlichen Überwachung des KI-Systems
• Anforderungen an die Genauigkeit, Robustheit und Cybersicherheit
• Konformitätsbewertung und Konformitätskennzeichnung
• Einrichtung und Dokumentation eines Qualitäts­management­systems
• Durchführung einer Grundrechtsfolgenabschätzung
• korrigierende Maßnahmen und anlassbezogene Information nachrangiger Verwender der KI-Systeme
• Kooperation mit den zuständigen Behörden

3. General Purpose AI (GPAI)

In den letzten Verhandlungsrunden des AI Act wurden auch Bestimmungen für Anbieter von GPAI eingeführt, also KI-Systeme, die für eine Vielzahl von Zwecken eingesetzt werden können, wie etwa generative KI. Auch hier wird risikobasiert zwischen einfachen GPAI-Systemen und GPAI-Systemenmit systemischem Risiko (Rechenleistung von über 10²⁵ FLOPs) unterschieden.

Anbieter und Betreiber von einfachen GPAI-Systemen müssen folgende Verpflichtungen beachten:

• Information von natürlichen Personen über die Interaktion mit einem GPAI-System, außer dies ist offensichtlich
• maschinenlesbare Kennzeichnung von KI-generierten bzw. -adaptierten Inhalten
• Erstellen und laufende Aktualisierung der technischen Dokumentation für das KI-System (Funktionsweise, Trainingsdaten, Entscheidungsfindungsverfahren)
• Kooperation mit den zuständigen Behörden

Anbieter und Betreiber von GPAI-Systemen mit systemischem Risiko müssen folgende zusätzliche Verpflichtungen beachten:

• Evaluierung des KI-Modells nach standardisierten Protokollen und Werkzeugen, Durchführung und Dokumentation von Gegentests zur Risikoermittlung und -minimierung
• Bewertung und Minderung möglicher systemischer Risiken
• Behebung, Verfolgung und Dokumentation relevanter Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen; Information der zuständigen Behörden
• angemessenes Niveau an Cybersicherheit

4. Sonstige KI-Systeme

Für folgende KI-Systeme gelten (zusätzlich) besondere Transparenz­verpflichtungen:

• zur unmittelbaren Interaktion mit Menschen bestimmte KI-Systeme
  • Information über die Verwendung eines KI-Systems, außer dies ist anhand der Umstände offensichtlich
• KI-Systeme, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen
  • Kennzeichnung und Erkennbarkeit der Inhalte als KI-generiert
  • Wirksamkeit, Interoperabilität, Robustheit & Zuverlässigkeit der technischen Lösungen
• KI-Systeme zur Emotionserkennung oder biometrischer Kategorisierung von Menschen
  • Information über die Verwendung von Emotionserkennung oder biometrischer Kategorisierung
• KI-Systeme, die Bild-, Audio- oder Videoinhalte erzeugen oder manipulieren, die einen Deep Fake darstellen
  • Offenlegung über künstlich erzeugte oder manipulierte Inhalte; bei Kunst, Satire oder Fiktion gilt die Offenlegungsverpflichtung nur, soweit deren Zweck dadurch nicht vereitelt wird

Diese Informationen müssen den betroffenen Menschen spätestens beim ersten Kontakt mit dem KI-System in klarer und erkennbarer Weise zugänglich sein.

Der AI Act hält Unternehmen an, selbst zu beurteilen, unter welche Kategorie ihre KI-Systeme fallen. Die Selbstbewertung dient dazu, sicherzustellen, dass KI-Systeme den Vorschriften des AI Act entsprechen, bevor sie am Markt eingeführt oder in Betrieb genommen werden.

Verstöße gegen die weitreichenden Verpflichtungen des AI Act werden mit scharfen Sanktionen geahndet: Die Anwendung verbotener KI-Systeme wird mit Geldbußen von bis zu EUR 35 Mio oder bis zu 7 % des gesamten weltweiten Jahresumsatzes bestraft. Für praktisch wohl relevantere Verstöße gegen die Anforderungen an Hochrisikosysteme drohen Strafen von bis zu EUR 15 Mio oder bis zu 3 % des gesamten weltweiten Jahresumsatzes.

Es soll aber nicht nur gestraft, sondern auch unterstützt werden: Unternehmen sollen Hochrisiko-KI-Systeme in Regulatorischen Sandboxes sowie in Reallaboren unter echten Bedingungen testen können und für gewisse Zwecke datenschutzrechtliche Erleichterungen erhalten. KMU und Startups werden bevorzugt Zugang zu Reallaboren erhalten und einem milderen Strafrahmen ausgesetzt sein.

Zwar wird davon auszugehen sein, dass viele zertifizierte KI-Lösungen auf den Markt kommen werden, die dem AI Act entsprechen. Die Möglichkeiten verschiedenster Anwendungen von KI, die notwendigen Daten und organisatorische Vorschriften erfordern jedoch, dass sich Unternehmen, die künstliche Intelligenz einsetzen oder einzusetzen planen, mit den Vorgaben des AI Act auseinandersetzen. Dazu bleibt noch Zeit, wird der AI Act zwar 20 Tage nach Veröffentlichung im Amtsblatt in Kraft treten, seine Bestimmungen werden jedoch gestaffelt erst ab 6, 9, 12, 24 und 36 Monaten gelten.

Schließlich ist der AI Act auch ein Puzzlestein in der digitalen Transformation der europäischen Gesellschaft und Wirtschaft, dessen Auswirkungen und Bedeutung heute noch schwer einzuschätzen sind.

Hinweis: Dieser Blog stellt lediglich eine generelle Information und keineswegs eine Rechtsberatung von Binder Grösswang Rechtsanwälte GmbH dar. Der Blog kann eine individuelle Rechtsberatung nicht ersetzen. Binder Grösswang Rechtsanwälte GmbH übernimmt keine Haftung, gleich welcher Art, für Inhalt und Richtigkeit des Blogs.