Was ist das Gesetz über künstliche Intelligenz der Europäischen Union (KI-Gesetz der EU)?

Das KI-Gesetz der EU, das als weltweit erstes umfassendes Framework für KI gilt, verbietet einige KI-Anwendungsbereiche vollständig und legt für andere strenge Anforderungen an Governance, Risikomanagement und Transparenz fest.

Das Gesetz schafft auch Regeln für allgemeine Modelle der künstlichen Intelligenz, wie z. B. IBMs Granite und das auf Open-Source basierende Foundation Model Llama 3 von Meta.

Die Strafen können je nach Art des Verstoßes zwischen 7,5 Millionen Euro oder 1,5 % des weltweiten Jahresumsatzes und 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes liegen.

So wie die Datenschutz-Grundverordnung (DSGVO) der EU andere Nationen zur Verabschiedung von Datenschutzgesetzen inspiriert hat, gehen Experten davon aus, dass das KI-Gesetz der EU die Entwicklung von Standards in den Bereichen KI-Governance und Ethik weltweit vorantreiben wird.

Das KI-Gesetz der EU gilt für eine Vielzahl von Akteuren in der KI-Wertschöpfungskette (z. B. Anbieter, Anwender, Importeure, Händler, Produkthersteller und autorisierte Vertreter). Erwähnenswert sind die Definitionen von Anbietern, Anwendern und Importeuren im Rahmen KI-Verordnung.

Anbieter sind Personen oder Organisationen, die KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI) entwickeln oder in ihrem Auftrag entwickeln lassen und es unter ihrem Namen oder ihrer Marke auf den Markt bringen oder in Betrieb nehmen.

Das Gesetz definiert ein KI-System als ein System, das mit einem gewissen Grad an Autonomie Eingaben verarbeiten kann, um daraus Rückschlüsse auf die Erzeugung von Ausgaben zu ziehen (z. B. Vorhersagen, Empfehlungen, Entscheidungen, Inhalte), die physische oder virtuelle Umgebungen beeinflussen können. Es definiert GPAI als KI-Modelle, die eine signifikante Universalität aufweisen und in der Lage sind, ein breites Spektrum unterschiedlicher Aufgaben kompetent auszuführen, und die in eine Vielzahl von nachgelagerten KI-Systemen oder -Anwendungen integriert werden können. Ein Foundation Model ist beispielsweise eine GPAI; ein Chatbot oder ein generatives KI-Tool, das auf diesem Modell aufbaut, wäre ein KI-System.

Anwender sind Personen oder Unternehmen, die KI-Tools nutzen. Zum Beispiel wäre ein Unternehmen, das einen intelligenten Chatbot für die Bearbeitung von Kundenserviceanfragen nutzt, ein Anwender.

Importeure sind in der EU ansässige oder niedergelassene Personen und Organisationen, die KI-Systeme einer außerhalb der EU ansässigen Person oder eines Unternehmens auf den EU-Markt bringen.

Das KI-Gesetz der EU gilt auch für Anbieter und Anwender außerhalb der EU, wenn ihre KI oder das Output der KI in der EU verwendet werden.

Nehmen wir zum Beispiel an, ein Unternehmen in der EU sendet Daten an einen KI-Anbieter außerhalb der EU, der die Daten mit Hilfe von KI verarbeitet und die Ergebnisse dann an das Unternehmen in der EU zurücksendet, um sie zu nutzen. Da der Output des KI-Systems des Anbieters in der EU verwendet wird, ist der Anbieter an das KI-Gesetz der EU gebunden.

Anbieter außerhalb der EU, die KI-Services in der EU anbieten, müssen autorisierte Vertreter in der EU benennen, um die Einhaltung der Vorschriften in ihrem Namen zu koordinieren.

Der Geltungsbereich des Gesetzes ist zwar weit gefasst, aber einige Anwendungsbereiche der KI sind davon ausgenommen. Die rein persönliche Nutzung von KI und KI-Modellen und -Systemen, die nur für die wissenschaftliche Forschung und Entwicklung verwendet werden, sind Beispiele für ausgenommene Einsatzmöglichkeiten von KI.

Das KI-Gesetz der EU reguliert KI-Systeme auf der Grundlage der Risikostufe. Risiko bezieht sich hier auf die Wahrscheinlichkeit und Schwere des potenziellen Schadens. Einige der wichtigsten Bestimmungen sind:

• Ein Verbot bestimmter KI-Praktiken, die als unannehmbares Risiko gelten
  
  
• Standards für die Entwicklung und die Bereitstellung bestimmter KI-Systeme mit hohem Risiko
  
  
• Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI)

KI-Systeme, die nicht in eine der Risikokategorien des KI-Gesetzes der EU fallen, unterliegen nicht den Anforderungen des Gesetzes (diese werden oft als „minimale Risikokategorie“ bezeichnet), obwohl einige von ihnen möglicherweise Transparenzverpflichtungen erfüllen müssen und sie andere bestehende Gesetze einhalten müssen.  Beispiele hierfür können E-Mail-Spam-Filter und Videospiele umfassen. Viele gängige KI-Anwendungsfälle lassen sich heute in diese Kategorie einordnen.

Es ist erwähnenswert, dass viele der Feinheiten des EU AI Acts in Bezug auf die Umsetzung noch nicht geklärt sind. So heißt es in dem Gesetz, dass die Europäische Kommission weitere Leitlinien zu einzelnen Anforderungen veröffentlichen wird, so zum Beispiel im Zusammenhang mit Plänen zur Überwachung nach dem Markteintritt und bzgl. Zusammenfassungen von Schulungsdaten.

Das KI-Gesetz der EU führt ausdrücklich bestimmte verbotene KI-Praktiken auf, die ein unannehmbares Risiko darstellen. Die Entwicklung oder Verwendung eines KI-Systems, das Menschen absichtlich zu schädlichen Entscheidungen verleitet, die sie andernfalls nicht treffen würden, wird in dem Gesetz als inakzeptables Risiko für die Nutzer angesehen und gilt als verbotene KI-Praxis.

Die EU-Kommission kann die im Gesetz enthaltene Liste der verbotenen Praktiken ändern. Dementsprechend ist es möglich, dass in Zukunft weitere KI-Praktiken verboten werden.

 Eine unvollständige Liste der verbotenen KI-Praktiken zum Zeitpunkt der Veröffentlichung dieses Artikels umfasst:

• Soziale Bewertungssysteme – Systeme, die Personen aufgrund ihres Sozialverhaltens bewerten oder klassifizieren, was zu einer nachteiligen oder ungünstigen Behandlung in einem sozialen Kontext führt, der nichts mit der ursprünglichen Datenerhebung zu tun hat und ungerechtfertigt oder unverhältnismäßig zur Schwere des Verhaltens ist
  
  
• Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, diese Instrumente werden für medizinische oder Sicherheitszwecke eingesetzt
  
  
• KI, die zur Ausnutzung der Schwachstellen von Menschen eingesetzt wird (z. B. Schwachstellen aufgrund von Alter oder Behinderung)
  
  
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsanlagen (CCTV) für Gesichtserkennungsdatenbanken
  
  
• Biometrische Identifizierungssysteme, die Personen anhand von sensiblen Merkmalen identifizieren
  
  
• Spezifische prädiktive Polizeianwendungen
  
  
• Einsatz von biometrischen Echtzeit-Fernidentifikationssystemen in der Öffentlichkeit durch die Strafverfolgungsbehörden (es sei denn, es liegt eine Ausnahme vor, wobei eine vorherige Genehmigung durch eine Justiz- oder unabhängige Verwaltungsbehörde generell erforderlich ist).

KI-Systeme werden im Rahmen des KI-Gesetzes der EU als risikoreich eingestuft, wenn es sich um ein Produkt oder eine Sicherheitskomponente eines Produkts handelt, das/die unter bestimmte EU-Gesetze fällt, auf die im Gesetz verwiesen wird, wie z. B. die Gesetze zur Sicherheit von Spielzeug und In-vitro-Diagnostika.

Das Gesetz führt auch bestimmte Verwendungszwecke auf, die generell als risikoreich gelten, darunter KI-Systeme, die wie folgt eingesetzt werden:

• in der Arbeitswelt, z. B. bei der Rekrutierung von Kandidaten, der Bewertung von Bewerbern und zum Treffen von Beförderungsentscheidungen
  
  
• in bestimmten Medizinprodukten
  
  
• in bestimmten Bereichen der allgemeinen und beruflichen Bildung
  
  
• in juristischen und demokratischen Prozessen, wie zum Beispiel Systeme, die den Ausgang von Wahlen beeinflussen sollen.
  
  
• zur Bestimmung des Zugangs zu wesentlichen privaten oder öffentlichen Diensten, einschließlich Systemen, die die Berechtigung zum Bezug öffentlicher Leistungen beurteilen und Kreditwürdigkeitsprüfungen vornehmen.
  
  
• im Management kritischer Infrastrukturen (z. B. Wasser-, Gas- und Stromversorgung usw.)
  
  
• in biometrischen Identifikationssystemen, die nicht verboten sind, mit Ausnahme von Systemen, deren einziger Zweck die Verifizierung der Identität von Personen ist (z. B. die Verwendung eines Fingerabdruckscanners, um jemandem Zugang zu einer Banking-App zu gewähren).

Für die in dieser Liste aufgeführten Systeme kann eine Ausnahme möglich sein, wenn das KI-System keine erhebliche Bedrohung für die Gesundheit, die Sicherheit oder die Rechte von Personen darstellt. Das Gesetz legt Kriterien fest, von denen eines oder mehrere erfüllt sein müssen, bevor eine Ausnahme ausgelöst werden kann (z. B. wenn das KI-System eine enge verfahrenstechnische Aufgabe erfüllen soll). Wenn sich der Anbieter auf diese Ausnahme beruft, muss er seine Bewertung dokumentieren, dass das System kein hohes Risiko darstellt. Die Aufsichtsbehörden können Einsicht in diese Bewertung verlangen. Die Ausnahmeregelung gilt nicht für KI-Systeme, die automatisch personenbezogene Daten verarbeiten, um bestimmte Aspekte des Lebens einer Person zu bewerten oder vorherzusagen, wie z. B. ihre Produktpräferenzen (Profiling), die immer als risikoreich gelten.

Wie bei der Liste der verbotenen KI-Praktiken kann die EU-Kommission auch die Liste der KI-Systeme mit hohem Risiko in Zukunft aktualisieren.

KI-Systeme mit hohem Risiko müssen besonderen Anforderungen genügen. Nachfolgend einige Beispiele:

• Implementierung eines kontinuierlichen Risikomanagementsystems zur Überwachung der KI während ihres gesamten Lebenszyklus. Von den Anbietern wird zum Beispiel erwartet, dass sie absehbare Risiken, die durch die beabsichtigte Nutzung ihrer Systeme entstehen, mindern.
  
  
• Einführung strenger Data-Governance-Verfahren, um sicherzustellen, dass die Trainings-, Validierungs- und Testdaten bestimmte Qualitätskriterien erfüllen. Zum Beispiel müssen die Datenerfassung und die Herkunft der Daten geregelt und Maßnahmen zur Vermeidung und Reduzierung von Verzerrungen ergriffen werden.
  
  
• Erstellung einer umfassenden technischen Dokumentation mit spezifischen Informationen, einschließlich der Spezifikationen des Systemdesigns, Fähigkeiten, Einschränkungen und der Einhaltung von Vorschriften.

Für bestimmte Arten von KI bestehen zusätzliche Transparenzpflichten. Einige Beispiele:

• KI-Systeme, die direkt mit Personen interagieren sollen, sollten so gestaltet sein, dass sie die Nutzer darüber informieren, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus dem Kontext ersichtlich. Ein Chatbot zum Beispiel sollte so gestaltet sein, dass er die Nutzer darauf hinweist, dass er ein Chatbot ist.
   
  
• KI-Systeme, die Text, Bilder oder bestimmte andere Inhalte erzeugen, müssen maschinenlesbare Formate verwenden, um die Ausgaben als von KI erzeugt oder bearbeitet zu kennzeichnen. Das gilt zum Beispiel für KI, die Deepfakes erzeugt – Bilder oder Videos, die so verändert wurden, dass sie jemanden zeigen, der etwas tut oder sagt, was er nicht getan oder gesagt hat.

Im Folgenden stellen wir einige Verpflichtungen für die wichtigsten Betreiber von KI-Systemen mit hohem Risiko in der KI-Wertschöpfungskette (Anbieter und Anwender) vor.

Anbieter von KI-Systemen mit hohem Risiko müssen unter anderem folgende Anforderungen erfüllen:

• Gewährleistung der Einhaltung der im Gesetz festgelegten Anforderungen für KI-Systeme mit hohem Risiko. Zum Beispiel die Einführung eines fortlaufenden Risikoverwaltungssystems.
  
  
• Einsatz eines Qualitätsmanagementsystems.
  
  
• Umsetzung von Überwachungsplänen für die Zeit nach der Markteinführung, um die Leistung des KI-Systems zu überwachen und seine kontinuierliche Einhaltung während des Lebenszyklus des Systems zu bewerten.

Anwender von KI-Systemen mit hohem Risiko werden Verpflichtungen haben, darunter:

• Ergreifung geeigneter technischer und organisatorischer Maßnahmen, um sicherzustellen, dass sie diese Systeme gemäß ihrer Gebrauchsanweisung verwenden.
  
  
• Aufzeichnung der automatisch erstellten AI-Systemprotokolle für einen bestimmten Zeitraum, soweit sich diese Protokolle unter ihrer Kontrolle befinden.
  
  
• Für Anwender, die KI-Systeme mit hohem Risiko für die Erbringung bestimmter grundlegender Dienstleistungen einsetzen (z. B. staatliche Stellen oder private Organisationen, die öffentliche Dienstleistungen erbringen), sollten vor dem erstmaligen Einsatz entsprechende Folgenabschätzungen bezüglich der Wahrung der Grundrechte durchgeführt werden.

Das KI-Gesetz der EU schafft separate Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI). Anbieter von GPAI-Modellen haben unter anderem folgende Verpflichtungen:

• Festlegung von Strategien zur Einhaltung des EU-Urheberrechts.
  
  
• Erstellung und Veröffentlichung detaillierter Zusammenfassungen der Trainingsdatensätze.

Wenn ein GPAI-Modell als systemrelevantes Risiko eingestuft wird, haben die Anbieter zusätzliche Verpflichtungen. Ein systemisches Risiko ist ein Risiko, das sich auf die hochgradig auswirkungsreichen Fähigkeiten von GPAI-Modellen bezieht, die aufgrund ihrer Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Auswirkungen auf die öffentliche Gesundheit, die öffentliche Sicherheit, die Grundrechte oder die Gesellschaft als Ganzes, die sich in großem Umfang über die gesamte Wertschöpfungskette ausbreiten können, einen erheblichen Einfluss auf den EU-Markt haben. Das Gesetz verwendet Trainingsressourcen als eines der Kriterien für die Identifizierung systemischer Risiken. Wenn die kumulative Rechenleistung, die zum Trainieren eines Modells verwendet wird, mehr als 10^25 Gleitkommaoperationen pro Sekunde (FLOPS; Floating Point Operations Per Second) beträgt, wird davon ausgegangen, dass es hohe Auswirkungen hat und ein Systemrisiko darstellt. Außerdem kann die EU-Kommission ein Modell in die Kategorie der systemischen Risiken einordnen.

Anbieter von GPAI-Modellen, die ein Systemrisiko darstellen, einschließlich freier, quelloffener Modelle, müssen einige zusätzliche Verpflichtungen erfüllen, darunter:

• Dokumentation und Meldung schwerwiegender Vorfälle an das EU KI-Amt und die zuständigen nationalen Regulierungsbehörden.
  
  
• Implementierung einer angemessenen Cybersicherheit zum Schutz des Modells und seiner physischen Infrastruktur.

Bei Nichteinhaltung der verbotenen KI-Praktiken können Unternehmen mit einer Geldstrafe von bis zu 35.000.000 EUR oder 7 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Für die meisten anderen Verstöße, einschließlich der Nichteinhaltung der Anforderungen für KI-Systeme mit hohem Risiko, können Unternehmen mit einer Geldstrafe von bis zu 15.000.000 EUR oder 3 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Bei der Übermittlung falscher, unvollständiger oder irreführender Informationen an die Behörden können Unternehmen mit einer Geldstrafe von bis zu 7.500.000 EUR oder 1 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Insbesondere sieht das KI-Gesetz der EU unterschiedliche Regeln für die Verhängung von Geldstrafen für Start-ups und andere kleine und mittlere Unternehmen vor. Für diese Unternehmen ist die Geldbuße der niedrigere der beiden oben angegebenen möglichen Beträge.

Das Gesetz trat am 1. August 2024 in Kraft, wobei verschiedene Bestimmungen des Gesetzes schrittweise in Kraft treten. Zu den wichtigsten Terminen gehören:

• Ab dem 2. Februar 2025 treten die Verbote unzulässiger KI-Praktiken in Kraft.
  
  
• Ab dem 2. August 2025 treten die Regeln für KI-Modelle mit allgemeinem Verwendungszweck für neue GPAIs in Kraft. Anbieter von GPAI-Modellen, die vor dem 2. August 2025 eingeführt wurden, haben bis zum 2. August 2027 Zeit, die Anforderungen zu erfüllen.
  
  
• Ab dem 2. August 2026 treten die Regeln für KI-Systeme mit hohem Risiko in Kraft.
  
  
• Ab dem 2. August 2027 gelten die Vorschriften für KI-Systeme, bei denen es sich um Produkte oder Sicherheitskomponenten von Produkten handelt, die durch spezifische EU-Rechtsvorschriften geregelt sind.