Was ist das Gesetz über künstliche Intelligenz der Europäischen Union (KI-Gesetz der EU)?

Der EU AI Act, der weithin als weltweit erster umfassender Rechtsrahmen für künstliche Intelligenz gilt, verbietet bestimmte Anwendungen künstlicher Intelligenz gänzlich und legt für andere strenge Anforderungen hinsichtlich der Steuerung, des Risikomanagements und der Transparenz fest. Ein Beratungsgremium, dem Vertreter der Zivilgesellschaft, der Wissenschaft und der Wirtschaft angehören, stellt fachliches Know-how zur Verfügung und berät bei der Standardisierung und Umsetzung des Gesetzes. Jeder EU-Mitgliedstaat muss mindestens eine Marktüberwachungsbehörde und mindestens eine notifizierende Behörde benennen. Er muss außerdem eine Marktüberwachungsbehörde als zentrale Anlaufstelle für dieses Gesetz benennen.

Das Gesetz schafft außerdem Regeln für allgemeine KI-Modelle, wie beispielsweise IBMs Granite und Metas Llama 3 Open-Weight Foundation Model. Der Europäische Rat für künstliche Intelligenz hat die Aufgabe, die Mitgliedstaaten hinsichtlich der einheitlichen und wirksamen Anwendung des AI Act zu beraten.

Die Strafen können je nach Art des Verstoßes zwischen 7,5 Millionen Euro oder 1 % des weltweiten Jahresumsatzes und 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes liegen.

Der AI Act steht im Mittelpunkt der Bemühungen der Europäischen Union, digitale Souveränität zu erreichen, also die Fähigkeit, angesichts von Wandel und Umbrüchen die Kontrolle über Technologiesysteme, Daten, Betriebsabläufe und KI zu behalten. Im Gegenzug ist die Fähigkeit eines Unternehmens, den AI Act einzuhalten, ein wichtiger Bestandteil seiner eigenen digitalen Souveränität – und der Souveränität im Bereich der KI – wenn es in der EU Geschäfte tätigt.

So wie die Datenschutz-Grundverordnung (DSGVO) der EU andere Nationen zur Verabschiedung von Datenschutzgesetzen inspiriert hat, gehen Experten davon aus, dass der EU AI Act die Entwicklung von Standards in den Bereichen KI-Governance und Ethik weltweit vorantreiben wird.

Der EU AI Act gilt für eine Vielzahl von Akteuren in der KI-Wertschöpfungskette (z. B. Anbieter, Anwender, Importeure, Händler, Produkthersteller und autorisierte Vertreter). Erwähnenswert sind die Definitionen von Anbietern, Anwendern und Importeuren im Rahmen dieses EU AI Act.

Anbieter sind Personen oder Organisationen, die KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI) entwickeln oder in ihrem Auftrag entwickeln lassen und es unter ihrem Namen oder ihrer Marke auf den Markt bringen oder in Betrieb nehmen.

Das Gesetz definiert ein KI-System als ein System, das mit einem gewissen Grad an Autonomie Eingaben verarbeiten kann, um daraus Rückschlüsse auf die Erzeugung von Ausgaben zu ziehen (z. B. Vorhersagen, Empfehlungen, Entscheidungen, Inhalte), die physische oder virtuelle Umgebungen beeinflussen können. Es definiert GPAI als KI-Modelle, die eine signifikante Universalität aufweisen und in der Lage sind, ein breites Spektrum unterschiedlicher Aufgaben kompetent auszuführen, und die in eine Vielzahl von nachgelagerten KI-Systemen oder -Anwendungen integriert werden können. Ein Foundation Model gilt beispielsweise häufig als GPAI; ein Chatbot oder ein generatives KI-Tool, das auf diesem Modell aufbaut, wäre ein KI-System.

Anwender sind Personen oder Unternehmen, die KI-Tools nutzen. Zum Beispiel wäre ein Unternehmen, das einen intelligenten Chatbot für die Bearbeitung von Kundenserviceanfragen nutzt, ein Anwender.

Importeure sind in der EU ansässige oder niedergelassene Personen und Organisationen, die KI-Systeme einer außerhalb der EU ansässigen Person oder eines Unternehmens auf den EU-Markt bringen.

Der EU AI Act gilt auch für Anbieter und Betreiber mit Sitz außerhalb der EU, sofern die von ihrem KI-System erzeugten Ergebnisse in der EU genutzt werden. Es gilt ferner für Anbieter außerhalb der EU, die KI-Systeme oder GPAI-Modelle auf dem EU-Markt in Verkehr bringen. Nehmen wir beispielsweise an, ein Unternehmen in der EU sendet Daten an einen KI-Anbieter außerhalb der EU, der die Daten mithilfe von KI verarbeitet und das Ergebnis anschließend zur weiteren Verwendung an das Unternehmen in der EU zurücksendet. Da die Ergebnisse des KI-Systems des Anbieters in der EU genutzt werden, unterliegt der Anbieter dem EU AI Act.

Bestimmte Anbieter außerhalb der EU, die KI-Services in der EU anbieten, müssen autorisierte Vertreter in der EU benennen, die die Einhaltung der Vorschriften in ihrem Namen koordinieren.

Der Geltungsbereich des Gesetzes ist zwar weit gefasst, aber einige Anwendungsbereiche der KI sind davon ausgenommen. Die rein persönliche Nutzung von KI und KI-Modellen und -Systemen, die nur für die wissenschaftliche Forschung und Entwicklung verwendet werden, sind Beispiele für ausgenommene Einsatzmöglichkeiten von KI.

Das KI-Gesetz der EU reguliert KI-Systeme auf der Grundlage der Risikostufe. Risiko bezieht sich hier auf die Wahrscheinlichkeit und Schwere des potenziellen Schadens. Einige der wichtigsten Bestimmungen sind:

• Ein Verbot bestimmter KI-Praktiken, die als unannehmbares Risiko gelten
  
  
• Standards für die Entwicklung und die Bereitstellung bestimmter KI-Systeme mit hohem Risiko
  
  
• Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI)

Zu den Risikokategorien gehören:

• Inakzeptabel oder schlichtweg verboten (wie soziale Bewertungssysteme oder manipulative und irreführende KI)
• Hohes Risiko, gegen das sich der Großteil des AI Act richten soll
• Begrenztes Risiko oder Systeme mit spezifischen Transparenzpflichten, wie Chatbots

Der Begriff „begrenztes Risiko“ wird zwar häufig als Erklärungsbezeichnung verwendet, stellt aber im Gesetzestext keine definierte Kategorie dar; vielmehr benennt das Gesetz bestimmte Transparenzpflichten. In ähnlicher Weise werden KI-Systeme, die nicht verboten oder als hochriskant eingestuft sind, oft als Systeme mit „minimalem Risiko“ beschrieben und müssen möglicherweise trotzdem Transparenzverpflichtungen erfüllen. Das Gesetz fördert freiwillige Verhaltenskodizes für KI-Systeme auf allen Risikostufen. Beispiele für Systeme mit minimalem Risiko sind E-Mail-Spamfilter und Videospiele. Viele gängige KI-Anwendungsfälle lassen sich heute in diese Kategorie einordnen.

Die Fristen für die Umsetzung des EU AI Act können sich aufgrund gesetzlicher Bestimmungen ändern. Im Juli 2026 verabschiedete die EU den KI-Omnibus, der neben der Ausweitung von Vereinfachungen bei der Einhaltung der Vorschriften für bestimmte kleine Unternehmen, der Einführung einer unionsweiten regulatorischen Sandbox und der Klarstellung bestimmter Sicherheitsvorkehrungen auch die Fristen für einige der KI-Systeme mit dem höchsten Risiko je nach Anwendungsbereich auf die Jahre 2027 und 2028 verschob. 

Der EU AI Act führt ausdrücklich bestimmte verbotene KI-Praktiken auf, die ein unannehmbares Risiko darstellen. Die Entwicklung oder Verwendung eines KI-Systems, das Menschen absichtlich zu schädlichen Entscheidungen verleitet, die sie andernfalls nicht treffen würden, wird in dem Gesetz als inakzeptables Risiko für die Nutzer angesehen und gilt als verbotene KI-Praxis.

Was als verbotene Praxis gilt, lässt sich anhand von Leitlinien, Durchsetzungsentscheidungen und der Rechtsprechung klären. Die Einführung eines neuen gesetzlichen Verbots würde eine Änderung des geltenden Rechts erfordern. Eine unvollständige Liste der verbotenen KI-Praktiken zum Zeitpunkt der Veröffentlichung dieses Artikels umfasst:

• Soziale Bewertungssysteme – Systeme, die Personen aufgrund ihres Sozialverhaltens bewerten oder klassifizieren, was zu einer nachteiligen oder ungünstigen Behandlung in einem sozialen Kontext führt, der nichts mit der ursprünglichen Datenerhebung zu tun hat und ungerechtfertigt oder unverhältnismäßig zur Schwere des Verhaltens ist
  
  
• Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, diese Instrumente werden für medizinische oder Sicherheitszwecke eingesetzt
  
  
• KI, die zur Ausnutzung der Schwachstellen von Menschen eingesetzt wird (z. B. Schwachstellen aufgrund von Alter oder Behinderung)
  
  
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsanlagen (CCTV) für Gesichtserkennungsdatenbanken
  
  
• Biometrische Kategorisierungssysteme, die Personen anhand biometrischer Daten, die sensible Merkmale widerspiegeln, in Kategorien einordnen
  
  
• Spezifische prädiktive Polizeianwendungen
  
  
• Einsatz von biometrischen Echtzeit-Fernidentifikationssystemen in der Öffentlichkeit durch die Strafverfolgungsbehörden (es sei denn, es liegt eine Ausnahme vor, wobei eine vorherige Genehmigung durch eine Justiz- oder unabhängige Verwaltungsbehörde generell erforderlich ist).

KI-Systeme werden im Rahmen des KI-Gesetzes der EU als risikoreich eingestuft, wenn es sich um ein Produkt oder eine Sicherheitskomponente eines Produkts handelt, das/die unter bestimmte EU-Gesetze fällt, auf die im Gesetz verwiesen wird, wie z. B. die Gesetze zur Sicherheit von Spielzeug und In-vitro-Diagnostika.

Das Gesetz führt auch bestimmte Verwendungszwecke auf, die generell als risikoreich gelten, darunter KI-Systeme, die wie folgt eingesetzt werden:

• in der Arbeitswelt, z. B. bei der Rekrutierung von Kandidaten, der Bewertung von Bewerbern und zum Treffen von Beförderungsentscheidungen
  
  
• in bestimmten Medizinprodukten
  
  
• in bestimmten Bereichen der allgemeinen und beruflichen Bildung
  
  
• in juristischen und demokratischen Prozessen, wie zum Beispiel Systeme, die den Ausgang von Wahlen beeinflussen sollen.
  
  
• zur Bestimmung des Zugangs zu wesentlichen privaten oder öffentlichen Diensten, einschließlich Systemen, die die Berechtigung zum Bezug öffentlicher Leistungen beurteilen und Kreditwürdigkeitsprüfungen vornehmen.
  
  
• im Management kritischer Infrastrukturen (z. B. Wasser-, Gas- und Stromversorgung usw.)
  
  
• in biometrischen Identifikationssystemen, die nicht verboten sind, mit Ausnahme von Systemen, deren einziger Zweck die Verifizierung der Identität von Personen ist (z. B. die Verwendung eines Fingerabdruckscanners, um jemandem Zugang zu einer Banking-App zu gewähren)

Für die in dieser Liste aufgeführten Systeme kann eine Ausnahme möglich sein, wenn das KI-System keine erhebliche Bedrohung für die Gesundheit, die Sicherheit oder die Rechte von Personen darstellt. Das Gesetz legt Kriterien fest, von denen eines oder mehrere erfüllt sein müssen, bevor eine Ausnahme ausgelöst werden kann (z. B. wenn das KI-System eine enge verfahrenstechnische Aufgabe erfüllen soll). Wenn sich der Anbieter auf diese Ausnahme beruft, muss er seine Bewertung dokumentieren, dass das System kein hohes Risiko darstellt. Die Aufsichtsbehörden können Einsicht in diese Bewertung verlangen. Die Ausnahmeregelung gilt nicht für KI-Systeme, die automatisch personenbezogene Daten verarbeiten, um bestimmte Aspekte des Lebens einer Person zu bewerten oder vorherzusagen, wie z. B. ihre Produktpräferenzen (Profiling), die immer als risikoreich gelten.

KI-Systeme mit hohem Risiko müssen besonderen Anforderungen genügen. Nachfolgend einige Beispiele:

• Implementierung eines kontinuierlichen Risikomanagementsystems zur Überwachung der KI während ihres gesamten Lebenszyklus. So wird beispielsweise von Anbietern erwartet, dass sie die bei der bestimmungsgemäßen Nutzung ihrer Systeme auftretenden, vernünftigerweise vorhersehbaren Risiken mindern, und Entwickler sind verpflichtet, den Betreibern Instrumente zur menschlichen Überwachung zur Verfügung zu stellen.
  
  
• Einführung strenger Data-Governance-Verfahren, um sicherzustellen, dass die Trainings-, Validierungs- und Testdaten bestimmte Qualitätskriterien erfüllen. Zum Beispiel müssen die Datenerfassung und die Herkunft der Daten geregelt und Maßnahmen zur Vermeidung und Reduzierung von Verzerrungen ergriffen werden.
  
  
• Erstellung einer umfassenden technischen Dokumentation mit spezifischen Informationen, einschließlich der Spezifikationen des Systemdesigns, Fähigkeiten, Einschränkungen und der Einhaltung von Vorschriften. Anbieter von Systemen mit hohem Risiko sind verpflichtet, vor der Inbetriebnahme eines Systems sowie bei wesentlichen Änderungen eine Konformitätsbewertung durchführen zu lassen.

Für bestimmte Arten von KI bestehen zusätzliche Transparenzpflichten. Einige Beispiele:

• KI-Systeme, die direkt mit Personen interagieren sollen, müssen so gestaltet sein, dass sie die Nutzer darüber informieren, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus dem Kontext ersichtlich. Ein Chatbot zum Beispiel muss so gestaltet sein, dass er die Nutzer darauf hinweist, dass er ein Chatbot ist.
   
• KI-Systeme, die Text, Bilder oder bestimmte andere Inhalte erzeugen, müssen maschinenlesbare Formate verwenden, um die Ausgaben als von KI erzeugt oder bearbeitet zu kennzeichnen. Das gilt zum Beispiel für KI, die Deepfakes erzeugt – Bilder oder Videos, die so verändert wurden, dass sie jemanden zeigen, der etwas tut oder sagt, was er nicht getan oder gesagt hat.

Im Folgenden stellen wir einige Verpflichtungen für die wichtigsten Betreiber von KI-Systemen mit hohem Risiko in der KI-Wertschöpfungskette (Anbieter und Anwender) vor.

Anbieter von KI-Systemen mit hohem Risiko müssen unter anderem folgende Anforderungen erfüllen:

• Gewährleistung der Einhaltung der im Gesetz festgelegten Anforderungen für KI-Systeme mit hohem Risiko. Zum Beispiel die Einführung eines fortlaufenden Risikoverwaltungssystems.
  
  
• Einsatz eines Qualitätsmanagementsystems.
  
  
• Umsetzung von Überwachungsplänen für die Zeit nach der Markteinführung, um die Leistung des KI-Systems zu überwachen und seine kontinuierliche Einhaltung während des Lebenszyklus des Systems zu bewerten.

Anwender von KI-Systemen mit hohem Risiko werden Verpflichtungen haben, darunter:

• Ergreifung geeigneter technischer und organisatorischer Maßnahmen, um sicherzustellen, dass sie diese Systeme gemäß ihrer Gebrauchsanweisung verwenden.
  
  
• Aufzeichnung der automatisch erstellten AI-Systemprotokolle für einen bestimmten Zeitraum, soweit sich diese Protokolle unter ihrer Kontrolle befinden.
  
  
• Für Anwender, die KI-Systeme mit hohem Risiko für die Erbringung bestimmter grundlegender Dienstleistungen einsetzen (z. B. staatliche Stellen oder private Organisationen, die öffentliche Dienstleistungen erbringen), sollten vor dem erstmaligen Einsatz entsprechende Folgenabschätzungen bezüglich der Wahrung der Grundrechte durchgeführt werden.

Der EU AI Act schafft separate Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI). Anbieter von GPAI-Modellen haben unter anderem folgende Verpflichtungen:

• Festlegung von Strategien zur Einhaltung des EU-Urheberrechts.
  
  
• Erstellung und Veröffentlichung detaillierter Zusammenfassungen der Inhalte, die zum Trainieren des Modells verwendet wurden.

Wenn ein GPAI-Modell als systemrelevantes Risiko eingestuft wird, haben die Anbieter zusätzliche Verpflichtungen. Ein systemisches Risiko ist ein Risiko, das sich auf die hochgradig auswirkungsreichen Fähigkeiten von GPAI-Modellen bezieht, die aufgrund ihrer Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Auswirkungen auf die öffentliche Gesundheit, die öffentliche Sicherheit, die Grundrechte oder die Gesellschaft als Ganzes, die sich in großem Umfang über die gesamte Wertschöpfungskette ausbreiten können, einen erheblichen Einfluss auf den EU-Markt haben. Das Gesetz verwendet Trainingsressourcen als eines der Kriterien für die Identifizierung systemischer Risiken. Wenn die kumulative Rechenleistung, die zum Trainieren eines Modells verwendet wird, mehr als 10^25 Gleitkommaoperationen pro Sekunde (FLOPS; Floating Point Operations Per Second) beträgt, wird davon ausgegangen, dass es hohe Auswirkungen hat und ein Systemrisiko darstellt. Außerdem kann die EU-Kommission ein Modell in die Kategorie der systemischen Risiken einordnen.

Anbieter von GPAI-Modellen, die ein Systemrisiko darstellen, einschließlich freier, quelloffener Modelle, müssen einige zusätzliche Verpflichtungen erfüllen, darunter:

• Dokumentation und Meldung schwerwiegender Vorfälle an das EU KI-Amt und die zuständigen nationalen Regulierungsbehörden.
  
  
• Implementierung einer angemessenen Cybersicherheit zum Schutz des Modells und seiner physischen Infrastruktur.

Der EU AI Act kann die digitale Souveränität der Europäischen Union stärken, indem es Unternehmen, die in der Europäischen Union geschäftlich tätig sind, zur Einhaltung der Vorschriften der Union verpflichtet und damit deren Kontrolle über die digitale Infrastruktur festigt.

Es kann die digitale Souveränität weiter fördern, indem es das Wachstum und die Entwicklung europäischer KI-Unternehmen unterstützt, wodurch die Abhängigkeit der Union von Technologien aus Ländern mit abweichenden regulatorischen Anforderungen verringert würde. Allerdings werden die EU-Mitgliedstaaten nicht dazu verpflichtet, die vollständige Kontrolle über ihre KI-Infrastruktur zu behalten, wodurch die Flexibilität gewahrt bleibt, die ebenfalls ein Bestandteil der digitalen Souveränität ist.

Darüber hinaus stellt der AI Act Anforderungen an Unternehmen, die in der Europäischen Union geschäftlich tätig sind und ihre eigene digitale Souveränität wahren möchten. Unternehmen müssen einen besseren Überblick über KI-Systeme gewährleisten, um die Anforderungen des Gesetzes hinsichtlich Transparenz und menschlicher Aufsicht zu erfüllen. Diese Anforderungen könnten zu einer steigenden Nachfrage nach KI-Tools führen, die eine umfassende Dokumentation, Governance-Kontrollen und Nachvollziehbarkeit bieten.

Der AI Act schreibt zwar sowohl für Unternehmen außerhalb der Europäischen Union als auch in den Mitgliedstaaten Compliance-Anforderungen vor, dient jedoch zugleich als Ansporn für die digitale Souveränität: Unternehmen mit ausgeprägten Fähigkeiten im Bereich der KI-Governance sind möglicherweise besser in der Lage, sich an regulatorische Anforderungen und Veränderungen auf dem KI-Markt anzupassen.

Bei Nichteinhaltung können die Behörden gegen Unternehmen Geldbußen in Höhe von bis zu 35.000.000 Euro oder 7 % des weltweiten Jahresumsatzes verhängen, je nachdem, welcher Betrag höher ist.

Für die meisten anderen Verstöße, einschließlich der Nichteinhaltung der Anforderungen für KI-Systeme mit hohem Risiko, können Unternehmen mit einer Geldstrafe von bis zu 15.000.000 EUR oder 3 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Bei der Übermittlung falscher, unvollständiger oder irreführender Informationen an die Behörden können Unternehmen mit einer Geldstrafe von bis zu 7.500.000 EUR oder 1 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Insbesondere sieht der EU AI Act unterschiedliche Regelungen für die Verhängung von Geldbußen gegen Start-ups und andere kleine und mittlere Unternehmen (oder KMU, wie es im AI Act heißt) vor. Für diese Unternehmen kann die Geldbuße bis zu dem niedrigeren der beiden oben genannten Beträge betragen.

Die Europäische Kommission kann Anbietern von GPAI-Modellen bei bestimmten Verstößen gegen die GPAI-Bestimmungen Geldbußen in Höhe von bis zu 3 % ihres weltweiten Gesamtumsatzes im vorangegangenen Geschäftsjahr auferlegen.

Das Gesetz trat am 1. August 2024 in Kraft, wobei verschiedene Bestimmungen des Gesetzes schrittweise in Kraft treten. Im Juli 2026 verschob die EU im Rahmen des KI-Omnibusgesetzes die Frist für die Einhaltung der Vorschriften für die meisten eigenständigen KI-Systeme mit hohem Risiko – darunter solche, die im Bildungswesen, bei der Personalauswahl und in der Strafverfolgung zum Einsatz kommen – auf den 2. Dezember 2027. KI-Systeme mit hohem Risiko, die in regulierte Produkte wie Medizinprodukte und Maschinen integriert sind, unterliegen ab dem 2. August 2028 dem AI Act.