KI-Systeme werden im Rahmen des KI-Gesetzes der EU als risikoreich eingestuft, wenn es sich um ein Produkt oder eine Sicherheitskomponente eines Produkts handelt, das/die unter bestimmte EU-Gesetze fällt, auf die im Gesetz verwiesen wird, wie z. B. die Gesetze zur Sicherheit von Spielzeug und In-vitro-Diagnostika.
Das Gesetz führt auch bestimmte Verwendungszwecke auf, die generell als risikoreich gelten, darunter KI-Systeme, die wie folgt eingesetzt werden:
- in der Arbeitswelt, z. B. bei der Rekrutierung von Kandidaten, der Bewertung von Bewerbern und zum Treffen von Beförderungsentscheidungen
- in bestimmten Medizinprodukten
- in bestimmten Bereichen der allgemeinen und beruflichen Bildung
- in juristischen und demokratischen Prozessen, wie zum Beispiel Systeme, die den Ausgang von Wahlen beeinflussen sollen.
- zur Bestimmung des Zugangs zu wesentlichen privaten oder öffentlichen Diensten, einschließlich Systemen, die die Berechtigung zum Bezug öffentlicher Leistungen beurteilen und Kreditwürdigkeitsprüfungen vornehmen.
- im Management kritischer Infrastrukturen (z. B. Wasser-, Gas- und Stromversorgung usw.)
- in biometrischen Identifikationssystemen, die nicht verboten sind, mit Ausnahme von Systemen, deren einziger Zweck die Verifizierung der Identität von Personen ist (z. B. die Verwendung eines Fingerabdruckscanners, um jemandem Zugang zu einer Banking-App zu gewähren).
Für die in dieser Liste aufgeführten Systeme kann eine Ausnahme möglich sein, wenn das KI-System keine erhebliche Bedrohung für die Gesundheit, die Sicherheit oder die Rechte von Personen darstellt. Das Gesetz legt Kriterien fest, von denen eines oder mehrere erfüllt sein müssen, bevor eine Ausnahme ausgelöst werden kann (z. B. wenn das KI-System eine enge verfahrenstechnische Aufgabe erfüllen soll). Wenn sich der Anbieter auf diese Ausnahme beruft, muss er seine Bewertung dokumentieren, dass das System kein hohes Risiko darstellt. Die Aufsichtsbehörden können Einsicht in diese Bewertung verlangen. Die Ausnahmeregelung gilt nicht für KI-Systeme, die automatisch personenbezogene Daten verarbeiten, um bestimmte Aspekte des Lebens einer Person zu bewerten oder vorherzusagen, wie z. B. ihre Produktpräferenzen (Profiling), die immer als risikoreich gelten.
Wie bei der Liste der verbotenen KI-Praktiken kann die EU-Kommission auch die Liste der KI-Systeme mit hohem Risiko in Zukunft aktualisieren.