Was ist KI-Risikomanagement?

KI-Risikomanagement ist der Prozess der systematischen Identifizierung, Minderung und Bewältigung der potenziellen Risiken im Zusammenhang mit KI-Technologien. Es handelt sich um eine Kombination aus Tools, Praktiken und Prinzipien, wobei der Schwerpunkt auf der Bereitstellung formeller KI-Risikomanagement-Frameworks liegt.

Im Allgemeinen besteht das Ziel des KI-Risikomanagements darin, die potenziellen negativen Auswirkungen von KI zu minimieren und gleichzeitig ihren Nutzen zu maximieren.

Das KI-Risikomanagement ist Teil des umfassenderen Bereichs der KI-Governance. KI-Governance bezieht sich auf Leitlinien, die sicherstellen, dass KI-Tools und -Systeme sicher und ethisch sind und es auch bleiben.

Die KI-Governance ist eine umfassende Disziplin, während das KI-Risikomanagement einen Prozess innerhalb dieser Disziplin darstellt. Das KI-Risikomanagement konzentriert sich speziell auf die Identifizierung und Beseitigung von Schwachstellen und Bedrohungen, um KI-Systeme vor Schäden zu schützen. Die KI-Governance legt die Rahmenbedingungen, Regeln und Standards zur Steuerung der KI-Forschung, -Entwicklung und -Anwendung fest, um Sicherheit, Fairness und Achtung der Menschenrechte zu gewährleisten.

In den letzten Jahren hat der Einsatz von KI-Systemen in allen Branchen stark zugenommen. McKinsey berichtet, dass inzwischen 72 % der Unternehmen eine Form von künstlicher Intelligenz (KI) nutzen, was einem Anstieg von 17 % gegenüber 2023 entspricht.

Während Unternehmen den Vorteilen der KI nachjagen – also Innovation, Effizienz und Produktivitätssteigerung – befassen sie sich nicht immer mit den potenziellen Risiken, wie Datenschutzbedenken, Sicherheitsbedrohungen sowie ethischen und rechtlichen Fragen.

Die Führungskräfte sind sich dieser Herausforderung bewusst. Eine aktuelle Studie des IBM Institute for Business Value (IBM IBV) ergab, dass 96 % der Führungskräfte glauben, dass die Einführung generativer KI die Wahrscheinlichkeit einer Sicherheitsverletzung erhöht. Gleichzeitig stellte das IBM IBV auch fest, dass nur 24 % der aktuellen generativen KI-Projekte gesichert sind.

KI-Risikomanagement kann dazu beitragen, diese Lücke zu schließen und Unternehmen in die Lage zu versetzen, das volle Potenzial von KI-Systemen auszuschöpfen, ohne die KI-Ethik oder die Sicherheit zu beeinträchtigen.

Wie andere Arten von Sicherheitsrisiken kann das KI-Risiko als Maß dafür verstanden werden, wie wahrscheinlich es ist, dass eine potenzielle KI-bezogene Bedrohung ein Unternehmen beeinträchtigt, und wie viel Schaden diese Bedrohung anrichten würde.

Zwar unterscheiden sich alle KI-Modelle und Anwendungsfälle voneinander, die allgemeinen Risiken der KI lassen sich aber in vier Kategorien einteilen:

• Datenrisiken
• Modellrisiken
• Operationelle Risiken
• Ethische und rechtliche Risiken

Wenn diese Risiken nicht richtig gehandhabt werden, können sie KI-Systeme und Unternehmen ernsthaft schädigen, unter anderem durch finanzielle Verluste, Rufschädigung, behördliche Strafen, Vertrauensverlust in der Öffentlichkeit und Datenschutzverletzungen.

KI-Systeme sind auf Datensätze angewiesen, die mitunter anfällig für Manipulationen, Verletzungen, Verzerrungen oder Cyberangriffe sind. Unternehmen können diese Risiken mindern, indem sie die Integrität, Sicherheit und Verfügbarkeit von Daten während des gesamten KI-Lebenszyklus schützen, von der Entwicklung über das Training bis zur Bereitstellung.

 Häufige Datenrisiken sind:

• Datensicherheit: Die Datensicherheit ist eine der größten und kritischsten Herausforderungen für KI-Systeme. Bedrohungsakteure können Unternehmen ernsthafte Probleme bereiten, indem sie die Datensätze für die KI-Technologie missbrauchen, zum Beispiel in Form von unbefugtem Zugriff, Datenverlust und Verletzung der Vertraulichkeit.

• Datenschutz: KI-Systeme verarbeiten oft sensible personenbezogene Daten, die anfällig für Datenschutzverletzungen sind, was zu regulatorischen und rechtlichen Problemen für Unternehmen führen kann.

• Datenintegrität: KI-Modelle sind nur so zuverlässig wie ihre Trainingsdaten. Verzerrte Daten können zu falschen positiven Ergebnissen, ungenauen Ergebnissen oder schlechten Entscheidungen führen.

Bedrohungsakteure greifen KI-Modelle durch Diebstahl, Reverse Engineering oder unbefugte Manipulation an. So wird die Integrität eines Modells zum Beispiel durch die Manipulation der Architektur, Gewichtungen oder Parameter gefährdet – also der Kernkomponenten für das Verhalten und die Leistung von KI-Modellen.

Zu den häufigsten Modellrisiken gehören:

• Böswillige Angriffe: Bei diesen Angriffen werden Eingabedaten manipuliert, um KI-Systeme zu falschen Vorhersagen oder Klassifizierungen zu verleiten. Angreifer könnten beispielsweise gegnerische Beispiele generieren, die sie KI-Algorithmen zuführen, um die Entscheidungsfindung gezielt zu stören oder Verzerrungen zu erzeugen.

• Prompt Injections: Diese Angriffe zielen auf Large Language Models (LLMs) ab. Hacker tarnen dabei böswillige Eingaben als legitime Prompts und manipulieren so generative KI Systeme (GenAI), sodass diese vertrauliche Daten preisgeben, Fehlinformationen verbreiten oder noch Schlimmeres verursachen. Sogar simple Prompt Injections können dazu führen, dass ein KI-Chatbot wie ChatGPT Schutzmechanismen des Systems ignoriert und unerlaubte Dinge ausgibt.

• Interpretierbarkeit des Modells: Komplexe KI-Modelle sind oft schwer zu interpretieren, sodass Benutzer nur schwer nachvollziehen können, wie sie zu ihren Entscheidungen gelangen. Dieser Mangel an Transparenz kann letztlich die Erkennung von Verzerrung und die Rechenschaftspflicht erschweren und gleichzeitig das Vertrauen in KI-Systeme und ihre Anbieter untergraben.

• Angriffe auf die Lieferkette: Sie treten auf, wenn Akteure, von denen eine Sicherheitsbedrohung ausgeht, KI-Systeme auf der Ebene der Lieferkette ins Visier nehmen, einschließlich der Entwicklungs-, Bereitstellungs- oder Wartungsphase. Angreifer könnten beispielsweise Schwachstellen in Komponenten von Drittanbietern, die bei der KI-Entwicklung verwendet werden, ausnutzen, was zu Datenschutzverletzungen oder unbefugtem Zugriff führen kann.

Auch wenn KI-Modelle wie Magie erscheinen mögen, sind sie im Grunde genommen Produkte ausgeklügelter Codes und Algorithmen für maschinelles Lernen. Wie alle Technologien sind sie anfällig für operationelle Risiken. Wenn diese Risiken nicht berücksichtigt werden, können sie zu Systemausfällen und Sicherheitslücken führen, die von Bedrohungsakteuren ausgenutzt werden können. 

Zu den häufigsten operationellen Risiken gehören:

• Drift oder Verfall: KI-Modelle können einen Modelldrift erleiden. Dabei können Änderungen in den Daten oder den Beziehungen zwischen Datenpunkten zu einer Leistungsverschlechterung führen. Zum Beispiel könnte ein Betrugserkennungsmodell mit der Zeit ungenauer werden und betrügerische Transaktionen nicht mehr erkennen.

• Nachhaltigkeitsprobleme: KI-Systeme sind neue und komplexe Technologien, die eine angemessene Skalierung und Unterstützung erfordern. Die Vernachlässigung der Nachhaltigkeit kann zu Problemen bei der Wartung und Aktualisierung dieser Systeme führen, die wiederum eine uneinheitliche Leistung, höhere Betriebskosten und einen höheren Energieverbrauch zur Folge haben können.

• Herausforderungen bei der Integration: Die Integration von KI-Systemen in die bestehende IT-Infrastruktur kann komplex und ressourcenintensiv sein. Unternehmen haben oft Probleme mit der Kompatibilität, Datensilos und der Systeminteroperabilität. Die Einführung von KI-Systemen kann auch neue Schwachstellen schaffen, indem die Angriffsfläche für Cyberbedrohungen vergrößert wird. 

• Mangelnde Rechenschaftspflicht: Da es sich bei KI-Systemen um relativ neue Technologien handelt, verfügen viele Unternehmen nicht über die entsprechenden Corporate-Governance-Strukturen. So fehlt es KI-Systemen oft an der entsprechenden Übersicht. McKinsey hat herausgefunden, dass gerade einmal 18 Prozent der Unternehmen einen Rat oder Vorstand haben, der die Befugnis hat, Entscheidungen über verantwortungsvolle KI-Governance zu treffen.

Wenn Unternehmen bei der Entwicklung und Bereitstellung von KI-Systemen nicht auf Sicherheit und Ethik achten, riskieren sie Datenschutzverletzungen und verzerrte Ergebnisse. Zum Beispiel könnten verzerrte Trainingsdaten, die für Einstellungsentscheidungen verwendet werden, Geschlechter- oder Rassenstereotypen verstärken und KI-Modelle schaffen, die bestimmte demografische Gruppen gegenüber anderen bevorzugen.

 Zu den gängigen ethischen und rechtlichen Risiken gehören:

• Mangelnde Transparenz: Unternehmen, die ihre KI-Systeme nicht transparent und verantwortungsvoll zu gestalten, riskieren, das Vertrauen der Öffentlichkeit zu verlieren.

• Nichteinhaltung von regulatorischen Anforderungen: Die Nichteinhaltung von behördlichen Vorschriften wie der DSGVO oder branchenspezifischen Richtlinien kann zu hohen Bußgeldern und rechtlichen Sanktionen führen.

• Algorithmische Verzerrungen: KI-Algorithmen können durch Trainingsdaten verzerrt werden, was zu potenziell diskriminierenden Ergebnissen wie verzerrten Personalentscheidungen und ungleichem Zugang zu Finanzdienstleistungen führen kann.

• Ethische Dilemmas: KI-Entscheidungen können ethische Bedenken in Bezug auf Privatsphäre, Autonomie und Menschenrechte aufwerfen. Ein falscher Umgang mit diesen Dilemmata kann dem Ruf eines Unternehmens schaden und das Vertrauen der Öffentlichkeit untergraben.

• Mangelnde Erklärbarkeit: Die Erklärbarkeit der KI bezieht sich auf die Fähigkeit, Entscheidungen von KI-Systemen zu verstehen und zu rechtfertigen. Mangelnde Erklärbarkeit kann das Vertrauen beeinträchtigen und zu rechtlichen Prüfungen und Rufschädigung führen. Wenn beispielsweise der CEO eines Unternehmens nicht weiß, woher sein LLM seine Trainingsdaten bezieht, kann dies den Ruf schädigen oder behördliche Untersuchungen nach sich ziehen.

Viele Unternehmen begegnen KI-Risiken, indem sie KI-Risikomanagement-Frameworks einführen, die aus einer Reihe von Richtlinien und Verfahren zur Risikobewältigung über den gesamten KI-Lebenszyklus bestehen.

Man kann sich diese Richtlinien auch als Playbooks vorstellen, die Richtlinien, Verfahren, Rollen und Verantwortlichkeiten in Bezug auf den Einsatz von KI in einem Unternehmen festlegen. Frameworks für das KI-Risikomanagement helfen Unternehmen dabei, KI-Systeme so zu entwickeln, bereitzustellen und zu warten, dass Risiken minimiert, ethische Standards eingehalten und die fortlaufende Einhaltung gesetzlicher Vorschriften gewährleistet werden.

Zu den am häufigsten verwendeten Frameworks für das KI-Risikomanagement gehören:

• Das NIST AI Risk Management Framework
• Die KI-Verordnung der EU
• ISO/IEC-Standards
• Die US Executive Order on AI

Im Januar 2023 veröffentlichte das National Institute of Standards and Technology (NIST) das AI Risk Management Framework (AI RMF), um einen strukturierten Ansatz für das Management von KI-Risiken zu bieten. Seitdem hat sich das NIST AI RMF zu einem Benchmark für das KI-Risikomanagement entwickelt.

Das Hauptziel des AI RMF besteht darin, Unternehmen dabei zu helfen, KI-Systeme so zu entwerfen, zu entwickeln, bereitzustellen und zu nutzen, dass Risiken effektiv gemanagt und vertrauenswürdige, verantwortungsvolle KI-Praktiken gefördert werden.

Das in Zusammenarbeit mit dem öffentlichen und privaten Sektor entwickelte AI RMF ist vollkommen freiwillig und kann in jedem Unternehmen, jeder Branche und jedem Land angewendet werden.

Das Framework gliedert sich in zwei Teile. Teil 1 bietet einen Überblick über die Risiken und Merkmale vertrauenswürdiger KI-Systeme. Teil 2, der AI RMF Core, skizziert vier Funktionen, die Unternehmen dabei helfen, Risiken von KI-Systemen zu bewältigen:

• Regeln: Schaffung einer Unternehmenskultur des KI-Risikomanagements
• Zuordnen: Einordnung der Risiken von KI in bestimmten Geschäftskontexten
• Messen: KI-Risiken analysieren und bewerten
• Verwalten: Umgang mit erfassten und bewerteten Risiken

Der EU AI Act ist ein Gesetz, das die Entwicklung und Nutzung von künstlicher Intelligenz in der Europäischen Union (EU) regelt. Das Gesetz folgt bei der Regulierung einem auf Risiken basierenden Ansatz, indem es unterschiedliche Regeln für KI-Systeme anwendet, je nachdem welche Bedrohungen sie für die menschliche Gesundheit, Sicherheit und Rechte darstellen. Das Gesetz erstellt auch gezielte Regeln für die Entwicklung, das Training und den Einsatz von KI-Modellen mit allgemeinem Verwendungszweck, wie z. B. die Foundation Models, auf denen ChatGPT und Google Gemini basieren.

Die International Organization for Standardization (ISO) und die International Electrotechnical Commission (IEC) haben Normen entwickelt, die verschiedene Aspekte des KI-Risikomanagements betreffen.

ISO/IEC-Standards betonen die Bedeutung von Transparenz, Rechenschaftspflicht und ethischen Überlegungen im KI-Risikomanagement. Sie bieten auch umsetzbare Richtlinien für den Umgang mit KI-Risiken während des gesamten KI-Lebenszyklus – von der Konzeption und Entwicklung bis hin zur Bereitstellung und zum Betrieb.

Der Ablauf des KI-Risikomanagements variiert zwar zwangsläufig je nach Unternehmen, bei erfolgreicher Umsetzung bieten die Praktiken des KI-Risikomanagements jedoch einige gemeinsame Kernvorteile.

Das KI-Risikomanagement kann die Cybersicherheit von Unternehmen verbessern und die Nutzung der KI-Sicherheit fördern.

Durch regelmäßige Risikobewertungen und Audits können Unternehmen potenzielle Risiken und Schwachstellen während des gesamten KI-Lebenszyklus identifizieren.

Nach diesen Bewertungen können sie Strategien zur Risikominderung umsetzen, um die erkannten Risiken zu reduzieren oder zu beseitigen. Dieser Prozess kann technische Maßnahmen umfassen, wie z. B. die Verbesserung der Datensicherheit und die Verbesserung der Robustheit des Modells. Der Prozess könnte auch organisatorische Anpassungen umfassen, wie die Entwicklung ethischer Richtlinien und die Stärkung der Zugangskontrollen.

Dieser proaktivere Ansatz zur Erkennung und Bekämpfung von Bedrohungen kann Unternehmen dabei helfen, Risiken zu minimieren, bevor sie eskalieren, und so die Wahrscheinlichkeit von Datenschutzverletzungen und die potenziellen Auswirkungen von Cyberangriffen zu verringern.

KI-Risikomanagement kann auch dazu beitragen, die Entscheidungsfindung in einem Unternehmen insgesamt zu verbessern.

Durch eine Kombination aus qualitativen und quantitativen Analysen, einschließlich statistischer Methoden und Expertenmeinungen, können Unternehmen ein klares Verständnis ihrer potenziellen Risiken gewinnen. Diese umfassende Ansicht hilft Unternehmen dabei, Bedrohungen mit hohem Risiko zu priorisieren und fundiertere Entscheidungen über die Bereitstellung von KI zu treffen, wobei der Wunsch nach Innovation mit der Notwendigkeit der Risikominderung in Einklang gebracht wird.

Die zunehmende globale Fokussierung auf den Schutz sensibler Daten hat zur Einführung wichtiger regulatorischer Anforderungen und Branchenstandards geführt, darunter die Datenschutz-Grundverordnung (DSGVO), der California Consumer Privacy Act (CCPA) und der EU AI Act.

Die Nichteinhaltung dieser Gesetze kann zu hohen Geldstrafen und erheblichen rechtlichen Sanktionen führen. Das KI-Risikomanagement kann Unternehmen dabei helfen, die Vorschriften einzuhalten und ihren guten Ruf zu wahren, insbesondere da sich die Vorschriften im Zusammenhang mit KI fast so schnell weiterentwickeln wie die Technologie selbst.

KI-Risikomanagement hilft Unternehmen, Störungen zu minimieren und die Geschäftskontinuität sicherzustellen, indem es ihnen ermöglicht, potenzielle Risiken mit KI-Systemen in Echtzeit anzugehen. Das KI-Risikomanagement kann auch zu mehr Verantwortlichkeit und langfristiger Nachhaltigkeit beitragen, indem es Unternehmen in die Lage versetzt, klare Managementpraktiken und -methoden für den Einsatz von KI festzulegen. 

KI-Risikomanagement fördert einen ethischeren Ansatz für KI-Systeme, indem es Vertrauen und Transparenz in den Vordergrund stellt.

An den meisten KI-Risikomanagementprozessen sind zahlreiche Stakeholder beteiligt, darunter Führungskräfte, KI-Entwickler, Data Scientists, Benutzer, politische Entscheidungsträger und sogar Ethiker. Dieser integrative Ansatz trägt dazu bei, dass KI-Systeme verantwortungsvoll entwickelt und eingesetzt werden, wobei alle Stakeholder berücksichtigt werden. 

Durch regelmäßige Tests und Überwachungsprozesse können Unternehmen die Leistung eines KI-Systems besser verfolgen und aufkommende Bedrohungen früher erkennen. Diese Überwachung hilft Unternehmen, die Einhaltung von Vorschriften kontinuierlich zu gewährleisten und KI-Risiken früher zu beheben, wodurch die potenziellen Auswirkungen von Bedrohungen verringert werden. 

Trotz ihres Potenzials, die Arbeitsabläufe zu rationalisieren und zu optimieren, sind KI-Technologien keineswegs risikofrei. Fast jedes Element der Unternehmens-IT kann in den falschen Händen zu einer Waffe werden.

Unternehmen müssen generative KI jedoch nicht meiden. Sie müssen sie einfach wie jedes andere technologische Tool behandeln. Das bedeutet, die Risiken zu verstehen und proaktive Schritte zu unternehmen, um die Wahrscheinlichkeit eines erfolgreichen Angriffs zu minimieren.

Mit IBM® watsonx.governance können Unternehmen KI-Aktivitäten ganz einfach steuern, verwalten und überwachen. IBM watsonx.governance verwaltet generative KI-Modelle aller Anbieter, bewertet den Zustand und die Genauigkeit von Modellen und automatisiert wichtige Compliance-Workflows.