KI-Audits können als umfassender „Gesundheitscheck“ für KI-Systeme betrachtet werden. Während sich ein herkömmliches Audit auf Jahresabschlüsse oder IT-Kontrollen konzentriert, befasst sich ein KI-Audit eingehend mit den Grundlagen des gesamten KI-Lebenszyklus. Dazu gehören die Datenerfassung und Qualität, die Architektur und Erklärbarkeit des Modells sowie der Entscheidungsfindungsprozess, sobald das System in Betrieb genommen wird.
Dieser Auditprozess dient der Bewertung, ob der Einsatz von KI durch ein Unternehmen mit ihrem Governance-Framework, ihrem Risikomanagement-Framework und ihren ethischen Standards im Einklang steht. Dabei werden unter anderem folgende Fragen gestellt:
Ein KI-Audit vermittelt ein klares Bild von den inneren Abläufen eines KI-Systems und schafft so Vertrauen. Für Stakeholder und Aufsichtsbehörden liefert es einen konkreten Nachweis dafür, dass diese neue Technologie verantwortungsbewusst eingesetzt wird.
Erhalten Sie kuratierte Einblicke in die wichtigsten – und faszinierendsten – KI-Neuheiten. Abonnieren Sie unseren wöchentlichen Think-Newsletter. Weitere Informationen in der IBM Datenschutzerklärung.
KI-Systeme beeinflussen täglich Entscheidungen von großer Tragweite, wie beispielsweise die Bewilligung von Hypotheken, die Triage von Patienten und die Moderation von Inhalten in sozialen Medien. Zwar bieten diese Systeme Schnelligkeit und Automatisierung, doch können sie auch potenzielle Risiken mit sich bringen. Ein fehlerhaftes Modell kann Vorurteile verstärken. Ein schlechter Sicherheitsstatus kann eine Datenschutzverletzung auslösen. Eine auf falschen Informationen basierende Entscheidungsfindung kann das Vertrauen der Stakeholder untergraben.
Die Regulierungsbehörden reagieren darauf. Der Artificial Intelligence Act of the European Union (EU AI Act) definiert mehrere Risikostufen – begrenztes und minimales Risiko, hohes Risiko und inakzeptables Risiko – und schreibt strenge Prüfungsstandards vor.
Ebenso legt das Framework des National Institute for Standards and Technology (NIST) zum Risikomanagement im Bereich der künstlichen Intelligenz (KI) Anforderungen hinsichtlich der Transparenz der KI und der Rechenschaftspflicht fest. Von internen Auditoren und Informationssicherheitsteams wird erwartet, dass sie die Einhaltung der Vorschriften nachweisen und darlegen, dass ihre KI-Systeme vom Entwurf bis zur Bereitstellung vertrauenswürdig sind.
Ein KI-Audit ist daher sowohl ein defensives als auch ein strategisches Instrument. Es kann Unternehmen dabei helfen, Sicherheitslücken zu identifizieren, bevor diese eskalieren, und so die Praktiken und Initiativen im Bereich der Data Governance zu stärken. Durch die Förderung einer klaren Dokumentation und wiederholbarer Workflows tragen KI-Audits dazu bei, dass Unternehmen die gesetzlichen Compliance-Anforderungen erfüllen und Vertrauen bei Kunden und Investoren aufbauen können.
Ein umfassendes KI-Audit untersucht drei miteinander verknüpfte Bereiche, für die jeweils eigene Tests und Metriken gelten:
Prüfer bewerten, wie Daten erfasst, gekennzeichnet und verwaltet werden. Sie überprüfen die Genauigkeit und Qualität der Datensätze und testen auf versteckte Verzerrungen oder „veraltete“ Daten, die die Ergebnisse verfälschen könnten. Maßnahmen zum Datenschutz und zur Datensicherheit sind von entscheidender Bedeutung: Personenbezogene Daten müssen der Datenschutz-Grundverordnung (DSGVO) oder vergleichbaren Standards entsprechen, während Metadaten über den gesamten KI-Lebenszyklus hinweg rückverfolgbar sein sollten.
Typische Prüfungen umfassen die Bewertung der Datenqualität sowie die Überprüfung der Fairness, um sicherzustellen, dass Aufbewahrungsfristen, Zugriffskontrollen und Berechtigungen dokumentiert und durchgesetzt werden.
Anschließend untersuchen die Prüfer die Algorithmen selbst. Zu den zentralen Fragen gehören: Welche Verfahren des maschinellen Lernen werden eingesetzt? Wie nachvollziehbar ist die Entscheidungslogik? Sind Metriken und Schwellenwerte definiert, um Drift oder unerwartetes Verhalten zu überwachen?
Häufig führen sie Fehlerratenanalysen über verschiedene demografische Gruppen hinweg durch, wenden Stresstests an oder führen Red-Teaming-Übungen durch, um Sicherheitslücken aufzudecken. Zuverlässigkeitstests können zudem dazu beitragen, potenzielle Risiken vor der Bereitstellung zu identifizieren.
Schließlich prüfen die Auditoren das Betriebsumfeld. Sie stellen sicher, dass die Steuerungsstrukturen und Workflows auch nach der Inbetriebnahme weiterhin bestehen bleiben.
Zu den gängigen Bewertungen zählen Konformitätsprüfungen zur Einhaltung gesetzlicher Vorschriften (beispielsweise der EU AI Act), eine kontinuierliche Leistungsüberwachung in Echtzeit sowie Simulationen zur Reaktion auf Vorfälle, um sicherzustellen, dass das Unternehmen aufkommende Bedrohungen erkennen und eindämmen kann. Die Prüfer können zudem bestätigen, dass die Ergebnisse bei Bedarf einer Einbindung von Menschen unterzogen werden.
Eine wachsende Zahl von Gesetzen und Standards weltweit prägt die KI-Prüfung. Einige sind bereits in Kraft, während viele andere zügig auf ihre Umsetzung hinarbeiten. Zu den nennenswerten Vorschriften zählen:
Auch in Ländern wie Brasilien, den Vereinigten Arabischen Emiraten und Südkorea entstehen derzeit verschiedene nationale Frameworks. Diese Initiativen treiben Gesetzesentwürfe zur KI-Governance voran und veröffentlichen detaillierte Leitlinien, in denen der Schwerpunkt auf eine ethische Nutzung, den Schutz der Privatsphäre und die Rechenschaftspflicht der Stakeholder gelegt wird.
Vorschriften auf Branchenebene sorgen für eine weitere Ebene der Rechenschaftspflicht. In den USA müssen Unternehmen des Gesundheitswesens den „Health Insurance Portability and Accountability Act“ (HIPAA) einhalten, einschließlich dessen Datenschutz- und Sicherheitsvorschriften, die strenge Schutzmaßnahmen für alle in KI-Systemen verwendeten Patientendaten vorschreiben.
Finanzinstitute halten sich an Standards für das Modellrisikomanagement, wie beispielsweise die Leitlinien „SR 11-7“ der Federal Reserve und die Anforderungen des Office of the Comptroller of the Currency zur Modellvalidierung, die beide unabhängige Tests und die fortlaufende Überwachung von KI-Modellen vorschreiben.
Frameworks setzen regulatorische Anforderungen in praktische Prüfungsstandards um. Unternehmen kombinieren häufig Elemente aus mehreren Frameworks, um einen Prüfungsansatz zu entwickeln, der auf ihre Branche und ihr regulatorisches Umfeld zugeschnitten ist.
Zu den gängigen Frameworks gehören:
Ein effektives KI-Audit verbindet Best Practices mit einer strukturierten, schrittweisen Roadmap. Zwar gibt es unzählige Strategien für die Prüfung von KI, doch könnte ein Ansatz die folgenden Schritte umfassen:
Schaffen Sie eine Governance-Struktur, die die Rollen von Audit-Teams, internen Auditoren, Data Scientists und geschäftlichen Stakeholdern definiert. Beziehen Sie die interne Revision ein, sobald KI-Projekte vorgeschlagen werden, damit Risikobewertung und Maßnahmen zur Data Governance von Anfang an integriert werden.
Erfassen Sie alle KI-Modelle, die derzeit im Einsatz sind oder sich in der Entwicklung befinden, einschließlich generativer KI-Modelle, Chatbots und Tools für die Automatisierung. Dokumentieren Sie die Quellen der Trainingsdaten sowie die Datenqualitäts-Metriken, um die Grundlage für die Risikobewertung und die künftige Überwachung zu schaffen.
Führen Sie eine formelle Risikobewertung durch, bei der potenzielle Risiken wie Verzerrung, Datenschutzverletzungen oder der Missbrauch personenbezogener Daten berücksichtigt werden. Validieren Sie die Methoden der Datenerhebung, vergewissern Sie sich, dass die Datenschutzvorkehrungen gewährleistet sind, und stellen Sie sicher, dass die Datensätze die gesetzlichen Standards hinsichtlich Metriken wie Aufbewahrungsfristen und Genauigkeit erfüllen.
Wählen Sie die Audit-Frameworks aus, die auf Ihre Branche und Ihr regulatorisches Umfeld abgestimmt sind. So kombinieren beispielsweise einige Unternehmen den Kontrollfokus von COBIT mit der unternehmensweiten Risikoperspektive von COSO und ergänzen diese um Elemente des GAO oder des IIA zur Rechenschaftspflicht sowie um PDPC zur Transparenz gegenüber den Stakeholdern. Setzen Sie Audit-Tools ein, die Tests zur Erklärbarkeit, algorithmische Prüfungen und Echtzeit-Metriken unterstützen.
Entwickeln Sie Vorlagen für die Beweissicherung, Zugriffskontrollen und die Berichterstattung. Definieren Sie Metriken für die Modellleistung und Strategien zur Risikominderung. Stellen Sie sicher, dass die Audit-Workflows Kontrollpunkte für die Freigabe durch die interne Revision und die Überprüfung durch die Stakeholder enthalten.
Führen Sie das Audit durch, dokumentieren Sie die Ergebnisse und teilen Sie diese bei Bedarf der Geschäftsleitung und den Aufsichtsbehörden mit. Richten Sie eine kontinuierliche Überwachung ein, um sowohl die Datenqualität als auch das operative Risiko zu verfolgen. Metriken und Dashboards können den Prüfungsteams einen Echtzeit-Überblick über Sicherheitslücken verschaffen und eine schnelle Behebung ermöglichen.
Die Bereiche der Wirtschaftsprüfung entwickeln sich im Gleichschritt mit den KI-Technologien weiter. Mit Blick auf die Zukunft können Unternehmen Folgendes erwarten:
Fortschrittliche Modelle des maschinellen Lernens überprüfen zunehmend andere Modelle und scannen Code, Metadaten und Ausgabedaten auf Sicherheitslücken und potenzielle Datenschutzverletzungen. In Zukunft könnten diese Tools direkt in Entwicklungspipelines integriert werden, wodurch die Risikoerkennung nahezu in Echtzeit zur Routine wird. Bereits jetzt entwickeln sich experimentelle „Guardian Agents“ – autonome KI-Agenten, die darauf ausgelegt sind, Datenschutzverletzungen und bösartigen Code zu überwachen – zu einer neuen Schutzebene und einem Schlüsselelement des Modellrisikomanagements.
Das KI-Auditing könnte über die IT- und Compliance-Teams hinaus auch auf Bereiche wie das Lieferkettenmanagement und die Berichterstattung zu Umwelt-, Sozial- und Governance-Themen (ESG) ausgeweitet werden. In diesem Fall könnte von Unternehmen erwartet werden, dass sie Prüfpunkte in die Risikobewertungen von Lieferanten und in die Workflows der Produktentwicklung integrieren, um die Governance-Strukturen zu stärken. Für Führungskräfte könnte dies bedeuten, funktionsübergreifende Leitfäden zu erstellen, die es den Teams aus den Bereichen Finanzen, Recht, Betrieb und Technik ermöglichen, schnell auf Audit-Ergebnisse zu reagieren.
Regulierungsframeworks wie der EU AI Act und Singapurs Modell-Governance-Framework für KI beeinflussen sich bereits gegenseitig. Im Laufe der Zeit könnten Unternehmen mit einheitlicheren Anforderungen hinsichtlich Prüfungsstandards, Datenschutz und der Einhaltung ethischer Grundsätze konfrontiert werden. Das Ergebnis wäre ein einheitliches, weltweit relevantes Governance-Framework anstelle von uneinheitlichen regionalen Bemühungen.
Laut einer Umfrage unter Führungskräften der obersten Ebene aus dem Jahr 2024 des IBM Institute for Business Value geben 82 % der Befragten an, dass sichere und vertrauenswürdige KI für den Erfolg ihres Unternehmens unerlässlich ist. Dennoch werden derzeit nur 24 % der laufenden Projekte im Bereich der generativen KI entsprechend gesichert. Unternehmen, die regelmäßig transparente KI-Prüfberichte vorlegen – ähnlich wie bei Nachhaltigkeits- oder Finanzberichten –, sind möglicherweise besser in der Lage, operative Risiken zu reduzieren und die langfristige Rechenschaftspflicht zu stärken.
Unabhängig davon, wie sich die Zukunft entwickelt, ist die Prüfung nicht mehr nur eine einmalige Maßnahme zur Einhaltung von Vorschriften. Sie entwickelt sich zu einem kontinuierlichen, intelligenten Prozess, der Unternehmen dabei unterstützen kann, KI-Technologien sicher und mit Zuversicht bereitzustellen.
Verwalten Sie generative KI-Modelle von überall aus und stellen Sie diese in der Cloud oder lokal mit IBM watsonx.governance bereit.
Sehen Sie, wie KI-Governance dazu beitragen kann, das Vertrauen Ihrer Mitarbeiter in KI zu stärken, die Einführung und Innovation zu beschleunigen und das Vertrauen der Kunden zu verbessern.
Bereiten Sie sich auf das EU-Gesetz zur KI vor und etablieren Sie mithilfe von IBM Consulting einen verantwortungsvollen KI-Governance-Ansatz.