Was ist vertrauenswürdige KI?

Vertrauenswürdige künstliche Intelligenz (Trustworthy Artificial Intelligence, TAI) kann die potenziellen Risiken mindern, die mit dem Einsatz von KI-Modellen verbunden sind. Zu diesen KI-Risiken gehört die Schädigung von Menschen, Unternehmen und Ökosystemen. Wenn solche Schäden auftreten, können sie nicht nur das Vertrauen in bestimmte KI-Modelle, sondern in künstliche Intelligenz insgesamt untergraben.

Vertrauenswürdige KI-Frameworks können Unternehmen bei der Entwicklung, Einführung und Bewertung von KI-Technologien unterstützen. Mehrere staatliche und zwischenstaatliche Organisationen haben solche Rahmenbedingungen geschaffen, darunter das National Institute of Standards and Technology (NIST) in den Vereinigten Staaten, die hochrangige Expertengruppe für KI der Europäischen Kommission und die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD).

Darüber hinaus können Unternehmen verschiedene Strategien und Tools einsetzen, um die Vertrauenswürdigkeit ihrer KI-Systeme zu verbessern. Zum Beispiel können kontinuierliche Überwachung, Dokumentation und KI-Governance-Frameworks dazu beitragen, Risiken zu minimieren.

Zu verstehen, wie eine Technologie funktioniert, ist oft der Schlüssel zum Vertrauen in ihre Effizienz. Aber viele KI- und maschinelle Lernsysteme (ML), wie z. B. Deep-Learning-Modelle, funktionieren wie echte Black Boxes; sie nehmen Daten auf und erzeugen Ausgaben, wobei wenig bis gar keine Transparenz darüber besteht, wie sie zu diesen Ausgaben gelangen.

Infolgedessen mangelt es an Vertrauen. Eine Umfrage aus dem Jahr 2023 ergab, dass mehr als 40 % der Führungskräfte Bedenken hinsichtlich der Vertrauenswürdigkeit von KI äußerten.¹ Inzwischen haben auch Verbraucher ihr Misstrauen gegenüber KI gezeigt: Eine Studie aus dem Jahr 2024 ergab, dass die Erwähnung des Begriffs „künstliche Intelligenz“ in der Produktkennzeichnung die Wahrscheinlichkeit verringert, dass Käufer dieses Produkt kaufen.²

Beispiele aus der Praxis, in denen KI-Systeme in Anwendungsfällen mit hohen Risiken fehlerhafte oder schädliche Ergebnisse liefern, schüren die Bedenken hinsichtlich des Vertrauens in KI weiter. In einem bekannten Beispiel aus dem Gesundheitswesen konnte ein KI-Modell Sepsis nicht zuverlässig diagnostizieren. Das Modell schnitt zwar in einer Schulungssituation gut ab, erkannte jedoch bei mehr als zwei Dritteln der Krankenhauspatienten keine Sepsis.³

In anderen Fällen haben KI-Modelle eine verzerrte algorithmische Entscheidungsfindung gezeigt, darunter Systeme zur vorausschauenden Polizeiarbeit, die sich unverhältnismäßig stark gegen Minderheiten richten, und Bewerber-Tracking-Systeme, die männliche Bewerber gegenüber weiblichen bevorzugen. Und dann gibt es noch Sicherheitsbedenken, z. B. dass intelligente Chatbots versehentlich sensible, personenbezogene Daten preisgeben, und Hacker, die Schwachstellen in KI-Modellen ausnutzen, um geschützte Unternehmensinformationen zu stehlen.

Wenn KI-Modelle unterdurchschnittlich abschneiden oder schädliche Ergebnisse liefern, kann dies nicht nur das Vertrauen in diese Modelle, sondern in die künstliche Intelligenz im Allgemeinen untergraben und die zukünftige Entwicklung und Einführung von KI möglicherweise behindern. Um vertrauenswürdige KI-Systeme zu erreichen und die zukünftige KI-Entwicklung zu unterstützen, muss Licht in die metaphorische KI-Blackbox gebracht werden. Dadurch können sich die Stakeholder darauf verlassen, dass ihre KI-Anwendungen zuverlässige und genaue Ergebnisse liefern und gleichzeitig das Risiko minimiert wird, dass die Ergebnisse verzerrt sind oder nicht mit der ursprünglichen Absicht übereinstimmen.

Unterschiedliche Unternehmen und Frameworks betonen verschiedene Leitprinzipien und Ziele für vertrauenswürdige KI. Zu den häufig zitierten Prinzipien einer vertrauenswürdigen KI gehören:

• Rechenschaftspflicht
• Erklärbarkeit
• Gerechtigkeit
• Interpretierbarkeit und Transparenz
• Datenschutz
• Reliabilität
• Robustheit und Sicherheit
• Sicherheit

Rechenschaftspflicht in der KI bedeutet, dass KI-Akteure während des gesamten Lebenszyklus für das ordnungsgemäße Funktionieren von KI-Systemen verantwortlich sind. Dazu gehören Einzelpersonen und Organisationen, die an der Entwicklung, dem Einsatz oder dem Betrieb von KI-Technologie beteiligt sind.⁴

Bei der KI-Erklärbarkeit geht es um die Verifizierung oder das Liefern von Begründungen für die Ausgaben eines Modells. Es gibt verschiedene Erklärbarkeitsmethoden, die zusammen als erklärbare KI bezeichnet werden und es menschlichen Nutzern ermöglichen, die von Algorithmen für maschinelles Lernen erstellten Ergebnisse und Ausgaben zu verstehen und ihnen zu vertrauen. 

Fairness in der KI bezieht sich auf die Gleichbehandlung von Einzelpersonen und Gruppen. Es umfasst die Abschwächung algorithmischer Verzerrungen und Datenverzerrungen. Algorithmische Verzerrung tritt auf, wenn systemische Fehler in Algorithmen für maschinelles Lernen zu unfairen oder diskriminierenden Ergebnissen führen, während Datenverzerrung sich auf die verzerrte oder nicht repräsentative Natur der in einem KI-Modell verwendeten Trainingsdaten bezieht.

KI-Interpretierbarkeit hilft Menschen, die Entscheidungsprozesse von KI-Modellen besser zu verstehen und zu erklären. Bei der Interpretierbarkeit geht es um Transparenz, die es den Benutzern ermöglicht, die Architektur des Modells, die verwendeten Funktionen und deren Kombination zur Erstellung von Vorhersagen zu verstehen. Während einige Modelle von Natur aus interpretierbar sind, erfordern andere die Verwendung von Interpretationsmethoden.

KI-Privatsphäre bezieht sich auf den Schutz persönlicher oder sensibler Informationen, die von KI erfasst, verwendet, geteilt oder gespeichert werden. KI-Datenschutz ist eng mit dem Datenschutz verbunden. Datenschutz, auch bekannt als Datenschutz, ist das Prinzip, dass eine Person die Kontrolle über ihre persönlichen Daten haben sollte. Die Wahrung des KI- und Datenschutzes kann durch eine Reihe von Methoden verbessert werden, die von Kryptografie bis hin zum Verbundlernen reichen.

Zuverlässigkeit kann als die Fähigkeit definiert werden, für einen gegebenen Zeitraum unter bestimmten Bedingungen wie vorgesehen oder erforderlich fehlerfrei zu funktionieren. Zuverlässige KI-Systeme sollten bei Verwendung unter den erwarteten Bedingungen über einen bestimmten Zeitraum, der die gesamte Lebensdauer dieser Systeme umfassen kann, korrekte Ergebnisse liefern.⁵

Sichere, robuste KI-Systeme verfügen über Schutzmechanismen gegen feindliche Angriffe und unbefugten Zugriff, wodurch Cybersicherheitsrisiken und Schwachstellen minimiert werden. Sie können unter anormalen Bedingungen arbeiten, ohne unbeabsichtigte Schäden zu verursachen, und nach einem unerwarteten Ereignis wieder in den Normalzustand zurückkehren.

Sichere KI-Systeme gefährden weder Menschenleben noch die Gesundheit, das Eigentum oder die Umwelt. Sie sind proaktiv darauf ausgelegt, Menschen vor Schaden zu bewahren, und umfassen Maßnahmen, die unsichere Ergebnisse abmildern, einschließlich der Möglichkeit, ein System aus dem Verkehr zu ziehen.⁶

KI-Systeme, denen es an vertrauenswürdigen Eigenschaften mangelt, bergen eine Vielzahl von Risiken. Das National Institute of Standards and Technology (NIST), das zum US-Handelsministerium gehört, hat ein Rahmenwerk entwickelt, das zum Maßstab für das KI-Risikomanagement geworden ist. Die Risiken potenzieller Schäden durch KI-Systeme werden in die folgenden Kategorien eingeteilt:⁷

• Schaden für Menschen
• Schaden für ein Unternehmen
• Schaden für ein Ökosystem

Diese Kategorie umfasst Schäden, die den bürgerlichen Freiheiten, Rechten, der physischen oder psychischen Sicherheit oder den wirtschaftlichen Möglichkeiten von Personen zugefügt werden. Sie umfasst auch die Auswirkungen auf Gruppen durch Diskriminierung und die Auswirkungen auf Gesellschaften in Form von Beeinträchtigungen der demokratischen Beteiligung oder des Zugangs zu Bildung.

Diese Kategorie bezieht sich auf Schäden am Geschäftsbetrieb eines Unternehmens, Schäden durch Sicherheitsverletzungen oder finanzielle Verluste sowie Rufschädigungen.

Diese Kategorie umfasst Schäden an „miteinander verbundenen und voneinander abhängigen Elementen und Ressourcen“. NIST nennt ausdrücklich die Schädigung des globalen Finanzsystems, der Lieferkette oder „miteinander zusammenhängender Systeme“ sowie der natürlichen Ressourcen, der Umwelt und des Planeten.

Verzerrte oder ungenaue Ausgaben von KI-Systemen können zu mehrfachen Schäden führen. Um auf ein früheres Beispiel zurückzukommen: Verzerrte Systeme zur Nachverfolgung von Bewerbern können die wirtschaftlichen Möglichkeiten von Einzelpersonen beeinträchtigen und gleichzeitig den Ruf eines Unternehmens schädigen. Wenn ein großes Sprachmodell (Large Language Model, LLM) dazu verleitet wird, Malware auszuführen, die den Betrieb eines Unternehmens lahmlegt, könnte dies sowohl dem Unternehmen als auch der Lieferkette, zu der es gehört, Schaden zufügen.

Vertrauenswürdige KI-Systeme könnten helfen, solche schlimmen Szenarien und Folgen zu verhindern. Laut NIST können "vertrauenswürdige KI-Systeme und ihr verantwortungsvoller Einsatz negative Risiken mindern und zu Nutzen für Menschen, Unternehmen und Ökosysteme beitragen".

In den letzten Jahren sind verschiedene Frameworks entstanden, die KI-Anbietern und -Nutzern bei der Entwicklung, Bereitstellung und dem Betrieb vertrauenswürdiger KI-Systeme als Orientierungshilfe dienen. Zu diesen Frameworks gehören:

Das im Januar 2023 veröffentlichte NIST AI Risk Management Framework (AI RMF) bietet einen Überblick über KI-Risiken über alle KI-Lebenszyklen hinweg sowie die Merkmale vertrauenswürdiger KI-Systeme. Das Framework beschreibt auch spezifische Maßnahmen, die Unternehmen bei der Verwaltung solcher Systeme unterstützen, einschließlich Aufgaben im Bereich Testen, Evaluieren, Verifizieren und Validieren.

Das freiwillige Framework gilt für jedes Unternehmen oder jede Region, aber NIST räumt ein, dass nicht alle Merkmale vertrauenswürdiger KI in allen Umgebungen zutreffen. Das Framework ermutigt dazu, bei der Auswahl anwendbarer Vertrauenswürdigkeitskennzahlen menschliches Urteilsvermögen einzusetzen und zu berücksichtigen, dass bei der Optimierung für das eine oder andere vertrauenswürdige KI-Merkmal in der Regel Kompromisse eingegangen werden müssen. Im Juli 2024 veröffentlichte das NIST eine Begleitressource zu AI RMF, die sich auf generative KI konzentrierte.

Die OECD-Grundsätze für KI fördern die Achtung der Menschenrechte und demokratischen Werte bei der Nutzung von KI. Das im Mai 2019 verabschiedete und im Mai 2024 aktualisierte OECD-Framework enthält sowohl wertebasierte Grundsätze als auch Empfehlungen für politische Entscheidungsträger. Die OECD preist die Empfehlungen als erste zwischenstaatliche Standards für KI an, denen weltweit 47 Länder angehören, darunter die Vereinigten Staaten, Länder der Europäischen Union sowie Länder in Südamerika und Asien.

Die Leitlinien der Europäischen Union, die im April 2019 von der hochrangigen Expertengruppe der Europäischen Kommission für KI veröffentlicht wurden, konzentrieren sich auf die KI-Ethik und betonen einen „menschlichen“ Ansatz für die KI-Entwicklung in der EU. Die Richtlinien umfassten sieben ethische Grundsätze, wie „menschliche Handlungsfähigkeit und Aufsicht“ und „gesellschaftliches und ökologisches Wohlergehen“. Im folgenden Jahr veröffentlichte die Gruppe eine Bewertungsliste für vertrauenswürdige KI, die Unternehmen bei der Bewertung ihrer KI-Systeme hilft.

Die Richtlinien selbst sind zwar nicht bindend, wurden aber später im wegweisenden EU-KI-Gesetz zitiert, einem Gesetz, das die Entwicklung oder Nutzung künstlicher Intelligenz in der Europäischen Union regelt. Der Gesetzestext besagt, dass die ethischen Grundsätze der KI der EU „wenn möglich bei der Gestaltung und Verwendung von KI-Modellen umgesetzt werden sollten“.⁸

Auch andere Unternehmen haben Frameworks und Richtlinien zur Förderung vertrauenswürdiger KI veröffentlicht, darunter das Office of Science and Technology des Weißen Hauses (mit seinem Blueprint for AI Bill of Rights) und Unternehmen wie Deloitte (Link befindet sich außerhalb von ibm.com) und IBM.

Die Begriffe vertrauenswürdige KI, ethische KI und verantwortungsvolle KI werden oft synonym verwendet. Und da die Definitionen der einzelnen Konzepte je nach Quelle variieren können und oft erhebliche Überschneidungen aufweisen, kann es schwierig sein, eine eindeutige Unterscheidung zwischen den drei Konzepten zu treffen.

Zum Beispiel listen gemeinsame Definitionen von vertrauenswürdiger KI und ethischer KI Prinzipien wie Fairness und Datenschutz als grundlegend für jedes Konzept auf. Ebenso sind Rechenschaftspflicht und Transparenz Eigenschaften, die oft sowohl mit vertrauenswürdiger KI als auch mit verantwortungsvoller KI in Verbindung gebracht werden.

Eine Möglichkeit, die drei KI-basierten Konzepte zu erkennen, besteht darin, über ihre Kernprinzipien hinauszuschauen und sich stattdessen auf ihre Einsatzmöglichkeiten zu konzentrieren:

• Eine Möglichkeit, zwischen den drei KI-basierten Konzepten zu unterscheiden, besteht darin, über ihre Kernprinzipien hinauszuschauen und sich stattdessen auf ihre Verwendung zu konzentrieren.
• Im Gegensatz dazu werden ethische KI-Systeme als KI-Systeme beschrieben, in deren Design und Entwicklung ethische Überlegungen – die menschliche Werte und moralische Standards widerspiegeln – eingebettet sind.
• Verantwortungsvolle KI kann so interpretiert werden, dass sie die praktischen Mittel umfasst, um diese Ethik in KI-Anwendungen und Workflows zu verankern.

Unternehmen können wichtige Schritte unternehmen, um sicherzustellen, dass ihre Systeme für künstliche Intelligenz, einschließlich AI-Algorithmen und Datensätze, mit den Prinzipien einer vertrauenswürdigen KI arbeiten.

Bewertung: Durch die Bewertung von KI-gestützten Geschäftsprozessen können Unternehmen feststellen, wo es bei verschiedenen Vertrauenswürdigkeits-Metriken Verbesserungspotenzial gibt.

Kontinuierliche Überwachung: Durch kontinuierliche Überwachung auf Probleme wie KI-Verzerrung und Modelldrift können Unternehmen proaktiv gegen unfaire oder ungenaue Prozesse oder Ausgaben vorgehen und so Fairness und Zuverlässigkeit fördern.

Risikomanagement: Die Implementierung eines Risikomanagement-Frameworks und von Tools ermöglicht die Erkennung und Minimierung von Sicherheits- und Datenschutzverletzungen, um die Robustheit der KI zu stärken.

Dokumentation: Die automatisierte Dokumentation über den gesamten Lebenszyklus von Datenwissenschaft und KI hinweg kann für Branchen- und behördliche Audits verwendet werden und ermöglicht so Rechenschaftspflicht und Transparenz.

KI-Governance-Frameworks: KI-Governance-Frameworks enthalten Verfahren zur Daten- und Modellverwaltung, die dazu beitragen, dass Entwickler und Data Scientists innerhalb eines Unternehmens sowohl interne Standards als auch gesetzliche Vorschriften einhalten.

KI-Governance-Software und Open-Source-Toolkits können Unternehmen dabei helfen, diese und andere Schritte zu unternehmen, um die Vertrauenswürdigkeit ihrer KI-Systeme zu verbessern. Mit den richtigen Maßnahmen und Sicherheitsvorkehrungen können Unternehmen Risiken minimieren, während sie das Potenzial von KI nutzen.