Erklärbare künstliche Intelligenz (Explainable Artificial Intelligence, XAI) bezeichnet zusammenfassend eine Reihe von Prozessen und Methoden, anhand derer menschliche Nutzer die von Algorithmen des maschinellen Lernens erzeugten Ergebnisse und Ausgaben verstehen und ihnen vertrauen können.
Erklärbare KI wird zur Beschreibung eines KI-Modells, seiner erwarteten Auswirkungen und möglicher Verzerrungen verwendet. Sie erleichtert die Charakterisierung von Modellgenauigkeit, Fairness, Transparenz und Ergebnissen bei der KI-gestützten Entscheidungsfindung. Erklärbare KI ist für ein Unternehmen von entscheidender Bedeutung, wenn es darum geht, Vertrauen zu schaffen, wenn KI-Modelle in der Produktion eingesetzt werden. Darüber hinaus erleichtert die Erklärbarkeit von KI einem Unternehmen einen verantwortungsvollen Umgang mit der KI-Entwicklung.
Mit zunehmender Weiterentwicklung der KI steht der Mensch vor der Herausforderung, den Weg, auf dem der Algorithmus zu einem Ergebnis gekommen ist, zu verstehen und nachzuvollziehen. Der gesamte Berechnungsprozess wird zu einer „Blackbox“, die nicht interpretierbar ist. Diese Blackbox-Modelle werden direkt aus den Daten erstellt. Selbst die Ingenieure oder Datenwissenschaftler, die den Algorithmus entwickeln, können nicht verstehen oder erklären, was genau in diesem System vor sich geht oder wie der KI-Algorithmus zu einem bestimmten Ergebnis gelangt.
Es hat viele Vorteile zu verstehen, wie ein KI-gestütztes System zu einem bestimmten Ergebnis geführt hat. Die Erklärbarkeit kann den Entwicklern dabei helfen, sicherzustellen, dass das System erwartungsgemäß funktioniert, sie kann notwendig sein, um gesetzliche Vorschriften zu erfüllen, oder sie kann wichtig sein, um den von einer Entscheidung Betroffenen die Möglichkeit zu geben, das Ergebnis anzufechten oder zu verändern.¹
Erfahren Sie mehr über die Hindernisse bei der Einführung von KI, insbesondere über das Fehlen von Lösungen für KI-Governance und -Risikomanagement.
Leitfaden für Datenverantwortliche lesen
Es ist für Unternehmen von entscheidender Bedeutung, die KI-Entscheidungsprozesse mit Modellüberwachung und Rechenschaftspflicht der KI vollständig zu verstehen und ihnen nicht blind zu vertrauen. Mit erklärbarer KI können Menschen Algorithmen des maschinellen Lernens (ML), Deep Learning und neuronale Netze verstehen und erklären.
ML-Modelle werden oft als Blackboxen betrachtet, die nicht interpretierbar sind.² Die neuronalen Netze, die beim Deep Learning zum Einsatz kommen, gehören zu den für Menschen am schwersten zu verstehenden Strukturen. Verzerrungen, die oft auf Ethnie, Geschlecht, Alter oder Standort beruhen, sind ein anhaltendes Risiko beim Training von KI-Modellen. Des Weiteren kann die Leistung von KI-Modellen von den Ergebnissen in der Trainingsphase abweichen oder abnehmen, da sich die Produktionsdaten von den Trainingsdaten unterscheiden. Daher ist es für Unternehmen von entscheidender Bedeutung, Modelle kontinuierlich zu überwachen und zu verwalten, um die Erklärbarkeit von KI zu fördern und gleichzeitig die geschäftlichen Auswirkungen der Verwendung solcher Algorithmen zu messen. Erklärbare KI trägt zudem dazu bei, das Vertrauen der Endnutzer, die Überprüfbarkeit von Modellen und den produktiven Einsatz von KI zu fördern. Gleichzeitig werden Compliance-, rechtliche, sicherheitsbezogene und Reputationsrisiken des KI-Einsatzes in der Produktion gemildert.
Erklärbare KI ist eine der wichtigsten Voraussetzungen für die Realisierung von verantwortungsvoller KI, einer Methodik für die groß angelegte Implementierung von KI-Methoden in realen Organisationen unter Gewährleistung von Fairness, Erklärbarkeit der Modelle und Rechenschaftspflicht.³ Um eine verantwortungsvolle Einführung von KI zu ermöglichen, müssen Unternehmen ethische Grundsätze in KI-Anwendungen und -Prozesse einbetten, indem sie KI-Systeme auf der Grundlage von Vertrauen und Transparenz entwickeln.
Beschleunigen Sie verantwortungsvolle, transparente und erklärbare Workflows für generative KI, die auf Drittanbieter-Plattformen erstellt wurde
Mit erklärbarer KI sowie interpretierbarem maschinellem Lernen erhalten Unternehmen Zugang zu den Entscheidungsprozessen, die der KI-Technologie zugrunde liegen, und können so Anpassungen vornehmen. Erklärbare KI kann die Benutzererfahrung mit einem Produkt oder einer Dienstleistung verbessern, indem sie dem Endbenutzer das Vertrauen gibt, dass die KI gute Entscheidungen trifft. Wann vermitteln KI-Systeme genügend Sicherheit bei der Entscheidung, sodass man ihnen vertrauen kann, und wie kann das KI-System auftretende Fehler korrigieren?⁴
Auch wenn die KI immer fortschrittlicher wird, müssen ML-Prozesse immer noch verstanden und kontrolliert werden, um sicherzustellen, dass die Ergebnisse der KI-Modelle korrekt sind. Im Folgenden werden der Unterschied zwischen KI und XAI, die Methoden und Techniken zur Weiterentwicklung von KI zu XAI sowie der Unterschied zwischen der Interpretation und dem Erklären von KI-Prozessen erläutert.
Vergleich zwischen KI und XAI
Was genau ist der Unterschied zwischen „normaler“ KI und erklärbarer KI? XAI setzt spezielle Techniken und Methoden ein, um sicherzustellen, dass jede Entscheidung, die während des ML-Prozesses getroffen wird, nachvollzogen und erklärt werden kann. Dagegen kommt KI oft mit Hilfe eines ML-Algorithmus zu einem Ergebnis, aber die Architekten der KI-Systeme verstehen die Vorgehensweise des Algorithmus nicht genau. Dadurch ist es schwierig, die Richtigkeit zu überprüfen, und es kommt zu einem Verlust an Kontrolle, Verantwortbarkeit und Überprüfbarkeit.
Techniken der erklärbaren KI
Die Entwicklung von XAI-Techniken besteht aus drei Hauptmethoden. Vorhersagegenauigkeit und Rückverfolgbarkeit betreffen die technischen Anforderungen, während das Verstehen von Entscheidungen die menschlichen Bedürfnisse anspricht. Erklärbare KI – insbesondere erklärbares maschinelles Lernen – ist von entscheidender Bedeutung, wenn künftige Streitkräfte eine neue Generation künstlich intelligenter Maschinen verstehen, ihnen angemessen vertrauen und sie effektiv steuern sollen.⁵
Vorhersagegenauigkeit
Genauigkeit ist ein wesentlicher Faktor dafür, wie erfolgreich der Einsatz von KI im täglichen Betrieb ist. Durch die Durchführung von Simulationen und den Vergleich der XAI-Ausgabe mit den Ergebnissen im Trainingsdatensatz kann die Vorhersagegenauigkeit bestimmt werden. Die am häufigsten hierfür verwendete Technik ist Local Interpretable Model-Agnostic Explanations (LIME), die die Vorhersage von Klassifikatoren durch den ML-Algorithmus erklärt.
Rückverfolgbarkeit
Rückverfolgbarkeit ist eine weitere zentrale Technik, um XAI zu erreichen. Diese wird beispielsweise dadurch möglich, dass die Art und Weise, wie Entscheidungen getroffen werden können, eingeschränkt wird und ein engerer Anwendungsbereich für ML-Regeln und -Funktionen festgelegt wird. Ein Beispiel für eine XAI-Technik zur Rückverfolgbarkeit ist DeepLIFT (Deep Learning Important FeaTures), wobei die Aktivierung jedes Neurons mit seinem Referenzneuron verglichen wird und eine rückverfolgbare Verbindung zwischen den einzelnen aktivierten Neuronen und sogar Abhängigkeiten zwischen ihnen aufzeigt werden.
Verstehen von Entscheidungen
Das ist der menschliche Faktor. Viele Menschen stehen der KI misstrauisch gegenüber, doch um effizient mit ihr arbeiten zu können, müssen sie lernen, ihr zu vertrauen. Zu diesem Zweck muss das Team, das mit der KI arbeitet, geschult werden, damit es versteht, wie und warum die KI Entscheidungen trifft.
Unter Interpretierbarkeit versteht man das Ausmaß, in dem ein Beobachter den Grund für eine Entscheidung verstehen kann. Sie ist die Erfolgsquote, die Menschen für das Ergebnis einer KI-Ausgabe vorhersagen können. Die Erklärbarkeit geht einen Schritt weiter und untersucht, wie die KI zu dem Ergebnis gekommen ist.
Erklärbare KI und verantwortungsvolle KI verfolgen ähnliche Ziele, jedoch unterschiedliche Ansätze. Im Folgenden stellen wir erklärbare und verantwortungsvolle KI einander gegenüber:
- Erklärbare KI untersucht die KI-Ergebnisse, nachdem die Ergebnisse berechnet wurden.
- Verantwortungsvolle KI befasst sich mit KI in der Planungsphase, um den KI-Algorithmus in die Verantwortung zu nehmen, bevor die Ergebnisse berechnet werden.
- Erklärbare und verantwortungsvolle KI können zusammenwirken, um bessere KI zu schaffen.
Mit erklärbarer KI kann ein Unternehmen Fehler beheben und die Modellleistung verbessern und zugleich den Beteiligten helfen, das Verhalten der KI-Modelle zu verstehen. Die Untersuchung des Modellverhaltens durch die Verfolgung von Erkenntnissen über Einsatzstatus, Fairness, Qualität und Drift ist für die Skalierung von KI unerlässlich.
Durch eine fortlaufende Modellbewertung kann ein Unternehmen Modellvorhersagen vergleichen, das Modellrisiko quantifizieren und die Modellleistung optimieren. Die Darstellung positiver und negativer Werte im Modellverhalten mit Daten, die zur Erzeugung von Erklärungen verwendet werden, ermöglicht eine schnellere Modellbewertung. Eine Daten- und KI-Plattform kann Merkmalszuweisungen für Modellvorhersagen generieren und es Teams ermöglichen, das Modellverhalten mit interaktiven Diagrammen und exportierbaren Dokumenten visuell zu untersuchen.
Sie können Vertrauen in den KI-Einsatz in der Produktion aufbauen. So stehen Ihre KI-Modelle schnell in der Produktion zur Verfügung. Dabei wird die Interpretierbarkeit und Erklärbarkeit von KI-Modellen sichergestellt. Der Prozess der Modellevaluierung wird vereinfacht und die Transparenz und Rückverfolgbarkeit der Modelle erhöht.
Durch systematische Überwachung und Verwaltung der Modelle lassen sich die Geschäftsergebnisse optimieren. Die Leistung des Modells wird kontinuierlich bewertet und verbessert. Auf der Grundlage einer kontinuierlichen Evaluierung können Sie die Modellentwicklung bis ins Detail abstimmen.
Ihre KI-Modelle bleiben erklärbar und transparent. So lassen sich Vorschriften, Compliance, Risiken und andere Anforderungen bewältigen. Der Aufwand für manuelle Kontrollen und kostspielige Fehler wird minimiert. Zudem verringert sich das Risiko einer unbeabsichtigten Verzerrung.
Um mit erklärbarer KI wünschenswerte Ergebnisse zu erzielen, gibt es einiges zu beachten:
Fairness und Verzerrungsbereinigung: Verwalten Sie und überwachen Sie Fairness. Zudem sollten Sie ihre Bereitstellung auf mögliche Verzerrungen prüfen.
Minderung der Modellabweichung: Eine Analyse Ihres Modells ermöglicht Empfehlungen basierend auf dem logischsten Ergebnis. Sie können Warnungen erhalten, wenn Modelle von den beabsichtigten Ergebnissen abweichen.
Modellrisikomanagement: Das Modellrisiko ist quantifizier- und minderbar. Sie werden informiert, wenn die Leistung eines Modells unzureichend ist. Die Ursache für Abweichungen wird nachvollziehbar.
Lebenszyklusautomatisierung: Modelle werden als Teil integrierter Daten- und KI-Dienste erstellt, ausgeführt und verwaltet. Die Zusammenführung der Tools und Prozesse auf einer Plattform ermöglicht die Überwachung von Modellen und das Teilen von Ergebnissen. Die Abhängigkeiten von Modellen des maschinellen Lernens können erklärt werden.
Multicloud-Bereitschaft: KI-Projekte lassen sich in Hybrid Clouds bereitstellen, einschließlich Public Clouds, Private Clouds und On-Premises. Erklärbare KI schafft Vertrauen.
- Gesundheitswesen: Diagnostik, Bildanalyse, Ressourcenoptimierung und medizinische Diagnose werden beschleunigt. Die Transparenz und Nachvollziehbarkeit der Entscheidungsfindung in der Patientenversorgung werden verbessert. Mit erklärbarer KI kann der pharmazeutische Zulassungsprozess rationalisiert werden.
- Finanzdienstleistungen: Ein transparentes Verfahren zur Kreditvergabe und -genehmigung verbessert die Kundenerfahrung. Risikobewertungen in den Bereichen Kreditrisiko, Vermögensverwaltung und Wirtschaftskriminalität lassen sich schneller durchführen. Die Lösung potenzieller Beschwerden und Probleme wird beschleunigt. Das Vertrauen in Preisgestaltung, Produktempfehlungen und Anlagedienstleistungen wächst.
- Strafverfolgung: Die Verfahren zur Vorhersage und Risikobewertung werden optimiert. Durch den Einsatz erklärbarer KI bei der DNA-Analyse, der Analyse der Gefängnispopulation und der Straftatprognose können Sie die Entscheidungsfindung beschleunigen. Mögliche Verzerrungen in Trainingsdaten und Algorithmen werden erkennbar.
Das Toolkit von IBM® watsonx.governance für KI-Governance ermöglicht es Ihnen, die KI-Aktivitäten Ihres Unternehmens zu steuern, zu verwalten und zu überwachen. Dazu setzt es Softwareautomatisierung ein, die Sie darin unterstützt, Risiken zu mindern, behördliche Richtlinien zu verwalten und ethische Bedenken für generative KI und maschinelle Lernmodelle anzugehen.
Der KI-Lebenszyklus lässt sich durch Modernisierungen automatisieren. Fast überall können Daten und KI-Dienste durch Governance und Sicherheit ergänzt werden.
KI kann mit Vertrauen und Transparenz erstellt und skaliert werden. Sie können KI-Modelle mit ständiger Überwachung für erklärbare KI erstellen, ausführen und verwalten.
Ein durchgängiger Datenkatalog mit aktiver Metadaten- und Richtlinienverwaltung unterstützt die Verwaltung von Daten und KI-Modellen.
Hier finden Sie weitere Informationen zu einem dreistufigen Ansatz in der KI-Governance lesen. Darüber hinaus erhalten Sie Einblicke in den Aufbau von Governance-Systemen, die in der Lage sind, ethische KI zu überwachen.
Hier erfahren Sie, wie Sie Modellmonitore einrichten und aktivieren. Mithilfe eines Beispielmodells für das Kreditrisiko können Sie die Bereitstellung auswählen und den Datentyp für die Nutzlastprotokollierung festlegen.
Forrester Consulting untersucht den prognostizierten Return-on-Investment für Unternehmen, die erklärbare KI und Modellüberwachung einsetzen.
Die Fluggesellschaft Lufthansa verbessert das Kundenerlebnis und die Effizienz durch die Automatisierung des KI-Lebenszyklus und die Verringerung von Drift und Verzerrung.
Fußnoten
¹ „Explainable AI“ (Link befindet sich außerhalb von ibm.com), The Royal Society, 28. November 2019.
² „Explainable Artificial Intelligence“ (Link befindet sich außerhalb von ibm.com), Jaime Zornoza, 15. April 2020.
³ „Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI“ (Link befindet sich außerhalb von ibm.com), ScienceDirect, Juni 2020.
⁴ „Understanding Explainable AI“ (Link befindet sich außerhalb von ibm.com), Ron Schmelzer, Forbes-Beitragender, 23. Juli 2019.
⁵ „Explainable Artificial Intelligence (XAI)“ (Link befindet sich außerhalb von ibm.com), Dr. Matt Turek, The U.S. Defense Advanced Research Projects Agency (DARPA).