Was ist Blackbox-KI?

Stellen Sie sich ein Blackbox-Modell vor, das die Lebensläufe von Bewerbern auswertet. Die Benutzer können die Eingaben sehen – die Lebensläufe, die sie in das KI-Modell einspeisen. Und die Benutzer können die Ausgaben sehen – die Bewertungen, die das Modell für diese Lebensläufe zurückgibt. Die Nutzer wissen aber nicht genau, wie das Modell zu seinen Schlussfolgerungen kommt – welche Faktoren es berücksichtigt, wie es diese Faktoren abwägt und so weiter. 

Viele der fortschrittlichsten Machine-Learning-Modelle, die heute verfügbar sind, darunter große Sprachmodelle wie ChatGPT von OpenAI und Llama von Meta, sind Blackbox-KIs. Diese Modelle der künstlichen Intelligenz werden durch komplexe Deep-Learning-Prozesse an riesigen Datensätzen trainiert, und selbst ihre eigenen Entwickler verstehen nicht vollständig, wie sie funktionieren. 

Diese komplexen Blackboxen können beeindruckende Ergebnisse liefern, aber die mangelnde Transparenz kann es manchmal schwierig machen, ihren Ausgaben zu vertrauen. Benutzer können die Ausgaben eines Modells nicht einfach validieren, wenn sie nicht wissen, was unter der Oberfläche vor sich geht. Darüber hinaus kann die Undurchsichtigkeit eines Blackbox-Modells Schwachstellen in der Cybersicherheit, Verzerrungen, Datenschutzverletzungen und andere Probleme verbergen. 

Um diese Herausforderungen zu bewältigen, arbeiten KI-Forscher an der Entwicklung erklärbarer KI-Tools, die die Leistung von fortschrittlichen Modellen mit der Notwendigkeit von Transparenz der KI-Ergebnisse in Einklang bringen. 

Blackbox-KI-Modelle entstehen aus einem von zwei Gründen: Entweder werden sie von ihren Entwicklern absichtlich zu Blackboxen gemacht, oder sie werden als Nebenprodukt ihres Trainings zu Blackboxen. 

Einige KI-Entwickler und -Programmierer verschleiern das Innenleben von KI-Tools, bevor sie sie der Öffentlichkeit zur Verfügung stellen. Diese Taktik dient oft dem Schutz des geistigen Eigentums. Die Entwickler des Systems wissen genau, wie es funktioniert, halten aber den Quellcode und den Entscheidungsfindung geheim. Viele herkömmliche, regelbasierte KI-Algorithmen sind aus diesem Grund „Blackboxen“.

Viele der fortschrittlichsten KI-Technologien, darunter auch generative KI-Tools, sind jedoch so etwas wie „organische Blackboxen”. Die Entwickler dieser Tools verschleiern ihre Funktionsweise nicht absichtlich. Vielmehr sind die Deep-Learning-Systeme, die diese Modelle antreiben, so komplex, dass selbst ihre Entwickler nicht genau verstehen, was in ihnen vor sich geht.

Deep-Learning-Algorithmen sind eine Art von Algorithmen für maschinelles Lernen, die mehrschichtige Neural Networks verwenden. Während ein traditionelles maschinelles Lernmodell ein Netzwerk mit einer oder zwei Schichten verwenden könnte, können Deep-Learning-Modelle Hunderte oder sogar Tausende von Schichten haben. Jede Schicht enthält mehrere Neuronen, bei denen es sich um Code-Bündel handelt, die die Funktionen des menschlichen Gehirns nachahmen sollen.

Tiefe neuronale Netze können rohe, unstrukturierte Big-Data-Sätze mit geringem menschlichem Eingriff verarbeiten und analysieren. Sie können riesige Datenmengen aufnehmen, Muster erkennen, aus diesen Mustern lernen und das Gelernte nutzen, um neue Ergebnisse wie Bilder, Videos und Texte zu generieren. 

Diese Fähigkeit zum groß angelegten Lernen ohne Aufsicht ermöglicht es KI-Systemen, Dinge wie fortgeschrittene Sprachverarbeitung, die Erstellung origineller Inhalte und andere Leistungen zu vollbringen, die der menschlichen Intelligenz nahekommen können.

Diese tiefen neuronalen Netze sind jedoch von Natur aus intransparent. Benutzer – einschließlich KI-Entwickler – können sehen, was auf den Eingabe- und Ausgabeschichten, auch „sichtbare Schichten“ genannt, geschieht. Sie können die eingehenden Daten und die daraus resultierenden Vorhersagen, Klassifizierungen oder sonstigen Inhalte einsehen. Sie wissen jedoch nicht, was auf allen dazwischenliegenden Netzwerkschichten, den sogenannten „verborgenen Schichten”, geschieht.

KI-Entwickler wissen im Großen und Ganzen, wie Daten durch die einzelnen Schichten des Netzwerks fließen, und sie haben ein allgemeines Verständnis davon, was die Modelle mit den Daten machen, die sie aufnehmen. Aber sie kennen nicht alle Einzelheiten. Beispielsweise wissen sie möglicherweise nicht, was es bedeutet, wenn eine bestimmte Kombination von Neuronen aktiviert wird, oder wie genau das Modell Vektor-Einbettungen findet und kombiniert, um auf einen Prompt zu reagieren. 

Selbst Open-Source-KI-Modelle, deren zugrunde liegender Code öffentlich zugänglich ist, sind letztlich Black Boxes, da Nutzer nach wie vor nicht interpretieren können, was innerhalb der einzelnen Schichten des Modells geschieht, wenn es aktiv ist.

Die derzeit fortschrittlichsten KI- und ML-Modelle sind extrem leistungsstark, aber diese Leistungsfähigkeit geht zu Lasten der Interpretierbarkeit. 

Generative KI-Modelle basieren auf komplexen neuronalen Netzen, um auf Befehle in natürlicher Sprache zu reagieren, neuartige Probleme zu lösen und originelle Inhalte zu erstellen, aber es ist schwierig zu interpretieren, was innerhalb dieser Netze geschieht. Einfachere, regelbasierte KI-Modelle sind leichter zu erklären, aber im Allgemeinen nicht so leistungsfähig oder flexibel wie generative KI-Modelle.

Unternehmen können das Black-Box-Problem also nicht einfach durch den Einsatz besser erklärbarer, traditioneller KI-Tools lösen. Herkömmliche KI-Modelle können viele Funktionen ausführen, aber es gibt einige Dinge, die nur ein fortschrittliches KI-Modell leisten kann.

Zwar mag es praktische Gründe für die Verwendung von Black-Box-Modellen des maschinellen Lernens geben, doch kann die mangelnde Transparenz ein Hindernis dafür sein, den vollen Nutzen aus diesen fortschrittlichen Modellen zu ziehen.  

Insbesondere die Black-Box-KI stellt Herausforderungen dar, wie zum Beispiel:

Die Nutzer wissen nicht, wie ein Black-Box-Modell seine Entscheidungen trifft – welche Faktoren es abwägt und welche Zusammenhänge es herstellt. Selbst wenn die Ergebnisse des Modells korrekt erscheinen, kann die Validierung schwierig sein, wenn man die Prozesse, die zu diesen Ergebnissen führen, nicht genau versteht. 

Ohne dass ihre Nutzer davon wissen, können Blackbox-Modelle aus den falschen Gründen zu den richtigen Schlussfolgerungen gelangen. Dieses Phänomen wird manchmal als „Clever-Hans-Effekt“ bezeichnet, benannt nach einem Pferd, das angeblich zählen und einfache Rechenaufgaben lösen konnte, indem es mit dem Huf stampfte. In Wahrheit nahm Hans subtile Signale aus der Körpersprache seines Besitzers wahr, um zu erkennen, wann es Zeit war, mit dem Stampfen aufzuhören.

Der Clever-Hans-Effekt kann schwerwiegende Folgen haben, wenn Modelle in Bereichen wie dem Gesundheitswesen angewendet werden. Beispielsweise ist bekannt, dass KI-Modelle, die für die Diagnose von COVID-19 anhand von Röntgenaufnahmen der Lunge trainiert wurden, mit Trainingsdaten zwar eine hohe Genauigkeit erreichen, in der Praxis jedoch weniger leistungsfähig sind. 

Diese Leistungslücke entsteht häufig, weil die Modelle lernen, COVID anhand irrelevanter Faktoren zu identifizieren. Ein Versuchsmodell „diagnostizierte“ COVID anhand von Anmerkungen auf Röntgenbildern und nicht anhand der Röntgenbilder selbst. Dies geschah, weil COVID-positive Röntgenbilder mit höherer Wahrscheinlichkeit in den Trainingsdaten des Modells kommentiert wurden, da Ärzte deren relevante Merkmale für andere Ärzte hervorhoben.¹

Wenn ein Blackbox-Modell falsche Entscheidungen trifft oder durchweg ungenaue oder schädliche Ergebnisse liefert, kann es schwierig sein, das Modell anzupassen, um dieses Verhalten zu korrigieren. Ohne genau zu wissen, was im Modell vor sich geht, können Benutzer nicht genau feststellen, wo der Fehler liegt.

Dieses Problem stellt eine große Herausforderung im Bereich der autonomen Fahrzeuge dar, wo Entwickler hochentwickelte KI-Systeme trainieren, um Fahrentscheidungen in Echtzeit zu treffen. Wenn ein autonomes Fahrzeug eine falsche Entscheidung trifft, können die Folgen fatal sein. Da die Modelle hinter diesen Fahrzeugen jedoch so komplex sind, kann es schwierig sein, zu verstehen, warum sie schlechte Entscheidungen treffen und wie man diese korrigieren kann. 

Um dieses Problem zu umgehen, ergänzen viele Entwickler autonomer Fahrzeuge ihre KI mit besser erklärbaren Systemen wie Radar- und Lidar-Sensoren. Diese Systeme geben zwar keinen Aufschluss über die KI selbst, bieten Entwicklern jedoch Einblicke in die Umgebungen und Situationen, die offenbar dazu führen, dass KI-Modelle falsche Entscheidungen treffen.²

Da Unternehmen in einem Blackbox-Modell nicht alles sehen können, was vor sich geht, könnten sie Schwachstellen übersehen, die darin lauern. Generative KI-Modelle sind auch anfällig für Prompt-Injection- und Data-Poisoning-Angriffe, die das Verhalten eines Modells heimlich verändern können, ohne dass die Benutzer davon wissen. Wenn Benutzer keinen Einblick in die Prozesse eines Modells haben, wissen sie nicht, wann diese Prozesse geändert wurden.

Blackbox-Modelle können anfällig für Verzerrungen sein. Jedes KI-Tool kann menschliche Verzerrungen reproduzieren, wenn diese Verzerrungen in seinen Trainingsdaten oder seinem Design vorhanden sind. Bei Blackbox-Modellen kann es besonders schwierig sein, das Vorhandensein von Verzerrungen oder deren Ursachen genau zu bestimmen.

Verzerrung kann zu suboptimalen, geradezu schädlichen und illegalen Ergebnissen führen. Beispielsweise kann ein KI-Modell, das für die Auswahl von Bewerbern trainiert wurde, lernen, talentierte weibliche Bewerberinnen herauszufiltern, wenn die Trainingsdaten männlich verzerrt sind. 

Einige Strafverfolgungssysteme verwenden hochentwickelte KI-Modelle, um das Risiko einer Person, einen Rückfall zu erleiden, einzuschätzen. Bei diesen Modellen handelt es sich oft um Blackboxen, zumindest für die Öffentlichkeit, die möglicherweise nicht genau weiß, welche Faktoren die Modelle berücksichtigen. Wenn der Algorithmus nicht transparent ist, kann es schwierig sein, seinen Vorhersagen zu vertrauen oder Einspruch gegen sie einzulegen, wenn sie falsch sind.³

Bestimmte Vorschriften, wie der European Union AI Act und der California Consumer Privacy Act (CCPA), legen Regeln dafür fest, wie Unternehmen sensible personenbezogene Daten in KI-gestützten Entscheidungsfindungstools verwenden dürfen. Bei Blackbox-Modellen kann es für ein Unternehmen schwierig sein, zu wissen, ob es die Vorschriften einhält, oder im Falle einer Prüfung die Einhaltung der Vorschriften nachzuweisen.

Whitebox-KI, auch als erklärbare KI (XAI) oder Glassbox-KI bezeichnet, ist das Gegenteil von Blackbox-KI. Es handelt sich um ein KI-System mit transparenter Funktionsweise. Die Nutzer verstehen, wie die KI Daten aufnimmt, verarbeitet und zu einer Schlussfolgerung gelangt. 

Whitebox-KI-Modelle erleichtern es, den Ergebnissen zu vertrauen und sie zu validieren sowie Modelle anzupassen, um Fehler zu korrigieren und die Leistung zu optimieren. Aber es ist nicht einfach, jede KI in eine Whitebox zu verwandeln. 

Herkömmliche KI-Modelle können oft durch die Freigabe ihres Quellcodes transparent gemacht werden. Ausgefeilte Modelle des maschinellen Lernens entwickeln jedoch ihre eigenen Parameter durch Deep-Learning-Algorithmen. Der bloße Zugriff auf die Architekturen dieser Modelle erklärt nicht immer vollständig, was sie tun.

Dennoch gibt es Bemühungen im Gange, um fortschrittliche KI-Modelle besser erklärbar zu machen. Beispielsweise wenden Forscher bei Anthropic Autoencoder – eine Art neuronales Netzwerk – auf das Claude 3 Sonnet LLM des Unternehmens an, um zu verstehen, welche Neuronenkombinationen welchen Konzepten entsprechen. Bisher haben Forscher Kombinationen identifiziert, die Dinge wie die Golden Gate Bridge und das Gebiet der Neurowissenschaften bezeichnen.⁴ 

Das aktuelle o1-Modell von OpenAI gibt Auskunft über die Schritte, die es unternimmt, um zu seinen Ergebnissen zu gelangen, was dabei helfen kann, zu veranschaulichen, wie es zu seinen Antworten kommt. Dies ist jedoch kein direkter Einblick in das Modell, sondern eine vom Modell generierte Erklärung seiner eigenen Aktivität. Ein Großteil der Funktionsweise des Modells – einschließlich der zugrunde liegenden Gedankenkette – bleibt im Verborgenen.⁵

Andere Forscher haben Techniken entwickelt, um zu erklären, wie Modelle zu bestimmten Schlussfolgerungen gelangen. Beispielsweise ist Local Interpretable Model-Agnostic Explanation (LIME) ein Verfahren, bei dem ein separates maschinelles Lernmodell verwendet wird, um die Beziehungen zwischen den Eingaben und Ausgaben einer Black Box zu analysieren, mit dem Ziel, Merkmale zu identifizieren, die die Ausgaben des Modells beeinflussen könnten. 

Diese auf Schlussfolgerungen ausgerichteten Techniken sind häufig für Modelle mit klar strukturierten Eingaben und Ausgaben konzipiert. Beispielsweise kann LIME dabei helfen, Vorhersagen und Klassifizierungen zu erklären, aber es gibt weniger Aufschluss über offene KI-Systeme mit tiefen neuronalen Netzen.

Unternehmen können sich nach Möglichkeit für transparente Modelle entscheiden, aber einige Workflows erfordern hochentwickelte Blackbox-KI-Tools. Allerdings gibt es Möglichkeiten, Black-Box-Modelle vertrauenswürdiger zu machen und einige ihrer Risiken zu mindern.