Was ist Modellvalidierung?

Anstatt einfach nur zu fragen: „Liefert das Modell eine Antwort?“, fragt die Modellvalidierung, ob das Design, die Annahmen, Daten, Implementierungen, Ausgaben, Einschränkungen und das fortlaufende Verhalten des Modells zuverlässig genug für die Entscheidungen sind, die die Menschen damit treffen werden.

Die Modellvalidierung ermöglicht es Unternehmen, das Modellrisiko – das Risiko, dass ein Modell ungenaue, voreingenommene, instabile, unsichere oder missbrauchte Ergebnisse liefert – zu reduzieren, indem sie proaktiv bewertet, wie gut das Modell seine Aufgaben erfüllt.

Für eine einfache Validierung können Modellentwickler das Kandidatenmodell einfach mit einem Validierungssatz vergleichen – dem Beispielsatz, den ML-Ingenieure und Data Scientists verwenden, um zu prüfen, wie gut ein Modell lernt – während der Entwicklung.

Auf der Ebene des Modellrisikomanagements ist die Modellvalidierung jedoch wesentlich umfassender. Die Validierung eines Unternehmensmodells ist typischerweise eine unabhängige Bewertung des gesamten Modelllebenszyklus. Das ML-Modell wird von Personen überprüft, die nicht die Ersteller des Modells sind, und die Überprüfung umfasst, wie das Modell erstellt, eingeführt, verwendet, überwacht, geändert und schließlich außer Betrieb genommen wurde.

Ein erfolgreicher Validierungsprozess stellt fünf Dinge sicher.

1. Das ML-Modell hat einen klaren Zweck und eine definierte Population, einen definierten Anwendungsbereich und einen definierten Entscheidungskontext.
2. Der konzeptionelle Ansatz (die zugrundeliegende Input-to-Output-Mapping-Methode, Logik und Annahmen) des Modells ist für diesen Zweck sinnvoll.
3. Die Daten, die das Modell verwendet, und die Implementierung des Modells sind genau und kontrolliert.
4. Das Modell schneidet bei relevanten Daten angemessen ab, einschließlich Daten, die es während der Entwicklung nicht gesehen hat.
5. Das Unternehmen versteht die Grenzen des Modells und ergreift Maßnahmen, wenn sich die Leistung verschlechtert.

Die Genauigkeit des Modellvalidierungsprozesses entspricht in der Regel dem Zweck des Modells. Ein internes Forecasting-Tool mit geringen Auswirkungen muss nicht so eingehend geprüft werden wie ein Modell, das Hypotheken genehmigt oder betrügerische Banktransaktionen aufdeckt.

Wichtig ist, dass die Modellvalidierung kein einmaliges Genehmigungsereignis ist. Selbst wenn sie anfangs gut funktionieren, können Modelle nach der Veröffentlichung driften und sich verschlechtern, sodass die fortlaufende ML-Modellvalidierung oft in die Governance-Praktiken eines Unternehmens mit künstlicher Intelligenz (KI) integriert ist.

Laut dem NIST AI Risk Management Framework umfassen die Säulen des Modellvertrauens Gültigkeit und Zuverlässigkeit, Sicherheit, Schutz und Resilienz, Rechenschaftspflicht und Transparenz, Erklärbarkeit und Interpretierbarkeit, Datenschutzverbesserung sowie Fairness and der Umgang mit Verzerrungen.

Die Validierung von Modellen des maschinellen Lernens trägt dazu bei, das Vertrauen in das Modell zu stärken und aufrechtzuerhalten (das Maß an begründetem Vertrauen, dass sich ein Modell angemessen verhalten wird). Unternehmen treffen Entscheidungen auf Basis der ML-Modellergebnisse, daher ist Modellvertrauen nicht nur ein Reputationsziel. Es ist die Grundlage für eine sichere, effektive und skalierbare Nutzung von KI. Tatsächlich beeinflussen die Ziele für das Modellvertrauen oft die Modellvalidierungspraktiken.

Darüber hinaus kann ein Modell nicht allein deshalb als vertrauenswürdig gelten, weil sein Entwickler es als „verantwortungsvolle KI“ bezeichnet. Modelle müssen in der Lage sein, ihre Aufgaben zuverlässig zu erfüllen, Menschen und Daten zu schützen, Missbrauch zu widerstehen und verstanden und gesteuert werden zu können. Dieses Maß an Vertrauen muss durch nachweisbare Kontrollen und kontinuierliche Datenerhebung während der Validierung von KI-Modellen erworben werden.

Eine weit verbreitete Methode, um die Säulen von Modellvertrauen zu verstehen, ist das KI-Risiko-Management-Framework des National Institute of Standards and Technology (NIST). Es identifiziert sieben voneinander abhängige Merkmale vertrauenswürdiger KI.

Ein vertrauenswürdiges Modell muss für seine Aufgabe gültig und über die Zeit hinweg sowie unter allen zu erwartenden Bedingungen zuverlässig sein. Die Validität fragt, ob das Modell tatsächlich das misst, vorhersagt, klassifiziert oder erzeugt, was es behauptet.

Die Zuverlässigkeit fragt, ob das Modell konsistent und zuverlässig abschneidet, wenn es vergleichbare Eingaben erhält, einschließlich Eingaben verschiedener Nutzer, Umgebungen, Datenquellen und Zeiträume.

Die Sicherheitssäule konzentriert sich darauf, ob das Modell Menschen, Eigentum, Unternehmen oder die Gesellschaft schädigen kann – selbst wenn es technisch gesehen wie vorgesehen funktioniert.

Ein Modell kann sowohl genau als auch unsicher sein. Ein Chatbot für Kundenservice kann beispielsweise Kontoinformationen korrekt abrufen, aber wenn er so manipuliert werden kann, dass er sensible Daten preisgibt, ist er dennoch unsicher für die Bereitstellung. Sicherheit erfordert, dass Teams vorhersehbare Schäden vor der Bereitstellung erkennen und ihnen proaktiv durch Systemdesign begegnen.

Sicherheit schützt das Modell, seine Daten, seine Schnittstellen und die umliegende Anwendung vor böswilligem Zugriff oder Manipulation. Bei modernen KI-Systemen reicht die Angriffsfläche weit über die Modellgewichte hinaus. Es umfasst außerdem Trainingsdaten, Abrufquellen, Prompts, Programmierschnittstellen (APIs), Plug-ins, Benutzeridentitäten, Bereitstellungsinfrastruktur, Protokolle und Modell-Lieferketten. Sicherheitskontrollen müssen in der Lage sein, die gesamte Angriffsfläche zu verwalten.

Resilienz bezeichnet die Fähigkeit des Modells, sicher fortzufahren,angemessen wiederherzustellen oder im Fehlerfall würdevoll auszufallen. Das bedeutet, zu validieren, dass Modelle sowohl nicht-bösartige Störungen als auch Cyberangriffe bewältigen können. In einer Situation mit hohem Gefahrenpotential ist ein sicherer Ausfall oft wichtiger, als einfach verfügbar zu bleiben.

Verantwortlichkeit bedeutet, dass benannte Eigentümer für das Design, die Implementierung, die Ergebnisse und die Sanierung des Modells verantwortlich sind. Ohne Verantwortlichkeit kann ein Unternehmen sagen: „Die KI hat entschieden“, wenn etwas schiefgeht.

Transparenz bedeutet, dass alle relevanten Informationen über das System, seine Ausgaben, Einschränkungen und Governance den Menschen zur Verfügung stehen, die sie benötigen. Transparenz erfordert von Unternehmen nicht, dass sie proprietären Quellcode oder sensible Sicherheitsdetails offenlegen. Es bedeutet, genügend genaue, nutzbare Informationen offenzulegen, damit die Stakeholder das gesamte System verstehen können.

Erklärbarkeit und Interpretierbarkeit helfen den Menschen zu verstehen, wie ein Modell funktioniert und was seine Ausgaben im Kontext einer realen Entscheidung bedeuten. Einfach ausgedrückt fragt die Erklärbarkeit: „Welche Faktoren oder Prozesse haben zu dieser Ausgabe geführt?“ und die Interpretierbarkeit fragt: „Was bedeutet diese Ausgabe, und wie sollte eine Person sie verwenden?“

Diese Säule ist am wichtigsten, wenn Entscheidungen konsequent, umstritten, reguliert oder schwer rückgängig zu machen sind (zum Beispiel Kreditrisikomodellierung).

Datenschutz ist eng mit Sicherheit verknüpft, die Konzepte sind jedoch unterschiedlich. Sicherheit verhindert, dass unbefugte Personen auf Daten zugreifen, während Datenschutz dazu beiträgt, sicherzustellen, dass Daten angemessen gesammelt, genutzt, gespeichert und geteilt werden.

Modelle können auch dann ein Datenschutzrisiko darstellen, wenn sie nicht explizit für die Verarbeitung personenbezogener Daten konzipiert wurden. Modelltrainingssätze könnten sensible Informationen enthalten, und Protokolle könnten Benutzerdaten speichern, die nur vorübergehend gespeichert werden sollten. Methoden zur Modellvalidierung helfen Unternehmen sicherzustellen, dass KI-Tools sowohl sicher sind als auch die Datenschutzbestimmungen einhalten.

Fairness erfordert, dass ein Unternehmen schädliche Verzerrung identifiziert, misst, reduziert und überwacht. Das bedeutet nicht, dass jede Person immer die gleiche Ausgabe erhalten muss. Vielmehr müssen Unterschiede in der Behandlung oder den Ergebnissen gerechtfertigt, rechtmäßig, aufgabenrelevant und nicht durch vermeidbare oder schädliche Verzerrung bedingt sein.

Die Modellvalidierung umfasst typischerweise eine Reihe verschiedener Prüfungen und Validierungstechniken.

Die konzeptionelle Stimmigkeit beurteilt die dem Modell zugrunde liegende Logik und Gestaltung. Sie bewertet, ob Methodik, Eingaben, Annahmen, qualitative Urteile und Designentscheidungen für die von dem Modell unterstützten Entscheidungen geeignet sind. Zu den Soliditätsprüfungen gehören:

• Die Evaluierung der Methodik des Modells , um zu verstehen, wie das Modell Daten in Ausgaben umwandelt.

• Die Prüfung von Funktionen und Eingaben, um sicherzustellen, dass jedes wichtige Merkmal relevant, verfügbar und rechtmäßig ist.

• Anspruchsvolle Annahmen für Dokumentation und Überwachung.

• Identifizierung von Einschränkungen und fehlenden Faktoren um herauszufinden, was das Modell nicht weiß, und um die Kontexte zu verstehen, in denen es weniger zuverlässig wird.

• Beurteilung der Interpretierbarkeit und Angemessenheit der Anwendung , um festzustellen, warum ein Modell seine Ausgaben liefert und wo es möglicherweise versagt.

Die Datenvalidierung hilft Teams dabei, festzustellen, ob die Daten, die zum Erstellen, Abstimmen, Testen und Ausführen eines Modells verwendet werden, vertrauenswürdig sind. Die Datenvalidierung beinhaltet:

• Bewertung der Datenqualität. Datenqualitätskontrollen zielen darauf ab, sicherzustellen, dass Datenkorrektheit, Vollständigkeit, Relevanz, Repräsentativität, ordnungsgemäße Kennzeichnung, rechtmäßige Beschaffung, Schutz und Trennung gewährleistet sind.

• Ermittlung von Herkunft und Abstammung. Validierungsprüfungen sollten in der Lage sein, jeden Datensatz und jede Funktion zu einer identifizierbaren Quelle zurückzuverfolgen.

• Bestätigung der Relevanz für die Aufgabe. Die Relevanzprüfung bedeutet, zu überprüfen, ob jedes Datenelement im Modell Informationen widerspiegelt, die in einem sinnvollen Zusammenhang mit dem Zweck des Modells stehen.

• Labels und Grundwahrheit verifizieren. Die Label-Validierung stellt sicher, dass Labels Ausgaben erzeugen, die genaue, angemessene und konsistent definierte Darstellungen des Zielergebnisses sind. Außerdem wird der Referenzstandard festgelegt – die bestmögliche Grundlage, um zu entscheiden, was wahr ist.

Die Ergebnisanalyse dient zwei Hauptzwecken. Zunächst wird festgestellt, ob die Ausgaben des Modells den realen Bedingungen entsprechen, die es angeblich vorhersagt. Zweitens wird gefragt, ob die Nutzung der Ausgaben tatsächlich einem Unternehmen dabei hilft, sein angestrebtes Ziel zu erreichen, ohne unannehmbaren Schaden, Kosten oder Risiken zu verursachen. Für die Ergebnisanalyse müssen die Teams möglicherweise:

• Vorhersagen mit Ergebnissen vergleichen. Die Ergebnisanalyse wartet auf die „Grundwahrheit“ des Modells, sammelt oder ermittelt diese und vergleicht sie mit den Ausgaben des Modells.

• Backtesting verwenden. Beim Backtesting wird ein Modell auf vergangene Fälle angewendet, wobei nur die Informationen verwendet werden, die zu diesem historischen Zeitpunkt verfügbar gewesen wären. Anschließend werden die Vorhersagen des Modells mit dem tatsächlich Geschehenen verglichen.

• Rückruf- und Vorhersagefehler untersuchen. Problematische Modelle können falsch-positive und falsch-negative Ergebnisse liefern. Ergebnisanalysen messen beide Fehlertypen, bewerten ihre Folgen und entscheiden, ob sie die Risikoschwelle des Unternehmens überschreiten.

• Kalibrierung überprüfen. Die Kalibrierung fragt, ob die angegebenen Wahrscheinlichkeiten eines Modells mit den beobachteten Frequenzen übereinstimmen. Wenn ein Modell 1.000 Transaktionen eine Betrugswahrscheinlichkeit von 70 % zuweist, sollten sich letztendlich etwa 700 dieser Transaktionen als Betrug bestätigen. Wenn nur 250 oder nur 850 Fälle bestätigt werden, schätzt das Modell das Risiko falsch ein.

• Die geschäftlichen und operativen Auswirkungen bewerten. Die Ergebnisanalyse untersucht, ob das Modell das eigentliche Ziel erreicht, für das es eingesetzt wurde.

Die Überprüfung der Robustheit und Sensibilität eines Modells hilft sicherzustellen, dass sich ein Modell zuverlässig verhält, auch wenn Bedingungen unvollkommen, abnormal oder absichtlich feindlich sind.

Sensibilität ist nicht per se schlecht. Einige Eingaben sollten die Ausgabe eines Modells stark beeinflussen. Eine kürzliche Änderung zu einem privilegierten Konto ändert beispielsweise vernünftigerweise den Cybersicherheitsrisiko-Score des Kontos. Das Problem ist eine ungerechtfertigte Empfindlichkeit, bei der kleine, irrelevante oder routinemäßige Änderungen übergroße Auswirkungen auf das Verhalten des Modells haben.

Teams können das Modell herausfordern mit:

• Fehlerhaften und unvollständigen Eingaben. Robustheitsprüfungen simulieren Bedingungen wie fehlende Daten und fehlerhafte Eingaben, um zu sehen, wie sich fehlerhafte Daten auf die Leistung des Modells und seine Reaktionen auswirken. Dies hilft, Unteranpassung (bei der ein Modell nicht genug aus den Trainingsdaten lernt und daher keine Muster erkennen kann) und Überanpassung (bei der ein Modell zu viele Trainingsdaten, einschließlich Rauschen, auswendig lernt) zu vermeiden.

• Änderungen der Bedingungen. Modelle für maschinelles Lernen müssen in der Lage sein, Verteilungsverschiebungen (neue Richtlinien, Serviceausfälle, Konzeptabweichungen) zu bewältigen, bei denen die Produktionsdaten nicht mehr den Entwicklungsdaten ähneln. Die Gutachter könnten spätere Zeiträume, neue Umgebungen und bewusst konstruierte, außerhalb des Vertriebsgebiets liegende Fälle heranziehen, um zu sehen, ob sich die Leistung des Modells über ein akzeptables Maß hinaus verschlechtert.

• Edge-Fälle und Unsicherheit. Edge-Fälle offenbaren oft versteckte Annahmen in einem Modell. Die Überprüfung, wie das Modell auf solche Szenarien reagiert, ermöglicht es den Teams festzustellen, ob das Modell Unsicherheiten erkennt und einen geeigneten Ausweichmechanismus verwendet.

• Gegnerischen Eingaben. Bei der adversariellen Eingabevalidierung wird geprüft, ob jemand das Modell absichtlich manipulieren kann, um eine falsche, unsichere, unautorisierte oder irreführende Ausgabe zu erzeugen.

• Modelldrift. Teams können mithilfe der Drift-Simulation gezielt Szenarien erzeugen, in denen sich Produktionsdaten, das Nutzerverhalten oder die Beziehung zwischen Eingaben und Ergebnissen geändert haben, und dann prüfen, ob das Modell eine kontrollierte Leistungsminderung aufweist und die Steuerungsmechanismen korrekt reagieren.

Benchmarking und Herausforderungstests beurteilen, ob ein Modell tatsächlich einen Mehrwert bietet, indem es mit glaubwürdigen Alternativen verglichen wird. Organisationen nutzen diese Praktiken, um zu verstehen, ob ein Modell wesentlich besser abschneidet als eine einfachere Methode, ein vorheriges Modell, ein menschlicher Prozess oder ein unabhängig entwickeltes Herausforderungsmodell (ein Modell, das speziell zur Validierung des Verhaltens des Kandidatenmodells erstellt oder ausgewählt wurde).

• Benchmarks (wie frühere Produktionsmodelle oder Herausforderungsmodelle) sind Referenzpunkte, die zur Beurteilung von ML-Modellen verwendet werden. Das primäre Modell muss nicht in jeder Leistungsmetrik jede Alternative übertreffen. Die Teams müssen lediglich die Vor- und Nachteile verstehen, um die von ihnen gewählten Modelle begründen zu können.

• Herausforderungstest bezeichnet die allgemeinere Praxis, die Eignung eines Modells für seinen beabsichtigten Zweck zu widerlegen. Zusätzlich zu Tests in Situationen, in denen das Modell erwartungsgemäß gut funktioniert, werden bei Herausforderungstests die wahrscheinlichsten Fehlerszenarien überprüft.

Sicherheits-, Schutz- und Datenschutzprüfungen bewerten die verschiedenen Risiken, die ein Modell bergen kann, doch viele Schwächen liegen eher in den Integrationen rund um ein ML-Modell als im Modell selbst.

Ein Modell könnte beispielsweise über strenge interne Richtlinien gegen die Offenlegung vertraulicher Informationen verfügen, aber eine Anwendung könnte dennoch private Dokumente offenlegen, wenn ihr Abrufsystem die Dokumentenberechtigungen nicht durchsetzt. Ähnlich verhält es sich mit einem Modell, das zwar resistent gegen einen grundlegenden Jailbreak sein kann, aber ein darauf basierender Agent dennoch eine unsichere Aktion ausführen kann, weil eine abgerufene Webseite eine indirekte Prompt-Injektion enthielt.

Daher erfordert die effektive Validierung, dass Teams das Modell und das gesamte umgebende Ökosystem bewerten.

Dokumentation und Reproduzierbarkeit machen die Validierung zu einem überprüfbaren Beweismaterial, anstatt zu einer informellen Behauptung, dass ein Modell „funktioniert“.

Die Dokumentation begleitet den gesamten Lebenszyklus eines ML-Modells, vom ersten Business Case über Entwicklung, Validierung, Bereitstellung, Überwachung, wesentliche Änderungen bis hin zur endgültigen Außerbetriebnahme. Dazu gehört das Erfassen der Entstehungsgeschichte eines Modells und die Aufrechterhaltung einer klaren Versionskontrolle, die es den Prüfern ermöglicht, zu verstehen, wie sich das Modell im Laufe der Zeit verändert.

Die Reproduzierbarkeit trägt dazu bei, dass ein qualifizierter, unabhängiger Gutachter anhand der dokumentierten Materialien den Modellentwicklungs- oder Validierungsprozess wiederholen und – mehr oder weniger – die gleichen Ergebnisse erzielen kann.

Modellvalidierung, Modelltests und Modellüberwachung sind verwandte Qualitätssicherungsmaßnahmen, die jedoch zu verschiedenen Zeitpunkten im Lebenszyklus eines Modells für maschinelles Lernen unterschiedliche Fragen beantworten:

• Bei der Validierung wird gefragt: „Ist das Modell für seinen vorgesehenen Zweck geeignet, zuverlässig und angemessen konzipiert?“

• Bei Tests wird gefragt: „Erfüllt das endgültige Modell seine vordefinierten technischen, geschäftlichen, sicherheitsrelevanten und betrieblichen Akzeptanzkriterien?“

• Bei der Überwachung wird fragt: „Funktioniert das eingesetzte Modell weiterhin mit realen Daten unter realen Bedingungen?“

Modelltests finden während des gesamten Entwicklungsprozesses statt, die formale Evaluierung des Testsets erfolgt jedoch in der Regel erst, nachdem die Teams die wichtigsten Designentscheidungen und Feinabstimmungen abgeschlossen haben. Die Tests werden häufig von einer Person durchgeführt, die nicht an den Entwicklungsentscheidungen des Modells beteiligt ist. Bei der train_test_split-Technik wird außerdem ein separater Testdatensatz verwendet, der nicht für das Training, die Hyperparameter-Optimierung, die Schwellenwertauswahl oder die Modellauswahl verwendet wurde, um eine glaubwürdige, unverzerrte Schätzung darüber zu erhalten, wie das endgültige Modell bei wirklich unbekannten Daten abschneiden wird.

Unternehmen können aus einer Reihe von Modellbewertungsansätzen wählen.

Holdout-Sets zum Beispiel halten einen Teil der Daten von Training und Modellentwicklung getrennt und nutzen die Holdout-Daten, um zu bewerten, wie gut das Endmodell in unbekannten Fällen abschneidet. Teams können die k-fache Kreuzvalidierung verwenden, bei der das Modell k-mal mit verschiedenen Teilen der Daten trainiert und getestet wird und anschließend die Ergebnisse gemittelt werden. Oder für eine strengere Form der k-fachen Kreuzvalidierung könnte ein Team eine Leave-One-Out-Crossvalidierung (LOOCV) durchführen, bei der das Modell an jedem einzelnen Datenpunkt gleichzeitig getestet wird. Unabhängig von der Methode zielt das Modelltesten darauf ab, die reale Qualität eines ML-Modells vorherzusagen, bevor es eingesetzt wird.

Während sich Tests auf die Qualitätsbewertung konzentrieren, konzentriert sich die Modellüberwachung darauf, sicherzustellen, dass ein trainiertes Modell und das umgebende Ökosystem nach der Bereitstellung wie erwartet funktionieren. Bei der Überwachung – die kontinuierlich oder nach einem vorgegebenen Zeitplan umgesetzt werden kann – werden die Eingaben, Ausgaben und das operative Verhalten eines Live-Modells beobachtet, damit Risikomanagementteams Veränderungen erkennen können, bevor sie zu vollständigen Regressionen oder schlimmer noch, zu Ausfällen werden.

Die Überwachung bietet Unternehmen ein Frühwarnsystem für problematisches Modellverhalten, ist aber kein Ersatz für die Validierung. Die Modellvalidierung ist ein iterativer Evaluationsprozess, der typischerweise während der Entwicklung eines Modells stattfindet, aber Teams können Modelle auch als unabhängigen Prozess vor der Genehmigung und periodisch danach validieren.

Obwohl Validierung, Test und Überwachung separate Prozesse sind, benötigen Unternehmen in der Regel alle drei, um die Leistung und Zuverlässigkeit von ML-Modellen während ihrer gesamten Lebensdauer zu optimieren.

Generative KI und KI-Agenten erfordern dieselben grundlegenden Validierungspraktiken wie andere ML-Systeme. Allerdings können diese Instrumente Risiken bergen, die durch die Validierung von Vorhersagemodellen nicht vollständig berücksichtigt werden können. Generative KI-Systeme erzeugen offene Ausgaben und Agenten können diese Ausgaben nutzen, um Aktionen in vernetzten Systemen zu planen und durchzuführen.

Mit Standard-ML kann das Ergebnis eines Modells oft direkt gegen ein Ground-Truth-Label ausgewertet werden. Wenn ein Betrugsmodell „Betrug“ für eine Transaktion vorhersagt und eine spätere Untersuchung den Betrug bestätigt, war die Prognose richtig. Wenn ein Modell zur Bedarfsprognose 1.150 Einheiten vorhersagt und die tatsächliche Nachfrage bei 1.600 liegt, können Teams den mittleren quadratischen Fehler verwenden – eine Regression, die bewertet, wie nahe die Modellvorhersagen an den tatsächlichen Werten liegen – um die Diskrepanz genau zu messen.

Die Ausgaben generativer KI enthalten in der Regel keine eindeutig korrekte Formulierung und möglicherweise auch keine einzige, vollständig „richtige Antwort“. Einige eingeschränkte Aufgaben (strukturierte Extraktion, Tool-Auswahl) können dennoch anhand expliziter erwarteter Ausgaben ausgewertet werden. Aber im Allgemeinen hängt das Verhalten eines Modells stark vom Laufzeitkontext ab, der sich von einer Interaktion zur nächsten ändern kann. Generative KI kann auch halluzinieren, indem sie auf einen Prompt selbstbewusst falsche oder fehlerhafte Informationen präsentiert.

Daher erfordert die Validierung generativer KI von den Teams die Verwendung eines Bewertungssets, das realistische Aufgabenstellungen, genehmigtes Quellmaterial, erwartete Antwortelemente und Bewertungsraster enthält. Mithilfe von Rubriken kann das Modell mehrere akzeptable Antworten generieren, wobei jede Antwort bestimmte Fakten enthalten, unbegründete Aussagen vermeiden und bestehende Unsicherheiten offenlegen muss.

KI-Agenten können Pläne erstellen, Zugang gewähren, Datensätze ändern, Nachrichten senden und völlig neue Workflows (mit neuen Agenten) starten. Daher benötigen KI-Agenten dieselben ausgabeorientierten Prüfungen wie generative KI, aber zusätzlich müssen die Entwickler die aus den Ergebnissen resultierenden Entscheidungen und Aktionen validieren. Jede wesentliche Änderung – beispielsweise eine Änderung des Foundation Models des Agenten oder eine neue Verbindung zum Abruf-Repository – sollte eine erneute Validierung auslösen.