IBM verbessert die Funktionen von watsonx.governance mit dem neuen Model Risk Evaluation Engine
Wir freuen uns, die Model Risk Evaluation Engine vorstellen zu dürfen. Dabei handelt es sich um ein neues Tool in watsonx.governance, das Risiken von Foundation Models messen kann, indem es Metriken zu Risikodimensionen aus dem AI Risk Atlas berechnet. Im Rahmen eines umfassenden Modell-Onboarding-Prozesses ermöglicht es den Vergleich von Metriken über verschiedene Foundation Models hinweg und hilft Ihnen dabei, die geeignetsten Foundation Models für die Bereitstellung in Ihrem Unternehmen zu identifizieren, die der spezifischen Risikotoleranz Ihres Unternehmens entsprechen.
Da Unternehmen ihre generativen KI-Bereitstellungen weiter skalieren, wird es für sie immer wichtiger, ein besseres Verständnis für die Risiken zu entwickeln, die mit den zugrunde liegenden Foundation Models verbunden sind, einschließlich Prompt Injection, toxische Ausgabe, Jailbreaking und Halluzination.
Unternehmen haben die Qual der Wahl, wenn es darum geht, welche generativen KI-Modelle sie einsetzen wollen. Eine fundierte Entscheidung ist wichtig, um Situationen zu vermeiden, in denen generative Modelle schlecht funktionieren (z. B. ein „bösartiger“ Chatbot mit Kundenkontakt, der falsche oder schädliche Anweisungen gibt). Diese Situationen können enorme Auswirkungen auf den Ruf haben, von denen sich ein Unternehmen nur schwer erholen kann. Daher sollten objektive quantitative Risikodaten zur Vermeidung solcher Situationen Teil des Modell-Onboarding-Prozesses eines Unternehmens sein.
Der Onboarding-Prozess für generative KI-Modelle umfasst 3 Phasen:
- Erkennen Sie die allgemeinen Risiken der generativen KI.
- Identifizieren Sie die Risiken, die auf ein bestimmtes KI-Modell (oder einen bestimmten Anwendungsfall) anwendbar sind.
- Bewerten Sie die identifizierten Risiken.
Das Onboarding einer Risikobibliothek ist der erste Schritt, um zu verstehen, welche Risiken bestehen könnten. Der AI Risk Atlas von IBM ist eine hervorragende Ressource, um die Risiken zu verstehen, die mit dem Einsatz von generativer KI und maschinellen Lernmodellen verbunden sind. Die Risiken sind zudem direkt in die Governance Console von watsonx.governance integriert und sofort verfügbar. Die Risikobibliothek kann bei Bedarf auch durch ein unternehmenseigenes Risikoinventar ergänzt werden. Die Risiken können mit KI-Anwendungsfällen und -Modellen verknüpft werden, indem die sofort einsatzfähigen Risikoidentifizierungs-Bewertungen (KI-Anwendungsfall, Modell-Onboarding und Anwendungsfall + Modell kombiniert) verwendet werden.
Das Verständnis der möglichen Risiken ist ein wichtiger erster Schritt, aber ebenso wichtig sind wirksame Methoden zur Identifizierung, Messung und Abschwächung dieser Risiken.
watsonx.governance enthält drei Risikobewertungen:
- Risikoidentifizierung bei KI-Anwendungsfällen: Identifizierung von Risiken, die spezifisch für den vorgeschlagenen Anwendungsfall und nicht modellspezifisch sind, zum Beispiel Prompt Injection, IP-Informationen im Prompt und Offenlegung personenbezogener Informationen
- Identifizierung von Risiken beim Onboarding von KI-Modellen: zur Identifizierung von Risiken, die für das zu bewertende Modell spezifisch sind. Zum Beispiel: Datenverzerrung, unsichere Datenherkunft, mangelnde Transparenz der Trainingsdaten und Neuidentifizierung.
- Risikoidentifizierung von Anwendungsfall + Modell: Identifizierung einer Reihe zusätzlicher Risiken, die sich aus einer bestimmten Kombination von einem Anwendungsfall und einem Modell ergeben könnten, zum Beispiel durch Einschränkungen der Nutzungsrechte für Modelle, Halluzinationen und unerklärliche Ausgaben
Diese Bewertungen werden eingesetzt, um zu bestimmen, welche Risiken aus dem Risikoatlas auf das integrierte Modell und/oder den Anwendungsfall zutreffen. In der watsonx.governance Governance Console gibt es einen Workflow für das Foundation-Model-Onboarding, der die oben erwähnte Bewertung des Fragebogens zur Risikoidentifizierung beinhaltet.
Nach der Identifizierung sollten die jeweiligen Risiken einzeln mit Hilfe einer Risiko- und Kontrollselbstbewertung (Risk and Control Self-Assessment, RCSA) geprüft werden, um das inhärente Risiko und das Restrisiko zu ermitteln. Dadurch wird ein Risikoprofil für das Modell erstellt, das Aufschluss darüber gibt, welche Art von Verwendung ein Unternehmen bereit wäre, für das Modell zu genehmigen, wie z. B. RAG, Klassifizierung oder Zusammenfassung.
Um den RCSA-Prozess zu verbessern, kann eine quantitative Bewertung durchgeführt werden, um ein tieferes Verständnis des Risikos eines bestimmten Modells und des Vergleichs mit ähnlichen Modellen zu erlangen. Unternehmen können zudem die Risiken jedes Modells bewerten, das sie entwickeln oder verbessern (z. B. durch Feinabstimmung).
Die Model Risk Evaluation Engine, jetzt Teil von watsonx.governance, hilft bei der quantitativen Risikobewertung von Foundation Models. Sie berechnet Metriken, die sich auf einen definierten Satz von Risikodimensionen aus dem AI Risk Atlas beziehen. Durch die Berechnung dieser Metriken für eine breite Auswahl an Basismodellen können Unternehmen die Modelle auswählen, die ihren Geschäftszielen entsprechen und gleichzeitig ihre Risikobereitschaft berücksichtigen.
Die Model Risk Evaluation Engine unterstützt die Bewertung von Large Language Models von IBM watsonx.ai sowie aller externen Large Language Models. Die vollständigen Ergebnisse der Bewertungsengine können in der Governance Console von watsonx.governance gespeichert oder als PDF-Bericht exportiert werden.
Die Model Risk Evaluation Engine hilft bei der Erledigung der folgenden Aufgaben:
- Berechnen Sie Metriken mit watsonx.ai als Inferenzengine
- Berechnen Sie Metriken für Foundation Models in watsonx.ai
- Risikometriken für externe Foundation Models berechnen
- Speichern Sie berechnete Metriken in der Governance Console (OpenPages)
- Rufen Sie berechnete Metriken von der Governance Console (OpenPages) ab
- Eigene Risiken und Datensätze hinzufügen
- Generieren Sie einen PDF-Bericht mit berechneten Metriken
- Implementieren Sie Ihre eigene Scoring-Funktion für alle Modellbewertungen (z. B. deterministische Funktion oder LLM-as-a-Judge)
- Zeigen Sie die Metriken in einer Notebook-Zelle, in einem Tabellen- oder Diagrammformat an
Sobald all diese Daten in die Governance Console zurückfließen, können sie als Grundlage für die Risikobewertung des oben beschriebenen Onboarding-Workflows für das Foundation Model dienen.
watsonx.governance-Benutzer können mit dem folgenden Befehl auf die Model Risk Evaluation Engine zugreifen:
Unser Beispiel-Notebook enthält Anweisungen, mit denen Sie es selbst testen können. Die Dokumentationsseite der Model Risk Evaluation Engine enthält weitere Informationen.
Wenn Ihr Unternehmen die Risiken generativer KI effektiv identifizieren, messen und mindern soll, ist eine End-to-End-KI-Governance-Lösung wie watsonx.governance von entscheidender Bedeutung. Probieren Sie sie aus oder vereinbaren Sie noch heute einen Termin für ein Gespräch mit einem IBM Experten.