Nutzen Sie die volle Leistungsfähigkeit von agentischer KI mit den neuen Funktionen von watsonx.governance

Agentische KI ist eine transformative Kraft: Gartner prognostiziert, dass bis 2028 ein Drittel der generativen KI-Interaktionen Aktionsmodelle und autonome Agenten verwenden wird.

Unbeaufsichtigte KI-Agenten können jedoch mit erheblicher Autonomie und Befugnis operieren und Unternehmen zahlreichen unvorhersehbaren Risiken aussetzen, die schädliche und irreversible Auswirkungen auf Unternehmen und Kunden haben können. Ihre komplexen Entscheidungsfindungsprozesse, die von Daten beeinflusst werden, können Verzerrungen mit sich bringen, die Rückverfolgbarkeit erschweren und Sicherheitsprobleme mit sich bringen. Halluzinationen und falsche Entscheidungen verschärfen diese Probleme noch.

Um diesen Herausforderungen zu begegnen, haben wir im März die technische Vorschau unserer operativen KI-Governance-Funktionen angekündigt. Aufbauend auf dieser Dynamik führen wir im Rahmen von watsonx.governance weitere neue Funktionen ein.

Der Governance Agentic Catalog ist eine umfassende Ressource für die Verwaltung und Auswahl von KI-Tools, Agenten und Workflows, die entwickelt wurde, um die Auswahl von Tools/Agenten zu optimieren und die Wiederverwendung für Benutzer und Anwendungsfälle zu fördern. Dieses zentralisierte Repository hilft Teams, Konsistenz und Effizienz zu wahren, indem es eine breite Palette von Tools konsolidiert, die jeweils spezifische Aufgaben ausführen, die für das Entwerfen und Erstellen agentischer Systeme unerlässlich sind. Diese Agententools umfassen verschiedene Funktionen, wie z. B. Datenabruf und externe Verbindungen.

Zu den wichtigsten Funktionen des Katalogs gehören:

1. Aktivieren Sie die Zuordnung von Werkzeugen zu ihrer Herkunft: Ermöglicht Benutzern die Rückverfolgung von Tools zu ihren jeweiligen Anwendungsfällen. Diese Funktion wird in späteren Versionen verfügbar sein. Er bietet auch Suchfunktionen nach Falltyp oder Domäne, die es den Nutzern ermöglichen, relevante Tools schnell zu finden und die Projektinitiierung zu beschleunigen. 
2. Vereinfachen Sie den Vergleich von Werkzeugen in einer zentralen Ansicht: Benutzer können Werkzeuge nach ihrem Typ filtern, und jede Werkzeugkarte bietet eine klare Beschreibung sowie Qualitätsmetriken. Der Katalog ermöglicht einen einfachen Vergleich verschiedener Tools nebeneinander und ermöglicht es den Benutzern, fundierte Entscheidungen zu treffen.
3. Stellen Sie die Effektivität und Zuverlässigkeit des Tools sicher: In einer späteren Version können Benutzer Bewertungen von anderen Community-Mitgliedern einsehen, um die Effektivität und Zuverlässigkeit des Tools zu beurteilen.

Durch den Einsatz des Governed Agentic Catalog können Teams den Tool-Wildwuchs kontrollieren, die richtige Nutzung von Werkzeugen sicherstellen und die Konsistenz zwischen den Abteilungen wahren. Dieser umfassende Ansatz für das Tool-Management beschleunigt letztlich den Fortschritt und fördert eine kollaborative Umgebung für die Entwicklung von Agentensystemen.

Die zunehmende Verbreitung von KI-Agenten bringt erhebliche Komplexitäten mit sich, wie z. B. die Herausforderung, die Leistung, Zuverlässigkeit, Sicherheit und das ethische Verhalten dieser autonomen KI-Agenten zu bewerten.

Best Practices zur Evaluierung von agentischer KI können die Gefährdung durch verschiedene vorhersehbare und unbekannte Risiken verringern. Eine effektive Leistungsverfolgung kann für Unternehmen und Entwickler jedoch eine Herausforderung für Unternehmen und Entwickler sein, da die Bearbeiter nicht nur die Ergebnisse, sondern auch die Verhaltensweisen, Entscheidungen und Absichten beobachten müssen. Mit watsonx.governance können Unternehmen die Leistung von Servicemitarbeitern bewerten anhand von:

• Bewertungsmetriken mit Benchmarks: Hilft bei der Bewertung der Kompetenz der Mitarbeiter insgesamt und bei verschiedenen Aufgaben.
• Ursachenanalyse: Identifiziert die Gründe für schlechte Entscheidungsketten bei der Leistungsverfolgung, nicht nur die Endergebnisse, um Verbesserungen zu ermöglichen, z. B. bei Mangel an unvoreingenommenen Daten.
• Menschliches Feedback oder Red Teaming: Ermöglicht es KMUs, die Aktionen des Agenten zu beobachten und zu verifizieren (Einbindung von Menschen) und Agenten auf Anfälligkeiten zu testen.

Anfang März hat watsonx.governance diese neuen Funktionen eingeführt, um weitere spezialisierte Metriken zu unterstützen. Die neuen Bewertungsmetriken für RAG-agentische KI sind jetzt verfügbar. Der umfassende Satz an Metriken zur Bewertung der Leistung umfasst unter anderem HAP, PII, Prompt Injection, Kontextrelevanz, Treue, Antwortähnlichkeit, Antwortrelevanz, Trefferquote, durchschnittliche Präzision, reziproken Rang und erfolglose Anfragen, um eine gründliche Bewertung der Effektivität unseres Systems zu gewährleisten. Dies hilft sicherzustellen, dass die Bearbeiter angemessen handeln und Warnzeichen zu erkennen, indem die notwendigen Leitplanken zur Regulierung des Verhaltens der Bearbeiter im Hinblick auf das gewünschte Ergebnis gesetzt werden.

Diese Metriken sind verfügbar, indem Sie dem Toolknoten in einer LangGraph-Anwendung einen einfachen Python-Decorator hinzufügen.  Das Hinzufügen dieses Decorators führt dazu, dass die Metriken als Nebenprodukt der Ausführung des Knotens in der agentischen Anwendung berechnet werden. Die berechnete Metrik kann dann innerhalb der Anwendung verwendet werden, um Ablaufentscheidungen zu treffen. Wenn beispielsweise der aus der Vektordatenbank abgerufene Kontext für die Benutzeranfrage nicht relevant ist, generieren Sie keine Antwort, sondern versuchen Sie eine Websuche, um den richtigen Kontext abzurufen. Diese Evaluatoren sind nicht nur einfach zu bedienen, sondern auch effizient und umfassen sowohl Open-Source-Metriken als auch erweiterte IBM-Metriken. So bieten sie eine breite Palette an Funktionen und eignen sich für verschiedene Anwendungsfälle und Aufgabentypen.

Die Verfolgung von Experimenten ist für die Steuerung eines KI-Agenten von entscheidender Bedeutung, da sie eine umfassende Aufzeichnung aller während des Entwicklungsprozesses vorgenommenen Änderungen, Iterationen und Verbesserungen liefert. Dazu gehören Änderungen an Algorithmen, Eingaben, Hyperparametern und anderen kritischen Aspekten.

Die Entwicklung einer agentischen App ist ein iterativer Prozess. Entwickler erstellen eine agentische KI-App, testen sie, nehmen bei Bedarf Feinabstimmungen vor und erstellen eine neue Version für eine verbesserte Ausgabe, und der Prozess fährt fort für weitere Optimierungen. Watsonx.governance unterstützt automatisch die Verfolgung verschiedener Experimente und Vergleiche mit Evaluation Studio:

• Schnellere Entwicklung von Agenten: Evaluieren Sie mehrere Agenten in einer einzigen Instanz. Das spart Entwicklern Zeit bei der Evaluierung mehrerer Agenten, die auf beliebigen Plattformen von Drittanbietern entwickelt wurden, und bietet Vielseitigkeit.
• Verbesserte Entscheidungsfindung und Auswahlprozesse: Visualisieren und vergleichen Sie Agenten gleichzeitig, um die betriebliche Effizienz zu verbessern, indem Sie manuelle Überprüfungen überflüssig machen und so Workflows rationalisieren und potenzielle menschliche Fehler reduzieren.
• Höhere betriebliche Effizienz: Manuelle Überprüfungen entfallen, die Arbeitsabläufe werden optimiert und potenzielle menschliche Fehler werden reduziert.

Watsonx.governance beschleunigt den Iterations- und Entwicklungsprozess, indem es schnelle Vergleiche von agentischen KI-Anwendungen ermöglicht. Diese Funktionalität ist nicht auf KI-Apps beschränkt, die auf unserer watsonx-Plattform basieren; es erweitert außerdem die Unterstützung auf Plattformen von Drittanbietern und bietet so Vielseitigkeit.

Überwachungsmetriken können dabei helfen, die Leistung von Agenten zu verfolgen, Probleme wie Leistungseinbußen, Datenabweichungen und Modellverzerrungen in der Produktion zu erkennen und Verbesserungen vorzunehmen. Ohne eine angemessene Bewertung wird es schwierig, KI-Agenten zu vertrauen, sie zu kontrollieren oder zu kalibrieren/feinabstimmen, um die Genauigkeit zu verbessern, was das Risiko unbeabsichtigter Ergebnisse erhöht.

In Szenarien, in denen agentische KI bereitgestellt wird, ist eine kontinuierliche Überwachung unerlässlich, um Probleme wie Halluzination, Reaktionszeit, Modelldrift und Verzerrung zu beheben. Das Bereitstellen von agentischen KI-Anwendungen mit kontinuierlicher Produktionsüberwachung ist kritisch für die Aufrechterhaltung der Systemzuverlässigkeit und des Vertrauens. Die Echtzeit-Überwachung ermöglicht es MLOps- und AgentOps-Teams, das Verhalten von Modellen und Agenten, Leistung und Ausgaben zu verfolgen und bei Abweichungen sofort eingreifen zu können. Diese Betriebsbereitschaft stellt sicher, dass autonome Systeme auf die beabsichtigten Ziele und Sicherheitsbeschränkungen ausgerichtet bleiben.

In den kommenden Versionen wird IBMs watsonx.governance so ausgestattet sein, dass es eine kontinuierliche Überwachung von Anwendungen ermöglicht und Warnungen auslöst, wenn eine der angegebenen Metriken ihre vordefinierten Grenzen überschreitet. Diese Funktion gewährleistet eine proaktive Verwaltung und zeitnahe Intervention zur Aufrechterhaltung einer optimalen KI-Leistung.

Ähnlich wie bei anderen sich schnell entwickelnden Technologien bringen KI-Agenten mögliche Risiken, Hindernisse und gesellschaftliche Konsequenzen mit sich. Zu den neuen Risiken, die durch KI-Agenten eingeführt werden, gehören Datenverzerrung, redundante Aktionen, Halluzinationen von Funktionsaufrufen, die Weitergabe vertraulicher Informationen und Angriffe auf die externen Ressourcen eines KI-Agenten. Darüber hinaus verstärkt die agentische KI bestehende Risiken, Herausforderungen und gesellschaftliche Auswirkungen.

Der IBM Risk Atlas enthält eine Liste der Risiken, die Daten und KI innewohnen, und wird aktualisiert, um die Risiken und Bedrohungen im Zusammenhang mit Agenten widerzuspiegeln. 

KI-Governance ist über den gesamten KI-Lebenszyklus hinweg erforderlich, von der Erstellung, Entwicklung und Validierung von Anwendungsfällen bis hin zur Überwachung in der Produktion. In jeder Phase gibt es Risiken und Fallstricke, die, wenn sie nicht richtig verwaltet werden, aktuelle oder zukünftige Probleme verursachen können. Bei der Erstellung eines neuen Anwendungsfalls bietet watsonx.governance beispielsweise eine Risikobewertung an, mit der Sie ermitteln können, für welche Risiken Ihr Anwendungsfall anfällig ist, damit Sie die erforderlichen Risikomanagementtechniken integrieren können. Ebenso müssen Sie während der Entwicklung einer agentischen Anwendung die Leistung jedes Tools oder Knotens in der Anwendung messen und bewerten, um in zukünftigen Iterationen Verbesserungen vorzunehmen.

Watsonx.governance bietet eine Bibliothek mit über 50 Metriken, die als Decorators zu Ihrer Anwendung hinzugefügt werden können und deren Leistung messen. Ohne Governance können Sie Ihre KI nicht skalieren und Vertrauen in sie aufbauen.

Effektive Governance und Sicherheit sind unerlässlich, aber da Unternehmen wachsen und KI in großem Maßstab einführen, wird die Implementierung einer robusten KI-Governance-Struktur unerlässlich, um sicheres Experimentieren zu gewährleisten und die Komplexität einer weit verbreiteten KI-Einführung effizient zu bewältigen.

Probieren Sie watsonx.governance aus, um diese neuen Funktionen und verschiedene weitere Verbesserungen zu erkunden, die Unternehmen dabei helfen, das wahre Potenzial von KI freizuschalten und Ihre KI-Governance-Erfahrung noch heute zu transformieren.

Testen Sie watsonx.governance noch heute kostenlos

Erfahren Sie, wie Sie mit modernen KI-Governance-Tools arbeiten können

Erfahren Sie mehr über die Funktionen von watsonx.governance