IBM wurde im 2025 IDC Marketscape Worldwide GenAI Evaluation Technology Products 2025 Vendor Assessment als führend ausgezeichnet

Wir glauben, dass diese Anerkennung den wachsenden Einfluss und die kontinuierliche Innovation von IBM watsonx.governance widerspiegelt – und das Engagement von IBM , moderne Anforderungen an vertrauenswürdige, skalierbare und verantwortungsvolle KI zu erfüllen.

„Unternehmen mit einem vielfältigen Technologieumfeld stellen möglicherweise fest, dass IBM ein neutraler Anbieter ist, der beispielsweise nicht an einen bestimmten Cloud-Service gebunden ist. Auch Unternehmen, die das breitere Spektrum der benachbarten IBM-Angebote schätzen, einschließlich der automatisierten Dokumentation, der Verhaltensregeln und der Sicherheitsangebote, sollten IBM in Betracht ziehen“, heißt es im IDC MarketScape-Bericht.

Das IDC-MarketScape-Anbieteranalysemodell soll einen Überblick über die Wettbewerbsfähigkeit von Technologien und Anbietern in einem bestimmten Markt geben. Die Forschungsmethodik verwendet eine strenge Bewertungsmethode, die sowohl auf qualitativen als auch auf quantitativen Kriterien basiert und in einer einzigen grafischen Darstellung der Position jedes Anbieters innerhalb eines bestimmten Marktes resultiert. Der Funktionen-Score misst das Lieferantenprodukt, die Markteinführung und die kurzfristige Geschäftsausführung. Der Strategie-Score misst die Ausrichtung der Lieferantenstrategien auf die Kundenanforderungen in einem Zeitrahmen von 3 bis 5 Jahren. Der Marktanteil des Lieferanten wird durch die Größe der Symbole dargestellt

Der strenge Bewertungsrahmen von IDC MarketScape bietet eine objektive Bewertung durch Dritte, der Unternehmen bei der Entscheidungsfindung in Bezug auf die Technologie zur Bewertung von KI-Modellen vertrauen können.

Der Rahmen berücksichtigt die folgenden 5 Kategorien:

1. Kundenzufriedenheit: Direkte Interviews mit Kunden lieferten praktische Erkenntnisse zum Implementierungserfolg, ROI und fortlaufenden Support, nicht nur zu aktuellen Angeboten, sondern auch zu ihrer Vision und Roadmap zur Bewältigung neuer Risikoherausforderungen.
2. Funktionalität oder Angebot: Der Bericht bewertet die Neutralität, wie z. B. die Benutzerfreundlichkeit, unabhängig von den Tools, mit denen sie erstellt wurden, oder dem Ort, an dem sie ausgeführt werden, oder die Anpassbarkeit in Bezug auf Dashboard und Metriken.
3. Technologische Innovation: Die Anbieter wurden anhand ihrer differenzierten Funktionen oder Angebote bewertet, die dem Kunden einen bemerkenswerten Mehrwert bieten.
4. Leistungsspektrum: Der Bericht betrachtete die Bandbreite der Funktionen der RAG-Evaluierung, mit besonderem Augenmerk auf die Fähigkeit zur Bewertung von Agenten.
5. Portfolio: Besonderes Augenmerk wurde auf eine Reihe von verwandten Angeboten zur Modelloptimierung gelegt, wie z. B. Produktionsüberwachung, Modellverwaltung und Modellsicherheit, sowie darauf, ob die Bewertungstools nahtlos in den gesamten Lebenszyklus von der Entwicklung bis zur Produktion integriert sind.

Was wir als Stärken von IBM betrachten:

IBM watsonx.governance bietet einen einheitlichen Ansatz für die Verwaltung des gesamten KI-Lebenszyklus, von der Entwicklung bis zur Bereitstellung. Mit einem geführten Fragebogen können Benutzer Geschäftsprobleme definieren, potenzielle Risiken erkennen und identifizieren und Strategien zur Risikominderung aufdecken.

Diese Risikodimensionen werden in Metriken dargestellt, die während des Bewertungsprozesses verwendet werden können. Darüber hinaus extrahiert dieser integrierte Prozess während des Bewertungsprozesses automatisch Metadaten, speichert sie in einem zentralen Datenblatt und bietet eine transparente Aufzeichnung des Anwendungsentwicklungsprozesses, einschließlich Informationen über das Modell, Prompt-Vorlagen und mehr. Durch die Integration der Evaluierungstechnologie in diesen eng integrierten Lebenszyklus, der auch Dokumentation umfasst, heben wir uns als ideale Lösung für Unternehmensanwender ab.

Durch die Integration von Risikodaten, Risiko- und Kontrollbewertungen, interner und externer Schadensfälle und wichtiger Risikoindikatoren oder Metriken erhalten Teams einen umfassenden Überblick über ihre Risikolage im gesamten Unternehmen. Dies kann Unternehmen dabei helfen, Risiken automatisch und in Echtzeit zu identifizieren, sobald sie auftreten. Darüber hinaus bietet IBM watsonx.governance eine automatische Risikobewertung, die den Risikoteams eine klare und objektive Einschätzung des Risikoniveaus ermöglicht. Dynamische Dashboards und Diagramme ermöglichen eine schnelle Identifizierung, Messung, Überwachung und Analyse, während automatisierte Warnmeldungen eine prompte Sanierung ermöglichen, wenn Risikoschwellen überschritten werden.

Mit IBM watsonx.governance haben Benutzer Zugriff auf eine große Auswahl vorkonfigurierter und vorgefertigter Metriken zur Bewertung der Leistung und Effektivität von KI-Systemen. Dazu gehören Metriken zur Erkennung von Abweichungen, zur Modellleistung und in anderen wichtigen Bereichen:

• HAP
• PII
• Prompt Injection
• Kontextrelevanz
• Treue
• Antwortähnlichkeit
• Antwortrelevanz
• Trefferrate
• Durchschnittliche Präzision
• Reziproker Rang
• Erfolglose Anfragen
• Und viele mehr

Diese Metriken, unter anderem, bieten einen umfassenden Framework für die Bewertung der Leistung und Effektivität von AI-Systemen. Darüber hinaus können Benutzer benutzerdefinierte Metriken erstellen, um ihre Bewertungen an spezifische geschäftliche Anforderungen und Risikoprofile anzupassen und so einen umfassenden Framework zu schaffen.

Eine weitere Innovation des IBM Teams ist das „Evaluation Studio“. Diese Funktion bietet zwei wichtige Funktionen:

1. Prompt-Optimierung durch Nebeneinander-Vergleich verschiedener Versionen von Prompts
2. Verfolgung von Experimenten für Agenten

Evaluation Studio hilft Entwicklern, verschiedene Versionen des Prompts anhand eines Datensatzes zu bewerten und die Ergebnisse in einer intuitiven Benutzeroberfläche zu vergleichen.  Es bietet auch Unterstützung für eine einzigartige benutzerdefinierte Rangliste, bei der Benutzer ein individuelles Bewertungsschema erstellen können, indem sie Metriken auswählen und ihnen je nach Wichtigkeit Gewichte zuweisen.  Dies hilft Benutzern, einen Prompt, der in einem Tool oder Agenten verwendet werden soll, einfach zu optimieren. 

watsonx.governance, Evaluation Studio unterstützt auch die Experimentverfolgung, ein leistungsstarkes Tool zum Erstellen besserer agentischer KI-Systeme. Sie können schnell Experimente einrichten, verschiedene Varianten (des Agenten) ausprobieren und sie mit Details wie dem Modell, dem Retriever oder dem Prompt, den Sie verwendet haben, kennzeichnen. Gegenüberstellung der Daten basierend auf Latenz, Kosten und Qualität (z. B. Wiedergabetreue) macht es leicht zu erkennen, was am besten funktioniert. Wichtig ist, dass die Plattform Ihnen dabei hilft, den genauen Code für jede Ausführung zu speichern. So haben die Entwickler Zeit, jede Version zu speichern, und können sich auf die Entwicklung und Verbesserung des Agenten konzentrieren.

Die IBM watsonx.governance-Lösung unterstützt sofort einsatzbereite, dekoratorbasierte In-the-Loop-Evaluatoren, die einen neuen Standard für die Agenten-Governance setzen und Kunden die Möglichkeit bieten, Metriken auszuwerten und diese zur Entscheidung über den Agenten-Ausführungsfluss zu verwenden. IBM watsonx.governance unterstützt auch die Offline-Bewertung von Agenten über Agenten-Evaluatoren, die bei der Bewertung von KI-Agenten anhand von Testdaten helfen, während sie erstellt werden. Zu den Hauptmerkmalen gehören:

• In-the-Loop-Evaluatoren: Die In-the-Loop-Evaluatoren können zur Berechnung einer Metrik verwendet werden, wenn ein Tool oder ein Knoten in einem LangGraph-Agenten ausgeführt wird. Dies kann verwendet werden, um verschiedene Metriken wie Kontextrelevanz, Treue, Halluzination von Toolaufrufen und mehr zu berechnen. Der Ablauf der Agentenausführung kann basierend auf dem Wert der berechneten Metriken angepasst werden. Wenn beispielsweise in einer Agentic RAG-Anwendung die Kontextrelevanz gering ist, macht es keinen Sinn, eine Antwort anhand des abgerufenen Kontexts zu generieren.  Daher kann der Agentenfluss basierend auf dem berechneten Kontextrelevanzwert so geändert werden, dass er nicht zum Knoten für die Antwortgenerierung führt, sondern direkt eine Antwort an den Benutzer zurückgibt.
• Benutzerfreundlichkeit: Die typische Verwendungsmethode für In-the-Loop-Evaluatoren besteht darin, benutzerdefinierten Code als Knoten in der LangGraph-Anwendung hinzuzufügen. Die In-the-Loop-Bewertungen von watsonx.governance sind als Python-Dekoratoren verfügbar, die es sehr einfach machen, eine agentische KI-Anwendung zu erstellen.

Dieses innovative Tool bietet einen unvergleichlichen Überblick und Kontrolle über die Leistung der Agenten und ermöglicht es den Kunden, ihre Workflows zu optimieren und bessere Ergebnisse zu erzielen.

Um die KI/ML-Ops-Teams weiter zu unterstützen, ist IBM bestrebt, Innovationen mit einer Pipeline neuer Funktionen voranzutreiben. In den kommenden Versionen werden Ihnen zusätzliche Funktionen zur agentenbasierten Governance zur Verfügung stehen, darunter:

1. Erweiterte Produktionsüberwachung für agentische KI: IBMs watsonx.governance wird eine kontinuierliche Überwachung von Anwendungen ermöglichen und Warnungen auslösen, wenn eine der angegebenen Metriken ihre vordefinierten Grenzen überschreitet. Diese Funktion gewährleistet eine proaktive Verwaltung und zeitnahe Intervention für die Aufrechterhaltung einer optimalen und zuverlässigen KI-Leistung.
2. Verwalteter Agentenkatalog: Dieser ermöglicht es Benutzern, den Prozess des Hinzufügens von Tools und Agenten zu einem zentralen Katalog zu steuern. Dies hilft Unternehmen dabei, sicherzustellen, dass ihren Entwicklern nur vertrauenswürdige Tools und Agenten zur Verfügung gestellt werden.

Governance ist nicht länger ein Hindernis, das durch Compliance und Audit definiert wird. Sie ermöglicht jetzt die Skalierung und befähigt Teams, generative KI-Systeme zu erstellen, die robust, transparent und bereit für den Einsatz in Unternehmen sind. Bei Governance geht es um die Entwicklung von KI-Agenten, -Anwendungen und -Modellen, die von Grund auf effizient, sicher und vertrauenswürdig sind.

Während sich die generative KI weiterentwickelt, ermöglicht watsonx.governance den Teams, schnell mit Vertrauen, Transparenz und Kontrolle zu arbeiten. Unser Bewertungsansatz konzentriert sich auf Echtzeit-Risikomanagement, automatisiertes Versuchsmanagement sowie Nachverfolgung und Transparenz in jeder Phase. watsonx.governance wurde mit Blick auf die Komplexität der realen Welt entwickelt und hilft Teams, verantwortungsvoll zu skalieren, Risiken zu reduzieren und das volle Potenzial von generativer KI freizuschalten, ohne Sie auszubremsen.

Laden Sie den Auszug herunter

Erfahren Sie mehr über IBM watsonx.governance

Testen Sie das Produkt kostenlos