Testen von KI-Agenten: Strategien, Metriken und Best Practices

Die sorgfältige Prüfung autonomer Systeme ist besonders wichtig, da KI-Agenten selbstständig mehrteilige Aufgaben planen, externe Tools verwenden und mit anderen Agenten interagieren. Ein robuster Testprozess ist Teil des kontinuierlichen Kreislaufs der Erstellung und Bewertung, der als Agent Development Lifecycle (ADLC)bekannt ist.

Agenten planen und führen Aufgaben eigenständig aus und verändern damit rasch die Art und Weise, wie Unternehmen KI einsetzen. Eine rasche Einführung kann jedoch zu einer Fragmentierung der Technologie-Ökosysteme führen und erhebliche Änderungen an den bisherigen Testprozessen erzwingen. Laut einer aktuellen Forschung des IBM Institute for Business Value geben 80 % der befragten CIOs und CTOs an, dass die KI-Transformation vom CEO gesteuert wird. Aber nur 11 % sagen, dass sie für die im nächsten Jahr erwartete Bereitstellung von KI-Agenten vollständig bereit sind.

„Für CIOs und CTOs“, sagte Matt Lyteson, CIO bei IBM, „besteht die Herausforderung jetzt darin, KI-Systeme zu skalieren, die kontinuierlich und autonom arbeiten, oft mit Governance-Modellen und Architekturen, die für eine weitaus langsamere, besser vorhersehbare Umgebung konzipiert wurden.“ 

Traditionelle Softwaretests konzentrierten sich auf statische Systeme; agentische KI basiert auf der probabilistischen Natur großer Sprachmodelle (LLMs). Das bedeutet, dass ähnliche Eingabeaufforderungen während unterschiedlicher Ausführung unterschiedliche Tool-Aufrufsequenzen erzeugen können und Probleme, die früh in einem mehrstufigen Workflow auftreten, erst viel später auftreten. Und da sich Agenten, die von maschinellem Lernen angetrieben werden, im Laufe der Zeit verändern, können sie Anzeichen von Regression oder Drift zeigen.

Beim Testen von KI-Agenten sollte nicht nur berücksichtigt werden, ob eine endgültige Antwort richtig ist, sondern auch, ob Argumentationspfade und Ausgaben angemessen waren. Im Idealfall beantwortet diese Art von Test eine grundlegend andere Frage als frühere Formen der Softwarevalidierung. Beim Testen geht es nicht nur darum, dass ein Agent die erwartete Ausgabe liefert, sondern auch darum, sicherzustellen, dass die Ausgaben unabhängig von der Eingabe stets fundiert, korrekt und sicher sind. Dies bedeutet, das Verhalten eines Agenten zusätzlich zu den traditionellen Unit-Tests zu validieren.

Agentische Testzyklen sind ebenfalls kontinuierlich. Beim Testen von KI-Agenten geht es darum, effektive Feedback-Schleifen zu schaffen, anstatt einfache, starre Benchmarks für den Erfolg zu entwickeln. Unternehmen, die skalierbare und einheitliche Teststrategien entwickeln, können autonome Systeme entwickeln, die zuverlässig und sicher arbeiten. Sie können auch Test-Frameworks bereitstellen, die nahtlos in den Rest des ADLC integriert werden, sodass sich KI-Agenten vorhersehbar über verschiedene Modelle, Plattformen und Anbieter hinweg integrieren können.

Schlecht getestete KI-Agenten bergen erhebliche operative und Governance-Risiken. Zu den Faktoren, die strenge Tests unerlässlich machen, gehören unter anderem:

• Zusammenfassen von Fehlern: Agenten führen oft mehrteilige Denk- und Handlungsketten durch, was bedeutet, dass Fehler an jedem Punkt des Prozesses verstärkt werden können.

• Sicherheit: Agenten , die im Internet surfen oder mit APIs von Drittanbietern interagieren, sind dem Risiko von Prompt-Injection-Angriffen und Jailbreaks ausgesetzt. Strenge Tests verringern die Wahrscheinlichkeit einer Sicherheitsverletzung.

• Regulatorische und Reputationsrisiken: Agenten in regulierten Branchen wie dem Gesundheits- oder Finanzwesen, die falsche Ausgaben produzieren, setzen Unternehmen einer Haftung aus. Und Agenten, die sich erratisch verhalten oder halluzinieren, gefährden das Vertrauen der Nutzer.

• Die nichtdeterministische Natur der agentischen KI: Große Sprachmodelle können unterschiedliche Antworten auf ähnliche Prompts geben, daher muss das Testen die Varianz berücksichtigen, anstatt nur einen einzelnen Leistungssnapshot zu bewerten. 

Einige der Ausgaben, die ein KI-Agent erzeugt, wie beispielsweise Zusammenfassungen oder Erklärungen, lassen sich nicht anhand einfacher Regeln bewerten. Sie erfordern ein gewisses Maß an Urteilsvermögen. Adressiert eine Antwort die Absicht eines Nutzers korrekt, und ist der Ton angemessen? „LLM-as-a-judge“ bezeichnet die Vorgehensweise, bei der ein zweites LLM eingesetzt wird, um die Qualität der Ergebnisse eines Agenten zu bewerten.

Üblicherweise wird einem größeren, leistungsfähigeren Modell als dem zu testenden Modell ein Bewertungsraster vorgelegt, mit dem es die Reaktion des Agenten beurteilen soll. Diese Prüfkriterien können an mehreren Stellen entlang der Ablauffolge eines Agenten angewendet werden, wodurch Fehler oder Inkonsistenzen im gesamten Prozess erkannt werden können. LLM-as-a-Judge arbeitet mit menschlichen Prüfern zusammen, um eine kontinuierliche, automatisierte Qualitätsbewertung zu ermöglichen. LLM-as-a-judge ist zwar kein Ersatz für eine menschliche Bewertung, skaliert den Testprozess jedoch auf eine Weise, wie es menschliche Teams nicht können.

Angesichts der Raffinesse der KI-Agenten reichen explorative Tests nicht aus – Agenten-Ökosysteme benötigen starke Rubriken und klare Metriken, um erfolgreich zu sein. Effektive Agententests erfolgen auf drei verschiedenen Ebenen, die jeweils darauf ausgelegt sind, eine andere Klasse von Fehlern zu erkennen. Zusammen bilden sie eine mehrschichtige Verteidigung, die agentische KI von frühen Fehlern bis hin zur realen Benutzererfahrung bewertet.

• Komponententests: Komponententests decken Fehler auf, bevor diese in größere Systemprozesse integriert werden. Sie sind so konzipiert, dass sie die einzelnen Teile eines Agenten isoliert untersuchen. Beispielsweise einzelne Werkzeuge und Unteragenten, Speicherverwaltung oder Schritte zur Datenabfrage. Ein Komponententest könnte beispielsweise bestätigen, dass ein Websuchtool Fehler aufgrund von Ratenbegrenzungen korrekt behandelt oder dass ein Codierungstool eine häufig auftretende Sicherheitslücke anhand einer Benutzereingabe erkennt. Da Komponententests auf isolierten Einheiten laufen, sind sie in der Regel schnell auszuführen und leicht zu debuggen.

• Trajektorientests: Trajektorientests bewerten den Denkpfad eines Agenten während einer abgeschlossenen Aufgabe, von der Anweisung des Benutzers bis zur endgültigen Antwort. Sie testen jede Entscheidung und jedes Zwischenergebnis, um den gesamten Entscheidungsprozess eines Agenten zu beobachten – und führen außerdem Integrationstests durch, um die Tool-Aufrufe eines Agenten zu überprüfen. Mit Trajektorientests lassen sich auftretende Fehler erkennen, die möglicherweise nicht sofort offensichtlich sind. Zum Beispiel, wenn ein Agent Werkzeuge in einer Sequenz korrekt aufruft, aber aus seinem kombinierten Ergebnis eine falsche Schlussfolgerung zieht oder über verschiedene Wege konsequent eine korrekte Ausgabe erreicht.

• End-to-End-Test: Beim End-to-End-Test wird ein Agent anhand realer oder realistischer Benutzeraufgaben unter Bedingungen bewertet, die realen Szenarien möglichst nahekommen. Diese Überprüfungen messen, ob ein Agent eine Aufgabe korrekt ausführt und ob die Erfahrung den für die Bereitstellung erforderlichen Standards entspricht. Verhält sich der Agent beispielsweise in mehrstufigen Gesprächen konsistent? Wird mit mehrdeutigen Nutzerabsichten angemessen umgegangen? Typischerweise kombiniert eine End-to-End-Überprüfung eine automatisierte Auswertung mit einer strukturierten menschlichen Beurteilung. In dieser Phase bewerten menschliche Prüfer Stichproben auf Nuancen, die automatische Metriken übersehen könnten. Der Agent ist auch bewusst kontradiktorischen Eingaben und Edge-Fällen ausgesetzt. 

Enterprise KI-Agenten werden oft in Umgebungen bereitgestellt, deren direktes Testen teuer oder irreversibel wäre. Ein Agent, der Kunden-E-Mails versendet, kann beispielsweise keine Test-E-Mails an echte Kunden senden, oder ein Agent, der die Cloud-Infrastruktur verwaltet, kann sich nicht in eine reale Cloud-Umgebung integrieren.

Eine ausgefeilte Umgebungssimulation löst diese Herausforderung, indem sie kontrollierte und wiederholbare Nachbildungen realer Szenarien bereitstellt. In den letzten Jahren haben mehrere Unternehmen simulierte Umgebungen auf den Markt gebracht, die es Entwicklern ermöglichen, User Stories zu erstellen und API-Antworten aufzuzeichnen. In diesen Umgebungen können Tester zudem Szenarien erstellen, die in der Produktionsumgebung nur selten oder gar nicht auszulösen sind. Zum Beispiel, wenn eine Datenbank keine brauchbaren Ergebnisse liefert oder ein Benutzer im Laufe eines längeren Gesprächs widersprüchliche Anweisungen gibt. 

Die Erfolgsquote misst den Prozentsatz der Testfälle, in denen ein Agent eine ihm zugewiesene Aufgabe erfolgreich abschließt. Es handelt sich um eine grundlegende Metrik beim Agententest.

Die Werkzeuggenauigkeit gibt an, ob ein Mitarbeiter die richtigen Werkzeuge für eine bestimmte Aufgabe auswählt und ob er diese unter Einhaltung der korrekten Parameter einsetzt. Ein Agent könnte beispielsweise zwar richtig erkennen, dass er eine Datenbank durchsuchen muss, aber die falsche Abfrage erstellen. 

Bei der Bewertung der Argumentationskette eines Akteurs geht es darum zu beurteilen, ob dessen Gedankengang schlüssig und angemessen ist, selbst wenn die endgültige Antwort zufällig richtig sein sollte. In der Regel werden dabei mehrstufige Schlussfolgerungsprozesse untersucht, um zu überprüfen, ob die Agenten in ihren Zielen konsistent bleiben und jeden Schritt logisch abwickeln. Bei manuellen Testverfahren wird eine vom Menschen definierte Referenzbahn mit dem tatsächlichen Verhalten eines Agenten verglichen. Entwickler automatisieren oft auch Teile dieses Prozesses, indem sie LLM als Richter verwenden. 

Latenz und Kosten sind in der Regel harte Anforderungen, anhand derer festgestellt wird, ob ein System grundsätzlich nutzbar ist. Latenz misst die Zeit von der Abgabe bis zum endgültigen Output – Agenten, die mehrere aufeinanderfolgende Werkzeugaufrufe durchführen oder langsame externe APIs verwenden, können Latenzen erleben, die sie für Nutzer unpraktisch machen. Die Kosten beziehen sich in der Regel auf den Gesamtverbrauch an Token eines Agenten sowie auf dessen API-Aufrufvolumen pro Aufgabe. Zum Beispiel können Agenten, die teure Werkzeuge für einfache Teilaufgaben verwenden, im großen Maßstab unerschwinglich teuer sein. 

Prägnanz ist ein Maß dafür, ob die Ausgaben eines Agenten die notwendigen Informationen enthalten und diese effektiv kommunizieren. Kohärenz misst, ob die Ausgabe logisch konsistent, gut strukturiert und frei von inneren Widersprüchen ist. Beide Metriken sind unabhängig von ihrer Genauigkeit wichtig. Eine Ausgabe kann faktisch genau sein, aber so ausführlich, dass ein Nutzer relevante Informationen nicht leicht extrahieren kann. Oder sie kann kurz, aber inkohärent sein – zwischen Themen hin- und herspringen und sich wiederholen. 

Unter Testautomatisierung versteht man die Durchführung automatisierter Prüfungen anstelle manueller Tests eines Agenten. Bei Agentensystemen, die aus voneinander abhängigen Komponenten bestehen und sich häufig ändern, ermöglicht die Automatisierung eine nachhaltige Testdurchführung in großem Maßstab.

Die Infrastruktur der Testautomatisierung in Agentensystemen basiert auf ähnlichen CI/CD-Pipelines wie in anderen Formen der Softwareentwicklung. Während Softwareänderungen in der Pipeline voranschreiten, identifizieren automatisierte Tests Probleme und Agenten können Codeänderungen per Push durchführen, wodurch eine kontinuierliche Feedback-Schleife entsteht.

Frameworks bieten die grundlegende Infrastruktur für die Durchführung von Tests, die Protokollierung von Agententrajektorien, die Bewertung von Ausgaben und die Verfolgung von Metriken im Zeitverlauf. Sie bilden die Grundlage einer systematischen Testpraxis und können als Coach für einen KI-Agenten betrachtet werden.

Die meisten Frameworks ermöglichen es Unternehmen, eine Reihe von Referenzbeispielen zu definieren, die eine ideale Leistung verkörpern. Anschließend vergleichen die Plattformen die simulierte Bewegungsbahn eines Agenten mit diesen Beispielen und bewerten die Leistung anhand verschiedener Variablen. Ein Beispiel hierfür ist die Simulation einer Konversation zwischen einer großen Gruppe von „Benutzern“, die von generativer KI angetrieben wird, und die anschließende Erstellung von Berichten, in denen der Agent hinsichtlich der Präzision des Tool-Aufrufs und der Genauigkeit des Agenten-Routings bewertet wird.

Dadurch können Unternehmen schnell erkennen, wo ein Agent Verbesserungsbedarf hat und wo er gute Leistungen erbringt. Evaluationsrahmen helfen Teams, den Erfolg frühzeitig im Entwicklungsprozess zu definieren und bieten eine klare Matrix für Regressionstests.

Observability-Plattformen bieten Echtzeit- und historische Sichtbarkeit in das Verhalten von Agenten. Oftmals sind sie in dieselbe Plattform wie die Frameworks integriert und überwachen kontinuierlich die Agenten-Netzwerke, um Anomalien und Regressionen sofort zu erkennen, sobald diese auftreten. KI-gestützte Observability-Plattformen verfolgen die Interaktionen von Agenten, aggregieren Metriken und alarmieren Teammitglieder, wenn Unregelmäßigkeiten auftreten. Sie können besonders nützlich für Ingenieure sein, die komplexe Multiagentensysteme überwachen, und bieten Einblick in das Denkverhalten der Agenten, um die Ursachen eines Problems zu identifizieren. 

Die Steuerungsebene ist die Managementebene, die über den einzelnen Agenten liegt und eine zentrale Transparenz und Kontrolle darüber bietet, wie Agenten in einem Unternehmen bereitgestellt und verwaltet werden. Während sich Evaluations-Frameworks und Observability-Plattformen darauf konzentrieren, zu messen, was ein Agent tut, konzentriert sich eine Steuerungsebene darauf, was ein Agent tun darf. Sie gewährleisten außerdem, dass die Regeln für das Verhalten der Agenten konsequent angewendet und durchgesetzt werden.

Im Zusammenhang mit Tests zeichnet eine Agentensteuerungsebene die Konfiguration jedes Agenten auf, sodass die genauen Bedingungen reproduziert werden können. Viele Steuerungsebenen unterstützen Versionierung, Tests und kontrollierte Bereitstellung von Agenten und unterstützen so Iterationen über Multi-Agenten-Ökosysteme. 

Mehrere große KI-Plattformen bieten derzeit integrierte Test- und Bewertungsfunktionen für Agenten, die auf ihrer Infrastruktur basieren. Diese In-Platform-Tools bieten den Vorteil einer engen Integration in die Bereitstellungsumgebung und einer vereinfachten Einrichtung. Allerdings bieten sie in der Regel weniger Flexibilität als eigenständige Frameworks für Teams mit komplexen Auswertungsanforderungen. 

Das Testen von KI-Agenten ist ein kontinuierlicher Prozess. Das Testen von den frühesten Entwicklungsstadien an – und das fortfahren Testen und Verfeinern der Agenten nach ihrer Bereitstellung – trägt dazu bei, die Qualität langfristig zu sichern.

Hochwertige, gründliche Automatisierungsprozesse sollten bereitgestellt werden, wenn Prompts geändert oder neue Tools hinzugefügt werden – sie sollten aber auch Teil des routinemäßigen Agentenüberwachungsprotokolls eines Unternehmens sein. Dies erfordert Investitionen in die Infrastruktur, um Tests schnell und kostengünstig durchzuführen: Gut organisierte Testdatensätze und Metrik-Dashboards helfen dabei, den Testprozess in den Arbeitsalltag zu integrieren.

Frühes Testen bedeutet auch, die Erfolgskriterien vor dem Bau eines Agenten zu definieren. Teams, die mit der Entwicklung beginnen, ohne klar zu verstehen, was sie erreichen wollen, riskieren einen reaktiven Debugging-Prozess, der darauf basiert, wie ein Agent aussieht, und nicht auf seiner Leistung. 

Ungleichgewichtige Testsätze erzeugen Metriken, die gut aussehen, aber die reale Leistung möglicherweise nicht vorhersagen. Beispielsweise spiegeln Tests, die von einfachen Fällen oder einer engen Anzahl von Aufgaben dominiert werden, nicht alle Vorgehensweisen eines agentischen Systems wider.

Ausgewogene Testsätze prüfen sowohl Fälle, in denen ein Verlauf auftreten sollte, als auch solche, in denen dies nicht der Fall sein sollte. Die Sets sollten sowohl einstufige Abfragen als auch mehrstufige Interaktionen umfassen, und die Eingabeformate sollten eine Reihe von Möglichkeiten abdecken, wie reale Benutzer Anfragen formulieren könnten. Edge-Fälle sollten explizit dargestellt werden, um gegen gegnerische Prompts oder leere Eingaben zu schützen.

Die Testsuiten sollten zudem regelmäßig mit aktuellen Beispielen aktualisiert werden, da sich die Nutzungsmuster weiterentwickeln. Einige Unternehmen verwenden die automatische Generierung von Testfällen, um die Arbeit der Entwickler zu kompensieren. Sie verwenden KI, um die Anforderungen eines Agenten zu analysieren und umfassende Testsätze zu erstellen. 

Unzureichend beschriftete Daten, wie beispielsweise mehrdeutige Testdatensätze oder unzureichende Bewertungskriterien, führen zu Metriken, die verrauscht und irreführend sind. Die Testdaten sollten versioniert und geprüft werden, damit Änderungen an den Bewertungssätzen nachverfolgt und mit den Ergebnissen verglichen werden können. Bei agentischen Aufgaben mit mehreren Schritten bedeutet die Qualität der Daten auch, dass aussagekräftige Referenzverläufe vorliegen, anhand derer ein Testfall bewertet werden kann. 

Obwohl KI zunehmend zur Erstellung von Testskripten und Testausführungen im gesamten Softwareentwicklungszyklus eingesetzt wird, reicht Automatisierung allein nicht aus, um komplexe Agenten-Ökosysteme zu schaffen. Einige Entscheidungen erfordern menschliche Eingabe. Menschen sollten beispielsweise beurteilen, ob die Reaktionen eines Agenten in einem sensiblen Kontext angemessen sind. Menschliche Teams könnten zudem beurteilen, ob ein bei Tests aufgedeckter Edge-Fall auf fundierter Argumentation oder auf Zufall beruht.

Es ist unerlässlich, dass Unternehmen eine strukturelle menschliche Überprüfung in den Testprozess einbauen. Während der aktiven Testphase sollten strukturierte Stichproben der Ausgaben auf verschiedenen Ebenen des Testprozesses einer Überprüfung unterzogen werden.