Was ist AgentOps?

Der Markt für KI-Agenten wird für das Jahr 2024 auf rund 5 Milliarden USD geschätzt und soll bis 2030 auf etwa 50 Milliarden USD anwachsen.¹ Da jedoch immer mehr Unternehmen KI-Agenten entwickeln, um Workflows zu optimieren und zu automatisieren, ergeben sich neue Herausforderungen bei der Überwachung des Verhaltens dieser Agenten, um sicherzustellen, dass sie wie beabsichtigt funktionieren. AgentOps ist eine grob definierte Gruppe von Best Practices für die Bewertung der Leistung von Agenten, die auf den Grundsätzen der verwandten Bereiche DevOps (zur Standardisierung der Softwarebereitstellung) und MLOps (für maschinelle Lernmodelle) aufbaut.

Aber die Verwaltung von Agenten ist nicht so einfach wie die Entwicklung herkömmlicher Software oder sogar von KI-Modellen. „Agentische“ Systeme sind komplex und dynamisch und bestehen im Wesentlichen aus Software, die ihren eigenen Kopf hat. Agenten handeln eigenständig, verketten Aufgaben, treffen Entscheidungen und verhalten sich nicht-deterministisch. Die Idee hinter AgentOps ist es, Observability und Zuverlässigkeit in einen Bereich zu bringen, der chaotisch sein könnte, und es Entwicklern zu ermöglichen, in die Blackbox der Agenteninteraktionen und des Verhaltens anderer Agenten zu blicken. 

Es gibt kein einzelnes Tool zur Verwaltung von AgentOps, sondern ein ganzes Ökosystem. In einer kürzlich durchgeführten Studie wurden 17 Tools auf Github und anderen Code-Repositories entdeckt, die für diese Praxis relevant sind, von Agenta über LangSmith bis hin zu Trulens (ein ehrgeizig benanntes AgentOps-Tool heißt einfach „AgentOps“). Diese Tools bieten in der Regel Unterstützung für das Agenten-Framework Ihrer Wahl, sei es das Agenten-SDK von IBM watsonx oder von OpenAI. In diesem umkämpften Raum sind viele populäre Plattformen und Frameworks entstanden, darunter AutoGen, LangChain und CrewAI (letztere optimiert für die Orchestrierung von Multiagentensystemen).

Ein KI-Agent, der z. B. für die Bearbeitung von Kundensupport-Tickets entwickelt wurde, besteht wahrscheinlich aus einem oder mehreren großen Sprachmodellen (LLMs), die verschiedene Tools zur Bewältigung unterschiedlicher Aufgaben verwenden. Der Agenten-Workflow kann die Überwachung eingehender E-Mails, die Suche in einer Wissensdatenbank des Unternehmens und die eigenständige Erstellung von Support-Tickets umfassen.

Die Fehlersuche bei einem solchen Agenten ist komplex, denn sein vielfältiges Verhalten schafft mehrere Punkte, an denen er versagen oder ineffizient sein kann. Mit der Agentenüberwachung können Entwickler jedoch Schritt für Schritt die Sitzungen der Agentenläufe wiederholen und beobachten, was das KI-System wann getan hat. Hat der Agent auf die richtige Dokumentation für den Kundensupport verwiesen? Wie wurden die Tools genutzt, und welche APIs wurden verwendet? Wie hoch war die Latenz der einzelnen Schritte? Wie hoch waren die letztendlichen LLM-Kosten? Wie gut hat der Agent mit anderen kommuniziert oder zusammengearbeitet? 

Einen KI-Agenten loszulassen, ohne einen Plan zur Überprüfung seines Verhaltens zu haben, ist so, als würde man einem Teenager eine Kreditkarte geben und sich die daraus resultierende Abrechnung nicht ansehen. Adam Silverman, der COO von Agency AI, erklärte kürzlich im Google for Developers Blog, dass diese Kosten durch die Verwendung verschiedener LLMs für unterschiedliche Aufgaben reduziert werden könnten – einer der vielen Parameter, die zur Optimierung der Kosteneffizienz eines Agenten im Laufe der Zeit angepasst werden können.²

Wenn Sie tiefer in die Materie einsteigen, können Sie das End-to-End-Verhalten des Agenten nachverfolgen, einschließlich der Kosten für jede LLM-Interaktion bei verschiedenen Anbietern (wie Azure oder AWS). Entwickler können ein Dashboard mit solchen Metriken in Echtzeit einsehen, mit Daten aus den verschiedenen Phasen des Lebenszyklus des Agenten. Durch iteratives Benchmarking können die Entwickler dann an der Optimierung ihres Agenten arbeiten. 

Es gibt keine allgemein anerkannte Methode für die Durchführung von AgentOps, und es sind mehrere Tools und Ansätze verfügbar. (In der Tat bedeutet sogar der viel etabliertere Vorläuferbegriff DevOps unterschiedliche Dinge für verschiedene Menschen.) Im Juni stellte IBM Research auf der IBM Think-Konferenz seinen eigenen Ansatz für AgentOps vor und nannte drei Kernbereiche, die seiner Meinung nach entscheidend sind, um die Observability von agentischen KI-Anwendungsfällen in Unternehmen zu unterstützen.

Zunächst baute IBM Research seine AgentOps-Lösung auf den OpenTelemetry (OTEL)-Standards auf, einem Open-Source-Softwareentwicklungskit (SDK), das sowohl automatische als auch manuelle Instrumentierungen über verschiedene agentische Frameworks hinweg ermöglicht. Zweitens wurde auf der Grundlage von OTEL eine offene Analyseplattform entwickelt, die den Benutzern ein hohes Maß an Auflösung bietet, wenn sie einen Blick auf das Verhalten ihrer Agenten werfen. Die Plattform ist erweiterbar, d. h. neue Metriken können problemlos hinzugefügt werden. Und drittens werden diese Analysen selbst durch KI unterstützt und ermöglichen einzigartige Perspektiven, wie z.B. die Betrachtung von Workflows mit mehreren Spuren und die Erkundung von Trajektorien. 

IBM Research nutzte seinen AgentOps-Ansatz, um die Entwicklung mehrerer IBM Automatisierungsprodukte zu unterstützen, darunter Instana, Concert und Apptio. Im Zuge der Markteinführung der eigenen agentischen Lösungen von IBM wurden Aspekte von AgentOps in das Entwicklerstudio watsonx.ai und das watsonx.governance-Toolkit zur Skalierung vertrauenswürdiger KI integriert.

Es gibt jedoch viele Ansätze für AgentOps, und das Feld entwickelt sich schnell weiter, um den Anforderungen einer Branche gerecht zu werden, die agentenbasierte Workflows in schwindelerregender Geschwindigkeit einführt. 

Die Best Practices von AgentOps können und sollten auf alle Phasen des Lebenszyklus eines Agenten angewendet werden.

Entwicklung: In dieser Phase geben die Entwickler ihren Agenten bestimmte Ziele und Beschränkungen vor und legen verschiedene Abhängigkeiten und Datenpipelines fest.

Testen: Vor der Freigabe in einer Produktionsumgebung können die Entwickler die Leistung des Agenten in einer simulierten „Sandbox“-Umgebung testen.

Überwachung: Nach der Bereitstellung können die Entwickler die Ergebnisse ihrer Instrumentierung untersuchen und die Leistung der Agenten auf der Ebene der Sitzung, des Trace oder der Spanne bewerten. Entwickler können Agentenaktionen, API-Aufrufe und die Gesamtdauer (oder Latenz) des Agentenverhaltens überprüfen.

Feedback: In dieser Phase benötigen sowohl der Benutzer als auch der Entwickler Zugang zu Werkzeugen, mit denen sie registrieren können, wenn der Agent einen Fehler gemacht oder sich inkonsistent verhalten hat, sowie zu Mechanismen, die dem Agenten helfen, bei seinem nächsten Durchlauf besser abzuschneiden.

Governance: In dem Maße, in dem generative KI stärker von den Behörden kontrolliert wird (z. B. durch das EU AI Act) und sich neue ethische Frameworks entwickeln, benötigen Entwickler eine Reihe von Leitplanken und Richtlinien, die das Verhalten der Agenten einschränken und die Einhaltung der Vorschriften gewährleisten.