Warum Observability für KI-Agenten unerlässlich ist

Während die Begeisterung für künstliche Intelligenz (KI) in der Geschäftswelt immer größer wird, richtet sich die Aufmerksamkeit auf die neueste Variante dieser Technologie: KI-Agenten.

Im Gegensatz zu herkömmlichen KI-Modellen können KI-Agenten Entscheidungen ohne ständige menschliche Aufsicht treffen. Sie arbeiten autonom, um komplexe Ziele zu erreichen, wie z. B. die Beantwortung von Kundenfragen, die Optimierung einer Lieferkette oder die Analyse von Gesundheitsdaten zur Erstellung einer Diagnose.

In der Praxis bedeutet dies, dass KI-Agenten ganze Arbeitsabläufe von Anfang bis Ende abwickeln können (wie z. B. die automatische Bearbeitung von Versicherungsansprüchen oder die Verwaltung von Lagerbeständen), statt nur Empfehlungen zu geben.

Jüngste Schätzungen zeigen, dass Unternehmen KI-Agenten schnell annehmen. Eine KPMG-Umfrage ergab, dass 88 % der Unternehmen KI-Agenten-Initiativen entweder prüfen oder aktiv testen.¹ Gartner prognostiziert, dass bis 2028 mehr als ein Drittel der Unternehmenssoftware-Anwendungen agentische KI enthalten werden – die zugrunde liegende Technologie, die KI-Agenten ermöglicht.²

Genau die Funktionen, die KI-Agenten so wertvoll machen, können jedoch auch dazu führen, dass sie schwer zu überwachen, zu verstehen und zu kontrollieren sind.

KI-Agenten verwenden große Sprachmodelle (Large Language Models, LLMs), um Schlussfolgerungen zu ziehen, Workflows zu erstellen und Aufgaben in Teilaufgaben zu zerlegen. Sie greifen auf externe Tools wie Datenbanken, Suchmaschinen und Kalkulatoren zu und nutzen das Gedächtnis, um sich an frühere Gespräche und Aufgabenergebnisse zu erinnern.

Dieser Prozess ermöglicht es ihnen zwar, unabhängig zu arbeiten, ist aber auch weit weniger transparent als herkömmliche Anwendungen, die auf expliziten, vordefinierten Regeln und Logik aufbauen.

Diese inhärente Komplexität und die mangelnde Transparenz können es schwierig machen, nachzuvollziehen, wie KI-Agenten bestimmte Outputs erzeugen. Für Unternehmen kann dies ernsthafte Risiken bergen, darunter:

• Compliance-Verstöße: Wenn Agenten mit sensiblen Daten arbeiten, können Unternehmen weder Entscheidungsprozesse noch die Einhaltung von Vorschriften nachweisen.
• Operative Fehler: Ohne Einblick in das Denken der Agenten haben Teams Schwierigkeiten, die Ursachen zu erkennen oder wiederkehrende Fehler zu vermeiden.
• Vertrauenserosion: Unerklärliche Handlungen von Agenten können das Vertrauen von Stakeholdern schädigen, insbesondere wenn Agenten kritische Geschäftsentscheidungen treffen oder direkt mit Kunden interagieren.

Um diese Risiken zu minimieren, setzen Unternehmen zunehmend auf die Observability von KI-Agenten, um Einblicke in das Verhalten und die Leistung von KI-Agenten zu erhalten.

Die Observability von KI-Agenten ist der Prozess der Überwachung und des Verständnisses des vollständigen Verhaltens eines agentischen Ökosystems, einschließlich aller Interaktionen, die der KI-Agent mit großen Sprachmodellen und externen Tools haben kann.

Das Konzept aus der größeren Praxis der Observability, d. h. der Fähigkeit, den internen Zustand eines Systems durch die Analyse seiner Telemetriedaten zu verstehen (also seiner externen Ausgaben, wie Metriken, Ereignisse, Protokolle und Traces, allgemein bekannt als „MELT-Daten“).  

Mit der Observability von KI-Agenten können Unternehmen die Leistung von Agenten bewerten, indem sie Daten über Aktionen, Entscheidungen und Ressourcennutzung sammeln. Dies hilft bei der Beantwortung kritischer Fragen, wie zum Beispiel:

• Gibt der Agent genaue und hilfreiche Antworten?
• Nutzt der Agent die Rechenleistung effizient?
• Verwendet der Agent geeignete Werkzeuge, um seine Ziele zu erreichen?
• Was sind die Ursachen von Problemen mit einem Agenten?
• Hält sich der Agent an die Ethik- und Datenschutzvorschriften für KI?

Mit diesen Erkenntnissen können Unternehmen Probleme effektiver beheben und die Leistung und Zuverlässigkeit von KI-Agenten verbessern. 

Multi-Agenten-Systeme verwenden mehrere KI-Agenten, die zusammenarbeiten, um komplexe Aufgaben zu erledigen, wie z.B. die Automatisierung einer unternehmensweiten Vertriebspipeline oder die Beantwortung von Fragen und die Erstellung von Tickets für ein IT-Supportsystem.

Im Gegensatz zu Einzelagenten-Systemen, bei denen sich Fehler oft auf eine bestimmte Komponente zurückführen lassen, sind Multi-Agenten-Systeme viel komplexer. Bei so vielen Interaktionen zwischen autonomen KI-Agenten gibt es ein größeres Potenzial für unvorhersehbares Verhalten.

Die Observability von KI-Agenten bietet einen entscheidenden Einblick in diese Multi-Agenten-Systeme. Sie hilft Entwicklern, den spezifischen Agenten oder die Interaktion zu identifizieren, die für ein Problem verantwortlich ist, und bietet Einblick in die komplexen, von den Agenten erstellten Workflows. Außerdem lassen sich so kollektive Verhaltensweisen und Muster erkennen, die eskalieren und zukünftige Probleme verursachen könnten.

In einem Reisebuchungssystem mit mehreren Agenten für Flüge, Hotels und Autovermietungen kann eine Buchung beispielsweise an jedem beliebigen Punkt fehlschlagen. Observability-Tools können den gesamten Prozess von Anfang bis Ende verfolgen, um genau festzustellen, wo und warum der Fehler aufgetreten ist.  

Viele Unternehmen verwenden Open-Source-Lösungen wie IBM® BeeAI, LangChain, LangGraph und AutoGen, um Multi-Agenten-Systeme schneller und sicherer zu entwickeln. Diese Lösungen bieten ein Software Development Kit (SDK) mit Tools zur Erstellung von KI-Agenten und ein agentisches KI-Framework – die Engine, die Agenten ausführt und koordiniert.

Die Observability von KI-Agenten funktioniert durch das Sammeln und Analysieren von Telemetriedaten, die sowohl herkömmliche Systemmetriken als auch KI-spezifische Verhaltensweisen erfassen. Teams können diese Daten dann nutzen, um Entscheidungen der Agenten zu verstehen, Probleme zu beheben und die Leistung zu optimieren.

Die Observability von KI-Agenten verwendet dieselben Telemetriedaten wie herkömmliche Observability-Lösungen, umfasst aber auch zusätzliche Datenpunkte, die für generative KI-Systeme einzigartig sind, darunter die Verwendung von Token, Tool-Interaktionen und Entscheidungspfade von Agenten. Diese KI-spezifischen Signale passen noch immer in MELT („Metrics, Events, Logs, Traces“). 

Zusätzlich zu den traditionellen Leistungsmetriken, die von standardmäßigen Observability-Tools erfasst werden (wie z. B. die Nutzung von CPU-, Speicher- und Netzwerkressourcen) misst der KI-Agent die Observability:

Token sind die Texteinheiten, die KI-Modelle verarbeiten - in der Regel Wörter oder Teile von Wörtern. Da KI-Anbieter nach Token-Nutzung abrechnen, wirkt sich die Verfolgung dieser Kennzahl direkt auf die Kosten aus. Durch die Überwachung des Tokenverbrauchs können Unternehmen ihre Ausgaben entsprechend optimieren. Wenn beispielsweise bestimmte Kundenfragen zehnmal mehr Token verbrauchen als andere, können die Teams den Umgang der Agenten mit diesen Anfragen neu gestalten, um so die Kosten zu senken.

Mit der Entwicklung realer Daten können KI-Modelle mit der Zeit ungenauer werden. Die Überwachung wichtiger Metriken der Modellabweichung (wie z. B. Änderungen in den Reaktionsmustern oder Schwankungen in der Ausgabequalität) kann Unternehmen helfen, dies frühzeitig zu erkennen. So kann beispielsweise ein Agent zur Betrugserkennung weniger effektiv werden, wenn Kriminelle neue Taktiken entwickeln. Die Observability zeigt diesen Rückgang an, sodass Teams das Modell mit aktualisierten Datensätzen neu trainieren können.

Diese Metrik misst die Qualität der Ausgabe eines KI-Agenten und ob seine Antworten genau, relevant und hilfreich sind. Sie verfolgt, wie häufig Agenten halluzinieren oder ungenaue Informationen liefern. Sie kann Unternehmen bei der Erhaltung der Servicequalität und der Identifizierung verbesserungswürdiger Bereiche unterstützen. Wenn die Agenten beispielsweise Schwierigkeiten mit technischen Fragen haben, können die Teams die Wissensbasis des Agenten erweitern oder spezielle Tools hinzufügen.

Damit wird gemessen, wie lange ein KI-Agent zur Beantwortung von Anfragen benötigt. Schnelle Reaktionszeiten sind für die Zufriedenheit der Benutzer und die Geschäftsergebnisse entscheidend. Wenn ein Shopping-Assistent beispielsweise zu lange braucht, um Produkte zu empfehlen, werden die Kunden möglicherweise nicht kaufen. Die Verfolgung der Latenzzeit hilft Teams, Verlangsamungen zu erkennen und Leistungsprobleme zu beheben, bevor sie sich auf den Umsatz auswirken.

Events sind die wichtigen Aktionen, die der KI-Agent zur Erfüllung einer Aufgabe durchführt. Diese Daten geben Aufschluss über das Verhalten und den Entscheidungsprozess des Agenten, um Probleme zu beheben und die Leistung zu verbessern.

Beispiele für Events von KI-Agenten sind:

Wenn ein KI-Agent eine Programmierschnittstelle (API) verwendet, um mit einem externen Tool wie einer Suchmaschine, einer Datenbank oder einem Übersetzungsdienst zu interagieren. Die Verfolgung von API-Aufrufen hilft Unternehmen, die Nutzung von Tools zu überwachen und Ineffizienzen zu erkennen. Wenn ein Agent beispielsweise 50 API-Aufrufe für eine Aufgabe tätigt, für die eigentlich nur 2-3 nötig wären, können die Teams die Logik korrigieren.

Wenn KI-Agenten große Sprachmodelle verwenden, um Anfragen zu verstehen, Entscheidungen zu treffen oder Antworten zu generieren. Die Überwachung von LLM-Anrufen hilft dabei, das Verhalten, die Leistung und die Zuverlässigkeit der Modelle aufzudecken, welche die Aktionen der KI-Agenten steuern. Wenn zum Beispiel ein KI-Agent im Bankwesen einem Kunden falsche Kontoinformationen gibt, können Teams die LLM-Anrufe des Agenten analysieren, um das Problem zu finden (z. B. veraltete Daten oder unklare Prompts).

Wenn ein Agent versucht, ein Tool zu verwenden, es aber nicht funktioniert, z. B. wenn ein API-Aufruf aufgrund eines Netzwerkproblems oder einer falschen Anfrage fehlschlägt. Die Verfolgung dieser Fehler kann die Zuverlässigkeit der Agenten verbessern und die Ressourcen optimieren. Wenn ein Supportmitarbeiter beispielsweise den Auftragsstatus aufgrund fehlgeschlagener Datenbankaufrufe nicht überprüfen kann, werden die Teams sofort alarmiert, um Probleme wie fehlende Anmeldedaten oder Serviceausfälle zu beheben.

Wenn KI-Agenten bestimmte Anfragen, die sie nicht bearbeiten können, an menschliche Mitarbeiter eskalieren. Diese Informationen können Lücken in den Fähigkeiten der Agenten und die Feinheiten der Kundeninteraktionen aufdecken. Wenn ein KI-Agent für Finanzdienstleistungen beispielsweise häufig Fragen an einen menschlichen Mitarbeiter eskaliert, benötigt er möglicherweise bessere Finanztrainingsdaten oder ein spezielles Anlagetool.

Wenn etwas schief läuft (z. B. langsame Antwortzeiten, unbefugter Datenzugriff oder geringe Systemressourcen), erhält der KI-Agent eine automatische Warnung. Warnungen können Teams helfen, Probleme in Echtzeit zu erkennen und zu beheben, bevor sie sich auf die Benutzer auswirken. Eine Warnung über eine hohe Speichernutzung ermöglicht es Teams beispielsweise, Ressourcen hinzuzufügen, bevor der Agent abstürzt.

Protokolle sind die detaillierten, chronologischen Aufzeichnungen jedes Ereignisses und jeder Aktion, die während des Betriebs eines KI-Agenten auftreten. Sie können verwendet werden, um eine detailgetreue, millisekundengenaue Aufzeichnung jedes Ereignisses zu erstellen, komplett mit dem dazugehörigen Kontext.

Beispiele für Protokolle in der Observability von KI-Agenten sind:

Diese Protokolle dokumentieren jede Interaktion zwischen Benutzern und KI-Agenten, einschließlich Anfragen, Interpretation von Absichten und Ausgaben. Unternehmen können diese Protokolle nutzen, um die Bedürfnisse der Benutzer und die Leistung der Agenten nachzuvollziehen. Wenn Benutzer beispielsweise immer wieder dieselbe Frage formulieren, versteht der Agent wahrscheinlich ihre Absicht nicht.

Diese erfassen jeden Austausch zwischen Agenten und LLMs, einschließlich Aufforderungen, Antworten, Metadaten, Zeitstempel und Token-Verwendung. Diese Daten geben Aufschluss darüber, wie KI-Agenten Anfragen interpretieren und Antworten generieren, einschließlich der Fälle, in denen der Agent den Kontext möglicherweise falsch interpretiert. Wenn z. B. ein KI-Agent bei der Moderation von Inhalten fälschlicherweise gutartige Inhalte kennzeichnet, während er schädliche Inhalte übersieht, können diese Protokolle die fehlerhaften Muster aufdecken, die zu diesen Fehlern führen.

Diese zeichnen auf, welche Tools die Agenten verwenden, wann sie sie verwenden, welche Befehle sie senden und welche Ergebnisse sie zurückerhalten. Auf diese Weise können Sie Leistungsprobleme und Tool-Fehler bis zu ihrer Quelle zurückverfolgen. Wenn ein KI-Agent für den technischen Support zum Beispiel nur langsam auf bestimmte Fragen antwortet, können die Protokolle zeigen, dass er vage Suchanfragen verwendet. Teams können dann spezifischere Prompts schreiben, um die Antworten zu verbessern.

In diesen Protokollen wird aufgezeichnet, wie ein KI-Agent zu einer Entscheidung oder einer bestimmten Aktion gekommen ist, wie z. B. gewählte Aktionen, Bewertungen, Auswahl von Werkzeugen und Aufforderungen/Ausgaben, ohne dass dies den Zugang zu versteckten Überlegungen impliziert. Diese Daten sind entscheidend, um Voreingenommenheit zu erkennen und eine verantwortungsvolle KI zu gewährleisten, insbesondere wenn die Agenten immer autonomer werden.

Wenn ein KI-Agent für die Kreditvergabe beispielsweise Anträge aus bestimmten Stadtvierteln zu Unrecht ablehnt, können Entscheidungsprotokolle helfen, diskriminierende Muster in den Trainingsdaten aufzudecken. Die Teams trainieren dann das KI-Modell neu, um die Anforderungen an eine faire Kreditvergabe zu erfüllen.

Traces zeichnen den gesamten Verlauf jeder Benutzeranfrage auf, einschließlich aller Interaktionen mit LLMs und Tools entlang des Weges.

Beispielsweise könnte der Trace für eine einfache KI-Agentenanfrage die folgenden Schritte erfassen.

• Die Benutzereingabe, die den Agenten auslöst
• Der Plan des Agenten und die Aufschlüsselung der Aufgaben
• Alle externen Toolaufrufe (z. B. eine Websuche)
• Die Bearbeitung der Anfrage durch das LLM
• Die Promptverarbeitung und Antwortgenerierung
• Die Antwort wurde an den Benutzer zurückgegeben

Entwickler können diese Daten dann verwenden, um die Ursache von Engpässen oder Fehlern zu ermitteln und die Leistung bei jedem Schritt des Prozesses zu messen.

Wenn die Auswertung zum Beispiel zeigt, dass die Websuche fünf Sekunden dauert, während alle anderen Schritte in Millisekunden abgeschlossen sind, kann das Team einen Zwischenspeicher einrichten oder schnellere Suchtools verwenden, um so die Reaktionszeit insgesamt zu verbessern.

Es gibt zwei gängige Ansätze für die Erfassung von Daten, die für die Beobachtung von KI-Agenten verwendet werden: eingebaute Instrumente und Lösungen von Drittanbietern.

Beim ersten Ansatz werden MELT-Daten durch die integrierte Instrumentierung eines agentischen KI-Frameworks gesammelt. Diese nativen Überwachungs- und Protokollierungsfunktionen erfassen und übertragen automatisch Telemetriedaten zu Metriken, Ereignissen, Protokollen und Traces.

Viele große Unternehmen und solche mit speziellen Anforderungen wählen diesen Ansatz, weil er eine tiefgreifende Anpassung und eine fein abgestufte Kontrolle über die Datenerfassung und -überwachung ermöglicht. Allerdings erfordert er auch einen erheblichen Entwicklungsaufwand, Zeit und laufende Wartung.

Beim zweiten Ansatz bieten Observability-Lösungen für KI-Agenten spezialisierte Tools und Plattformen zur Erfassung und Analyse von MELT-Daten. Diese Lösungen bieten Unternehmen eine schnelle und einfache Bereitstellung mit vorgefertigten Funktionen und Integrationen, die den Bedarf an internem Fachwissen verringern. Der Rückgriff auf eine Lösung eines Drittanbieters kann jedoch zu einer gewissen Anbieterabhängigkeit führen und die Möglichkeiten zur Anpassung an die ganz speziellen Bedürfnisse oder Nischenanforderungen eines Unternehmens einschränken.

Manche Unternehmen entscheiden sich für eine Kombination aus integrierten Instrumenten und Drittanbietern, um Telemetriedaten von KI-Agenten zu sammeln.

Beide Ansätze basieren in der Regel auf OpenTelemetry (OTel), einem Open-Source-Tool für Observability, das auf der webbasierten Plattform GitHub gehostet wird.

OTel hat sich als Standard-Framework für das Sammeln und Übertragen von Telemetriedaten etabliert, weil es einen herstellerneutralen Ansatz für die Observability bietet, der besonders in komplexen KI-Systemen wertvoll ist, in denen Komponenten verschiedener Anbieter nahtlos zusammenspielen müssen. So kann sichergestellt werden, dass die Observability-Daten einheitlich über Agenten, verschiedene Modelle, externe Tools und Retrieval Augmented Generation-Systeme (RAG) hinweg fließen.

Sobald Unternehmen mit dem von ihnen gewählten Ansatz die MELT-Daten sammeln, können sie sie auf verschiedene Weise nutzen.

Zu den häufigsten Anwendungsfällen gehören:

Teams nutzen Dashboards, um Echtzeit-Metriken, Event-Streams und Trace-Maps darzustellen. Diese konsolidierte Ansicht hilft, Muster und Anomalien im gesamten KI-Agenten-Ökosystem zu erkennen. Ein Dashboard könnte zum Beispiel aufzeigen, dass die Agenten im Kundenservice jeden Nachmittag um 15 Uhr langsamer werden, was die Teams zur Untersuchung der Ursache veranlasst.

Wenn Probleme auftreten, korrelieren die Teams die Daten von Metriken, Ereignissen, Protokollen und Spuren, um die genauen Fehlerpunkte zu ermitteln. Wenn zum Beispiel eine Spitze in den Fehlerraten (Metrik) mit bestimmten API-Ausfällen (Ereignisse) verknüpft wird und die Entscheidungsprotokolle überprüft werden, können die Teams nachvollziehen, warum sich ein Agent unerwartet verhalten hat.

Unternehmen nutzen die Erkenntnisse aus den Observability-Daten, um die Effizienz ihrer Agenten zu verbessern. Sie können die Verwendung von Token reduzieren, die Auswahl von Tools optimieren oder die Workflows der Agenten auf der Grundlage der Trace-Analyse umstrukturieren. Sie könnten zum Beispiel feststellen, dass ein Agent dieselbe Datenbank dreimal durchsucht, anstatt das Ergebnis nach der ersten Suche zu speichern.

Die Teams richten Feedbackschleifen ein, in denen die Erkenntnisse aus der Beobachtung der Agenten zu Verbesserungen führen. Regelmäßige Überprüfungen der MELT-Daten helfen dabei, wiederkehrende Probleme und Sonderfälle zu erkennen – wie z. B. Agenten, die mit Erstattungsanträgen zu kämpfen haben oder scheitern, wenn Nutzer Fragen stellen, die nicht in der Dokumentation enthalten sind. Diese Probleme können auf die Notwendigkeit erweiterter Trainingsdaten und aktualisierter Dokumentationen hinweisen.

Stellen Sie sich vor, wie ein Online-Händler die Observability nutzen könnte, um ein Problem mit einem KI-Agenten, der mit Kunden interagiert, zu identifizieren und zu korrigieren.

Zunächst zeigt das Observability-Dashboard einen Anstieg des negativen Kunden-Feedbacks für einen bestimmten KI-Agenten an.

Wenn die Teams die Protokolle des Mitarbeiters untersuchen, stellen sie fest, dass dieser ein Datenbank-Tool zur Beantwortung der Kundenfragen verwendet. Die Antworten enthalten jedoch veraltete oder falsche Informationen.

Eine Trace, d. h. die vollständige Aufzeichnung des Schritt-für-Schritt-Prozesses des Agenten zur Bearbeitung der Kundenfrage, zeigt den spezifischen Tool-Aufruf, der die veralteten Daten zurückgegeben hat. Eine weitere Analyse zeigt den genauen Datensatz innerhalb der Datenbank, der die veralteten Informationen enthält.

Mit diesen Erkenntnissen aktualisiert oder entfernt der Online-Händler den fehlerhaften Datensatz. Das Team aktualisiert auch die Logik des Agenten, damit er vor der Antwort an den Kunden die Richtigkeit der Daten überprüft. Das Ergebnis ist, dass der Agent jetzt genaue und hilfreiche Antworten gibt, die auf die Kundenzufriedenheit einzahlen.

Obwohl der Großteil der Observability von KI-Agenten immer noch darin besteht, Warnungen und Anomalien an Teammitglieder zur manuellen Untersuchung und Lösung weiterzugeben, verändert die KI-gestützte Automatisierung zunehmend die Erfassung, Analyse und Verarbeitung von Telemetriedaten durch Unternehmen.

Fortgeschrittene Observability-Lösungen nutzen diese Technologien, um KI-Agenten zu überwachen, zu debuggen und zu optimieren – und das mit wenig oder ganz ohne menschliches Zutun. Zu den aufkommenden Anwendungsfällen in diesem Bereich gehören:

• Automatisches Erfassen, Verarbeiten und Speichern von KI-Agenten-Telemetriedaten für Compliance-Audits und Leistungsanalysen
• Analyse großer Mengen an KI-Agenten-Daten, um Anomalien zu erkennen und Probleme zu identifizieren
• Vorhersage von Problemen mit KI-Anwendungen und -Agenten, bevor sie auftreten
• Vorhersage des Ressourcenbedarfs auf der Grundlage von Nutzungsmustern
• Verbesserungsvorschläge für die Logik oder die Verwendung von Tools zur Leistungsoptimierung
• Verhinderung des Zugriffs von KI-Agenten auf sensible Daten oder deren Weitergabe