Was ist KI-Observability?

Traditionelle Observability-Tools verstehen den internen Zustand eines komplexen Systems mithilfe der drei Säulen der Observability: Logs, Traces und Metriken. KI-Anwendungen und KI-Agenten bringen eine zusätzliche Ebene der Komplexität mit sich, die spezielle Observability-Tools erfordert, um die Modellleistung zu optimieren, indem sie KI-spezifische Ausgaben überwachen und (oft KI-generierte) Visualisierungen zu erzeugen.

Im Gegensatz zu traditioneller Software sind die Ausgaben großer Sprachmodelle (LLMs) und anderer generativer KI-Anwendungen probabilistisch. Identische Eingaben können zu unterschiedlichen Reaktionen führen, was es schwierig macht, nachzuvollziehen, wie die Eingaben die Ausgaben beeinflussen, und somit Probleme für herkömmliche Observability-Tools verursacht. Daher sind Fehlerbehebung, Debugging und Leistungsüberwachung in generativen KI-Systemen komplexer.

Darüber hinaus kann die Erklärbarkeit in der KI - ein wachsender Bereich, der versucht, die Blackbox-Eigenschaften vieler KI-Modelle zu reduzieren - noch nicht vollständig erklären, wie die Modelle mit breiteren IT-Systemen und Workflow interagieren. KI-Observability-Lösungen müssen Dingen Priorität einräumen, die sie effektiv messen und analysieren können. Diese Priorisierung ist besonders wichtig bei der Nutzung von Modellen von Drittanbietern wie OpenAI oder Google, die die Modelle privat ausführen und verwalten.

KI-Agenten – Systeme, die autonom arbeiten, um Workflows im gesamten IT-Ökosystem zu entwerfen und auszuführen – stellen ihre eigenen Herausforderungen an die Observability dar und erfordern einen entsprechend einzigartigen Ansatz zur Datenerfassung. Fast die Hälfte der 2025 vom IBM Institute for Business Value befragten Führungskräfte nannte „mangelnde Transparenz in Entscheidungsprozessen der Agenten als bedeutende Implementierungsbarriere“ für agentische KI. Observability für diese Systeme ist für die Einführung entscheidend.

Die KI-Observability funktioniert durch das Erfassen von KI-spezifischen Metriken aus dem gesamten Tech-Stack in Echtzeit und deren Organisation in einem Dashboard. Die KI-Observability ermöglicht Administratoren einen besseren Einblick in das Innenleben von KI-Modellen und reduziert gleichzeitig Engpässe, Halluzinationen und Latenz sowie andere häufige Probleme.

Observability-Plattformen konzentrieren sich auf drei Haupttypen der Telemetrie, die ihre eigenen, für KI-Systeme spezifischen Varianten haben: Logs, Traces und Metriken.

Logs sind granulare, vollständige und unveränderliche Aufzeichnungen von Anwendungsereignissen mit Zeitstempel. Sie können unter anderem verwendet werden, um eine detailgetreue, millisekundengenaue Aufzeichnung jedes Ereignisses in einem IT-System zu erstellen, einschließlich des umgebenden Kontextes. In der KI-Entwicklung verwenden Entwickler Logs zur Fehlerbehebung und zum Debugging.

Traces zeichnen den gesamten Ablauf jeder Benutzeranfrage auf, von der Benutzeroberfläche oder mobilen App über die gesamte Architektur und das KI-Modell bis hin zur Rückkehr zum Benutzer.

Metriken sind grundlegende Messgrößen für den Zustand von Anwendungen und Systemen im Laufe der Zeit. Metriken werden beispielsweise verwendet, um zu messen, wie viel Speicher oder CPU-Kapazität eine Anwendung in fünf Minuten verbraucht oder wie viel Latenz eine Anwendung während einer Nutzungsspitze aufweist.

KI-Agenten, generative KI und andere KI-Systeme wie große Sprachmodelle erzeugen ebenfalls ihre eigenen einzigartigen Arten von Telemetriedaten, die erfasst und analysiert werden müssen, um Administratoren umsetzbare Erkenntnisse zu liefern.

Token-Nutzung, Modelldrift und Antwortqualität sind drei zentrale Datenpunkte für die meisten KI-Observability-Initiativen. Die Überwachung dieser Faktoren kann dazu beitragen, Leistungsprobleme während des Lebenszyklus eines Modells zu reduzieren und die Benutzererfahrung zu verbessern.

Traditionellere Telemetriedaten wie GPU-Nutzung, Engpässe in der Netzwerkinfrastruktur und Feedback zur Benutzeroberfläche können auch von KI-Observability-Tools erfasst werden, sofern sie für das Modell relevant sind.

Ein Token ist eine einzelne Spracheinheit, in der Regel ein Wort oder ein Teil eines Wortes, das ein KI-Modell verstehen kann. Die Anzahl der Token, die ein Modell verarbeitet, um eine Eingabe zu verstehen oder eine Ausgabe zu erzeugen, wirkt sich direkt auf die Kosten und Leistung einer LLM-basierten Anwendung aus. Ein höherer Token-Verbrauch kann die Betriebskosten und die Antwortlatenz erhöhen.

Zu den wichtigsten Metriken für die Verfolgung der Token-Nutzung gehören:

• Token-Verbrauchsraten und Kosten, die helfen können, die Betriebskosten zu quantifizieren.
  
  
• Token-Effizienz, ein Maß dafür, wie effektiv jedes Token in einer Interaktion genutzt wird. Effiziente Interaktionen führen zu qualitativ hochwertigen Ausgaben und minimieren gleichzeitig die Anzahl der verbrauchten Token.
  
  
• Token-Nutzungsmuster über verschiedene Prompt-Typen hinweg, die helfen können, die ressourcenintensive Nutzungen von Modellen zu identifizieren.

Diese Metriken können Unternehmen dabei helfen, Optimierungsmöglichkeiten zur Reduzierung des Tokenverbrauchs zu identifizieren, beispielsweise durch die Verfeinerung von Prompts, um mehr Informationen in weniger Token zu übermitteln. Durch die Optimierung der Token-Nutzung können Unternehmen eine hohe Antwortqualität aufrechterhalten und gleichzeitig potenziell die Inferenzkosten für maschinelles Lernen reduzieren.

Im Gegensatz zu herkömmlicher Software laufen KI-Modelle Gefahr, ihr Verhalten schrittweise auf unerwünschte Weise zu ändern, wenn sich reale Daten weiterentwickeln. Dieses Phänomen, bekannt als Model Drift, kann die Zuverlässigkeit und Leistung des KI-Systems erheblich beeinträchtigen.

Zu den wichtigsten Metriken zur Verfolgung der Modellabweichung gehören:

• Änderungen der Antwortmuster im Laufe der Zeit, um aufkommende Unstimmigkeiten zu identifizieren.
  
  
• Schwankungen in der Ausgabequalität oder Relevanz, die auf eine sinkende Modellleistung hinweisen könnten.
  
  
• Verschiebungen bei der Latenz oder Ressourcenauslastung, die auf Rechenineffizienzen hinweisen können.

Mechanismen zur Erkennung von Abweichungen können frühzeitig warnen, wenn die Genauigkeit eines Modells für bestimmte Anwendungsfälle abnimmt, sodass Teams eingreifen können, bevor das Modell den Geschäftsbetrieb stört.

Die Überwachung der KI-Ausgabequalität ist für die Aufrechterhaltung von Vertrauen, Zuverlässigkeit und Compliance unerlässlich. Zu den wichtigsten Metriken zur Verfolgung der Antwortqualität gehören:

• Häufigkeit von Halluzinationen bei verschiedenen Eingabeaufforderungstypen, um mögliche Auslöser für ungenaue Ausgaben zu identifizieren.
  
  
• Die sachliche Genauigkeit der generierten Antworten, obwohl diese Metrik oft eine externe Validierung und menschliche Aufsicht erfordert.
  
  
• Die Konstanz der Ausgaben für ähnliche Eingaben, um die Stabilität des Modells im Laufe der Zeit zu überprüfen.
  
  
• Die Relevanz von Antworten auf Benutzeraufforderungen, um zu beurteilen, wie das Modell mit der Absicht des Benutzers übereinstimmt.
  
  
• Die Verfolgung der Latenz ist entscheidend für KI-Anwendungen auf Benutzerseite, bei denen Geschwindigkeit und Genauigkeit oft Kompromisse erfordern. Die Überwachung der Antwortzeiten verschiedener Prompttypen kann Unternehmen dabei helfen, Leistungsengpässe und rechnerische Ineffizienzen zu lokalisieren.

OpenTelemetry (Otel), ein Open-Source-Framework für die Erfassung und Übertragung von Telemetriedaten, kann helfen, die Observability-Herausforderungen der KI zu verringern.

Für KI-Anbieter bietet OpenTelemetry eine Möglichkeit zur Standardisierung der Art und Weise, wie sie Leistungsdaten teilen, ohne proprietäre Modelldetails oder Quellcode offenzulegen. Für Unternehmen stellt sie sicher, dass Observability-Daten konstant durch komplexe KI-Pipelines fließen, die mehrere Modelle, verschiedene Abhängigkeiten und Retrieval-Augmented Generation (RAG) Systeme umfassen.

Zu den Hauptvorteilen von OpenTelemetry für die KI-Observability gehören:

• Unabhängigkeit vom Anbieter: Unternehmen können die Bindung an bestimmte Observability-Plattformen vermeiden, was ihnen hilft, Flexibilität zu bewahren, während sich KI-Technologien weiterentwickeln.
  
  
• Durchgängige Transparenz: Telemetriedaten fließen konstant durch alle Komponenten der KI-Anwendungsinfrastruktur.
  
  
• Zukunftssicherheit: Da sich die KI-Technologien weiterentwickeln, kann der OpenTelemetry-Standard sich anpassen und so helfen, dass die Observability-Strategien relevant bleiben.
  
  
• Ökosystemintegration: Offene Standards ermöglichen eine Observability über KI-Lösungen verschiedener Anbieter und hybride Bereitstellungsmodelle hinweg.
  
  
• Metadatenstandardisierung: Weil OpenTelemetry anbieterneutral ist, ermöglicht es Entwicklern, wichtige KI-bezogene Metadaten zu erfassen und die Sichtbarkeit im gesamten Stack aufrechtzuerhalten, unabhängig davon, welche Observability-Backends oder Anbieter sie verwenden.

Aufgrund ihres hohen Grades an Autonomie und Automatisierung innerhalb des Netzwerks erfordern KI-Agenten besondere Aufmerksamkeit von Observability-Plattformen – insbesondere im Hinblick auf die Aktionen, die sie innerhalb des Systems ausführen, und die dazugehörigen Logs und Traces.

Die Funktionen, die KI-Agenten wertvoll machen – ihre Nutzung von LLMs, ihre Erinnerung an frühere Gespräche und die Verwendung externer Tools – können es schwierig machen, sie zu überwachen, zu verstehen und zu kontrollieren.

Zu den üblichen Aktionen, die ein KI-Agent ausführen kann, gehören das Aufrufen einer Programmierschnittstelle (API) zur Interaktion mit einer Suchmaschine, das Aufrufen eines LLM, um Text zu erzeugen oder Benutzereingaben zu verstehen, das Eskalieren von Anfragen an menschliche Mitarbeiter oder die Weitergabe einer automatischen Warnung zu einer Sicherheitsverletzung oder geringer Rechenverfügbarkeit

Während diese Fähigkeiten es den Agenten ermöglichen, unabhängig zu arbeiten, sorgen sie auch dafür, dass diese weit weniger transparent sind als traditionelle Anwendungen, die auf expliziten, vordefinierten Regeln und Logik basieren. Durch die Nachverfolgung der mit diesen Agentenprozessen verbundenen Daten können Administratoren Erkenntnisse über das Verhalten des Agenten gewinnen und dazu beitragen, Compliance-Verstöße, Betriebsausfälle und die daraus resultierende Beeinträchtigung des Benutzervertrauens zu verhindern.

Einzigartige Logs für die Observability von KI-Agenten umfassen:

• Benutzerinteraktionsprotokolle, die jede Interaktion zwischen Benutzern und KI-Agenten dokumentieren.
  
  
• LLM-Interaktionsprotokolle, die die Interaktionen zwischen den Agenten und LLMs dokumentieren.
  
  
• Tool-Ausführungsprotokolle, die messen, welche Tools und Instrumentierungsagenten wann eingesetzt werden, welche Befehle gesendet und welche Ergebnisse zurückgegeben werden.
  
  
• Agenten-Entscheidungsprotokolle, die gegebenenfalls aufzeichnen, wie ein KI-Agent zu einer Entscheidung oder einer bestimmten Aktion gekommen ist.

Zu den Nutzen der KI-Observability gehören die Kontrolle der Kosten für die Modellnutzung, die einfache Einhaltung von Vorschriften und die Verbesserung des Modells selbst.

Wenn Sie einen umfassenderen Einblick in die Interaktion von KI-gestützten Tools mit dem IT-Ökosystem gewinnen, können Sie verschwendete Ressourcen identifizieren. Wenn ein Unternehmen beispielsweise feststellt, dass ein Modell nur einen kleinen Teil der ihm zur Verfügung stehenden Effizienz nutzt, können DevOps-Teams Ressourcen minimieren oder dorthin umleiten, wo sie am dringendsten benötigt werden.

KI-Observability-Tools können automatisch Telemetriedaten von KI-Agenten für Compliance-Audits erfassen, verarbeiten und speichern. Die Unterstützung durch Audits gewinnt zunehmend an Bedeutung, da Regulierungen wie das KI-Gesetz der Europäischen Union sowie verschiedene geplante staatliche Regelungen in den USA eine Welle von Bemühungen ausgelöst haben, den geschäftlichen Einsatz von KI zu standardisieren und alle personenbezogene Daten (PII), die von Modellen verwendet werden, zu schützen.

Für Modellentwickler kann das durch Observability-Tools erfasste Telemetrievolumen dazu beitragen, Modellabweichungen zu reduzieren, zu verfolgen, welche Funktionen am wertvollsten und nützlichsten (oder am wenigsten funktional) sind, und auf Verzerrung und Fairness zu prüfen.

Während die KI-Observability die Praxis ist, KI-Systeme anhand ihrer Telemetriedaten zu verstehen, konzentriert sich die Observability beim maschinellen Lernen eher darauf, wie ein KI-Tool Daten auf Modellebene verwendet.

Das Verständnis von Telemetriedaten im maschinellen Lernen ist von entscheidender Bedeutung, da sich die Daten, die ein Modell aufnimmt und aus denen es lernt, ständig ändern. Wenn sie die interne Funktionsweise eines Modells genauer untersuchen, können Administratoren nicht nur feststellen, dass das Modell abgewichen ist oder an Effektivität verloren hat, sondern auch warum.

Wichtige Metriken für die Observability des maschinellen Lernens, und oft auch für LLM-Observability, messen die Modellqualität, die Daten selbst, die das Modell aufnimmt, und wie das Modell mit seiner umgebenden Infrastruktur interagiert.

Für verschiedene Arten von Modellen gibt es unterschiedliche Metriken, die eine Observability-Plattform verfolgen kann.

Für ein Klassifizierungsmodell, das Daten in vordefinierte Klassen einteilt, sind dies gängige Leistungsmetriken:

• Genauigkeit: Die Anzahl der richtigen Vorhersagen im Vergleich zur Gesamtzahl der getroffenen Vorhersagen
  
  
• Präzision und Wiedererkennung: Ein Maß dafür, wie relevant die ausgewählten Elemente sind
  
  
• F1 Score: Eine häufig verwendete Kombination dieser Metriken

Ein Regressionsmodell hingegen wird häufig anhand von Metriken wie dem mittleren quadratischen Fehler bewertet, der die durchschnittliche Differenz zwischen den Vorhersagen des Modells und den tatsächlichen Datenpunkten misst.

Die Observability des maschinellen Lernens kann Datendrift messen – wie z. B. große Abweichungen zwischen Eingabe und Trainingsdaten oder eine Änderung in der statistischen Verteilung der Vorhersagen – sowie einfache Datenqualitätsmetriken wie fehlende Werte und fehlerhafte und ungültige Werttypen. Mithilfe dieser Metriken können Tools zur Observability von maschinellem Lernen eine Ursachenanalyse durchführen, um Modellabweichungen zu verstehen oder ihnen vorzubeugen.

Die Observability des maschinellen Lernens misst oft auch traditionellere Metriken, die für das Modell relevant sein könnten, wie Latenz, Speicherverbrauch und Durchsatz oder die Anzahl der Vorhersagen, die ein Modell in einer bestimmten Zeit treffen kann.