Was ist LLM-Observability?

Eine gute Observability-Lösung besteht aus dem Sammeln relevanter Metriken, Traces und Logs von Anwendungen, Programmierschnittstellen und Workflows, was es Entwicklern ermöglicht, Anwendungen effizient, proaktiv und in großem Maßstab zu überwachen, zu debuggen und zu optimieren. 

Große Sprachmodelle (LLMs) und generative KI (GenAI)-Plattformen wie IBM watsonx.ai® und eine zunehmende Anzahl von Open-Source-Varianten setzt sich branchenübergreifend durch. Aufgrund dieses Anstiegs ist es wichtiger denn je, die Zuverlässigkeit, Sicherheit und Effizienz von Modellen und Anwendungen nach der Einführung aufrechtzuerhalten. In diesem Bereich spielt die LLM-Observability eine wesentliche Rolle.

• Überwachen Sie die Qualität und die Ausgaben von LLMs:
  Die kontinuierliche Bewertung der von LLMs erzeugten Ausgaben kann in mehrere Qualitätsdimensionen eingeteilt werden, die für die Nutzer nützlich und anwendbar sind. Diese Dimensionen umfassen Korrektheit, Relevanz, Kohärenz und sachliche Konsistenz mit definierten Bewertungsmaßstäben. Das regelmäßige Überprüfen dieser Leistungsdimensionen hilft, Verzögerungen oder Probleme zu vermeiden, die dazu führen könnten, dass Benutzer das Vertrauen in das Programm verlieren und es schwierig finden, LLMs effizient zu nutzen.
  
  
• Schnelle Ursachenanalyse und Fehlerbehebung:
  Wenn bei einer LLM-Anwendung ein erheblicher Fehler oder ein unerwartetes Verhalten auftritt, kann ein Observability-Tool nützliche Erkenntnisse liefern, um die Ursache (oder die Ursachen) des jeweiligen Problems schnell zu identifizieren. Diese detaillierte Telemetrie ermöglicht es den Stakeholdern in der Regel, die Probleme in vielen Bereichen mit größerer Sicherheit zu isolieren. Zum Beispiel beschädigte Trainingsdaten, schlecht konzipierte Feinabstimmungen, fehlgeschlagene externe API-Aufrufe oder Ausfälle von Drittanbietern im Backend.
  
  
• Optimieren Sie Anwendungen, Benutzerbindung und Systemeffizienz:
  Die LLM-Observability ermöglicht eine Verbesserung der Leistung und der Benutzerbindung durch kontinuierliche Überwachung des gesamten LLM-Stacks. Wichtige Metriken wie Latenz, verwendete Token, Reaktionszeit und Durchsatz werden erfasst, um Engpässe und begrenzende Faktoren zu identifizieren und so eine weitere Leistungsoptimierung und Kostensenkung zu ermöglichen, insbesondere in RAG-Workflows. Die Echtzeitverfolgung von Interaktionen und Benutzerfeedback hilft dabei, herauszufinden, wann minderwertige Ergebnisse erzeugt werden, Probleme zu lösen, sobald sie auftreten, und die Ursachen zu ermitteln. Diese konsistente Anpassung an das Nutzerverhalten ermöglicht es dem LLM, individuelle Antworten zu erstellen, Workflows zu optimieren und die Nachfrage ohne Leistungseinbußen zu skalieren.^{2, 3}

LLM-Observability-Metriken lassen sich in drei Hauptdimensionen einteilen.

Eine umfassende Observability großer Sprachmodelle (LLMs) kann nur erfolgen, wenn wir Observability-Metriken verfolgen, die die Systemleistung, den Ressourcenverbrauch und das Modellverhalten verfolgen.⁴

Metriken zur Systemleistung

• Latenz: Die Dauer von der Eingabe bis zur Ausgabe, die die Reaktionszeit des Modells darstellt.
  
  
• Durchsatz: Anzahl der Anfragen, die das Modell in einer bestimmten Zeitspanne verarbeitet; ein Maß für die Auslastung des Modells.
  
  
• Fehlerrate: Die Rate der Fehlschläge oder ungültigen Antworten; ein Hinweis auf die Zuverlässigkeit des Modells.

Metriken zur Ressourcen-Nutzung:

• CPU/GPU-Auslastung: Messung der bei der Inferenz verbrauchten Ressourcen, mit Bezug auf Kosten und Effizienz.
  
  
• Speichernutzung: RAM oder Speicherplatz, der während der Verarbeitung verbraucht wird. Diese Nutzung ist zwar wichtig für Leistung und Skalierbarkeit, aber sie ist zweitrangig gegenüber der Gesamtaufgabe.
  
  
• Token-Nutzung: Verarbeitete Token verfolgen. Dieser Schritt ist besonders wichtig, wenn Token in Modellen mit Kosten verbunden sind.
  
  
• Durchsatzlatenzverhältnis: Der Durchsatz beschreibt die Workload eines Systems im Vergleich zu seiner Reaktionsfähigkeit – ein Gleichgewicht zwischen diesen beiden Komponenten zu finden, ist für die Effizienz entscheidend.

Modell-Verhaltensmetriken:

• Korrektheit: Überwacht, wie häufig das Modell eine korrekte Antwort liefert.
  
  
• Faktische Korrektheit: Bewertet, ob das Modell „korrekte“ faktische Ausgaben liefert.
  
  
• Nutzerbindung: Quantifiziert die Dauer der Interaktion, das Feedback und die Zufriedenheit, um die Erfahrung abzuschätzen.
  
  
• Antwortqualität: Misst die Kohärenz, Klarheit und Relevanz der Ausgaben.⁵

Die manuelle Überwachung von LLMs ist aufgrund des großen Datenvolumens, der komplexen Systemarchitektur und der Notwendigkeit einer Echtzeitverfolgung schwierig. Die Fülle an Protokollen und Metriken macht es schwierig, Probleme schnell zu erkennen. Darüber hinaus ist die manuelle Beobachtung ressourcenintensiv, fehleranfällig und kann bei wachsenden Systemen nicht effektiv skaliert werden, was zu einer langsameren Problemerkennung und ineffizienten Fehlerbehebung führt.

 Diese Einschränkungen zeigen die Schwierigkeit, die Observability in LLMs manuell aufrechtzuerhalten, und unterstreichen den Bedarf an ausgefeilteren, autonomeren Lösungen für Unternehmensumgebungen.⁶

Autonome Fehlerbehebung bezieht sich auf Systeme, die Probleme unabhängig identifizieren, diagnostizieren und beheben können, ohne dass ein menschliches Eingreifen erforderlich ist, indem sie fortschrittliche Überwachungsmethoden einsetzen, die agentenbasierte Systeme nutzen. Die Agenten überwachen die Leistung, identifizieren Anomalien und führen Echtzeit-Diagnosen durch, so dass die Systeme unbeaufsichtigt und ohne menschliches Eingreifen laufen.⁷

Agentenbasierte autonome Fehlerbehebung hilft bei:

• Erkennung in Echtzeit: Identifizieren Sie Probleme sofort ohne manuelle Eingaben.
  
  
• Ursachenanalyse: Ermitteln Sie die Ursache von Problemen mit Hilfe von KI-gestützten Erkenntnissen. 
  
  
• Automatisierte Lösung: Wenden Sie vordefinierte Lösungen an, die sofort einsatzbereit sind, um Probleme zu beheben.
  
  
• Kontinuierliche Überwachung: Passen Sie die Daten an und lernen Sie daraus, um die Fehlerbehebung im Laufe der Zeit zu verbessern.
  
  
• Skalierbarkeit: Verwalten Sie komplexe, große Umgebungen effizient, indem Sie die manuelle Arbeit deutlich reduzieren.
  
  
• Vorausschauende Wartung: Potenzielle Probleme werden erkannt, bevor sie auftreten. Dies kann in Phasen höchster Leistung von enormem Wert sein. 
  
  
• Integration mit Observability: Funktioniert mit anderen Observability-Tools für eine schnellere Problemlösung.

IBM® Instana ist auf Skalierbarkeit ausgelegt und bietet Echtzeittransparenz und autonome Fehlerbehebung für die komplexe Observability von heute.

Mit einem dreistufigen Prozess – Erkennung, KI-gestützte Diagnose und autonome Sanierung – bietet Instana eine durchgängige autonome Fehlerbehebung, um sicherzustellen, dass Probleme erkannt und behoben werden, bevor sie sich auf Ihre Leistung auswirken.⁸

Um mehr über diese Funktion zu erfahren, melden Sie sich für die Warteliste von Instana Agentic KI an.  

Die Skalierung der generativen KI umfasst eine autonome Fehlerbehebung mit intelligenter Instrumentierung, LLM-Überwachung in Echtzeit und effektive Orchestrierung. Die Optimierung des Datensatzes, der Modellausgabe und der LLM-Antwort sowie die robuste Wartung der Modellleistung durch optimierte Pipelines und LLM-Tests in Echtzeit sind entscheidend für eine reibungslose Benutzererfahrung in verschiedenen Anwendungsfällen wie Chatbots. Die Nutzung von Open-Source-LLMs und Workflows für maschinelles Lernen nimmt zu und nutzt die Vorteile von Einbettungstechniken, indem sie LLM-Aufrufe mit Hilfe einer Reihe von Tools überwacht. Tools wie OpenTelemetry und andere, die ausgefeilte LLM-Observability-Tools in integrierte Observability-Plattformen und Dashboards einbinden, sind unerlässlich für den Aufbau skalierbarer, stabiler KI-Systeme, die optimale Leistung bieten.^{9, 10}