IBM® Instana GenAI Observability integriert KI-Überwachung in dieselben leistungsstarken Workflows, die Teams bereits für ihre Full-Stack-Anwendungen verwenden. Es erkennt und ordnet automatisch Agenten, Ketten und Aufgaben zu und verbindet deren Daten dann mit dem Rest Ihrer Infrastruktur. Dank integrierter Transparenz hinsichtlich Prompts, Ausgaben, Tokens, Latenzen, Kosten und Fehlern können Teams Probleme schnell aufspüren, die Leistung optimieren und KI-gesteuerte Anwendungen sicher betreiben.
Auf Basis der OpenLLMetry-Standards unterstützt Instana führende Anbieter und Frameworks, darunter IBM® watsonx.ai, Amazon Bedrock, OpenAI, Anthropic, Groq, DeepSeek, LangChain, LangGraph und CrewAI sowie Laufzeitumgebungen wie vLLM und GPUs. Dieser offene Ökosystemansatz sorgt dafür, dass Ihre KI-Observability portabel, kostenbewusst und governancefähig bleibt und bietet Ihnen durchgängige Transparenz vom Modell bis zur Infrastruktur, ohne dass Sie zwischen verschiedenen Tools wechseln müssen.
Funktionen
Instana erkennt automatisch KI-Komponenten, darunter Agenten, Ketten und Aufgaben, und ordnet deren Beziehungen zu Services und Infrastruktur zu. Diese Funktion umfasst die Modellierung und Überwachung von Aufgabenhierarchien, um Abläufe zu visualisieren und die Ursachen von Problemen zu lokalisieren.
Verfolgen Sie jeden Schritt über Agenten, Tool-Aufrufe, Abrufe und Modellaufrufe hinweg und korrelieren Sie diese mit herkömmlichen APM-Signalen. Die Echtzeit-Untersuchung von Vorfällen bringt KI-Spans in dieselbe Zeitachse wie Microservices, Datenbanken und Netzwerke.
Verfolgen Sie die Token-Nutzung und die modellierten Kosten auf granularer Ebene, um Modelle, Prompts und Mandantenfähigkeit zu optimieren. Nutzen Sie diese Erkenntnisse, um Überschreitungen zu vermeiden und die Ausgaben an den Leistungszielen auszurichten.
Erfassen Sie Prompts und Ausgaben (mit konfigurierbarer Redaktion), Latenz, Durchsatz, Fehlerraten und Modell- oder Anbieter-Metadaten unter Verwendung von OpenLLMetry-Konventionen. Diese operativen Signale können Dashboards und Warnmeldungen auslösen, die dabei helfen, riskantes Verhalten zu erkennen und an die richtigen Verantwortlichen weiterzuleiten.
Nutzen Sie native OpenLLMetry-Instrumentierung (Trace Loop) mit Abdeckung für wichtige Modellanbieter und Frameworks, GPUs und Laufzeiten wie vLLM. Halten Sie KI-Daten portabel und herstellerneutral und vereinheitlichen Sie sie gleichzeitig mit ausgereifter APM- und Infrastrukturüberwachung von Instana.
Komplexes Infrastruktur-Mapping verstehen durch Echtzeit-Überwachung von cloudnativen Anwendungen.
Lösen Sie Probleme, bevor sie sich auf Ihre Kunden auswirken, mit KI-gestützter Entscheidungsfindung
Erhalten Sie mit Instana eine verbesserte Transparenz, um das Beste aus Ihrer AWS-Investition herauszuholen.