IBM® Instana GenAI Observability porta il monitoraggio dell'AI negli stessi potenti workflow che i team già utilizzano per le loro applicazioni full stack. Rileva e mappa automaticamente agenti, catene e attività, quindi collega i loro dati al resto dell'infrastruttura. Con la visibilità integrata su prompt, output, token, latenza, costi ed errori, i team possono tracciare rapidamente i problemi, ottimizzare le prestazioni e utilizzare app basate su AI in modo sicuro.
Supportato dagli standard OpenLLMetry, Instana supporta i principali provider e framework, tra cui IBM watsonx.ai, Amazon Bedrock, OpenAI, Anthropic, Groq, DeepSeek, LangChain, LangGraph e CrewAI, oltre a tempi di esecuzione quali vLLM e GPU. Questo approccio di ecosistema aperto rende la tua AI observability portatile, consapevole dei costi e pronta per la governance, offrendoti una chiarezza end-to-end dal modello all'infrastruttura senza dover cambiare strumento.
Funzioni
Instana scopre automaticamente i componenti dell'AI, inclusi agenti, catene e attività, e mappa le loro relazioni con i servizi e l'infrastruttura. Questa funzionalità include la modellazione e il monitoraggio della gerarchia delle attività allo scopo di visualizzare i flussi e individuare l'origine dei problemi.
Traccia ogni passaggio tra agenti, chiamate di strumenti, recuperi e chiamate di modelli, correlandoli con i segnali APM tradizionali. L'indagine sugli incidenti in tempo reale porta gli intervalli AI nella stessa timeline di microservizi, database e reti.
Monitora l'utilizzo dei token e i costi modellati a livelli granulari per ottimizzare modelli, prompt e tenancy. Usa questi insight per prevenire gli sforamenti e allineare la spesa alle prestazioni.
Acquisisci prompt e output (con redazione configurabile), latenza, produttività, tassi di errore e metadati dei modelli o dei fornitori utilizzando le convenzioni OpenLLMetry. Questi segnali operativi possono generare dashboard e avvisi che aiutano a rilevare comportamenti rischiosi e indirizzarli ai proprietari giusti.
Utilizza la strumentazione nativa OpenLLMetry (Trace loop) con copertura per i principali fornitori di modelli e framework, GPU e tempi di esecuzione come vLLM. Mantieni i dati AI portatili e indipendenti dal fornitore, unificandoli con un APM maturo e il monitoraggio dell'infrastruttura di Instana.
Comprendi la complessa mappatura dell'infrastruttura attraverso il monitoraggio in tempo reale delle applicazioni cloud-native.
Risolvi i problemi prima che abbiano conseguenze sui tuoi clienti con un processo decisionale basato sull'intelligenza artificiale.
Ottieni una maggiore visibilità con Instana per utilizzare al meglio il tuo investimento in AWS.