Cos'è l'observability dell'AI?

Gli strumenti tradizionali di observability comprendono lo stato o la condizione interna di un sistema complesso utilizzando i tre pilastri dell'observability: log, tracce e metriche. Le applicazioni e gli agenti AI introducono un ulteriore livello di complessità che richiede strumenti unici di observability, in grado di ottimizzare le prestazioni del modello monitorando output specifici dell'AI producendo visualizzazioni (spesso generate dall'AI).

A differenza del software tradizionale, gli output dei modelli linguistici di grandi dimensioni (LLM) e di altre applicazioni di intelligenza artificiale generativa sono probabilistici. Gli input identici possono produrre risposte diverse, il che rende difficile tracciare come gli input modellano gli output, causando problemi agli strumenti di observability convenzionali. Pertanto, la risoluzione dei problemi, il debug e il monitoraggio delle prestazioni sono più complessi nei sistemi di AI generativa.

Inoltre, la spiegabilità nell'AI (un settore in crescita che cerca di ridurre le qualità "black box" di molti modelli AI) non può ancora spiegare pienamente come i modelli interagiscano con sistemi IT e workflow più ampi. Le soluzioni di observability dell'AI devono dare priorità agli elementi che possono misurare e analizzare efficacemente. Questa definizione delle priorità è particolarmente importante quando si utilizzano modelli di terze parti come OpenAI o Google, che eseguono e gestiscono i modelli privatamente.

Gli agenti AI (sistemi che lavorano autonomamente per progettare ed eseguire workflow in tutto l'ecosistema) presentano sfide uniche in termini di observability e richiedono un approccio di raccolta dati di conseguenza unico. Quasi la metà dei dirigenti intervistati nel 2025 dall'IBM® Institute for Business Value ha citato "una mancanza di visibilità sui processi decisionali degli agenti come un ostacolo significativo nell'implementazione" per l'agentic AI. L'observability di questi sistemi è cruciale per l'adozione.

L'observability dell'AI funziona raccogliendo metriche specifiche dell'AI da tutto lo stack in tempo reale e organizzandole in una dashboard. L'observability dell'AI offre agli amministratori una migliore comprensione del funzionamento interno dei modelli AI, riducendo al contempo colli di bottiglia, allucinazioni e latenza, tra altri problemi comuni.

Le piattaforme di observability si concentrano su tre tipi principali di telemetria, che hanno le loro variazioni specifiche per i sistemi di AI: log, tracce e metriche.

I log sono record granulari, con data e ora, completi e immutabili, degli eventi dell'applicazione. Tra le altre cose, i log possono essere utilizzati per creare un record ad alta fedeltà, millisecondo per millisecondo, di ogni evento in un sistema IT, includendo inoltre in maniera completa il contesto circostante. Nello sviluppo dell'AI, gli sviluppatori utilizzano i log per la risoluzione dei problemi e il debug.

Le tracce registrano il "percorso" end-to-end di ogni richiesta dell'utente, dall'interfaccia utente o dall'app per dispositivi mobili, attraverso l'intera architettura e il modello AI, per poi tornare all'utente.

Le metriche sono misure fondamentali dello stato di salute delle applicazioni e del sistema nel tempo. Ad esempio, le metriche vengono utilizzate per misurare la quantità di memoria o la capacità della CPU utilizzata da un'applicazione in cinque minuti, oppure la latenza di un'applicazione durante un picco di utilizzo.

Gli agenti AI, l'AI generativa e altri sistemi di AI come modelli linguistici di grandi dimensioni producono anche tipi unici di dati di telemetria che devono essere raccolti e analizzati per fornire agli amministratori insight attuabili.

L'uso dei token, la deriva del modello e la qualità della risposta sono tre punti dati fondamentali per la maggior parte delle iniziative di observability dell'AI. Il monitoraggio di questi fattori può aiutare a ridurre i problemi di prestazioni nel corso del ciclo di vita di un modello e a migliorare l'esperienza dell'utente.

Dati di telemetria più tradizionali, come l'uso della GPU, i colli di bottiglia nell'infrastruttura di rete e il feedback dell'interfaccia utente, possono essere raccolti dagli strumenti di observability dell'AI quando sono rilevanti per il modello.

Un token è una singola unità di linguaggio, di solito una parola o una parte di una parola, che un modello AI è in grado di comprendere. Il numero di token che un modello elabora per comprendere un input o produrre un output influisce direttamente sui costi e sulle prestazioni di un'applicazione basata su LLM. Un maggiore consumo di token può aumentare le spese operative e la latenza di risposta.

Le metriche chiave per monitorare l'utilizzo dei token includono:

• Tassi e costi di consumo dei token, che possono aiutare a quantificare le spese operative.
  
  
• Efficienza dei token, una misura dell'efficacia con cui ogni token viene utilizzato in un'interazione. Le interazioni efficienti producono output di alta qualità riducendo al minimo il numero di token consumati.
  
  
• Modelli di utilizzo dei token in diversi tipi di prompt, che possono aiutare a identificare gli usi dei modelli che richiedono molte risorse.

Queste metriche possono aiutare le organizzazioni a identificare le opportunità di ottimizzazione per ridurre il consumo di token, ad esempio perfezionando i prompt per trasmettere più informazioni con un minor numero di token. Ottimizzando l'utilizzo dei token, le organizzazioni possono mantenere un'elevata qualità di risposta riducendo potenzialmente i costi di inferenza per i workload di machine learning.

A differenza dei software tradizionali, i modelli AI sono a rischio di modificare gradualmente il loro comportamento in modi indesiderabili man mano che i dati reali si evolvono. Questo fenomeno, noto come deriva del modello, può ridurre significativamente l'affidabilità e le prestazioni del sistema AI.

Le metriche chiave per il monitoraggio della deriva del modello includono:

• Cambiamenti nei modelli di risposta nel tempo per identificare eventuali incongruenze.
  
  
• Variazioni nella qualità o nella pertinenza dell'output che potrebbero indicare un calo delle prestazioni del modello.
  
  
• Variazioni nella latenza o nell'utilizzo delle risorse che possono segnalare inefficienze computazionali.

I meccanismi di rilevamento della deriva possono fornire avvisi tempestivi quando la precisione di un modello diminuisce per casi d'uso specifici, consentendo ai team di intervenire prima che il modello interrompa le operazioni aziendali.

Il monitoraggio della qualità dell'output dell'AI è essenziale per mantenere la fiducia, l'affidabilità e la conformità. Le metriche chiave per monitorare la qualità della risposta includono:

• Frequenza delle allucinazioni in diversi tipi di prompt per identificare possibili fattori scatenanti di output imprecisi.
  
  
• Precisione fattuale delle risposte generate, sebbene questa metrica richieda spesso una convalida esterna e una supervisione umana.
  
  
• Coerenza degli output per input simili per verificare la stabilità del modello nel tempo.
  
  
• Rilevanza delle risposte ai prompt degli utenti per valutare come il modello si allinea all'intento dell'utente.
  
  
• Il monitoraggio della latenza è cruciale per le applicazioni AI rivolte all'utente, dove velocità e precisione spesso richiedono compromessi. Il monitoraggio dei tempi di risposta tra diversi tipi di prompt può aiutare le organizzazioni a individuare i colli di bottiglia nelle prestazioni e le inefficienze computazionali.

OpenTelemetry (OTel), un framework open source per la raccolta e la trasmissione di dati telemetrici, può aiutare a migliorare le sfide di observability poste dall'AI.

Per i provider di AI, OpenTelemetry offre un metodo per standardizzare il modo in cui condividono i dati sulle prestazioni senza esporre dettagli del modello proprietario o del codice sorgente. Per le aziende, garantisce che i dati di observability fluiscano in modo coerente attraverso complesse pipeline di AI che possono includere più modelli, varie dipendenze e sistemi di retrieval-augmented generation (RAG).

I vantaggi fondamentali di OpenTelemetry per l'observability dell'AI includono:

• Indipendenza dai fornitori: le organizzazioni possono evitare di vincolarsi a piattaforme di observability specifiche, aiutandole a mantenere flessibilità man mano che le tecnologie AI evolvono.
  
  
• Visibilità end-to-end: i dati di telemetria fluiscono in modo coerente da tutti i componenti dell'infrastruttura dell'applicazione AI.
  
  
• Adattabilità ai cambiamenti futuri: con l'evoluzione delle tecnologie di AI, lo standard OpenTelemetry può adattarsi insieme a esse, aiutando a garantire che le strategie di observability rimangano pertinenti.
  
  
• Integrazione dell'ecosistema: gli standard aperti consentono l'observability tra soluzioni AI multivendor e modelli di distribuzione ibridi.
  
  
• Standardizzazione dei metadati : poiché OpenTelemetry è neutrale rispetto al produttore, consente agli sviluppatori di catturare metadati essenziali legati all'AI e mantenere la visibilità su tutto lo stack, indipendentemente dai backend di observability o dai fornitori utilizzati.

Grazie al loro alto livello di autonomia e automazione all'interno della rete, gli agenti AI richiedono particolare attenzione dalle piattaforme di observability, in particolare riguardo alle azioni che svolgono all'interno del sistema e ai log e tracce correlate a tali azioni.

Le stesse funzionalità che rendono preziosi gli agenti AI (l'uso degli LLM, il richiamo di conversazioni precedenti e l'uso di strumenti esterni) possono renderli difficili da monitorare, comprendere e controllare.

Le azioni comuni che un Agente AI potrebbe intraprendere includono chiamare un'application programming interface (API) per interagire con un motore di ricerca, chiamare un LLM per produrre testo o comprendere l'input, passare richieste al personale umano o inviare un avviso automatico su una violazione di sicurezza o una bassa disponibilità di calcolo.

Sebbene queste funzionalità consentano agli agenti di lavorare in modo indipendente, li rendono anche molto meno trasparenti rispetto alle applicazioni tradizionali basate su regole e logiche esplicite e predefinite. Tracciando i dati associati a questi processi agentici, gli amministratori possono ottenere insight sul comportamento dell'agente e aiutare a prevenire violazioni di conformità, operazioni non riuscite e la conseguente erosione della fiducia degli utenti.

Log univoci per l'observability degli agenti AI includono:

• Log di interazione utente, che documentano ogni interazione tra utenti e agenti AI.
  
  
• Log di interazione degli LLM, che documentano le interazioni tra agenti e LLM.
  
  
• Log di esecuzione degli strumenti, che misurano quali strumenti e agenti di strumentazione vengono utilizzati, quando vengono utilizzati, quali comandi inviano e quali risultati ottengono.
  
  
• Log delle decisioni dell'agente, che registrano il modo in cui un agente AI è giunto a una decisione o a un'azione specifica, quando sono disponibili.

I benefici dell'observability dell'AI includono il controllo del costo di utilizzo del modello, la facilità di conformità e il miglioramento del modello stesso.

Ottenere una maggiore comprensione di come gli strumenti basati sull'AI interagiscono con l'ecosistema IT può identificare risorse sprecate. Ad esempio, se un'organizzazione trova che un modello utilizza solo una piccola parte della potenza di elaborazione a sua disposizione, i team DevOps possono ridimensionare o destinare le risorse dove sono più necessarie.

Gli strumenti di observability AI possono raccogliere, elaborare e memorizzare automaticamente i dati di telemetria degli agenti AI per audit di conformità. Il supporto agli audit è sempre più importante poiché leggi, tra cui l'AI Act dell'Unione Europea, così come varie proposte di regolamentazione statale negli Stati Uniti, hanno spinto un'ondata di tentativi per standardizzare l'uso aziendale dell'AI e proteggere tutte le informazioni di identificazione personale (PII) utilizzate dai modelli.

Per gli sviluppatori di modelli, il volume di telemetria raccolto dagli strumenti di observability può aiutare a ridurre la deriva del modello, tracciare quali caratteristiche sono più preziose e utili (o più disfunzionali) e verificare distorsioni ed equità.

Mentre l'observability dell'AI è la pratica di comprendere i sistemi di AI attraverso i loro dati telemetrici, l'observability del machine learning è più specificamente incentrata sul modo in cui uno strumento di AI utilizza i dati a livello di modello.

Comprendere la telemetria del machine learning è fondamentale perché i dati che un modello acquisisce e da cui apprende cambiano costantemente. Approfondendo la comprensione del funzionamento interno di un modello, gli amministratori possono capire non solo che il modello si avvicina alla deriva o è diventato meno efficace, ma anche perché.

Le metriche chiave per l'observability del machine learning, e spesso per l'observability degli LLM, misurano la qualità del modello, i dati stessi che il modello acquisisce e come questo interagisce con l'infrastruttura circostante.

Diversi tipi di modelli hanno metriche di qualità differenti che una piattaforma di observability potrebbe monitorare.

Per un modello di classificazione, che ordina i dati in classi predefinite, le metriche di prestazione comuni includono:

• Accuratezza: il numero di previsioni corrette rispetto al numero totale di previsioni effettuate.
  
  
• Precisione e richiamo: una misura di quanto sono rilevanti gli elementi selezionati.
  
  
• Punteggio F1: una combinazione comunemente utilizzata di queste metriche.

Un modello di regressione, invece, viene spesso valutato da metriche come l'errore quadratico medio, che misura la differenza media tra le previsioni fatte dal modello e i punti dati effettivi in questione.

L'observability del machine learning può misurare la deriva dei dati, come grandi divergenze tra i dati input e i dati di addestramento, o un cambiamento nella distribuzione statistica delle sue previsioni, così come semplici metriche di qualità dei dati come valori mancanti e tipi di valori errati e non validi. Utilizzando queste metriche, gli strumenti di observability del machine learning possono eseguire un'analisi della causa principale per comprendere la deriva del modello o prevenirla prima che si verifichi.

L'observability del machine learning spesso misura anche metriche più tradizionali che potrebbero essere rilevanti per il modello, come la latenza, l'utilizzo di memoria e il throughput, o il numero di previsioni che un modello può fare in un dato periodo di tempo.