Cos'è l'osservabilità degli LLM?

Una buona soluzione di osservabilità consiste nella raccolta di metriche, tracce e log rilevanti da applicazioni LLM, application programming interface (API) e workflow, permettendo agli sviluppatori di monitorare, debuggare e ottimizzare le applicazioni in modo efficiente, proattivo e su larga scala. 

I modelli linguistici di grandi dimensioni (LLM) e le piattaforme di AI generativa (gen AI) come IBM® watsonx.ai e una crescente varietà di varianti open source stanno prendendo piede in diversi settori. A causa di questo aumento, è diventato più importante che mai mantenere l'affidabilità, la sicurezza e l'efficienza dei modelli e delle applicazioni dopo l'adozione. È in questo spazio che l'osservabilità degli LLM diventa essenziale.

• Monitoraggio della qualità e degli output degli LLM:
  La valutazione continua degli output prodotti dagli LLM può essere classificata in diverse dimensioni di qualità che sono utili e applicabili agli utenti. Queste dimensioni includono correttezza, rilevanza, coerenza e coerenza fattuale rispetto a metriche di valutazione definite. Il controllo periodico di queste dimensioni delle prestazioni aiuta a prevenire ritardi o problemi che potrebbero far perdere agli utenti la fiducia nel programma e rendere difficile l'utilizzo efficiente degli LLM.
  
  
• Analisi rapida della causa principale e risoluzione dei problemi:
  Quando si verifica un guasto significativo o un comportamento imprevisto per un'applicazione, uno strumento di osservabilità può fornire insight utili per identificare rapidamente la causa principale (o le cause) del problema in questione. Questo livello di telemetria a grana fine permetterà generalmente agli stakeholder di isolare i problemi con livelli di fiducia più elevati in molte aree. Ad esempio, dati di formazione corrotti, messa a punto mal progettata, chiamate API esterne non riuscite o interruzioni del back-end di provider di terze parti non funzionanti.
  
  
• Ottimizzazione di applicazioni, coinvolgimento degli utenti ed efficienza del sistema:
  L'osservabilità degli LLM consente di migliorare le prestazioni e il coinvolgimento degli utenti attraverso il monitoraggio continuo dell'intero stack. Metriche chiave come latenza, token utilizzati, tempo di risposta e produttività vengono tracciate per identificare colli di bottiglia e fattori limitanti al fine di consentire un'ulteriore ottimizzazione delle prestazioni e riduzione dei costi, in particolare nei workflow RAG. Il monitoraggio in tempo reale delle interazioni e il feedback degli utenti aiutano a fornire insight su quando vengono generati output di bassa qualità, a risolvere i problemi man mano che sorgono e a scoprire le cause principali. Questo costante adattamento al comportamento degli utenti permette all'LLM di produrre risposte personalizzate, ottimizzare i flussi di lavoro e scalare per soddisfare la domanda senza svantaggi prestazionali.^{2, 3}

Le metriche di osservabilità degli LLM possono essere classificate in tre dimensioni principali.

L'osservabilità completa dei modelli linguistici di grandi dimensioni (LLM) può avvenire solo se monitoriamo metriche di osservabilità che monitorano le prestazioni del sistema, il consumo di risorse e il comportamento dei modelli.⁴

Metriche delle prestazioni del sistema:

• Latenza: la durata dall'input all'output rappresenta il tempo di risposta del modello.
  
  
• Produttività: numero di richieste che il modello elabora in una durata specifica; una misura del carico del modello.
  
  
• Tasso di errore: il tasso di fallimenti o di risposte non valide; un riflesso dell'affidabilità del modello.

Metriche di utilizzo delle risorse:

• Utilizzo della CPU/GPU: misurazione delle risorse consumate durante l'inferenza, con rilevanza per il costo e l'efficienza.
  
  
• Uso della memoria: RAM o storage consumato durante l'elaborazione. Sebbene sia importante per le prestazioni e la scalabilità, questo utilizzo è secondario rispetto al compito generale.
  
  
• Utilizzo dei token: traccia i token elaborati. Questo passaggio è particolarmente importante quando i token sono associati al costo nei modelli.
  
  
• Rapporto di latenza della produttività: la produttività descrive il workload di un sistema rispetto alla sua reattività; trovare un buon equilibrio tra questi due aspetti è essenziale per l'efficienza.

Metriche comportamentali del modello:

• Correttezza: monitora la frequenza con cui il modello produce una risposta corretta.
  
  
• Correttezza fattuale: valuta se il modello fornisce output fattualmente "corretti".
  
  
• Coinvolgimento dell'utente: quantifica la durata dell'interazione, il feedback e la soddisfazione per stimare l'esperienza.
  
  
• Qualità della risposta: misura la coerenza, la chiarezza e la pertinenza degli output.⁵

Il monitoraggio manuale degli LLM è difficile a causa dell'elevato volume di dati, dell'architettura di sistema complessa e della necessità di monitoraggio in tempo reale. L'abbondanza di registri e metriche rende difficile identificare rapidamente i problemi. Inoltre, l'osservazione manuale è pesante in termini di risorse, è soggetta a errori e non si può scalare efficacemente con l'espansione dei sistemi, portando a un rilevamento dei problemi più lento e a una risoluzione dei problemi inefficiente.

 Queste limitazioni dimostrano la difficoltà di mantenere manualmente l'osservabilità degli LLM, evidenziando la necessità di soluzioni più sofisticate e autonome per gli ambienti aziendali.⁶

La risoluzione autonoma dei problemi si riferisce a sistemi in grado di identificare, diagnosticare e risolvere problemi in modo indipendente senza necessità di intervento umano, utilizzando metodi di monitoraggio avanzati che impiegano sistemi basati su agenti. Gli agenti monitorano le prestazioni, identificano le anomalie ed eseguono diagnosi in tempo reale, consentendo ai sistemi di funzionare senza supervisione e senza alcun intervento umano.⁷

La risoluzione autonoma dei problemi basata su agenti aiuta con:

• Rilevamento in tempo reale: identifica i problemi all'istante, senza bisogno di input manuali.
  
  
• Analisi della causa principale: individua la fonte dei problemi utilizzando insight basati sull'AI. 
  
  
• Risoluzione automatica: applica soluzioni predefinite pronte all'uso immediato per risolvere i problemi.
  
  
• Monitoraggio continuo: adatta e apprendi dai dati per migliorare la risoluzione dei problemi nel tempo.
  
  
• Scalabilità: gestisci in modo efficiente ambienti complessi e su larga scala, riducendo in modo significativo il lavoro manuale.
  
  
• Manutenzione predittiva: anticipa i potenziali problemi prima che si presentino, il che può essere estremamente prezioso durante i cicli di picco delle prestazioni. 
  
  
• Integrazione con osservabilità: funziona con altri strumenti di osservabilità per una risoluzione più rapida dei problemi.

Progettato per scalare, IBM Instana offre visibilità in tempo reale e risoluzione autonoma dei problemi per l'osservabilità aziendale di oggi.

Con un processo in tre fasi, rilevamento, diagnosi basata sull'AI e correzione, Instana offre una risoluzione dei problemi autonoma end-to-end per garantire che i problemi vengano rilevati e risolti prima che influiscano sulle prestazioni.⁸

Per saperne di più su questa funzionalità, iscriviti alla lista d'attesa per l'agentic AI di Instana.  

La scalabilità dell'AI generativa comporta una risoluzione autonoma dei problemi con strumentazione intelligente, monitoraggio in tempo reale degli LLM e un'orchestrazione efficace. L'ottimizzazione dei set di dati, dell'output del modello e della risposta degli LLM, oltre a una robusta manutenzione delle prestazioni del modello tramite pipeline ottimizzate e test dell'LLM in tempo reale, è fondamentale per un'esperienza utente fluida in vari casi d'uso come i chatbot. L'uso degli LLM open source e del workflow di machine learning è in crescita e sfrutta le tecniche di embedding, monitorando le chiamate agli LLM utilizzando una serie di strumenti. Strumenti come OpenTelemetry e altri che incorporano sofisticati strumenti di osservabilità degli LLM in piattaforme e dashboard integrate saranno essenziali per costruire sistemi AI scalabili e stabili che offrano prestazioni ottimali del modello.^{9, 10}