Cos'è AgentOps?

Con un valore stimato di circa 5 miliardi di dollari nel 2024, si prevede che il mercato degli agenti AI crescerà fino a circa 50 miliardi di dollari entro il 2030.¹ Tuttavia, via via che sempre più aziende creano agenti AI per semplificare e automatizzare i workflow, emergono nuove sfide nel monitoraggio del comportamento di tali agenti AI, per garantire che funzionino come previsto. AgentOps è un insieme di best practice emergenti, definito in modo approssimativo, per la valutazione delle prestazioni degli agenti, che si basa su precetti stabiliti nei campi correlati di DevOps (che ha standardizzato la distribuzione del software) e MLOps (che ha fatto lo stesso per i modelli di machine learning).

Tuttavia, gestire gli agenti non è così semplice come creare software tradizionali o persino modelli AI. I sistemi "agentici" sono complessi e dinamici e coinvolgono essenzialmente software che ha una mente propria. Gli agenti agiscono in modo autonomo, concatenano le attività, prendono decisioni e si comportano in modo non deterministico. L'idea alla base di AgentOps è introdurre l'osservabilità e l'affidabilità in un ambito che potrebbe essere caotico, consentendo agli sviluppatori di guardare nella black box delle interazioni degli agenti e del comportamento degli altri agenti. 

Non esiste un singolo strumento per gestire AgentOps, quanto piuttosto un intero ecosistema; uno studio recente ha scoperto 17 strumenti su Github e altri repository di codice rilevanti per la pratica, da Agenta a LangSmith, fino a Trulens (uno strumento AgentOps dal nome ambizioso si chiama, semplicemente, "AgentOps"). Questi strumenti in genere forniscono supporto al framework di agenti preferito dagli sviluppatori, che si tratti di watsonx Agents di IBM o di Agents SDK di OpenAI. In questo spazio frenetico sono emerse molte piattaforme e framework, tra cui AutoGen, LangChain e CrewAI (quest'ultimo ottimizzato per l'orchestrazione di sistemi multi-agente).

Un agente AI creato per gestire i ticket di supporto clienti, ad esempio, è probabilmente composto da uno o più modelli linguistici di grandi dimensioni (LLM) che utilizzano vari strumenti per gestire varie attività. Il workflow degli agenti potrebbe comportare il monitoraggio delle e-mail in arrivo, la ricerca nella knowledge base aziendale e la creazione autonoma di ticket di assistenza.

Il debug di un agente di questo tipo è complesso; il suo comportamento vario crea diversi punti di potenziale errore o inefficienza. Tuttavia, con il monitoraggio degli agenti, gli sviluppatori possono eseguire il replay passo dopo passo delle esecuzioni degli agenti, osservando cosa ha fatto il sistema AI e quando. L'agente ha fatto riferimento alla corretta documentazione per il supporto clienti? Quali sono stati i modelli di utilizzo degli strumenti e quali API sono state utilizzate? Qual era la latenza di ogni passaggio? Qual è stato il costo finale dell'LLM? Quanto bene l'agente ha comunicato o collaborato con gli altri? 

Liberare un agente AI senza un piano per verificarne il comportamento è come dare una carta di credito a un adolescente e non guardare l'estratto conto che ne risulta. Adam Silverman, COO di Agency AI, ha recentemente dichiarato al blog Google for Developers che utilizzando diversi LLM per attività diverse, tale costo potrebbe essere ridotto (uno dei tanti parametri che possono essere modificati per ottimizzare il rapporto costo-efficacia di un agente nel tempo).²

Analizzando più a fondo, gli sviluppatori possono tracciare il comportamento end-to-end dell'agente, incluso il costo di ogni interazione LLM tra diversi fornitori (come Azure o AWS). Gli sviluppatori possono consultare una dashboard di queste metriche in tempo reale, con dati provenienti dalle varie fasi del ciclo di vita dell'agente. Attraverso il benchmarking iterativo, gli sviluppatori possono quindi lavorare all'ottimizzazione del loro agente. 

Non esiste un metodo universalmente accettato per condurre AgentOps, poiché sono disponibili più strumenti e approcci. (Di fatto, anche il termine DevOps, ovvero il precursore molto più consolidato, ha significati leggermente diversi per persone diverse). Nel mese di giugno, alla conferenza IBM Think, IBM Research ha presentato il suo approccio ad AgentOps, specificando tre aree di interesse principali che ritiene cruciali per supportare l'observability con casi d'uso dell'agentic AI.

Innanzitutto, IBM Research ha basato la sua soluzione AgentOps sugli standard OpenTelemetry (OTEL), un kit di sviluppo software open source (SDK) che consente di utilizzare strumentazioni automatiche e manuali su vari framework agentici. In secondo luogo, ha creato una piattaforma di analisi aperta su OTEL, che offre agli utenti un elevato livello di risoluzione quando osservano il comportamento dei propri agenti dietro le quinte. La piattaforma è estensibile, il che significa che è possibile aggiungere facilmente nuove metriche. Per finire, queste funzionalità di analytics sono esse stesse alimentate dall'AI, fornendo prospettive uniche, tra cui visualizzazioni del workflow multitraccia ed esplorazioni delle traiettorie. 

IBM Research ha utilizzato il suo approccio AgentOps per assistere alla creazione di diversi prodotti di automazione IBM, tra cui Instana, Concert e Apptio. Poiché IBM ha introdotto le proprie soluzioni agentiche sul mercato, alcuni aspetti di AgentOps sono diventati caratteristiche dello studio per sviluppatori watsonx.ai e del toolkit watsonx.governance per scalare l'AI affidabile.

Tuttavia, esistono molti approcci ad AgentOps e il campo si sta evolvendo rapidamente per soddisfare le esigenze di un settore che adotta i workflow agentici a una velocità vertiginosa. 

Le best practice di AgentOps possono e devono essere applicate a tutte le fasi del ciclo di vita di un agente.

Sviluppo: in questa fase, gli sviluppatori forniscono ai loro agenti obiettivi e vincoli specifici, mappando varie dipendenze e pipeline di dati.

Test: prima del rilascio in un ambiente di produzione, gli sviluppatori possono valutare le prestazioni dell'agente in un ambiente "sandbox" simulato.

Monitoraggio: una volta implementati, gli sviluppatori possono esaminare i risultati della loro strumentazione, valutando le prestazioni degli agenti a livello di sessione, traccia o intervallo. Gli sviluppatori possono esaminare le azioni degli agenti, le chiamate API e la durata complessiva (o latenza) del comportamento degli agenti.

Feedback: in questa fase, sia l'utente che lo sviluppatore devono accedere agli strumenti per registrare quando l'agente ha commesso un errore o si è comportato in modo incoerente, nonché ai meccanismi per aiutare l'agente a ottenere prestazioni migliori nella prossima esecuzione.

Governance: poiché l'AI generativa è sottoposta a un maggiore controllo normativo (come nell'EU AI Act) e con l'evoluzione di nuovi framework, gli sviluppatori hanno bisogno di una serie di barriere e policy per limitare il comportamento degli agenti e garantire la conformità.