Cos'è l'agentic RAG?

La retrieval-augmented generation è un'applicazione di intelligenza artificiale (AI) che collega un modello di AI generativa con una knowledge base esterna. I dati nella knowledge base "aumentano" le query degli utenti inserendo più contesto, affinché l'LLM possa generare risposte più accurate. La RAG consente agli LLM di essere più precisi in contesti specifici di dominio senza alcuna messa a punto. 

Invece di affidarsi esclusivamente ai dati di addestramento, i modelli AI con tecnologia RAG possono accedere ai dati attuali in tempo reale tramite API e altre connessioni alle fonti di dati. Una pipeline RAG standard comprende due modelli di AI: 

• Il componente di recupero delle informazioni, solitamente un modello di embedding abbinato a un database vettoriale contenente i dati da recuperare. 

• Il componente di AI generativa, solitamente un LLM. 

In risposta alle domande degli utenti in linguaggio naturale, il modello di embedding converte la query in un embedding vettoriale, quindi recupera dati simili dalla knowledge base. Il sistema di AI combina i dati recuperati con la query dell'utente per la generazione di risposte sensibili al contesto.

L'Agentic AI è un tipo di AI in grado di determinare ed eseguire una linea d'azione da sola. La maggior parte degli agenti disponibili al momento della pubblicazione sono LLM con funzionalità di chiamata di funzioni, il che significa che possono chiamare strumenti per svolgere attività. In teoria, gli agenti AI sono LLM con tre importanti caratteristiche: 

• Hanno una memoria, sia a breve che a lungo termine, che consente loro di pianificare ed eseguire attività complesse. La memoria consente inoltre agli agenti di fare riferimento alle attività precedenti e di utilizzare tali dati per informare i workflow futuri. I sistemi agentic RAG utilizzano la cache semantica per memorizzare e fare riferimento a serie di query, contesto e risultati precedenti. 

• Sono in grado di eseguire il routing delle query, la pianificazione step-by-step e il processo decisionale. Gli agenti utilizzano le loro funzionalità di memoria per conservare le informazioni e tracciare una linea d'azione adeguata, in risposta a domande e prompt complesse. 

• Possono eseguire chiamate di strumenti attraverso le API. Gli agenti più avanzati possono scegliere quali strumenti utilizzare per il workflow che generano in risposta alle interazioni degli utenti. 

I workflow agentici possono essere costituiti da un agente AI o da sistemi multiagente che riuniscono più agenti. 

L'agentic RAG offre miglioramenti significativi rispetto all'implementazione RAG tradizionale:

• Flessibilità: le applicazioni agentic RAG estraggono dati da più knowledge base esterne e consentono l'uso di strumenti esterni. Le pipeline RAG standard collegano un LLM a un singolo set di dati esterno. Ad esempio, molti sistemi RAG aziendali associano un chatbot a una knowledge base contenente dati proprietari dell'organizzazione.

• Adattabilità: i sistemi RAG tradizionali sono strumenti reattivi per il recupero dei dati che trovano informazioni pertinenti in risposta a domande specifiche. Il sistema RAG non è in grado di adattarsi a contesti mutevoli o di accedere ad altri dati. I risultati ottimali richiedono spesso un prompt engineering approfondito.

  L'agentic RAG è invece una transizione dall'interrogazione statica basata su regole alla risoluzione adattiva e intelligente dei problemi. I sistemi multiagente incentivano più modelli AI a collaborare e a verificare il lavoro degli altri.

• Precisione: i sistemi RAG tradizionali non convalidano né ottimizzano i propri risultati. Le persone devono capire da sole se il sistema funziona a uno standard accettabile. Il sistema stesso non ha modo di sapere se sta trovando i dati giusti o se li sta incorporando con successo per facilitare la generazione con consapevolezza del contesto. Tuttavia, gli agenti AI possono ripetere i processi precedenti per ottimizzare i risultati nel tempo.

• Scalabilità: grazie alle reti di agenti RAG che lavorano insieme, attingendo a più fonti di dati esterne e utilizzando funzionalità di chiamata e pianificazione degli strumenti, l'agentic RAG offre una maggiore scalabilità. Gli sviluppatori possono costruire sistemi RAG flessibili e scalabili, in grado di gestire un'ampia gamma di query degli utenti. 

• Multimodalità: i sistemi agentic RAG traggono beneficio dai recenti progressi negli LLM multimodali, al fine di lavorare con una gamma più ampia di tipi di dati, come immagini e file audio. I modelli multimodali elaborano molteplici tipologie di dati strutturati, semistrutturati e non strutturati. Ad esempio, diversi modelli GPT recenti possono generare contenuti visivi e audio oltre alla generazione di testo standard.

Considera diversi dipendenti che lavorano in un ufficio. Un sistema RAG tradizionale è il dipendente che si distingue quando gli vengono assegnati compiti specifici e gli viene detto come portarli a termine. Non prende l'iniziativa e si sente a disagio quando non segue istruzioni esplicite.

In confronto, un sistema agentic RAG equivale a un team proattivo e creativo. Anche loro sono bravi a seguire le istruzioni, ma amano prendere l'iniziativa e risolvere i problemi da soli. Non hanno paura di trovare da soli soluzioni a compiti complessi che potrebbero bloccare o intimidire i colleghi.

Sebbene l'agentic RAG ottimizzi i risultati con la chiamata di funzione, il ragionamento a più fasi e i sistemi multiagente, non è sempre la scelta migliore. Più agenti al lavoro di traducono in maggiori spese e un sistema agentic RAG prevede solitamente l'acquisto di più token. Mentre l'agentic RAG può accrescere la velocità rispetto alla RAG tradizionale, gli LLM introducono anche la latenza, poiché il modello può impiegare più tempo per generare i suoi output.

Infine, gli agenti non sono sempre affidabili. Potrebbero avere difficoltà e persino non riuscire a completare le attività, a seconda della complessità e degli agenti utilizzati. Gli agenti non sempre collaborano in modo fluido e possono competere per le risorse. Più agenti ci sono in un sistema, più complessa diventa la collaborazione, con una maggiore possibilità di complicazioni. E anche il sistema RAG più affidabile non può eliminare completamente il rischio di allucinazioni.

L'agentic RAG funziona incorporando uno o più tipi di agenti AI nei sistemi RAG. Ad esempio, un sistema di agentic RAG potrebbe utilizzare più agenti di recupero delle informazioni, ciascuno specializzato in un determinato dominio o tipo di origine dati. Un agente interroga i database esterni, mentre un altro analizza le e-mail e i risultati dal web.

I framework di agentic AI, come LangChain e LlamaIndex, e il framework di orchestrazione LangGraph sono disponibili su GitHub. Con loro è possibile sperimentare architetture agentiche per la RAG a costi minimi. Se si utilizzano modelli open source come Granite o Llama-3, i progettisti di sistemi RAG possono anche ridurre le commissioni richieste da fornitori come OpenAI, ottenendo al contempo una maggiore osservabilità.

I sistemi di agentic RAG possono contenere uno o più tipi di agenti AI, come:

• Agenti di routing

• Agenti di pianificazione delle query

• Agenti ReAct

• Agenti di pianificazione ed esecuzione

Gli agenti di routing determinano quali knowledge base e quali strumenti esterni vengono utilizzati per rispondere alla query di un utente. Elaborano i prompt dell'utente e identificano la pipeline RAG più probabile per generare una risposta ottimale. In un sistema RAG a singolo agente, un agente di routing sceglie quale fonte di dati interrogare.

Gli agenti di pianificazione delle query gestiscono le attività della pipeline RAG. Elaborano le query complesse degli utenti per suddividerle in processi step-by-step. Inviano le subquery risultanti agli altri agenti del sistema RAG, quindi combinano le risposte per una risposta complessiva coesa. Il processo di utilizzo di un agente per gestire altri modelli AI è un tipo di orchestrazione AI.

ReAct (reasoning and action) è un framework di agenti che crea sistemi multiagente in grado di creare e quindi agire su soluzioni step-by-step. Possono anche identificare gli strumenti più adatti ad aiutare. In base ai risultati di ogni fase, gli agenti ReAct possono regolare dinamicamente le fasi successive del workflow generato.

I framework di agenti Plan-and-Execute sono una progressione degli agenti ReACT. Possono eseguire workflow multistep senza richiamare l'agente principale, riducendo i costi e aumentando l'efficienza. Poiché l'agente di pianificazione deve ragionare su tutti i passaggi necessari per un'attività, le percentuali di completamento e la qualità tendono a essere più elevati.

Sebbene l'agentic RAG possa adattarsi a qualsiasi applicazione RAG tradizionale, le maggiori esigenze di calcolo la rendono più adeguata nelle situazioni che richiedono l'esecuzione di query su più origini di dati. Le applicazioni di agentic RAG includono:

• Risposte in tempo reale: Le aziende possono implementare chatbot e FAQ basati su RAG per fornire a dipendenti e clienti informazioni aggiornate e accurate.

• Supporto automatizzato: le aziende che desiderano semplificare i servizi di supporto clienti possono utilizzare sistemi RAG automatizzati per gestire le richieste più semplici dei clienti. Il sistema agentico RAG può inoltrare le richieste di supporto più impegnative al personale umano.

• Gestione dei dati: i sistemi RAG facilitano la ricerca di informazioni all'interno di storage dei dati di tipo proprietario. I dipendenti possono ottenere rapidamente i dati di cui necessitano senza doverli cercare nei database da soli.