Cosa sono i sistemi AI composti?

Sebbene si presti molta attenzione ai modelli linguistici di grandi dimensioni (LLM), questi modelli di machine learning (ML) di massa presentano dei limiti. Sono costosi da gestire e sviluppare e sono lenti. Mancano di competenze specifiche del dominio e non sono sempre abili nella gestione di attività complesse che comportano molti passaggi tra i sistemi.

A causa di questi vincoli, i ricercatori hanno scoperto che l'integrazione dei modelli monolitici con altri modelli e strumenti, ciascuno di essi ottimizzato per un ruolo specifico, può consentire un approccio più efficace.

Un post sul blog del Berkeley Artificial Intelligence Research (BAIR) Lab del 2024 ha fornito una prima visione chiarificatrice dei sistemi di AI composti. Il post suggeriva che sarebbe stato possibile ottenere risultati migliori creando sistemi di AI composti e che il futuro dell'AI avrebbe visto le organizzazioni combinare LLM, sistemi di recupero, agenti AI e strumenti esterni, ciascuno ottimizzato per compiti specifici.

Ci sono numerosi benefici nell'orchestrazione di più modelli individuali e componenti che interagiscono.

Efficienza

Dividendo le attività tra modelli specializzati, i sistemi composti riducono il carico cognitivo sui singoli componenti dell'AI. Ad esempio, un modello potrebbe concentrarsi sull'analisi dei dati strutturati, mentre un altro interpreta i dati non strutturati come immagini o testo. Questa divisione del lavoro porta a prestazioni migliorate e a una maggiore precisione rispetto ai sistemi a modello singolo.

Gli LLM sono rimarchevoli e lo sono ancora di più quando vengono dotati di maggiori risorse computazionali, sebbene presentino limiti di prestazioni e rendimenti decrescenti a causa delle leggi sulla scalabilità. A volte, piuttosto che fornire più potenza di elaborazione a un LLM, potrebbe essere preferibile delegare determinate attività a un altro modello, agente o strumento che non richieda così tante risorse.

Velocità

Combinare più modelli per eseguire un'attività a volte può essere più veloce che addestrare un singolo LLM a farlo. Inoltre, i sistemi composti possono elaborare simultaneamente diversi tipi di dati, consentendo di prendere decisioni in tempo reale. Ciò è critico nelle applicazioni di AI come il rilevamento delle frodi, dove sono essenziali risposte rapide, o nelle applicazioni edge, dove la latenza deve essere ridotta al minimo.

Versatilità

I sistemi composti sono altamente versatili e applicabili in diversi casi d'uso. Questa versatilità rende i sistemi di AI composti la scelta preferita per le aziende che desiderano ottimizzare le operazioni in più domini.

Le organizzazioni possono trarre beneficio da sistemi che utilizzano una combinazione di componenti, soluzioni open source e moduli su misura. Ogni componente può essere aggiornato o sostituito indipendentemente via via che la tecnologia si evolve, senza revisionare l'intero sistema. Distribuendo le attività su vari modelli, i sistemi composti traggono beneficio dall'adattabilità e dalla resilienza ai guasti dei singoli componenti.

I metodi composti, tra cui la retrieval-augmented generation (RAG), estendono le funzionalità degli LLM consentendo loro di accedere a fonti di dati al di fuori dei set di dati di addestramento iniziali. La combinazione di modelli diversi consente agli sviluppatori di ottimizzare in base a obiettivi specifici, come la velocità o la competenza di dominio.

Controllo

Gli LLM possono essere ingombranti, inclini ad allucinazioni e prendere decisioni che non sono sempre facilmente spiegabili. Una soluzione di AI composta può aiutare a controllare gli input e a filtrare gli output, dando vita a un comportamento più controllato che promuove la fiducia.

I sistemi AI composti sono già utilizzati in casi d'uso reali, come: 

Chatbot

Alcune versioni di chatbot, tra cui ChatGPT di OpenAI e Copilot di Microsoft, sono basate su architetture composte. ChatGPT, ad esempio, estende la propria utility attraverso numerosi strumenti e API per attività specifiche.

Riunisce un LLM, il generatore di immagini DALL-E e un plug-in per l'interpretazione di codice. Utilizza la RAG per accedere dinamicamente a fonti di dati e knowledge base esterne. Vengono utilizzati modelli AI separati per rilevare e filtrare contenuti dannosi o inopportuni prima di fornire una risposta.

Auto senza conducente

Sebbene questa tecnologia non sia ancora così diffusa, i sistemi di veicoli autonomi utilizzano modelli di computer vision per rilevare e riconoscere gli oggetti nell'ambiente circostante l'auto. Gli algoritmi di fusione dei dati dei sensori combinano i dati provenienti da telecamere, LiDAR, radar e sensori a ultrasuoni per creare una mappa 3D completa dell'ambiente, migliorando la conoscenza dell'ambiente circostante.

I modelli di apprendimento per rinforzo gestiscono il processo decisionale, come determinare quando cambiare corsia, regolare la velocità o fermarsi al semaforo, in base alle condizioni in tempo reale.

Inoltre, l'elaborazione del linguaggio naturale (PNL) consente al veicolo di interpretare e rispondere ai comandi vocali dei passeggeri. Questi componenti lavorano senza soluzione di continuità per elaborare grandi quantità di dati, prendere decisioni rapide e intelligenti e fornire un'esperienza intuitiva.

Assistenza clienti

Un sistema AI composto di supporto clienti combina diverse tecnologie di AI per fornire un servizio efficiente, personalizzato e reattivo. I modelli di NLP, ad esempio, analizzano le richieste dei clienti per estrarre gli intenti e i dettagli chiave, consentendo al sistema di comprendere il problema con precisione.

Una volta identificato l'intento, un chatbot con tecnologia di AI generativa (gen AI) coinvolge il cliente in una conversazione, offrendo assistenza immediata o chiarendo dettagli aggiuntivi. Allo stesso tempo, un sistema di raccomandazioni suggerisce soluzioni pertinenti, come passaggi per la risoluzione dei problemi, articoli FAQ o consigli sui prodotti su misura per le esigenze del cliente.

Per migliorare l'esperienza, un modello di analisi del sentiment valuta il tono e lo stato emotivo del cliente, dando la priorità per l'intervento da parte di un umano ai casi urgenti o non risolti. Questa combinazione di componenti genera un supporto clienti rapido, intelligente ed empatico, riducendo i tempi di risoluzione e mantenendo elevato il livello di soddisfazione del cliente.

Gestione della supply chain

Un sistema AI composto nella supply chain utilizza più componenti di AI per ottimizzare la logistica, la gestione dell'inventario e l'efficienza complessiva. I modelli di analytics predittiva, ad esempio, prevedono la domanda analizzando i dati storici di vendita, le tendenze stagionali e le variabili di mercato, consentendo una pianificazione precisa dell'inventario.

I sistemi di computer vision monitorano le operazioni di magazzino, identificando in tempo reale inefficienze o errori, come articoli fuori posto o merci danneggiate. Allo stesso tempo, gli algoritmi di ottimizzazione dei percorsi determinano i percorsi di consegna più efficienti, considerando fattori come il traffico, le condizioni meteorologiche e i consumi di carburante.

Inoltre, l'NLP consente la gestione automatizzata delle comunicazioni con fornitori e clienti, come l'elaborazione degli ordini di acquisto o la risposta alle richieste. Integrando questi componenti, il sistema migliora la reattività della supply chain, riduce gli sprechi e aiuta a garantire consegne puntuali, il tutto adattandosi dinamicamente ai cambiamenti della domanda e alle condizioni esterne.

La progettazione di sistemi AI composti prevede l'integrazione di più modelli AI e componenti in framework coesi in grado di gestire attività complesse. Questi framework forniscono l'infrastruttura per combinare diversi modelli AI e aiutano a garantire una comunicazione fluida tra essi.

In un sistema AI composto, una logica di controllo programmata potrebbe richiamare un modello o un LLM potrebbe essere "responsabile", a seconda degli obiettivi del sistema.

Entrambi gli approcci presentano vantaggi distinti, mentre i vari modi in cui i modelli e gli altri componenti possono lavorare insieme all'interno di un sistema AI sono illimitati, quindi i progettisti devono pensare in modo critico al loro approccio ed essere disposti a sperimentare varie architetture e combinazioni di componenti.

Le pratiche MLOPs (Machine Learning Operations) diventano più complesse con i workflow composti. Ad esempio, è difficile applicare metriche coerenti su diversi tipi di strumenti e modelli. I ricercatori del BAIR affermano che, con il passaggio a sistemi composti, si apre una nuova fase nello sviluppo dell'AI. Questo cambiamento aiuta ad affrontare le sfide legate al monitoraggio, al debugging e ad altre difficoltà operative che sorgono in questi sistemi integrati.