Affrontare le 9 sfide dell'AI generativa

Le organizzazioni vincenti proporranno soluzioni che forse non saranno le più appariscenti, ma sicuramente le più responsabili e sostenibili.

All'inizio di quest'anno, il Chief Architect di IBM Gabe Goodhart ha dichiarato la mercificazione dei modelli.

"Puoi scegliere il modello più adatto al tuo caso d'uso e iniziare. Il modello in sé non sarà il principale elemento distintivo," ha detto, sottolineando un nuovo focus sull'orchestrazione. Hai a disposizione tutti i modelli di cui hai bisogno, piccoli modelli specializzati e grandi modelli per tutti gli usi, ora come puoi farli funzionare insieme in modo efficiente e intelligente?

Ecco nove delle sfide più critiche dell'AI generativa che le organizzazioni devono affrontare oggi.

L'observability dell'AI consente alle organizzazioni di monitorare il comportamento dei modelli di intelligenza artificiale generativa. Questa non è una pratica semplice, poiché gli output dei modelli di AI generativa sono probabilistici. A differenza della programmazione tradizionale, i modelli linguistici di grandi dimensioni (LLM) che definiscono l'AI generativa non seguono regole prestabilite, ma arrivano alle decisioni attraverso l'esperienza dell'addestramento su enormi quantità di dati e quindi utilizzando tale addestramento per fare previsioni su nuovi dati. La loro intelligenza emerge dall'ottimizzazione, dal rilevamento e dalle distribuzioni di probabilità attraverso le reti neurali.

Tuttavia, gli strumenti di observability possono aiutare a fornire insight su come modelli e agenti arrivino agli output. Le tecniche di observability dell'AI prevedono il monitoraggio dell'uso dei token, i cambiamenti nei modelli di risposta, le variazioni nella qualità dell'output e la generazione di log di interazione che descrivono il processo decisionale degli agenti.

Le tendenze dell'observability includono piattaforme di observability più intelligenti, che la utilizzano come parte integrante di una strategia complessiva di gestione dei costi e l'adozione di standard di observability aperti.

Alcune organizzazioni fanno ancora fatica a passare dai progetti pilota alla produzione su scala e questo può essere particolarmente difficile quando i benefici delle iniziative di implementazione dell'AI sono difficili da quantificare. Su quest'ultimo punto, esistono best practice per valutare la produttività dell'AI generazionale in un'azienda.

Tuttavia, può anche essere utile pensare oltre il ROI. Il CEO di Nvideo Jensen Huang ha avanzato questa argomentazione a gennaio.

“Quando i tuoi figli ti dicono che vogliono provare qualcosa, dovresti dire di sì. A casa non faremmo mai domande sul ritorno dell'investimento".

Questo approccio esplorativo richiederà un forte coinvolgimento degli stakeholder in tutta l'organizzazione, ma potrebbe essere necessario a lungo termine per fornire un valore duraturo all'azienda.

I modelli di grandi dimensioni richiedono costosi cluster GPU e infrastrutture specializzate. Sono affamati di energia, al punto che gli hyperscaler stanno influenzando le politiche energetiche nazionali e la pianificazione a lungo termine. I costi di formazione stanno diminuendo, ma l'inferenza su larga scala rimane costosa.

Le organizzazioni possono contenere i costi utilizzando più modelli per attività diverse. I modelli di frontiera non sono sempre necessari per attività che potrebbero non comportare un ragionamento complesso. Spesso un modello piccolo, di peso aperto, è sufficiente per compiti come la classificazione e l'estrazione di informazioni. Un altro approccio potrebbe consistere nell'usare un RAG invece di ottimizzare un modello, un'operazione relativamente costosa.

I progettisti di sistemi AI possono incoraggiare prompt più brevi, input strutturati, memorizzazione nella cache di query ripetute e chunking più intelligente.

Probabilmente l'approccio più semplice per contenere i costi nelle tecnologie AI è semplicemente scegliere i casi d'uso migliori e più ripetibili per automatizzare i workflow e le attività ad alta frequenza con opportunità di risparmio di tempo, senza tentare di "comprendere tutto in una strategia AI". Le strategie di AI non devono necessariamente aspirare alla "piena automazione, poiché tali sistemi possono essere più costosi e rischiosi delle soluzioni di AI che comportano un human-in- the-loop.

Le prestazioni dell'AI generativa dipendono fortemente da dati strutturati e puliti. La pulizia dei dati elimina incongruenze, duplicati ed errori presenti nella fase di addestramento. Sebbene i modelli possano elaborare dati non strutturati (come testo grezzo e immagini), i dati strutturati sono utili per ridurre al minimo le allucinazioni. Nel complesso, i dati proprietari di alta qualità diventeranno un fattore di differenziazione sempre più importante man mano che i modelli si avvicineranno alla standardizzazione.

La violazione del copyright, la privacy dei dati e altre insidie legate all'approvvigionamento dei dati ne richiedono un approccio ponderato alla qualità, che sarà diverso a seconda dell'organizzazione e del caso d'uso.

La governance dell'AI si riferisce ai processi, agli standard e alle misure di sicurezza che contribuiscono a garantire che i sistemi e gli strumenti di AI siano sicuri ed etici. La governance è pensata per identificare e ridurre potenziali danni, come le distorsioni degli algoritmi e le conseguenze non intenzionali delle decisioni automatizzate. La governance fa parte di un approccio complessivo all'AI responsabile, che incoraggia principi più ampi come la fiducia, l'equità, la robustezza, la trasparenza e la privacy.

A causa della complessità e della frammentazione degli ambienti di dati aziendali, la governance rimane una sfida, ma una sfida fondamentale da superare.

Man mano che le regioni di tutto il mondo sviluppano propri framework per l'AI (come l'EU AI Act), le organizzazioni devono essere consapevoli dell'evoluzione degli obblighi di conformità.

Quando gli output dei modelli linguistici di grandi dimensioni (LLM) sembrano imprecisi o privi di senso, potrebbe trattarsi di un'allucinazione. I modelli più recenti e quelli in grado di recuperare i dati con la retrieval-augmented generation (RAG) sono molto meno inclini alle allucinazioni rispetto ai modelli precedenti, ma il rischio rimane e, dato il modo in cui attualmente funzionano gli algoritmi di machine learning e l'elaborazione del linguaggio naturale (NLP), non c'è motivo di credere che le allucinazioni saranno presto sradicate completamente.

I sistemi generativi prevedono la parola successiva più probabile in base al contesto. Non verificano intrinsecamente i fatti e colmano le lacune con ipotesi plausibili. I modelli non ottimizzano la verità come la conosciamo, ma la plausibilità linguistica. A rendere le cose ancora più complicate, le allucinazioni vengono spesso trasmesse con quella che agli utenti umani sembra una totale fiducia.

Quindi le imprese devono riflettere non solo su come minimizzare le allucinazioni, ma anche esplorare le considerazioni etiche coinvolte nel gestirle quando si verificano, specialmente in un contesto a contatto con il cliente.

L'automazione tradizionale ha sostituito principalmente le attività manuali ripetitive. L'adozione dell'AI generativa può automatizzare il lavoro creativo, con conseguente rimodellamento dei ruoli. I dipendenti dovranno imparare a progettare prompt, supervisionare sistemi generativi, modificare output generati dall'AI e verificare i risultati. Dovranno essere formati per affrontare con successo le sfide etiche poste dall'uso dell'AI generativa.

"Workslop" si riferisce a contenuti di bassa qualità generati dall'AI che possono sembrare raffinati a prima vista, ma privi della sostanza e delle sfumature dell'esperienza umana. Le organizzazioni dovranno riqualificare i dipendenti affinché possano utilizzare al meglio i potenziali benefici dell'AI, comprendendone i limiti, e produrre il miglior lavoro possibile lasciando che l'AI eccella dove è più capace, fornendo al contempo intelligenza umana quando necessario.

Le nuove tecnologie spesso introducono una nuova superficie di attacco, e la gen AI non fa eccezione, soprattutto quando è collegata a strumenti, dati e agenti autonomi. Le minacce includono la prompt injection, che prevede l'utilizzo di input dannosi per far agire i sistemi AI in modi diversi dal comportamento previsto. Questa tecnica può essere usata per ingannare un chatbot facendogli trapelare dati privati sensibili o per fare in modo che un agente elimini qualcosa di importante in un database. La sicurezza dei dati dovrà evolversi per affrontare questa sfida.

Gli agenti AI in particolare rappresentano una grande sfida nella gestione del rischio, poiché gli agenti possono accedere a file, navigare sul web, chiamare API, eseguire codice e controllare software. Si può immaginare come un sistema di agentic AI completamente integrato possa andare storto, soprattutto quando un prompt intelligente e dannoso come "porta a termine il lavoro, qualunque cosa accada" potrebbe essere interpretato da un agente come "sentiti libero di aggirare le misure di sicurezza". Inoltre, un prompt così pericoloso non deve essere intenzionalmente dannoso.

I sistemi di AI sono potenti ma possono essere fragili, e le pratiche di sicurezza dell'AI si stanno evolvendo rapidamente per affrontare questa sfida.

C'è ancora molto margine di miglioramento nello sviluppo dei modelli, ma è inevitabile che i foundation model si stiano standardizzando, e ciò significa che smetteranno di essere un elemento di differenziazione principale. Se praticamente ogni organizzazione ha accesso a modelli simili, allora i chatbot e gli altri strumenti basati su AI iniziano ad assomigliarsi tutti.

Questa tendenza sposterà il valore dal livello del modello verso elementi di differenziazione unici e adattabilità che rappresenteranno la nuova frontiera dell'innovazione. Le organizzazioni in grado di offrire set di dati proprietari più numerosi e di migliore qualità, insieme a integrazioni di workflow più intelligenti, infrastrutture migliori, esperienza del cliente più intuitiva e framework di governance e conformità più solidi, saranno in grado di apportare il maggior valore aggiunto.