Cosa sono le allucinazioni dell'AI?

In genere, se un utente richiede uno strumento di AI generativa, desidera un output che risponda in modo appropriato al prompt (cioè una risposta corretta a una domanda). Tuttavia, a volte gli algoritmi di AI producono output che non si basano su dati di addestramento, vengono decodificati in modo errato dal trasformatore o non seguono alcuno schema identificabile. In altre parole, “allucinano” la risposta.

Il termine può sembrare paradossale, dato che le allucinazioni sono tipicamente associate al cervello umano o animale, non alle macchine. Ma da un punto di vista metaforico, l'allucinazione descrive accuratamente questi risultati, specialmente nel caso del riconoscimento di immagini e schemi (in cui gli output possono avere un aspetto davvero surreale).

Le allucinazioni dell'AI sono simili al fenomeno che si verifica quando gli esseri umani vedono figure nelle nuvole o volti sulla luna. Nel caso dell'AI, queste interpretazioni errate si verificano a causa di vari fattori, tra cui l'overfitting, la distorsione/imprecisione dei dati di addestramento e l'elevata complessità del modello.

Prevenire i problemi con le tecnologie generative open source può rivelarsi una sfida. Alcuni esempi notevoli di allucinazione dell'AI includono:

• Il chatbot Bard di Google afferma erroneamente che il James Webb Space Telescope aveva acquisito le prime immagini al mondo di un pianeta al di fuori del nostro sistema solare.¹
   

• L'AI della chat di Microsoft, Sydney, ammette di essersi innamorata degli utenti e di aver spiato i dipendenti di Bing.²
  

• Meta ha ritirato la demo del modello LLM di Galactica nel 2022, dopo che aveva fornito agli utenti informazioni imprecise, in alcuni casi basate su pregiudizi.³ 

Sebbene molti di questi problemi siano stati affrontati e risolti, è facile capire come, anche nelle migliori circostanze, l'uso di strumenti di AI possa avere conseguenze impreviste e indesiderate.

Le allucinazioni dell'AI possono avere conseguenze significative per le applicazioni del mondo reale. Ad esempio, un modello AI per il settore sanitario potrebbe individuare erroneamente una lesione cutanea benigna come maligna, portando a interventi medici non necessari. I problemi di allucinazione dell'AI possono anche contribuire alla diffusione della disinformazione. Se, ad esempio, i bot di notizie con problemi di allucinazione rispondono a domande su un'emergenza in corso con informazioni non verificate, possono diffondere rapidamente falsità che ostacolano gli sforzi di gestione della crisi. Una fonte significativa di allucinazioni negli algoritmi di machine learning è la distorsione degli input. Se un modello AI viene addestrato su un set di dati composto da dati distorti o non rappresentativi, può avere allucinazioni o caratteristiche che riflettono questi pregiudizi.

I modelli AI possono anche essere vulnerabili ad attacchi avversari, in cui soggetti malintenzionati manipolano l'output del modello modificando leggermente i dati in ingresso. Nelle attività di riconoscimento delle immagini, ad esempio, un attacco avversario potrebbe comportare l'aggiunta di una piccola quantità di rumore appositamente creato a un'immagine, causando una classificazione errata da parte dell'AI. Questo può diventare un problema di sicurezza significativo, soprattutto in aree sensibili come la cybersecurity e le tecnologie dei veicoli autonomi. I ricercatori di AI sviluppano costantemente guardrail per proteggere gli strumenti di AI dagli attacchi avversari. Tecniche come l'addestramento avversario, in cui il modello viene addestrato su una combinazione di esempi normali e avversari, stanno rafforzando la sicurezza. Ma nel frattempo, la vigilanza nelle fasi di addestramento e di verifica dei fatti è fondamentale.

Il modo migliore per mitigare l'impatto delle allucinazioni basate su AI è fermarle prima che si verifichino. Ecco alcune misure che puoi adottare per mantenere il funzionamento ottimale dei tuoi modelli AI:

I modelli di AI generativa si basano sui dati di input per completare le attività, quindi la qualità e la pertinenza dei set di dati di addestramento determineranno il comportamento del modello e la qualità dei suoi output. Per evitare le allucinazioni, assicurati che i modelli AI siano addestrati su dati diversi, equilibrati e ben strutturati. Questo aiuterà il suo modello a ridurre al minimo la distorsione dell'output, a comprenderne meglio le attività e a produrre risultati più efficaci.

Spiegare come utilizzerai il modello AI, così come eventuali limitazioni all'uso del modello, aiuterà a ridurre le allucinazioni. Il tuo team o la tua organizzazione dovrebbero stabilire le responsabilità e i limiti del sistema di AI scelto; questo aiuterà il sistema a completare le attività in modo più efficace e a ridurre al minimo i risultati irrilevanti e "allucinanti".

I modelli di dati forniscono ai team un formato predefinito, aumentando la probabilità che un modello AI generi risultati in linea con le linee guida prescritte. Affidarsi a modelli di dati garantisce la coerenza dell'output e riduce la probabilità che il modello produca risultati errati.

I modelli AI spesso hanno allucinazioni perché mancano di vincoli che limitano i possibili risultati. Per prevenire questo problema e migliorare la coerenza e l'accuratezza complessive dei risultati, definisca i limiti per i modelli AI utilizzando strumenti di filtro e/o soglie probabilistiche chiare.

Testare rigorosamente il modello AI prima dell'uso è fondamentale per prevenire le allucinazioni, così come valutare il modello su base continuativa. Questi processi migliorano le prestazioni complessive del sistema e consentono agli utenti di regolare e/o riqualificare il modello man mano che i dati invecchiano e si evolvono.

Assicurarsi che ci sia un essere umano a convalidare e rivedere i risultati dell'AI è una misura di protezione finale per prevenire le allucinazioni. Il coinvolgimento della supervisione umana garantisce che, in caso di allucinazioni dell'AI, un essere umano sarà disponibile per filtrarla e correggerla. Un revisore umano può anche offrire competenze in materia che migliorano la sua capacità di valutare i contenuti dell'AI per verificarne l'accuratezza e la pertinenza con l'attività.

Sebbene l'allucinazione dell'AI sia certamente un risultato indesiderato nella maggior parte dei casi, presenta anche una serie di casi d'uso interessanti che possono aiutare le organizzazioni a sfruttare il suo potenziale creativo in modi positivi. Ecco alcuni esempi: