Open source, rischi aperti: i crescenti pericoli dell'AI generativa non regolamentata

Mentre i modelli di AI generativa tradizionali dispongono di barriere di sicurezza incorporate, le alternative open source non possiedono tali restrizioni. Ecco cosa significa tutto questo per il crimine informatico.

Non c'è dubbio che l'open source sia il futuro del software. Secondo lo State of Open Source Report 2024, oltre due terzi delle aziende hanno aumentato l'uso di software open source nell'ultimo anno.

L'AI generativa non fa eccezione. Il numero di sviluppatori che contribuiscono a progetti open source su GitHub e altre piattaforme è in forte aumento. Le organizzazioni stanno investendo miliardi nell'AI generativa in una vasta gamma di casi d'uso, dai customer service chatbot alla generazione di codice. Molte stanno sviluppando modelli AI proprietari partendo da zero oppure basandosi su progetti open source.

Tuttavia, le aziende legittime non sono le uniche a investire nell'AI generativa. Si tratta anche di una vera miniera d'oro per i criminali informatici, dagli stati canaglia decisi a diffondere misinformazione tra i loro rivali ai criminali informatici che sviluppano codice dannoso o truffe di phishing mirate.

Per ora, uno dei pochi fattori che frenano i criminali informatici sono le barriere che gli sviluppatori hanno introdotto per proteggere i loro modelli AI dall'uso improprio. ChatGPT non genererà consapevolmente un'e-mail di phishing e Midjourney non creerà immagini offensive. Tuttavia, questi modelli appartengono a ecosistemi completamente chiusi, i cui sviluppatori hanno il potere di decidere per cosa possano o non possano essere utilizzati.

Ci sono voluti solo due mesi dal suo rilascio pubblico perché ChatGPT raggiungesse 100 milioni di utenti. Da allora, migliaia di utenti hanno provato a violarne le barriere e a eseguirne il jailbreak per fare ciò che volevano, con vari gradi di successo.

L'inarrestabile ascesa dei modelli open source renderà comunque obsolete queste barriere. Sebbene le prestazioni siano state tipicamente inferiori a quelle dei modelli closed source, non c'è dubbio che i modelli open source miglioreranno. Il motivo è semplice: gli sviluppatori possono usare qualsiasi dato vogliano per addestrarli. La buona notizia è che questo può promuovere la trasparenza e la concorrenza, supportando la democratizzazione dell'AI, invece di lasciarla esclusivamente nelle mani delle grandi aziende e degli enti normativi.

Tuttavia, senza protezioni, l'AI generativa rappresenta la prossima frontiera del crimine informatico. Le AI pericolose, come FraudGPT e WormGPT, sono ampiamente disponibili sui mercati del dark web. Entrambe si basano sul modello linguistico di grandi dimensioni (LLM)open source GPT-J, sviluppato da EleutherAI nel 2021.

I malintenzionati utilizzano anche sintetizzatori di immagini open source come Stable Diffusion per creare modelli specializzati in grado di generare contenuti offensivi. I contenuti video generati dall'AI sono dietro l'angolo. Le sue funzionalità sono attualmente limitate solo dalla disponibilità di modelli open source ad alte prestazioni e dalla notevole potenza di calcolo necessaria per eseguirli.

La tentazione di liquidare questi problemi come minacce esterne che qualsiasi team sufficientemente formato dovrebbe essere adeguatamente attrezzato per gestire è forte, ma via via che sempre più organizzazioni investono nella costruzione di modelli proprietari di AI generativa, rischiano anche di espandere le loro superfici di attacco interne.

Una delle maggiori fonti di pericolo nello sviluppo dei modelli è proprio il processo di addestramento. Ad esempio, se ci sono dati riservati, protetti da copyright o errati nel set di dati di addestramento, potrebbero riemergere in seguito in risposta a un prompt. Ciò potrebbe essere dovuto a una svista da parte del team di sviluppo o a un attacco deliberato di avvelenamento dei dati da parte di un criminale informatico.

Gli attacchi di prompt injection sono un'altra fonte di rischio, poiché cercano di ingannare il modello oppure di colpirlo tramite jailbreak per generare contenuti che violano i termini di utilizzo del fornitore. Questo è un rischio che riguarda ogni modello di AI generativa, tuttavia i rischi sono probabilmente maggiori negli ambienti open source privi di sufficiente supervisione. Una volta che gli strumenti di AI diventano open source, le organizzazioni da cui provengono perdono il controllo sullo sviluppo e sull'uso della tecnologia.

Il modo più semplice per comprendere le minacce poste dall'AI non regolamentata è chiedere a quelle closed source di comportarsi male. Nella maggior parte dei casi, si rifiuteranno di collaborare, ma come hanno dimostrato numerosi casi, in genere tutto ciò che basta per sono alcune sollecitazioni creative e una serie di tentativi. Queste restrizioni non sono presenti nei sistemi AI open source sviluppati da organizzazioni come Stability AI, EleutherAI o Hugging Face, oppure in un sistema proprietario che stai costruendo internamente.

In definitiva, la minaccia dei modelli AI open source risiede proprio nel fatto che sono facilmente soggetti a un uso improprio. Sebbene promuovere la democratizzazione nello sviluppo dei modelli sia di per sé un obiettivo nobile, la minaccia continuerà a evolversi e crescere e le aziende non possono dare per scontato che gli enti normativi riescano a tenere il passo. Ecco perché l'AI stessa è diventata anche uno strumento fondamentale nell'arsenale dei professionisti della cybersecurity. Per capire il perché, leggi la nostra guida sulla cybersecurity dell'AI.