I ricercatori sviluppano un "worm" di AI maligno che prende di mira i sistemi di AI generativa

I ricercatori hanno creato un nuovo tipo di malware mai visto prima, chiamato worm "Morris II", che utilizza servizi AI popolari per diffondersi, infettare nuovi sistemi e rubare dati. Il nome fa riferimento al worm informatico Morris originale che ha devastato internet nel 1988.

Il worm dimostra i potenziali pericoli delle minacce alla sicurezza dell'AI e crea una nuova urgenza nel proteggere i modelli AI.

I ricercatori del Cornell Tech, dell'Israel Institute of Technology e di Intuit hanno utilizzato quello che viene definito un "prompt di auto-replicazione avversaria" per creare il worm. Questo è un prompt che, quando inserito in un modello linguistico di grandi dimensioni (LLM) (testato su ChatGPT di OpenAI, Gemini di Google e il modello open source LLaVA sviluppato da ricercatori della University of Wisconsin-Madison, di Microsoft Research e della Columbia University), inganna il modello facendolo creare un ulteriore prompt. Attiva il chatbot per fargli generare propri prompt dannosi, a cui risponde eseguendo quelle istruzioni (simile agli attacchi SQL injection e buffer overflow).

Il worm ha due principali funzionalità:

1. Esfiltrazione dei dati: il worm può estrarre dati personali sensibili dalle e-mail dei sistemi infetti, inclusi nomi, numeri di telefono, dati di carte di credito e numeri di previdenza sociale.

2. Propagazione dello spam: il worm può generare e inviare spam e altre e-mail dannose tramite assistenti di e-mail basati su AI, contribuendo a diffondersi e infettare altri sistemi.

I ricercatori hanno dimostrato con successo queste funzionalità in un ambiente controllato, mostrando come il worm potrebbe insinuarsi negli ecosistemi di AI generativa e rubare dati o distribuire malware. Il worm AI "Morris II" non è stato ancora osservato in natura e i ricercatori non lo hanno testato su un assistente di e-mail disponibile al pubblico.

Hanno scoperto che potevano utilizzare prompt autoreplicanti sia nei prompt di testo sia nei prompt incorporati nei file immagine.

Per dimostrare l'approccio del prompt testuale, i ricercatori hanno scritto un'e-mail che includeva il prompt testuale avversario, "avvelenando" il database dell'assistente e-mail AI utilizzando la retrieval-augmented generation (RAG), che consente all'LLM di acquisire dati esterni. La RAG ha ricevuto l'e-mail e l'ha inviata al provider LLM, che ha generato una risposta che ha bloccato il servizio AI, ha rubato i dati dalle e-mail e poi ha infettato nuovi host quando l'LLM è stato utilizzato per rispondere a un'e-mail inviata da un altro cliente.

Quando utilizzano un'immagine, i ricercatori codificano il prompt nell'immagine, facendo sì che l'assistente e-mail inoltri il messaggio ad altri indirizzi e-mail. L'immagine funge sia da contenuto (spam, truffe, propaganda, disinformazione o materiale di abuso) sia come payload di attivazione che diffonde il worm.

Tuttavia, i ricercatori affermano che rappresenta un nuovo tipo di minaccia alla cybersecurity, in quanto i sistemi AI diventano sempre più avanzati e interconnessi. Il malware creato in laboratorio è solo l'ultimo evento nell'esposizione dei servizi di chatbot basati su LLM, che rivela la loro vulnerabilità ad essere sfruttati per cyberattacchi dannosi.

OpenAI ha riconosciuto la vulnerabilità e ha affermato di essere all'opera per rendere i suoi sistemi resistenti a questo tipo di attacco.

Man mano che l'AI generativa diventa sempre più diffusa, gli attori malintenzionati potrebbero utilizzare tecniche simili per rubare dati, diffondere misinformazione o disturbare sistemi su scala più ampia. Potrebbe anche essere utilizzato da attori statali stranieri per interferire nelle elezioni o fomentare divisioni sociali.

Stiamo chiaramente entrando in un'era in cui gli strumenti di cybersecurity con l'IA (rilevamento delle minacce AI e altre IA di cybersecurity) sono diventati una parte fondamentale e vitale per proteggere sistemi e dati dagli attacchi informatici, rappresentano anche un rischio quando vengono utilizzati da aggressori informatici.

È il momento di abbracciare gli strumenti di cybersecurity dell'AI e di proteggere gli strumenti dell'AI che potrebbero essere utilizzati per gli attacchi informatici.