Proteggere i dati
Durante la fase di raccolta e gestione dei dati, non solo si devono raccogliere quintali e quintali di dati per alimentare un modello AI, ma si deve anche fornire l'accesso a molte persone diverse, tra cui data scientist, ingegneri, sviluppatori e altri. C'è un rischio intrinseco nel centralizzare tutti quei dati in un unico posto e nel concedere l'accesso a vari stakeholder, la maggior parte dei quali non ha esperienza in materia di sicurezza.
Immagina se la proprietà intellettuale (IP) fondamentale per l'azienda fosse esposta a causa di una cattiva gestione dei dati di addestramento, creando potenzialmente una minaccia esistenziale per il business. L'utilizzo di grandi quantità di dati per un modello AI significa che le organizzazioni devono valutare i diversi rischi legati alle informazioni di identificazione personale (PII), ai problemi di privacy e ad altre informazioni sensibili, quindi effettuare i controlli di sicurezza adeguati su tali dati.
Misure di sicurezza e difese contro gli attacchi più probabili
L'obiettivo principale nella fase di raccolta dei dati sono i set di dati sottostanti, mentre l'esfiltrazione dei dati è considerata la tecnica che più probabilmente verrà utilizzata dagli aggressori per mettere le mani su informazioni preziose e monetizzabili. Mentre gli aggressori cercano il percorso di minor resistenza, i set di dati sottostanti sono come una luce lampeggiante che promette un alto rendimento.
Le organizzazioni non devono trascurare l'importanza dei fondamenti di sicurezza, anzi, devono considerarli una priorità. Se applicati correttamente, questi fondamenti possono avere un impatto sostanziale sul livello di sicurezza di un'organizzazione. Ciò significa concentrarsi sulla data discovery e sulla classificazione dei dati, sulla crittografia dei dati inattivi e in transito e sulla gestione principale fornita da piattaforme di sicurezza dei dati come IBM Security Guardium. Ciò implica anche concentrarsi sui fondamenti della gestione delle identità e degli accessi applicati da soluzioni come IBM Security Verify, che aiutano a garantire che nessuna singola entità abbia accesso illimitato al modello AI. Infine, le organizzazioni devono aumentare la consapevolezza dei data scientist e dei ricercatori verso la sicurezza e assicurarsi che i team di sicurezza lavorino a stretto contatto con loro per garantire un'adeguata protezione.
Proteggere il modello
Nell'ambito dello sviluppo di modelli, stai creando applicazioni in un modo nuovo e ciò spesso comporta l'introduzione di nuove vulnerabilità utilizzabili da parte dei criminali informatici come punti d'ingresso nell'ambiente e, a loro volta, nei suoi modelli AI. Considerando che le organizzazioni hanno storicamente difficoltà a gestire un numero crescente di vulnerabilità note riscontrate nei loro ambienti, questo rischio si ripercuoterà anche sull'AI.
Lo sviluppo di applicazioni AI spesso inizia con i team di data science che riutilizzano modelli di machine learning (ML) preaddestrati e open source provenienti da archivi di modelli online, che spesso mancano di controlli di sicurezza completi. Tuttavia, il valore che offrono alle organizzazioni, come la drastica riduzione del tempo e degli sforzi necessari per l'adozione dell'AI generativa, spesso supera tale rischio e alla fine lo trasferisce all'azienda. La generale carenza di sicurezza in relazione ai modelli di ML, unita ai dati sempre più sensibili a cui i modelli di ML sono esposti, significa che gli attacchi rivolti a questi modelli hanno un elevato potenziale di danno.
Misure di sicurezza e difese contro gli attacchi più probabili
Le principali tecniche di attacco durante lo sviluppo dei modelli sono gli attacchi alla supply chain dovuti alla forte dipendenza da modelli di apprendimento automatico (ML) open source preaddestrati, provenienti da archivi di modelli online utilizzati per accelerare i progetti di sviluppo. I criminali informatici hanno lo stesso accesso a questi repository online e possono implementare al loro interno una backdoor o del malware. Una volta caricati nuovamente nel repository, possono diventare un punto d'ingresso per chiunque scarichi il modello infetto. Se questi modelli sono infetti, può essere estremamente difficile rilevarli. Le organizzazioni devono fare molta attenzione a dove consumano i modelli e sull'affidabilità della fonte.
Gli attacchi alle application programming interface (API) sono un'altra preoccupazione. Le organizzazioni senza le risorse o le competenze necessarie per creare i propri modelli linguistici di grandi dimensioni (LLM) si affidano alle API per utilizzare le funzionalità dei modelli preconfezionati e preaddestrati. I criminali informatici riconoscono che questo sarà un importante modello di consumo per gli LLM e cercheranno di colpire le interfacce API per accedere e utilizzare i dati trasportati verso le API.
I criminali informatici possono anche cercare di utilizzare agenti o plug-in LLM con permessi eccessivi per accedere a funzioni aperte o sistemi downstream in grado di eseguire azioni privilegiate nei workflow aziendali. Se un criminale informatico riesce a compromettere i privilegi concessi agli agenti di AI, il danno potrebbe essere distruttivo.
Le organizzazioni dovrebbero focalizzarsi su:
Proteggere l'utilizzo
Durante l'inferenza e l'uso in tempo reale, gli aggressori possono manipolare i prompt per eseguire il jailbreak delle protezioni e indurre i modelli a comportarsi in modo errato generando risposte non consentite a prompt dannosi che includono informazioni distorte, false e dannose. Ciò può causare danni alla reputazione dell'azienda. Gli aggressori potrebbero anche cercare di manipolare il modello e analizzare le coppie di input/output per addestrare un modello surrogato che imiti il comportamento del modello bersaglio, "rubandone" di fatto le capacità e facendo perdere all'impresa il suo vantaggio competitivo.
Misure di sicurezza e difese contro gli attacchi più probabili
In questa fase del processo di AI sono diversi i tipi di attacchi che destano preoccupazione. Innanzitutto le prompt injection, dove i criminali informatici utilizzano prompt dannosi per effettuare il jailbreak dei modelli e ottenere accessi ingiustificati, rubare dati sensibili o introdurre bias negli output. Un'altra preoccupazione riguarda il modello denial-of-service, in cui i criminali informatici sommergono l'LLM con input che degradano la qualità del servizio e comportano costi elevati in termini di risorse. Le organizzazioni dovrebbero anche prepararsi e difendersi dal furto di modelli, dove i criminali informatici creano input per raccogliere gli output del modello al fine di addestrare un modello surrogato che imiti il comportamento del modello target.
Le nostre best practice includono il monitoraggio di input dannosi, come prompt injection e output contenenti dati sensibili o contenuti inappropriati, e l'implementazione di nuove difese in grado di rilevare e rispondere ad attacchi specifici dell'AI, come data poisoning ed evasione ed estrazione dei modelli. Nuove soluzioni specifiche per l'AI sono state lanciate sul mercato con il nome di Machine Learning Detection and Response (MLDR). Gli avvisi generati da queste soluzioni possono essere integrati nelle soluzioni di sicurezza delle operazioni, come IBM Security QRadar, consentendo ai team dei Security Operations Center (SOC) di avviare rapidamente playbook che negano l'accesso, mettono in quarantena o disconnettono i modelli compromessi.
Proteggere l'infrastruttura
Una delle prime linee di difesa è un'infrastruttura sicura. Le organizzazioni dovrebbero utilizzare al meglio l'esperienza esistente per ottimizzare gli standard di sicurezza, privacy e conformità negli ambienti distribuiti che ospitano i sistemi AI. È essenziale rafforzare la sicurezza di rete, il controllo degli accessi, la crittografia dei dati e il rilevamento e la prevenzione delle intrusioni negli ambienti AI. Dovrebbero anche considerare di investire in nuove soluzioni di sicurezza appositamente progettate per proteggere l'AI.
Stabilisci la governance
IBM fornisce sia la sicurezza per l'AI, sia la governance operativa dell'AI. IBM sta guidando il settore nella governance dell'AI per ottenere modelli AI affidabili. Quando le organizzazioni scaricano i processi aziendali operativi sull'AI, devono assicurarsi che il sistema AI non vada alla deriva e che agisca come previsto. Ciò rende i le protezioni dell'operatività un aspetto centrale ai fini di una strategia di AI efficace. Un modello che si allontana operativamente da ciò che è stato progettato per fare può introdurre lo stesso livello di rischio di un avversario che ha compromesso la sua infrastruttura.
