Quando si tratta di intelligenza artificiale avanzata come l'agentic AI, quanta autonomia è troppa autonomia? Per rispondere a questa domanda, pensiamo alla "teoria delle graffette". Il famoso esperimento teorico del filosofo Nick Bostrom, è basato sul concetto ancora ipotetico di super intelligenza AI, o ASI, un sistema AI con una portata intellettuale che supera quella dell'intelligenza umana. Bolstrom considera cosa potrebbe accadere se un sistema di questo tipo desse priorità alla produzione di graffette rispetto a qualsiasi altro obiettivo.
Nello scenario proposto, il sistema alla fine dedica tutte le risorse del nostro pianeta alla produzione di graffette, un risultato immorale quando la vita dipende da qualcosa di più di una semplice quantità infinita di minuscole forniture per ufficio in metallo. Tornando alla nostra domanda originale, possiamo ovviamente concludere che, in questo caso ipotetico, il sistema AI in questione aveva troppa autonomia.
La buona notizia è che l'attuale agentic AI non è uguale all'ASI, quindi la distopia delle graffette, basata sull'etica catastroficamente imperfetta delle macchine rimane improbabile. "Siamo più vicini, ma siamo ancora molo lontani", afferma Varshney.
Altri rischi derivanti dall'automazione dell'AI, tuttavia, sono più imminenti. Le possibilità vanno dall'invio di e-mail inopportune da parte di agenti artificiali, all'arresto e all'avvio di macchine in modi che gli utenti non avevano previsto, afferma Varshney. Le preoccupazioni sul comportamento autonomo dell'AI sono così gravi che, in un rapporto dell'aprile 2024 sulle linee guida per la sicurezza dell'AI, il Dipartimento della Sicurezza Interna degli Stati Uniti (DHS) ha incluso la voce "autonomia" nell'elenco di rischi per i sistemi infrastrutturali critici, come comunicazioni, servizi finanziari e assistenza sanitaria.2