Risque d'attaque des ressources externes des agents d'IA pour l'IA

Robustesse Icône représentant les risques liés à la robustesse.
Robustesse
Risques liés à l'IA agentique
Spécifique à l'IA agentique

Descriptif

Les attaquants créent intentionnellement des vulnérabilités ou exploitent des vulnérabilités existantes dans des ressources externes (outils/bases de données/applications/services/autres agents) sur lesquelles les agents d'intelligence artificielle s'appuient pour exécuter les actions prévues ou atteindre leurs objectifs.

Pourquoi les attaques contre les ressources externes des agents aériens constituent-elles une préoccupation pour les modèles de fondation?

Les ressources externes compromises peuvent avoir une incidence sur les performances de l'agent d'intelligence artificielle de différentes manières, par exemple en manipulant les agents d'intelligence artificielle pour qu'ils poursuivent un objectif différent, en manipulant les agents d'intelligence artificielle pour qu'ils exécutent des actions indésirables, en capturant et en transmettant les interactions entre les agents d'intelligence artificielle à des acteurs malveillants, et en amenant les agents d'intelligence artificielle à partager des informations personnelles ou confidentielles.

Sujet parent : Atlas des risques liés à l'IA

Nous fournissons des exemples couverts par la presse afin d'expliquer de nombreux risques liés aux modèles de fondation. Nombre de ces événements couverts par la presse sont encore en cours ou ont été résolus, et le fait d'y faire référence peut aider le lecteur à comprendre les risques potentiels et à s'efforcer de les atténuer. La mise en évidence de ces exemples n'a qu'un but illustratif.