Exploiter le risque d'inadéquation de la confiance pour l'IA
Descriptif
Les attaquants peuvent lancer des attaques par injection pour contourner la limite de confiance, qui est un point distinct ou une ligne conceptuelle où le niveau de confiance dans un système, une application ou un réseau change. L'exécution en arrière-plan dans des environnements multi-agents augmente le risque de canaux clandestins si la validation des entrées et des sorties est faible.
Pourquoi l'exploitation de l'inadéquation de la confiance est-elle une préoccupation pour les modèles de fondation?
Cela pourrait conduire à des limites de confiance mal adaptées (attendues par rapport à celles réalisées) et pourrait entraîner l'utilisation involontaire d'outils, un pouvoir excessif et une escalade des privilèges.
Sujet parent : Atlas des risques liés à l'IA
Nous fournissons des exemples couverts par la presse afin d'expliquer de nombreux risques liés aux modèles de fondation. Nombre de ces événements couverts par la presse sont encore en cours ou ont été résolus, et le fait de s'y référer peut aider le lecteur à comprendre les risques potentiels et à travailler à leur atténuation. La mise en évidence de ces exemples n'a qu'un but illustratif.