Risque de surcharge contextuelle pour l'IA

Robustesse Icône représentant les risques liés à la robustesse.
Robustesse : attaques rapides
Risques d'inférence
Spécifique à l'IA générative

Descriptif

La surcharge de l'invite avec un nombre excessif de jetons, par exemple avec de nombreux exemples, peut prédisposer les modèles à un état vulnérable.

Pourquoi l'attaque par surcharge de contexte est-elle un problème pour les modèles de fondation?

Les attaques par surcharge de contexte peuvent être utilisées pour modifier le comportement du modèle et profiter à l'attaquant. Le contenu qu'il génère peut causer des préjudices à l'utilisateur ou à d'autres personnes.

Sujet parent : Atlas des risques liés à l'IA

Nous fournissons des exemples couverts par la presse afin d'expliquer de nombreux risques liés aux modèles de fondation. Nombre de ces événements couverts par la presse sont encore en cours ou ont été résolus, et le fait d'y faire référence peut aider le lecteur à comprendre les risques potentiels et à s'efforcer de les atténuer. La mise en évidence de ces exemples n'a qu'un but illustratif.