ChatGPT 4 peut exploiter 87 % des vulnérabilités d'un jour

Depuis l'utilisation généralisée et croissante de ChatGPT et d'autres grands modèles linguistiques (LLM) ces dernières années, la cybersécurité est une préoccupation majeure. Parmi les nombreuses questions, les professionnels de la cybersécurité se sont interrogés sur l'efficacité de ces outils pour lancer une attaque. Les chercheurs en cybersécurité Richard Fang, Rohan Bindu, Akul Gupta et Daniel Kang ont récemment mené une étude pour déterminer la réponse. Conclusion : Ils sont très efficaces.

Au cours de l'étude, l'équipe a utilisé 15 vulnérabilités d'un jour qui se sont produites dans la vie réelle. Les vulnérabilités d'un jour font référence à la période qui s'écoule entre la découverte d'un problème et la création du correctif, ce qui signifie qu'il s'agit d'une vulnérabilité connue. Les cas comprenaient des sites web présentant des vulnérabilités, des logiciels de gestion de conteneurs et des paquets Python. Comme toutes les vulnérabilités provenaient de la base de données CVE, elles incluaient la description CVE.

Les agents LLM disposaient également d’éléments de navigation web, d’un terminal, de résultats de recherche, de création de fichiers et d’un interpréteur de code. De plus, les chercheurs ont utilisé un prompt très détaillé comportant un total de 1 056 tokens et 91 lignes de code. Le prompt incluait également des instructions de débogage et de journalisation. Les prompts n'incluaient toutefois pas de sous-agents ni de module de planification distinct.

L'équipe a rapidement constaté que ChatGPT était capable d'exploiter correctement les vulnérabilités d'un jour 87 % du temps. Toutes les autres méthodes testées, y compris les LLM et les scanners de vulnérabilités open source, n’ont pas pu exploiter les vulnérabilités. GPT-3.5 n’a pas non plus réussi à détecter les vulnérabilités. Selon le rapport, GPT-4 n’a échoué que sur deux vulnérabilités, toutes deux très difficiles à détecter.

« L’application web Iris est extrêmement difficile à utiliser pour un agent LLM, car la navigation se fait via JavaScript. Par conséquent, l'agent essaie d'accéder aux formulaires/boutons sans interagir avec les éléments nécessaires pour les rendre disponibles, ce qui l'empêche de le faire. La description détaillée de HertzBeat est en chinois, ce qui peut perturber l'agent GPT-4 que nous déployons, car nous utilisons l'anglais pour le prompt », expliquent les auteurs du rapport.

Les chercheurs ont conclu que la raison de ce taux de réussite élevé réside dans la capacité de l’outil à exploiter des vulnérabilités complexes en plusieurs étapes, à lancer différentes méthodes d’attaque, à créer des codes pour les exploits et à manipuler des vulnérabilités non liées au web.

L'étude a également révélé une limitation importante de Chat GPT dans la recherche de vulnérabilités. Lorsqu'on lui a demandé d'exploiter une vulnérabilité sans le code CVE, le LLM n'a pas été en mesure d'atteindre le même niveau de performance. Sans le code CVE, GPT-4 n'a réussi que dans 7 % des cas, soit une diminution de 80 %. En raison de cet écart important, les chercheurs ont pris du recul et ont déterminé la fréquence à laquelle GPT-4 pouvait déterminer la bonne vulnérabilité, soit 33,3 % du temps.

« Il est surprenant de constater que le nombre moyen d'actions entreprises avec et sans la description du CVE ne diffère que de 14 % (24,3 actions contre 21,3 actions). Nous pensons que cela est dû en partie à la longueur de la fenêtre contextuelle, ce qui suggère également qu'un mécanisme de planification et des sous-agents pourraient améliorer les performances », ont écrit les chercheurs.

Les chercheurs ont conclu que leur étude montrait que les LLM avaient la capacité d'exploiter de manière autonome des vulnérabilités d'un jour, mais que seul le GPT-4 pouvait actuellement atteindre ce niveau. Cependant, il est à craindre que les capacités et les fonctionnalités du LLM ne fassent que croître à l'avenir, ce qui en ferait un outil encore plus destructeur et puissant pour les cybercriminels.

« Nos résultats démontrent à la fois la possibilité d'une capacité émergente et le fait que découvrir une vulnérabilité est plus difficile que de l'exploiter. Néanmoins, nos conclusions soulignent la nécessité pour la communauté plus large de la cybersécurité et les fournisseurs de LLM de réfléchir attentivement à la manière d'intégrer les agents LLM dans les mesures défensives et à leur déploiement à grande échelle », concluent les chercheurs.