À quel point l’intelligence artificielle est-elle intelligente ? L’IA réussit les jeux mais échoue la vérification de la réalité de base

Les grands modèles de langage peuvent exceller à donner des indications sur les rues de New York, mais de nouvelles recherches révèlent qu'ils le font sans vraiment comprendre comment la ville s'articule. Les modèles tombent en panne de manière spectaculaire lorsqu’ils sont confrontés à des détours simples, révélant que leur expertise présumée n’est qu’une correspondance sophistiquée des motifs.

Les résultats répondent à une question centrale en matière d’intelligence artificielle : si les systèmes d’IA développent de véritables « modèles du monde », c’est-à-dire une compréhension cohérente de la façon dont les choses fonctionnent et se rapportent les unes aux autres, ou s’ils sont simplement capables d’imiter un comportement correct sans véritable compréhension. 

« Ce que nous constatons dans nos travaux, c’est que les modèles génératifs peuvent produire des résultats impressionnants sans récupérer le modèle du monde sous-jacent », explique Ashesh Rambachan, professeur adjoint d’économie au MIT et l’un des auteurs de l’article. « Lorsque nous voyons ces résultats impressionnants, nous pensons tout naturellement que ces modèles génératifs apprennent une vérité sous-jacente sur le monde. Après tout, il m’est difficile d’imaginer une personne qui puisse naviguer d’un point A à un point B à New York sans croître. cette personne comprend la carte de New York. »

Le défi fondamental révélé dans l’article par Brent Smolinksi, vice-président et associé principal d’IBM, responsable mondial de la stratégie technologique, données et IA, est qu’un grand modèle de langage « ne peut pas faire de raisonnement déductif. Il n'est pas conçu pour cela. Il est conçu pour reconnaître des modèles et réagir à ces modèles. »

L’équipe de Rambachan a développé deux nouvelles méthodes pour mesurer la capacité des modèles d’IA à comprendre leur environnement : la distinction de séquence et la compression de séquence. Elle a testé ces indicateurs à l'aide d'automates finis déterministes (DFA) dans deux scénarios : en naviguant dans New York et en jouant à Othello.

Ce qu'elle a découvert a été surprenant. Les modèles qui ont appris à partir de mouvements aléatoires ont développé une meilleure compréhension que ceux formés à partir de la jouabilité stratégique. La raison ? L'entraînement aléatoire exposait les modèles à bien plus de situations et de transitions possibles, leur offrant une image plus complète de leur environnement que les modèles ne voyant que des déplacements stratégiques et « optimaux ».

Lorsque les chercheurs ont testé ces systèmes d'IA, ils ont découvert un écart inquiétant entre la performance et la compréhension. Les systèmes semblaient impressionnants en surface – ils pouvaient générer des déplacements et des directions valides avec une grande précision. Mais sous cette façade, presque tous les modèles ont échoué aux tests de base de la modélisation du monde.

Les tests de navigation de la ville de New York en sont un exemple éloquent. Les modèles de navigation se sont effondrés lorsque les chercheurs ont apporté de simples modifications à la carte de la ville en ajoutant des détours. Cela a révélé que les modèles ne comprenaient pas du tout la géographie de la ville ou les principes de routage : ils ne faisaient que formuler des suggestions superficiellement correctes, sans véritable compréhension.

Ceci souligne une faiblesse cruciale des systèmes d’IA actuels : ils peuvent être très efficaces pour faire des prédictions tout en ayant besoin d’une compréhension plus authentique de ce avec quoi ils travaillent. Selon M. Smolinski, les grands modèles de langage peuvent sembler intelligents, mais ils sont tout simplement très efficaces dans la correspondance de schémas et non dans le raisonnement réel (déductive). Selon lui, lorsque ces systèmes d'IA semblent résoudre des problèmes logiques, ils ne font que reconnaître des schémas qu'ils ont déjà rencontrés, sans réfléchir étape par étape. 

Smolinksi soutient que la distinction clé est que nous avons besoin de différents types de techniques d’IA travaillant ensemble — par exemple, il peut y en avoir une pour reconnaître des motifs, une autre pour représenter la connaissance, et une troisième pour le raisonnement logique afin de résoudre un problème.

La constatation que les systèmes d’IA les plus sophistiqués d’aujourd’hui peuvent réussir leurs tests sans véritable compréhension va au cœur d’un débat féroce qui fait rage dans la Silicon Valley, à savoir si l’intelligence artificielle générale est sur le point d’atteindre ou encore essentiellement hors de portée.

La ethnie à l'intelligence artificielle générale (AGI) est devenue l'un des débats les plus controversés du monde de la technologie, mettant en lumière le fossé grandissant entre les optimistes et les sceptiques. Dans les salles de conseil des entreprises et les laboratoires de recherche de la Silicon Valley, les conversations portent de plus en plus non seulement sur la question de savoir si, mais aussi quand, les machines égaleront les capacités cognitives humaines.

Le calendrier de développement de l'AGI a divisé la communauté de l'IA en deux camps distincts. D'un côté, il y a les techno-optimistes, qui considèrent l'AGI comme une avancée imminente qui pourrait remodeler la civilisation de notre vivant. De l'autre, les pragmatiques, qui préviennent qu'il faudra encore des décennies avant que les machines ne Think vraiment comme des humains.

Ce désaccord fondamental sur les échéances de l'AGI n'est pas uniquement universitaire : il conditionne les priorités de recherche, les décisions d'investissement et les discussions politiques sur la sécurité et la réglementation de l'IA. Alors que des milliards de dollars sont investis dans la recherche et le développement de l'AGI, les enjeux de ce débat ne cessent de croître.

Bien que des leaders technologiques de premier plan comme Sam Altman d’OpenAI aient suggéré l’intelligence artificielle générale – des systèmes d’IA qui peuvent égaler ou dépasser les capacités cognitives humaines dans pratiquement toutes les tâches – pourraient arriver dans les années, M. Smolinski d’IBM est plus sceptique. Il affirme que les systèmes d'IA actuels, en particulier les grands modèles de langage, sont fondamentalement limités à l'appariement de modèles plutôt qu'au raisonnement proprement dit.

Plutôt que d’être à la limite d’une intelligence semblable à celle de l’humain, Smolinski suggère que « nous ne sommes peut-être même pas dans le bon code postal » en ce qui concerne l’architecture nécessaire à une véritable AGI. Comme il le dit directement : « Je distinguerais une IA qui aide à résoudre des problèmes spécifiques de l’IA générale... Je pense qu'un système qui fonctionne comme un humain, qui a le même type de processus de pensée qu'un humain, ou qui résout des problèmes... nous en sommes encore loin. Nous pourrions ne jamais y parvenir. »

M. Smolinski divise les capacités de l'IA en catégories claires, chacune ayant des objectifs différents. D'une part, vous disposez de grands modèles de langage modernes de type IA, excellents en matière de reconnaissance des formes, notamment pour déceler les similitudes et les tendances dans les données. À l'inverse, vous avez des systèmes traditionnels basés sur des règles qui peuvent suivre des étapes logiques. Le véritable défi, explique-t-il, n'est pas d'améliorer l'un ou l'autre type de produit, mais de trouver comment les combiner efficacement.

M. Smolinski suggère que l'IA neuro-symbolique pourrait être une voie à suivre. Cette branche de l'IA tente de combiner les neural networks avec le raisonnement symbolique, mais son potentiel ultime reste à voir. Ces systèmes hybrides peuvent apprendre à partir de données brutes et appliquer des règles logiques. Cette double nature aide les machines à relever des défis complexes, qu'il s'agisse d'analyser le langage naturel ou de résoudre des problèmes dans des environnements dynamiques tout en fournissant des explications plus claires sur leurs décisions.

« Je pense que c'est la solution la plus prometteuse en termes de véritable intelligence », a-t-il déclaré.