Qu’est-ce qu’un modèle de raisonnement hiérarchique (HRM) ?

Plus précisément, le HRM est une architecture de réseau de neurones distincte, qui applique un algorithme distinct pour générer des sorties et plusieurs algorithmes distincts pour optimiser les paramètres du modèle pendant l’entraînement. Bien qu’ils soient généralement comparés aux LLM en termes de performance sur certains benchmarks historiquement dominés par les LLM de raisonnement, il s’agit là de comparer l’incomparable. Les HRM sont des modèles étroits, spécifiques à une tâche, conçus explicitement pour les problèmes de raisonnement, tandis que les LLM de raisonnement sont des modèles généralistes qui peuvent être appliqués aux problèmes de raisonnement (parmi de nombreuses autres tâches).

Bien qu’ils soient capables de résoudre des problèmes complexes, les HRM ne sont pas capables de dialoguer, de générer du code, de synthétiser ni de réaliser d’autres tâches généralement associées aux modèles d’IA générative. Le HRM doit être entraîné directement sur le type de problème que vous souhaitez qu’il résolve. À l’inverse, les LLM sont généralement pré-entraînés sur une grande quantité et une grande variété de données, puis chargés (par apprentissage few-shot) de résoudre de nouveaux problèmes en inférant les règles.

Au cœur du concept des HRM se trouve une « hiérarchie » de boucles récurrentes qui s’inspirent de la manière dont le cerveau humain traite les informations à différents niveaux et fréquences. Une « boucle interne » se compose d’un module qui effectue rapidement des calculs de bas niveau, et d’un autre module plus lent, dont les calculs de haut niveau guident le module de bas niveau. Une « boucle externe » guide la boucle interne pour répéter ses calculs de manière itérative, afin d’affiner et d’améliorer la sortie du modèle.

Les HRM ont été introduits pour la première fois sous la forme d’un modèle open source décrit dans un article de Guan Wang, et al en juin 2025. Avec une taille de seulement 27 millions de paramètres, le modèle a battu des modèles nettement plus grands comme o3 d’OpenAI, Claude 3.7 Sonnet d’Anthropic et DeepSeek-R1, qui compte 671 milliards de paramètres, sur des benchmarks exigeants tels que ARC-AGI, Sudoku-Extreme et Maze-Hard.

Le modèle étant largement expérimental, l’article aborde tant les contraintes pratiques que les pistes d’amélioration inexplorées. Néanmoins, son succès, compte tenu notamment de l’efficacité extrême des données lors de l’entraînement et de sa taille de milliers de fois inférieure à celle de la plupart des LLM, en fait une approche alternative fascinante pour la mise à l’échelle des systèmes de raisonnement. Les recherches ultérieures, telles que les minuscules modèles récurrents (TRM), ont permis de réaliser de nouvelles avancées en affinant l’approche de base des HRM et en s’inspirant des nouvelles techniques introduites.

Les modèles de raisonnement conventionnels sont des LLM qui ont été affinés grâce à l’apprentissage par renforcement pour produire une chaîne de pensée (CoT) étape par étape avant de fournir une réponse finale à l’utilisateur. Il a été démontré de façon empirique que cette « verbalisation » d’un processus de raisonnement améliorait la précision du modèle en mathématiques, en codage et dans d’autres tâches logiques complexes.

Malgré le succès avéré de cette approche, il a été avancé que les LLM, même les LLM de raisonnement de pointe, ne sont et ne seront pas une voie vers l’intelligence générale artificielle (AGI). Au niveau neurologique, le langage est avant tout un outil de communication, et non de pensée.

D’une manière générale, l’approche des HRM davantage inspirée des neurosciences est plus proche de la façon dont le cerveau humain fonctionne face à des problèmes abstraits. Contrairement aux LLM, les HRM raisonnent en interne sans « verbaliser » ce processus. En termes plus techniques, alors que les modèles de raisonnement classiques raisonnent « à voix haute » dans l’espace token, les HRM raisonnent en interne dans l’espace latent. Les LLM « raisonnent » en affinant itérativement les mots (tokens) qu’ils produisent, tandis qu’un HRM résout les problèmes en affinant itérativement son état caché, c’est-à-dire les calculs intermédiaires internes du modèle, semblables à la pensée, qui sont utilisés pour générer sa sortie finale.

Pensez à un problème complexe que vous avez résolu récemment : vous avez probablement eu un monologue intérieur, sans toutefois verbaliser tout le processus de réflexion dans votre tête (ou à voix haute) avec des phrases claires et complètes. Plus probablement, votre cerveau s’est mis en marche instinctivement et sans mot dire. À partir de ces premières pensées instinctives, un semblant de plan de plus haut niveau a émergé dans votre esprit. Vous avez ensuite mentalement passé en revue les différentes étapes de cette stratégie, en affinant le plan global au fur et à mesure. Finalement, vous êtes parvenu(e) à ce qui vous semblait être une solution satisfaisante.

Alors que le réglage fin des LLM avec des techniques d’apprentissage par renforcement peut apprendre à un modèle à générer des sorties qui imitent le processus de pensée, les HRM empruntent certains principes aux neurosciences des systèmes et visent à reproduire le processus de pensée.

Comme décrit dans l’article sur le modèle de raisonnement hiérarchique, la conception des HRM a été influencée par le concept de pensée « Système 1 » et « Système 2 », des termes métaphoriques inventés par le regretté lauréat du prix Nobel Daniel Kahneman dans son livre Thinking, Fast and Slow pour décrire les différents niveaux auxquels l’esprit humain opère. Le « Système 1 » est rapide, inconscient et intuitif. La pensée « Système 2 » est lente, délibérée et logique. Les HRM mettent donc en œuvre une hiérarchie dans laquelle les calculs d’un système rapide, qui gère les calculs de bas niveau, sont guidés par un système plus lent qui gère la planification de haut niveau.

En termes de principes machine learning, les modèles de raisonnement hiérarchique peuvent être compris comme une forme hautement spécialisée de réseau de neurones récurrents (RNN), avec des modifications qui atténuent les lacunes des RNN standard en pratique. La plus notable de ces lacunes est la convergence prématurée : la tendance des RNN à cesser d’apprendre bien avant d’avoir complètement absorbé tous les schémas et dépendances présents dans les séquences de données d’entraînement.

Lors de l’entraînement du modèle, les RNN ont tendance à converger rapidement vers des poids de modèle qui ne sont pas suffisamment optimisés pour atteindre une performance optimale. Cela est généralement lié à la disparition des gradients : après un trop grand nombre d’étapes de calcul ou une séquence trop longue, la taille des mises à jour des paramètres du modèle calculées pendant la rétropropagation devient si petite qu’elle tend vers zéro. Les poids du modèle atteignent un équilibre local qui reflète les schémas à court terme, ce qui les empêche d’atteindre un équilibre global qui reflète entièrement les schémas des données d’entraînement.

De nombreuses modifications de la structure RNN standard, comme la longue mémoire à court terme (LSTM), ont été proposées pour corriger ce défaut, mais les HRM adoptent une nouvelle approche. Le module de haut niveau, de type « Système 2 », est conçu pour apprendre de chaque fois que le module de bas niveau converge vers un équilibre local. Cette mise à jour du système de haut niveau fournit alors un nouveau contexte dans lequel le système de bas niveau peut opérer, ce qui lui permet de continuer à apprendre jusqu’à ce qu’il converge vers un nouvel équilibre local (à ce moment-là, le système de haut niveau est à nouveau mis à jour).

La sortie de cette « boucle interne » est introduite dans une « boucle externe » qui apprend à s’améliorer de façon itérative à partir de ses sorties précédentes. Au final, cette configuration tire parti de la rapidité et de la simplicité des RNN, tout en permettant un apprentissage plus stable et beaucoup plus « profond » que ce qui serait possible avec un réseau récurrent.

La « boucle interne » de l’architecture du modèle HRM se compose de deux modules récurrents. Les deux modules utilisent un mécanisme d’attention dans une configuration de bloc transformer standard. L’un d’eux, le « module L », est conçu pour gérer rapidement des calculs de bas niveau. L’autre, le « module H », est conçu pour gérer la planification à long terme et le raisonnement de haut niveau.

Le module L fonctionne essentiellement comme un RNN standard, avec sa tendance à se concentrer rapidement sur les schémas à court terme et à cesser de mettre à jour son état caché. Mais alors que la mise à jour de l’état d’un RNN standard au pas de temps t est conditionnée uniquement par son état caché au pas de temps précédent t-1, les mises à jour de l’état caché z_L du module L, et donc les éléments sur lesquels il se concentre, sont également conditionnées par l’état caché actuel du module H, à savoir z_H.

L’état caché du module H change beaucoup plus lentement que celui du module L. La boucle interne fonctionne par cycles de T pas de temps : après que le module L a mis à jour son état caché _zL T fois, le module H utilise l'état final de z_L pour mettre à jour z_H. Au pas de temps T, le module L aura souvent déjà convergé vers un équilibre local et aura cessé de se mettre à jour. Mais comme les mises à jour de z_L sont conditionnées par la valeur actuelle de z_H, chaque mise à jour de z_H établit un nouveau contexte pour le module L. Cela initie une nouvelle « phase de convergence », permettant au module de bas niveau de continuer à apprendre.

En bref, chaque fois que le module L « résout » une tâche à court terme, le module H est mis à jour. Cette mise à jour du module H demande au module L de résoudre une nouvelle tâche à court terme. Le module H s’occupe essentiellement de la planification à long terme, tandis que le module L exécute les petites sous-tâches qu’implique ce plan à long terme. Cette boucle, comprenant T mises à jour du L-module, est effectuée N fois. T et N sont tous deux des hyperparamètres ajustables.

Au total, l’architecture HRM de base qui alimente la boucle interne contient quatre composants à apprendre :

• Un réseau d’entrée qui convertit les tokens (représentant les détails du puzzle que le modèle doit résoudre) en embeddings vectoriels.

• Le module récurrent de bas niveau (module L).

• Le module récurrent de haut niveau (module H), dont l’état caché final après N cycles est transmis au réseau de sortie.

• Un réseau de sortie qui prend la valeur finale de z_H et utilise une fonction softmax pour convertir cet état caché en probabilités qu’il utilise pour prédire les valeurs des tokens de sortie (qui représentent collectivement la solution du puzzle).

Contrairement aux LLM de raisonnement, les HRM ne sont pas des modèles généralistes. Ils doivent être entraînés directement sur la tâche qu’ils doivent résoudre. Si l’article indique que le HRM a obtenu une excellente performance au Sudoku, pour trouver son chemin dans un labyrinthe et sur les puzzles ARC-AGI, les auteurs font en réalité référence à trois HRM distincts. L’un était entraîné au Sudoku, un autre aux labyrinthes, un autre aux puzzles ARC-AGI.

Les LLM de raisonnement sont pré-entraînés par le biais de l’apprentissage auto-supervisé sur d’immenses quantités de points de données non étiquetés. Ils font ensuite l’objet d’un réglage fin supervisé (SFT) pour apprendre les structures de réponse appropriées, d’un réglage des instructions pour apprendre à accomplir les tâches prévu, puis d’un nouveau réglage fin grâce à l’apprentissage par renforcement pour instiller le raisonnement CoT. Au total, cela représente des millions, voire des milliards de points de données et des semaines d’entraînement.

Pour créer des données d’entraînement pour les HRM, les auteurs ont eu recours à l’augmentation des données. À partir de quelques échantillons d’entraînement (comprenant des paires étiquetées de puzzles non résolus et leurs solutions), d’autres exemples sont créés à l’aide de petites transformations (telles que des rotations, des inversions ou des changements de couleur). Chacun des HRM décrits dans l’article a été entraîné sur seulement (environ) 1 000 échantillons d’entraînement créés en appliquant cette augmentation à un petit ensemble d’échantillons initiaux.

Les deux approches présentent des avantages. Les LLM de raisonnement sont capables d’inférer les règles d’un puzzle donné sans instructions explicites, mais ils ont besoin de plusieurs milliers de milliards de tokens de données pour obtenir cette capacité. Les HRM ne peuvent effectuer que la tâche sur laquelle ils ont été entraînés, mais ils peuvent atteindre une performance comparable, voire supérieure, avec beaucoup moins de paramètres et d’échantillons d’entraînement.

Les HRM utilisent une astuce pour simplifier et stabiliser le processus d’optimisation des paramètres du modèle, évitant là encore une faiblesse inhérente aux RNN standard.

Les RNN utilisent une forme de rétropropagation spécifique à la récurrence, appelée rétropropagation dans le temps (BPTT), pour calculer les gradients de cumul de perte à chaque étape. Comme un RNN standard augmente le nombre de pas de temps, la BPTT se heurte inévitablement au problème de disparition des gradients.

Pour éviter cela et réduire considérablement les besoins en mémoire, les HRM simplifient leur objectif d’optimisation. Au lieu de calculer les gradients à chaque pas de temps, les HRM effectuent la BPTT uniquement sur l’état final du module L et sur l’état final du module H. Cela repose sur une hypothèse simple : si vous savez comment la sortie finale doit changer et optimiser les pondérations du modèle pour passer aux états finaux des modules L et H en conséquence, le reste se fera tout seul.

Comme d’autres aspects du HRM, cela s’inspire à la fois des neurosciences et de l’expérience anecdotique. Imaginez une personne (ou un modèle) qui essaie d’apprendre le jeu d’équilibre des blocs Jenga. Il n’est pas nécessaire d’apprendre à optimiser chaque comportement d’un bloc pour chaque tour. En supposant que les blocs soient configurés d’une certaine manière (l’entrée) et que le tour que vous avez joué entraîne l’effondrement de tout (la perte de votre sortie), améliorer votre technique nécessite une bonne maîtrise de deux choses :

1. Quelle pièce aurais-je dû déplacer ? Cela correspond à l’état final optimal du module de haut niveau.
2. Comment aurais-je dû manipuler cette pièce pour qu'elle puisse être retirée en toute sécurité ? Cela correspond à l’état final du module de bas niveau.

Les auteurs de l’article ont constaté que cette approximation en une étape de la BPTT fonctionne suffisamment bien pour qu’une optimisation basée uniquement sur ces deux considérations soit suffisante pour établir une dynamique d’apprentissage stable et solide.

Le HRM utilise également une boucle externe, qui lui permet d’affiner de manière itérative ses sorties finales dans un processus que les auteurs de l’article sur les HRM appellent une « supervision approfondie ». Les recherches ultérieures indiquent que la boucle externe, plus que la boucle interne, est en fin de compte la composante la plus importante des HRM.

Dans l'apprentissage supervisé standard pour le réseau de neurones, le modèle entraîné reçoit une entrée et effectue un seul passage avant de générer une sortie. Une fonction de perte mesure l’erreur de cette sortie. Ensuite, la rétropropagation est utilisée pour calculer les gradients de perte, c’est-à-dire la mesure dans laquelle modifier l’une des variables du réseau de neurones augmenterait ou diminuerait la perte globale. Enfin, un algorithme de descente de gradient utilise ces informations pour mettre à jour les paramètres du modèle. Ce processus itératif recommence jusqu’à ce que la perte soit ramenée à un seuil acceptable.

La supervision approfondie ne relance pas l’ensemble du processus après que le modèle a généré cette sortie initiale par un seul passage en avant. Il s’agit plutôt de plusieurs passages vers l’avant, appelés « segments . Après chaque segment m, la perte est calculée et les paramètres du modèle sont optimisés en conséquence, et les états cachés finaux du module H(z_H) et du module L(z_L) sont ensuite réinjectés dans le modèle comme point de départ pour le prochain passage en avant. Cela permet au modèle d’affiner ses sorties de manière itérative, en utilisant ce qu’il a « appris » lors des mises à jour des paramètres du modèle à partir du segment précédent.

Ce processus est répété pour M segments, les points de départ de la boucle interne pour chaque segment suivant m+1 étant  $z_H{}^{mNT}$  et  $z_L{}^{mNT}$ : en d’autres termes, l’état final caché du module H et du module L après N boucles internes de T pas de temps pendant le segment m précédent m.          

Pour maintenir l’efficacité du modèle, les créateurs du HRM ont ajouté un mécanisme de temps de calcul adaptatif pour aider le modèle à apprendre quand une sortie donnée est suffisamment bonne (ou, inversement, s’il doit commencer une nouvelle boucle de raffinement). Pour ce faire, le modèle intègre l’apprentissage Q, un type courant d’algorithme d’apprentissage par renforcement. 

Après chaque segment, l’état final du module de haut niveau, _zH, est transmis non seulement au réseau de sortie, mais aussi à un autre module appelé « Q-head », dont les pondérations peuvent être apprises. Après avoir multiplié _zH par les pondérations de Q-head, il utilise une fonction sigmoïde, qui réduit toute entrée à une valeur comprise entre 0 et 1, qui produit une valeur pour halt et une valeur pour continue. Si la valeur halt est plus élevée, le modèle génère une sortie finale. Si la valeur continue est plus élevée, le modèle commence un autre segment.

La fonction de perte globale pour le processus de supervision profonde après chaque segment combine donc deux termes :

• Une partie reflète la perte liée à la tâche même : dans quelle mesure la sortie du modèle était-elle exacte ?

• L’autre reflète la perte liée à la tête Q : si le modèle prédit une valeur plus élevée pour « arrêter » que pour « continuer », a-t-il pris la bonne décision ?

Au fil du temps, le modèle apprend à consacrer plus de calcul, c’est-à-dire à effectuer plus de boucles de raffinement, aux problèmes plus difficiles et à consacrer moins de calcul aux problèmes simples. Il convient de noter qu’une idée similaire, bien que mise en œuvre différemment, a été explorée assez tôt dans l’histoire des transformers.

ARC Prize, l’organisation à but non lucratif qui administre le benchmark ARC-AGI, a réalisé une analyse externe des HRM pour constater que « la boucle externe d’affinage est un moteur essentiel à la performance des HRM. »

• Lors de l’inférence, l’ajout d’une seule boucle d’affinement a presque doublé la précision du HRM (de 18,6 % à 35,5 %). D’autres gains de performance, bien qu’avec des rendements nettement décroissants, ont été obtenus pour 8 boucles (38,1 %) et 16 boucles (39,0 %). Même pour un modèle transformer standard sans boucle interne (mais avec une architecture, une taille de modèle et un pipeline d’entraînement identiques à ceux des HRM), l’ajout de boucles de raffinement externes a entraîné une hausse de performance similaire.

• La boucle externe est également essentielle à l’entraînement. Même en maintenant le nombre de boucles d’affinement au coût d’inférence, l’ajout d’une seule boucle d’affinement lors de l’entraînement a permis d’augmenter la précision du modèle de 19 % (sans affinement) à 32 % (avec 1 affinement). En fait, d’autres expériences ont montré que l’augmentation des boucles d’affinement pendant l’entraînement avait un impact nettement plus important que l’augmentation des boucles d’affinement pendant l’inférence. Sans boucles d’affinement lors de l’entraînement ou de l’inférence, le modèle a obtenu un score de 18,6 %. Sans aucune boucle d’affinement pendant l’inférence et 16 boucles d’affinement pendant l’entraînement, le modèle a obtenu un score de 34,9 %.

Inversement, il a été démontré que la boucle interne fournit un exemple relativement faible par rapport à un modèle de taille identique qui remplace le module H et le module L par les blocs d’attention d’un modèle transformer standard. On ne sait pas si ces résultats sont spécifiques aux tâches du benchmark ARC-AGI, ou s’ils concernent toutes les tâches de raisonnement qu’un HRM peut gérer.

Bien que les modèles de raisonnement hiérarchique introduisent des innovations significatives dans les architectures de réseaux de neurones et les techniques d’entraînement qui ont déjà commencé à influencer la recherche en apprentissage profond, l’utilité pratique des MRH reste aujourd’hui incertaine.

Par rapport aux LLM de raisonnement massifs, les MRH sont nettement plus petits, moins coûteux à former et à gérer, et peuvent être entraînés sur une quantité très accessible d’échantillons d’entraînement. Cela va à l’encontre de l’idée selon laquelle les performances de pointe ne peuvent être obtenues que grâce à des modèles massifs et à des jeux de données d’entraînement hors de portée de la plupart des chercheurs et des entreprises.

Mais la fonctionnalité des modèles de raisonnement classiques réside dans leur capacité de généralisation remarquable : ils sont capables d’effectuer des tâches de raisonnement hautement spécialisées pour comprendre et exécuter un large éventail de tâches et d’instructions en langage naturel. Les capacités extrêmement limitées des MRH rendent leur intégration beaucoup plus difficile dans des workflows de grande envergure. 

Les MRH ne peuvent résoudre que des énigmes très spécifiques rencontrées pendant l’entraînement. Même si un format de puzzle différent utilise des règles et une logique très similaires à celles qu’il a connues, si bien qu’un humain doué pour un type de puzzle serait évidemment doué pour un autre, un MRH ne pourrait pas le gérer. Les améliorations apportées au pipeline d’entraînement qui permettent de mieux tirer parti de l’apprentissage par transfert entre tâches augmenteraient considérablement le caractère pratique des MRH.

Bien que les SMRH démontrent une capacité à raisonner à travers les problèmes pour affiner leurs sorties, l’absence d’un « processus de pensée » traçable réduit considérablement leur interprétabilité. Cela dit, il convient de noter que l’interprétabilité est généralement un problème dans tous les systèmes d’IA formés par apprentissage profond. De même, la recherche démontre que les traces de raisonnement qu’un LLM fournit à un utilisateur ne sont pas toujours fidèles au véritable « processus de pensée ».