¿Qué es un modelo de razonamiento jerárquico (HRM)?

Más concretamente, los HRM son una arquitectura de redes neuronales distinta que aplica un algoritmo específico para generar salidas y múltiples algoritmos distintos para optimizar los parámetros del modelo durante el entrenamiento. Aunque normalmente se comparan con los LLM por su rendimiento en ciertos puntos de referencia que históricamente han estado dominados por los LLM de razonamiento, es como si se comparasen manzanas con naranjas. Los HRM son modelos estrechos y específicos de tareas diseñados explícitamente para problemas de razonamiento, mientras que los LLM de razonamiento son modelos generalistas que se pueden aplicar a problemas de razonamiento (entre muchas otras tareas).

Aunque son capaces de resolver problemas complejos, los HRM no son capaces de conversar, generar código, resumir u otras tareas generalmente asociadas con los modelos de IA generativa. Un HRM debe estar entrenado directamente en el tipo de problema que desea que resuelva. Los LLM, por el contrario, suelen entrenarse previamente con una enorme cantidad y variedad de datos, y luego se les da instrucciones (con few-shot prompting) para resolver problemas novedosos deduciendo las reglas.

En el centro del concepto de HRM se encuentra una “jerarquía” de bucles recurrentes que se inspiran en cómo el cerebro humano procesa la información en diferentes niveles y frecuencias. Un “bucle interno” consta de un módulo que realiza rápidamente cálculos de bajo nivel y otro módulo más lento cuyos cálculos de alto nivel guían al módulo de bajo nivel. Un “bucle externo” guía al bucle interno para que repita iterativamente sus cálculos con el fin de refinar y mejorar la salida del modelo.

Los HRM se introdujeron por primera vez como un modelo de código abierto descrito en un artículo de Guan Wang et al en junio de 2025. Con solo 27 millones de parámetros, el modelo superó a modelos considerablemente más grandes, como el o3 de OpenAI, el Claude 3.7 Sonnet de Anthropic y el DeepSeek-R1, que cuenta con 671 000 millones de parámetros, en pruebas de referencia exigentes, entre las que se incluyen ARC-AGI, Sudoku-Extreme y Maze-Hard.

El modelo en sí es en gran medida experimental, y el artículo señala tanto las limitaciones prácticas como las vías inexploradas para futuras mejoras. Sin embargo, su éxito, especialmente dada su extrema eficiencia de datos en el entrenamiento y un tamaño de modelo literalmente miles de veces más pequeño que la mayoría de los LLM, lo convierten en un enfoque alternativo fascinante para escalar los sistemas de razonamiento. Las exploraciones de investigación posteriores, como los modelos recurrentes diminutos (TRM), han logrado nuevos avances al refinar el enfoque básico de HRM e inspirarse en las técnicas novedosas que introdujo.

Los modelos de razonamiento convencionales son LLM que se han afinado mediante el aprendizaje por refuerzo para generar una cadena de pensamiento (CoT) paso a paso antes de proporcionar una respuesta final al usuario. Se ha demostrado empíricamente que este proceso de “verbalizar” un proceso de razonamiento mejora la precisión del modelo en matemáticas, codificación y otras tareas lógicas complejas.

A pesar del éxito probado de este enfoque, se ha argumentado que los LLM, incluso los LLM de razonamiento de frontera, no son ni serán una vía hacia la inteligencia artificial general (AGI). A nivel neurológico, el lenguaje es ante todo una herramienta de comunicación, no de pensamiento.

En términos generales, el enfoque de un HRM más inspirado en la neurociencia se acerca más a la forma en la que el cerebro humano trabaja a través de problemas abstractos. A diferencia de los LLM, los HRM razonan internamente sin “verbalizar” este proceso. En términos más técnicos, mientras que los modelos de razonamiento convencionales razonan “en voz alta” en el espacio token, los HRM razonan internamente en el espacio latente. Los LLM “razonan” refinando iterativamente las palabras reales (tokens) que emiten, pero un HRM resuelve los problemas refinando iterativamente su estado oculto: los cálculos intermedios internos del modelo, similares al pensamiento, que se utilizan para (eventualmente) generar su salida final.

Recuerde una ocasión reciente en la que resolvió un problema complejo: es posible que mantuviera un diálogo interno, pero probablemente no verbalizó literalmente todo su proceso de pensamiento en su cabeza (o en voz alta) en frases claras y completas. Lo más probable es que su cerebro actuó instintivamente y sin palabras. De esos pensamientos iniciales e instintivos, surgió en su mente una especie de plan de nivel superior. A continuación, trabajó mentalmente en los pasos individuales que implicaba la estrategia, refinando el plan general a medida que avanzaba. Finalmente, llegó a lo que le pareció una solución satisfactoria.

Mientras que afinar los LLM con técnicas de aprendizaje por refuerzo puede enseñar a un modelo a generar salidas que imiten un proceso de pensamiento, los HRM, que toman prestados algunos principios de la neurociencia de sistemas, tienen como objetivo replicar un proceso de pensamiento.

Como se describe en el artículo “Hierarchical Reasoning Model”, el diseño de los HRM estuvo influenciado por el concepto de pensamiento “Sistema 1” y “Sistema 2”, términos metafóricos acuñados por el difunto premio Nobel Daniel Kahneman en su libro Thinking, Fast and Slow para describir los diferentes niveles en los que opera la mente humana. El “Sistema 1” es rápido, inconsciente e intuitivo. El pensamiento del “Sistema 2” es lento, deliberado y lógico. Por lo tanto, los HRM implementan una jerarquía en la que los cálculos de un sistema rápido que gestiona los cálculos de bajo nivel se guían por un sistema más lento que gestiona la planificación de alto nivel.

En términos de principios de machine learning, los modelos de razonamiento jerárquico pueden entenderse como una forma altamente especializada de redes neuronales recurrentes (RNN), con modificaciones que mitigan las deficiencias prácticas de las redes neuronales recurrentes estándar. La más notable de esas deficiencias es la convergencia prematura: la tendencia de las RNN a dejar de aprender mucho antes de haber absorbido por completo todos los patrones y dependencias dentro de las secuencias de datos de entrenamiento.

Durante el entrenamiento del modelo, las RNN tienden a converger rápidamente en ponderaciones del modelo que no están suficientemente optimizados para lograr un rendimiento preciso. Esto se debe generalmente a la desaparición de los gradientes: después de demasiados pasos computacionales o de una secuencia demasiado larga, el tamaño de las actualizaciones de los parámetros del modelo calculadas durante la retropropagación se vuelve tan pequeño que se reduce a cero. Las ponderaciones del modelo alcanzan un equilibrio local que refleja los patrones a corto plazo, lo que les impide alcanzar un equilibrio global que refleje de forma completa y exhaustiva los patrones de los datos de entrenamiento.

Se han propuesto muchas modificaciones de la estructura RNN estándar, como la memoria a corto plazo (LSTM), para rectificar este defecto, pero los HRM adoptan un enfoque novedoso. El módulo de alto nivel, similar al “Sistema 2”, está diseñado para aprender cada vez que el módulo de bajo nivel converge hacia un equilibrio local. Esta actualización del sistema de alto nivel proporciona un nuevo contexto para que el sistema de bajo nivel opere, permitiéndole continuar aprendiendo hasta que converge hacia un nuevo equilibrio local (momento en el que el sistema de alto nivel se actualiza de nuevo).

La salida de este “bucle interno” se introduce en un “bucle externo” que aprende a mejorar iterativamente sus salidas anteriores. En conjunto, esta configuración se beneficia de la velocidad y simplicidad de las RNN, permitiendo un aprendizaje mucho más estable y de deep learning de lo que sería posible con una red recurrente.

El “bucle interno” de la arquitectura del modelo HRM comprende dos módulos recurrentes. Ambos módulos utilizan un mecanismo de atención en una configuración estándar de bloque transformador. Uno, el “módulo L”, está diseñado para gestionar rápidamente cálculos de bajo nivel. El otro, el “módulo H”, está diseñado para gestionar la planificación a largo plazo y el razonamiento de nivel superior.

El módulo L funciona esencialmente como una RNN estándar, con su tendencia a centrarse rápidamente en patrones a corto plazo y dejar de actualizar su estado oculto. Sin embargo, mientras que la actualización del estado de una RNN estándar en el paso temporal t solo depende de su estado oculto en el paso temporal anterior t-1, las actualizaciones del estado oculto del módulo L z_L, y, por lo tanto, los elementos en los que se centra, también dependen del estado oculto actual del módulo H z_H.

El estado oculto del módulo H cambia mucho más lentamente que el del módulo L. El bucle interno funciona en ciclos de T pasos temporales: una vez que el módulo L ha actualizado su estado oculto z_L T veces, el módulo H utiliza el estado final de z_L para actualizar z_H. En el paso temporal T, el módulo L ya habrá convergido en un equilibrio local y habrá dejado de actualizarse. Pero como las actualizaciones de z_L están condicionadas al valor actual de z_H, cada actualización de z_H establece un contexto fresco para el módulo L. Esto da inicio a una nueva “fase de convergencia”, lo que permite que el módulo de bajo nivel siga aprendiendo.

En resumen, cada vez que el módulo L “resuelve” alguna tarea a corto plazo, el módulo H se actualiza. Esa actualización del módulo H indica al módulo L que resuelva una nueva tarea a corto plazo. El módulo H se encarga, básicamente, de la planificación a largo plazo, y el módulo L lleva a cabo las subtareas más pequeñas que conlleva ese plan a largo plazo. Este bucle, que comprende T actualizaciones del módulo L, se realiza N veces. Tanto T como N son hiperparámetros ajustables.

En total, la arquitectura central de HRM que impulsa el bucle interno contiene cuatro componentes que se pueden aprender:

• Una red de entrada que convierte tokens (que representan los detalles del rompecabezas que el modelo debe resolver) en embeddings vectoriales.

• El módulo recurrente de bajo nivel (módulo L).

• El módulo recurrente de alto nivel (módulo H), cuyo estado oculto final después de N ciclos se pasa a la red de salida.

• Una red de salida que toma el valor final de z_H y utiliza una función softmax para convertir ese estado oculto en probabilidades que utiliza para predecir los valores de los tokens de salida (que colectivamente representan la solución del rompecabezas).

A diferencia de los LLM de razonamiento, los HRM no son modelos generalistas. Deben estar entrenados directamente en la limitada tarea que tienen que resolver. Aunque el artículo indica que “HRM” logró un rendimiento excelente en Sudoku, búsqueda de caminos en laberintos y rompecabezas ARC-AGI, los autores en realidad se refieren a tres HRM diferentes. Uno se entrenaba con Sudoku, otro en laberintos, otro en rompecabezas ARC-AGI.

Los LLM de razonamiento se someten a su preentrenamiento inicial a través del aprendizaje autosupervisado sobre cantidades masivas de puntos de datos sin etiquetar. Luego se someten a un fine-tuning supervisado (SFT) para aprender a utilizar las estructuras de respuesta adecuadas, al ajuste de las instrucciones para aprender a completar las tareas según lo desee y, a continuación, a un mayor ajuste mediante el aprendizaje por refuerzo para inculcar el razonamiento del CoT. En total, esto implica millones o miles de millones de puntos de datos y semanas de entrenamiento.

Para crear datos de entrenamiento para los HRM, los autores utilizaron el aumento de datos. A partir de un conjunto inicial de apenas un puñado de ejemplos de entrenamiento (que consisten en pares etiquetados de acertijos sin resolver y sus soluciones), se crean ejemplos adicionales mediante pequeñas transformaciones (como rotaciones, volteos o cambios de color). Cada uno de los HRM descritos en el documento se entrenó con solo (aproximadamente) 1000 ejemplos de entrenamiento creados mediante la aplicación de dicho aumento de datos a un pequeño conjunto de muestras originales.

Ambos enfoques tienen sus beneficios. Los LLM de razonamiento son capaces de inferir las reglas de un rompecabezas determinado sin instrucciones explícitas, pero requieren billones de tokens de datos para obtener esa capacidad. Los HRM solo pueden realizar la tarea específica en la que fueron entrenados, pero pueden lograr un rendimiento comparable o incluso superior con muchos menos parámetros y ejemplos de entrenamiento.

Los HRM utilizan un truco de optimización inteligente para simplificar y estabilizar el proceso de optimización de los parámetros del modelo, evitando una vez más una deficiencia inherente de las RNN estándar.

Las RNN utilizan una forma de retropropagación específica de la recurrencia, llamada retropropagación a través del tiempo (BPTT), para calcular los gradientes de cómo se acumula la pérdida en cada paso de tiempo. A medida que una RNN estándar aumenta la cantidad de pasos temporales, la BPTT se topa inevitablemente con el problema de los gradientes evanescentes.

Para evitar esto, además de reducir en gran medida los requisitos de memoria, los HRM simplifican su objetivo de optimización. En lugar de calcular los gradientes en cada paso de tiempo, los HRM realizan BPTT solo en el estado final del módulo L y en el estado final del módulo H. Esto se basa en una suposición sencilla: si sabe cómo debe cambiar la salida y optimiza las ponderaciones del modelo para cambiar a los estados finales de los módulos L y H en consecuencia, todo lo demás se solucionará solo.

Al igual que con otros elementos de la gestión de recursos humanos, esto se inspira tanto en la neurociencia como en la experiencia anecdótica. Imagine a una persona (o modelo) intentando aprender el juego de equilibrio de bloques Jenga. No es necesario aprender a optimizar cada golpe y empujón individual de un bloque para cada movimiento. Suponiendo que los bloques estén colocados de una determinada manera (la entrada) y que el movimiento que ha realizado haya provocado que todo se derrumbe (la pérdida de su salida), para mejorar su técnica es necesario comprender bien solo dos cosas:

1. ¿Qué pieza debería haber movido en su lugar? Esto es una analogía del estado final óptimo del módulo de alto nivel.
2. ¿Cómo debería haber manipulado esa pieza para poder quitarla con seguridad? Esto es una analogía del estado final del módulo de bajo nivel.

Los autores del artículo descubrieron que esta aproximación de un solo paso del BPTT funciona lo suficientemente bien como para que optimizar solo esas dos consideraciones sea suficiente para establecer una dinámica de aprendizaje sólida y estable.

El HRM también emplea un bucle externo que permite al modelo refinar iterativamente sus salidas en un proceso que los autores del artículo de HRM denominan “supervisión profunda”. Investigaciones posteriores han sugerido que el bucle externo, más que el interno, es, en última instancia, el componente más importante de HRM.

En el aprendizaje supervisado estándar para redes neuronales, el modelo que se está entrenando recibe una entrada y realiza un único paso hacia adelante para generar una salida. Una función de pérdida mide el error de esa salida. Luego, la retropropagación se utiliza para calcular los gradientes de pérdida: cómo cualquier cambio en cualquier variable de la red neuronal aumentaría o disminuiría la pérdida general. Por último, algún algoritmo de descenso de gradiente utiliza esa información para actualizar los parámetros del modelo. Este proceso iterativo se reinicia y se repite hasta que la pérdida se haya minimizado hasta alcanzar un umbral aceptable.

La supervisión profunda no reinicia todo el proceso después de que el modelo genere la salida inicial mediante una sola pasada. En cambio, implica múltiples transmisiones hacia adelante, cada una de las cuales se denomina “segmento”. Después de cada segmento m, se calcula la pérdida y los parámetros del modelo se optimizan en consecuencia, y los estados ocultos finales del módulo H (z_H) y el módulo L (z_L) se retroalimentan al modelo como punto de partida para el siguiente pase hacia adelante. Esto permite al modelo refinar iterativamente sus salidas, utilizando lo que ha “aprendido” de las actualizaciones de parámetros del modelo del segmento anterior.

Este proceso se repite para M segmentos, en los que los puntos de inicio del bucle interno para cada segmento subsiguiente m+1 son  $z_H{}^{mNT}$  y  $z_L{}^{mNT}$ , es decir, el estado oculto final del módulo H y del módulo L después de N bucles internos de T pasos de tiempo durante el segmento m anterior.          

Para mantener la eficiencia del modelo, los creadores de HRM agregaron un mecanismo de tiempo de cálculo adaptativo para ayudar al modelo a aprender cuándo una salida determinada es lo suficientemente buena (o, por el contrario, si debe comenzar otro ciclo de refinamiento). Para que esto sea posible, el modelo incorpora Q-learning, un tipo común de algoritmo de aprendizaje por refuerzo. 

Tras cada segmento, el estado final del módulo de alto nivel, z_H, se transmite no solo a la red de salida, sino también a otro módulo denominado “Q-head”, que cuenta con sus propias ponderaciones que se pueden aprender. Una vez que z_H se multiplica por las ponderaciones del Q-head, este utiliza una función sigmoide, que comprime cualquier entrada a un valor comprendido entre 0 y 1, que genera un valor para  halt y un valor para continue. Si el valor de halt es mayor, el modelo genera una salida final. Si el valor de continue es mayor, el modelo comienza otro segmento.

Por lo tanto, la función de pérdida global para el proceso de supervisión profunda después de cada segmento combina dos términos:

• Una parte refleja la pérdida de la tarea en sí: ¿qué grado de precisión tuvieron las salidas del modelo?

• El otro refleja la pérdida del Q-head: si el modelo predijo un valor más alto para “halt” que para “continue”, ¿tomó la decisión correcta?"

Con el tiempo, el modelo aprende a dedicar más recursos de computación, es decir, a realizar más iteraciones de refinamiento, a los problemas más difíciles y a dedicar menos recursos a los problemas más sencillos. Cabe destacar que una idea similar, aunque con una implementación diferente, se exploró bastante pronto en la historia de los transformadores.

El ARC Prize, la organización sin fines de lucro que administra el punto de referencia ARC-AGI, realizó un análisis externo de los HRM y descubrió que “el circuito externo de refinamiento es un factor esencial para el rendimiento de los HRM”.

• Durante la inferencia, añadir solo un bucle de refinamiento casi duplicó la precisión del HRM (del 18,6 % al 35,5 %). Las ganancias adicionales de rendimiento, aunque con rendimientos significativamente decrecientes, se produjeron en ocho bucles (38,1 %) y 16 bucles (39,0 %). Incluso para un modelo estándar de transformador sin bucle interno (pero con una arquitectura, tamaño de modelo y pipeline de entrenamiento idénticos a los HRM), añadir bucles de refinamiento externos producía aumentos de rendimiento similares.

• El bucle externo también es esencial para el entrenamiento. Incluso cuando se mantiene el número de bucles de refinamiento al coste de inferencia, añadir solo un bucle de refinamiento en el entrenamiento aumentó la precisión del modelo del 19 % (sin refinamiento) al 32 % (con un refinamiento). De hecho, experimentos posteriores demostraron que el aumento de los bucles de refinamiento durante el entrenamiento tuvo un impacto significativamente mayor que el aumento de los bucles de refinamiento durante la inferencia. Sin bucles de refinamiento ni en el entrenamiento ni en la inferencia, el modelo obtuvo una puntuación del 18,6 %. Sin bucles de refinamiento durante la inferencia y 16 bucles de refinamiento durante el entrenamiento, el modelo obtuvo una puntuación del 34,9 %.

Por el contrario, se demostró que el bucle interno proporciona un ejemplo relativamente pequeño sobre un modelo de tamaño idéntico que reemplaza el módulo H y el módulo L con los bloques de atención de un modelo de transformador estándar. No está claro si estos hallazgos son particulares de las tareas en el punto de referencia ARC-AGI o universales para todas las tareas de razonamiento que un HRM podría manejar.

Aunque los modelos de razonamiento jerárquico introducen innovaciones significativas en las arquitecturas de redes neuronales y en las técnicas de entrenamiento que ya han empezado a influir en la investigación sobre el deep learning, la utilidad práctica de los propios HRM es incierta actualmente.

En comparación con los LLM basados en el razonamiento, los HRM son considerablemente más pequeños, su entrenamiento y su funcionamiento resultan más económicos, y pueden entrenarse con una cantidad de ejemplos de entrenamiento muy asequible. Esto va en contra de la noción de que el rendimiento de frontera solo puede lograrse a través de modelos masivos y conjuntos de datos de entrenamiento fuera del alcance de la mayoría de los investigadores y organizaciones.

Pero los servicios de los modelos de razonamiento convencionales es su notable capacidad de generalización: pueden realizar tareas de razonamiento altamente especializadas en el contexto de la comprensión y realización de una amplia variedad de tareas e instrucciones del lenguaje natural. Las capacidades extremadamente limitadas de HRM dificultan mucho su integración en flujos de trabajo más grandes. 

Los HRM solo pueden resolver tipos muy específicos de rompecabezas que han visto durante el entrenamiento. Aunque un formato de rompecabezas diferente utilice reglas y una lógica muy similares a las de uno que ya conoce, tan similares que una persona que se le dé bien un tipo de rompecabezas obviamente se le daría bien el otro, un sistema de gestión de recursos humanos no podría resolverlo. Las mejoras en el proceso de formación que introduzcan una mayor capacidad para aprovechar el aprendizaje por transferencia entre tareas aumentarían significativamente la practicidad de los HRM.

Aunque los HRM demuestran empíricamente una capacidad de razonar a través de los problemas para refinar sus salidas, la falta de un “proceso de pensamiento” rastreable reduce significativamente su interpretabilidad. Dicho esto, cabe señalar que la interpretabilidad suele ser un problema en todos los sistemas de IA entrenados mediante deep learning, y las investigaciones demuestran que los rastros de razonamiento que un LLM proporciona a un usuario no siempre son fieles a su verdadero “proceso de pensamiento”.