O que é um modelo de raciocínio hierárquico (HRM)?

Mais especificamente, os HRMS são uma arquitetura de redes neurais distinta que aplica um algoritmo específico para gerar saídas e múltiplos algoritmos distintos para otimizar os parâmetros do modelo durante o treinamento. Embora sejam tipicamente comparados com LLMs por meio de desempenho em determinados benchmarks que têm sido historicamente dominados por LLMs de raciocínio, essa é uma comparação simples. Os HRMs são modelos restritos e específicos de tarefas, projetados explicitamente para problemas de raciocínio, enquanto os LLMs de raciocínio são modelos generalistas que podem ser aplicados a problemas de raciocínio (entre muitas outras tarefas).

Embora capazes de resolver problemas complexos, os HRMs não são capazes de conversar, gerar código, resumir ou outras tarefas geralmente associadas a modelos de IA generativa . Um HRM deve ser treinado diretamente no tipo de problema que você deseja que ele resolva. Os LLMs, por outro lado, são normalmente pré-treinados em uma enorme quantidade e variedade de dados e, em seguida, instruídos (por meio de prompt few-shot) a resolver novos problemas por meio da inferência das regras.

No centro do conceito dos HRMs encontra-se uma "hierarquia" de loops recorrentes, que se inspiram em como o cérebro humano processa informações em diferentes níveis e frequências. Um "loop interno" consiste em um módulo que executa rapidamente cálculos de baixo nível e outro módulo mais lento, cujos cálculos de alto nível orientam o módulo de baixo nível. Um "loop externo" orienta o ciclo interno para repetir iterativamente seus cálculos, a fim de refinar e melhorar a saída do modelo.

Os HRMs foram lançados pela primeira vez como um modelo de código aberto descrito em um artigo de Guan Wang et al em junho de 2025. Com apenas 27 milhões de parâmetros, o modelo superou modelos drasticamente maiores, como o o3 da OpenAI, o Claude 3.7 Sonnet da Anthropic e o DeepSeek-R1, que possui 671 bilhões de parâmetros, em benchmarks desafiadores como ARC-AGI, Sudoku-Extreme e Maze-Hard.

O modelo em si é em grande parte experimental, e o artigo observa tanto restrições práticas quanto caminhos inexplorados para melhorias futuras. No entanto, seu sucesso (especialmente considerando sua extrema eficiência de dados no treinamento e um tamanho de modelo literalmente milhares de vezes menor do que a maioria dos LLMs) o torna uma abordagem alternativa fascinante para escalar sistemas de raciocínio. Explorações de pesquisas subsequentes, como pequenos modelos recorrentes (TRMs), alcançaram avanços adicionais refinando a abordagem básica do HRM e inspirando-se nas novas técnicas que ele lançou.

Os modelos de raciocínio convencionais são LLMs que foram aprimorados por meio de aprendizado por reforço para gerar uma cadeia de pensamento (CoT) passo a passo antes de fornecer uma resposta final ao usuário. Foi demonstrado empiricamente que esse processo de "verbalização" de um processo de raciocínio melhora a precisão do modelo em matemática, programação e outras tarefas lógicas complexas.

Apesar do sucesso comprovado dessa abordagem, argumentou-se que os LLMs (mesmo os LLMs de raciocínio de fronteira) não são e não serão um caminho para a inteligência artificial geral (AGI). Em um nível neurológico, a linguagem é principalmente uma ferramenta para comunicação, não para pensamento.

Em termos gerais, a abordagem mais inspirada na neurociência de um HRM está mais próxima de como o cérebro humano funciona por meio de problemas abstratos. Ao contrário dos LLMs, os HRMs raciocinam internamente sem "verbalizar" esse processo. Em termos mais técnicos, enquanto os modelos de raciocínio convencionais raciocinam "em voz alta" no espaço de tokens, os HRMs raciocinam internamente no espaço latente. Os LLMs "raciocinam" refinando iterativamente as palavras reais (tokens) que produzem, mas um HRM resolve problemas refinando iterativamente seu estado oculto — os cálculos intermediários internos do modelo, que são usados para (eventualmente) gerar sua saída final.

Considere um momento recente em que você resolveu um problema complexo: você pode ter tido um monólogo interno, mas provavelmente não verbalizou literalmente todo o seu processo de pensamento em sua cabeça (ou em voz alta) em frases perfeitas e completas. Mais provavelmente, seu cérebro entrou em ação instintivamente e sem palavras. Dessas ideias iniciais, instintivas, surgiu em sua mente uma aparência de plano superior. Em seguida, você trabalhou mentalmente nas etapas individuais que a estratégia envolvia, refinando o plano geral à medida que avançava. Por fim, você chegou ao que parecia uma solução satisfatória.

Enquanto o ajuste fino de LLMs com técnicas de aprendizado por reforço pode ensinar um modelo a gerar saídas que imitam um processo de pensamento, os HRMS (que tomam emprestado alguns princípios da neurociência de sistemas) visam replicar um processo de pensamento.

Conforme descrito no artigo “Hierarchical Reasoning Model”, o projeto dos HRMs foi influenciado pelo conceito de pensamento do “Sistema 1” e “Sistema 2”, termos metafóricos cunhados pelo falecido vencedor do Prêmio Nobel Daniel Kahneman em seu livro Thinking, Fast and Slow para descrever os diferentes níveis em que a mente humana opera. O "Sistema 1" é rápido, inconsciente e intuitivo. O pensamento do "Sistema 2" é lento, deliberado e lógico. Os HRMs, portanto, implementam uma hierarquia, na qual os cálculos de um sistema rápido que lida com cálculos de baixo nível são guiados por um sistema mais lento que lida com o planejamento de alto nível.

Em termos de princípios de aprendizado de máquina , os modelos de raciocínio hierárquico podem ser entendidos como uma forma altamente especializada de redes neurais recorrentes (RNNs), com modificações que atenuam as deficiências práticas das RNNs padrão. A mais notável dessas deficiências é a convergência prematura: a tendência das RNNs de parar de aprender muito antes de absorverem totalmente todos os padrões e dependências das sequências de dados de treinamento.

Durante o treinamento do modelo, os RNNs tendem a convergir rapidamente em pesos que não estão suficientemente otimizados para alcançar um desempenho preciso. Isso geralmente ocorre devido ao desaparecimento dos gradientes: após muitas etapas computacionais ou uma sequência muito longa, o tamanho das atualizações dos parâmetros do modelo calculadas durante a retropropagação torna-se tão pequeno que se reduz a zero. Os pesos do modelo atingem um equilíbrio local que reflete padrões de curto prazo, impedindo-os de alcançar um equilíbrio global que reflita de forma completa e abrangente os padrões dos dados de treinamento.

Muitas modificações da estrutura padrão das RNNs, como a memória de curto longo prazo (LSTM), foram propostas para corrigir essa falha, mas os HRMs adotam uma abordagem inovadora. O módulo de alto nível, semelhante ao do "Sistema 2", é projetado para aprender cada vez que o módulo de baixo nível converge para um equilíbrio local. Essa atualização do sistema de alto nível fornece um novo contexto para o sistema de baixo nível operar, permitindo que continue aprendendo até convergir para um novo equilíbrio local (momento em que o sistema de alto nível é atualizado novamente).

A saída desse "loop interno" é alimentada em um "loop externo", que aprende a melhorar iterativamente suas saídas passadas. Em suma, essa configuração aproveita a velocidade e a simplicidade das RNNs e, ao mesmo tempo, permite um aprendizado mais estável, muito mais "profundo" do que seria possível com uma rede recorrente.

O "loop interno" da arquitetura do modelo dos HRMs compreende dois módulos recorrentes. Ambos os módulos usam um mecanismo de atenção em uma configuração de bloco de transformação padrão. Um deles, o "módulo L", foi projetado para lidar rapidamente com cálculos de baixo nível. O outro, o "módulo H", foi projetado para lidar com o planejamento de longo prazo e o raciocínio de nível superior.

O módulo L funciona essencialmente como uma RNN padrão, com sua tendência de se concentrar rapidamente em padrões de curto prazo e parar de atualizar seu estado oculto. Mas, enquanto a atualização de estado de uma RNN padrão na etapa de tempo t é condicionada apenas pelo seu estado oculto na etapa de tempo anterior t-1, as atualizações do estado oculto z_L do módulo L (e, portanto, as coisas nas quais ele se concentra) também são condicionadas pelo estado oculto atual do módulo z_H.

O estado oculto do módulo H muda muito mais lentamente do que o do módulo L. O loop interno opera em ciclos de T etapas de tempo: após o módulo L atualizar seu estado oculto z_L T vezes, o módulo H utiliza o estado final de z_L para atualizar z_H. Na etapa de tempo T, o módulo L frequentemente já terá convergido para um equilíbrio local e parado de atualizar. Mas como as atualizações de z_L estão condicionadas ao valor atual de z_H, cada atualização de z_H estabelece um novo contexto para o módulo L. Isso inicia uma nova "fase de convergência", permitindo que o módulo de baixo nível continue aprendendo.

Resumindo, cada vez que o módulo L "resolve" alguma tarefa de curto prazo, o módulo H é atualizado. Essa atualização do módulo H direciona o módulo L a resolver alguma nova tarefa de curto prazo. O módulo H está, essencialmente, fazendo o planejamento de longo prazo, e o módulo L está realizando as subtarefas menores implicadas por esse plano de longo prazo. Este loop, compreendendo T atualizações do módulo L, é realizado N vezes. Tanto T quanto N são hiperparâmetros ajustáveis.

Ao todo, a arquitetura central de HRMs que alimenta o loop interno contém quatro componentes que podem ser aprendidos:

• Uma rede de entrada que converte tokens (representando os detalhes do quebra-cabeça que o modelo deve resolver) em embeddings vetoriais.

• O módulo recorrente de baixo nível (módulo-L).

• O módulo recorrente de alto nível (módulo H), cujo estado oculto final após N ciclos é passado para a rede de saída.

• Uma rede de produção que recebe o valor final de z_H e usa uma função softmax para converter esse estado oculto em probabilidades que ela usa para prever os valores dos token de saída (que, coletivamente, representam a solução do quebra-cabeça).

Ao contrário dos LLMs de raciocínio, os HRMs não são modelos generalistas. Eles devem ser treinados diretamente na tarefa específica que devem resolver. Embora o artigo relate que um "HRM" alcançou um excelente desempenho em Sudoku, busca de caminhos em labirintos e quebra-cabeças ARC-AGI, os autores estão, na verdade, se referindo a três HRMs separados. Um foi treinado em Sudoku, outro em labirintos, outro em quebra-cabeças ARC-AGI.

Os LLMs de raciocínio passam por seu pré-treinamento inicial por meio de aprendizado autossupervisionado em enormes quantidades de pontos de dados não rotulados. Em seguida, eles passam por um ajuste fino supervisionado (SFT) para aprender a estruturas de resposta adequadas, ajuste por instruções para aprender a concluir tarefas conforme desejado e, em seguida, um ajuste fino adicional por meio do aprendizado por reforço para incutir o raciocínio de CoT. Ao todo, isso envolve milhões ou bilhões de pontos de dados e semanas de treinamento.

Para criar dados de treinamento para HRMs, os autores usaram aumento de dados. A partir de uma semente de apenas alguns exemplos de treinamento originais (compreendendo pares rotulados de quebra-cabeças não resolvidos e suas soluções), exemplos adicionais são criados usando pequenas transformações (como rotações, inversões ou trocas de cores). Cada um dos HRMs descritos no artigo foi treinado com apenas (aproximadamente) 1.000 exemplos de treinamento criados por meio da aplicação desse aumento de dados a um pequeno conjunto de amostras originais.

Ambas as abordagens têm seus benefícios. Os LLMs de raciocínio são capazes de inferir as regras de um determinado quebra-cabeça sem instruções explícitas, mas exigem trilhões de tokens de dados para obter essa capacidade. Os HRMs só podem executar a tarefa restrita em que foram treinados, mas podem alcançar um desempenho comparável ou até mesmo superior com drasticamente menos parâmetros e exemplos de treinamento.

Os HRMs utilizam um truque de otimização inteligente para simplificar e estabilizar o processo de otimização dos parâmetros do modelo, mais uma vez evitando uma deficiência inerente das RNNs padrão.

As RNNs utilizam uma forma de retropropagação específica de recorrência, chamada de retropropagação pelo tempo (BPTT), para calcular os gradientes de como a perda é acumulada em cada etapa de tempo. Como uma RNN padrão aumenta a quantidade de etapas de tempo, a BPTT inevitavelmente se depara com o problema dos gradientes que desaparecem.

Para evitar isso, além de reduzir consideravelmente os requisitos de memória, os HRMs simplificam seu objetivo de otimização. Em vez de calcular os gradientes a cada etapa, os HRMs executam a BPTT apenas no estado final do módulo L e no estado final do módulo H. Isso se baseia em uma suposição simples: se você souber como a saída final deve mudar e otimizar os pesos do modelo para mudar para os estados finais dos módulos L e H adequadamente, todo o resto cuidará de si mesmo.

Assim como acontece com outros elementos dos HRMs, este se inspira tanto na neurociência quanto na experiência prática. Imagine uma pessoa (ou modelo) tentando aprender o jogo de equilíbrio de blocos Jenga. Não é necessário aprender a otimizar cada cada toque e cada vez mais um bloco para cada movimento. Supondo que os blocos estejam configurados de uma determinada maneira (a entrada) e que o movimento que você fez resultou na derrubada de tudo (a perda de sua saída), melhorar sua técnica requer um domínio firme de apenas duas coisas:

1. Em vez disso, qual peça eu deveria ter movido? Isso é análogo ao estado final ideal do módulo de alto nível.
2. Como eu deveria ter manipulado aquela peça para torná-la segura para ser removida? Isso é análogo ao estado final do módulo de baixo nível.

Os autores do artigo descobriram que essa aproximação em uma etapa da BPTT funciona bem o suficiente de forma que otimizar apenas essas duas considerações seja suficiente para estabelecer uma dinâmica de aprendizado forte e estável.

A HRM também emprega um loop externo que permite que o modelo refine iterativamente suas saídas finais em um processo que os autores do artigo do HRM chamam de "supervisão profunda". Pesquisas subsequentes sugeriram que o loop externo, mais do que o loop interno, é, em última análise, o componente mais importante do HRM.

No aprendizado supervisionado padrão para redes neurais, o modelo que está sendo treinado recebe uma entrada e executa uma única passagem para a frente para gerar uma saída. Uma função de perda mede o erro dessa saída. Em seguida, a retropropagação é usada para calcular os gradientes de perda: como qualquer mudança em qualquer variável da rede neural aumentaria ou diminuiria a perda geral. Finalmente, alguns algoritmos de gradiente descendente usam essa informação para atualizar os parâmetros do modelo. Esse processo iterativo é reiniciado, repetindo-se até que a perda tenha sido minimizada para um limite aceitável.

A supervisão profunda não reinicia todo o processo depois que o modelo gera essa saída inicial por meio de uma única passagem para a frente. Em vez disso, envolve várias passagens para a frente, cada uma das quais é chamada de um "segmento". Após cada segmento m, a perda é calculada, e os parâmetros do modelo são devidamente otimizados, e os estados ocultos finais do módulo H (z_H) e do módulo L (z_L) são, então, alimentados novamente no modelo como o ponto de partida para a próxima passagem para a frente. Isso permite que o modelo refine iterativamente suas saídas, usando o que "aprendeu" com as atualizações de parâmetros do modelo do segmento anterior.

Esse processo é repetido para M segmentos, nos quais os pontos de partida do loop interno para cada segmento subsequente m+1 são  $z_H{}^{mNT}$  and  $z_L{}^{mNT}$ : em outras palavras, o estado oculto final do módulo H e do módulo L após N loops internos de T etapas de tempo durante o segmento anterior m.          

Para manter a eficiência do modelo, os criadores do HRM adicionaram um mecanismo de tempo de computação adaptável, para ajudar o modelo a aprender quando uma determinada saída é boa o suficiente (ou, ao contrário, se deveria iniciar outro loop de refinamento). Para tornar isso possível, o modelo incorpora o Q-learning, um tipo comum de algoritmo de aprendizado por reforço. 

Após cada segmento, o estado final do módulo de alto nível, z_H, é passado não apenas para a rede de saída, mas também para outro módulo que eles chamam de "Q-head", com seus próprios pesos aprendíveis. Após z_H ser multiplicado pelos pesos do Q-head, ele utiliza uma função sigmoide (que comprime qualquer entrada para um valor entre 0 e 1), que produz um valor para parar e um valor para continuar. Se o valor para parar for maior, o modelo gerará uma saída final. Se o valor para continuar for maior, o modelo iniciará outro segmento.

A função de perda geral para o processo de supervisão profunda após cada segmento, portanto, combina dois termos:

• Uma parte reflete a perda da própria tarefa: qual foi a precisão da saída do modelo?

• O outro reflete a perda do Q-head: se o modelo previu um valor mais alto para "interromper" do que para "continuar", ele tomou a decisão correta?

Com o tempo, o modelo aprende a gastar mais poder computacional (ou seja, executar mais loops de refinamento) em problemas mais difíceis e gastar menos tempo em problemas mais fáceis. Vale a pena notar que uma ideia semelhante, embora com implementação diferente, foi explorada bem no início da história dos transformadores.

A ARC Prize, a organização sem fins lucrativos que administra o benchmark ARC-AGI, realizou uma análise externa de HRMs e descobriu que "o loop externo de refinamento é um fator essencial para o desempenho do HRM".

• Durante a inferência, adicionar apenas um loop de refinamento quase dobrou a precisão do HRM (de 18,6% para 35,5%). Ganhos de desempenho adicionais, embora com retornos significativamente decrescentes, ocorreram em oito loops (38,1%) e 16 loops (39,0%). Mesmo para um modelo de transformação padrão sem loops internos (mas, por outro lado, uma arquitetura, tamanho de modelo e pipeline de treinamento idênticos aos dos HRMs), a adição de loops de refinamento externos produziu aumentos de desempenho semelhantes.

• O loop externo também é essencial para o treinamento. Mesmo ao manter o número de loops de refinamento no custo de inferência, adicionar apenas um loop de refinamento no treinamento aumentou a precisão do modelo de 19% (sem refinamento) para 32% (com um refinamento). Na verdade, experimentos adicionais mostraram que aumentar os loops de refinamento durante o treinamento teve um impacto significativamente maior do que aumentar os loops de refinamento durante a inferência. Sem loops de refinamento em treinamento ou inferência, o modelo obteve uma pontuação de 18,6%. Sem loops de refinamento durante a inferência e 16 loops de refinamento durante o treinamento, o modelo obteve uma pontuação de 34,9%.

Ao contrário, o loop interno demonstrou fornecer um exemplo relativamente pequeno em um modelo de tamanho idêntico que substitui o módulo H e o módulo L pelos blocos de atenção de um modelo transformador padrão. É incerto se essas descobertas são específicas das tarefas do benchmark ARC-AGI ou universais para todas as tarefas de raciocínio com as quais um HRM pode lidar.

Embora modelos de raciocínio hierárquico introduzam inovações significativas em arquiteturas de redes neurais e técnicas de treinamento que já começaram a influenciar a pesquisa em deep learning, a utilidade prática dos próprios HRMs é atualmente incerta.

Em relação aos gigantescos LLMs de raciocínio, os HRMs são drasticamente menores, mais baratos de treinar e mais baratos de executar — e podem ser treinados com uma quantidade muito acessível de exemplos de treinamento. Isso vai contra a noção de que o desempenho de fronteira só pode ser alcançado por meio de modelos maciços e conjuntos de dados de treinamento fora do alcance da maioria dos pesquisadores e organizações.

Mas a utilidade dos modelos de raciocínio convencionais reside na sua notável capacidade de generalização: eles podem executar tarefas de raciocínio altamente especializadas no contexto da compreensão e realização de uma ampla variedade de tarefas e instruções em linguagem natural. Os recursos extremamente limitados dos HRMSs tornam muito mais difícil integrá-los em fluxos de trabalho maiores. 

Os HRMs só podem resolver tipos muito específicos de quebra-cabeças que viram durante o treinamento. Mesmo que um formato de quebra-cabeça diferente use regras e lógicas muito semelhantes a um que ele já viu (tão semelhante que um ser humano bom em um tipo de quebra-cabeça obviamente seria bom em outro), um HRM não conseguiria lidar com isso. Melhorias no pipeline de treinamento que introduzem uma maior capacidade de aproveitar o aprendizado por transferência entre tarefas aumentariam significativamente a praticidade dos HRMs.

Embora os HRMs demonstrem empiricamente uma capacidade de raciocinar sobre problemas para refinar suas saídas, a falta de um "processo de pensamento" rastreável reduz significativamente sua interpretabilidade. Dito isso, deve-se notar que a interpretabilidade é geralmente um problema em todos os sistemas de IA treinados por meio de deep learning e que a pesquisa demonstra que os traços de raciocínio que um LLM fornece a um usuário nem sempre são fiéis ao seu verdadeiro "processo de pensamento".