什么是分层推理模型 (HRM)？

更具体地说，HRM 是一种独特的神经网络架构，它应用一种独特的算法来生成输出，并在训练期间应用多种独特的算法来优化模型参数。虽然人们通常通过在特定基准（这些基准历来由推理型 LLM 主导）上的表现来将它们与 LLM 进行比较，但这种比较是苹果与橘子的比较。HRM 是狭窄的、任务特定的模型，专门为推理问题而设计，而推理型 LLM 是可以应用于推理问题（以及许多其他任务）的通才模型。

尽管能够解决复杂问题，但 HRM 无法进行对话、代码生成、摘要或其他通常与生成式 AI 模型相关的任务。HRM 必须直接在您希望它们解决的问题类型上进行训练。相反，LLM 通常在海量且多样的数据上进行预训练，然后（通过少样本提示）被指示通过推断规则来解决新问题。

HRM 概念的核心是一个“层级”循环回路，其灵感来自人类大脑在不同层次和频率上处理信息的方式。“内层循环”由一个快速执行低级计算模块和另一个较慢的高级计算模块组成，后者引导前者。“外层循环”引导内层循环迭代地重复其计算，完善和改进模型的输出。

HRM 首次作为开源模型在 2025 年 6 月由 Guan Wang 等人发表的一篇论文中提出。该模型仅有 2700 万参数，却在包括 ARC-AGI、Sudoku-Extreme 和 Maze-Hard 在内的具有挑战性的基准测试中，击败了规模大得多的模型，如 OpenAI 的 o3、Anthropic 的 Claude 3.7 Sonnet 以及拥有 6710 亿参数的 DeepSeek-R1。

该模型本身在很大程度上是实验性的，论文指出了实际限制以及未来改进的未探索途径。尽管如此，它的成功——尤其是考虑到其在训练中极高的数据效率以及比大多数 LLM 小数千倍的模型规模——使其成为扩展推理系统的一种引人入胜的替代方法。后续的研究探索，例如微型循环模型 (TRM)，通过改进 HRM 的基本方法并从中引入的新技术中汲取灵感，取得了进一步的进展。

传统的推理模型是通过强化学习 进行 微调的 LLM，在向用户提供最终响应之前，会输出一个逐步的思维链 (CoT)。这种将推理过程“言语化”的过程已被经验证明可以提高模型在数学、编码和其他复杂逻辑任务上的准确性。

尽管这种方法已被证明成功，但有人认为，LLM——甚至包括前沿推理 LLM——目前不是，也不会成为通往通用人工智能 (AGI) 的路径。在神经学层面上，语言主要是交流的工具，而非思维的工具。

广义上讲，HRM 更受神经科学启发的方法更接近人脑解决抽象问题的方式。与 LLM 不同，HRM 在内部进行推理，而不将这个“言语化”过程。用更技术的术语来说，传统推理模型在词元空间内“出声地”推理，而 HRM 在潜在空间内内部地推理。LLM 通过迭代地优化它们实际输出的词（词元）来“推理”，而 HRM 通过迭代地优化其隐藏状态——模型内部的、类似思维的中间计算，用于（最终）生成其最终输出——来解决问题。

回想一下最近您解决一个复杂问题时：您可能有内心独白，但您可能不会真的用完整、漂亮的句子在脑海里（或出声地）逐字逐句地表达您的整个思考过程。更有可能的是，您的大脑本能地、无声地行动起来。从那些最初的、本能的念头中，某种高层计划的雏形在您脑海中浮现。然后您在脑中逐步推演该策略所包含的各个步骤，同时不断完善整体计划。最终，您得出一个感觉满意的解决方案。

通过强化学习技术微调 LLM 可以教会模型生成模仿思维过程的输出，而 HRM——借鉴系统神经科学的某些原理——旨在复现思维过程本身。

正如《分层推理模型》论文中所述，HRM 的设计受到了“系统 1”和“系统 2”思维概念的影响。这两个隐喻性术语由已故诺贝尔奖得主 Daniel Kahneman 在其著作《思考，快与慢》中创造，用于描述人类心智运作的不同层面。“系统 1”是快速的、无意识的、直觉的。“系统 2”思维是缓慢的、深思熟虑的、逻辑的。因此，HRM 实现了一个层级结构，其中处理低级计算的快速系统的计算，由处理高级规划的慢速系统引导。

从机器学习原理来看，分层推理模型可以理解为一种高度专业化的循环神经网络 (RNN)，并进行了修改以减轻标准 RNN 的实际缺点。其中最显著的缺点是早熟收敛：RNN 在完全吸收训练数据序列中的所有模式和依赖关系之前就停止学习的倾向。

在模型训练期间，RNN 往往会快速收敛到未充分优化以实现准确性能的模型权重上。这通常是由于梯度消失：经过太多计算步骤或太长的序列后，在反向传播算法期间计算的 模型参数更新幅度变得非常小，以至于缩小到零。模型权重无法达到能够全面、完整地反映训练数据模式的全局均衡，而是陷入了只反映短期模式的局部均衡。

人们提出了许多对标准 RNN 结构的修改，例如长短期记忆网络 (LSTM)，以纠正这一缺陷，但 HRM 采用了一种新颖的方法。“系统 2”样的高层模块旨在每次低层模块收敛到局部均衡时从中学习。然后，对高层系统的这种更新为低层系统提供了新的运行环境，使其能够继续学习，直到收敛到新的局部均衡（此时高层系统再次更新）。

“内层循环”的输出被输入到“外层循环”中，后者学习如何迭代地改进其过去的输出。总而言之，这种设置利用了 RNN 的速度和简单性，同时实现了比循环网络所能实现的更稳定、更“深度”的学习。

HRM 模型架构的“内层循环”包含两个循环模块。两个模块均使用标准 Transformer 块设置中的注意力机制。其中一个，“L 模块”，被设计用于快速处理低级计算。另一个，“H 模块”，被设计用于处理长期规划和更高级的推理。

L 模块在本质上像一个标准 RNN 一样运作，具有快速锁定短期模式并停止更新其隐藏状态的倾向。但是，标准 RNN 在时间步 t 的状态更新仅受其在前一时间步 t-1 的隐藏状态的条件约束，而 L 模块隐藏状态 z__L 的更新——以及因此它所锁定的内容——也受 H 模块当前隐藏状态 z__H 的条件约束。

H 模块的隐藏状态变化比 L 模块的隐藏状态慢得多。内层循环以 T 个时间步为一个周期运行：在 L 模块将其隐藏状态  z__L  更新 T 次之后，H 模块使用  z__L 的最终状态来更新 z__H。到时间步 T 时，L 模块通常已经收敛到局部均衡并停止更新。但由于  z__L 的更新受 z__H 当前值的条件约束， z__H 的每次更新都会为 L 模块建立新的环境。这开启了一个新的“收敛阶段”，使低层模块能够继续学习。

简而言之，每次 L 模块“解决”某个短期任务时，H 模块就会更新。H 模块的这次更新会指示 L 模块去解决某个新的短期任务。H 模块本质上是在进行长期规划——而 L 模块正在执行该长期计划所包含的较小的子任务。这个由 L 模块 T 次更新组成的循环会执行 N 次。 T  和  N  都是可调节的超参数。

总而言之，驱动内层循环的核心 HRM 架构包含四个可学习的组件：

• 一个输入网络，将词元（代表模型必须解决的难题的细节）转换为向量嵌入。

• 低层循环模块（L 模块）。

• 高层循环模块（H 模块），其在 N 个周期后的最终隐藏状态被传递给输出网络。

• 一个输出网络，接收  z__H 的最终值，并使用 softmax 函数将该隐藏状态转换为概率，用于预测输出词元（共同构成难题的解决方案）的值。

与推理型 LLM 不同，HRM 不是通才模型。它们必须直接在其要解决的狭窄任务上进行训练。尽管论文报告称“HRM”在数独、迷宫寻路和 ARC-AGI 谜题上取得了优异的性能，但作者实际上指的是三个独立的 HRM。一个在数独上训练，另一个在迷宫上训练，另一个在 ARC-AGI 谜题上训练。

推理型 LLM 通过在海量未标记数据点上进行自监督学习来执行其初始预训练。然后它们进行监督微调 (SFT) 以学习正确的响应结构，进行指令微调以学习按要求完成任务，然后通过强化学习进一步微调以灌输思维链推理。总而言之，这需要数百万或数十亿个数据点和数周的训练。

为了创建 HRM 的训练数据，作者使用了数据增强。从仅少量原始训练示例（包含未解谜题及其解决方案的标记对）开始，通过小的变换（如旋转、翻转或颜色交换）来创建额外的示例。论文中描述的每个 HRM 仅在大约 1000 个训练示例上进行训练，这些示例是通过对一小部分原始样本应用此类数据增强而创建的。

两种方法各有其优点。推理型 LLM 能够在没有明确指令的情况下推断出给定谜题的规则，但需要数万亿个词元的数据才能获得这种能力。HRM 只能执行它们被训练过的狭窄任务，但可以用少得多的参数和训练示例达到可比甚至更优的性能。

HRM 利用了巧妙的优化技巧来简化和稳定模型参数的优化过程，再次避免了标准 RNN 的固有缺点。

RNN 使用一种循环特有的反向传播形式，称为时间反向传播算法 (BPTT)，来计算每个时间步损失累积的梯度。随着标准 RNN 增加时间步的数量，BPTT 不可避免地会遇到梯度消失的问题。

为了避免这个问题，并大大减少内存需求，HRM 简化了它们的优化目标。HRM 不是计算每个时间步的梯度，而是仅对 L 模块的最终状态和 H 模块的最终状态执行 BPTT。这基于一个简单的假设：如果您知道最终输出必须如何改变，并相应地优化模型权重以改变到 L 模块和 H 模块的最终状态，那么其他一切都会自然解决。

与 HRM 的其他元素一样，这一点也受到了神经科学和经验观察的启发。想象一个人（或模型）试图学习 Jenga 积木平衡游戏。一个人不需要为每一步学习优化对每一块积木的每一次轻推和戳动。假设积木以某种方式摆放（输入），并且您所做的动作导致一切倒塌（输出的损失），那么改进您的技术只需要牢牢掌握两件事：

1. 我本应移动哪一块积木？这类似于高层模块的最优最终状态。
2. 我本应如何移动它？这类似于低层模块的最优最终状态。

论文作者发现，这种 BPTT 的一步近似效果足够好，仅针对这两个考虑因素进行优化就足以建立强大、稳定的学习动态。

HRM 还采用了外层循环，使模型能够迭代地改进其最终输出，这个过程被 HRM 论文作者称为“深度监督”。后续研究表明，外层循环比内层循环更重要，最终是 HRM 最重要的组成部分。

在神经网络的标准监督学习中，被训练的模型接收一个输入，并执行一次前向传递以生成一个输出。损失函数衡量该输出的误差。然后，使用反向传播来计算损失的梯度：对神经网络任何变量的任何改变将如何增加或减少总损失。最后，某种梯度下降算法使用该信息来更新模型参数。然后这个迭代过程重新开始，重复直到损失最小化到某个可接受的阈值。

深度监督不会在模型通过单次前向传递生成初始输出后重新启动整个过程。相反，它涉及多次前向传递，每次前向传递被称为一个“段”。在每个段 m 之后，计算损失并相应优化模型参数——然后将 H 模块 (z_H) 和 L 模块 (z_L) 的最终隐藏状态作为下一次前向传递的起点反馈回模型。这使得模型能够利用从前一段的模型参数更新中“学到”的内容，迭代地改进其输出。

此过程重复 M 个段，其中每个后续段 m+1 的内层循环起点为  $z_H{}^{mNT}$  and  $z_L{}^{mNT}$ ：即在前一段 m 中，经过 T 个时间步的 N 次内层循环后，H 模块和 L 模块的最终隐藏状态。          

为了保持模型效率，HRM 的创建者添加了一种自适应计算时间机制，帮助模型学习何时给定输出已足够好（或者相反，是否应开始另一个优化循环）。为实现这一点，模型融入了 Q 学习，这是一种常见的强化学习算法。 

在每个段之后，高层模块的最终状态 z__H 不仅被传递给输出网络，还被传递给另一个他们称之为“Q 头”的模块，该模块有自己的可学习权重。在  z__H 与 Q 头的权重相乘后，它使用一个 sigmoid 函数——该函数将任何输入压缩到 0 到 1 之间的值——输出 停止 值和继续值。如果 停止 值较大，模型生成最终输出。如果继续值较大，模型开始另一个段。

因此，每个段之后深度监督过程的整体损失函数结合了两项：

• 一项反映任务本身的损失：模型的输出有多准确？

• 另一项反映 Q 头的损失：如果模型预测的“停止”值大于“继续”值，那么它是否做出了正确的决定？

随着时间的推移，模型学会在更难的问题上花费更多计算——即执行更多的优化循环——而在较容易的问题上花费更少的计算。值得注意的是，类似的想法（尽管实现方式不同）在 Transformer 的发展历史中很早就被探索过。

管理 ARC-AGI 基准测试的非营利组织 ARC Prize 对 HRM 进行了外部分析，发现“优化外层循环是 HRM 性能的重要驱动因素”。

• 在推理过程中，仅添加一个优化循环就使 HRM 的准确率几乎翻倍（从 18.6% 提高到 35.5%）。额外的性能提升（尽管收益显著递减）出现在 8 个循环 (38.1%) 和 16 个循环 (39.0%)。即使对于没有内层循环的标准 Transformer 模型（但在其他方面与 HRM 具有相同的架构、模型大小和训练流程），添加外部优化循环也产生了类似的性能提升。

• 外层循环对于训练也至关重要。即使在推理时保持优化循环的数量不变，仅在训练中添加优化循环，模型的准确率就从 19%（无优化）提高到了 32%（有 1 次优化）。事实上，进一步的实验表明，在训练期间增加优化循环比在推理期间增加优化循环的效果显著得多。在训练和推理中均无优化循环时，模型得分为 18.6%。在推理时无优化循环、训练中有 16 个优化循环时，模型得分为 34.9%。

相反，研究表明，内层循环仅提供了相对较小的改进示例。对比的模型规模相同，但用标准 Transformer 模型的注意力块替换了 H 模块和 L 模块。目前尚不确定这些发现是仅适用于 ARC-AGI 基准中的任务，还是适用于 HRM 可能处理的所有推理任务。

尽管分层推理模型为神经网络架构和训练技术带来了有意义的创新，并已开始影响深度学习研究，但 HRM 本身的实用性目前尚不确定。

相对于庞大的推理型 LLM，HRM 规模小得多，训练成本更低，运行成本也更低——并且可以在非常易于获取的训练示例数量上进行训练。这与“只有通过大多数研究人员和组织无法企及的巨大模型和训练数据集才能实现前沿性能”的观点相悖。

但主流推理模型的实用性在于其卓越的泛化能力：它们能够在理解和执行各种自然语言任务和指令的背景下，执行高度专业化的推理任务。HRM 极其狭窄的功能使其更难以集成到更大的工作流中。 

HRM 只能解决其在训练期间见过的非常特定类型的谜题。即使一个不同的谜题格式使用的规则和逻辑与它见过的某个谜题非常相似——相似到擅长一种谜题的人显然也会擅长另一种——HRM 也无法处理。对训练流程进行改进，引入更强的跨任务迁移学习能力，将显著提高 HRM 的实用性。

尽管经验证明 HRM 有能力通过推理问题来改进其输出，但缺乏可追溯的“思维过程”显著降低了其可解释性。话虽如此，应该指出的是，可解释性通常是所有通过深度学习训练的 AI 系统中的问题——而且研究表明，LLM 向用户提供的推理轨迹并不总是与其真实的“思维过程”一致。