什么是物理 AI？

物理 AI 通常涉及将 AI 模型与传感器、执行器和其他控制系统相结合，以便模型能作用于现实环境，从而将模型从比特领域引入原子领域。借助 AI，先进的物理系统如今能感知环境、利用大语言模型 (LLM) 的强大功能进行推理、采取相应行动，然后从行动结果中汲取经验。

思考物理 AI 的另一种方式是：它只是将人工智能驱动式模型应用于物理空间中的系统。例如，机器人学侧重于物理机器的机械结构和控制。在 AI 出现之前，机器人行为通常是基于规则或脚本化的，且机器人只能在专门设计的环境中执行小范围任务。试想：在汽车生产线上，一个机械臂每天会对同一焊道焊接 1,000 次；或者，早期的扫地机器人会遵循预设的导航规则来运行。

相比之下，从 LLM 中获得一般理解能力的机器人式 AI 智能体对世界的“常识”掌握有限，但却仍然很强大。这些模型可与高性能混合架构中的强化学习技术相结合，以使机器人既掌握通用知识，又能对特定用例有着专业的理解。

此外，物理 AI 的应用已远超单个机器人，而是包括整个人工智能驱动式工厂、节能智能电网或自动驾驶车队。存在于物理空间中的很多系统均可通过 AI 进行增强。

此前阻碍物理 AI 革命道路的数个瓶颈正被同时打破。第一个也是最重要的一个原因在于生成式 AI（由基础模型提供支持）的到来。如今的大型计算机视觉与多模态模型能识别不同物体、理解空间关系并能跨场景进行泛化。此特性能减少单项任务所需的特定训练量，并允许系统在不同任务中重用相关情报。

第二个挑战现在正被现代仿真技术的强大功能所克服，而此功能结合了高精度物理建模、写实渲染和并行化处理。此特性能大大缩短模型训练时间，并使模拟不仅可用于测试，还可作为主要训练场。与此相关的一大趋势是：计算可用性的爆炸式增长。GPU 与数据中心领域的突破使大规模训练成为可能。

最后，硬件比以往任何时候都更好。现代机器人拥有更好的传感器和更轻的材料。它们可利用最近的边缘 AI 突破性成果以及更优异的通信功能。这些创新使得实验变得可行，且即使是对小型初创公司也是如此。如此一来，便会迎来物理自动化计划的复兴，且范围涵盖从自动驾驶汽车到可执行手术及其他复杂手术的工业机器人与医疗保健机器人。

Nvidia 的 CEO 黄仁勋被广泛认为是“物理 AI”这一术语的普及者，并将其定位为下一波 AI 驱动式重大创新浪潮。在 2026 年 1 月的一次播客采访中，他预测未来将出现“十亿个机器人”。¹此愿景围绕开发和维护这些新型机器人来打造一个全新的全球经济体，而这些机器人有望成为地球上最大的产业之一，其影响甚至堪比第二次工业革命。

同月，Nvidia 发布了一系列开放模型、框架和先进的物理 AI 基础设施。²此次发布宣称，新技术将加快“整个机器人开发生命周期”的工作流。

黄仁勋表示：“面向机器人的 ChatGPT 时刻已经到来。”

此次发布包含开放式、完全可定制的世界模型，而这些模型可在物理 AI 模拟中实现基于物理的合成数据生成和机器人策略评估，同时它还包括一个开放推理视觉语言模型和一个开放推理视觉语言行动模型。与此同时，还推出了新的模拟与计算框架。

试想，我们的目标是训练一系列移动机器人 (AMR)，而这些机器人能从人行道、公园和街道自主捡起垃圾，而不会伤害他人或自己。此任务并非简单地定义为“捡起物体”，而包括：检测非垃圾中的垃圾、在拥挤的环境中导航、选择安全路径、捡起不同形状与大小的物体，以及其他问题。

一旦确定了目标，就必须用适当的形态设计机器人。它应是人形机器人还是其他机器人？它是采用轮子还是支脚？它需要的是可夹住物体的机械手，还是可将物体吸起来的吸尘器？它需要什么样的摄像头和传感器来导航环境？

然后，通常会创建一个模拟环境。此类环境可能包括地形、垃圾、随机物体（岩石、长凳、栅栏等）、人员、照明效果和各种天气条件。

在此模拟训练环境中，控制机器人行为的模型会学习垃圾的外观，其范围涵盖从瓶子、罐头到纸片和小糖果包装纸。它会学习如何在不平坦的地形和强风中保持平衡。它可学习如何尽可能避免撞到人，以及如何用足够的力气抓住玻璃瓶，但又不至过分用力而把玻璃瓶打碎。

每次训练运行都会改变相关组件的特性：更大的垃圾块、不同的天气条件、更多走动的人群。该机器人“绝不会两次看到相同的人行道”。

当机器人正确完成既定任务后，其行为会获得高分“奖励”，从而强化最佳行为。通过多次迭代，机器人会学习如何完成其作业。

一旦机器人超过一定的成功阈值，它就会被部署到现实的训练环境中，比如一条没有太多人员的安静街道。经过微调机器人，它能处理模拟环境下没有出现的意外新情况，比如吹起小块垃圾的大风。

这些信息可用于改进模拟训练环境，以进行额外训练。然后，可在密集人群、照明不佳或湿滑表面上进行压力测试。

上述奖励机制是强化学习的一部分；强化学习是一种机器学习过程，期间，自主智能体会通过与环境的反复试错交互来学着做出决策。强化学习对机器人至关重要，因为智能体可通过交互来学习行为，而这正是机器人在物理世界中必须完成的工作。

这个世界是杂乱无章的：表面各不相同，物体会变形，传感器数据十分嘈杂，而人类行为也难以预测。为每种情况都编写硬性规则时，无法实现可扩展性。强化学习允许机器人通过在约束条件内进行实验来自行发现策略。机器人不再被告知如何移动，而是学会在真实条件下哪些行为最为有效。

强化学习在其他机器学习方法失败时表现出色。例如，抓取垃圾需接近垃圾、调整机械臂、调整力度并完成提起操作—所有这些操作均需根据实时反馈做出反应。监督学习方法理论上可标注什么是“良好的抓握”，但它无法轻松教授如何纠正失误或在运动中自行调整。相比之下，强化学习会根据长期结果优化整个行动序列。

这只是机器人训练方式的其中一例。还有很多其他方法适用于物理 AI 系统，例如监督学习与无监督学习、模仿学习和示范学习 (LfD)。

训练物理 AI 与训练非物理自主系统的方式存在差异，具体原因如下。

• 数据成本高昂
  

• 物理定律很难
  

• 时间至关重要
  

• 实际风险

传统的 AI 模型会在静态数据集（包括文本、图像和音频）上进行训练，而物理 AI 则通常需要与真实环境交互的机器人的数据。在传统的机器学习训练中，数据可轻松抓取、复制，而且成本低廉并可重复使用。物理 AI 却并非如此。通常，您不能只是“下载数据集”。

数据收集需要时间。每个数据点都需要机器人持续移动其肢体、操纵物体或观察环境中出现的情况。在现实世界中，机器会出现故障。众所周知，垫片会发生爆炸，从而给收集有效的训练数据带来困难。

物理 AI 必须应对物理定律。重力、摩擦力、温度、扭矩、平衡、时序、动量、磨损、噪声、滞后—现实世界无限复杂，而这便是在模拟环境中看似很棒的模型在实地测试中却往往会失败的原因所在。

为应对物理定律的不确定性和复杂性，训练可能采用基于物理的模型或混合系统，而其中更简单的控制算法可确保稳定性，学习模型则仅限于处理感知和决策。

物理系统会在连续时间内运行。在很多用例中，感知、决策和行动之间需要紧密的反馈回路，并确保延迟最小。微小的延迟便可能会导致故障。通常，速度与准确性同样重要，甚至更为重要。在其他 AI 领域，通常着眼于获得最准确的输出，但若将对速度的要求纳入考量，则会是一项重大的工程挑战。

在大多数 AI 训练环境中，错误是无害且可轻松忽略的。但在现实世界中，风险却很高。如果 LLM 在数字环境中做出错误的预测，人类可选择是否据此采取行动。相反，如果自动驾驶汽车错误预测前方车辆的速度，其结果则可能是灾难性的。训练通常包含若干限制且会逐步提高自主性，因而有时需要人工监督和其他形式的监控。

为解决上述缺点，研究人员严重依赖模拟环境以及由机器人（通常为与虚拟环境交互的虚拟机器人）生成的合成数据。

世界基础模型 (WFM) 在机器人领域的应用越来越普遍。WFM 是一种强大的 AI 系统，它可从大量现实数据中学习物理世界的动态特性（几何、运动、物理定律），从而使其能生成逼真的物理感知场景，以用于训练物理 AI。

该仿真通常涉及创建系统或环境的数字孪生体，比如工厂。在此虚拟空间中，自主机器会执行任务，从而生成有关这些机器在虚拟空间中表现的合成数据。

领域随机化（即以各种随机方式有意生成模拟环境的特征）等技术可帮助生成更有用的合成数据，从而产生更强大的模型，而这些模型能将其技能应用于混乱且高度多变的现实。然而，过度依赖合成数据却可能导致过拟合。