从128卡7天到单卡3小时：伯克利SuperMimic如何为人形机器人训练大幅省下算力？

背景：人形机器人训练，为什么这么费算力？

让人形机器人走路、下蹲、跳跃，已经不算新鲜事。真正难的是让同一个控制器学会成千上万种动作：刚做完一个跳跃，下一秒还能侧身翻滚，甚至完成空翻。动作越丰富，训练所需的仿真时间和算力通常也越惊人。

10月20日，加州大学伯克利分校的Qiayuan Liao、Yiyang Shao、Junfeng Long等研究者公开了SuperMimic。论文关注的不是给机器人设计某一个漂亮动作，而是回答一个更现实的问题：如果要训练覆盖大量人体动作的人形机器人，能不能少用一些GPU？

研究团队给出的结果相当醒目：与此前使用128张GPU、训练约7天的SONIC相比，SuperMimic在一张H100上训练3小时，就超过了其公开模型的动作跟踪回报。它依靠的不是更大的计算集群，而是一个能参与梯度计算的“世界模型”。

论文标题：SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model

作者单位：加州大学伯克利分校（UC Berkeley）

收录会议：CoRL 2026（原稿标注）

论文链接：https://arxiv.org/pdf/2610.28480

项目主页：https://supermimic.github.io/

方法：先学习机器人怎样运动

此前，大规模人形机器人动作模仿主要依靠无模型强化学习。方法并不神秘：给机器人一段人体参考动作，让它在物理仿真器里反复尝试；做得接近就奖励，失去平衡或偏离目标就惩罚。经过大量试错，控制策略逐渐学会跟踪动作。

问题出在规模上。跳跃、行走、舞蹈和翻滚看似不同，却都受同一副机器人身体的质量、关节、惯性和接触力约束。传统方法需要在大量仿真交互中反复摸索这些共同规律。当动作库越来越大，计算量也随之增加。

SuperMimic换了一个思路：先从仿真器记录的状态变化中学习机器人自身的动力学，再让控制器利用这个模型进行训练。所谓“世界模型”，并不是一个能理解现实世界全部规律的通用大模型，而是专门预测这台机器人“执行某个动作后，身体会发生什么变化”的神经网络。

更关键的是，这个模型可微。控制器不只知道自己做得好不好，还能沿着预测过程计算：刚才的动作指令该朝哪个方向调整，才能得到更好的结果。与只依赖试错的策略更新相比，这提供了更直接的优化信号。

训练：世界模型与控制器交替改进

论文中的训练流程由三个环节构成，并且会不断循环。

首先，当前控制器在MuJoCo Warp物理仿真器中执行动作，把关节状态、控制指令和下一时刻的状态保存下来。接着，世界模型利用这些记录学习状态转移。最后，训练暂时固定世界模型，让控制器在模型预测出的未来状态中“练习”，并通过时间反向传播更新策略。

这不是先训练好模型、再永远冻结它。随着控制器能力提高，它会访问新的动作状态，世界模型也持续吸收新数据。两者交替改进，形成一个闭环。

在具体实现上，世界模型使用连续8步的历史片段学习预测，策略优化则在模型中向前想象32个控制步。论文还引入价值网络，估计32步之后可能获得的收益，避免控制器只顾眼前动作。由于预测模型本身可以求导，训练不要求底层物理仿真器也具备可微能力，这让方案可以沿用已有的刚体仿真工具。

实验：算力究竟省在了哪里？

论文最受关注的结果来自与SONIC的对比。SONIC报告的训练投入约为128张NVIDIA L40、持续168小时，折合约2.1万GPU小时；SuperMimic达到更高归一化跟踪回报时，使用一张H100训练约3小时。按论文给出的统计口径，墙上时间缩短超过50倍，GPU小时减少超过1000倍。

这里有一个值得说明的前提：两组实验并非完全相同的硬件和数据条件。SONIC使用611小时动作数据，SuperMimic使用其中公开的约264.56小时；L40与H100的性能也有差别。因此，这个数字更适合用来理解训练路线的效率差距，而不是简单认定两套系统进行了严格等条件的成本竞赛。

为此，作者还做了更受控的实验。在相同动作、观测、奖励和网络规模条件下，SuperMimic只用一张GPU，约1.2小时就达到0.82的评估回报；采用传统PPO的对照方法，即使用到8张GPU，在18小时实验预算内也未达到这一水平。

效率提升还有两个具体来源。在实际使用的并行环境规模下，世界模型的预测速度超过MuJoCo Warp仿真器的10倍；当并行环境增至6.4万个时，速度优势最高达到62倍。与此同时，直接对模型中的未来回报求导，也明显减少了训练所需样本：与同样运行在世界模型里的PPO相比，SuperMimic用约六十四分之一的预测步数，就达到其最佳训练回报。

另一个有意思的现象是，动作数据从1小时增加到264小时，世界模型的8步预测误差仍保持在0.007至0.011之间。对同一台机器人而言，新动作带来的不只是训练负担，也是在补充它对共同身体动力学的认识。

实机：同一个策略，让G1完成多种动作

一套控制方法是否值得关注，最终还要看它能不能离开仿真器。研究团队将训练得到的统一动作跟踪策略部署到了真实的宇树Unitree G1上，并展示了跳跃、侧向翻滚、90度翻转以及原地360度空翻等动作。论文强调，这些演示使用同一个跟踪策略，没有针对每个动作分别调参。

除了完成动作，控制器的恢复能力也很重要。论文在仿真中测试机器人保持T形站姿时遭受推力扰动的表现。带有价值网络的控制器能在约0.5至2.4秒内重新稳定；没有价值网络的版本则会持续踉跄，强扰动下还会摔倒。这说明，训练时适当考虑更远的未来，对恢复平衡同样重要。不过，这项抗扰动比较来自仿真测试，不能直接视作实机抗推性能的证明。

扩展：从模仿动作走向速度控制

如果机器人只能跟踪预先给定的完整动作序列，实际应用仍然受限。为此，作者还尝试让同一个底层控制器接收速度命令，例如向前走多快、横向移动多快、以多大的角速度转弯。

他们比较了两种训练方式：一种从动作模仿中蒸馏出速度控制接口，另一种让速度编码器直接根据速度跟踪奖励，通过世界模型进行强化学习。针对672组速度阶跃指令，后者在其中650组取得更小的稳态误差；蒸馏方案在15组更好，另有7组快速转向出现跌倒。

这个结果说明，世界模型不仅能用来学习“复现某个动作”，也有机会服务于具体的运动控制目标。当然，作者将这部分定位为初步研究，距离成熟的多任务机器人控制接口仍有不少工作要做。

边界：零失败不等于未知动作全覆盖

在129,514条动作的统一评测中，SONIC公开检查点有179条动作失败；SuperMimic单卡训练3小时后为25条，两张GPU训练9.8小时后降至0条。这组数据很有说服力，但必须注意：评测动作来自训练动作库，衡量的是已覆盖动作的执行成功情况，并不等于面对任意未知动作都能做到零失败。

此外，世界模型目前主要从仿真数据中学习，训练场景也局限于平地，没有系统覆盖复杂地形和物体交互。研究者在论文中同样承认，多控制接口联合训练的收益尚未得到充分验证，未来仍有必要结合真实机器人数据进一步修正动力学预测。

从工程角度看，SuperMimic真正有价值的地方，或许不只在于把一项训练任务从几天缩短到几小时。它展示了一种更经济的研发路径：把人体动作之间共用的物理规律集中学习，再用快速、可求导的预测模型反复优化控制器。当试验成本足够低，研究者才有机会更频繁地比较不同动作数据、网络结构和控制目标，逐步摸清人形机器人全身控制的规模化规律。