同一个冻结的全身控制器,不修改任何网络参数,只在部署时加入一个代价函数,就能在仿真中让人形机器人在 1.25 m 低杆下的无碰撞通过率从 2% 提高到 90%。在 Unitree G1 真机上,它只依靠头部的一颗激光雷达,就能在跳舞的同时低头钻过横杆、抬脚跨过栏杆。
这个结果来自东南大学、深圳理工大学等单位联合提出的 OneSteer。在论文中,研究团队用一步扩散模型构建了一个通用人形全身控制器:它先生成未来一段“状态–动作计划”,再执行这份计划,而这份计划可以在部署时被任意可微的代价函数改写。

在跟踪精度上,OneSteer 并没有为可引导性付出代价。在统一的 MuJoCo 评测中,它在 AMASS 和 BONES 留出集上的局部跟踪误差分别为 26.5 mm 和 22.6 mm,低于 SONIC、HoloMotion、HEFT 等全部 6 个对比模型。同一个模型还能利用自身计划的分歧,在不做任何物理仿真的情况下提前找出容易跟踪失败的动作。
通用跟踪器为什么“不会变通”?
通用动作跟踪的目标,是让一个策略复现各种参考动作。参考动作里编码了精确的时序和全身协调,这正是跟踪器擅长的部分。
但部署中的要求,往往超出了“照着做”。机器人可能需要越过障碍、端稳托盘,或者在某个电机出力下降时继续工作。这些要求有一个共同特点:
它们只说明了想要什么结果,却没有给出修改后的全身轨迹。
一个直观的办法,是先在上游编辑参考动作,再交给跟踪器执行。比如过杆时,把参考中的骨盆高度往下压。问题在于,跟踪器是在自然的人体动作上训练的,编辑后的参考往往并不自然。实验显示,编辑后的参考要求骨盆降低 6.2 cm,跟踪器实际只降了 1.0 cm。参考本身能够过杆,执行出来却过不去。
另一类方法是可引导的生成式控制器,但它们通常以目标点、关键帧或文本为条件,而不是完整的全身参考窗口,很难兼顾“继续跟踪参考”和“满足新目标”。
研究团队因此提出了一个更直接的问题:能否用同一个控制器,在不重新训练的前提下,把通用跟踪能力复用到各种新的“动作 × 目标”组合上?
先生成计划,再执行
OneSteer 把控制拆成了两个环节。

第一个环节是生成计划。每个控制步,生成器以机器人的本体感知和未来一段参考动作为条件,把一个高斯噪声一次前向映射为约 1 秒的计划,其中每个时刻都包含机器人状态和对应的关节目标。参考动作按根节点、腿和上半身分成三组编码。
可以将这份计划理解为控制器对“接下来身体会怎么动”的预测。之所以采用一步生成,一方面是速度快,RTX 4090 上每次调用只需 3.8 ms;另一方面,从输入噪声到计划是一条直接可微的映射,后续的引导不需要沿多步去噪链反向传播。
第二个环节是执行计划。机器人并不直接执行计划里的动作,而是由逆动力学头根据当前反馈、计划中最近 4 步的状态和参考重新计算指令,执行一步后再重新规划。由于指令由计划中的状态决定,改变计划,也就改变了机器人实际的动作。
在这一结构下,测试时引导变得很自然。部署时,任务被写成一个对计划可微的代价函数,例如身体与障碍物距离场的穿透深度、手到目标的距离、托盘的倾角,或者电机扭矩是否超出限制。OneSteer 沿着代价的梯度更新生成器的输入噪声,网络权重始终保持不变。这些代价函数只在测试时给出,训练中从未出现过。

具体实现中,生成器在每个控制步调用两次。第一次从纯噪声生成一份草稿计划;第二次在草稿上混入适量新噪声再修复,引导就作用在这次调用之前,只需 2 步梯度更新。研究团队发现,引导几乎完全通过第二次调用发挥作用:在 1.25 m 低杆上,只引导第一次时通过率仅为 0.02,只引导第二次时达到 0.90。而在不引导时,调用一次和两次的跟踪精度几乎相同,第二次调用可以完全留给引导使用。
当新目标与参考动作发生冲突时,OneSteer 还可以按身体分组选择性地放开参考。被放开的部位交给代价函数控制,其余部位继续跟踪参考。例如,隐藏上半身参考后,机器人可以一边正常行走一边伸手够物;隐藏腿和上半身后,只加一个速度代价,控制器就变成了全向速度控制策略。
改输入噪声,为什么比改参考动作更有效?
为了回答这个问题,研究团队在相同的代价下编辑参考动作,再交给通用跟踪器 MimicLite 执行,并比较了三种做法:离线编辑、从机器人当前状态出发的闭环重新优化,以及允许同时修改根节点高度的版本。

结果差距很明显。在 1.25 m 低杆上,OneSteer 实时引导的无碰撞通过率为 0.90,而所有编辑方法最高只有 0.11;在更低的 1.20 m 低杆上,OneSteer 为 0.56,编辑方法最高仅为 0.02。
这些收益是否只是因为 OneSteer 生成了更好的计划?研究团队为此加入了"规划器 + 独立跟踪器"的对照,让 MimicLite 直接跟踪 OneSteer 引导后的计划。结果,1.25 m 低杆的通过率为 0.74,仍低于 OneSteer 自己执行时的 0.90。
对执行来说,执行头是否"认得"这份计划,可能和计划本身同样重要。OneSteer 的执行头与生成器一起训练,学会了跟随自己生成的计划,过杆时能把骨盆降低 5.9–6.6 cm。相比之下,在自然动作上训练的跟踪器面对编辑过的参考,只能执行其中很小一部分。
研究团队还排除了几种可能的替代解释。用同样大小的随机扰动替代代价梯度,或者从 8 个随机样本中挑选最好的一个,都几乎没有带来提升。这说明增益确实来自代价梯度对生成器输入的优化,而不是随机性本身。
一个冻结的模型,能适配多少种任务?
除了避障,在不做任何微调、不提供任何示范的条件下,同一个冻结的 OneSteer 还被用于多种新任务。

在电机故障场景中,膝关节或髋关节电机只剩 15% 的扭矩,而只有代价函数知道这个故障。对超出降级上限的扭矩加以惩罚后,存活率分别从 0.71 提升到 0.79、从 0.79 提升到 0.84;
在端托盘任务中,托盘上放着一个可以自由滚动的小球,对手部倾角加入代价后,小球掉落率减半,从 0.16 降到 0.08;
在速度指令任务中,遮掉腿和上半身的参考,再加入一个根节点速度代价,OneSteer 就成了一个全向速度控制策略,速度误差从 0.159 m/s 降到 0.112 m/s。
这些引导设置是在行走动作上调好的。研究团队把它们原封不动地用在未见过的舞蹈动作上:面对头部高度、迎面或从侧面扫来的横杆,无碰撞通过率从 0.01 提升到 0.72。
从仿真到真机:只靠一颗激光雷达能做到什么?
为了检验这种引导能否迁移到真实机器人,研究团队在 Unitree G1 上进行了实验,全程使用同一个冻结的策略。
首先是基本的跟踪能力。在 9 段不同的全身动作上,OneSteer 各执行 3 次,27 次全部完成,没有一次摔倒,后空翻和跑步这类高动态动作也能稳定跟踪。
真机上的引导不依赖任何已知的障碍物几何,障碍物信息全部来自机器人头部的激光雷达。代价函数与仿真中的低杆任务完全相同,只是把解析的障碍物距离换成了从激光雷达读取的距离。

在走路参考下,机器人钻过 1.1 m 低杆 5 次成功 4 次,跨过 12 cm 栏杆 3 次全部成功且没有摔倒;而不加引导时,机器人每次都会撞上横杆或被栏杆绊倒。
更有意思的是跳舞的案例。研究团队把参考动作换成一段舞蹈,代价函数和设置都不变。不加引导时,机器人跳着跳着一头撞飞了横杆,或者一脚踢散了栏杆。加入引导后,它一边保持手臂的舞蹈动作,一边低头钻过横杆、抬脚跨过栏杆,跨栏 3 次全部成功。在这个过程中,腿和躯干在为避障做出调整,而舞蹈的风格基本保留了下来。

延迟方面,在机器人搭载的 Jetson Orin NX 上实测,跟踪每步 4.2 ms,引导第二次调用每步 14.4 ms,都在 50 Hz 控制周期的 20 ms 之内。
计划的分歧,能不能提前暴露失败?
OneSteer 的计划不仅可以被改写,还能告诉研究者模型“哪里没学好”。
这背后的道理并不复杂。输入噪声本身不携带任何关于未来的信息,一个训练充分的生成器,面对不同的噪声应该给出几乎相同的计划。反过来,如果同一个参考动作在不同噪声下生成的计划彼此分歧很大,就说明模型在这段动作上还没有学好。

基于这一点,研究团队把参考动作直接当作机器人状态回放,用多份计划之间的离散度给每段动作打分。整个过程不需要物理仿真,也不需要运行策略。

在 7,884 条训练库动作中,按离散度排序的前 2% 里,有 91% 确实会跟踪失败,接近需要世界模型“想象 rollout”才能得到的 93%。打分速度比每段 5 次仿真 rollout 的做法快 11–28 倍。
找到失败动作之后,下一步就是修复。用离散度挑出的 329 条动作做定向微调,修复了基础模型 48% 的失败,而从同一候选池中随机挑选同样数量的动作只能修复 35%。在训练中从未见过的技能类别上,110 条原本失败的动作,微调后成功率也提升到了 48%。
从“照着做”到“按需改”
回顾 OneSteer 的设计,可以看到一条清晰的主线:把“状态–动作计划”作为通用跟踪、测试时引导和闭环执行之间的共享接口。
一步扩散让计划生成足够快,也让从噪声到计划的映射可微;执行头与生成器一起训练,使改写后的计划能够真正落到机器人身上;身体分组掩码决定了哪些部位继续跟随参考、哪些交给新任务;而计划之间的分歧,又为发现和修复模型的薄弱环节提供了一条不依赖仿真的途径。
这项工作最值得关注的地方,是它让通用跟踪器从“只会照着参考做”,走向“在保留跟踪能力的同时,按部署需求改动作”。对于希望用一个控制器覆盖多种部署场景的人形机器人系统,这意味着面对新的场景和任务时,不一定需要重新采集数据、重新训练。
研究团队也提到了后续的两个方向。一是视觉:把深度图或第一人称视角作为条件 token,让计划本身就能预见障碍,或者直接从图像预测距离场作为代价;二是力控:推、搬、开门这类任务需要持续的接触力,在条件中加入力或触觉 token、在计划中加入接触力之后,代价函数就可以直接规定一个力,而不只是一个姿态。在这两个方向上,生成器、引导和失败评估都可以原样沿用。
项目资料
项目主页:onesteer.github.io
论文:arxiv.2610.41354
作者:Yifei Huang、Yazhao Yang、Weijia Li、Tianle Shi、Ji Jin、Zhihui Cai、Zihao Liu、Jianzhuang Zhao、Songlin Dong、Xinyuan Chang、Yihong Gong、Dian Shen、Zhiheng Ma(Yifei Huang 与 Yazhao Yang 为共同第一者,Dian Shen 与 Zhiheng Ma 为通讯作者)
研究机构:东南大学、南方科技大学、香港理工大学、深圳大学、深圳理工大学、西北工业大学、Primotion、西安交通大学
-END-
点击下方卡片,关注【Xbotics具身智能实验室】
你想要的这里都有~~
Ask Me Anything|提问箱
对文章有疑惑,或想聊更深?欢迎把你的问题丢给我们:技术方案、实操踩坑、课程与资料、项目合作、职业发展,都可以问。
怎么问:在评论区留言,或私信公众号
我们会做什么:每周集中整理高质量问题并公开回复,重点问题邀请作者或嘉宾深度解答;典型问题会加入知识库并持续更新。
提问小提示:尽量说明「你的目标—当前做法—期望产出」,附上必要信息(硬件/软件版本、数据规模等),能更快获得有用答案。
一起把问题变成知识,推动社区进步 🚀