起猛了,机器人开上卡丁车了!

机器之心 2026-08-17 18:00
起猛了,机器人开上卡丁车了!图1
机器之心发布

今天,Symbiosis Robotics(共生知行)放出了一段新演示。


画面里,机器人先压低身体,把四肢挪进卡丁车狭窄的驾驶位。驶上赛道后,它根据眼前的弯道调整方向,右脚踩油门、左脚控制刹车。镜头来到终点,卡丁车随即甩尾,原地漂了一圈。


几段赛道画面中,机器人根据弯道调整方向;镜头来到终点,卡丁车随即甩尾漂了一圈。


你别说,这套动作还真有点「机器人车手」的样子。


不过,热闹不只在漂移。


这段视频真正想回答的是一个更基础的问题:机器人已经看懂了弯道,接下来,怎样让这份判断及时变成全身的关节动作?


团队推出了 Direct Perception Control(DPC)。它取消了需要独立 Whole-Body Tracker 追踪的中间运动表示,让模型结合画面、任务和身体反馈,直接计算关节与手部目标。


为了训练这套系统,团队还整理了 15,010 小时具身数据


机器人开卡丁车,难在哪里?


先看上车。


卡丁车座舱低矮又狭窄,机器人要压低躯干,重新安排髋、膝和四肢的位置,同时还得给双手留出握住方向盘的空间。


开起来以后,事情更多。


机器人一边要根据赛道画面判断弯道,一边要连续协调手脚:双手调整方向,右脚控制油门,左脚控制刹车。车速和转向一变,身体受到的反馈也跟着变,下一步动作必须马上调整。


换句话说,难点不只是「会转方向盘」或「会踩油门」,而是让感知、决策和全身控制在连续运动中接得上。


这正好暴露了人形机器人系统里一个长期存在的问题:看懂任务的模型,和真正控制身体的模型,中间还隔着多远?


一层 Motion Interface,究竟限制了什么?


常见的人形机器人控制方案,会把「知道要做什么」和「让身体做出来」分成两层。


Figure Helix 用一套系统处理低频语义推理,另一套系统负责高频控制。Gemini Robotics 2 也分别使用 embodied reasoning model 与 VLA 完成任务推理和全身动作执行。〔2–3〕这类分层设计已经十分成熟,DPC 进一步探索的是:能否让负责认知理解的模型与直接生成关节动作的 motion expert 在统一训练中联合优化,使任务理解与全身控制相互适配,共同提升。


起猛了,机器人开上卡丁车了!图2

分层架构先生成运动表示,Whole-Body Tracker 再计算关节动作。DPC 考察接口是否保留足够信息,也关注训练怎样连接以及低层控制器会做哪些动作。


Motion goal 说清了姿态,还缺少什么?


Motion goal 描述身体大概要做什么,真正执行时,Tracker 还要结合当前身体状态计算 Joint Target。上层模型即使更懂任务,也不会自动掌握 Tracker 在不同接触和平衡条件下学会的动作。决定身体怎样发力、怎样维持支撑的关键选择,仍然发生在 Motion Interface 之后。


起猛了,机器人开上卡丁车了!图3

潜空间里相近的运动意图,经过身体状态的条件映射后,可能对应差异明显的关节动作。


实机上连续执行,训练时能否一起调整?


实机运行时,Latent Policy 和 System 0 会依次工作。训练时,前者学习生成运动表示,后者单独学习 tracking 与 stability。两套模型直到部署时才通过接口接起来,低层动作产生的误差和画面变化也就无法同时用来调整上层策略。


起猛了,机器人开上卡丁车了!图4

Latent Policy 与 Whole-Body Tracker 分别训练,部署时再通过 Motion Interface 串在一起。


当低层控制器被冻结,机器人的动作能力还能扩展吗?


机器人最终能做出哪些动作,还取决于 System 0 见过哪些训练数据。低层先验如果主要学习行走,高层新增的移动操作任务仍要由这套先验执行。坐进卡丁车需要在狭小空间里重排全身姿态,驾驶又要求上肢和下肢持续配合,这些动作都在扩展原有的行走范围。


起猛了,机器人开上卡丁车了!图5

移动操作会进入行走数据较少覆盖的区域,低层控制器学过的动作范围也会影响最终执行。


这并非 DPC 独自面对的问题。ω-0、MotionWAM 和 Ψ₀ 都将视觉信息与身体状态用于动作生成,但仍采用分层控制:前两者先预测全身动作 latent ,再交由底层控制器执行;Ψ₀ 则将上下肢解耦,分别生成下肢运动指令和上肢关节命令。〔4–6〕相比之下,DPC 直接以 Joint Target 作为训练目标,在学习关节动作时始终参考任务信息和身体反馈。


DPC,怎样把画面直接变成关节动作?


如果限制来自中间接口,DPC 的选择就不是继续扩充这层表示,而是绕过它。按照官方说明,DPC 取消了需要独立 Whole-Body Tracker 追踪的中间运动表示。DPC 读取画面和任务语言,同时接收身体状态;此前的动作记录和执行反馈也会一并纳入计算,最终直接输出关节和手部目标。〔1〕


DPC 中的 “Direct” 指直接输出 Joint Target。电机仍由 PD 控制和硬件执行层驱动,关节限制等安全措施也完整保留。


DPC 内部保留 Perception Expert 与 Motion Expert,前者理解场景和任务,后者处理高频身体反馈。Symbiotic Attention 让两边交换信息,并在同一个 action objective 下训练。这样一来,感知专家会留意那些可能改变动作的画面差异,运动专家计算关节目标时也能使用最新的任务信息。


相机画面无需频繁重复计算,身体状态却一直在变化。DPC 异步更新视觉结果,同时连续读取本体反馈。运动专家每次计算动作时,都能使用最新的画面信息和身体状态。


起猛了,机器人开上卡丁车了!图6

DPC 取消了等待 Tracker 追踪的运动参考,直接结合画面和身体反馈计算关节与手部目标。


直接输出关节动作打通了训练链路,但也要求策略正面处理实机执行中不断积累的偏移。接口取消后,DPC 策略还要学会处理实机运行中的偏离,因此它先通过 Offline BC 完成初始化,再进入 DriftDistill 的第二阶段训练。Student 在 online rollout 中遇到自身容易偏离的状态,Frozen Teacher 为这些状态给出恢复动作;训练时,online rollout 与 offline demonstrations 会一起用于更新 Student。


起猛了,机器人开上卡丁车了!图7

DriftDistill 先用离线示范建立动作基础,再把 Student 实际遇到的偏离状态和 Teacher 给出的恢复动作加入训练。


经过反复 rollout,Student 会逐步学会自己在部署中遇到的状态和恢复路径。更新后的 Student 策略可以处理更多实机状态,也能在偏离发生后继续完成任务。


15,010小时数据,怎样装进同一个机器人身体?


直接输出 Joint Target 也把数据问题推到了前台:不同来源的记录必须先被转换成同一种“关节语言”。人类视频与不同机器人数据采用各自的身体结构和控制方式,无法直接混合训练;DPC 因此将每类数据转换成 G1 可执行、时间对齐的 joint action,再统一用于训练。〔1〕


更新后的数据集共 15,010 小时



起猛了,机器人开上卡丁车了!图8

不同来源数据经过转换后,对应到同一套 G1 关节动作。


转换完成后,画面、任务语言、身体状态、动作历史和后续关节动作被放到同一条时间轴上。所有数据最终落到同一个 execution space,为DPC模型提供统一的 Joint Target 监督。


不只开车,DPC还做了什么?


开车是最抓眼球的一段,但不是 DPC 的全部演示。


官方页面还展示了移动抓取与放置,以及受限姿态下的全身操作。〔1〕


在移动操作片段中,机器人走到桩前,弯腰下蹲后单手拿起目标,再转身移动到指定位置放下。


机器人走到桩前,俯身拿起目标,再转身移动到放置位置。


抓取会改变负重,转身会改变支撑关系。机器人需要一边完成任务,一边根据新的身体状态调整全身动作。



机器人压低躯干并调整四肢,坐进低矮的卡丁车座舱。


坐进卡丁车,则把这种能力推到了更受限的空间里;驶上赛道后,变化的画面又进一步进入控制闭环。


这些 demo 串起的是同一件事:机器人看到环境变化后,不再先生成一份运动参考、再等待独立 Tracker 翻译,而是结合此刻的身体状态,直接计算下一步关节动作。


当然,一段漂移视频不等于机器人已经学会了通用驾驶。DPC 展示的重点,也不是车技有多成熟,而是任务理解和全身控制能否在同一个训练目标下真正接起来。


回到开头。


机器人看见弯道,随即调整方向和油门;车身状态发生变化,下一步关节动作也跟着变化。


从「看懂」到「动起来」,中间少掉的不只是一层接口。


它也让感知与控制有机会在同一套系统里,共同学会如何完成任务。


文末 “阅读原文” 可查看Symbiosis Robotics(共生知行)更新后的完整技术页面,页面同时收录数据管线和实机演示。


资料来源


[1] Symbiosis-Robotics. Direct Perception Control Model, 2026. https://symbiosis-robotics.com/research/dpc

[2] Figure. Helix: A Vision-Language-Action Model for Generalist Humanoid Control, 2025. https://www.figure.ai/news/helix

[3] Google DeepMind. Gemini Robotics 2 brings whole body intelligence to robots, 2026. https://deepmind.google/blog/gemini-robotics-2-brings-whole-body-intelligence-to-robots

[4] Li Z, Zhang Z, Wei Y, et al. $\omega $-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation, 2026. ttps://arxiv.org/pdf/2608.06375

[5] Zheng J, Ma T, Fan Y, et al. MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation, 2026. https://arxiv.org/pdf/2606.09215

[6] PSI Lab. {$\Psi_0$}: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation,2026. https://psi-lab.ai/Psi0


© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
机器人
more
太有排面!人形机器人开运动会,专门打造“机器人之家”休整基地
9999 元!荣耀今晚发布这 “ 机器人手机 ” ,有点骚啊!
估值千亿与冷订单的博弈:带着五个疑问直击世界机器人大会
GGII:2026中国工业机器人减速器行业调研报告
机器人需要什么MCU?兆易创新给出答案
LG携手英伟达深化AI布局,人形机器人与智驾平台双线推进
具身智能的下一步,是让更多人拥有开发机器人的能力
超5亿元!又一“哈工程系”深海机器人完成新一轮融资
FF二季度营收创新高,机器人业务成扭亏关键引擎
10 年机器人老兵:具身智能的真相,可能和你想的不一样
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号