点击下方卡片，关注【Xbotics具身智能实验室】公众号
你想要的这里都有~~
作者/卡布
【完整视频｜SYMBIOSIS Direct Perception Control】
今天下午，具身智能公司共生知行（Symbiosis）发布了技术Blog与完整演示视频。
视频中，一台双足人形机器人G1走到卡丁车旁，跨过车架，调整身体姿态坐进低矮座舱。车辆驶上赛道后，它双手操控方向盘，脚部控制油门与刹车，根据道路和车辆状态持续调整方向与速度。整段过程包含常规行驶、弯道转向和车身修正，漂移是其中最亮眼的一幕。
技术难度贯穿上车、入座和驾驶全过程，核心在于连续的全身协同。据团队介绍，该公司由机器人领域Best Paper得主联合创立，研究方向涵盖人形机器人的感知、学习与全身控制。英文名Symbiosis有“共生”之意，中文名中的“知行”也与此次工作的技术命题相呼应。模型生成任务意图后，身体能否准确跟上？团队在此次Blog中给出的方案是Direct Perception Control Model（DPC）。
01｜卡丁车漂移考验机器人的全身协同
上车这个日常动作，在机器人身上变成了一组连续的全身控制问题。
它需要接近车辆、调整站位，再以单腿支撑完成跨越。随着躯干转动和重心转移，双足、车架、座椅和双手先后承担支撑作用。落脚位置、身体姿态或接触时机一旦偏离，后续动作都会受到影响。团队将这一过程称为全身移动操作，也就是whole-body loco-manipulation，机器人需要在移动身体的同时处理与环境的接触。
【GIF 01｜机器人单腿跨过车架，身体重心向座舱内部转移】
进入座舱后，有限的空间开始压缩机器人的动作余量。机器人髋部和膝部需要大幅折叠，骨盆受到座椅限制，躯干要避开方向盘，双腿还要为踏板操作留出空间。这类低位姿态远离常见的站立与行走分布，主要依靠运动数据训练的低层控制器可能缺少相应能力。上层模型即使给出正确的坐下意图，动作也可能在关节执行阶段中断。
【GIF 02｜机器人在低位空间中调整髋、膝、躯干和双腿位置】
车辆驶入赛道，任务开始进入动态控制阶段。路况、车身运动和机器人自身姿态不断变化，系统需要根据实时反馈持续修正控制指令。进入漂移状态时，车身朝向与实际运动方向出现偏差，相机视野快速变化，系统必须在更短的时间窗口内完成方向与速度修正。每次调整都会改变下一时刻的画面与身体状态，视觉判断、身体动作和执行反馈持续循环。
卡丁车驾驶任务把两类通常分开测试的能力接在了一起。入舱阶段偏向全身运动操作，考验构型可达性与接触切换；车辆启动后转入动态视觉控制，漂移增加了侧滑状态下的方向修正与踏板配合。两段过程共享同一套身体状态，系统必须在连续执行中完成能力切换。相比单独展示行走或方向盘操作，这条完整动作链提供了更多技术信息。
【GIF 03｜机器人自主移开路障】
02｜分层控制可能卡在关节执行
同一套控制系统要连续生成入舱、坐姿调整、方向控制和踏板控制所需的关节动作。上层系统生成动作意图，控制系统再把意图落实为当前的关节目标。中间表征一旦丢失任务信息，误差便会在后续动作中累积。
常见的人形机器人控制系统采用分层架构。上层Latent Policy读取视觉与任务指令，生成中间运动表征；下层Whole-Body Tracker结合身体状态，将其解码为关节目标。两者也可对应为负责规划的System 1与负责执行的System 0。这套方法便于复用已经掌握站立、行走和平衡能力的低层控制器，也降低了上层模型的训练负担。
分层路线在行业中被广泛采用，有很现实的原因。成熟的低层控制器可以守住站立、行走和平衡等基础能力，上层模型只需学习任务和环境，训练成本更可控，模块替换也更方便。对于动作分布相对稳定的任务，这是一条高效路线。它的压力主要出现在低位入舱、狭窄空间操作和复杂接触等长尾构型中，原有低层能力覆盖不到的动作，上层很难临时补出来。
低位入舱可能超出原有低层能力的覆盖范围。任务信息也可能在中间表征中流失，独立训练的两层模型缺少贯穿执行链的共同目标。低层控制器冻结后，最终动作还要受原有训练分布约束。上层看懂了任务，动作仍可能卡在末端解码环节。
即便运动表征达到64维，经固定解码器映射后，实际可达的仍可能只是29维关节空间中的一部分。维度更高，与动作覆盖更广没有必然关系。卡丁车所需动作一旦落在解码器的可达范围之外，继续扩展上层感知与规划模型也难以补足缺失的关节能力。
【图01｜传统分层架构中的感知、运动表征与关节动作路径】
03｜DPC直接生成29维关节目标
DPC把训练重点放在最终动作空间。中间表征有多少维，描述的是输入坐标数量；机器人最终能够发出哪些动作，取决于解码器实际覆盖的动作集合。直接使用关节目标进行监督，可以把任务信息和执行结果纳入同一个训练目标，减少冻结解码器带来的限制。
根据此次公布的架构，DPC读取机载RGB画面、任务语言、实时身体状态、动作历史与执行反馈，直接生成关节和手部目标。独立Whole-Body Tracker所承担的二次翻译被移除，训练监督直接落到机器人执行动作的空间。
DPC直接输出29维PD Target，也就是关节位置控制目标。电机执行继续受到关节限位、力矩饱和和安全裁剪等机制保护。低层伺服与安全约束继续保留，主要改动集中在学习系统内部。
视觉信息与身体状态运行在不同频率。DPC设置了Perception Expert和Motion Expert，前者读取道路、环境与任务信息，形成World Context；后者跟踪本体状态与动作历史，持续生成关节目标。连接两者的Symbiotic Attention（细节暂未公布）让感知表征与控制表征围绕同一个动作目标相互适配。实机运行时，视觉异步更新，本体反馈以更高频率进入系统，两类信息由同一模型协同处理。
Symbiotic Attention 让视觉表征接受最终动作误差的约束。弯道、车速和座舱位置等视觉信息，在帮助模型生成更准确的关节目标时得到强化。最终动作误差也会反向塑造视觉表征，使其具备更明确的动作指向。
【图02｜Direct Perception Control Model实机推理架构】
当前不少VLA系统将视觉和语言模型的输出停在技能选择、末端轨迹或中间运动表征，再交给下游控制器完成动作。DPC把模型能力推进到关节层，希望获得更大的构型覆盖范围。联合优化扩大了模型可学习的动作范围，也把稳定控制的压力前移到数据与训练环节。模型需要更多与具体身体对齐的动作数据，还要处理高频控制、闭环偏差和安全约束。
标准化任务更强调复用效率与稳定边界，模块化控制依然具有工程优势。通用人形机器人需要处理大量长尾构型，联合训练更有机会扩展动作范围。DPC选择了面向长尾动作的路线，更大的动作空间能否转化为可重复的稳定表现，还要经过更多实机任务检验。
04｜DriftDistill 训练机器人走偏后恢复
离线行为克隆主要记录示范中的理想轨迹，对机器人实际走偏后的状态覆盖有限。一旦策略滑出示范分布，细小误差就可能沿着动作链继续放大。DPC直接生成关节目标，获得了更大的动作范围，也承担了更高的稳定控制要求。
DriftDistill 专门处理策略在闭环运行中到达的偏差状态。Student策略先从离线示范中建立基础能力，随后进入真实闭环运行。冻结的Teacher针对Student实际到达的状态给出恢复动作，再将纠偏结果蒸馏回Student。团队将这一过程概括为Ground、Visit、Correct和Absorb。多轮运行会持续暴露新的偏差状态，策略通过纠偏数据逐步获得恢复能力。
DriftDistill 的监督范围同时覆盖专家示范和Student实际访问的状态，针对行为克隆常见的分布偏移。Student暴露自身会到达的偏差区域，Teacher提供对应的恢复目标，训练数据也更接近策略部署时遇到的状态。
05｜15,010小时异构数据适配G1
策略的恢复能力依赖闭环纠偏，基础动作覆盖依赖数据的广度。此次Blog披露了DPC的训练数据规模，共15,010小时。其中包括6,781小时Human Ego数据、4,024小时Armed Robot数据、3,660小时Wheeled Humanoid数据，以及545小时Bipedal Humanoid数据。
四类数据具有不同的身体形态、坐标系和控制接口。团队提取其中相对可靠的运动信息，再转换为G1可以执行、并在时间上对齐的关节轨迹。人类第一视角、机械臂、轮式人形和双足人形提供的运动数据，由此成为适配G1关节控制接口的训练样本。
【图03｜15,010小时具身数据的来源与动作转换路径】
数据规模影响模型能够接触多少动作，转换质量则影响这些动作能否被G1有效执行。人类视频如何形成关节监督、动作重定向的误差如何控制、不同来源的数据经过何种筛选，仍需更完整的技术材料说明。
人形机器人行业同时面临数据接口碎片化。视频、机械臂、轮式平台和不同型号的人形机器人使用不同的身体结构与控制接口，累计时数无法直接转化为机器人能力。异构数据的动作转换管线，以及实机运行中持续收集偏差状态的闭环，决定了15,010小时数据能够产生多少有效监督。模型架构影响可学习的动作范围，数据转换和闭环训练影响这些动作能否稳定落到某一副具体的身体上。
06｜稳定复现检验DPC的实机能力
卡丁车驾驶任务给DPC提供了一次长链检验。机器人连续经历构型转换、多点接触和动态驾驶，前一步产生的误差会直接进入后一步。与单独行走或操作方向盘相比，这类连续任务更容易暴露感知与控制之间的断点，也更接近通用人形机器人将要面对的工作方式。
判断系统成熟度，还需要路线长度、连续运行时长、重复成功率、人工接管次数、失败后的自主恢复，以及更换车辆和场地后的表现。DPC直接生成关节目标，拓宽动作范围的同时，也把安全、稳定和数据质量推到了更关键的位置。
这项工作的行业价值，落在VLA与全身控制的接口上。视觉语言模型过去更多负责理解任务和生成中间指令，DPC继续向关节层推进，让任务语义和身体执行接受同一个动作目标约束。假如这条路线能够稳定复现，行业比较模型时，除了参数规模和任务理解能力，还要看关节级动作覆盖、闭环纠错以及跨平台适配。
共生知行用一台会漂移的G1，交出了DPC的第一份实机答卷。卡丁车能否成为通用全身智能的起跑线，还要看这套方法能不能驶出赛场，在更多身体、更多任务中稳定复现。
-END-
Ask Me Anything｜提问箱
对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。
怎么问：在评论区留言，或私信公众号
我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。
提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。
一起把问题变成知识，推动社区进步 🚀
