点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
太长不看版：W2-VLA 不再把主视角和腕部视角平行处理，而是用全局任务上下文预测未来腕部潜变量，再指导精细动作；它在 LIBERO 达到 98.5%，并保持 80Hz 以上动作生成。
导读
视觉—语言—动作模型常把主视角与腕部视角当成平行视觉输入，忽略二者在机器人操作中的不同作用。然而，精细操作真正需要的，是在全局任务上下文下预判腕部附近的局部交互将如何演变。
作者提出 World-to-Wrist VLA（W2-VLA），通过任务条件化未来腕部建模完成精细机器人操作。给定当前多视角观察与指令，VLM 把一组潜在建模词元上下文化，使其成为 VLM 与腕部预测器之间的紧凑接口。腕部预测器以该接口和腕部历史为条件预测未来腕部潜变量，再把它们转成面向未来的动作预测上下文。
作者还提出 W2-CoT 合成流水线，为操作进度、物理转移线索与腕部局部证据生成结构化标注；这些标注提供辅助监督，帮助塑造任务条件化潜在接口。
在 LIBERO、RoboTwin 2.0 与真实机器人任务上，W2-VLA 在单臂和双臂设置中都改善了精细、接触敏感操作，同时动作生成速度保持 80Hz 以上。
▲ 图 1：传统 VLA 依据当前多视角与语言直接生成动作；W2-VLA 还把任务条件化接口和腕部历史结合，预测未来腕部潜变量。
效果展示
▲ 图 3：真实机器人在标准与 OOD 条件下的表现；实心柱为成功率，斜线柱为平均进度分。
▲ 图 4：三类真实任务回合：长时程桌面清理、绕障后的遮挡放置，以及一臂固定插排、另一臂对齐插头的双臂插接。
引言
视觉—语言—动作（VLA）模型为从视觉观察和语言指令映射到机器人动作提供了统一接口。近期大规模预训练、跨机器人形态迁移与连续动作生成的进展，显著改善了其通用性和控制能力。然而，如 Figure 1 所示，现有多视角 VLA 通常把不同相机视图编码或融合为平行视觉输入，没有显式建模腕部观察“靠近动作”的角色。具体而言，主视角通过场景布局、物体身份、目标关系与任务进度提供全局任务上下文；腕部观察则直接揭示末端执行器周围快速变化的夹爪—物体交互。这一区别对插头插接等精细操作尤其关键，因为任务要求全局理解与局部交互动力学紧密协调。腕部观察这种贴近动作的作用，促使作者把它视为不止又一个当前视觉输入。
利用腕部特有作用的一种自然方式，是不仅建模当前腕部观察，还建模其短期演变。近期面向未来预测的视觉运动模型通过预测视觉子目标、未来观察或潜在表征来获得这种前瞻能力。然而，这些目标通常定义在全局场景或统一策略表征上，没有单独提取末端执行器周围的时间变化。以腕部为中心的潜变量预测则提供了贴近动作的目标：它捕获局部交互如何从当前状态继续演变，并聚焦与末端执行器相关的变化，无需重建像素级外观。
然而，以腕部为中心的预测仍存在任务歧义：相似腕部历史可能对应多个合理未来，需要全局任务上下文才能确定相关的那一个。例如，接近动作可能导向抓取或推动；对齐后的配置则可能需要继续调整、插入或释放，具体取决于指令、全局场景和当前操作阶段。因此，腕部历史提供当前局部交互的证据，全局任务上下文则用于识别与任务相关的转移。这促使作者构建一个紧凑的任务条件化接口，以结构化语义监督塑造，并连接 VLM 编码的全局任务上下文与未来腕部预测。
因此，作者提出 World-to-Wrist VLA（W2-VLA），把未来腕部建模表述为任务条件化潜变量预测。给定当前多视角观察和指令，VLM 将一组专用潜在建模词元上下文化；这些词元的隐藏状态形成 VLM 与腕部预测器之间固定长度、任务条件化的接口。为塑造任务条件化 VLM 表征，作者通过合成流水线构建结构化 W2-Chain-of-Thought（W2-CoT）标注，监督操作进度、物理转移线索和腕部局部证据。训练时，该接口共同受到自回归标注预测、未来腕部预测与动作生成目标塑造。预测器以该接口和冻结 V-JEPA 2.1 编码器得到的腕部历史为条件，预测与任务相关的未来腕部潜变量；轻量适配器从预测潜变量提取面向未来的腕部上下文，与 VLM 上下文组合后调节流匹配动作头。推理既不需要未来腕部观察，也不需要自回归解码 W2-CoT。
作者在 LIBERO、RoboTwin 2.0 和三项真实任务上评估 W2-VLA，覆盖单臂与双臂操作。W2-VLA 在 LIBERO 达到 98.5% 平均成功率，在 RoboTwin 2.0 Easy/Hard 设置下分别达到 60.71% 和 18.21%；在三项真实任务的标准与 OOD 条件中均超过全部基线。主要贡献如下：
作者把未来腕部建模表述为任务条件化潜变量预测，定义从全局任务上下文通往未来腕部局部动力学的 World-to-Wrist 通路，以支持精细控制。 作者开发以证据为依据的 W2-CoT 合成流水线；其结构化标注帮助塑造固定长度的任务条件化接口，指导依据腕部历史预测未来腕部潜变量。策略推理时无需生成 CoT，动作生成可达 80Hz 以上。 作者在 LIBERO、RoboTwin 2.0 和三项涵盖长时程执行与精细操作的真实任务上评估 W2-VLA。它在单臂、双臂以及标准/OOD 真实评估中均展现最先进性能。
主要贡献
作者把未来腕部建模表述为任务条件化潜变量预测，定义从全局任务上下文通往未来腕部局部动力学的 World-to-Wrist 通路，以支持精细控制。 作者开发以证据为依据的 W2-CoT 合成流水线；其结构化标注帮助塑造固定长度的任务条件化接口，指导依据腕部历史预测未来腕部潜变量。策略推理时无需生成 CoT，动作生成可达 80Hz 以上。 作者在 LIBERO、RoboTwin 2.0 和三项涵盖长时程执行与精细操作的真实任务上评估 W2-VLA。它在单臂、双臂以及标准/OOD 真实评估中均展现最先进性能。
方法
W2-VLA 把腕部相机视作离动作最近的“第一现场”：全局视角告诉机器人任务意图和场景关系，腕部视角则直接暴露抓取点、接触变化与遮挡。模型预测的不是遥远世界，而是受全局意图约束的局部短期未来；这份贴近动作后果的监督，正好能改善高频精细控制。
VLM 接收主视角、腕部视角和语言指令，同时在上下文中放入固定数量的潜在建模词元。其最终隐藏状态形成固定长度接口。冻结 V-JEPA 2.1 把过去若干腕部帧编码为腕部历史特征；预测器以接口和历史为条件预测未来腕部片段的潜变量，轻量适配器再把它变成未来感知腕部上下文，连同 VLM 表征调节流匹配 DiT 动作头。
▲ 图 2：W2-VLA 总体架构。潜在建模词元形成任务接口；V-JEPA 2.1 编码腕部历史，预测器产生未来腕部潜变量，适配器把它转为动作生成上下文。未来腕部片段只用于构造训练目标，推理不解码 CoT。
W2-CoT 流水线先根据状态—动作转移和同步视觉上下文划分候选轨迹片段，再用物理与视觉证据给片段落地；VLM 生成 Subtask、Reasoning、Wrist 三类结构化描述，随后确定性规则检查夹爪状态、释放前提、腕部局部性与时间一致性，通过的片段再语言归一化并扩展为逐帧监督。
▲ 图 6：W2-CoT 标注流程。从轨迹切片、证据落地、VLM 提议，到确定性一致性检查和逐帧结构化监督。
▲ 图 7：W2-CoT 词云，按数据集展示 Subtask、Reasoning、Wrist 与完整 CoT 的高频词。
训练时，结构化标注提供辅助下一词预测监督，但提示格式与标注目标状态不会进入 DiT 动作上下文；动作头只使用视觉、指令、潜在建模状态以及未来腕部适配器输出。推理不生成标注序列，保持相同的可部署动作上下文。
实验结果
W2-VLA 在 LIBERO 四套任务平均达到 98.5%。RoboTwin 2.0 的 clean/Easy 与域随机化/Hard 成功率分别为 60.71% 与 18.21%。真实评估包括桌面清理、遮挡放置和双臂插头插接，在标准/OOD 条件中同时报告成功率与阶段进度分，W2-VLA 均超过基线。
组件消融分别检验未来腕部预测、W2-CoT 接口监督、接口长度和不同未来视图预测目标；效率图显示模型保持 80Hz 以上动作生成。腕部预测质量以余弦相似度和 MSE 衡量。注意力可视化显示，潜在建模词元会随任务阶段在主视角全局信息与腕部接触区域之间调整关注。
▲ 图 5：潜在建模词元在多视角上的注意力。随操作阶段变化，模型在主视角与腕部视角间调整关注；解码出的结构化文本只用于语义解释。
▲ 图 9：真实机器人实验设置。
总结 & 未来工作
作者提出 W2-VLA，一个面向精细机器人操作的任务条件化未来腕部建模框架。它不再把主视角与腕部视角当成平行输入，而是使用由结构化 W2-CoT 监督塑造的紧凑潜在接口，把全局任务上下文连接到腕部局部预测。预测器以该接口和腕部历史为条件，预测未来腕部潜变量，并将其作为动作生成的未来感知上下文。在 LIBERO、RoboTwin 2.0 和真实任务上的实验表明，W2-VLA 在单臂和双臂设置中都表现强劲。策略推理时无需生成 CoT，因此动作生成可保持 80Hz 以上。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
