一句「往开口方向对齐」就能真正矫正机械臂动作？上海交大与 Anyverse 提出 A²-MEAS

做一顿饭、收拾一间屋子，动作序列可以很长。机器人把滤纸放到杯口，一侧滑进杯沿以下，继续下压只会把滤纸边缘卡住。它需要的不是把刚才的动作再做一遍，而是一次有依据的调整：抬起、对齐开口、重新放下。

问题在于，调整的意图很容易说出口，却很难进入连续控制：控制策略按视觉与指令生成轨迹，语言模型知道「滤纸左侧失去支撑」，两者之间缺少一个通道。上海交大人工智能学院 AutoLab 与 Anyverse Dynamics 的 A²-MEAS 把通道做成一段可学习的「纠正代码」：纠正指令、核验过的空间证据、已执行的历史，加上策略刚给出的动作提案，在权重冻结的前提下改写下一次轨迹。

论文：Toward the Era of Agentic Embodied Intelligence

作者：Chao Liang、Ke Chen、Fengxiaoxiao Li、Shibo Huang、Yufeng Sun、Zhaokai Yin、Jianhuan Lai、Haozhe Feng、Chenghuan Jia、Zhipeng Zhang

单位：上海交通大学人工智能学院 AutoLab；Anyverse Dynamics Research Lab

论文链接：https://arxiv.org/pdf/2611.09124

开源仓库：https://github.com/AutoLab-SAI-SJTU/A2MEAS

项目主页：https://a2-meas.github.io/

背景：长程任务里，失败之后的下一步才是难点

长程自主的困难不只是「选一个看起来合理的下一个动作」。每次交互都在改后续动作的条件：勉强成功的抓取，可能把物体握成无法放置的朝向；有效的局部纠正，也可能让原始目标依然没完成。抓取失败后选择重试，并没有回答下一次该怎样不同——调整接近方向、目标对齐还是夹爪时序，得靠失败交互里留下的证据。

已有几条路线各解决一部分。语言引导的技能选择与反馈驱动重规划（SayCan、Inner Monologue、REFLECT 一类工作）解决「接下来做什么」；视觉—语言—动作模型（VLA）与世界动作模型一类预测方法，把动作生成与未来视觉变化连起来。缺口在接口：新推断出的纠正怎样进入控制过程，而不必重新训练策略。

论文的立场很明确：长程执行由动作模型自己学，智能体系统只在关键点验证与纠正。实验也照此安排——先看简洁架构能学到多少，再看有依据的干预加多少。

创新点：代码作为扩展接口

A²-MEAS 的核心提法是「代码作为扩展接口」。这里的代码不是程序文本，而是一段学出来的条件表示，把四类信息放在一起：描述预期改变的语言（含参照坐标系）、核验过的空间证据、相关执行历史，以及基础策略给出的未纠正提案。语言说明想改什么，其余输入说明在什么物理情形下改。

两个时间尺度是分开的。训练时，MetaBrain 的指令与专家续写教会编码器和适配器把「这样的指导」映射成「这样的动作改变」，纠正知识被吸收进参数；部署时，新指导只改纠正代码，参数不动。论文强调这是监督一个学出来的接口，而非蒸馏 MetaBrain 的内部表示：偏移在控制空间，适配器预测的却是隐状态残差，两者靠流匹配连起来。

方法：四路条件如何变成一次动作修正

三组智能体共用一份执行记录。MetaBrain 维持目标、核验进度、诊断异常并给出恢复指令，公开集实验用 Qwen3.8-27B，与内部 2B 的视觉语言主干分开部署。诊断智能体按问题类型被调用：状态属性、空间关系、交互、时间变化、实例身份、可行性；工具从 DINO 匹配、SAM 分割、跟踪到解析运动学都有，输出一律带来源图像、时间戳与坐标系。

「否定」与「证据不足」被区别对待：观测到障碍要换路径，被遮挡的区域则要另一个视角。指令的每个前提都得被支持才能派发，点与掩码还须落在同一坐标系里。

纠正指令（含它参照的方向）、失败窗口里挑出的历史片段、核验过的空间证据，再加上基础策略的新提案，一起送入条件编码器，得到纠正代码。代码在一个动作块（chunk）的生成期间固定；动作专家在第 9 层之后注入残差，剩下的 9 层把被修改的表示变成修正后的流速度。适配器读的是每个动作位置的隐状态，同一段纠正因此能在一个块内先抬升、后接近。输出投影零初始化，所以初始残差为零；瓶颈宽度 256，整个分支可训练参数不足 1 亿。

运行时预算写得很具体：每个异常最多两个额外视角（各 5 秒）、三次物理重试，MetaBrain 单次请求 10 秒超时，单次恢复事件 60 秒；重发查询不重置这些计数。

模型：动作模型自身的三项补强

纠正接口之下是 A²-WLA：2B 的 Qwen3-VL 主干、多视角潜在世界模型，加一个约 3 亿参数、18 层的 Gemma 风格动作专家。它从每条相机取 5 帧历史加当前帧，配成 3 组帧对，用相邻帧对的表示差提供运动特征；世界模型用共享的转移隐变量解释多视角变化，训练时靠逆模型从当前帧与 50 步后的帧推断，部署时改由主干预测。动作专家在偶数层注意当前上下文、奇数层注意预测的未来上下文，用条件流匹配生成 50 步动作块，只执行前 32 步。

训练分三段：世界模型预训练、视觉语言预训练（FAST 离散词元、潜在动作预测、连续候选打分、具身问答）、联合优化；纠正学习是独立的第四段。数据是 BEHAVIOR 2026 官方的 2 万条遥操作示范，约 1950 小时、100 个家务任务。

不加在线纠正时，这套架构已值得单独看：50 个任务的公开子集上，单一共享模型取得 0.4522，按任务专门化的 25 个检查点升到 0.5755。论文拿它与 2025 年竞赛冠军 RLC 的 0.2605 相比，约为 2.21 倍；但那是不同届次基准、不同训练配置的对照，只能当量级参考。

实验：BEHAVIOR 100 任务上的成绩与同口径对照

公开集含 100 个任务，每个任务 10 个实例，每种配置 1000 个回合。完整系统取得 0.6411 的 Q-score 与 45.40% 的成功率，454 次成功，至少成过一次的任务 88 个。去掉纠正层、只保留任务专用的一组动作模型，两项是 0.6040 和 40.60%；再退到单一共享模型，降到 0.4597 和 27.20%，覆盖任务数也从 88 退到 80 和 70。

均值掩盖了分布不均：11 个任务在 10 个实例上全部成功，也有 8 个任务 Q-score 低于 0.2。高分与高完成率并不绑定：34 个任务 Q-score 不低于 0.8，其中 5 个完整成功率不到 40%；食物收纳拿到 0.8375，10 次里只成 1 次。

官方隐藏集是另一套条件。提交时带宽受限，必须改用自包含 Docker，24GB 显存上限又把 27B 协调器换成 Qwen3.5-2B；隐藏集上最终得到 0.4975 与 32.05%，单独提交 A²-WLA 则是 0.4951 和 30.95%。作者说明 2B 协调器判断何时介入不如 27B 准，有时会不必要地打断执行，这个成绩不代表 27B 版本。

短程操作上，A²-WLA 在 RoboTwin 2.0 的 50 个双臂任务里，干净场景取得 94.26%、随机化场景 93.70%，平均 93.98%；加上智能体层升到 95.05%，同表 π0.5 与 G0.5 为 79.75% 和 93.25%。成功率接近 95% 后区分度有限，论文只当作局部操作能力的参照。

实机：真实机器人与长程咖啡冲煮

真实机器人实验覆盖 5 个家居场景、12 个桌面任务，每任务每配置 20 次试验，并关闭高层反馈与测试时纠正，以隔离动作策略本身。完整 A²-WLA 取得 57.92% 的平均成功率，π0.5 是 26.67%；配置递进同样清楚：基础微调 39.58%，加潜在世界模型后 47.08%，再加六帧历史到 54.17%。提升并不均匀：眼药水与药品取放 20 次只成 4 次，包裹拆包成 5 次、打包成 6 次。

手冲咖啡是长程恢复的测试场：单次约 4 分钟，部署中完成过 100 多杯。作者挑出两个「抓取失败就会中断流程」的步骤，各测 100 次。第 2 步从支架取滤纸、稳稳放到杯口，回滚后适配器成 94 次，基线重试只成 14 次；第 7 步把用过的滤纸移到容器，适配器成 82 次，重试成 8 次。

要留意的是，这个适配器与论文主接口并非同一版本：它读当前观测与最多 64 条历史转移，在动作输出头前加门控残差，只训练约 86 万个参数；而 Figure 3 的完整接口编码四类条件、在中间层注入。真实机器人上的恢复结论属于前者。

论文还报告了配套基础设施：八卡训练吞吐约 4.03 倍于 π0.5 参考实现，1000 回合评测 18.1 小时跑完、约 8.8 倍于按单卡外推的基线（后者是投影值，论文写明仍需同硬件实测）。

消融：拆开条件、接口与调度

要判断纠正代码里究竟哪一路信息在起作用，先得把动作模型钉住。作者从 12 个需要纠正的任务里各取前 10 个实例，凑成 120 个回合，所有变体共用同一套 A²-WLA 权重，只有送进条件编码器的内容不同。

起点是不加干预的基准。不带适配器的策略在这 120 个回合上取得 0.5310 的 Q-score 和 41.67% 的完整成功率；接上完整适配器之后，两个数字升到 0.6108 和 52.50%，分别高出 0.0798 与 10.83 个百分点。权重一个没动，差别全部来自那段条件表示。

接着逐项把条件拿掉。合并去掉纠正语言与结构化 grounding 后，性能回落到 0.5344 和 43.33%，几乎退到无适配器的水平；作者说明，这是语义与空间信息的联合消融，不能单独算在某一句恢复指令头上。把执行历史压缩成最近一条状态—动作记录，得到 0.5356 和 44.17%，与上一项相差无几。单独去掉基础策略给出的动作提案，结果是 0.5542 和 47.50%；单独去掉结构化 grounding，则是 0.5570 和 49.17%。后两项各让 Q-score 少掉约 0.05：提案把修正锚定在策略当下准备执行的动作上，grounding 把修正落到具体的物体与区域。四种删减无一例外都让结果变差，完整条件组合始终最好。

换到另外 10 个不相交的实例上，增益没有消失。完整适配器取得 0.6782 的 Q-score 和 58.33% 的成功率，基础策略是 0.6185 和 50.83%，折算成回合数，是从 61 次成功增加到 70 次。这里还补测了只去掉纠正语言、保留任务文本与 grounding 的版本：0.6336 和 52.50%，比完整适配器低 0.0446 与 5.83 个百分点，可见语言那一路本身也有贡献。

接口比较回答另一个问题：同样的纠正意图，用哪种方式送进策略更有效。三种接口拿到的输入相同——高层建议、空间证据、执行历史与新提案。把指令原样重述给冻结的策略，得到 0.5668 的 Q-score；让视觉语言模型给出末端几何修正、再经逆运动学执行，得到 0.6083；隐空间残差适配器是 0.6108。物理恢复率依次为 46.27%、52.05% 与 54.93%，适配器最高。可只看被触发回合里的最终任务完成率，顺序就换了过来：适配器 43.66%，低于 VLM+IK 的 45.21%。论文自己点明，三组触发回合来自不同的失败状态队列，这不是同一批样本上的配对比较。这处反差恰好印证了前文的判断——把物体重新抓稳，和把整件事做完，并不是一回事。

有两项结果与「多一层智能体总归更好」的直觉相反。给策略加一句由异步视觉语言模型选出的「当前焦点」，Selected12 上的 Q-score 从 0.5417 掉到 0.4411，成功率从 45.83% 掉到 30.83%，成功回合从 55 个减到 37 个；分任务看，只有 3 个变好、7 个变差、2 个持平：微波炉爆米花提高 0.1000，倒水、挂画与煮热狗分别掉了 0.5333、0.3000 和 0.2000。固定同一动作模型再比四种调度，VLM 在线选焦点并调度的版本最好，为 0.4411 和 30.83%，比只给整条指令的 0.4201 和 30.00% 多完成一个回合；模拟器辅助、固定顺序是 0.4115 和 25.00%，允许重排与回访反而降到 0.3785 和 27.50%。更灵活的调度，并没有同时改善两项指标。

调度为什么难，示范数据本身给了线索。对 100 个任务的 2 万条示范按相邻操作统计转移，共 2,851 种组合；把前两个操作也纳入条件后涨到 6,849 种，其中 62.8% 只有不超过 5 条示范支撑，而这些长尾组合只占窗口出现次数的 3.7%。任务内部的做法也不统一：工具箱整理里，161 条示范先开盖再取工具，39 条反过来；固定工具类别与重复次数后，126 条示范仍排出 67 种顺序。策略在真实执行里遇到的前序状态，比示范覆盖的密得多。

局限与启示：暂停式纠正、分布差距与结论边界

论文列出的限制有三条。一是时机：纠正要暂停执行做诊断，对需要即时反应的事件不够快。二是监督分布：训练用的是示范状态上提案与专家续写的偏差，部署中的失败却会改变物体摆放与抓取构型。三是评测范围：量化评测在家庭仿真，实机只覆盖短程桌面任务与咖啡冲煮。

部署时，完整系统要同时托管推理与策略：27B 协调器以 BF16 张量并行跑在两张卡上，动作策略单独一张卡。这与端到端单模型不同，成本结构也不同；论文的加速比都有前提（硬件、批大小、对照实现），不能直接换算成任意环境的收益。

更值得记住的是两个数字的关系：0.6411 的 Q-score 与 45.40% 的完成率，11 个任务全通过、8 个低于 0.2。目标条件大部分被满足，不等于任务被完成。A²-MEAS 把「完成」交给智能体层，把「连续执行」交给动作模型，再用一段可学习的代码接上；提升是实的，落差也是实的。