一次意外滑落，是否意味着任务失败？
在 EBench 的苹果抓取与放置任务中，机械臂在抓取过程中未能保持苹果稳定，导致目标物体偏离原位置。面对变化后的环境状态，模型重新调整观察视角，定位滑落的苹果，并根据新的视觉反馈改变接近姿态，最终完成二次抓取和目标放置。
这一过程涉及环境观察、状态变化理解与动作调整，由通用多模态大模型 GPT-6-Astra 直接作为机器人策略完成闭环决策控制；整个过程无需基于该 Benchmark 数据进行任务专用后训练。
这引出了上海人工智能实验室具身评测团队此次聚焦的核心课题：当一个具备通用认知与常识推理的前沿多模态大模型直接作为机器人策略，它与在指定数据集上经后训练的视觉语言动作模型（Vision-Language-Action, VLA）以及世界动作模型（World Action Model, WAM）相比，真实的能力边界究竟在何处？
为此，团队依托 EBench 移动操作评测基准，对 GPT-6-Astra 开展了涵盖 26 项任务、共计 510 次执行的系统性评测，旨在细致分析不同模型在任务理解、适应性决策与物理执行层面的能力差异。
为检验 Astra 的端到端操作能力，评测采用 EBench 提供的统一末端执行器（End-Effector, 简称 EEF）接口，要求模型直接输出机械臂位姿、夹爪开合状态、底盘移动目标以及动作持续步长。评测过程严格屏蔽了物体的三维真值坐标、深度测量与中间任务得分等特权信息，模型的输入仅包含多视角彩色图像（RGB，包括全局俯视视角与左右腕部相机视角）及机器人的本体状态。在每个动作分块（Action Chunk）执行完成后，更新后的视觉和机器人状态返回模型用于下一轮决策，从而形成闭环物理交互。
在对照实验设定上，Astra 采用参数冻结的单示范上下文学习（Single-shot In-Context Learning, 简称 ICL）。每项任务的示范由一个同等推理强度的独立 GPT-6-Astra 实例读取一条演示轨迹，提取并标注 10 至 18 张关键帧，结合相关的机器人状态与历史动作构成上下文示范；负责实际执行的 Astra 实例则结合该示范与当前环境观察进行后续决策。作为对照组的后训练 VLA 与 WAM 策略，则利用公开训练集中的 6,600 条轨迹完成了后训练。在执行约束方面，所有模型均受到相同的任务物理步数上限限制，评测未额外限制 Astra 执行阶段的总 token 数、工具调用次数或单步推理时间。
多模态大模型直接作为具身策略的表现分析
引入阶段性得分，EBench 细粒度拆解模型能力
具身操作的难点，不仅在于理解任务指令本身。机械臂在物理交互过程中，还需要完成物体识别、位姿抓取、搬运放置和接触微调；当任务流程变长，前一步遗留的物理状态偏差还会持续影响后续动作的执行。
为了系统比较 GPT-6-Astra 与 VLA、WAM 等模型的能力差异，评测选用 EBench 作为统一基准。除任务成功率（Success Rate, 简称 SR）外，EBench 还通过综合任务得分（Score）记录部分完成程度，并结合任务流程长度、操作精度和移动需求等属性，对模型表现进行细粒度分析。同时，评测通过改变物体属性、背景环境、指令表述及其组合，进一步测试模型在不同环境扰动下的表现。
由此，评测关注的不只是“任务是否最终完成”，还进一步探讨：模型在哪些任务中表现较好，性能差距主要出现在哪些环节，以及不同技术路线分别呈现出怎样的能力侧重。
跨模型对比：Astra 展现独特的性能分化特征
在 EBench 当前公示的前 9 名主流具身模型中，OpenWAM-α 凭借 55.3% 的平均任务成功率拔得头筹，GPT-6-Astra 则以 46.7% 的成功率位居第三。而当综合考量各阶段的实际推进程度时，Astra 的平均任务得分达到了 0.654，位居榜单第二位。
在全部 510 次测试中，Astra 完整成功 237 次；另有 188 次 虽然未达成最终判定条件，但完成了部分步骤并取得了中间得分，85 次得分为零。成功率（SR）与任务得分（Score）的差异说明：在部分任务中，模型并非完全无法推进，而是推进了前期操作，但在最终目标的稳定达成上不尽如人意。
跨任务分析：短流程任务优势显著，长程链条仍存明显瓶颈
按任务流程长度拆分后，Astra 的能力分布呈现出明显的分化。
在 EBench 的 11 项短程任务 中，Astra 的平均成功率达到 73.2%，高于 OpenWAM-α 的 65.9%，排名第一。其中 8 项属于低精度任务，说明 Astra 在流程较短、对精细接触要求相对有限的任务中具备较好表现。部分单项任务中表现较为明显：例如书签放置任务中，其成功率达到 90%（该任务第二名 π₀.₅ 为 55%）。这些结果表明，在较短流程的移动操作中，Astra 具备较好的动作执行能力。但在 15 项长程任务 中，Astra 的平均成功率下降至 27.3%，而 OpenWAM-α 为 47.6%。
从执行轨迹分析，长程任务对物理状态的持续维护和误差控制要求较高。单次抓取的位置偏差、放置不稳，或为修正前序动作而进行的多次尝试，都可能改变后续物理状态并消耗有限的物理执行步数。面对长程任务，模型既要推进当前子目标，还需要持续评估任务进展，在局部调整、重新观察与后续执行之间维持平衡。
这些实验结果表明，Astra 在短程任务中表现出较好的完成度，但如何将这种能力稳定扩展到更长的操作链条，仍是当前通用模型面临的挑战。
能力差异：能够根据反馈重新规划，但稳定物理执行仍面临挑战
执行轨迹进一步反映了 Astra 的一个特点：模型能够根据操作后产生的环境状态反馈，动态调整后续动作。
在苹果抓取与放置案例中，首次搬运滑落后，模型没有机械重复同一动作，而是主动调整观察视角重新定位目标，尝试调整接近方向并继续尝试，最终完成了任务。
但能够根据反馈进行调整，并不等同于能够精确完成物理操作。在 EBench 的 7 项桌面灵巧精细操作任务中，Astra 的平均成功率为 20.0%，而后训练表现最好的 Qwen-RobotManip 为 50.0%。这类任务涉及双臂协同、物体翻转、折叠与紧密接触，对局部几何关系的判断与操作稳定性提出了较高要求。
以眼镜收纳为例，Astra 能够使用双臂将眼镜放入盒中，但未能将镜腿折叠到足以合盖的状态，最终未达到完整成功条件。进一步按操作精度拆分，Astra 在低、中、高精度任务上的成功率分别为 60.6%、40.2% 和 11.3%，随着精度要求的提高，成功率呈现明显下降。
插孔任务：Astra失败
部分任务中得分与成功率的差距也反映了这一现象。例如在销钉插孔任务中，Astra 的平均任务得分达到 0.600，但完整成功率仅为 20%：模型能够将操作推进到较后阶段，但最终的精确对齐和微观接触配合仍制约了任务的最终完成。
这些表现反映出 Astra 当前的能力特征：模型能够利用视觉反馈调整动作，但在需要持续、精确物理接触的任务中，物理执行稳定性仍有较大提升空间。
自适应调整之外：物理执行仍需明确的安全约束
Astra 能够在执行过程中根据新的观察调整策略，但部分失败轨迹也表明，模型的探索与恢复行为还需要与更明确的物理执行约束相结合。在实际执行中，模型在工作空间范围、末端姿态及场景接触方面，仍可能产生不合理的动作。
苹果抓取案例：自主恢复需严格考量物理有效工作空间。在另一组苹果滑落的失败轨迹中，苹果滚出机器人可达范围后，Astra 仍尝试在桌面下方及周边继续搜索。在此期间，模型请求的末端执行器（EEF）目标位置与实际可达极限相差达到 0.51 米，并伴数次尝试输出不理想的腕关节姿态。在仿真环境中，不可达目标通常由物理引擎进行拦截；但若面向真实机器人部署，这类接近工作空间或运动学边界的持续操作可能带来额外执行风险，因此需要更明确的工作空间与关节状态约束。
这些现象提示，安全的机器人操作需要在末端姿态、工作空间限制、物体朝向与环境交互之间进行更为协同的规划。
案例分析：从示范学习到新任务组合迁移
上下文示范对 Astra 操作决策的影响
上下文示范在多大程度上影响了 Astra 的实际操作？相框放置和齿轮安装两个案例呈现出不同的结果。
在相框放置任务中，零样本（Zero-shot）条件下的 Astra 虽能接近并推动相框，但未能形成稳定的双臂配合，成功率仅为 5%；加入单条示范后，模型调整了抓取位置和双臂分工，成功率提升至 65%。相比之下，在齿轮安装任务中，无论是否有示范，成功率均为 15%。示范帮助 Astra 更明确了安装顺序和大致位置，但最终仍受制于局部的精确对齐与接触控制，未能稳定完成装配。
Frame: zero-shot vs ICL
Gear: zero-shot vs ICL
这两个案例表明：示范能够提供抓取位置、双臂协作、物体空间关系和操作顺序等任务先验，帮助 Astra 将语言指令细化为具体动作；但对于高度依赖微观对齐和接触控制的任务，示范本身仍不足以弥补精细执行能力上的局限。
既有操作常识向新任务组合的迁移表现
除既定任务外，评测还设置了一组独立的组合任务，用于观察模型能否将已有操作经验迁移到训练数据中未出现过的新任务组合。
任务要求机器人按照指定顺序，将书签和笔先后放到同一本打开的书上。对照策略的训练数据中虽然包含“把书签放到书上”，也包含“将笔放到笔筒或尺子上”的操作，但没有“把笔放到书上”这一具体搭配。因此，这项测试不仅要求模型连续完成两个子任务，也测试其能否将已有的物体操作经验应用到新的目标关系中。
每种方法分别进行了 10 次测试。Astra 在不提供上下文示范的零样本条件下完成了全部 10 次测试；而 π₀.₅ 和 OpenWAM-α 的完整成功率均为 0%，任务得分分别为 0.40 和 0.35，表明两种后训练策略能够完成前段目标，但未能完整完成组合任务。
组合泛化是具身智能走向开放环境的重要能力之一。尽管这一实验规模有限，尚不足以代表模型在更广泛组合任务中的整体表现，但 Astra 在该任务中呈现出的经验重组与零样本迁移能力，为进一步研究通用多模态模型如何将已有操作经验应用到新任务组合提供了有价值的参考。
结论与未来展望：促进任务理解与物理执行的有效协同
综合来看，GPT-6-Astra 在任务理解、探索重规划和失败恢复等方面展现出一定能力，但在长程执行、精细物理接触和双臂协同等任务上仍有较大提升空间。围绕这些能力差异，后续可以在以下几个方向进一步探索：
其一，探索通用多模态大模型与 VLA、WAM 等专用策略的协同架构。由通用大模型负责目标理解、任务规划和策略调整，结合专用策略在精细操作与稳定执行上的能力，并进一步研究二者之间的任务分工与控制权切换机制。
其二，将纠错经验迁移到更轻量的机器人策略。Astra 在执行过程中呈现出的重新观察、调整接近角度和改变操作方式等自适应行为，可以成为传统成功示范之外的补充数据，帮助机器人策略从单纯的模仿学习拓展到包含错误恢复的意图学习。
其三，将探索经验固化为可复用的工具。单次执行中的调整如果仅保留在当前上下文中，难以持续积累。后续可以探索从执行轨迹中提取具有可迁移性的恢复经验，并将其转化为能够跨任务复用的策略或工具，为系统级的持续改进提供支撑。
其四，将安全约束融入物理执行过程。在真实环境的物理部署中，即便模型在掉落物体后能够尝试恢复，也不能忽略掉落本身带来的部署风险。工作空间限制、速度与力矩边界、抓取稳定性，以及异常状态下的及时终止，都需要进一步融入机器人执行链路中，在保留自适应能力的同时有效约束物理风险。
总体来看，这些方向最终指向同一个核心课题：自适应任务规划与稳定的物理执行需要进一步协同。 如何发挥通用多模态大模型在任务理解和自适应决策上的能力，同时结合机器人系统对精度、响应速度和安全约束的要求，并将单次任务中获得的有效经验迁移到新的环境中，是此次评测指出的进一步研究方向。
相关链接
开源地址：Github: InternRobotics/EBench
在线仿真评测平台：
internrobotics.shlab.org.cn/eval
EBench技术报告：
Arxiv: 2606.18239
EBench · GPT-6-Astra 评测报告：
internrobotics.github.io/EBench-Astra-Tech-Report/
-END-
点击下方卡片，关注【Xbotics具身智能实验室】公众号
你想要的这里都有~~
Ask Me Anything｜提问箱
对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。
怎么问：在评论区留言，或私信公众号
我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。
提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。
一起把问题变成知识，推动社区进步 🚀
