点击下方卡片，关注“具身智能之心”公众号
编辑丨具身智能之心
本文只做学术分享，如有侵权，联系删文
>>
更多干货，欢迎加入国内首个具身智能全栈学习社区：(戳我)，这里包含所有你想要的。
具身智能领域正快速演进：VLA、WAM、Agentic、大小脑、快慢系统等架构与概念层出不穷。
然而，在北京大学与北京智源人工智能研究院研究团队看来，算法架构的形式并非最关键——无论采用何种路线，最终都需回答一个更根本的问题：机器人在真实场景中完成操作任务，究竟依赖哪些认知能力？
围绕这一问题，研究团队提出 RoboBench：一份面向“具身大脑”认知能力的评测基准。它不关注动作执行本身，而是将高层认知拆解为若干维度，逐层检验模型是否真正“理解”任务。RoboBench 覆盖 5 个认知维度、14+ 项能力、25 个机器人操作任务、6092 个 QA 对，并首次在规划评测中引入 MLLM-as-World-Simulator，通过动作依赖图（DAG）逐阶段验证模型生成计划的物理可行性。
对 18 个主流 MLLM 的评测表明：即便任务成功率看似可观，模型在隐式指令理解、细粒度感知、物理可执行规划、错误诊断等层面仍存在显著短板。该工作已被智源研究院的 RoboBrain 2.0、腾讯 Robotics X 与 HY Vision Team 的 HY-Embodied-0.5 等最新具身基础模型纳入认知能力评测体系。
论文链接：https://arxiv.org/abs/2510.17801
项目主页：https://robo-bench.github.io
开源代码：https://github.com/yulin-luo/RoboBench
数据集：https://huggingface.co/datasets/LeoFan01/RoboBench
评测结果：https://huggingface.co/datasets/lyl010221-pku/RoboBench-Results
具体思考：为何要给具身大脑做“认知体检”？
在构建 RoboBench 之前，研究团队确立了三个基本判断，它们决定了 benchmark 的设计方向。
思考一：架构是手段，认知才是目标
完成操作任务需要指令理解、场景感知、动作规划、可操纵性判断与错误诊断等多重能力。模型架构只是实现这些能力的手段；真正决定系统能否稳定完成任务的，是其在真实物理场景中是否具备完整、扎实的具身认知能力。唯有认知层可靠，执行成功率的提升才可持续。
思考二：任务成功率混淆认知与执行
现有 benchmark 多以整体任务成功率为主要指标，但它无法区分“理解正确但执行失败”与“理解错误但碰巧成功”。不将二者拆开，失败归因便无从谈起，改进也失去针对性。
思考三：认知评测应扎根真实机器人数据
RoboBench 的 QA 直接基于真实机器人数据构建，而非在通用视觉-语言场景中拼凑具身相关题目，也非依赖理想化仿真。评测以纯认知方式让 MLLM 作答，既避免 domain gap，也使不同路线（如 VLA backbone 与 Agentic 规划器）可在同一框架下比较。
完成任务，到底需要哪些能力？
真实场景中的机器人操作任务看似简单，实则涉及一连串能力：
听懂人的指令，包括字面含义与隐式约束； 理解场景：物体位置、抽屉状态、机械臂可达性； 规划动作顺序：靠近、抓取、移动、放置； 判断可操纵性：把手朝向、抓取角度、稳定性； 识别、归因并修正执行中的错误。
这些能力可分为两层：
高层具身认知：理解、推理、规划、反思； 低层具身控制：动作执行、轨迹跟踪、力控。
现有 benchmark 多关注整体任务成功率，却将认知与控制混为一谈，难以判断“大脑”是否过关。RoboBench 的目标是把认知层单独拆出来测。
只看任务成功率，“大脑”的问题会被悄悄藏住
任务成功率只能回答“做没做完”，回答不了“懂没懂”。更严重的是，无论成功或失败，这一标签都会把认知与执行混在一起。真实轨迹中至少存在四种情况：
认知对、执行对：真正理解任务，动作到位，成功完成； 认知对、执行错：理解正确，但执行失手（抓偏、碰撞、手滑）； 认知错、执行对：未真正理解，靠死记硬背或局部启发式蒙对； 认知错、执行错：既未理解，动作也未跟上。
只看最终成功或失败，后三种情况会被记为同一结果，既无法区分“执行问题”与“认知问题”，也不知该从何处改进：
若认知理解有误，再堆动作数据也难以奏效，需补视觉推理、指令理解与世界模型； 若动作执行不稳定，才需在控制策略与硬件交互上下功夫。
诊断不清，改进便是盲目的。
RoboBench 的做法：把具身大脑拆成 5 个维度
RoboBench 的设计对应机器人完成任务的完整认知链路：
听懂指令 → 感知场景 → 泛化规划 → 推断可操纵性 → 诊断失败
具体拆为 5 个维度、14+ 项能力：
| 指令理解 | ||
| 感知推理 | ||
| 泛化规划 | ||
| 可供性推理 | ||
| 错误分析 |
关键区别在于：RoboBench 的所有问题均直接基于真实机器人数据构建，数据来源包括单臂、双臂、移动操作、人类操作等多种本体，以及带物理属性的真实物体与多视角遮挡场景；失败分析维度还专门收录真实 VLA rollout 的失败案例。因此，它测的是真实机器人操作场景中的认知问题，没有 domain gap。
这些任务不依赖真实机器人 rollout，而是让 MLLM 以纯认知方式作答。无论是 VLA 的 VLM backbone，还是 Agentic 系统的独立规划器，只要承担“大脑”角色，都可被放在同一框架下评测。
规划评测不靠“写得好不好”，而靠“能不能跑得通”
机器人规划不是写作文：文字表述差异很大的两条 plan 可能在物理上等价；看似相近的两条 plan 也可能因动作顺序或前置条件错误而完全不可行。因此，RoboBench 提出 MLLM-as-World-Simulator 的评测方式：
人类专家为每个任务标注动作依赖图（DAG），明确动作顺序与关键状态； MLLM 结合首帧图像、参考动作序列与 DAG，提取关键 milestone（如“抽屉已打开”“苹果在盘子上”）； 被测模型生成动作序列； MLLM 作为 world simulator 逐步执行该序列，检查前置条件是否满足、世界状态是否合理更新； 最后看多少关键 milestone 真正达成。
评测关注的不是 plan 与参考答案的文本相似度，而是其在物理上能否跑通。
18 个主流 MLLM 体检：这些“大脑”到底哪里不行？
我们在 RoboBench 上评测了 18 个主流 MLLM，覆盖闭源与开源系统。下图分别给出感知推理（Table 3）与规划 Q2/Q3（Table 5）的实验结果。
整体来看，模型在不同维度上表现差异明显：可供性预测与泛化规划相对较高，感知推理与指令理解中等，错误分析尤其是执行错误诊断明显偏弱。闭源模型平均领先开源模型约 20 分，但即便是最强模型，在某些具身认知子维度上仍有不足。
短板一：隐式指令理解是普遍弱项
模型能处理“把苹果放到盘子里”这类显式目标，但一旦指令包含“放到那个干净的盘子里”或“放到我够得着的地方”等隐式约束，表现便明显下降。这说明模型对人类日常指令中的默认假设与上下文推断仍不够鲁棒。
短板二：感知错误常出在细节
模型并非完全“看不见”，但在关键细节上容易失误：物体遮挡关系、工具正确握持部位、机械臂当前姿态对后续动作的影响。这些感知错误会直接传导至规划与执行；很多时候，模型“做错”并非规划能力差，而是对场景关键细节判断错误。
短板三：规划看似合理，但缺乏真正的世界模型
许多模型能生成看似合理的动作序列，但在 world simulator 的严格检查下，常出现动作顺序错误、忽略前置条件、无法处理分支等问题。这反映出一个核心问题：模型缺乏可推理动作后果的内部世界模型，生成的 plan 语言通顺却物理上不一定可行。
短板四：错误分析与修正能力弱于正向任务
我们不仅让模型执行任务，还要求其判断“哪里错了”“为什么会错”“应该怎么改”。结果显示，模型识别与归因执行错误的能力明显弱于完成正向任务。而错误恢复与持续学习对真实部署至关重要：无法诊断自身错误的系统，难以在长期运行中保持稳定。
一个有意思的发现：认知得分能预测下游控制性能
既往研究发现，VLM 在通用视觉-语言 benchmark 上的分数与其作为 VLA backbone 时的 downstream 任务表现并不总是正相关。RoboBench 进一步细化这一结论：将认知能力拆开后，感知推理、可供性预测等具身认知维度与下游 VLA 任务成功率呈现正相关。这说明，并非 MLLM 的所有能力对具身场景同等重要，真正关键的是与物理交互、空间推理、动作可行性判断相关的能力。
全开源：让社区一起给具身大脑做体检
评测本身不是目的。也希望 RoboBench 成为具身智能领域的基础诊断工具，因此将评测数据、标注 prompt、评测代码与模型推理结果全部开源。社区可直接用 RoboBench 对模型做认知诊断，也可基于该框架扩展新的能力维度或任务。
无论采用 VLA 还是 Agentic 路线，只要将 MLLM 当作具身大脑，RoboBench 都可帮助回答一个问题：
它到底是真的理解任务，还是只是在模仿任务？
写在最后
机器人领域正经历范式转变。无论是将 MLLM 微调为 VLA backbone，还是将其作为 Agentic 系统的独立规划器，大家都在期待同一个目标：一个能在真实物理世界中理解、推理、规划、反思的具身大脑。
然而，只盯着最终任务成功率，很难看清这一大脑的真实水平。更重要的是将任务拆解为指令理解、感知推理、规划、可供性判断、错误诊断等环节，检验每一步是否真正到位。只有认知环节都做扎实，最终的成功率提升才可持续。
RoboBench 想做的，就是提供这样一套拆解工具，给具身大脑做一次系统的认知体检。
任务完成只是结果，把每个认知环节做对，才是前提。
推荐阅读 ：
