机器人的“高考”来了：RoboDojo 统一评测平台，能否摸清通用机械臂的“真本事”？

一台机器人在厨房里准备早餐，它需要从碗中取出面包片放入烤面包机，再将两个小碗叠放到盘子上。这看似简单的任务，却要求机器人具备精准的抓取、稳定的放置、以及多步骤的逻辑规划能力。在实验室的模拟环境中，它或许能轻松完成，但到了真实的物理世界，面对不同的光线、略微滑动的桌面、甚至面包片本身的微小形变，它的表现还能一样吗？

这正是当前机器人通用操控智能体发展面临的核心挑战：如何全面、客观地评估其真实能力。模拟测试高效但难以完全反映物理世界的复杂性，而真实世界测试虽然直接，却成本高昂、难以复现。为了弥合这一鸿沟，一个名为 RoboDojo 的统一仿真与真实世界评测平台应运而生。

论文标题：RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies

论文链接：https://arxiv.org/pdf/2607.04434

项目主页：https://robodojo-benchmark.com/

开源地址：https://github.com/RoboDojo-Benchmark/RoboDojo

Leaderboard：https://robodojo-benchmark.com/LeaderBoard

文档：http://robodojo-benchmark.com/doc

RoboDojo 由来自香港大学、加州大学伯克利分校、清华大学、北京大学、麻省理工学院等全球顶尖机构的联合团队推出，旨在为通用机器人操控策略提供一个全面、高效且可复现的评测基准。它包含了 42 个仿真任务和 18 个真实世界任务，覆盖了泛化、记忆、长时程、精确和开放语义五大能力维度。

图 1：RoboDojo 概览。该平台统一了高效仿真评测与可复现的真实世界测试，涵盖 42 个仿真任务、18 个真实世界任务、异构并行仿真、RoboDojo-RealEval 真实评测系统、XPolicyLab 统一框架以及持续更新的排行榜。

为何需要 RoboDojo？仿真与现实的“评测鸿沟”

近年来，得益于大语言模型、视觉-语言-动作模型等技术的进步，通用机器人操控策略取得了显著进展。这些智能体能够理解自然语言指令，在多样化的场景中执行复杂的操作任务。然而，评估这些策略的能力却始终是一个难题。

现有的评测基准往往存在局限。许多基准依赖于简单、短时程或技能单一的任务，这些任务通常共享相似的操作模式，只能覆盖有限的能力维度。更重要的是，评测通常只在仿真环境或只在真实世界中进行：仿真能提供高效、可扩展的反馈，但无法完全捕捉物理部署中的接触动力学、执行器误差和感知噪声等挑战；而真实世界评测虽然能直接反映部署性能，却成本高、耗时长，且由于硬件设置、场景重置流程、评测协议的不统一而难以复现。

这种“评测鸿沟”使得研究者难以系统性地诊断策略的优缺点，也无法可靠地比较不同方法的性能。RoboDojo 的诞生，正是为了搭建一座连接仿真诊断与真实验证的桥梁。

RoboDojo 的核心设计：统一、全面、可复现

RoboDojo 的设计理念是构建一个从策略开发、训练到仿真与真实评测的完整闭环。其核心由三部分组成：仿真评测平台、真实世界评测平台 RoboDojo-RealEval 以及策略统一框架 XPolicyLab。

仿真基准：五大维度，深度诊断

RoboDojo 的仿真基准包含 42 个任务，并精心划分为五个关键能力维度，旨在进行深度能力诊断，而非简单的任务成功率统计。

• 泛化：评估策略在背景、光照、杂物布局和目标物体发生未见变化时的鲁棒性。例如，任务会在桌面上随机放置多达 25 个干扰物，大幅增加视觉干扰和场景复杂度。
• 记忆：测试策略对部分可观测任务的处理能力，要求其基于历史观察而非仅当前帧做出决策。例如，记住传送带上消失物体的类别，并在后续物体中选出匹配项。
• 长时程：考察策略执行一系列依赖性子步骤的能力，如对多个物体进行分类并放入指定位置，可能涉及双手交接等复杂协调。
• 精确：专注于对空间和运动精度要求极高的任务，如将细管插入狭窄孔洞。微小的定位或轨迹误差都可能导致失败。
• 开放语义：评估策略对未见任务指令的理解和技能组合迁移能力。例如，指令要求完成一个训练数据中未直接出现，但所需技能已隐含其中的新任务。

图 2：RoboDojo 任务概览。仿真任务围绕五大能力维度设计，支持高效的能力导向诊断；真实世界任务则评估策略在具有挑战性的物理部署条件下的表现。

为了支持大规模高效评测，RoboDojo 在 NVIDIA Isaac Sim 中实现了异构并行仿真。与传统的同构并行（克隆相同场景）不同，异构并行允许不同的并行环境运行完全不同的任务、物体类别和场景配置，在提升评测速度的同时，保持了评估通用策略所需的场景多样性。

真实世界基准：标准化与可复现

真实世界评测的挑战在于控制变量。RoboDojo-RealEval 应运而生，它是一个标准化的硬件与软件系统，旨在实现可复现的真实世界评测。

图 3：RoboDojo-RealEval 系统概览。该系统提供了标准化的物理平台，包括可控的工作空间几何、固定的机器人及相机安装位、稳定光照、触摸屏评测界面，并支持三种协作式双手臂机器人本体。

RoboDojo-RealEval 通过模块化结构组件固定了机械臂、相机、照明单元和操作工作台的相对位姿，最大程度减少了环境变量。评测时，通过触摸屏界面叠加目标布局图与实时观测流，引导评测人员将场景重置至一致的初始状态。该系统支持 ARX X5、Piper 和 Piper X 三种常见的协作式双手臂平台，并可进行远程云端评测，使研究者无需自建硬件即可获得标准化的物理评测结果。

XPolicyLab：策略的统一“插座”

不同的机器人策略往往基于不同的代码框架、数据格式和接口，将其整合到统一评测平台工程量大。XPolicyLab 作为一个统一的策略开发、训练和部署基础设施，解决了这个问题。

它定义了一套标准的策略接口（如更新观测、获取动作、重置），并提供了通用的数据转换工具、训练模板和部署流程。通过 XPolicyLab，研究团队已集成了 30 多个代表性的机器人策略模型。这意味着，策略只需接入一次，就能同时在 RoboDojo 的仿真和真实世界环境中进行评测，极大降低了集成成本，促进了公平比较。

性能排行榜：现状与差距

基于 XPolicyLab，研究团队对集成的 30 个策略在 RoboDojo 上进行了全面评测，并建立了公开的排行榜。

仿真排行榜揭示的关键发现

仿真排行榜结果（以 2026 年 7 月 3 日数据为准）显示，当前顶尖的通用操控策略（如 Hy-Embodied-0.5-VLA、Spatial Forcing、π 等）在 RoboDojo 上仍面临巨大挑战。

1. 与人类专家差距显著：表现最好的策略平均成功率仅为 8.80%，而人类远程操作专家的成功率高达 76.03%。这表明当前策略离可靠的通用操控仍有很长的路要走。
2. 能力发展不平衡：不同策略在不同维度上各有所长，但没有一个策略在所有维度上都表现突出。例如，某些策略在泛化或长时程任务上相对较好，但在精确操控或开放语义任务上表现不佳。
3. 泛化能力薄弱：当场景背景、光照和杂物布局随机化后，几乎所有策略的性能都出现断崖式下跌，即使是在标准设置下表现良好的策略也不例外。这说明当前策略严重依赖于训练时见过的视觉上下文。
4. 精确操控是主要瓶颈：需要精细空间对齐和稳定接触的任务成功率极低。失败往往源于动作抖动、缺乏接触感知反馈以及从偏离轨迹状态恢复的能力不足。
5. 开放语义任务近乎无解：在需要理解未见指令并重组技能的任务上，当前策略的成功率接近零，凸显出现有模型在语义到动作的泛化 grounding 上存在根本性困难。

真实世界排行榜：仿真优势≠物理可靠

真实世界排行榜（同样基于 2026 年 7 月 3 日数据）进一步放大了挑战。

1. 部署可靠性低：在真实物理评测中，表现最好的策略整体成功率也仅为 12.8%。许多策略能完成部分步骤，但难以稳定地达成最终任务目标。
2. 仿真与真实性能不完全对齐：部分在仿真中排名靠前的策略，在真实世界评测中并未保持同等优势。这凸显了 RoboDojo 仿真-真实双轨设计的价值：仿真用于高效能力诊断，真实世界则暴露物理部署特有的挑战（如感知噪声、执行误差、接触不稳定性）。
3. 暴露出执行不稳定问题：真实评测中观察到动作抖动、振荡运动、重复无效动作等现象，这些在仿真中可能仅影响分数，在物理世界却可能带来安全风险。

高效与稳定的评测系统

除了评测结果，RoboDojo 本身也是一个高效、稳定的平台。

• 评测效率：得益于异构并行仿真，RoboDojo 的仿真评测吞吐量相比非异构并行提升了约 1.94 倍。完成全部 42 个仿真任务（共 2100 条测试）可在数小时内完成。真实世界评测方面，通过 RoboDojo-RealEval 的标准化流程，完成全部 18 个任务（共 180 次试验）约需 3.4 小时。
• 评测稳定性：实验表明，无论是在不同 GPU 上进行仿真评测，还是在 RoboDojo-RealEval 平台上进行多轮真实世界评测，结果都具有良好的稳定性和可重复性，为公平的排行榜比较奠定了基础。

未来展望与社区共建

RoboDojo 被设计为一个可扩展的平台。未来，团队计划将其扩展到更广泛的场景和本体，包括灵巧手操作、人形机器人全身操控、触觉操控以及移动操控等领域。

图 4：RoboDojo 未来扩展方向。平台将持续向更广泛的操控场景和机器人本体扩展。

为确保评测的公平性和长期公信力，RoboDojo 排行榜由非营利组织 AI MMLab Club 维护，并由全球学术机构合作伙伴共同运营，不接受商业公司的赞助或运营参与。平台开源了仿真基准和真实世界评测平台的设计，并鼓励社区提交策略、参与评测。

项目主页：https://robodojo-benchmark.com/

开源地址：https://github.com/RoboDojo-Benchmark/RoboDojo

Leaderboard：https://robodojo-benchmark.com/LeaderBoard

文档：http://robodojo-benchmark.com/doc

结语

RoboDojo 的出现，为通用机器人操控领域提供了一个迫切需要的系统性评测工具。它通过统一的仿真与真实世界双轨评测，不仅揭示了当前最先进策略在泛化、精确、长时程规划、记忆和开放语义理解等方面的能力短板，也为其迭代发展提供了高效的反馈循环。

评测结果表明，尽管机器人通用操控策略取得了令人瞩目的进展，但要达到在多样化、不确定的真实物理世界中可靠、安全地执行复杂任务的水平，仍面临诸多根本性挑战。RoboDojo 及其持续更新的排行榜，将成为衡量和推动这一领域向前发展的重要标尺。对于每一位机器人研究者而言，这个机器人的“综合考场”已经搭建完毕，是时候检验真章了。