❝

导读

在具身智能（Embodied Intelligence）迅速发展的今天，仿真器、基准与数据集 已成为推动机器人操作研究的“燃料与道路”。

它们不仅提供了标准化的训练与评测平台，也是确保可复现性与公平比较的关键基础。

无论是语言驱动的通用大模型，还是具身控制的强化学习系统，都离不开这些经验资源。

本文将从五个方向系统梳理机器人操作领域的关键资源与趋势，为研究者、开发者与学习者提供清晰路径：

1.抓取数据集（Grasping Datasets）

2.单体具身操作仿真器与基准

3.跨具身操作仿真器与基准

4.轨迹数据集（Trajectory Datasets）

5.具身问答与可供性数据集（Embodied QA & Affordance Datasets）

抓取数据集：从二维到六自由度的进化

抓取（grasping）是机器人操作的起点，让机器学会“拿起”世界。

早期的数据集仅支持二维图像中的矩形抓取，而现在的研究已经扩展到 6 自由度甚至灵巧手（dexterous hand）抓取。

代表资源：

GraspNet-1Billion
官网: https://graspnet.net/
数据量: 约 97,000 幅 RGB-D 图像、11 亿 6-DoF 抓取姿势。

DexGraspNet
官网: https://pku-epic.github.io/DexGraspNet/
灵巧手抓取姿态 1.32 百万条，包含 5,355 个 3D 物体。

Grasp-Anything
官网: https://airvlab.github.io/grasp-anything/
由大模型自动生成百万级语义引导抓取样本。

配图 ① 建议：
“抓取数据集的演进路径” —— 一张展示从 2D 矩形 → 6 DoF → 灵巧手 → 语言条件 的分阶段演化示意图。

单体具身操作仿真器与基准：掌控“一个身体”的世界

单体仿真器聚焦于单一具身平台（如单臂或双臂机械臂），

为研究者提供可控、可复现的操作环境，支持算法设计与策略评测。

常见类别：

基础操作：抓取、放置、插入、倒液体；

灵巧操作：多指机械手复杂接触；

可变形物体：布料、绳索、液体；

移动操作：底盘 + 机械臂协同；

人形操作：上半身或全身协调任务。

代表资源：

ManiSkill 2
官网: https://maniskill2.github.io/
特点: 多任务 + 多模态仿真基准，支持 RL 与 IL 算法。

HumanoidBench
官网: https://humanoid-bench.github.io/
特点: 专为人形机器人设计的 27 类长时序操作任务。

SimplerEnv
官网: https://simpler-env.github.io/
特点: 轻量级 Gym 接口、与真实机器人对齐的评测环境。

配图 ② 建议：
展示 ManiSkill / Isaac Sim / SimplerEnv 三种典型仿真环境截图拼图。
标题可用：“不同仿真器的典型任务场景”。

跨具身操作仿真器与基准：从一个身体到多个身体

跨具身仿真器的目标，是让一个模型能跨越不同机器人形态（单臂、双臂、四足、人形等）保持性能一致。
这是研究通用操作策略和 VLA 模型泛化能力 的核心问题。

主要设计思路：

多基准整合：打包不同具身平台数据；

统一接口：整合多仿真后端到一致 API；

单后端多具身：在同一物理引擎中切换不同构型。

代表资源：

Open X-Embodiment Dataset
官网: https://robotics-transformer-x.github.io/
收录 22 种机器人平台、超过 1 百万 真实轨迹，是 RT-1 / RT-2 等模型的核心数据来源。

RoboVerse Benchmark
官方论文: https://embodied-ai.org/papers/2024/16_RoboVerse_A_Unified_Simulat.pdf
特点: 统一接口、跨具身仿真评测框架，支持多机器人环境。

轨迹数据集：记录智能体的“生命轨迹”

轨迹数据集（Trajectory Datasets）按时间顺序记录机器人交互数据，

包括状态 (states)、动作 (actions)、观测 (observations) 等。

它们是模仿学习 (IL)、离线强化学习 (Offline RL) 和通用策略训练的燃料。

代表资源：

robomimic
仓库: https://github.com/ARISE-Initiative/robomimic
内容: 多任务示范数据 + 统一 IL/RL 训练框架。

Bridge Dataset（Google DeepMind）
说明: https://github.com/rail-berkeley/bridge-data
收录 7 种机器人、100 + 任务、200 k 演示轨迹。

典型应用：

从人类遥操作中学习策略；

用作离线 RL 经验回放；

构建多模态（视觉 + 力觉）闭环交互系统。

具身问答与可供性数据集：让机器人“理解”世界

具身问答 (Embodied QA) 与可供性理解 (Affordance Understanding) 连接视觉、语义与行动三要素，

让机器人从“会动”迈向“懂为什么动”。

代表资源：

HANDAL
论文页: https://arxiv.org/abs/2308.01477
内容: 现实世界物体的可供性与姿态标注数据集。

ALFRED
官网: https://askforalfred.com/
内容: 视觉-语言-动作（VLA）任务数据集，家庭环境指令执行场景。

研究意义：

让机器人具备物体功能与常识理解；

支撑 VLA 模型的语义-物理对齐训练；

推动 “看-懂-做” 三层闭环的构建。

结语：从数据到智能的跃迁

仿真器、基准与数据集共同构成了具身智能的“物理实验室”。

它们让模型能在虚拟世界中试错、在数据中学习、在不同具身中迁移。

未来的通用机器人，将不仅仅是“看得见、动得了”，

更是“理解世界，参与世界”。

推荐资源一览表