智元Genie Sim学习小组 - 科技区角智元Genie Sim学习小组

Genie Sim 学习小组招募中！

主办方：Xbot具身智能开发者联盟

我们将正式启动 Genie Sim 仿真平台学习小组，目标是系统掌握具身智能任务的数据采集、模型训练与评估流程，预计规模为 20人左右。

小组内容包括

Genie Sim 安装与运行环境配置（含Docker支持）
HuggingFace场景与资产下载
基准任务运行与遥操作（PICO/键盘）
录制与回放机制（支持视频导出）
AI策略接入与评估（支持自定义Policy）
探索Curobo、OmniEnv等核心模块
实战任务：如 supermarket / pour water / pass water 等

适合对象

有一定 Python/AI/机器人基础的开发者
希望实操具身智能平台、参与开源生态的同学
计划复现/扩展 GenieSim 中的策略模型、用于学术/落地项目的研究者

时间安排

报名时间：即日起至本周五（满员即止）
学习方式：线上文档 + 小组互助 + 每周打卡/分享
后续我们也将组织专题直播/答疑，帮助大家系统入门

完成环境配置后请截图找我报名

有意者请私信我，备注“GenieSim学习报名”。

（微信：mmls20240701）

用户指南：Genie Sim

概述

Genie Sim 是由 AgiBot 推出的仿真框架，为开发者提供高效的数据生成能力和评估基准，用于加速具身智能的发展。Genie Sim 构建了一个完整闭环流程，包括轨迹生成、模型训练、基准评估以及部署验证。无论是简单的抓取任务还是复杂的长程操作，Genie Sim 都能提供高度真实的仿真环境和精准的评估指标，帮助开发者高效完成机器人的开发与迭代。

Genie Sim Benchmark 是 Genie Sim 的开源评估版本，专注于为具身智能模型提供精准的性能测试与优化支持。

快速开始

2.1 环境要求

Isaac Sim 安装说明

2.2 从 Huggingface 下载场景和资产

请访问：
https://huggingface.co/datasets/agibot-world/GenieSimAssets

2.3 安装

2.3.1 使用 Docker（推荐）

Bash
# 在项目根目录下构建 Docker 镜像
docker build -f ./scripts/dockerfile -t registry.agibot.com/genie-sim/open_source:latest .

# 启动容器并进入
SIM_ASSETS=~/assets ./scripts/start_gui.sh
./scripts/into.sh

# 启动服务端（默认用 Curobo 生成抓取轨迹）
omni_python server/source/genie.sim.lab/raise_standalone_sim.py --enable_curobo True

# 运行超市任务示例
./scripts/into.sh
omni_python benchmark/task_benchmark.py --task_name=genie_task_supermarket

2.3.2 本机安装

建议使用官方提供的 Docker 环境，如需本地部署，请参考 dockerfile 并手动安装依赖。

2.3.3 开发者指南

2.3.4 启用代码格式化钩子（可选）

Bash
sudo apt install python3-pip
pip3 install pre-commit
pre-commit install
pre-commit run --all-files

2.4 基准任务

2.4.1 运行基准测试

Bash
SIM_ASSETS=~/assets ./scripts/start_gui.sh
./scripts/into.sh
omni_python server/source/genie.sim.lab/raise_standalone_sim.py

# 运行客户端
omni_python benchmark/task_benchmark.py --task_name=genie_task_supermarket

可选任务名称包括：

Plain Text
genie_task_cafe_espresso
genie_task_cafe_toast
genie_task_home_clean_desktop
genie_task_home_collect_toy
genie_task_microwave_food
genie_task_open_drawer
genie_task_pack_fruit
genie_task_pass_water
genie_task_pour_water
genie_task_supermarket
genie_task_supermarket_cashier_packing
genie_task_wipe_dirt

2.4.2 评估指标配置（使用 BDDL）

示例配置：

Lisp
(define (problem genie_place_trash_into_dustbin_0)
  (:domain isaacsim)
  (:objects
  genie_napkin_001 - napkin.n.01
  genie_dustbin_009 - dustbin.n.01
  )
  (:init
  (onfloor genie_napkin_001 floor.n.01_2)
  )
  (:goal
  (inside ?genie_napkin_001 ?genie_dustbin_009)
  )
)

支持的评估器：

输出格式示例：

JSON
{
  "task_type": "benchmark",
  "task_name": "genie_pass_water_to_people",
  "result": {
  "code": -1,
  "step": 0,
  "msg": ""
  },
  "start_time": "...",
  "end_time": "..."
}

错误码说明：

Python
class ErrorCode(Enum):
  INIT_VALUE = -1
  SUCCESS = 0
  ABNORMAL_INTERRUPTION = 1
  OUT_OF_MAX_STEP = 2
  UNKNOWN_ERROR = 500

2.5 遥操作功能

2.5.1 PICO 遥操作

支持控制腰部、头部、左右末端执行器及底座移动。

使用方式：

Bash
omni_python server/source/genie.sim.lab/raise_standalone_sim.py
omni_python teleop/teleop.py --task_name genie_task_xxx --mode pico --host_ip x.x.x.x

2.5.2 键盘遥操作

键盘控制方式说明（如 WASD 控制末端执行器移动）
启动：

Bash
omni_python teleop/teleop.py --task_name genie_task_xxx --mode "keyboard"

2.6 录制与回放

2.6.1 录制

Bash
omni_python server/source/genie.sim.lab/raise_standalone_sim.py --rospub
omni_python teleop/teleop.py --task_name genie_task_xxx --mode "keyboard" --record

录制数据保存在：./output/recording_data/{task_name}/state.json

2.6.2 回放

Bash
omni_python server/source/genie.sim.lab/raise_standalone_sim.py --rospub --record_img --disable_physics
omni_python teleop/replay_state.py --task_file teleop/tasks/genie_task_xxx.json --state_file output/recording_data/genie_task_xxx/state.json --record

用例说明

3.1 设置基准任务配置文件

任务包括：

• task_name

• objects: 分为交互对象、固定对象、额外对象

• recording_setting: 需要录制的摄像头视角

• robot: id, 配置路径, 初始位姿

• scene: USD 路径、功能区域

• stages: 动作阶段定义（例如握持、倒水等）

3.2 使用具身 AI 模型运行任务

1. 配置任务 JSON：如 benchmark/bddl/eval_tasks/genie_task_supermarket.json

2. 配置任务场景映射：task_to_preselected_scenes.json

3. 编写策略文件 yourpolicy.py，继承 BasePolicy

4. 启动评估：

Bash
python3 benchmark/task_benchmark.py --task_name xxx --policy_class YourPolicy --env_class OmniEnv

3.3 操作任务中资产参数建议

不推荐示例：

网格过密
使用过多三角网格
粗糙的物理碰撞体

推荐示例：

使用简洁碰撞体
精准贴合抓取区域
使用 convexHull / convexDecomposition

API 参考（部分示例）

更多 API 请见完整列表。