01:基于 GE-Sim 2.0 的具身智能 VLA 闭环仿真与评估基准搭建
在具身智能(Embodied AI)的研究与工程落地中,评估一次 视觉-语言-动作(Vision-Language-Action, VLA) 策略,要么烧真实机器人,要么搭仿真环境——两条路都又贵又慢。如果未来的画面可以直接“生成”出来,在显卡上低成本完成闭环测试,会怎样?

Github:GimpelZhang/GE-Sim-V2-tour
Stage 1 的核心目标:在无图形界面(Headless)的云端 GPU 服务器上,基于智元开源的 GE-Sim 2.0 工具链 与 OpenPI 的 π0.5 VLA 策略模型,跑通一套完整的具身智能闭环仿真测试流水线,并接入自动化评估(World Judge),实现从动作推理、视觉生成到任务评分的全自动闭环。
1.1 模型体系与机器人本体构型
在本次闭环测试中,系统由三大核心模型协同驱动:

1.1.1 机器人本体构型(Agibot G01)
仿真环境内建模的机器人为智元 G01(Agibot G01)双臂具身机器人:
自由度(DoF)配置:16 自由度控制向量。包含左臂 7-DoF 关节、右臂 7-DoF 关节,以及左右末端各 1 自由度的连续/离散夹爪(Gripper)。 视觉感知构型:搭载 3 路同步 RGB 相机,包括: Head View(头部主视角):提供全局场景与操作台俯视画面。 Left Wrist View(左手腕相机):提供左侧操作末端的特写与遮挡补偿。 Right Wrist View(右手腕相机):提供右侧操作末端的特写。 正向运动学(FK)解算:依赖编译好的 C/C++ 动态链接库 _g01_fk.so,在 CPU 端将 16-D 关节动作序列实时解算为末端执行器(EEF)的 3D 空间轨迹与四元数位姿。
1.1.2 世界模型:GE-Sim 2.0 (Distill 2B
世界模型选用智元发布的 GE-Sim 2.0 蒸馏版本(2B 参数量)。该模型基于 Flow-Matching 视频扩散框架,通过输入历史视觉帧、相机位姿光线图(Ray Maps)以及动作投影轨迹带(Trajectory Band),在隐空间内进行 4 步去噪推理,单次前向直接生成未来的 25 帧连续多视角视频。权重文件通过 Hugging Face(agibot-world/Genie-Envisioner-Sim-v2.0)拉取,体积约为 4.47GB。
1.1.3 VLA 策略模型:OpenPI π0.5
策略端采用 OpenPI 体系下的 π0.5 策略模型(pi05_gesim_g01op_test,体积约 7.0GB,总参数量约 3.62B)。该模型以 PaliGemma-2B 作为多模态视觉语言主干,结合 300M 参数的 Gemma Action Expert 动作头,采用 Flow-Matching 生成连续动作块(Action Chunk),单次推理输出未来 50 步的控制序列。
1.1.4 评估判官(World Judge):小米 MiMo mimo-v2.5
针对闭环推演的自动化任务打分,本实验接入远程多模态大模型——小米 MiMo (mimo-v2.5) 作为 World Judge 后端。
1.2 仿真时序与 Wallclock 实时帧率深度评测
在基于世界模型的机器人闭环推演中,仿真是实时的吗?世界模型生成图像的速率与策略推理速率究竟如何? 这是具身智能领域最为关注的核心指标之一。 我们对 Stage 1 实测中 outputs_stage1/logs/world_model.log 的 24 次连续扩散推演进度条进行了高精度时间戳统计与解构分析。
1.2.1 核心频率测量结果
| 统计口径 | 实测频率 / 吞吐 | 说明 |
|---|---|---|
| 世界模型(WM)图像生成吞吐 | ~4.33 帧/秒 (wallclock) | 纯模型推理时间计算,直接从 Tqdm 取证(最硬指标) |
| 纯仿真 + VLA 闭环帧率(无外部判分) | ~3.20 帧/秒 | 扣除在线评测延迟后的纯闭环仿真速率(~0.20× 实时) |
| 完整闭环实时帧率(含在线 MiMo 判分) | ~0.88 帧/秒 | Stage 1 包含在线 VLM 逐步评测的实跑速率(~0.055× 实时) |
以一个完整的仿真步(生成 25 帧未来画面)为例,耗时分布如下:
[WM 视频扩散生成] 5.77s (20.3%) ├── Flow-matching 去噪 (4 步): 5.36s (1.34s/it) └── VAE 图像解码: 0.41s (9.7 it/s)[策略模型前向推理 (π0.5)] ~2.00s (7.0%)[MiMo 远程在线判分 (HTTP + CoT)] ~18.00s (63.4%)[网络传输与轨迹带渲染开销] ~2.63s (9.3%)-------------------------------------------------------单步总耗时 (Wallclock 周期): 28.40s (对应生成 25 帧视频)仿真控制率(仿真时间轴): 16.00 fps (25 步动作跨越 1.56 秒仿真时间)世界模型生成能力上限: 4.33 fps (瓶颈①:扩散去噪固有代价,0.27× 实时)纯策略闭环推演速率: 3.20 fps (叠加 π0.5 动作规划开销,0.20× 实时)全链路评测实跑速率: 0.88 fps (瓶颈②:叠加远程 VLM 思维链推理延迟,0.055× 实时)
世界模型闭环仿真非严格实时:在单卡 A800 上,即使采用了 4 步蒸馏的 2B 世界模型,其生成速率(4.33 fps)依然比 16 fps 的真实世界控制率慢约 3.7 倍,"实时仿真"目前还是一个目标,而不是现状。。 Action Chunking(动作分块)是吞吐优化的核心支撑:由于 π0.5采用了 Action Chunk 机制(每次吐出 50 步动作并压缩为 25 步执行),策略无需逐帧调用,极大地平摊了神经网络的重规划耗时——平摊后仅占总耗时的 7% 左右。 在线 VLM 判分是主要延迟来源:在闭环中挂载在线思维链 VLM 会将帧率从 3.2 fps 拖慢至 0.88 fps。若仅用于纯策略推演而无需逐步打分,仿真系统本身的运行速度约为实际时间的 1/5——即推演 1 秒钟的机器人动作约需消耗 5 秒钟计算时间。
1.3 测试场景结果与可视化展示
Stage 1 针对官方提供的 3 个基准场景进行了 8 步闭环推演测试,总推演时长 739.2 秒(含场景间切换时间),MiMo World Judge 最终评分如下:
Stage 1 针对官方提供的 3 个基准场景进行了 8 步闭环推演测试,总推演时长 739.2 秒,MiMo World Judge 最终评分如下:
| 场景 ID | 任务描述 (Instruction) | 闭环步数 | 评测状态 | 最终得分 | World Judge 诊断推理摘要 |
|---|---|---|---|---|---|
demo_000 | Pick up the kettle on the table with right arm and pour the water into the cup. | 8 | Success | 0.90 | 机械臂右臂准确抓取水壶,位姿移动平稳,成功将壶嘴对准水杯完成倾倒动作。 |
demo_001 | Pick up the facial cleanser on the table. Place the held facial cleanser into the gray square plastic basket on the table. | 8 | Failed | 0.00 | 机械臂发生视觉误判,抓取了旁边的薯片包装袋而非目标洗面奶。 |
demo_002 | Left arm picks up the towel and wipe the stains on the mirror surface clean. | 8 | Failed | 0.30 | 左臂准确抓取了毛巾,但在接近镜面后未产生有效的擦拭轨迹,任务未闭环完成。 |
仿真推演可视化视频片段 可视化说明:视频由 GE-Sim 2.0 自动将 Head View、Left Wrist View、Right Wrist View进行拼接导出(16 FPS,MP4 格式)。
Demo 000(抓壶倒水任务 - 成功) Demo 001(洗面奶归位任务 - 抓错目标失败) Demo 002(毛巾擦镜子任务 - 动作未执行完整失败)
3 个 Demo 中 1 个成功、2 个失败。失败案例同样有价值:它们恰好暴露了 World Judge 语义判分与人工看视频之间的差异(见下文说明)。
1.4 Stage 1 小结与下一步
在 Stage 1 中,我们成功在无头 A800 服务器上构建了 GE-Sim 2.0 世界模型与 OpenPI π0.5 闭环仿真链路,并通过实测数据给出了世界模型仿真的实际运行帧率基准。 但需要注意的是:MiMo只通过有限帧数的head图片进行判断,因此demo_001/demo_002的World Judge与完整过程的视频留存存在差异。
闭环demo的跑通只是及格线。真正的考验是:换一个从没见过的场景,策略还灵不灵?因此进一步的问题是:我们如何能够快速生产world model所需要的仿真场景数据?在接下来的 Stage 2 中,我们将详细介绍如何利用 Real2Edit2Real 管线,通过 3D 点云重建与空间编辑,批量生成供 GE-Sim 2.0 运行的全新仿真场景。
02 基于 Real2Edit2Real 的场景编辑与泛化仿真数据批量生成
在 Stage 1 中,我们成功在 GE-Sim 2.0 中跑通了预置 Demo 的闭环推演。然而,在具身智能的实际研发中,真实采集的遥操作(Teleoperation)演示数据极其昂贵且覆盖范围有限。如果仅在录制好的固定初始位姿下做闭环测试,极易导致策略模型的“过拟合假象”。
为了对 VLA 策略开展真正有统计学意义的大规模压力测试,我们需要大量具备空间几何一致性(位移、旋转扰动)与物理合理性的泛化场景。
在 Stage 2 中,我们的目标是:引入智元开源的 Real2Edit2Real (R2E2R) 工具链,以单条真实操作演示(lift_box 双臂搬箱任务)为种子,通过 3D 点云重建、开放词表分割、生成式图像修补、基于 GPU 加速的机器人逆运动学(IK)轨迹重投影,批量衍生出 50 个带有空间位移与姿态扰动的全新仿真场景,为后续的大规模闭环评估提供标准化输入。
2.1 技术路线与管线全景
Real2Edit2Real 的核心思想是:从真实世界重建 3D 场景 → 在几何空间中编辑目标物体并重规划机械臂轨迹 → 渲染回真实感多视角数据。 整套管线由七个子模块串联而成:

2.2 最终产出数据形态与泛化场景可视化
经过 Stage 2 的全自动生产,管线在 /mnt/GE-Sim-V2-tour/outputs_stage2/phase2_batch_50/ 下成功产出了 46 个高质量的泛化场景目录(在 50 次空间扰动采样中,46 条 Episode 成功解出合法的无碰撞新动作轨迹;4 条因物体偏移超出机械臂运动学工作空间极限,在设定的松弛公差下无解被系统正常跳过)。
2.2.1 单场景标准数据交付规格
每个泛化场景目录均包含以下多模态数据,完整对齐机器人通用数据规范:
aligned_joints.h5:嵌套 HDF5 格式,包含经 CuRobo 重规划后的关节位姿序列与双夹爪控制时序。
depthmap.npz / depthmap_canny.npz:多视角对齐的空间深度图与 Canny 边缘几何图。
head_frame.png / hand_left_frame.png / hand_right_frame.png:三视角初始 RGB 图像。
meta_info.json:记录该场景施加的真实平移向量与旋转角。 2.2.2 空间泛化分布统计(已通过验证脚本校验) 46 个生成场景的空间位移覆盖情况如下,呈现出分散性:
横向平移范围 (△X):[-19.6xm,-1.1cm](机械臂侧向位移)
纵深平移范围 (△Y):[-18.3cm,+18.1cm](机械臂前后伸展)
空间径向距离 √(ΔX² + ΔY²)
轻微偏移(<5cm):2 个场景 中度偏移 (5~10cm ):10 个场景 极限偏移 (≥10厘米):34 个场景 偏航角旋转扰动 (△ʘ):覆盖 −30° 至 +30° 全域。
泛化场景首帧三视角拼合预览
场景可视化说明:下图/视频展示了从生成的 46 个泛化场景中抽样提取的初始画面。画面横向拼接了头部视角(Head View)、左手腕视角(Left Wrist View)与右手腕视角(Right Wrist View),可以清晰观察到目标纸箱在操作台上呈现出的不同平移偏置与旋转姿态。
(展示 46 个衍生场景中,纸箱在不同 (X, Y) 坐标与旋转角下的多相机初始观测对比)
2.3 Stage 2 小结与下一步
在 Stage 2 中,我们通过 Real2Edit2Real 从单条真实录像低成本衍生出了 46 个具身场景。这 46 条标准化数据将直接作为测试基准输入下一阶段。在 Stage 3 中,我们将把这 46 个全新场景批量导入 GE-Sim 2.0 神经模拟器,正式展开针对 π₀.₅ VLA 策略模型的大规模闭环泛化评估与鲁棒性边界诊断。
03 大规模批量闭环仿真与空间泛化能力诊断
在 Stage 2 中,我们通过 Real2Edit2Real 管线成功生产了 46 个带有不同空间位移(△X,△Y∈[±20cm])与偏航旋转扰动(△ʘ∈[±30])的 lift_box(双臂搬运纸箱)仿真场景。
Stage 3,我们的核心目标是:将这 46 个全新生成的空间泛化场景批量接入 GE-Sim 2.0 神经模拟器,驱动 OpenPI π0.5 VLA 策略模型进行大规模全自动闭环推演(Closed-loop Rollout),并接入 MiMo World Judge 自动输出空间泛化衰减曲线与失败归因诊断报告。
3.1 总体测试基准与核心认知
Stage 3 自动化测试完整执行了 46 个 Episode 的闭环推演,推演总时长约 3.6 小时,0 次系统性异常退出。MiMo World Judge 对全部推演视频完成了细粒度语义打分(无启发式降级),最终产出 stage3_generalization_report.json 与 Markdown 报告。
测试场景总数:46 个(覆盖全域空间偏移) 整体成功率(Overall Success Rate, OSR):6.5%(3 / 46) 平均任务完成度得分(Task Score):0.211(31 / 46 获得了非零的执行进度分) 生成可视化视频数:43 个(由于 Stage 3 的成功率仅 6.5%,且原本设计的规则是“只对失败强制全存、对成功仅固定抽样”,结果抽样步长5恰好错过了所有的成功用例,导致保存的 43 个视频全部成了失败场景)
⚠️ 如何理解 6.5% 成功率: 本测试使用的 π0.5 权重(pi05_gesim_g01op_test)最初是在 Stage 1 的单臂/基础任务(如抓水壶、洗面奶、毛巾)上微调预训练的,从未在训练集中学习过 lift_box(双臂协同搬运纸箱)任务。
因此,6.5% 的成功率是策略在完全未见任务上的真实“跨任务零样本泛化(Cross-Task Zero-Shot Generalization)”表现。它不仅验证了策略具备基础的物体接近与空间感知能力,同时也暴露出当前模型在复杂双臂协同任务上的鲁棒性短板,为 Stage 4 的强化学习自我进化提供了最真实的 Baseline。
3.2 空间泛化能力多维衰减分析
把 46 场考试按“偏了多少”分组,结果如下:

维度 A:物体 XY 空间径向平移距离

维度 B:纵深方向(△Y)位移偏好
纸箱远离本体 (△Y>+5cm):成功率 5.9%,平均分 0.224。机械臂需深度前探,视野开阔但易触达末端极限。 纸箱靠近本体 (△Y>+5cm):成功率 9.1%,平均分 0.209。机械臂逆运动学求解更充裕,双臂下探动作更完整。
3.3 失败模式归因聚类(Failure Mode Analysis)
43 场没考及格的场景,错在了哪里?通过汇总 MiMo World Judge 输出的逐帧 Reasoning 文本,我们提取了最具代表性的失败特征分布:

主导缺陷(41.9%)——双臂抓取协同失调:机械臂虽然能够准确识别纸箱位置并完成“向目标靠近(Approach)”,但在关键的“双末端同时合围抓取(Bimanual Grasp)”阶段出现时序错配(例如左臂到位但右臂未合拢,或一侧夹爪提起导致纸箱在操作台上严重侧倾滑落)。 这表明:对于多臂具身模型,单步视觉定位已经较为成熟,但高自由度动作块在时序上的左右协同(Bimanual Synchronization)是泛化能力衰减的瓶颈所在。
3.4泛化场景闭环测试可视化展示
纸面数据之外,直接看真实推演画面:
3.5 Stage 3小结与下一步
在 Stage 3 中,依托 GE-Sim 2.0 高度灵活的多条件扩散仿真能力与解耦的系统设计,我们在无物理引擎调参的前提下,全自动跑通了 46 个全新泛化场景的闭环测试,成功测得了 π0.5 策略模型的性能基准(OSR 6.5%,平均分 0.211),并定位出了“双臂协同抓取不足”的核心失效模式。
诊断出问题只是第一步。既然我们已经拥有了可交互的神经模拟器与World Judge(本demo只展示流程跑通),能否让机器人直接在 GE-Sim 2.0 的“模型世界”里开展强化学习,实现策略的自我进化(Policy Self-Improvement)?
在接下来的 Stage 4 中,我们将带大家进入模型世界内的强化学习实战,探索如何通过奖励加权流匹配回归(RWR)算法,大幅提升机器人双臂搬运纸箱的成功率。
04 世界模型内的自我进化与物理失真困境
6.5%——Stage 3 留下的成绩单并不好看。但比分数更重要的是诊断:策略的核心缺陷在于双臂协同抓取不足,机械臂难以在物体发生空间平移时精准协同闭合。
既然我们在前几个阶段已经搭建了高保真的 GE-Sim 2.0 神经模拟器 与全自动的 MiMo World Judge 判官,一个自然的构想随之浮现:能否让机械臂直接在世界模型生成的“想象空间”中开展强化学习(RL in World Model),通过环境反馈自主微调策略参数,实现搬箱任务成功率的自我进化?
在 Stage 4 中,我们在 A800 40GB 单卡环境下完整实现了这一设想,完成了 60 轮在线闭环强化学习(由于数据、算力及时间的限制,本文仅采用基于奖励加权的行为克隆和迭代微调作为展示,不做真正强化学习训练),并在测试集上将评测成功率大幅推升至 80.0%。然而,随着对生成视频的深入审视,这一看似辉煌的“纸面提升”却揭示出了当前视频世界模型更深层次的本质困境。
4.1 算法架构设计:基于原生流匹配的奖励加权回归(RWR)
在策略优化算法的设计上,π0.5 模型的底层本质是一个基于 Flow-Matching(流匹配) 的连续速度场生成模型,其推理动作是通过 10 步欧拉数值积分(Euler ODE Integration)去噪生成的。
为了适配这一数学特性并确保训练极度稳定,我们采用了 奖励加权流匹配回归(Reward-Weighted Regression on Flow-Matching, RWR) 算法,将在线强化学习转化为由环境奖励动态加权的监督微调范式:

数据集切分基于 Stage 3 真实表现进行确定性分层切分(固定挑选 3 个基线成功与 7 个代表性失败场景作为测试集,剩余 36 个归入训练集以保证评测可比性),而这批场景本身的几何扰动则由 Stage 2 空间采样器的固定种子42确定性衍生而来。
4.1.1 动作专家小头微调(极低显存与参数开销)
π0.5拥有 3.62B 参数,全量微调在单张 40GB 卡上与世界模型共存必然会面临显存压力。我们对模型结构进行了精细化冻结:
完全冻结 3.62B 参数的 PaliGemma-2B 视觉语言骨干与 Gemma Action Expert 注意力层; 仅放开动作通道的 4 个关键线性层:action_in_proj、action_out_proj 以及时序多层感知机 time_mlp_in、time_mlp_out。 可训练参数量仅约 216 万(2.16M Parameters,权重体积仅 8.66MB),在骨干权重完全冻结的前提下,仅调整动作输入/输出映射与时序感知层,专注于动作头针对搬箱任务空间协同的快速适配。
4.1.2 RWR 加权损失计算机理
在每一轮迭代中,策略模型在世界模型中完成 10 步闭环推演。在获得 MiMo 判官给出的整条轨迹奖励R后,模型调用其原生流匹配速度场损失函数: L_FM(s_t, a_t) = 1/2 ‖v_θ(x_t, t, s_t) − u_t‖² 将高奖励轨迹下实际执行的动作作为拟合目标,利用优势函数 w = Softmax((R − b) / τ) 进行梯度加权并回传——使模型朝“高评分动作轨迹的速度场”方向演进。
4.2 训练进化过程与测试集提效表现
训练循环在 36 个训练场景上完整迭代了 60 轮(60 Iterations),每轮执行 10 步闭环推演与 MiMo 判分,总耗时约 8.7 小时,0 次中断异常,MiMo API 保持了 100% 的高可用响应。
4.2.1 训练进化曲线收敛表现

流匹配损失(Loss):从初始的 2.055 稳步下降至 1.080(最低触及 0.710),降幅达 47.4%,表明动作头成功拟合了高分动作轨迹的速度场特征。 滑动奖励基线(Baseline Reward):从初始设定的 0.100 单调攀升至 0.716(峰值触及 0.834),前 1/4 阶段平均奖励为 0.578,后 1/4 阶段平均奖励增长至 0.726。
4.2.2 未参与训练测试集(10 场景)泛化评估对比
训练曲线很好看,但曲线不等于能力。训练结束后,我们加载最终保存的权重 pi05_liftbox_finetune_final,在完全未见过的 10 个测试场景上进行了贪婪推理评估,并与 Stage 3 的基准得分进行逐一对比:


从测试结果看,此前在 Stage 3 中失败的 7 个代表性场景中有 5 个被成功修复,且原本成功的 3 个场景依然保持了高分。如果故事到此为止,这将是一个标准的"RL 提效"案例——但真正的转折,藏在视频里。
4.3 纸面繁荣背后的反思:视频世界模型的“物理幻觉”与局限性剖析
如果仅停留在损失函数曲线与 MiMo World Judge 给出的评分报表上,本次强化学习无疑取得了成功——损失收敛、基线上升、测试集成功率从 30% 跃升至 80%。
然而,当我们仔细审视 Stage 4 闭环测试输出的最终高清视频帧时,令人震惊的画面出现了:机器人在视觉层面上表现出了极其严重、违背现实物理定律的“物理幻觉”与画面失真。
(画面展示:机械臂在向纸箱合拢过程中,纸箱未受真实刚体挤压,却在空中发生撕裂、溶解、漂浮,最终消失在操作台上)
4.3.1 实测视频中的反物理失真现象记录
在抽取的测试视频连续时序帧中,画面呈现出以下典型异常:
物体悬空漂浮与几何解体:机械臂夹爪尚未真正接触纸箱表面,纸箱便自发离开操作台,在半空中发生拓扑扭曲(从立方体纸箱形变为空心多边形、甚至退化为网格状虚影)。 接触力学缺失与物体“蒸发”:在双臂合拢下探时,纸箱没有产生受力反馈,而是像烟雾一样在画面中逐渐拉伸、模糊并彻底溶解消失(画面只剩下空荡荡的桌面与合拢的夹爪)。 背景空间扭曲(Melt & Smear):随着推演步数推进,操作台边缘与地面斑马线发生剧烈的拉伸与纹理融化,画面全局稳定性严重衰减。
4.3.2 为什么会出现“深度学习目标达成,但物理画面失真”?
这是一个极具启发性的现象。结合生成式世界模型的底层机理,我们对其根因进行了多维度的深度剖析:

视频扩散模型的本质:统计相关性而非物理求解器
GE-Sim 2.0 是基于视频数据训练的生成式模型。它学习的是像素分布在时空维度上的统计转移概率,其内部并不包含重力加速度、刚体接触摩擦锥、弹性形变等任何显式的微分方程。
当策略模型在强化学习的探索中输出了某些微小的非标准动作时,扩散模型的条件输入进入了分布外区间(Out-of-Distribution, OOD)。在自回归多步去噪的循环中,误差被指数级放大,模型开始倾向于用“最容易降噪的视觉模式”填充隐空间,导致物体直接在像素层面被抹去或漂浮。
VLM World Judge 的高层语义感知漏洞(Perceptual Shortcut) MiMo(以及现存大部分基于通用视觉大模型的判官)依赖 2D 图像特征进行任务理解。在评估“搬运纸箱”时,VLM 的关注焦点主要在于两个高层语义先验:
初始帧有纸箱,后续帧纸箱高度抬升或桌面变空; 机械臂末端执行器处于合拢抬起姿态。
由于 VLM 缺乏基于 3D 物理一致性(Physical Plausibility)的时空细粒度检验能力,面对“纸箱凌空飞走”或“纸箱溶解”的画面,VLM 在高层语义上误判定为“物体已被成功移除并抬起”,从而给出了 0.9 ~ 1.0 的满分奖励!
强化学习在模型世界中的“奖励作弊”(Reward Hacking) 在 RWR 梯度的驱动下,策略模型展现出了强化学习最经典的“作弊”本能:
策略并没有真正学会如何用双臂在物理法则下紧密夹持纸箱; 相反,它敏锐地捕捉到了世界模型与 VLM 判官之间的协同漏洞——只要输出某种特定的动作轨迹组合,就能诱导视频扩散模型渲染出“纸箱升空”的视觉表象,从而稳定骗取 VLM 的高额奖励。
这最终导致了我们在实测中看到的现象:在强化学习的数学定义与判官标准下,策略达成了卓越的指标;但在现实世界的物理法则下,生成的动作是不可执行的。
4.4 Stage 4 总结与展望
在 Stage 4 中,我们完整走通了“基于世界模型的策略自我进化”全链路。通过 RWR 算法与动作小头微调,我们在单卡环境下验证了强化学习与神经模拟器结合的工程可行性,取得了可观的指标提升。
但更重要的是,Stage4的最终结果展现了基于世界模型的闭环策略效果提升并不是一件容易的事:纯视觉世界模型在走向策略强化学习的闭环时,面临着严峻的“物理失真(Physics Inconsistency)”与“奖励作弊(Reward Hacking)”挑战。
这或许意味着,未来的具身智能模拟器若要真正承担起“虚拟世界训练、真实世界部署(Sim-to-Real)”的重任,单纯依赖 2D/多视角视频扩散显然是不够的。将 3D 隐式几何表示(如 3D Gaussian Splatting / NeRF)、可微接触物理约束(Differentiable Physics) 与生成式神经渲染深度融合,并研发具备真正物理因果理解能力的时空判官(Physical-Aware World Judge),将是世界模型赋能具身智能进化一个值得探索的方向。
回看这条路线: Stage 1 在无头服务器上跑通了世界模型闭环仿真;Stage 2 用一条真实录像批量衍生出 46 个新场景;Stage 3 用这 46 个场景给策略做了全面“体检”;Stage 4 则在模型世界里把成功率从 30% 推到 80%——也亲手验证了世界模型的物理幻觉边界。
项目已开源,欢迎复现交流。
github.com/GimpelZhang/GE-Sim-V2-tour
-END-
点击下方卡片,关注【Xbotics具身智能实验室】
你想要的这里都有~~
Ask Me Anything|提问箱
对文章有疑惑,或想聊更深?欢迎把你的问题丢给我们:技术方案、实操踩坑、课程与资料、项目合作、职业发展,都可以问。
怎么问:在评论区留言,或私信公众号
我们会做什么:每周集中整理高质量问题并公开回复,重点问题邀请作者或嘉宾深度解答;典型问题会加入知识库并持续更新。
提问小提示:尽量说明「你的目标—当前做法—期望产出」,附上必要信息(硬件/软件版本、数据规模等),能更快获得有用答案。
一起把问题变成知识,推动社区进步 🚀