点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
太长不看版： SG-WAM 是一个自引导的世界动作模型，直接在「策略派生表示空间」里学习几何感知、动作条件的未来动力学。它插入可学习的动力学 token，并用自引导世界预测器（SGWP）基于干预动作预测其未来隐状态，预测目标由同一策略主干的 EMA 副本生成。无需大规模具身预训练，仅 0.9B 的 SG-WAM 在 LIBERO 上取得 98.5% 平均成功率、在 LIBERO-Plus 上取得 73%，并在分布内与分布外真实评测中均超越强基线。
标题：SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space
作者：Ruiteng Zhao, Zhengshen Zhang, Yue Su, Wenshuo Wang, Jiahui Li, Zhiyuan Yang, Francis E. H. Tay, Marcelo H. Ang, Haiyue Zhu
机构：Advanced Robotics Centre, National University of Singapore; MMLab, The University of Hongkong; Nanyang Technological University; Singapore Institute of Manufacturing Technology, Agency for Science, Technology and Research (A*STAR)
论文：https://arxiv.org/abs/2608.01397
主页：https://sg-wam.github.io/
导读
世界动作模型（World Action Models, WAMs）将动作生成与未来状态预测耦合在一起。其有效性取决于：未来动力学是否被建模在一个「既与动作生成对齐、又具备足够几何感知以刻画动作在何处、如何改变场景」的空间中。现有 WAM 通常只满足这一要求的一部分——要么依赖感知沉重的观测空间目标，要么依赖无法同时面向动作相关性与几何结构的辅助隐空间。
我们提出 SG-WAM，一个自引导框架，直接在策略派生的表示空间中学习几何感知、动作条件的动力学。SG-WAM 引入可学习的动力学 token 与一个自引导世界预测器（Self-Guided World Predictor, SGWP），基于干预的机器人动作预测这些 token 的未来隐状态。预测目标由同一策略主干的指数滑动平均（EMA）副本生成，从而在动作专家所使用的表示族内提供稳定监督。几何监督进一步结构化策略的图像 token 表示，为动力学 token 提供空间落地的上下文，从而得到「既动作相关、又几何感知」的未来对齐空间。隐式未来预测、几何落地与流匹配动作生成在一个统一框架内端到端联合优化。
在无需大规模具身预训练的前提下，基于 0.9B 模型的 SG-WAM 在 LIBERO 上取得 98.5% 的平均成功率、在 LIBERO-Plus 上取得 73%，并在分布内与分布外的真实世界评测中均优于强基线。
效果展示
▲ 图1：已有 WAM 与 SG-WAM 的概念对比。显式与辅助隐目标可能带来感知负担或目标-策略失配，而 SG-WAM 在几何结构化、策略派生的表示中学习「干预动作条件的」动力学。
引言
世界动作模型（WAMs） 近期作为一种有前景的机器人操作范式崭露头角，它将动作生成与未来状态预测耦合在一起。与直接把观测映射为动作的传统策略不同，WAM 显式地监督策略去「预判」机器人交互如何改变环境、推进任务进展。这种面向未来的监督能促使策略表示捕捉动作诱发的动力学——而这仅靠动作模仿是弱约束的。然而，WAM 的有效性关键取决于：未来监督被施加在怎样的表示空间中，以及该空间与动作生成的耦合程度。
现有 WAM 大致在「观测空间」或「隐表示空间」中建模动作条件的未来。观测空间方法预测未来图像、视频、深度图或其他感知信号，为场景演化提供稠密监督 。尽管信息丰富，这些目标却要求模型捕捉纹理、视角、背景等变化——而这些可能仅与决定操作成败的状态变化弱相关。结果，大量建模容量被分配到感知保真度，而非操作相关的动力学。隐式 WAM 则改在表示空间中建模未来信息，降低重建与操作无关外观细节的负担。现有方法以不同方式实现这一想法：有些直接预测未来视觉特征，或将策略表示与未来观测提取的特征对齐 ；另一些则构建紧凑的预测表示，以捕捉动作相关特征变化或子空间 。尽管各有差异，这些方法普遍通过「外部定义或辅助的目标表示」来施加面向未来的监督，而这些表示并不能被显式保证与「直接用于条件化动作生成」的表示一致。这在预测目标所强调的信息与动作专家所需的信息之间，制造了潜在的失配。
上述局限表明：仅仅把未来预测从观测空间搬到隐空间是不够的。尽管面向动作的表示能抑制外观变化，但这种压缩并不能保证保留操作所需的细粒度空间信息。因此，一个理想未来建模空间不仅必须直接与动作生成耦合，还必须保留刻画「动作在何处、如何改变场景」所需的几何。这一点至关重要，因为成功的操作不仅依赖识别「什么在变」，也依赖捕捉空间细节 。然而，现有 WAM 通常通过感知重建、辅助目标或预定义特征空间来编码几何 ，而不是用它直接结构化「策略耦合的未来对齐空间」。这就引出一个核心挑战：如何构建一个几何感知的未来对齐空间，使其直接与用于动作生成的表示相耦合。
主要贡献
我们提出 SG-WAM，一个自引导框架，直接在动作专家所用的策略表示空间中学习几何感知、动作条件的动力学（如图1）。SG-WAM 不重建未来观测、也不从独立的未来编码器预测特征，而是把可学习的动力学 token 插入 VLM 序列，并采用自引导世界预测器（SGWP）基于干预的机器人动作预测这些 token 的未来状态。预测目标由同一策略主干的 EMA（指数滑动平均）副本生成，从而在用于动作生成的同一表示族内提供稳定监督。为确保这一策略耦合的未来对齐空间保留操作所需的空间结构，SG-WAM 进一步用几何监督显式塑造策略的图像 token 表示；这些几何落地的图像 token 为动力学 token 提供空间上下文，得到一个「既动作相关、又几何感知」的隐动力学空间。隐式未来预测、几何落地与流匹配动作生成在一个统一训练框架内端到端优化，使未来监督能直接组织动作专家所消费的表示，而在推理时仅需当前观测与语言指令。
方法
SG-WAM 的核心思想是：不要在观测空间（预测未来图像/深度）或某个独立辅助空间里做未来预测，而是把「未来动力学」直接学在策略自身派生出的、几何结构化的表示里，并让预测目标来自同一策略的 EMA 副本，从根上消除「目标-策略失配」。下面给出整体框架与预测器细节。
▲ 图2：SG-WAM 框架总览。VLM 联合语境化多视角观测、语言与可学习的动力学 token 以生成动作；训练时，冻结的 VGGT 教师塑造主视角图像 token，而 SGWP 基于干预动作预测未来动力学 token 状态，并将其与 EMA 策略目标对齐；推理时所有辅助分支均被移除。
▲ 图5：自引导世界预测器（SGWP）总览。投影后的动力学 token 状态先经自注意力语境化，再通过交叉注意力关注编码后的干预动作，以预测未来隐状态。
（a）核心思想（大白话）。 世界-动作模型（WAM）一边生成动作、一边预测「我这个动作会让环境怎么变」。但「未来」该在哪个空间里建模？在观测空间建模要分心去重建纹理、背景，浪费容量；在普通隐空间建模又容易和真正用来生成动作的那份表示对不齐。SG-WAM 的答案是：直接在策略主干自己用的那份表示里建模未来，并用「同一主干的 EMA 副本」当老师——这样监督天然落在动作专家的表示族内。
（b）一步一步的流水线。
可学习动力学 token + 自引导世界预测器（SGWP）。 在 VLM 的 token 序列里插入一组可学习的动力学 token；SGWP 以当前策略状态与干预机器人动作为条件，先对动力学 token 状态做自注意力语境化、再通过交叉注意力关注编码后的干预动作，预测这些 token 的未来隐状态（未来场景状态 ẑQ）。 EMA 自引导目标。 预测目标由同一策略主干的 EMA（指数滑动平均）副本给出，保证监督落在动作专家所用的同一表示族内，稳定且与策略不脱节——目标不会来自一个和策略「说不同语言」的编码器。 几何监督。 一个冻结的 3D 基础模型 VGGT 当教师，塑造策略的主视角视觉 token，使图像 token 具备几何结构；这些「几何落地」的图像 token 为动力学 token 提供空间上下文，让未来对齐空间既动作相关、又几何感知。 统一端到端训练。 隐式未来预测、几何落地与流匹配（flow-matching）动作生成联合优化；几何教师、SGWP 与 EMA 目标通路只用于训练，推理时全部移除，因此推理只需当前观测与语言指令。
（c）关键设计选择及其理由。
为什么用 EMA 自引导而不是独立未来编码器？因为独立编码器给出的「未来特征」和策略实际消费的特征属于不同分布，存在目标-策略失配；EMA 副本与策略共享权重演化，监督天然对齐。 为什么还要额外加几何监督？因为光靠动作相关的压缩会丢掉操作所需的细粒度空间信息（「动作在何处、如何改变场景」），几何教师把图像 token 结构化，给动力学 token 提供空间落点。 为什么推理能去掉所有辅助分支？因为几何/世界/EMA 都是训练期的「脚手架」，只为组织策略表示；训练好后，策略自己就学会了几何感知的动作相关表示。
（d）笔者理解。 SG-WAM 的巧思在于「用模型自己当自己的老师」——EMA 自引导让未来预测的监督自动跟随策略的表示分布漂移，既不需要大规模具身预训练，也不需要额外设计辅助目标空间。它把「世界模型」从一种昂贵的多任务负担，变成了一个轻量、内嵌于策略训练的正则项。权衡在于：VGGT 教师是冻结的、且依赖多视角/深度线索，换到单目或弱几何场景可能要另寻几何来源；此外 0.9B 的体量虽小，但是否能无损迁移到更大主干仍是开放问题。对机器人学习领域的启示是：未来建模的价值未必在于「预测得多像」，而在于「把有用的时空结构注入策略表示」——这条路线比堆观测重建务实得多。
实验结果
我们在 LIBERO（四个标准套件）与 LIBERO-Plus（零样本扰动迁移）上评测，并与显式/隐式 WAM 强基线对比。下面只保留最能说明问题的「主基准 + 零样本迁移 + 组件消融 + 一个机制可视化」，其余细分消融（token 数量、动作信息、子任务等）不再逐一罗列。
▲ 表1：LIBERO 仿真结果。报告四个标准 LIBERO 套件上的成功率（加粗为最佳，下划线为次佳）。
▲ 表2：LIBERO-Plus 上的零样本迁移结果，报告不同扰动设定下的成功率（加粗最佳，下划线次佳）。
▲ 表3：不同视觉扰动下的成功率。Geo. 表示几何监督、WM. 表示自引导世界建模；报告 Spatial/Object/Goal/Long 各套件与平均。
主基准结果。 无需大规模具身预训练，仅 0.9B 参数的 SG-WAM 在 LIBERO 上取得 98.5% 的平均成功率（Spatial 99.4 / Object 99.8 / Goal 98.6 / Long 96.2），与 7B 的 Spatial Forcing 持平，却明显超过 Fast-WAM（97.6）与 VLA-JEPA（96.1）等强基线。在更具挑战的 LIBERO-Plus 零样本扰动上，SG-WAM 以 73.0% 的总成功率居首（相机 58.6 / 语言 81.4 / 光照 89.8 / 背景 86.1 / 布局 74.2），而 Spatial Forcing、Fast-WAM 在分布偏移下明显回落——说明 SG-WAM 的增益不是某个任务特有的。
组件消融说明了什么。 表3 把几何监督（Geo.）与自引导世界建模（WM.）逐个去掉：两者都没有时平均仅 95.3，只加 WM. 为 97.6，只加 Geo. 为 96.6，两者齐上才到 98.5。也就是说，几何落地与世界建模是互补的——单靠一个只能补到九十七、九十八区间，二者合力才把平均成功率顶到 98.5。结合图4 的注意力热力图也能直观看到：有几何监督时，动力学 token 更一致地聚焦到「机器人-物体交互区域」，而非被桌上孤立的显眼物体带偏，这正是几何落地在表示层面起作用的证据。
总结 & 未来工作
本文提出 SG-WAM，一个自引导世界动作模型，在策略自身派生出的紧凑隐预测空间中学习动作条件的未来动力学。SG-WAM 引入可学习的动力学 token，其未来状态由当前策略状态与干预机器人动作预测得到，而同一策略的 EMA 副本提供稳定的未来目标。一个冻结的 3D 基础模型进一步用几何结构塑造策略的主视角视觉 token，使隐式未来预测与动作生成能在空间落地的策略表示上联合优化。几何教师、SGWP 与 EMA 目标通路仅用于训练，在推理时被移除。
在无需大规模具身预训练的前提下，0.9B 参数的 SG-WAM 在 LIBERO 上取得 98.5% 的平均成功率，在 LIBERO-Plus 上取得 73.0%，并在真实世界评测中优于代表性的显式与隐式 WAM 基线。这些结果表明：将自引导未来预测与几何落地相耦合，为学习鲁棒策略提供了一种有效途径。
未来工作： 将研究把这一自引导世界建模框架扩展到更大的策略主干与更广的跨本体（cross-embodiment）数据集，以期支持多样化的本体与操作任务。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
