智源悟界·RoboBrain Orca：多模态表征世界模型

  新智元报道  

今天的AI，已经拥有了很多令人惊讶的能力：它可以回答问题、生成图像，也可以接入机器人系统完成操作任务。

但如果把这些能力拆开来看，会发现它们往往仍然围绕着某一种具体输出展开：

语言模型预测下一个词，视频模型预测下一帧，机器人模型预测下一步动作。

这些能力很强，但它们共同留下了一个更底层的问题：

模型到底是在完成任务，还是已经理解了世界状态本身如何变化？

• 当一个杯子被推倒，水会不会洒出来？
• 当机器人第一次抓取失败，物体是否还在原处？
• 当一段做饭视频从洗菜进入切菜，模型是否知道这不是简单的画面变化，而是一个事件状态的推进？
• 当一个动作发生之后，环境、物体关系和任务进度会发生什么改变？

智源研究院悟界·RoboBrain Orca Team发布的技术报告《Orca: The World is in Your Mind》，正是围绕这个问题展开。

Orca并不是一个更会聊天的大模型，也不是一个单纯追求画面真实感的视频生成模型，更不是一个直接模仿动作轨迹的机器人策略模型。

它想探索的是一条更基础的路线：

先让模型学习世界表征，再从这个表征中读出理解、预测和行动能力。

项目主页：https://orca-wm.github.io

技术报告：https://arxiv.org/abs/2606.30534

悟界·RoboBrain Orca发布后，也在海外研究社区引发了一些关于「世界模型」和「多模态表征」的讨论。

相比于只关注单一模态的生成效果，不少评论更关注Orca背后的核心思路：文本、图像、视频和动作，并不是彼此孤立的数据形式，而是同一个真实世界在不同模态下的投影。

也有评论认为，Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中。

Orca在海外研究社区引发讨论：从多模态表征、世界状态建模，到早期通用世界模型的可能形态。

与此同时，Orca也登上了Hugging Face Daily Papers月度榜单，并在Hugging Face、X等社区获得持续关注。

这些反馈从侧面说明，世界模型的价值正在从「单一模态生成得像不像」，进一步走向「是否真正学到了可迁移、可读出、可用于行动的世界表征」。

HF论文月榜排名第一

过去几年，AI的很多进展都可以被概括为某种形式的「预测下一个X」。

语言模型预测下一个token，于是获得了写作、问答、代码和推理能力；

视频生成模型预测下一帧，于是可以生成越来越连贯、逼真的视频；

具身模型预测下一步动作，于是机器人开始能够完成抓取、放置、整理等任务。

但Orca Team认为，如果智能系统最终要走向真实世界，只预测某个外部输出是不够的。

因为语言、图像、动作都只是世界的不同表现形式，真正关键的，是模型能否在内部形成一个关于世界状态的统一表示。

Orca所探索的Next State Prediction，可以理解为：模型不只是学习「下一句话怎么说」、「下一帧长什么样」、「下一步怎么动」，而是先学习当前世界处于什么状态，以及这个状态在自然演化、事件条件或任务意图下，会如何转移到另一个状态。

这个状态不一定直接等同于一张图、一句话或一个动作序列。它更像是模型内部的「世界压缩表示」。

在这个表示之上，文本、图像和动作可以被看作不同的读出接口：需要解释时，读成语言；需要预测未来画面时，读成图像；需要控制机器人时，再接入动作模块。

先利用多模态世界信号学习世界表征，再做好一切任务

这也是Orca的核心理念：

The World is in Your Mind.

世界并不是散落在各个模态接口里的碎片，而可以被模型内化成一个统一的潜在表征空间。

如果把机器人比作一个正在学习的孩子，那么现在业内的很多技术路线更像是让它一开始就进入具体工位，反复练习某个动作，直到学会完成某个任务。

Orca选择了另一种顺序：先不急着教它「怎么干活」，而是先让它接受一套关于世界变化的基础教育。

它需要知道，物体会下落，水会流动，遮挡不代表消失，接触会改变物体位置，事件之间存在先后关系，任务会随着环境状态不断推进。

只有当模型对这些变化有了基本理解，再用少量动作数据连接到机器人，本体和任务的训练成本才有可能被降低，机器人的泛化能力也会提高。

Orca通过两种学习模式，三类训练信号学习世界表征和状态演变

在Orca中，这套「世界教育」主要由两种学习模式：无意识学习和有意识学习，包含三类信号共同完成。

第一类信号，是来自连续视频的自然观察（无意识学习稠密的、自然的状态转移）。

模型通过大量真实世界视频，学习物体运动、场景演化、遮挡关系、接触变化和自然动态。

这类学习不依赖人工动作标签，也不要求模型一开始就知道任务目标，它更像是在客观地看世界如何自己变化。

第二类信号，是来自事件的语义组织（有意识学习稀疏的、有具体意义的状态转移）。

真实世界并不是一帧一帧孤立发生的。

人类会把复杂过程组织成事件：洗菜之后才会切菜，切菜之后才可能下锅；打开水龙头之后，水流会改变食材状态；手与物体接触之后，物体的位置和关系可能发生变化。

Orca通过事件标注，让模型学习在某个语义条件或事件条件下，世界状态如何发生有意义的转移。

第三类信号，是来自语言和问答的理解能力（有意识学习状态的推理与表达）。

语言并不是Orca的最终目标，而是模型理解世界的重要接口。VQA和语言监督帮助模型把视觉状态、事件结构和人类语义对齐，使模型不仅能看到变化，也能用语言理解变化背后的关系。

因此，Orca的训练并不是单一监督信号的堆叠，而是让模型同时「看见世界」、「理解事件」。

连续视频提供密集的自然变化，事件监督提供稀疏但有语义的状态转移，语言问答则保留模型与人类意图之间的接口。

为了让模型真正从真实世界中学习状态变化，Orca Team构建了一套大规模世界学习数据体系，包括：

• 约12.5万小时视频数据；
• 约1.6亿条事件标注；
• 1150万条VQA数据。

这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。

换句话说，Orca并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是从更丰富的真实世界信号中学习统一的世界潜空间。

更重要的是，当前版本的Orca仅仅只是一次早期探索。

Orca团队在技术报告中展示了scaling结果：

随着预训练数据规模增加，0.8B和4B模型的训练损失持续下降；同时，从不同训练阶段取出的checkpoint也显示，下游读出性能会随预训练推进而同步提升。

这说明，Orca探索的不是一个只在小规模数据上有效的技巧，而是一条仍然具有扩展空间的世界学习路线。

世界表征听起来很有吸引力，但真正重要的问题是：它是否可以被验证？

如果模型只是提出一个抽象概念，却无法证明这个latent对下游任务有帮助，那么它很难成为通用世界模型的基础。

因此，Orca的实验设计非常强调「可检验性」。团队通过设计一系列实验来回答两个问题：

• Q1：这套学习范式是否有效且具备scaling能力？
• Q2：一个好的世界表征能否带来好的下游任务性能？
  
  

实验发现，随着训练数据规模的扩大，Orca损失持续下降，并没有发现饱和的现象，且4B模型loss的绝对值低于0.8B模型，这个现象回答了Q1。

此外，在预训练完成后，团队冻结Orca backbone，只在其后接入轻量的readout模块，分别测试三类能力：

• 文本读出，用于验证模型是否能把世界表征转换成理解和推理能力；
• 图像读出，用于验证模型是否能根据当前状态和条件预测未来视觉状态；
• 动作读出，用于验证模型是否能把世界表征迁移到真实机器人控制中；

这样做的关键在于：如果backbone保持冻结，而不同轻量接口仍能从同一个latent中读出文本、图像和动作能力，那么就能更有力地说明，真正起作用的是Orca学到的世界表征，而不是下游模块重新从头学会了任务。

实验发现，随着训练数据规模的扩大，Orca在三个任务上的性能持续提升，且4B模型的能力显著强于0.8B模型，这个现象进一步回答了Q1和Q2。

在文本生成和视觉问答任务中，Orca与多类视觉语言模型和世界模型进行了对比，包括V-JEPA、Emu3、Qwen3.5、Gemma、MiniCPM-V、DeepSeek-VL2等。

结果显示，在4B规模下，Orca在多项综合评测中取得了更高的平均表现。

更值得注意的是，它的提升并不是平均分上的简单堆高，而是集中体现在状态转移、事件演化、动态运动理解等更贴近「世界变化」的维度上。

在状态转移、动态运动的维度上，Orca的性能尤其显著

这意味着，Orca获得的能力并不只是看懂画面里有什么，而是更接近理解画面中的事物将如何发展、事件之间如何推进，以及当前状态和未来状态之间可能存在怎样的关系。

对于一个世界模型来说，这一点比普通视觉问答能力更关键。因为真实世界并不是静态图片的集合，而是一个持续变化的系统。

图像读出是Orca最直观的能力之一。

给定当前图像和指令，模型需要预测真实交互发生后的未来状态。

这和传统图像生成并不是一回事。

传统图像模型往往擅长生成视觉上精美、合理、符合先验的图像，但真实交互预测要求模型尊重当前场景、物体关系、动作条件和物理约束。

它不能随意补全一个看起来漂亮但并不存在的物体，也不能让机器人形态消失、让手凭空出现，或者忽略真实场景中的约束。

现有的图像生成模型存在着指令不遵循、凭空出现物体和人手，以及刻板的物理印象：例如只要出现「红色气球」的描述就会画面中出现一个充满气的红色气球，而并不判断当前气球的真实状态。Orca的图像生成会更加遵循真实世界的物理交互规律。

在真实场景交互基准PRICE上，FLUX 2、OmniGen2等图像生成模型虽然能生成视觉质量较高的结果，但在状态预测中常出现不符合物理过程的幻觉、无关物体插入、指令遵循不足、场景关系被破坏等问题。

Orca的图像读出更强调「未来状态是否合理」。它能更好地保持机器人本体、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。

因此，Orca并不是把图像读出当作「画图能力」来展示，而是把它作为世界状态预测的一种可视化验证：模型是否真的知道，当前世界在某个条件下应该变成什么样。

Orca最值得关注的实验之一，来自真实机器人动作读出。

在预训练阶段，Orca没有使用带action label的机器人轨迹。也就是说，它没有提前学习某个机械臂应该如何移动，也没有在大规模动作数据上模仿机器人策略。

但在下游动作任务中，研究团队冻结Orca backbone，只接入一个从零训练的DiT-style Action Expert。每个任务仅使用200条域内轨迹进行后训练，机器人就能在多个 OOD 双臂操作任务中获得明显增益。

这件事的重要性在于，它说明Orca并不是通过预训练直接记住机器人动作，而是先学习了世界状态变化。

当这种世界表征与少量动作数据连接起来后，机器人便有可能更好地判断任务进展、物体状态和下一步操作方向。

通过rule-based和PRM-as-a-Judge的评测方式，Orca取得了更高的执行成功率和更高的执行质量

在环境OOD和物体OOD设置下，Orca相比V-JEPA 2.1、Qwen3.5等视觉或语言表征基线，表现出更好的整体推进效果；在一些执行过程中，它也展现出更强的失败恢复能力。比如第一次抓取失败之后，模型不是简单停住或陷入混乱，而是仍能根据当前状态继续尝试，将任务向目标推进。

Orca在抓偏后，能够继续尝试纠偏且最终取得进展

这对于具身智能尤其关键。

真实世界中的机器人不可能每一步都完美成功。一个只记住动作映射的模型，一旦遇到物体位置变化、环境扰动或初次失败，很容易失去后续判断。

而具备世界状态表征的模型，则有机会理解「任务还没有结束」「物体仍然存在」「当前状态距离目标状态还有差距」，从而继续行动。

这也是Orca对具身智能最有想象力的地方：它并不主张完全抛弃动作数据，而是重新安排学习顺序。先用可规模化的视频、事件和语言信号学习世界，再用少量动作数据把这种表征接入具体机器人控制。

为了进一步分析Orca的能力来源，团队还进行了消融实验，分别移除无意识状态转移、有意识事件转移和VQA语言监督，观察文本、图像和动作读出的变化。

实验结果表明，三类目标各自承担了不同作用。

VQA监督主要保留语言接口和语义理解能力，使模型能够与人类描述、问题和任务意图对齐；

连续视频中的无意识学习为模型提供密集的自然动力学经验，对动作读出尤其重要；

事件条件下的有意识学习则把语言、事件和视觉状态变化连接起来，是图像预测能够按照指令生成未来状态的重要基础。

只有三类目标共同训练时，Orca才能在文本、图像和动作三个方向上取得更均衡的表现。

这说明，世界表征并不是由某一种监督信号单独塑造出来的。

它更像是多种世界信号共同约束下形成的潜在空间：有自然变化，有语义事件，有语言理解，也有状态转移。

智源团队基于自研的FlagScale框架进行了FSDP2升级、分块交叉熵损失、前向/后向预取系统级重构：

在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至2.91 Samples/Sec/GPU，实现了4.4倍的显著加速。

悟界·RoboBrain Orca仍然是一个早期版本。

团队也在技术报告中明确指出了当前限制：

但正因为如此，Orca的价值并不在于宣称「世界模型已经完成」，而在于提出了一条值得继续扩展的方向：

智能系统能否先学习统一的世界状态，再把这种状态读出为理解、预测和行动？

如果这条路线继续向前，它可能不只服务机器人，也可能延伸到更广泛的真实世界建模任务中。

物理系统、生命过程、宏观环境、科学实验，本质上都包含状态、干预和转移。不同领域当然需要不同数据和不同建模方式，但「学习世界状态如何变化」这一问题本身，具有更基础的意义。

未来，Orca还需要走向更原生的world-state modeling，接入更多物理模态，构建更独立的状态转移评测体系，并形成数据生成、数据筛选、模型训练和能力跃迁之间的闭环。

对Orca Team来说，这不是终点，而是一次关于通用世界基础模型的早期验证。

AI的下一步，也许不是更快地输出答案、生成画面或执行动作，而是先在内部建立一个足够稳定、可预测、可迁移的世界。

The World is in Your Mind.

Orca想做的，正是让模型先拥有这个「内在世界」。