首个小时级实时交互的世界模型来了！无限世界，触手可及

当我们谈论“世界模拟”时，脑海中浮现的或许是精心设计的游戏关卡，或是影视作品中宏大的虚拟场景。然而，如果有一个系统，能够根据你的指令，实时、无限地生成一个视觉连贯、可交互的生动世界，并且这个世界能够持续运行数小时而不崩溃，这听起来是否像科幻小说？今天，这项技术正从想象走向现实。

由蚂蚁集团Robbyant团队推出的LingBot-World 2.0（亦称LingBot-World-Infinity），正是这样一个旨在突破交互世界模型边界的研究。它不仅实现了近乎无限的生成时长，更在720p分辨率下达到了60帧每秒的实时响应速度，同时引入了前所未有的丰富交互元素与智能体协同框架。这意味着，用户将能够在一个持续演化的世界中自由探索、战斗、施法，甚至改变天气，而这一切都基于一个完全开源的模型架构。

论文标题：Infinite Worlds with Versatile Interactions

论文链接：https://arxiv.org/pdf/2607.07534v1

开源仓库：https://github.com/robbyant/lingbot-world-v2

模型权重：https://huggingface.co/robbyant/lingbot-world-v2

研究背景：从静态渲染到动态交互的挑战

近年来，随着因果（自回归）视频生成技术的进步，交互式世界模型逐渐成为游戏生成和具身模拟领域的研究热点。这类模型能够根据用户或智能体的一系列动作，逐帧合成环境，理论上可以渲染出一个无限延伸、实时响应的可探索世界。

然而，将这一理论转化为可用系统面临两大核心挑战。首先是长时程稳定性问题。由于每一帧的生成都依赖于之前生成的帧，微小的误差会不断累积并反馈到模型中。随着时间的推移，纹理可能变得模糊，几何结构可能扭曲，场景会逐渐偏离合理的世界状态。现有大多数系统仅在数秒到几分钟内能保持视觉稳定，远未达到一个“可生活”的世界应有的持久性。

其次是高保真交互的计算成本。在响应用户实时输入的同时渲染细节丰富的视频，对计算资源提出了极高要求。以往的研究通常通过牺牲分辨率、流畅度或控制精度来换取交互性，导致用户只能在一个相对静态的场景中进行粗略的镜头移动，缺乏深度的互动体验。

LingBot-World-Infinity的研究团队认为，正是这两个限制阻碍了当前模型迈向真正的开放式世界。他们的工作，便是直接应对这些挑战。

核心创新：四大升级构建无限世界

LingBot-World 2.0相较于前代实现了四项显著的升级，共同构建了这个“无限世界”的基石。

1. 无界的交互时长与稳定的输出质量

研究团队通过精心设计的因果预训练范式，使模型获得了抵抗误差累积的能力。其核心是一个经过因果训练的扩散变换器骨干网络，它能够比现有开源模型更长久地保持视觉质量。更重要的是，这个高质量的骨干网络成为了后续知识蒸馏的“教师”，为生成实时、稳定的“学生”模型奠定了基础。团队进行了长达一小时的连续生成压力测试，结果显示视觉质量没有出现可见的衰减，证明了其稳定性是结构性的，而非偶然。

2. 实时响应与高清流畅体验

通过对基础模型进行蒸馏，团队得到了一个实时变体。这个蒸馏后的模型保证了快速的响应时间，足以驱动720p分辨率、60帧每秒的视频流。这意味着用户将获得流畅、跟手的交互体验，而不仅仅是“可播放”的幻灯片。

3. 高度多样化的交互元素

与前一版本相比，本次更新引入了极其丰富的交互维度。这包括更广泛的动作库（如近战攻击、射箭、施法、射击），以及更多样化的文本驱动事件。用户不再仅仅是世界的观察者，而是可以主动参与并改变世界的参与者。

4. 首创的世界建模智能体协同框架

这是该工作的一个关键创新点。团队在世界建模领域率先集成了一个智能体协同框架。其中，一个“飞行员”智能体负责规划和执行角色行为，另一个“导演”智能体则负责在场景推进过程中合成新的环境元素。两者协同，将一个帧预测器转变为一个能够自我维持、目标导向且开放式的“世界”。此外，为了支持共享体验，团队还开发了允许多名玩家同时沉浸在这个生动世界模拟器中的接口。

图1：LingBot-World-Infinity能够实时生成包含多样交互的无限世界。

技术纵深：因果世界模型与蒸馏策略

LingBot-World-Infinity的技术核心，在于其因果生成过程的严格定义与两阶段训练策略。

因果世界模型的形式化

研究遵循“原因必先于结果”的因果推理第一原则，将世界模拟形式化为沿时间轴的因果生成过程。模型在每一时刻的状态，仅依赖于过去的视觉观察和当前的用户输入。这种严格的因果约束，是保证长序列生成一致性的基础。

预训练：高质量的因果骨干

在预训练阶段，团队训练了一个能够生成无边界的、动作可控的视频世界模型。该模型支持两种形式的用户输入作为“动作”：相机位姿和文本提示。相机控制采用Plücker嵌入来表示每个像素的观察光线；文本控制则采用分块提示，以实现时间局部化的语义控制。

一个关键创新是提出了 “混合双向与自回归注意力掩码” 。传统的教师强制掩码在生成长上下文时，模型容易过度依赖上下文而非预测未来帧，导致过拟合并降低视觉质量。MoBA掩码通过在教师强制掩码中集成一个双向注意力组件，作为一个正则化器，缓解了纯教师强制带来的过拟合问题，同时帮助模型适应灵活长度的视频生成，并促进其从双向生成向自回归生成的平稳过渡。

图2：提出的数据引擎概览。异质原始视频经过时间分割、过滤，并路由到特定类别的标注流水线，最终生成优化的分块描述。

后训练：从多步到少步的实时蒸馏

预训练的教师模型虽然能生成高质量帧，但每一步去噪都需要多次迭代，计算成本高昂，无法满足实时交互需求。因此，团队通过后训练将教师模型蒸馏成一个少步生成器。

这一过程结合了两种蒸馏技术：

• 一致性蒸馏：将教师模型的多步去噪轨迹压缩到学生模型中，大幅减少采样步数，同时保留预训练中学到的动作条件动态。
• 分布匹配蒸馏：为了解决少步生成器在长时程自回归展开中可能出现的保真度下降和误差累积漂移问题，团队采用了DMD。该技术通过优化学生模型的噪声数据分布与真实噪声数据分布之间的KL散度，让学生模型在其自身预测诱导的状态分布上进行优化，从而有效减少了长序列生成中的累积漂移。

正是这两步蒸馏，使得高质量、抗漂移的因果骨干，最终蜕变为能够实时运行的交互世界引擎。

智能体协同：让世界“活”起来

一个强大的生成骨干模型本身并不会“自主运行”。为了让模型表现得像一个真正的世界，团队借鉴了当今代码助手的构建思路：将一个强大的大语言模型置于一个协同框架中，使其能够检查状态、执行动作并追求目标。

为此，他们提出了 “导演-飞行员”协同模拟框架。在这个架构中：

• 导演智能体：由一个视觉-语言模型担任，负责宏观的语义规则和因果推理。它持续分析当前视觉现象，预测用户交互的逻辑结果，并制定明确的“事件提案”。
• 飞行员智能体：由底层的视频生成模型担任，负责模拟低层次的物理动态并渲染高保真的视觉过渡。它将导演智能体提出的语义指令，落地为连贯的时空展开。

图3：智能体交互协同框架概览。用户可通过语义或对象中心动作与现有世界交互，或通过高级文本事件进行干预。VLM（导演）进行因果推理并提出连贯的事件更新，视频生成器（飞行员）将这些语义决策转化为物理一致的视频展开。

这一框架支持两种主要的交互模式：

1. 直接语义交互：VLM直接分析当前帧，为用户化身生成动态事件卡片。用户触发交互时，VLM评估场景上下文并提出即时、逻辑的结果。
2. 跟踪辅助的对象交互：对于精确的对象操控，集成了基于SAM（分割一切模型）的动作提议循环。VLM识别场景中的特定交互元素，SAM则持续跟踪这些对象。用户可以选择被跟踪对象并触发特定动作，VLM据此推断对象状态变化，并将更新的语义条件传递给视频模型以执行精确动态。

此外，用户还可以作为“创造者”，通过文本提示直接干预世界状态，例如动态改变宏观环境（如昼夜交替、召唤暴风雪）或局部注入实体（如突然出现一群鸟）。VLM会确保这些干预被合理地整合到正在进行的叙事中。

系统部署：优化体验与友好接口

为了实现低延迟、高交互性、高视觉质量的实时交互视频生成，团队构建了一个包含四个组件的推理栈。

系统性优化

在模型推理效率方面，团队对蒸馏后的DiT骨干应用了编译器优化、高效注意力内核以及混合并行推理策略。在流式响应方面，系统采用增量流式传输解码结果，并将解码、传输和后续生成过程重叠，最大限度减少用户感知的交互延迟。

视觉质量增强

在远程VAE解码后，附加了一个轻量级的时空优化器，进行空间上采样以恢复细节，并进行时间插值以产生更平滑的运动。同时，动态KV缓存管理机制根据当前控制信号和输入状态动态调整缓存，既加速了推理，又通过关注最相关的历史信息来抑制陈旧内容的干扰，提高了生成帧的质量和连贯性。

用户界面设计

系统界面设计直观易用。中央是实时生成视口，底部是采用WASD/IJKL的标准游戏式低层控制面板。右侧则是智能体控制面板，列出了由“导演”VLM提出的“事件提案”，每个提案都绑定到一个热键。

图4：交互系统界面。中央是实时生成视口；底部是低层控制方案；右侧面板是智能体控制界面，列出了VLM提议的“事件提案”及其绑定热键。

热键分为三组：固定键（如空格键跳跃）、VLM根据场景上下文提议的字符动作与环境事件键，以及用户自定义事件注册的数字键。这使得用户不仅能与世界互动，还能直接参与世界的创作。

效果评估：长时稳定与丰富交互

团队从两个轴心评估了模型：用于交互部署的实时因果蒸馏模型，以及作为蒸馏教师的因果预训练骨干模型。

与现有工作的对比显示，LingBot-World-Infinity在视觉保真度、长序列展开的稳定性、对动作的响应能力以及实时吞吐量等关键维度上，匹配甚至超越了最强的闭源基线，并且是唯一一个在实时高分辨率生成中不出现可见质量下降的完全开源系统。

图5：小时级世界展开示例。从一个长达60分钟的生成会话中采样帧，涵盖20个不同场景。时间线表明，模型能够在长时间不间断展开中保持连贯的场景结构和视觉质量。

长时程稳定性是评估交互世界模型的关键。团队进行了单次超过一小时的连续生成测试。在整个过程中，视觉质量没有出现可感知的衰减，世界从头到尾保持连贯且可探索。这证实了模型的稳定性是其结构性属性。

图6：我们的世界模型支持可控的世界探索与多样化交互。它支持在不同世界视野间灵活切换提示，使场景语义平滑演进，同时支持在生成世界中导航多样的主角和对象。

此外，模型展现出了广阔的动作空间和在多样场景及交互模式下的良好行为。

总结与展望

LingBot-World-Infinity代表了一个为交互式世界建模而设计的开源因果视频生成模型。它集顶尖的视觉质量与强大的抗漂移能力于一身，并从中蒸馏出了一个能够以720p、60fps维持无界、无漂移世界的实时模型。除了导航，该模型还支持包括战斗、射箭、施法和射击在内的丰富动作空间，以及如降雪、降雨等实时环境变化。最后，通过“飞行员-导演”智能体协同框架，模型被编排成一个自我维持、目标导向且开放式的体验。

当然，这项工作仍存在一些局限。最根本的是长期记忆问题。虽然模型在视觉上能长期保持稳定，但它并未真正“记住”已生成的世界。离开上下文窗口后再次访问的区域倾向于被重新生成而非回忆。赋予交互世界模型真正紧凑的长期记忆，仍是一个开放问题。

其次，在极长的展开中，特定角色的外观可能发生细微变化，整体艺术风格也可能逐渐漂移。第三，模型对物理规律的理解仍不完美，因为它仅从像素中学习动态，缺乏对几何或碰撞的显式概念，因此偶尔会出现物理上不合理的伪影。

最后，尽管蒸馏模型已能实时运行，但仍需要可观的算力支持。在消费级硬件上实现实时、高保真的世界建模，仍需进一步的效率提升。

尽管如此，LingBot-World-Infinity的发布无疑为开源交互世界模型树立了新的标杆。它将高质量生成、长时稳定、丰富交互与实时性能前所未有地结合在了一起，为游戏开发、虚拟现实、具身智能乃至创意内容生产等领域，打开了一扇通向“无限世界”的大门。