腾讯重磅开源！登顶李飞飞世界模型榜，平均分第一

资讯配图

首个支持原生3D重建的超长漫游世界模型来了。

作者 | 江宇

编辑 | 漠影

短短半月，混元团队又向3D生成的“视野盲区”推进了一步。

智东西9月2日报道，今日，腾讯混元团队正式开源其HunyuanWorld 1.0世界模型的官方扩展模型“HunyuanWorld-Voyager”。

这也是混元在近两个月内，围绕3D世界生成系统的第三次发布：7月，团队首次开源HunyuanWorld 1.0模型，支持从文本或图像生成可漫游的三维场景；8月，推出适配消费级显卡的Lite版本，降低部署门槛。

Voyager则将目标从“生成一个可看的世界”进一步推向“构建一个可走、可扩展的世界”。

它主要针对当前世界模型在长距离生成和视角一致性上的限制，首次引入RGB-D视频联合建模与空间缓存机制，可根据单张图和用户设定的相机轨迹，生成结构连续、深度一致的点云视频，并可直接导出为标准3D格式。

换句话说，它不仅能把视野之外的区域合理补全，还能持续“记住”用户走过的路径，并在空间中衔接新的视角内容。

根据斯坦福李飞飞团队主导的WorldScore排行榜，Voyager在当前主流世界模型中平均成绩位列第一。

单张GPU即可运行Voyager生成540p分辨率的视频，最小显存要求为60GB。

项目主页：

https://3d-models.hunyuan.tencent.com/world/

Github地址：

github.com/Tencent-Hunyuan/HunyuanWorld-Voyager

Hugging Face地址：

huggingface.co/tencent/HunyuanWorld-Voyager

技术报告：

https://3d-models.hunyuan.tencent.com/voyager/voyager_en/assets/HYWorld_Voyager.pdf

01 .

多种3D任务解锁，直出结果可即用

Voyager不仅继承了混元世界模型1.0的图生世界能力，还进一步解决了“用户走出原视角之后”的补全问题。其生成结果不仅可实时呈现，还能直接导出为标准3D格式（如点云、mesh），无需借助Colmap、VGGT等后处理工具。

具体来看，Voyager可应用于以下典型任务：

1、控制生成视频画面：用户可通过键盘或摇杆设定相机轨迹，系统生成对应视角的视频序列，同时保持空间结构一致性；

2、风格化编辑与控制：支持对生成视频进行画面风格调整与局部重绘，保持内容可控；

3、图生3D与视频深度估计：支持从图像生成结构完整的3D物体，也可对普通视频进行深度补全，用于三维理解与后续建模；

▲图生3D物体

▲视频深度估计

02 .

引入新架构，

空间建模能力显著增强

混元世界模型-Voyager架构是对混元世界模型1.0新视角内容的补全，引入了“世界一致视频扩散”与“长距离世界探索”两大核心机制。

此前，混元世界模型1.0模型已支持从文本或图像生成可漫游的三维世界，并输出标准3D格式，兼容游戏引擎。但当用户“走出”原始画面后，生成范围会受限。Voyager解决的正是这类遮挡与长距离视角问题。

1、世界一致的视频扩散

目前，可控视频生成模型已经具备构建“世界模型”的潜力，但这类“图生视频”方案多停留在RGB模态，难以还原三维结构，限制了交互性和空间一致性。相比之下，显式生成3D场景（如点云、Mesh）可用于更真实的空间重建，但受限于训练数据和计算资源，难以在大规模场景中泛化。

混元世界模型Voyager结合了视频生成与显式3D建模两类方法，支持在用户设定相机轨迹和初始场景的条件下，生成空间一致的RGB-D视频序列，并可直接导出为点云格式的三维数据。

Voyager首次在视频生成中引入RGB+Depth的双模态联合建模，形成“点云视频”：

1、输入：图片+用户指定的相机轨迹；

2、输出：RGB-D视频序列，每帧均具备像素级深度信息；

3、拼接机制：先在空间维度上拼接RGB和D（Depth），再在特征维度上结合两模态信息，用VAE框架学习RGB-D的生成规律；

4、训练结构：由双流模块与控制模块组成，基于Hunyuan-Video DiT模型进行训练。

此外，为支撑训练需求，混元团队构建了一套可扩展的数据构建引擎，可自动对任意输入视频估计相机姿态与时序信息，摆脱人工标注依赖，批量生成可用于RGB-D建模的训练样本。基于该引擎，Voyager融合真实视频与虚幻引擎合成数据，构建了包含超过10万段视频片段的大规模训练集。

这种机制让Voyager具备“原生3D记忆能力”，无需后处理重建步骤即可生成空间一致、格式统一的3D点云。

2、长距离世界探索

Voyager通过提出一种具备空间一致性的可拓展世界缓存机制，突破了长距离世界探索的限制。

1、先生成一个初始场景点云缓存（来自HunyuanWorld 1.0）；

2、再将缓存投影至用户设定的相机视角；

3、利用扩散模型生成新视角画面，并不断更新缓存，最终形成一个支持任意相机轨迹的闭环系统。

这一方法兼顾空间结构记忆、视角可控与多视图一致性，意味着用户可以像玩第一人称游戏一样“自由走”，所到之处都能被系统填补，并保持几何结构一致。

03 .

三项实验，

验证空间一致性与重建质量

为全面验证HunyuanWorld-Voyager的性能表现，混元团队围绕视频生成质量、三维场景重建能力以及世界生成能力三个方向进行了系统实验，覆盖RGB视频质量、几何一致性与长距离空间表达等多个维度。

1. 视频生成：相似性与结构性指标均领先

在视频生成任务中，混元团队选取RealEstate10K数据集中的150个视频片段，并与四种开源的摄像头可控视频生成方法进行对比。

结果显示，Voyager在全部指标上均优于现有方法。

定性分析中，Voyager能够生成更为多样、结构清晰的视频帧，尤其在细节区域的保留上表现出色。例如在样例中，其他方法在相机大幅移动时易产生α影或结构塌陷，而Voyager仍能准确还原输入图像中的产品边界与材质细节。

2. 场景重建：融合RGB-D，三维结构更准确

在场景生成任务中，Voyager进一步验证了其RGB-D视频序列对三维结构重建的支持能力。混元团队使用VGGT方法作为后处理统一流程，对比核心模型的RGB视频生成后能否支持高质量点云还原。

结果表明，即便在仅使用RGB重建的场景下，Voyager生成的视频在几何一致性方面也优于其他方法；而一旦加入原生深度信息初始化点云，重建精度进一步提升。

在3D Gaussian Splatting任务中，Voyager成功还原了复杂结构（如吊灯）的完整形状，而其他方法在边缘结构与局部细节上普遍存在缺失。

3. 世界生成：跨域泛化与长距离空间表达能力增强

在更具挑战性的WorldScore静态基准测试中，Voyager同样展现出领先能力。该基准评估模型在开放域条件下的世界建构能力，尤其关注光学运动控制能力与空间一致性表现。

Voyager在该任务中获得最高平均分，空间一致建模机制具备跨数据域的泛化能力。

同时，由于生成条件一致，Voyager在保证一致性的前提下，所驱动的相机运动幅度大幅超过对比模型，其对于长路径建模与多视角连续性控制也更具备优势。

04 .

结语：让生成的世界走得更远

从静态场景到可控漫游，再到具备深度信息与空间拓展，Voyager补足了混元世界模型在空间连续性上的一块关键能力。

从一段文字、一张图生成一个初始场景，再根据用户设定的相机轨迹拓展新视角内容，这种“边走边生成”的逻辑，正在成为AI理解空间的另一种可能。

（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）