点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！
一句话总结：我们的方法利用非刚性对齐技术，基于视频扩散模型重建3D世界，从而解决生成序列中存在的固有3D不一致性问题。
论文信息
标题：World Reconstruction From Inconsistent Views
作者：Lukas Höllein, Matthias Nießner
机构：Technical University of Munich
原文链接：https://arxiv.org/abs/2603.16736
代码链接：https://github.com/lukasHoel/video_to_world
导读
视频扩散模型能够生成高质量且多样的三维场景；然而，这些场景中的各个帧在整体上往往缺乏3D一致性，这使得三维场景的重建变得困难。为了解决这一问题，我们提出了一种新方法：通过非刚性方式将视频帧对齐到全局一致的坐标框架中，从而获得清晰、详细的点云数据。首先，利用几何基础模型将每个帧转换为像素级的3D点云，但由于上述不一致性，这些点云中的表面是不对齐的。接着，我们采用一种定制化的非刚性迭代ICP算法来实现所有帧之间的初步对齐，随后通过全局优化进一步优化点云质量。最后，以这些点云作为输入数据进行3D重建，并引入一种新的逆变形渲染损失函数，从而从不完整的视图数据中生成高质量且可交互的三维环境。实验结果表明，我们的方法能够生成比现有方法更高质量的三维场景，有效地将视频模型转变为能够生成具有3D一致性的场景的工具。
效果展示
我们展示了迭代式的帧到模型ICP处理过程。橙色代表对齐之前的下一帧，绿色则代表对齐之后的下一帧。通过对所有输入帧重复这一迭代过程，我们最终能够在同一个世界空间中得到具有对齐表面的标准点云几何结构。
我们将所提出的方法与近期出现的各种3D重建方法进行比较，这些方法都是基于多种先进的视频扩散模型生成的帧来实现的。具体而言，我们使用Wan-2.2根据文本描述来生成各种室内/室外场景以及摄像机运动情况的视频序列；同时，还使用ViewCrafter、Gen3C、Seva和Voyager等工具来实现同样的功能。此外，我们还采用了最新的自回归式世界生成器Genie3和HY-WorldPlay。最后，我们利用从这些视频中抽取的50张图像，通过不同的基准方法来重建3D场景。
单个生成的视频在所能展示的场景范围上存在局限。最新的研究方法利用VDMs的自回归特性来生成多个序列，从而呈现完整的360度场景。我们通过采用WorldExplorer的逐步扩展场景策略，利用SEVA生成多达32个视频序列，然后再对这些序列进行重构，以此与WorldExplorer和VGGT-X进行比较。
引言
世界模型构建并模拟逼真的环境。视频扩散模型的多样性和高保真度使得生成三维世界成为一个备受期待的研究目标。自动化这一创建过程有许多应用，例如更多样化的机器人训练，或在电影、游戏和虚拟现实中实现更快的创意构思与制作。视频模型凭借其庞大的先验知识，成为世界生成的有力基础，目标是将这些模型提升为三维生成器。一种常见的方法采用生成-重建循环，即自回归地生成多个视频序列，并根据这些帧重建三维场景。
利用视频扩散模型进行世界生成的核心挑战在于它们缺乏三维一致性。虽然生成的帧序列看起来引人注目，但直接用于三维重建会导致几何错位和渲染伪影（图1）。为此，现有方法在帧生成过程中加入了显式的相机轨迹控制。这可以通过将网络条件化于外参上，或通过从所有先前帧逐步构建三维缓存并将其渲染到新视角来实现。更新的方法生成对齐的RGB-D序列，或通过一致性约束进行微调。尽管这些模型在海量数据上经过预训练和微调，它们仍然受到生成漂移的影响：生成的帧无法一致地将物体几何变形到新视角，也不遵循输入相机的轨迹。我们认为这些生成模型不可能达到完美的一致性，因此提出了一种在重建侧的轻量级替代方案。
为此，我们提出了一种针对场景几何的定制非刚性对齐方法，从不一致的初始化中创建薄而清晰的表面（图1中）。然后，我们将该几何体作为初始化用于非刚性感知的重建，从而产生高质量、可探索的三维世界（图1右）。首先，我们利用几何基础模型从所有生成的视频中获取稠密点云。这揭示了输入帧的不一致性，表现为多个未对齐的表面，我们现在可以纠正这些表面。我们定制的迭代帧到模型ICP非刚性地变形这些表面，使其在规范空间中对齐。我们还引入了一个稀疏对应项来解决较大的错位，随后进行全局优化，进一步锐化点云。我们将对齐后的点云用作非刚性感知高斯泼溅优化的初始化。关键在于，它通过在渲染前将场景反向变形到输入帧空间来消除错位，这使我们能够从不一致的图像集中执行光度优化。我们得到的三维世界是一致的，并且可以从新视角以高视觉保真度渲染。
主要贡献
我们的贡献如下：
我们提出了一种基于迭代帧到模型ICP的场景点云定制非刚性对齐方法，能够解决相应生成视频中的不一致性。
我们设计了一种非刚性感知的三维重建方法，利用这种对齐来从不一致的视图优化出一致的三维世界。
我们证明，我们的轻量级重建方法可与许多最先进的视频扩散模型结合使用，有效地将它们转变为三维世界生成器。
方法
我们提出了一种三阶段方法，用于从生成的视频中重建2DGS场景。
首先，我们基于几何基础模型来估算多视角深度以及相机的位置。由于输入图像之间存在不一致性，因此生成的密集场景初始模型是错位的（存在多个不重叠的表面）。
我们提出了一种定制化的非刚性几何对齐方法，该方法利用迭代式的帧到模型ICP算法以及稀疏对应关系，再通过全局优化，从而生成具有精细纹理的薄表面。
随后，我们利用这种对齐特性，在一种新型的考虑非刚性因素的2DGS优化方法中，从而获得高质量且一致的3D模型。
实验结果
我们将我们的方法与最近的三维重建方法在多个最先进视频扩散模型生成的帧上进行比较。具体而言，我们使用Wan-2.2从文本生成描绘各种室内/室外场景和相机运动的单个视频序列，并使用ViewCrafter、Gen3C、Seva和Voyager进行相机控制生成。我们还采用了最近的自回归世界生成器Genie3和HY-WorldPlay。我们从这些视频中采样N=50张图像，使用各种基线方法重建三维场景。首先，使用3DGS-MCMC从随机初始化开始，并结合DA3提供的可优化相机。其次，我们利用DA3的点云作为3DGS的初始化，并使用深度损失将其位置正则化到DA3深度。我们将其称为“DA3”，并参考补充材料了解更多细节。我们比较了VGGT-X，它在优化3DGS之前刚性地对齐对应关系，类似于光束法平差。当我们使用DA3代替VGGT预测时，将其称为“VGGT-X†”。
我们在图3中展示了重建结果，并参考补充材料获取更多样本和动画结果。我们的方法渲染出更清晰、更细致的纹理，其视觉保真度与输入视频帧相当，只不过是在三维一致的空间中。相比之下，基线方法没有纠正生成帧中固有的生成漂移。这可能导致从输入位姿渲染时图像更模糊（例如，图3顶部的砖纹理）。从新视角看尤其明显：不一致的图像观测导致三维场景中出现漂浮伪影，限制了从任意位置的可探索性。我们的方法以非刚性感知的方式优化场景，从而极大地提高了视角稳定性，即我们可以从新视角探索三维世界，同时保持视频帧的高视觉保真度。我们的方法有效地将任何视频扩散模型转变为允许持久、高质量和实时渲染的三维世界生成器。
我们在表1中通过计算一致性和保真度指标来确认这一点，遵循既定的WorldScore基准，按每个重建方法对所有VDM取平均。我们的方法获得最高的一致性分数，这突显了其从不一致视图重建三维世界的能力。渲染质量在基线中最高，与输入视频相当（CLIP-IQA+：47.39，CLIP美学评分：39.04）。此外，我们在图5中比较了所有适用基线作为初始化的三维点云。与DA3预测相比，我们的结果极大地改善了各个表面的对齐（例如，统一了花园场景中的多个窗户和滑梯）。VGGT-X获得的点云更稀疏且对齐精度较低，因为它们不建模非刚性变形。
总结 & 未来工作
我们提出了一种从视频扩散模型不一致的生成视图重建三维世界的方法。我们利用几何基础模型揭示生成过程中固有的生成漂移。我们定制的非刚性对齐创建了清晰而平整的表面，解决了这些不一致性。最后，我们提出了一种新颖的非刚性感知高斯泼溅优化方法，从扭曲的帧观测中优化规范的三维场景表示。总体而言，这使得从新位姿渲染出清晰、高质量的场景，而不会因不准确的帧产生漂浮伪影。我们相信，这展示了将任何视频扩散模型转变为可靠的三维世界生成器的令人兴奋的能力，这将开辟进一步的研究途径，并使世界生成在众多实际应用中更加实用。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
