点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
作者供稿直发 | 来源：3D视觉工坊
它是干嘛的？
一句话来说，ArtifactWorld 想解决的是：
稀疏视角 3DGS 在新视角渲染中暴露出的复杂伪影，如何被系统地识别、生成、修复，并最终反哺三维表示本身。
在真实应用中，输入视角往往非常有限。3DGS 可以较好拟合已知视角，但一旦相机移动到未充分观测的新位置，底层三维表示中的错误就会暴露出来：空间中出现漂浮物，墙面和背景被拉伸，物体边缘产生裂缝；镜头继续移动时，局部结构还可能跳变、闪烁，甚至留下重影。
这些问题不是简单的二维画面噪声，而是复杂、耦合、随视角变化的 3DGS 伪影。
ArtifactWorld 围绕 Artifact Taxonomy、Data Engine 和 Artifact-aware Video Restoration构建了一套完整闭环：先系统组织稀疏视角 3DGS 中的典型伪影，再通过物理模拟与生成式扩展构造 107.5K 组配对视频数据；随后利用 artifact heatmap 和视频扩散模型对 novel-view 渲染视频进行区域自适应修复，最后将修复结果回灌到 3DGS 优化过程中，真正改善底层三维表示。
它的关键不是把二维帧“修得更好看”，而是让视频生成模型真正成为三维重建优化的监督来源。
先看结果：
最终 3D 重建： 在 DL3DV 5% views 设置下，PSNR 从原始 3DGS 的 22.75 提升到 24.56；在跨域 Mip-NeRF 360 5% views 设置下，ArtifactWorld 达到 19.97，高于 GSFixer 的 18.73。 二维视频修复： 在包含 1,284 组人工审核视频的 ArtifactWorld Benchmark 上，ArtifactWorld 的 FVD 为 33.92，显著低于 Difix3D 的 66.76 和 GSFixer 的 114.53，说明修复结果具有更强的时序一致性。 拓展性与效率： 除了 vanilla 3DGS，ArtifactWorld 也可以拓展到其他 3DGS backbone，例如 Scaffold-GS：在 15% views 下，PSNR 从 23.17 提升至 24.09。Turbo 版本还将单场景闭环时间从 113.3 分钟 降至 48.8 分钟，获得约 2.3× 加速。
1. 论文信息
论文标题： ArtifactWorld: Scaling 3D Gaussian Splatting Artifact Restoration via Video Generation Models 作者： Xinliang Wang、Yifeng Shi（通讯作者）、Zhenyu Wu 机构： KE Holdings Inc.（贝壳找房） GitHub：https://github.com/fyting/ArtifactWorld Paper：https://arxiv.org/abs/2604.12251 项目主页：https://fyting.github.io/ArtifactWorld/
2. 新视角渲染，往往是三维重建最容易“露馅”的地方
3D Gaussian Splatting，也就是 3DGS，正在成为三维重建与新视角合成中的重要技术路线。给定一组多视角图像，3DGS 可以构建可自由浏览的三维场景，并从有限的已知视角出发，合成未被直接观测的新视角。
但在稀疏输入下，新视角也最容易“露馅”。
真实应用中，用户往往只会拍摄少量图片。输入视角本身可以被较好拟合，但当镜头转向缺少充分观测的位置，底层三维表示中的错误便会逐渐显现：空间中漂浮着半透明碎片，墙面和背景被不自然地拉伸，物体边缘出现裂缝；当相机继续移动，局部结构还可能突然跳变、反复闪烁，甚至留下重影。
这些现象并不只是某一张图“不够清晰”。
它们意味着，底层三维表示仍然存在问题。
近年的一条重要路线，是引入生成模型改善 3DGS 重建结果：先从当前 3DGS 渲染出一段新视角视频，再用生成模型修复其中存在伪影的二维帧，最后将原始输入视角与修复后的新视角帧共同用于 3DGS 优化。
也就是说，生成模型并不直接编辑三维 Gaussian，而是修复由当前 3DGS 渲染出的二维 novel-view 视频序列，再将修复后的帧回灌到三维优化中。真正棘手的问题在于：
如何获得足够可靠的二维修复结果？
3DGS 伪影并不是普通图像噪声。不同退化可能相互耦合，并随着相机移动持续变化。如果直接使用通用图像或视频模型，模型可能无法稳定修复复杂结构，也可能错误修改原本正确的区域，甚至产生新的几何幻觉。
ArtifactWorld 想解决的，正是这些问题。它的重点并不是提出一个更庞大的 diffusion backbone，而是围绕稀疏视角 3DGS 伪影，构建一套由 taxonomy 驱动的数据与模型协同方案：
先系统组织伪影，再构造数据飞轮；随后，让视频扩散模型更加准确地定位和修复二维渲染轨迹中的复杂退化，为后续 3DGS 优化提供可靠监督。
3. 先把“坏”说清楚：3DGS 伪影也需要一套 Taxonomy
要修复问题，首先要能够描述问题。而 3DGS 中的退化并不像普通图像噪声那样单一：同一种视觉现象，可能由多种因素共同触发；一次参数异常，也可能同时带来多种伪影。如果强行追溯每一种现象背后的完整因果链路，问题很容易变得复杂且不稳定。
ArtifactWorld 采取了一条更加务实的路线：
不追求穷举所有底层原因，而是从人可以直接观察到的视觉表现出发，对稀疏视角 3DGS 伪影进行现象学分类。
论文将常见伪影归纳为 4 个维度、9 种类型：
几何结构类： Floaters、Dilation、Needles、Cracks，对应漂浮物、膨胀、针状结构和裂缝 渲染与采样类： Aliasing、Blurring，对应锯齿或摩尔纹，以及过度平滑 动态与时序类： Popping、Ghosting，对应相机移动过程中的跳变与重影 光度与颜色类： Color Outliers，对应异常色块和颜色漂移
这套 taxonomy 不只是给不同问题起名字，也不是简单罗列若干具体伪影；更重要的是，它将不同伪影的视觉表现及其组合方式系统化组织起来，并让这套分类贯穿数据构建、分层评测与修复模型设计。
模型不再笼统地学习“把坏视频变好”，而是逐渐理解：
哪里出现了伪影，问题有多严重，以及哪些区域需要更强的修复力度。
图 1：稀疏视角 3DGS 中的典型伪影与修复效果。ArtifactWorld 将常见退化归纳为 9 类现象学伪影。相比已有方法，ArtifactWorld 能够在漂浮物、裂缝、模糊、重影和颜色异常等复杂场景中恢复更加自然的结构与细节。
4. 构造数据飞轮：让模型见过更加丰富的伪影分布
建立 taxonomy 之后，下一个问题是：
怎样获得足够多、足够复杂的训练数据？
完全依赖真实采集与人工标注，成本很高；只依赖规则模拟，又很难覆盖真实场景中复杂且相互耦合的伪影表现。因此，ArtifactWorld 将两条路线结合起来。
论文首先从 DL3DV 和 SpatialVID-HQ 等数据源中筛选出约 16K 个具备相机位姿的高质量干净场景。
随后，系统通过稀疏采样、优化阶段干预和 Gaussian 参数扰动等方式，模拟常见退化。
例如，极端稀疏输入可能带来漂浮物、针状结构和时序跳变；训练不足或动态物体可能造成模糊和重影；不同参数扰动还可以产生裂缝、膨胀、颜色异常和锯齿。
这一阶段共构建出约 25.6K 组配对视频。其中，约 1.28K 组经过人工审核，组成 ArtifactWorld Benchmark。
但物理模拟仍然存在局限：生成成本较高，也不容易灵活覆盖更加复杂的伪影组合。
因此，论文进一步训练了一个 Artifact World Model。
这个模型可以在干净视频上主动生成带有 3DGS 退化的样本，将数据继续扩展 83.2K 组。
最终，物理模拟与生成扩展共同组成 107.5K 组配对训练视频。
图 2：ArtifactWorld 数据引擎。论文首先从高质量真实场景出发，通过物理模拟构建基础数据；随后训练 Artifact World Model 进行生成式扩展，形成可持续迭代的数据飞轮。
这条数据飞轮的价值在于：
先用可解释的物理模拟提供可靠起点，再用视频生成模型覆盖更加丰富的伪影分布，让模型从少量、单一的退化走向更接近真实应用的复杂伪影空间。
5. 先定位，再修复：把生成能力用在正确的位置
有了大规模数据，ArtifactWorld 仍然没有让视频扩散模型直接重绘整段视频。
因为在 3DGS 修复中，改得更多并不一定意味着修得更好。当前渲染出的新视角视频中，部分区域已经足够可靠；真正需要调用生成先验的，是存在严重伪影或缺少充分观测的区域。
如果模型无法区分两者，就可能在修复局部问题的同时，破坏原本正确的纹理与结构。
为此，ArtifactWorld 采用同构双模型框架：第一阶段预测 artifact heatmap，定位伪影位置与严重程度；第二阶段同时接收参考序列、带有伪影的新视角渲染视频和 heatmap，并通过 Artifact-Aware Triplet Fusion，也就是 AATF，动态调整修复策略。
在严重损坏区域，模型更多调用生成先验，恢复缺失或错误结构；在轻微退化或原本正确的区域，模型尽量保留已有内容，减少过度修改。AATF 也不是简单拼接 heatmap，而是配合分段式 heatmap 衰减策略，在不同去噪阶段调节修改位置和强度，形成由整体到局部、再到细节的渐进式修复过程。
与此同时，DBA 会将可靠的边界参考帧作为时序锚点，帮助中间帧稳定过渡。
图 3：ArtifactWorld 整体框架。系统首先从当前 3DGS 渲染新视角视频，利用 DBA 提供可靠的边界参考，再预测伪影热力图，并通过 AATF 完成区域自适应的视频修复。修复后的帧将重新参与 3DGS 优化，持续改善底层三维表示。
完成二维修复后，这些更加可靠的新视角帧会与原始输入视角一起重新参与 fit-training，持续优化底层 3DGS。
因此，ArtifactWorld 的完整流程可以概括为：
初始 3DGS → 渲染新视角视频 → 定位并修复二维伪影 → 使用修复帧重新优化 3DGS → 获得更高质量的三维表示。
6. 实验：修复结果不仅要好看，还要真正改善三维重建
ArtifactWorld 在 DL3DV 和 Mip-NeRF 360 等数据集上进行了验证。
6.1 闭环三维重建：提升最终 3DGS 表示
在 DL3DV 上，当输入视角仅占完整序列的 5% 时：
原始 3DGS 的 PSNR 为 22.75 CVPR 2025 的 Difix3D 为 23.53 ICML 2026 的 GSFixer 为 23.44 ArtifactWorld 提升至 24.56
在跨域的 Mip-NeRF 360 上，同样使用 5% 输入视角时：
Difix3D 的 PSNR 为 18.14 GSFixer 为 18.73 ArtifactWorld 达到 19.97
图 4：稀疏视角三维重建的定性对比。在不同输入视角比例下，ArtifactWorld 均能够减少漂浮物、结构缺失和局部模糊，获得更接近 Ground Truth 的新视角渲染结果。
6.2 二维视频修复：更稳定的新视角序列
除了最终的三维重建结果，论文还单独评测了二维视频修复能力。
在包含 1,284 组人工审核视频的 ArtifactWorld Benchmark 上，ArtifactWorld 的 FVD 为 33.92，相比 Difix3D 的 66.76 与 GSFixer 的 114.53 明显更低。
这说明，ArtifactWorld 的优势并不只是某一帧看起来更加清晰。
当镜头连续移动时，修复结果也更少出现闪烁、跳变和结构漂移。
图 5：二维伪影修复的定性对比。在多个非连续时间点上，ArtifactWorld 能够稳定恢复结构与细节。相比通用视频修复方法和已有 3DGS 修复方法，结果具有更好的时序一致性。
6.3 数据扩展：生成式数据飞轮带来持续收益
数据消融进一步验证了生成式扩展的价值。
仅使用 24.3K 组物理模拟数据时，二维修复 PSNR 为 24.15；在 Mip-NeRF 360 的 15% views 设置下，闭环三维重建 PSNR 为 23.68。
结合生成扩展数据，形成 107.5K 组混合训练集后，两项指标分别提升至 24.46 和 23.79。
这说明，生成式扩展不仅改善了二维视频修复，也能够为后续 3DGS 优化提供更加可靠的监督。
6.4 Backbone 拓展：从 vanilla 3DGS 到 Scaffold-GS
ArtifactWorld 也并不局限于 vanilla 3DGS 管线。
将其应用于 Scaffold-GS backbone，无需人为注入测试伪影，也能够持续改善结果。例如，在 15% views 下，PSNR 从 23.17 提升至 24.09。
6.5 效率权衡：ArtifactWorld-Turbo
作为效率补充，论文进一步给出了无需重新训练的 ArtifactWorld-Turbo 版本。
通过减少去噪步数和降低空间分辨率，单场景闭环时间从 113.3 分钟 降至 48.8 分钟，获得约 2.3× 加速；在 Mip-NeRF 360 上，平均 PSNR 仅从 22.11 降至 21.95。
视频扩散与闭环优化仍然存在进一步加速的空间，但在修复质量和推理效率之间，已经可以获得更灵活的权衡。
7. 结语：让视频生成模型真正服务于三维重建
ArtifactWorld 的意义，不只是提出一个新的修复模块。
它尝试重新组织稀疏视角 3DGS 伪影修复这个问题：先用 taxonomy 建立统一认知，再用数据飞轮扩展伪影分布，最后让视频扩散模型在正确的位置、以正确的强度修复 novel-view 渲染结果。
生成模型并不直接修改 Gaussian，但更加可靠、更加稳定的二维修复结果，可以为三维优化提供更好的监督。
不是只把每一帧图片画得更漂亮。
而是让视频生成模型真正服务于三维世界的重建。
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
