少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图1

0. 这篇文章干了啥？

这篇文章提出了一种用于稀疏视图三维高斯溅射（3DGS）的分割驱动初始化方法（SDI-GS），旨在解决现有SfM-free方法在稀疏视图场景中的效率问题。文章指出，稀疏视图渲染在3D计算机视觉中是一个关键挑战，现有方法存在诸多不足，如NeRF及其变体训练和渲染速度慢，3DGS在稀疏视图场景中依赖的Structure-from-Motion（SfM）在特征对应有限时初始化不可靠，而一些SfM-free方法又会产生过多高斯点导致内存成本高。SDI-GS方法利用基于区域的分割来识别和保留结构上重要的区域，实现对密集点云的选择性下采样，在保留场景保真度的同时显著减少高斯点数量。具体步骤包括使用MASt3R估计相机姿态和生成密集点云，采用改进的DBSCAN算法进行二维分割，构建基于相邻视图的三维标签，通过分层采样进行下采样，最后用保留的点初始化3D高斯并联合优化参数。实验结果表明，SDI-GS在多个数据集上可将高斯点数量减少达50%，在PSNR和SSIM指标上实现了相当或更优的渲染质量，LPIPS指标仅有轻微下降，同时具有更快的训练速度和更低的内存占用，在SfM-free和SfM-based两种设置下均展现出较高的效率和竞争力。此外，消融研究验证了3D标签向量设计的合理性。未来研究方向包括探索自适应或学习型分割技术以及将框架扩展到无约束、动态或低光照环境。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Segmentation-Driven Initialization for Sparse-view 3D Gaussian Splatting
作者：Yi-Hsin Li, Thomas Sikora, Sebastian Knorr, Mårten Sjöström
作者机构：

Yi-Hsin Li：Department of Computer and Electrical Engineering, Mid Sweden University；Department of Telecommunication Systems, Technical University of Berlin
Sebastian Knorr：School of Computing, Communication and Business, Hochschule für Technik und Wirtschaft Berlin
Mårten Sjöström：Department of Computer and Electrical Engineering, Mid Sweden University
Thomas Sikora：Department of Telecommunication Systems, Technical University of Berlin

论文链接：https://arxiv.org/pdf/2509.11853

2. 摘要

摘要

由于难以从有限的观测中恢复准确的几何形状和外观，稀疏视图合成仍然是一个具有挑战性的问题。尽管最近三维高斯散点（3DGS）技术的进展使得以有竞争力的质量进行实时渲染成为可能，但现有流程通常依赖运动恢复结构（SfM）进行相机位姿估计，而这种方法在真正的稀疏视图场景中会遇到困难。此外，一些无SfM的方法用多视图立体（MVS）模型取代了SfM，但通过将每个像素反向投影到三维空间中生成了大量的三维高斯，导致了高内存成本。我们提出了用于高斯散点的分割驱动初始化方法（SDI-GS），该方法通过利用基于区域的分割来识别并仅保留具有结构意义的区域，从而缓解了效率低下的问题。这使得能够对密集点云进行选择性下采样，在大幅减少高斯数量的同时保留场景的保真度。在各种基准测试中的实验表明，SDI-GS可将高斯数量减少多达50%，并在峰值信噪比（PSNR）和结构相似性指数（SSIM）方面实现相当或更优的渲染质量，而在学习感知图像块相似度（LPIPS）方面仅有轻微下降。它还能实现更快的训练和更低的内存占用，提高了3DGS在受限视图场景中的实用性。

3. 效果展示

图 3：在 3 视图（上半行）和 12 视图（下半行）设置下，三个数据集的定性比较。每一行对应一个不同的数据集。在每个数据集中，我们展示了 CF-3DGS、InstantSplat 和我们方法的渲染结果。CF-3DGS 由于姿态估计不可靠而出现了严重的伪影。相比之下，InstantSplat 和我们的方法都使用 MASt3R 进行初始化，并在训练过程中优化姿态，从而实现了稳定且准确的重建。我们的分割驱动的下采样进一步减少了内存使用，而没有降低视觉质量。少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图2

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图3

4. 主要贡献

我们引入了一种用于初始化3D高斯的分割驱动策略，降低了稀疏视图渲染中的计算和内存需求。
我们的方法在将内存使用量减少多达50%的同时，保留了图像质量，并保持了无SfM管道特有的快速训练性能，在PSNR和SSIM方面达到了有竞争力的水平，且LPIPS仅有轻微下降。推荐课程：。
我们与无SfM和基于SfM的基线方法进行了对比评估，展示了在各种稀疏视图场景下效率的提升和有竞争力的质量。

5. 基本原理是啥？

提出分割驱动的初始化策略针对现有稀疏视图3D高斯溅射（3DGS）方法中存在的问题，提出分割驱动初始化的3D高斯溅射方法（SDI-GS）。该方法利用基于区域的分割来识别和保留结构上重要的区域，对密集点云进行选择性下采样，在减少高斯数量的同时保留场景保真度。
相机姿态和密集点估计给定一组稀疏的RGB视图，使用MASt3R方法估计相对相机姿态和密集的逐像素3D点云。对于视图中的每个像素，将其提升为3D点，形成每个视图的3D点集，所有视图的未过滤点集。
2D分割采用改进的DBSCAN算法（MDBSCAN）对每个视图进行基于区域的分割。该算法基于RGB空间中的颜色相似性对像素进行聚类，为视图中的每个像素分配一个区域标签。这种分割方法能保留细粒度的结构细节，不限制分割大小，计算效率高，适合该方法的管道。
分割感知的3D标签对于每个3D点，将其投影到相邻的两个训练视图和上，使用投影函数得到对应的像素坐标，结合源视图和相邻视图的分割标签构建分割感知的3D标签向量。定义具有相同3D标签向量的点集为一个结构簇。
下采样在每个结构簇内进行分层采样，每个簇最多保留个点。如果簇中的点数少于，则采样所有可用点，即。最终下采样的点云是所有簇采样点的并集。这种采样策略能避免大的无信息区域过度表示，保留几何结构并减少冗余点。
高斯初始化和联合优化每个保留的3D点用于初始化一个3D高斯，其中表示位置，表示协方差，表示颜色，表示不透明度。采用3D高斯溅射的可微渲染框架和InstantSplat的联合优化策略，同时优化高斯参数和相机姿态。优化由光度损失驱动，其中是视图的真实图像，是相应的相机姿态，是在姿态下溅射高斯产生的渲染图像。

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图4

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图5

6. 实验结果

文章通过在SfM-free和SfM-based两种设置下的实验，对比了所提方法（SDI-GS）与现有方法的性能，具体实验结果如下：

SfM-free设置实验结果

定量结果：在Tanks and Temples、Mip-NeRF 360和MVImgNet三个数据集上，与InstantSplat相比，SDI-GS在SSIM上表现相当，LPIPS分数略差，但显著降低了内存占用。在Tanks and Temples数据集上，文件大小减至InstantSplat的三分之一，训练速度更快，渲染延迟降低25%；在Mip-NeRF 360数据集上，SSIM略优，LPIPS有竞争力，文件大小减少超80%；在MVImgNet数据集上，渲染质量略低，但模型小3倍，渲染速度快达40%。
视觉比较：3视图情况下，CF-3DGS因相机姿态估计不准确出现严重伪影，而InstantSplat和SDI-GS使用MASt3R进行姿态初始化并在训练中联合优化姿态，重建更准确稳定。SDI-GS在保留全局结构上与InstantSplat相当，虽可能错过一些高频细节，但分割引导的下采样使重叠区域过渡更平滑，且内存使用显著降低，3视图设置下只需InstantSplat三分之一的内存，12视图配置下最多可减少80%。
压缩效率分析：随着训练视图数量从3增加到12，SDI-GS的分割引导下采样利用点云冗余实现更激进的压缩，3视图输入文件大小减少50%，12视图时与InstantSplat相比最多减少75%，且不影响重建质量，PSNR保持稳定。

SfM-based设置实验结果

定量性能：在DTU数据集上，SDI-GS与SfM-based基线方法定量性能相当；在Mip-NeRF 360数据集上，PSNR和SSIM优于基线方法，LPIPS略高。在文件大小方面，SDI-GS与SfM-based方法相当或更优，在Mip-NeRF 360上文件大小减至FSGS和SparseGS的近一半，InstantSplat的八分之一，渲染速度在Mip-NeRF 360上快于所有基线方法，在DTU上与FSGS相当。
定性比较：在代表性场景的定性比较中，SDI-GS在保持与SfM-based方法相当视觉质量的同时，训练速度大幅提高，模型更紧凑。

消融实验结果

将标签维度从3增加到12会导致文件大小显著增长，而PSNR和SSIM仅有微小改善。高标签维度会引入许多碎片化或嘈杂的段组合，破坏连贯结构，增加保留的高斯数量，在不显著提高重建质量的情况下破坏了预期的稀疏性。

SDI-GS在多个数据集和不同设置下表现出：

高斯点数量显著减少：可将高斯点数量减少达50%。
渲染质量相当或更优：在PSNR和SSIM指标上实现了相当或更优的渲染质量，LPIPS指标仅有轻微下降。
更快的训练速度和更低的内存占用：具有更快的训练速度和更低的内存占用，在不同数据集和设置下均展现出较高的效率和竞争力。

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图6

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图7

少 50% 高斯点！SDI-GS 靠 2D 聚类，比 InstantSplat 省内存，重建无伪影！图8

7. 总结 & 未来工作

总结

我们提出了一种用于稀疏视图设置下 3D 高斯 splatting 的分割驱动初始化策略（SDI-GS），以解决现有无 SfM 方法中存在的效率问题。该方法不是将每个像素不加区分地提升到 3D 空间，而是应用基于区域的分割来引导结构化下采样，在保留场景保真度的同时显著减少冗余。

通过对不同数据集的广泛实验，我们证明了 SDI-GS 与现有的无 SfM 和基于 SfM 的方法相比，能够实现相当或更优的渲染质量，高斯数量减少了多达 50%，并且内存和运行时间成本大幅降低。值得注意的是，SDI-GS 保留了无 SfM 管道吸引人的快速训练时间，同时产生了与基于 SfM 方法一样紧凑的表示。这些结果凸显了在 3DGS 中进行结构感知初始化的重要性。通过从源头上减少不必要的开销，我们提高了在现实世界稀疏视图约束下的可扩展性和实用性。