剑桥新作GeoSplat： 3D GS的万能涨点公式！

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

论文信息

标题：GeoSplat: A Deep Dive into Geometry-Constrained Gaussian Splatting

作者：Yangming Li, Chaoyu Liu, Lihao Liu, Simon Masnou, Carola-Bibian Schönlieb

机构：University of Cambridge、Universite Claude Bernard Lyon

原文链接：https://arxiv.org/abs/2509.05075

导读

近期的一些研究探索了将几何先验纳入高斯拼接（Gaussian splatting）的优化过程中，以进一步提升其性能。然而，早期的研究主要集中在使用低阶几何先验（例如法向量），并且这些先验通过噪声敏感的方法（如局部主成分分析）进行估计时存在不确定性。为了解决这些问题，我们首先提出了GeoSplat这一通用几何约束优化框架，该框架结合了一阶和二阶几何量，优化了高斯拼接的整个训练流程，包括高斯初始化、梯度更新和密度增强等环节。例如，我们根据物体的主曲率来初始化3D高斯基元的尺度，从而比随机初始化方式更好地覆盖物体表面。其次，基于特定的几何结构（如局部流形），我们引入了高效且抗噪声的估计方法，为框架提供动态的几何先验。我们在多个数据集上进行了广泛的实验，用于新颖视图合成，结果表明GeoSplat框架显著提升了高斯拼接的性能，并超越了之前的基准方法。

效果展示

引言

高斯泼溅（Gaussian splatting）的光真感渲染质量和高效率引发了近期大量研究，这些研究从内存消耗和纹理等多个角度对其进行了进一步探索。

近期几何正则化方法的局限性。这些研究中的一个显著观点是，鉴于高斯基元应近似于三维物体的表面，可将几何先验视为某种正则化手段，以改进高斯泼溅。例如，Li等人将新的基元放置在原始基元的切平面上，旨在减少离群伪影。虽然这些方法取得了一定的性能提升，但先前的方法主要关注低阶几何量（如法向量），而较少考虑高阶几何量（即曲率）。这两种几何信息刻画了二维物体表面的截然不同的方面，因此缺少其中任何一种都可能限制其潜力。

先前工作的另一个关键局限性在于，它们通过不可靠的方法来估计几何信息。例如，局部主成分分析（PCA）以其对噪声敏感而闻名，而训练好的StableNormal模型在处理罕见数据时容易失败。先前方法中的几何先验也是静态的，在优化过程中，对于刻画高斯基元的动态几何特性，其准确性会逐渐降低。

我们的几何优化框架：GeoSplat。为解决先前工作的局限性，我们首先提出了一种通用的几何约束优化框架：GeoSplat，该框架利用低阶和高阶几何先验对高斯泼溅的训练流程进行正则化。高阶信息（如曲率）虽在很大程度上被先前方法所忽视，但其刻画了二维表面的一个关键特性：其在三维空间中的弯曲方式。有鉴于此，我们采用此类信息对高斯基元的形状进行正则化。例如，低曲率区域表明其近似于一个平面，因此我们可以将该区域内高斯基元的尺度初始化为较大的数值。切向量和法向量等低阶几何量在近期研究中已发挥了关键作用，我们在框架中进一步拓展了其应用范围。例如，为减少浮动伪影，我们根据高斯基元的法线方向截断其梯度更新。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

其次，我们提出了一种估计方法，可为我们的框架提供抗噪声的几何信息。具体而言，我们假设每个高斯基元都位于一个局部为流形的底层表面上，并推导出包含曲率信息的形状算子的解析形式。我们还探索了几何学中的另一种语言：变分子（varifold）该方法有时优于我们基于流形的方法。这两种方法均具有较高的效率，因此可在训练过程中为我们的框架提供动态几何先验。

我们在新视角合成领域的多个基准数据集上进行了广泛实验。结果表明，我们的框架GeoSplat显著提升了高斯泼溅的性能，并优于先前的基线方法。

实验结果

我们在两种视角合成数据集Replica和ICL上，将我们的模型与多个基线模型（如GeoGaussian）进行了比较，实验涵盖了12个不同场景。结果如表1和表2所示，表明我们的优化框架GeoSplat能够显著提升高斯泼溅的性能，并优于先前的基线方法。对于第一点，我们可以看到，与3DGS相比，我们基于变分子的模型在ICL Room-1上的PSNR指标上取得了2.77%的显著性能提升，我们基于流形的模型在ICL Office-2上的SSIM指标上也优于3DGS 0.93%。对于第二点，我们可以看到，在每个Replica数据集上，我们基于流形和基于变分子的模型均显著优于关键基线GeoGaussian。例如，我们在Replica R1上的PSNR得分提高了3.42%，在Replica OFF4上的PSNR得分提高了2.01%。在十多个数据集上持续的性能提升表明，我们的框架确实有效。

由于我们的模型受到各种几何先验的正则化，直观上，在低资源设置下，我们可能会获得更高的性能提升，因为在该设置下，数据集中观察到的视角较为稀疏。为验证这一直觉，我们在来自Replica和ICL的4个数据集上，排除了部分（pct.）视角后，将我们的模型与基线模型进行了比较。结果如图2所示，表明与GeoGaussian（其受到低阶法线信息的正则化）相比，当视角变得更加稀疏时，我们的模型性能下降速度要慢得多。例如，在完整的Replica R2数据集上，我们在PSNR指标上的性能提升为3.11%，而当仅观察到1/6的视角时，性能提升可进一步扩大至7.93%。

7. 总结

在本研究中，我们引入了一种几何约束高斯泼溅的通用框架，重点利用了先前方法在很大程度上所忽视的高阶几何信息（如曲率）。实验结果表明，我们的框架显著提升了高斯泼溅的性能，并优于先前的基线方法，在低资源设置下产生的伪影（如离群值）极少。基于特定的几何结构（如局部流形），我们还提出了高效的估计方法，可为我们的框架提供抗噪声且动态的几何先验。相比之下，现有方法依赖于对噪声敏感且静态的先验。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。