ICCV'25 | 完虐4DGS！7DGS来了：统一空间-时间-角度高斯泼溅

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：7DGS: Unified Spatial-Temporal-Angular Gaussian Splatting

作者：Zhongpai Gao, Benjamin Planche, Meng Zheng, Anwesa Choudhuri, Terrence Chen, Ziyan Wu

机构： United Imaging Intelligence

原文链接：https://arxiv.org/abs/2503.07946

官方主页：https://gaozhongpai.github.io/7dgs/

1. 导读

实时绘制具有视点相关效果的动态场景是计算机图形技术的一个基本挑战。虽然高斯扫描技术的最新进展在分别处理动态场景（4DGS）和视图依赖效应（6DGS）方面显示了有希望的结果，但没有现有的方法在保持实时性能的同时统一这些功能。我们提出了7D高斯扫描（7DGS），一个统一的框架，将场景元素表示为七维高斯人跨越位置（3D）、时间（1D）和观看方向（3D）。我们的关键贡献是一个高效的条件切片机制，该机制将7D高斯变换为视图和时间条件的3D高斯，保持与现有3D高丝光栅管道的兼容性，同时实现联合优化。实验表明，7DGS在PSNR方面的表现优于先前的方法，最高可达7.36 dB，同时在具有复杂视图依赖效应的具有挑战性的动态场景上实现了实时渲染（401 FPS）。

2. 效果展示

实验表明，与4DGS相比，7DGS显著优于4DGS，在具有复杂视图依赖效应的具有挑战性的动态场景中，其PSNR可达7.36 dB，同时实现实时渲染（401 FPS）。

3. 引言

在计算机视觉和图形学领域，对具有复杂视相关效应的动态场景进行逼真渲染仍然颇具挑战。例如，从真实的计算机断层扫描（CT）图像中实现动态心跳可视化，以及展现云层在日光下因吸收和散射效应而产生的变化（如图1所示）。合成动态场景新视图的能力对于虚拟现实、增强现实、内容创作和数字孪生等众多应用至关重要。尽管通过神经辐射场（Neural Radiance Fields, NeRF），以及最近通过三维高斯溅射（3D Gaussian Splatting, 3DGS），在静态场景重建与渲染方面取得了显著进展，但要实现具有视相关效应的动态场景的高质量实时渲染，仍面临巨大的计算和表示挑战。

核心难点在于同时对三个基本方面进行建模：1）空间几何，2）时间动态，3）视相关外观。每个维度都带来了独特的挑战。空间建模必须捕捉不同尺度下复杂的场景几何结构。时间建模必须表示刚性和非刚性运动，这些运动可能存在复杂的变形。视相关建模需要捕捉复杂的光传输效应，如散射、各向异性反射和半透明性。当综合考虑这些挑战时，由于它们之间的相互依赖性，挑战会变得更加复杂——例如，运动物体上的镜面高光会随着时间推移，根据观察方向和物体位置的变化而改变外观。

近期的研究进展已分别解决了这些挑战。3DGS通过将场景表示为三维高斯基元的集合，在静态场景渲染方面取得了突破，实现了实时渲染速率，同时保持了高视觉保真度。然而，这种方法本质上仅适用于静态场景。最近的两项扩展研究分别独立地解决了3DGS的不同局限性：四维高斯溅射（4D Gaussian Splatting, 4DGS）通过将表示扩展到四维（空间+时间）来融入时间动态；而六维高斯溅射（6D Gaussian Splatting, 6DGS）则通过添加方向维度（空间+方向）来模拟视相关效应。尽管它们在各自领域取得了成功，但两种方法均未为具有视相关效应的动态场景提供全面解决方案，因为它们仅解决了挑战的子集。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

本文提出了七维高斯溅射（7D Gaussian Splatting, 7DGS），这是一种用于具有视相关效应的动态场景实时渲染的统一框架。我们的关键见解是将场景元素建模为跨越空间位置（三维）、时间（一维）和观察方向（三维）的七维高斯分布。这种高维表示自然地捕捉了几何、动态和外观之间的相互依赖关系，从而能够更准确地对移动镜面高光和随时间变化的各向异性反射等复杂现象进行建模。

我们方法的主要技术挑战是在保持实时性能的同时高效处理七维高斯分布。为此，我们引入了一种基于原则的条件切片机制，该机制将七维高斯分布转换为与时间和观察条件相关的三维高斯分布，使其与现有的实时渲染管线兼容。该操作在融入七维模型丰富表示能力的同时，保留了3DGS的计算效率。此外，我们还开发了一种自适应高斯细化技术，该技术通过神经网络预测的残差动态调整高斯参数，从而能够更准确地对复杂非刚性变形和随时间变化的外观进行建模。

4. 主要贡献

我们在两个公开数据集上对7DGS进行了评估：D-NeRF（合成单目视频）和Technicolor（野外多视角视频），以及一个包含具有复杂运动和视相关效应的动态场景的自定义数据集7DGS-PBR。我们的结果表明，7DGS在渲染质量和计算效率方面均持续优于现有方法。我们的贡献可总结如下：

• 统一的高维表示：我们引入了一种新颖的七维高斯模型，该模型联合编码空间结构、时间演化和视相关外观。此外，还开发了一种自适应高斯细化技术，以实现更准确地对复杂变形和随时间变化的外观进行建模。

• 高效的条件切片：通过推导一种基于原则的条件切片机制，我们的方法将高维高斯分布投影为与现有实时渲染管线兼容的三维对应物，确保了效率和保真度。

• 验证：大量实验表明，在具有复杂视相关效应的挑战性动态场景上，7DGS在峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）方面比先前的方法4DGS高出最多7.36 dB，同时保持了实时渲染速度（超过401帧/秒）。

5. 方法

我们提出了七维高斯溅射（7DGS），这是一种联合建模空间、时间和角度维度的统一框架。在7DGS中，每个场景元素被表示为一个七维高斯分布，该分布自然地捕捉了场景几何、动态和视相关外观。通过用额外的时间维度扩展高斯表示，7DGS无缝地整合了空间、时间和角度变化，在稳健处理动态场景的同时，保留了高效实时渲染和准确视相关效应的优势。

6. 实验结果

7. 总结

我们提出了7DGS，这是一种新颖的框架，它将空间、时间和角度维度统一到一个用于动态场景渲染的单一7D高斯表示中。我们的条件切片机制能够高效地将7D高斯投影为可渲染的3D高斯，从而在保证高质量渲染结果的同时实现实时性能。在三个数据集上进行的实验表明，7DGS在峰值信噪比（PSNR）上比最先进的方法高出多达7.36 dB，同时使用的高斯点数量显著减少，且渲染速度保持在400 FPS以上（无需自适应优化）。我们的方法在具有复杂视点相关效果的场景上表现尤为出色，推动了该领域朝着统一且高效的动态场景表示方向发展。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。