ICCV2025佳作 | 3DGS渲染质量↑10%+训练速度↑200倍+内存占用↓7.9倍，无需相机位姿。

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！

项目主页-https://linjohnss.github.io/longsplat/

代码链接-https://github.com/NVlabs/LongSplat

论文链接-https://arxiv.org/pdf/2508.14041

为什么需要这个算法？--从随意捕获的长视频中进行新视图合成（NVS）的关键挑战，不规则的相机运动、未知的相机姿态和广阔的场景。当前的方法经常受到姿态漂移、几何初始化不准确和严重内存限制的困扰。

这个算法能做什么？--LongSplat在没有提供相机姿态的情况下，从随意拍摄的长视频中实现了强大的新颖视图合成。该方法联合优化了相机姿态和3D高斯散斑，即使在具有挑战性的条件下也能产生准确和视觉连贯的重建结果。

这个算法效果如何？-- 在具有挑战性的多个基准上面的大量实验结果表明：LongSplat取得了最佳的效果，与基线方法相比，大大提高了渲染质量、姿态精度和计算效率，渲染质量↑10%，训练速度↑200倍，内存占用↓7.9倍！

01-LongSplat核心优势

LongSplat解决了从随意捕获的长视频中进行新视图合成（NVS）的关键挑战，这些长视频的特征包含：不规则的相机运动、未知的相机姿态和广阔的场景。当前的方法经常受到姿态漂移、几何初始化不准确和严重内存限制的困扰。

为了解决这些问题，作者引入了LongSplat，这是一个强大的无需位姿的3D高斯散点框架，其核心特点如下：

1）增量联合优化，同时优化相机姿态和3D高斯分布，从而避免局部最小值并确保全局一致性；

2）利用所学习的3D先验的姿态估计模块；3）动态调整锚密度、显著减少内存使用的自适应八叉树锚形成机制。

02-LongSplat落地场景

02.01-根据随手拍的长视频重建新视图

如上面的视频所示，分隔线左边表示用户自己随手拍摄的一些长视频，分隔线右边表示利用该方法重建出来的一些新视图，整个视频的稳定性和质量都得到了较大幅度的提升。

02.02-重建相机位姿

上面的视频展示了该方法对用户输入的无位姿的长视频重建出来的相机位姿和点云图，肉眼可见其精确度。

02.03-重建点云

03-LongSplat上手指南

03.01-搭建运行环境

# 步骤1-克隆代码到本地git clone --recursive https://github.com/NVlabs/LongSplat.git cd LongSplat
# 步骤2-创建&激活虚拟环境conda create -n longsplat python=3.10.13 cmake=3.14.0 -y conda activate longsplat conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia  # use the correct version of cuda for your system 
# 步骤3-安装3方依赖包pip install -r requirements.txt pip install submodules/simple-knn pip install submodules/diff-gaussian-rasterization pip install submodules/fused-ssim

03.02-运行样例代码

# 在几个不同的数据集上面训练、验证与评估# For Free dataset bash scripts/train_free.sh  
# For Hike dataset bash scripts/train_hike.sh  
# For Tanks and Temples dataset bash scripts/train_tnt.sh

04-LongSplat性能评估

04.01-主观效果评估

如上面的视频所示，作者将LongSplat与其它方法的结果进行了比较与可视化。通过观察与分析，我们可以发现：LongSplat的表现远优于其它基线的高斯泼溅方法。