点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！
3D高斯泼溅（3DGS）作为当前新视角合成领域最具代表性的技术之一，凭借其高质量的实时渲染能力，已经在数字孪生、虚拟现实、自动驾驶仿真等众多工业场景中展现出巨大的应用价值。然而，3DGS的重建质量高度依赖于优化过程的有效性，优化器的设计直接决定了最终渲染效果和收敛速度，因此如何设计更高效的3DGS优化策略成为了学术界和工业界共同关注的核心问题。
当前3DGS优化普遍采用Adam或SGD等通用优化器，这些优化器虽然在不同场景下表现稳定，但它们无法捕获场景内部的结构性和空间关系，导致每个高斯的参数更新是相互独立的，优化效率低下且收敛缓慢。近期虽然有研究引入了学习型优化器来预测相关联的参数更新，但这些方法固定了优化迭代次数，并且依赖手动调度的学习率来避免长周期优化中的性能退化问题。
本文提出了Learn2Splat，这是首个能够在扩展优化视野下避免性能退化的学习型3DGS优化器。核心思路是通过元学习方案结合checkpoint buffer和optimizer rollout策略来扩展优化视野，同时在架构中编码梯度尺度信息，使得优化器能够在长时间优化过程中保持稳定且高效的表现，并支持零样本泛化到未见过的重建设置。
Learn2Splat的核心亮点在于：在稀疏视图和密集视图设置下均展示了改进的早期新视角合成质量，同时在长周期优化中保持稳定不退化，并且能够零样本泛化到未见过的重建配置。此外，本文还首次提出了一个统一框架，用于在稀疏和密集视图设置下训练和评估学习型与传统优化器，为该领域的后续研究提供了重要的基准平台。
论文信息
标题：Learn2Splat: Extending the Horizon of Learned 3DGS Optimization
作者：Naama Pearl, Stefano Esposito, Haofei Xu, Amit Peleg, Patricia Gschossmann, Lorenzo Porzi, Peter Kontschieder, Gerard Pons-Moll, Andreas Geiger
机构：马普所(MPI), 图宾根大学, NVIDIA
原文链接：https://arxiv.org/abs/2605.15760
代码链接：https://naamapearl.github.io/learn2splat
导读
本文针对3D高斯泼溅优化过程中通用优化器效率低下的问题，提出了一种全新的学习型优化器Learn2Splat。传统的Adam和SGD优化器虽然稳定，但它们是通用目的的优化方法，并未针对3DGS的特定问题结构进行定制。具体而言，这些优化器产生的参数更新是相互独立的，无法捕获场景内部的结构关系和高斯之间的空间依赖，导致优化效率低下且收敛缓慢。近期虽然出现了学习型优化器，能够预测受参数间和高斯间依赖关系信息指导的相关联更新，但这些方法存在两个关键局限：一是训练时固定了优化迭代次数，二是需要手动调度学习率来避免退化。为解决这些问题，本文提出了一种基于元学习的优化器训练方案，通过checkpoint buffer和optimizer rollout策略扩展优化视野，并设计了一种在潜在状态中编码梯度尺度信息的网络架构。实验结果表明，该方法在早期新视角合成质量上取得显著提升，同时在长周期优化中保持稳定，且能够零样本泛化到未见过的重建设置。
效果展示
图 1：Learn2Splat（简称 L2S）是一款面向三维高斯溅射（3DGS）的学习型优化器。它在优化初期即可实现更高的重建质量，且在长迭代周期内始终保持良好效果。
以往的学习型优化器（LO）[14,29,47] 依赖学习率调度或时间编码完成收敛，仅适用于短迭代或固定迭代次数场景；一旦超出该范围，重建效果便会下降（详见 5.2 节）。
本文所提方法结合元训练策略与网络结构改进（详见第 4 节），让 Learn2Splat 在长迭代过程中稳定发挥性能。该学习型优化器同时兼容稀疏运动恢复结构（SfM）初始化与密集前馈初始化两种方式。
即便模型仅针对低分辨率场景完成训练，也能零样本泛化至其他数据集与不同分辨率。图中展示了该方法在 DL3DV 数据集 [26] 上完成的高分辨率、稀疏视角零样本重建结果，并与 ReSplat [47]、原生 3DGS [20] 及其调优版本（3DGS*）进行了对比。
引言
3D高斯泼溅（3DGS）自提出以来，凭借其显式的场景表示和高效的体渲染管线，迅速成为新视角合成领域的主流方法。3DGS通过一组带属性的三维高斯来表示场景，并通过可微渲染进行端到端优化，在渲染质量和速度之间取得了出色的平衡。
目前3DGS的优化主要依赖标准的一阶优化方法，如Adam和SGD。这些通用优化器虽然在不同场景下表现稳定，但它们并未利用3DGS问题本身的特殊结构。具体来说，每个高斯的参数（位置、尺度、旋转、不透明度、球谐系数）是独立更新的，忽略了高斯之间丰富的空间和结构关系，这种信息利用的不足导致了优化效率的低下。
近期的研究开始探索学习型优化器用于3DGS，这些方法能够预测考虑了参数间和高斯间依赖关系的更新。然而，现有的学习型优化器存在明显的局限性：它们通常针对固定数量的优化迭代进行训练，当优化周期超出训练范围时会出现性能退化，需要借助手动学习率调度等辅助机制来缓解这一问题，这严重限制了学习型优化器的实用性和灵活性。
本文的动机在于：能否设计一种学习型优化器，使其能够在任意长度的优化周期中保持稳定，同时不需要任何辅助的退化缓解机制？为此，本文提出了Learn2Splat，通过创新的元学习方案和架构设计，实现了首个在扩展优化视野下避免退化的学习型3DGS优化器。
主要贡献
本文提出了Learn2Splat，一个面向3D高斯泼溅的学习型优化器，在优化效率、稳定性和泛化能力方面取得了全面突破。以下是本文的主要贡献：
• 提出了首个能够在扩展优化视野下避免性能退化的学习型3DGS优化器，通过checkpoint buffer和optimizer rollout的元学习方案实现了灵活的优化视野扩展。
• 设计了一种在潜在状态中编码梯度尺度信息的优化器架构，使优化器能够感知不同参数的梯度量级差异，从而生成更精准的参数更新。
• 构建了首个统一的学习型与传统优化器训练和评估框架，支持稀疏和密集视图设置，为零样本泛化研究提供了重要基准。
方法
Learn2Splat的整体框架基于元学习范式，核心思想是训练一个优化器网络，使其能够根据当前3DGS场景的状态（包括高斯参数和梯度信息）生成优化的参数更新。与以往固定迭代次数的学习型优化器不同，Learn2Splat通过创新的训练策略使优化器能够适应任意长度的优化过程。
在关键技术模块方面，Learn2Splat引入了两个核心设计。首先是checkpoint buffer机制，该机制在训练过程中存储优化器的历史状态检查点，使得优化器能够在不同的优化阶段进行回溯和重新展开，从而有效扩展训练时的优化视野。其次是optimizer rollout策略，该策略允许在训练时对优化器进行多步展开，模拟更长的优化过程，使优化器学会在长周期优化中保持稳定。在架构层面，Learn2Splat的优化器网络在潜在状态中显式编码了梯度尺度信息，这使得优化器能够区分不同参数的梯度量级，生成更加合理和精准的更新方向。
训练过程采用元学习的方式，在多个场景上进行训练，使优化器学习到通用的优化策略。推理时，Learn2Splat可以直接应用于新的场景，无需针对特定场景进行微调，实现了真正的零样本泛化。
实验结果
实验在多个标准数据集上进行了全面评估，涵盖了稀疏视图（3-9个输入视图）和密集视图（100+个输入视图）两种设置。评估指标包括PSNR、SSIM和LPIPS，对比方法包括标准的Adam优化器以及现有的学习型优化器。
主要结果表明，Learn2Splat在早期新视角合成质量上显著优于所有基线方法。在稀疏视图设置下，Learn2Splat在较少的优化迭代内就能达到较高的渲染质量，收敛速度明显加快。在密集视图设置下，Learn2Splat同样展现了改进的优化效率。更重要的是，与传统学习型优化器不同，Learn2Splat在长周期优化中不会出现性能退化，保持了稳定的优化质量。
消融实验验证了各核心组件的有效性。checkpoint buffer机制对于扩展优化视野至关重要，移除后优化器在长周期中出现明显退化。optimizer rollout策略进一步增强了优化器的长周期稳定性。梯度尺度信息的编码显著提升了优化器对不同参数的更新精度，尤其在处理尺度差异较大的参数时效果更为明显。
总结 & 未来工作
本文提出了Learn2Splat，首个能够在扩展优化视野下避免退化的学习型3DGS优化器。通过checkpoint buffer和optimizer rollout的元学习方案，结合梯度尺度信息编码的架构设计，Learn2Splat在稀疏和密集视图设置下均展示了改进的早期新视角合成质量，同时保持长周期稳定性，并支持零样本泛化到未见重建设置。本文还构建了首个统一的学习型与传统优化器评估框架，为该领域提供了重要的研究基础设施。
未来工作可以从以下几个方向展开：一是探索将Learn2Splat与自适应密度控制策略结合，进一步优化高斯的增删过程；二是将学习型优化器扩展到动态场景和大规模场景的3DGS优化中；三是研究如何将Learn2Splat的元学习范式应用到其他基于优化的3D重建方法中，如NeRF变体等。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
