百万高斯手机实时运行、模型不到4MB！Mobile-4DGS重磅开源：一套模型统一静态与动态三维重建

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

作者供稿直发 | 来源：3D视觉工坊

3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：

1. 研究问题：如何将 3DGS 部署到移动设备？

设想在手机上浏览一个重建场景：用户可以改变观察视角，也可以观看场景中的人物活动。实现这一体验，需要同时处理视角变化与时间变化。

3D Gaussian Splatting（3DGS）是一种基于显式场景表示的三维渲染方法。它使用大量具有位置、形状、颜色和不透明度等属性的三维高斯基元表示场景；渲染时，将基元投影到图像平面，并按深度顺序进行透明度合成。

高斯基元并非无尺寸的点，而是具有空间范围并可相互重叠的表示单元。

3DGS 在桌面 GPU 上取得了较好的渲染效果，但部署到移动设备时仍面临若干瓶颈：

• 单个基元的属性开销较高。 除位置、形状和不透明度外，还需存储随观察方向变化的外观参数。
• 基元数量可能膨胀。 训练中的增密操作可能产生冗余表示，增加存储与渲染成本。
• 动态建模带来额外计算。 若逐帧通过神经网络预测形变，移动设备将承担较高的推理开销。
• 深度排序需要持续维护。 运动可能改变遮挡关系，重新排序及索引数据传输会占用运行时间。

Mobile-4DGS 针对上述瓶颈提出统一的训练与渲染方案。名称中的“4D”指三维空间随时间变化的场景表示。

2. 外观压缩：以紧凑表示保留方向相关颜色

为什么高斯需要表达方向相关外观？

对于金属、玻璃等具有明显镜面反射的物体，观察方向变化会引起高光位置与亮度变化。因此，高斯需要建模颜色对观察方向的依赖。

3DGS 通常采用球谐函数（Spherical Harmonics，SH）表示方向相关颜色。SH 阶数越高，通常具有更强的表达能力，同时也需要更多参数。

按 RGB 三个颜色通道计算，三阶 SH 包含 48 个系数，一阶 SH 包含 12 个。该压缩针对的是外观系数，不能据此推断整个模型文件缩小至四分之一。

如何降低阶数并控制画质损失？

直接截断高阶 SH 会损失外观表达能力。为缓解这一问题，论文采用先学习高阶表示、再提取统计信息、最后优化低阶表示的流程。

训练初期的 3,000 次迭代使用三阶 SH，以学习较丰富的外观表示。随后，方法在球面上采样多个观察方向，分析高阶分量所提供的补充信息。

具体而言，方法计算三阶与二阶 SH 输出之间的残差，保留正值部分，并结合采样方向提取紧凑的方向统计量。默认设置为 2,048 个球面采样方向。

该过程由论文提出的 Monte Carlo Specular Energy Aggregator（蒙特卡洛镜面能量聚合器）实现，目标是从复杂的方向变化中提取与能量分布相关的统计特征。

随后，小型神经网络结合这些统计特征、基础颜色与高斯位置，预测一阶 SH 系数，并继续优化轻量化表示。

需要强调的是，该方法并非将任意三阶 SH 无损转换为一阶 SH，而是通过统计特征、学习映射及后续优化，尽可能保留对最终渲染质量有贡献的信息。

属性条件外观增强

为补偿压缩造成的细节损失，论文设计了属性条件 SH 增强模块。该模块以高斯的位置、尺度、旋转、不透明度及现有 SH 系数为输入，预测外观修正量。

该模块依据各高斯自身属性，对压缩后的外观表示进行针对性校正。

由于修正模块不依赖当前观察方向，其输出可在部署前或加载阶段预先计算，并合并至最终 SH 系数中，这一过程称为“烘焙”。

移动设备逐帧渲染时直接使用预先修正的系数，无需重复运行外观网络。 颜色仍由一阶 SH 建模其随观察方向的变化。

3. 基元控制：通过多视图约束增密与剪枝

训练 3DGS 时，通常会在难以拟合的区域增加高斯（增密），并移除贡献较小的高斯（剪枝）。

然而，单一视角下的局部误差并不必然意味着该区域缺少高斯。 误差也可能受遮挡或视角影响。若仅依据局部观测反复增密，基元数量可能持续膨胀。

论文通过多个观察方向联合评估场景。

方法首先依据观察方向对相机分组，并选取覆盖不同方向的代表视图，默认使用 6 个视图。随后，逐视图计算渲染结果与真实图像之间的误差，以识别拟合不足和拟合较好的区域。

再利用高斯对像素的 alpha 权重，将图像误差关联至相应高斯，并在多个视图间累积评分。

据此执行增密与剪枝：

• 增密： 在原有梯度条件上加入多视图评分，使新增高斯优先分配到确有改善需求的区域。
• 剪枝： 综合低不透明度条件与多视图剪枝评分，移除潜在冗余高斯。

该策略并非简单删除拟合较好的区域，而是结合多项条件筛选，以降低误删重要结构的风险。

其目标是通过多视角证据判断基元分配，在维持重建质量的同时减少高斯数量。

4. 动态表示：用二阶运动模型描述时间变化

以位置、速度与加速度参数化运动

动态场景中的高斯位置随时间变化。与通过神经网络预测形变的方案不同，Mobile-4DGS 采用显式二阶运动模型：

该模型与经典运动学形式一致，可表示近似匀速运动及一定程度的速度变化。

每个动态高斯额外存储 8 个时间相关标量：3 个速度分量、3 个加速度分量、1 个参考时间，以及 1 个控制时间范围的参数。静态/动态标记单独保存。

因此，渲染时只需将时间代入公式计算位置，无需逐帧运行形变神经网络。

通过时间窗口调节基元贡献

仅对高斯位置建模仍不足以表达动态内容的出现与消失。若某些局部内容在整个序列中持续可见，可能产生拖影。

论文为动态高斯引入平滑时间窗口以调节不透明度：在参考时间附近贡献较大，远离其有效时间范围后逐渐减弱。

因此，每个动态高斯可在特定时间段内发挥主要作用；多个高斯的运动轨迹与时间窗口共同构成动态场景表示。

统一表示静态背景与动态内容

动态场景通常包含大量静态区域，例如墙壁、地板和桌面。论文利用可学习的二值标记，将高斯划分为静态与动态两类。

静态高斯的位置与不透明度不随时间变化；动态高斯则应用运动模型与时间窗口。训练过程中，方法还会依据运动证据将误分类为静态的高斯调整为动态，以减少移动物体留下静止残影的情况。

由此，静态场景可视为该统一表示中所有高斯均不随时间运动的特例，静态与动态内容能够共享外观压缩及渲染流程。

5. 排序优化：利用深度顺序证书减少重复计算

深度排序为何重要？

高斯具有不透明度，多个基元重叠时，合成顺序会影响最终像素颜色。因此，深度排序是渲染流程中的关键步骤。

然而，物体运动并不意味着基元的前后顺序必然逐帧改变。若深度关系保持稳定，重复排序便可能造成不必要的开销。

基于这一观察，论文提出 Depth-Order Certificate（深度顺序证书，DOC）。

分别维护静态与动态基元

当相机深度映射保持不变时，静态高斯之间的深度顺序也保持不变，因此可以缓存。需要更新排序时，方法仅重新处理动态部分，再与静态列表合并。

在此基础上，DOC 根据速度、加速度与时间间隔，估计动态高斯可能产生的最大深度变化，并据此判断能否继续使用已有排序列表。

两种复用模式及其适用取舍

严格模式：满足条件时提供顺序保证。

若动态高斯的最大深度变化不足以导致相关相邻高斯交换次序，便可直接复用旧列表。论文的保证针对渲染器采用的 16 位量化深度排序，并以相机深度映射保持不变为前提。

宽松模式：以更高复用率换取近似保证。

在高斯密集的场景中，基元深度间隔较小，严格模式可能频繁拒绝复用。为此，论文还提供基于平均高斯半径设置运动预算的宽松模式，默认参数为 。

宽松模式更易获得实际收益，但不等价于逐帧重新排序，也不保证最终图像误差为零。

满足复用条件时，排序线程可跳过排序所需的重新投影、排序、列表合并与索引上传。场景运动与图像渲染仍正常执行，减少的是排序相关工作。

6. 端到端流程：从场景训练到移动端渲染

整体流程可分为三个阶段：

1. 场景训练。 从多视图图像或视频中优化高斯的位置与外观；动态场景还需学习运动参数、时间窗口及静态/动态划分。
2. 模型压缩与准备。 将外观转换为紧凑表示、烘焙外观修正，并通过码本与编码方法压缩相关属性及动态参数。
3. 移动端渲染。 加载并解码模型属性，逐帧计算运动，在需要时更新深度排序，最后通过 WebGL 完成渲染。

这里的“移动端实时”主要指训练完成后的模型可在手机上实时渲染。论文训练使用 RTX 4090，场景重建并非完全在手机端完成。

7. 实验结果：画质、体积与速度的权衡

静态场景：在紧凑模型下保持竞争力

在 Mip-NeRF 360 室内子集上，论文报告 Mobile-4DGS 的 PSNR 为 30.47 dB，模型大小为 2.8 MB，在 Snapdragon 8 Gen 3 设备上的离屏渲染速度为 143 FPS。

作为对照，同一表格中的量化 3DGS 对应数值为 30.04 dB、46 MB 和 11 FPS。在该实验设置下，Mobile-4DGS 显著降低了模型存储与渲染开销。

不过，Mobile-4DGS 并非在所有指标上都领先。例如，同表中的 Flux-GS 达到 147 FPS、模型大小为 2.1 MB，而 Mobile-4DGS 的 PSNR 更高。这反映了不同方法在画质、模型体积与速度之间的取舍。

动态场景：在 iPhone 上实现实时播放

在 N3DV 动态数据集上，论文使用搭载 A15 芯片的 iPhone 14 进行测试，报告结果如下：

• Mobile-4DGS： SSIM 0.945，47 FPS，模型大小 3.8 MB。
• OMG4： SSIM 0.942，12 FPS，模型大小 5.8 MB。
• Real-Time4DGS： SSIM 0.949，3 FPS，模型大小 1701 MB。

PSNR 与 SSIM 用于衡量重建图像和真实图像之间的相似程度，通常数值越高表示差异越小。该结果中，Mobile-4DGS 的 SSIM 略低于 Real-Time4DGS，但其速度和模型体积更有利于移动端部署。

与 OMG4 相比，Mobile-4DGS 在该实验中的渲染速度约为其 3.9 倍，且模型体积更小。

消融实验：各模块的实际贡献

消融实验通过移除特定模块并比较结果，评估各设计对整体性能的影响。

论文表 V 显示，移除蒙特卡洛聚合模块后，PSNR 从 27.16 降至 26.72；移除属性条件外观修正模块后，PSNR 降至 26.86。结果表明，两个模块均有助于维持压缩后的画质。

移除多视图增密控制后，高斯数量从约 36 万增至 137 万，FPS 从 132 降至 21，而 PSNR 仅从 27.16 升至 27.21。该结果说明，大幅增加高斯数量带来的画质提升有限，却会显著增加渲染成本。

对于排序复用，论文表 VI 在约 20 万高斯、动态比例为 8.1% 的测试片段上报告：默认宽松模式  的复用率为 81.0%；排序线程开销从双流方案的 81.3 ms/s 降至 13.9 ms/s，索引上传量从 23.2 MB/s 降至 4.4 MB/s。

其中，ms/s 表示每播放一秒所累计消耗的排序相关毫秒数，并非单帧总渲染时间。严格模式的复用率为 0.6%，且在该实验中未能相对双流基线实现加速。因此，该组实验中的主要收益来自宽松模式。

8. 方法适用范围与实验边界

一阶 SH 的表达能力有限。 论文通过学习与优化缓解压缩损失，但一阶 SH 并未因此获得任意高阶 SH 的表达能力。

二阶运动模型属于紧凑近似。 单个高斯采用较简单的运动轨迹，其协方差与外观系数保持时间不变。复杂动态效果需由多个高斯及其时间窗口共同表示。

排序复用受场景与相机条件影响。 相机深度映射变化时，严格模式需要重建相关缓存；动态内容比例、运动幅度及高斯深度间隔也会影响复用收益。

FPS 指离屏渲染吞吐量。 论文将画面渲染至离屏缓冲区进行测速，因此该数值不等同于手机屏幕实际显示帧率。静态与动态实验使用的设备不同，结果不宜直接横向比较。

9. 总结：面向移动端的系统级 3DGS 优化

Mobile-4DGS 在统一框架中协同处理外观压缩、高斯数量控制、动态场景表示与渲染阶段的排序开销。

其核心思路是：将可预计算的复杂操作前移，并降低逐帧计算的复杂度。 外观修正通过烘焙预先完成，训练阶段控制冗余高斯，动态位置由显式公式计算，深度排序则在条件允许时复用。

总体而言，该工作探索了适配移动设备的画质、存储与速度平衡，使静态场景浏览和动态场景播放能够共享一套轻量化表示与渲染流程。

本文仅做学术分享，如有侵权，请联系删文。

。

扫码添加微信，备注：姓名+方向+单位，邀请入群。