点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
作者供稿直发 | 编辑：3D视觉工坊
根据最新学术论文Flux-GS的研究，在 3D 计算机视觉和虚拟现实领域，3D 高斯泼溅（3D Gaussian Splatting, 简称 3DGS） 是近年来最具革命性的技术之一。它能把多视角照片或视频变成可以实时自由交互的 3D 真实场景。然而，虽然它在台式机硬件上表现惊艳，但在我们日常使用的移动端（手机、平板）上，却面临着推理和存储开销过大的严峻落地挑战。
由悉尼科技大学、百度和阿德莱德大学等机构的研究团队共同提出的 Flux-GS，正是为了解决这一痛点而生的移动端实时 3DGS 渲染方案。它通过精妙的数学压缩与智能裁剪，不仅让 3D 模型的体积暴减，更在手机上跑出了 151 FPS 的极速流畅度！
作者：Xiaobiao Du, YuAn Wang, Hao Li, Bosheng Wang, Xun Sun, Xin Yu
Project Page: https://xiaobiaodu.github.io/flux-gs-project/
Arxiv: https://arxiv.org/pdf/2606.30017
Code: https://github.com/xiaobiaodu/Flux-GS(移动端代码和模型权重均已开源)
1. 移动端落地的两大“拦路虎”
论文中明确指出，传统的 3DGS 在手机等资源受限的边缘设备上跑不动，主要卡在以下两个核心瓶颈：
高阶球谐函数（SH）太吃内存：为了捕捉复杂且随视角变化的光影辐射（如镜面反射效果），标准 3DGS 采用了三阶球谐函数。这意味着每个高斯点都需要存储多达 48 个浮点数参数。当场景点数达到数百万时，海量的参数会带来难以承受的存储空间占用和庞大的显存带宽消耗。 冗余的高斯点点数过多：现有的轻量级 GS 变体通常沿用传统的单视角梯度驱动进行高斯点的稠密化。这种方法缺乏全局和多视角的结构一致性，容易盲目生成过度膨胀且易过拟合的高斯点，从而大幅拉低推理速度并增大存储脚印。
2. Flux-GS 的核心黑科技：三大解法
为了彻底把 3DGS 顺畅地装进手机，Flux-GS 提出了以下核心技术创新：
①蒙特卡洛镜面能量聚合器（MC-SEA）
研究团队发现，视点依赖的辐射能量在角度域上其实是非常稀疏的，但其方向相位对重构至关重要。 传统方法直接丢弃高阶 SH 会导致画面失去反光细节，而 Flux-GS 选择在训练前 3000 次迭代保留高阶 SH 建立高频表达。 随后，它通过均匀球面采样计算三阶与二阶 SH 之间的“光影残差”，利用蒙特卡洛投影提取其第一阶方向矩，将高频镜面能量聚合到一个紧凑的潜在空间中。 最后用轻量级网络将其非线性映射转化为高效的一阶 SH 表示。 这种做法在没有高昂蒸馏或预训练负担的前提下，使每个高斯点的内存开销实现了 61% 和 26% 的阶段性暴减，同时完美保留了标志性的反光和镜面特征。
②属性条件 SH 增强模块（零推理成本）
压缩参数难免会带来微小的细节损失，为此团队设计了一个属性条件增强模块。 它利用轻量级 MLP，根据高斯点的位置、缩放、旋转、不透明度以及一阶 SH 自身的固有几何与光度属性，来预测残差偏移量。 关键在于，由于这些属性完全独立于相机的看视方向，该模块预测出的光影偏移量在模型运行（推理）前就已经一次性计算完毕，并静态烘焙（Bake）到了显式高斯参数中。 这确保了细节增强在实际手机渲染时引入的额外推理计算开销严格为零，保障了极高的渲染帧率。
③多视角 Alpha 稠密化与剪枝策略
针对单视角加点容易过拟合和冗余的问题，Flux-GS 引入了多视角一致性引导机制。 它采用分层相机采样挑选出最具代表性、角度分散度最大的训练视角组合。 接着，它计算多视角下的光度误差，并结合定制的 CUDA 算子累积高斯点的 Alpha（不透明度）可见性贡献。 只有那些在多视角下持续对高误差区域有显著可见性贡献的高斯点才会被精准地克隆或分裂（精准稠密化）；同时，对低误差区域或不透明度极低的高斯点进行适度剪枝。 这种方法实现了更紧凑的高斯点云结构，在严控高斯点总预算的同时，确保了极佳的多视角几何一致性。
3. 惊艳的性能表现
在商用智能手机（搭载高通骁龙 8 Gen 3 GPU 硬件平台）和真实数据集（如 Mip-NeRF 360）上的密集评测中，Flux-GS 交出了极具统治力的成绩单：
画质几乎无损：在砍掉大批高阶参数、极大精简点数后，Flux-GS 在室内外场景的渲染画质（PSNR 约为 30.21dB）依然能够与传统未压缩 3DGS（30.14dB）和 Mobile-GS（30.31dB）正面硬刚。 体积与高斯点数暴减：Flux-GS 将场景高斯点数控制在 0.16×10⁶，远低于标准 3DGS 的 1.85×10⁶，实现了极致的紧凑性与超低存储成本。 帧率飞跃，丝滑渲染：在手机端脱屏测试中，传统的 3DGS 只有卡顿的 11 FPS，而 Flux-GS 跑出了 151 FPS 的惊人高帧率，甚至超越了去掉推理 MLP 的 Mobile-GS 变体（137 FPS）。 训练时间断崖式下跌：由于高斯点总预算被精准把控，Flux-GS 在台式机 RTX 4090 上的单场景训练收敛时间仅需 10 至 13 分钟左右，比起先前 Mobile-GS 动辄一两百分钟的师生模型蒸馏训练，效率提升了数倍。
4. 总结与局限性
Flux-GS 的成功，证明了通过智能数学投影和多视角联合约束，完全可以在资源极其严苛的日常手机甚至 WebGL 网页端（跨平台无缝内嵌运行）跑出高质量、高帧率的 3D 真实重建场景。
当然，论文也坦承该方法存在以下局限性：
高复杂度镜面表现轻微受限：将模型压缩至一阶 SH 难免会使它在面对极度复杂的镜面（如镜子般的反光）时，损失一部分建模上限。 初始化训练开销：因为在训练前 3000 次迭代中仍需优化 full 3DGS 的三阶球谐函数，所以最初阶段的峰值显存消耗依然与传统 3DGS 相当。 微小结构误剪风险：如果极度隐蔽的微小几何结构刚好处于未被多视角相机采样的狭窄死角中，多视角引导可能会误将其识别为冗余点而进行剔除。
无论如何，Flux-GS 展现出的超低体积、极速训练以及惊艳的手机端帧率，都为空间计算、移动端全景 AR/VR 导航、轻量级 3D 网页展示等实际落地场景注入了强劲的动力。
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
