点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：我爱计算机视觉
星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
今天跟大家聊一个三维视觉领域的老大难问题：怎样才能既快又好地创建三维场景，而且还不能太占地方？
熟悉这个领域的朋友肯定知道NeRF和3DGS（3D Gaussian Splatting）。简单来说，NeRF画质细腻，但渲染起来慢得像“PPT”；3DGS速度飞快，能做到实时渲染，但模型文件动不动就几百兆甚至上G，对存储空间很不友好。
那么，有没有办法把这两者的优点结合起来呢？最近，来自香港科技大学的研究者们提出了一个名为 HyRF 的新方法，全称是“Hybrid Radiance Fields”，也就是混合辐射场。听名字就知道，它想做个“混血儿”，目标就是实现内存高效、高质量的新视角合成。
论文标题：HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis 作者：Chun-Liu MIT, Zhi-Hao Lin, Yu-Kun Lai, Yu-Ying Yeh, Lin Gao, Hao-Zhi Huang 机构：香港科技大学 论文地址：https://arxiv.org/abs/2409.17083 项目主页：https://chunliu.github.io/HyRF/
NeRF与3DGS的“两难困境”
聊 HyRF 之前，得先简单说说现在新视角合成领域的两大主流技术：NeRF 和 3DGS。
NeRF (神经辐射场) ：你可以把它想象成用一个神经网络来“记住”一个三维场景的所有光线信息。它的优点是模型尺寸小，生成的图像质量高，细节还原得很好。但缺点也同样明显：训练和渲染都非常慢，很难做到实时交互。 3DGS (3D高斯溅射) ：这个技术就奔放多了，它不用复杂的神经网络，而是用成千上万个微小的3D“高斯球”来堆建整个场景。这样做的好处是渲染速度极快，能达到实时。但代价就是模型文件变得巨大无比，因为要存储每一个高斯球的详细参数（位置、形状、颜色、不透明度等），而且在处理背景和精细细节时容易出现模糊。
所以你看，一个慢但精致小巧，一个快但庞大粗糙。大家就想，能不能把这两者结合一下，取长补短呢？
正如上图所示，Mip-NeRF360在细节上会出错且渲染慢，3DGS模型大且背景模糊，而简单粗暴地把两者结合又会丢失高频信息。HyRF 就是来解决这个“鱼与熊掌不可兼得”的难题的。
HyRF 的核心思路：一种创新的混合架构
HyRF 的核心思想非常直接：前景用显式高斯，背景用神经场，高斯球的属性也用神经场来预测。这样一来，就把两家的优点都利用起来了。
具体来说，HyRF 主要由三个部分组成：
解耦的神经场 (Decoupled Neural Fields)
这是 HyRF 实现模型压缩的关键。传统的3DGS需要存储海量高斯球的全部属性，而 HyRF 不这么干。它只保留一小部分“显式”的高斯球作为场景的骨架，然后用几个非常迷你的神经网络（MLPs）来动态地“解码”出这些高斯球的完整属性，比如不透明度（opacity）、缩放（scale）和旋转（rotation）。输入的仅仅是高斯球的位置编码，输出的就是它该有的样子。这样一来，需要存储的数据量就大大减少了。
上图的消融实验也证明了这种解耦设计的有效性。如果用一个单一的神经场来预测所有属性，会导致场景出现空洞和裂缝，而解耦的设计则能生成更完整、更精确的几何结构。
神经背景图 (Neural Background Map)
对于像天空这种无限远的背景，用高斯球来表示既不高效也不准确。HyRF 聪明地为背景单独训练了一个小型的神经辐射场。在渲染时，光线如果没有碰到前景的高斯球，就会射向背景，然后由这个神经背景图来计算颜色。
管线 (Hybrid Rendering Pipeline)
渲染的时候，HyRF 会先做一个“视锥体裁剪”，把当前视角完全看不到的高斯球提前剔除掉，节省计算资源。然后，对于每一条摄像机光线，它会先计算与背景球体的交点，并采样背景颜色。接着，再将前景的高斯球颜色与背景颜色通过alpha blending混合起来，最终得到像素的颜色。
效果怎么样？数据说话
是骡子是马，拉出来遛遛。HyRF在多个标准数据集上和现有顶尖方法进行了PK。
兼顾质量与速度
在Mip-NeRF360、Tanks & Temples等真实世界数据集上，HyRF的渲染质量（PSNR, SSIM, LPIPS指标）全面领先或持平于当前最优方法。同时，它的模型大小与基于NeRF的方法相当，远小于3DGS；而渲染速度则与3DGS相当，做到了实时。
下面的定性对比图也展示了HyRF在细节还原上的优势，无论是自行车轮的辐条还是坦克的纹理，都处理得非常清晰。
城市级大场景的威力
HyRF的优势在大场景下更加突出。在Mill19和Urbanscene3D这两个城市规模的数据集上，HyRF的模型大小比基于3DGS的方法 小4到7倍 ，而渲染速度比基于NeRF的方法 快7000倍以上 ，同时渲染质量还是最好的！
这简直是数字城市、自动驾驶等需要大规模场景重建应用领域的福音。
与压缩算法的对比
更有意思的是，HyRF作为一个原生紧凑的模型，其效果甚至优于那些专门为3DGS设计的压缩算法。这说明HyRF的混合表示范式在信息密度上具有天然的优越性。
在经典的 NeRF 合成数据集上，HyRF 也取得了非常有竞争力的结果。
下图展示了训练过程中PSNR和模型大小的变化，可以直观地看到HyRF在保持高质量的同时，模型大小控制得非常好。
CV君的思考
总的来说，HyRF通过一种创新的混合架构，成功地在渲染质量、渲染速度和模型大小这三个关键指标之间找到了一个绝佳的平衡点。它不是简单地把NeRF和3DGS粘合在一起，而是深度融合了隐式表达和显式表达的优势。
CV君觉得，这种“用神经网络生成显式基元参数”的思路，为未来的三维表示学习和高效渲染开辟了一个新的方向。它证明了不一定非要在“完全隐式”和“完全显式”之间做单选题。
3D视觉硬件，官网：www.3dcver.com
3D视觉学习圈子
星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
3D视觉全栈学习课程：www.3dcver.com
3D视觉交流群成立啦，微信：cv3d001
