点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
3D视觉工坊很荣幸再次邀请到老朋友上海交通大学在读博士何冰，为大家着重分享他们团队NeurlPS 2026的工作：CompactSplat。
0. 论文和嘉宾信息
会议：NeurIPS 2026（Poster）
论文题目：CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction
作者：Bing He、Jingnan Gao、Yunuo Chen、Zhengxue Cheng、Rong Xie、Li Song、Wenjun Zhang
机构：上海交通大学（Shanghai Jiao Tong University）
论文：https://arxiv.org/abs/2610.13177
项目主页：https://hebing-sjtu.github.io/CompactSplat-website/
代码：https://github.com/hebing-sjtu/CompactSplat
预训练权重：https://huggingface.co/binghe-sjtu/compactsplat
嘉宾： 何冰，现于上海交通大学读博，师从宋利教授。研究方向为 3D 重建，3D 生成，神经渲染，绑骨。在TIP，ICCV，NeurIPS，ICLR等期刊会议上发表多篇论文，并担任ICLR，CVPR，ECCV等学术会议审稿人。
摘要： 同一幅图像里，平整墙面与细密纹理对三维表示的需求并不相同。CompactSplat通过纹理感知分区器 TAP 和分层金字塔采样器 HPS，在平滑区域使用更少、更大的高斯，在复杂区域保留密集图元。两张带相机参数的输入图像即可前馈预测场景，同一套权重还能在推理时调节稀疏度。在RealEstate10K的论文实验中，模型使用约 7.26 万个高斯，较每像素一个高斯的参照减少约 44.6%，同时保持有竞争力的新视角合成质量。
1. 为什么一面白墙，也要分配成千上万个高斯？
3D Gaussian Splatting 用一组带有位置、尺度、方向、透明度与颜色的高斯图元表示场景。渲染时，把这些图元投影到相机平面并进行混合，就能从新的视角观察三维世界。
前馈重建进一步缩短了建模流程：网络从少量图像直接预测高斯，不必为每个新场景重新迭代优化。但许多方法沿用固定的逐像素分配规则，一个像素对应一个或多个高斯。它实现方便，却把不同区域当成了同一种任务：白墙、地板、床单、窗框，都获得近似相同的图元密度。
问题由此产生。大片平滑区域可能堆积了大量相似图元，细节和边缘却仍需要精心建模。三维表示的大小，应当能够随图像内容变化。 CompactSplat 围绕这个目标，把“在哪里分配多少高斯”和“这些高斯具有什么属性”联系起来，让图元数量逐渐脱离固定的像素网格。
图 1｜CompactSplat 总览。图中展示参考图像、重建场景、与其他方法的视觉比较，以及不同稀疏度下的高斯分布。复杂区域保留较细的分区，平滑区域采用较大的图元；底部展示同一模型调节图元密度后的表示变化。
2. 整体思路：先判断哪里需要细节，再生成相应尺度的图元
CompactSplat 的输入是两张图像及已知的相机内外参。网络结合多视图匹配与单目几何先验：前者利用不同视角之间的对应关系，后者补充结构信息。融合特征经过 U-Net 与预测头，得到深度和高斯属性场。
在此基础上，两个模块共同决定最终表示：
TAP（Texture-Aware Partitioner） 根据局部纹理变化划分图像，给出每个区域的位置、大小与层级。 HPS（Hierarchical Pyramid Sampler） 按分区尺度查询属性金字塔，并调节高斯尺度，把一个分区变成一个图元。
这里的重点是内容自适应分配。CompactSplat 沿用了 DepthSplat、SurfSplat 一系的特征提取设计，并保留 SurfSplat 的表面连续性先验和透明度处理。本文关注的是如何在这一基础上获得更紧凑、可调节的场景表示。
图 2｜整体流程。多视图和单目分支提取互补信息；TAP 从输入图像产生分层空间分区；HPS 根据分区选择相应尺度的属性，输出用于新视角渲染的高斯。图中的 L.R./H.R.、S.S./D.S. 分别表示低/高分辨率和稀疏/密集采样。
3. TAP：用四叉树，把图元预算放到需要的位置
TAP 从较大的方形图块开始，逐块检查内部颜色变化。对于图块 B，计算各颜色通道的最大值与最小值之差，再取其中最大的一项，得到复杂度 Δ(B)。
如果 Δ(B) 超过阈值 τ，而且图块仍大于一个像素，就把它一分为四，继续检查子块；否则停止细分。最终保留下来的叶节点构成一张自适应网格。论文设置最大初始块为 16×16 像素：颜色接近的区域可能较早停止，纹理密集或颜色突变的区域则继续细分。
这个过程可以理解为一套内容驱动的绘图网格。同样大小的一片区域，如果颜色变化简单，就允许用较大的单元表达；如果变化复杂，就提供更多小单元。TAP 输出的既有采样位置，也有每个单元应该覆盖的图像范围，后续 HPS 会使用这些信息。
纹理在这里是一种便于计算的分配线索。它通常能响应边缘和局部细节，但图像纹理与真实几何并非一一对应：带花纹的平面也会触发细分，低对比度的几何边界则可能较难识别。这个选择的价值，在于以简单的图像统计建立可控的空间层级。
4. HPS：减少采样，还要让每个高斯适应更大的区域
分区完成后，一个关键问题是：如果用更少的高斯表示墙面，每个高斯如何获得适合大区域的属性？
HPS 先从预测的全分辨率高斯属性场出发，通过逐层低通聚合构建属性金字塔。小分区在较细的层级查询，保留局部变化；大分区在较粗的层级查询，聚合更广范围内的信息。每个叶节点根据中心坐标和层级取得属性，再结合块的尺寸调节图元尺度。
这样，分区大小、采样范围与图元尺度能够相互配合。大分区对应更宽的图像覆盖范围，生成的高斯也可以扩展；细小分区则保留较密的局部表示。相比直接删掉一批逐像素图元，这种设计在生成阶段就考虑了剩余图元应该承担的空间范围。
图 3｜TAP 与 HPS 的协同。TAP 生成位置、块尺寸与层级，HPS 按层级从属性金字塔查询，并依据块尺寸调节高斯尺度。
5. 两阶段训练，让一套权重适应不同稀疏度
模型既要学会场景几何，也要适应不同大小的分区。CompactSplat 为此采用两阶段训练。
第一阶段将分区阈值设为 0，倾向于产生较细的划分，让网络先学习稳定的多视图对应关系和几何预测。第二阶段在每次训练迭代中随机采样阈值，论文使用 τ ∼ U(0, 0.02)。网络因此能够在不同分区密度下接受监督，学习较大图元所需的尺度和属性。训练采用像素重建损失与 LPIPS 感知损失，感知项权重为 0.05。
完成训练后，用户可以固定网络权重，只改变推理阈值。阈值较小，更多图块继续细分；阈值较大，更多图块提前停止。由此得到不同的图元数量和渲染质量组合，无需针对每一种稀疏度单独训练模型。
需要区分阈值与数量：τ 表示对局部颜色变化的容忍程度，同一个阈值在不同场景上会产生不同数量的高斯。它是调节表示紧凑度的旋钮，而不是精确指定图元数量的开关。
6. 主实验：约 44.6% 更少的高斯，质量表现如何？
以下数据来自论文报告的实验。RealEstate10K 使用两张 256×256 输入图像。PSNR、SSIM 越高越好，LPIPS 越低越好；GPP 表示高斯数量除以全部输入图像的像素数。两个输入视图共有 131,072 个像素，因此 GPP 为 1 时约对应 13.11 万个高斯。
表 1｜RealEstate10K 标准分辨率新视角合成结果，节选论文中的部分方法。S/B/L 对应不同容量的单目骨干网络。高斯数量为论文报告的平均值；三个变体采用相同的图像分区规则，因此报告的 GPP 相同。
CompactSplat-L 的 PSNR 为 27.567 dB，与 SurfSplat 的 27.537 dB 接近，SSIM 同为 0.892；LPIPS 为 0.117，略高于后者的 0.112。与此同时，高斯数量从约 13.11 万降至 7.26 万，减少约 44.6%。这些结果说明，表示规模可以明显缩小，同时保留有竞争力的重建质量，不同指标之间仍存在取舍。
论文还沿用 SurfSplat 的高分辨率渲染一致性（HRRC）评估：把同一组预测高斯分别渲染到 1×、2×、4×分辨率，观察放大后的图像表现。这个过程中不增加高斯。RE10K 的 4×渲染中，CompactSplat-L 的 PSNR 为 25.252 dB，SurfSplat 为 24.897 dB；可视化展示了模型在较少图元下保留表面覆盖与局部结构的能力。
图 4｜同一预测表示在 1×、2×、4×渲染分辨率下的 RGB 与深度比较。蓝、绿、红框分别标记三个尺度，深度图中黄色表示较近、蓝色表示较远。高分辨率渲染更容易显露间隙和边缘问题；该评估反映图像空间的渲染表现，不直接测量表面拓扑。
在户外航拍数据集 ACID 上，CompactSplat 的 GPP 为 0.625。标准分辨率 PSNR 为 27.992 dB，低于 SurfSplat 的 28.336 dB；4×渲染时分别为 24.063 dB 和 21.253 dB。因而，更合理的观察是不同场景和观察尺度下的质量—紧凑度关系。高斯数量描述的是输出表示规模，实际渲染速度和峰值显存还取决于网络、渲染器及运行设置。
7. 泛化与稀疏度分析：把模型的选择空间展开来看
跨数据集评估进一步覆盖 ScanNet、DL3DV 与 DTU。对应的 CompactSplat GPP 分别为 0.643、0.715 和 0.698，说明图像驱动的分区规则可以在新的数据分布上继续产生较紧凑的表示。
不过，紧凑度的收益伴随着质量代价。例如 ScanNet 上，CompactSplat 的 PSNR 为 19.905 dB，SurfSplat 为 20.305 dB；DL3DV 上分别为 25.573 dB 和 27.384 dB。实际应用中，应结合场景特征和质量需求选择阈值，而不能仅凭一个图元数量判断效果。
图 5｜不同模型容量下的质量—紧凑度曲线。改变推理分区阈值后，观察 GPP 与重建指标如何共同变化。曲线展示固定权重的多个工作点，为选择表示规模提供依据。
图 6｜稀疏度定性分析。较低 GPP 使用更少、更大的图元，较高 GPP 保留更密集的局部表示；RGB、深度和法线图帮助观察其对平滑区域和细节边界的影响。这些结果由同一套 CompactSplat 权重在不同稀疏度下生成。
上述实验分析的是完整系统随着阈值变化的行为。TAP 的叶节点和 HPS 的采样层级会一起改变，因此它们支持“模型可以调节稀疏度”这一结论；要精确判断 HPS 多尺度采样本身带来了多少增益，还需要保持分区和训练设置相同的独立对照。
未来还可以从两个方向继续压缩表示：其一，探索更贴合物体形状或语义的分区，以适应规则四叉树不够灵活的区域；其二，处理不同输入视角之间重复生成的图元。当前方法主要减少单视图内部的空间冗余，多视图重叠仍提供了进一步研究的空间。
图 7｜补充场景可视化，展示不同方法在更多场景中的重建表现。应结合主表、跨数据集指标和稀疏度曲线共同阅读，关注平滑表面覆盖、边缘细节及视角变化。
8. 结语：让表示复杂度跟着内容走
CompactSplat 为前馈高斯重建提供了一种可调节的分配方式：用 TAP 决定哪里需要更细的单元，用 HPS 让属性采样和图元尺度匹配这些单元，再通过多阈值训练，让一套权重适应多个紧凑度工作点。
它带来的启发是，图像有多少像素，不必直接决定场景拥有多少高斯。面向不同场景和应用需求，三维表示可以按内容分配，也可以在使用时继续调整。欢迎通过项目主页查看可视化，并结合公开代码和权重探索这一质量—紧凑度空间。
BibTeX
@misc{he2026compactsplat,
title={CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction},
author={Bing He and Jingnan Gao and Yunuo Chen and Zhengxue Cheng and Rong Xie and Li Song and Wenjun Zhang},
year={2026},
eprint={2610.13177},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2610.13177}
}
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
