清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!

3D视觉工坊 2026-08-30 00:00

点击下方卡片,关注「3D视觉工坊」公众号
选择星标,干货第一时间送达

来源:3D视觉工坊

3D视觉硬件汇总,包括结构光3D相机(支持室内外,焊接,机械臂抓取等场景),相位偏折术、散斑、机械臂抓取和焊接软件手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航,底盘。点击->查看详情:清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图1

稀疏体素重建(Sparse Voxel Reconstruction)因其高效的3D表示能力,近年来成为高保真3D建模的重要方向。无论是在自动驾驶场景重建、室内场景数字化,还是文物保护与AR/VR内容制作中,稀疏体素都能以紧凑的数据结构表达复杂的三维空间。然而,让这些体素真正拼接出干净、连续、无伪影的表面,却远比想象中困难。

当前稀疏体素重建的几何通常从局部光度证据和离散可见性统计中优化,这种"只见树木不见森林"的方式往往导致碎片化表面、过度细分和漂浮伪影,尤其在弱纹理或稀疏观测区域问题更为突出。 表面断裂、体素冗余、噪声残留,使得重建结果难以直接用于下游渲染和测量任务,严重制约了稀疏体素表示的实际价值。

SurfSVR提出了一种全新范式:将2D表面先验作为显式3D几何正则化器,贯穿整个重建流程。通过先将每张图像组织为连贯的表面区域,再将这些结构化2D先验提升到3D,方法从根本上改善了表面连续性和几何质量。

清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图2

导读

稀疏体素重建为高保真3D建模提供了高效表示,但其几何通常从局部光度证据和离散可见性统计中优化。这往往导致碎片化表面、过度细分和浮动伪影,特别是在弱纹理或稀疏观测区域。本文提出SurfSVR,一种将2D表面先验作为显式3D几何正则化器的新稀疏体素重建范式。SurfSVR不直接提升有噪声的逐像素深度预测,而是首先通过联合推理外观、单目深度、法线和跨视角几何,将每张图像组织为连贯的表面区域。然后基于拟合可靠性和几何复杂度,通过自适应选择的平面或二次曲面模型表示每个区域,同时跨模型一致性区分可靠几何与歧义预测。这些结构化2D先验被提升到3D并贯穿整个重建流程。在3个公开基准上达到SOTA重建质量。

效果展示

图 1:SurfSVR 将二维表面先验作为显式三维正则项,以此重建出更完整、精度更高的几何结构。相较于前沿方法 Li 等人(2025),本文方法能够更好重建弱纹理表面、保留纤细结构并抑制漂浮伪影。清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图3

图 3:DTU 数据集上的可视化结果

清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图4

引言

稀疏体素重建通过在三维空间中仅分配非空区域的体素,实现了对3D场景的高效表示。相比密集网格或点云,稀疏体素在内存占用和计算效率上具有天然优势,因此被广泛应用于神经辐射场的加速渲染和大规模场景重建。

然而,稀疏体素的几何优化通常依赖局部光度证据和离散可见性统计。这种局部驱动的优化方式缺乏对表面整体结构的感知,容易在弱纹理、重复纹理或观测稀疏的区域产生退化:表面断裂成碎片、体素在边缘处过度细分、空气中残留漂浮伪影。这些问题使得重建几何难以满足高质量渲染和精确测量的需求。

一些工作尝试引入单目深度或法线先验来辅助重建,但往往直接将有噪声的逐像素预测提升到3D,噪声和歧义随之传播,反而引入新的伪影。如何将2D先验以结构化、可靠的方式融入3D重建流程,是SurfSVR着力解决的核心问题。

主要贡献

本文的主要贡献如下:

  • 提出将2D表面先验作为显式3D几何正则化器的稀疏体素重建新范式SurfSVR,从根本上改善表面连续性和几何质量。
  • 通过联合推理外观、单目深度、法线和跨视角几何,将每张图像组织为连贯的表面区域,而非直接提升噪声逐像素深度。
  • 基于拟合可靠性和几何复杂度自适应选择平面或二次曲面模型表示每个区域,并利用跨模型一致性区分可靠几何与歧义预测。
  • 将结构化2D先验提升到3D并贯穿整个重建流程,在3个公开基准上达到SOTA重建质量。

方法

SurfSVR的方法核心在于将2D表面先验结构化后再融入3D重建。首先,方法对每张输入图像进行联合推理,同时预测外观、单目深度、法线以及跨视角几何一致性。这种联合推理使得各模态信息相互补充,从而将图像划分为连贯的表面区域,而非散乱的逐像素深度。

随后,针对每个表面区域,方法基于拟合可靠性和几何复杂度自适应选择表示模型:简单平坦区域用平面模型拟合,曲率较大的区域用二次曲面模型拟合。同时,跨模型一致性机制用于区分可靠几何与歧义预测,避免将噪声区域错误地提升到3D。

这些结构化的2D表面先验随后被提升到3D空间,并作为显式几何正则化器贯穿整个稀疏体素重建流程。它们在体素优化过程中约束表面连续性、抑制过度细分,并引导体素在弱纹理和稀疏观测区域形成合理的几何补全。

清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图5
清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图6

实验结果

作者在3个公开基准上对SurfSVR进行了评估。实验结果表明,该方法在重建质量上达到SOTA水平,特别是在碎片化表面、过度细分和漂浮伪影这三个长期痛点上取得了显著改善。

在弱纹理和稀疏观测区域,SurfSVR借助2D表面先验的正则化作用,能够恢复出连续且完整的表面,而对比方法在这些区域常出现断裂和缺失。定量指标上,SurfSVR在多个几何精度指标上均优于现有方法。

消融实验进一步验证了各模块的贡献:联合推理和结构化表面区域划分显著提升了先验质量,自适应模型选择和跨模型一致性机制有效抑制了噪声传播,而将2D先验贯穿整个流程的设计则是表面连续性提升的关键。

清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图7
清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图8

总结 & 未来工作

本文提出的SurfSVR开创性地将2D表面先验作为显式3D几何正则化器融入稀疏体素重建,通过结构化的表面区域划分和自适应模型表示,有效解决了碎片化表面、过度细分和漂浮伪影等问题,在3个公开基准上达到SOTA重建质量。

未来,该方法有望进一步拓展到动态场景重建和大规模室外场景,并探索与神经渲染、物理仿真等下游任务的深度结合。论文说明代码即将发布,值得持续关注。

对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

本文仅做学术分享,如有侵权,请联系删文。

清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图9清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图10清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图11清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!图12

添加微信:cv3d001,备注:姓名+方向+单位,邀请入群。

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
RF VR 开源
more
VR翻车,苹果裁员;成都晶圆厂多枚公章被抢;三星晶圆代工涨价
工业质检神器!多视图重建框架MVR性能碾压SOTA,点级精度高达95.7%!
6大基准全面碾压!TW-GRPO刷新视频推理天花板,CLEVRER准确率突破50.4%!
RLHF与RLVR全都要,陈丹琦团队最新力作将推理能力拓展到通用智能
快讯|Evri 尝试将机器人狗用于送货;NVIDIA首款人形机器人将于11月亮相;哈佛大学团队发明柔软可穿戴外骨骼机器人
Meta千人大裁员!扎克伯格继续挥刀元宇宙,VR严冬已至?
【精选报告】2025全球AR&VR行业发展趋势报告(附PDF下载)
清华开源!SurfSVR:2D表面先验正则化,稀疏体素重建SOTA!
苹果VR团队再遭缩减,空间计算前路迷雾重重
趋近于零的低双折射 用于ARVR的创新光学材料解决方案
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号