点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！
立体匹配和表面法线估计是三维视觉中的基础任务。然而，现有的前馈立体方法在挑战性区域仍难以产生可靠的预测，主要原因在于缺乏强几何先验。本文提出GeoStereo，一个统一的立体几何估计框架，利用强大的扩散先验联合预测视差和表面法线。具体而言，GeoStereo 将前馈立体匹配流水线与基于扩散的法线估计分支耦合。为了实现两个任务之间的有效交互，我们引入了视差到法线初始化策略，并为扩散过程构建了扭曲到左视图的条件。这种耦合设计使得扩散分支能够提供强结构先验，增强病态区域的视差估计，同时前馈分支为精确的法线预测提供可靠的几何引导。大量实验表明，GeoStereo 在挑战性场景中表现可靠，包括低光环境、高反射表面和透明物体。在零样本设置下，它在多个基准（包括 KITTI 和 NYUv2）上取得了视差估计排名第一的成绩，并在许多真实室内基准（如iBims-1和ScanNet）上取得了最佳的法线估计精度。项目页面：https://qz-wei.github.io/GeoStereo.github.io/
图1：在多样化室内场景上的零样本预测结果——包括机器人场景、办公室、反射表面和大型开放室内空间。给定立体图像对，本方法预测视差、表面法线和度量点云重建
1 引言
立体匹配是三维视觉中的一项基础任务，旨在从立体图像中估计度量视差。作为一种核心几何表示，视差描述跨视图对应关系和场景深度变化，并支持许多下游应用，包括机器人和自动驾驶。表面法线表征局部表面方向，也为光照理解提供有用线索，惠及重光照和几何重建等应用。二者共同提供场景几何的互补描述，对于稳健的三维理解都至关重要。
得益于大规模数据集和基础立体模型(如FoundationStereo)的近期进展，立体匹配在精度和泛化性方面均取得了令人瞩目的进步。然而，现有方法在挑战性场景下仍难以产生可靠的预测，例如极低光环境、高反射表面和透明物体，如图5所示。这些情况对于下游机器人应用常见且重要，但对当前的前馈立体流水线仍然困难。我们将此现象归因于训练数据的长尾分布以及前馈范式对数据的渴求性。为处理这些挑战性场景，本文借助强大的扩散先验，提出GeoStereo，如图2所示，一种面向视差和表面法线估计的新型多任务架构。
图2：GeoStereo 从立体图像对中联合预测视差和表面法线，估计的几何可进一步用于度量点云和图像重光照
关键思想是在联合建模范式中探索扩散模型的先验，该范式结合了前馈立体匹配网络和基于扩散的法线估计网络。具体而言，扩散模型已被证明包含用于密集预测任务的强大先验，包括单目深度估计、法线估计、材质估计和图像复原。其中，法线图捕获局部表面方向，用于对图像进行重光照。这一性质使其成为在低光和弱纹理场景中激活扩散先验的自然代理任务。
为实现联合优化，GeoStereo 包含两项关键设计。首先，初始视差被转换为粗略的表面法线估计，并作为几何感知先验注入扩散分支。此外，从预测视差构建右视图扭曲RGB条件，提供空间对齐的跨视图引导。由于两条路径相对于初始视差都是可微的，来自法线目标的梯度可以反向传播到立体分支。因此，扩散分支为挑战性区域引入强结构先验，而立体几何为法线预测提供可靠引导。
我们在多个零样本基准上展示了 GeoStereo 在视差和法线估计上的有效性。GeoStereo 在两个任务上都达到了最先进或极具竞争力的性能，无论是定量还是定性方面。
总结而言，我们的主要贡献如下：
我们提出GeoStereo，一个统一框架，结合前馈立体匹配与基于扩散的法线估计，用于视差和表面法线预测。 我们设计了两个分支之间的有效耦合机制，使扩散先验能够增强视差估计，同时允许视差为法线预测提供可靠的几何引导。 大量实验证明了我们方法的有效性，以及在两个任务上强零样本泛化能力和在挑战性场景中的稳健性能。
2 相关工作
2.1 基于学习的立体匹配
深度立体匹配通过用可学习表示替代手工特征，显著推动了该领域的发展。自从端到端立体网络出现以来，基于聚合的方法已成为立体匹配的主导范式。这些方法通常遵循特征提取、代价体构建、代价聚合和视差回归的四步流程，并逐步提高了匹配精度和计算效率。此后，基于迭代的方法成为主要研究方向。这些方法不依赖繁重的代价聚合，而是利用局部代价查找和迭代精修逐步更新视差，实现了更精确高效的高分辨率推理。最近，许多方法开始利用视觉基础模型，尤其是单目深度基础模型，来增强立体匹配。这些方法不仅改进局部匹配模块，还通过稳健的特征提取器、单目引导或可迁移的预训练表示引入更强的先验，从而获得更好的跨域泛化能力。
2.2 表面法线估计
表面法线估计是三维场景理解中的一项基础任务。早期的基于学习方法主要将其表述为回归问题，其中卷积或基于Transformer的网络直接从输入图像预测法线图。代表性工作涵盖从早期多任务CNN架构到学习局部规范框架的方法、估计偶然不确定性以更好地建模边界的方法，以及利用大规模预训练和更强几何监督的方法。凭借更强的架构和更大规模的训练，这些基于回归的方法取得了有前景的性能，但它们在保持精细几何细节和泛化到挑战性真实世界场景方面仍然困难。最近，扩散模型为法线估计开辟了新方向，通过将大规模预训练图像生成器重新用作几何预测器。一种常见范式是将法线估计表述为图像到图像的翻译任务，并使用额外的图像条件分支对潜在扩散主干进行微调。代表性工作如 GeoWizard、StableNormal 和 Marigold 表明，扩散先验可以产生视觉上锐利且细节丰富的法线图。
2.3 视差/深度与表面法线的联合学习
视差/深度与表面法线的联合学习近年来受到越来越多的关注，因为两个任务描述场景几何的互补方面。先前工作表明，表面法线为深度恢复提供信息丰富的局部先验，而深度为法线估计提供有用的结构线索。然而，大多数现有方法是在单目设置下开发的，其中深度估计常受尺度模糊影响，通常以相对深度的方式表述。相比之下，立体视差直接基于双目几何，可在已知相机参数下转换为度量深度和点云，使得视差-法线联合建模对于精确三维重建具有吸引力。然而，这种联合学习在立体或多视图设置中仍鲜有探索。这一局限在挑战性区域尤为明显，如弱纹理区域、反射表面和物体边界，其中立体对应关系常常模糊，而法线线索可提供补充引导。早期尝试通常仅在后期处理或优化中引入法线相关约束，而非在端到端统一框架内，使得视差与表面法线之间的互补关系未被充分探索。
3 方法
在本节中，我们介绍问题表述和方法的整体设计。如图3所示，我们的框架在统一立体框架内联合建模视差估计和表面法线估计。
图3：GeoStereo框架概述——立体图像对首先经过权重共享的立体编码器，随后进行代价聚合和基于ConvGRU的精修以预测初始和最终视差。初始视差被转换为几何感知的法线先验，并用于将右视图图像扭曲到左视图。视差到法线初始化和对齐的跨视图条件引导基于扩散的U-Net，其精修的隐变量被解码以产生最终法线图
3.1 概述与问题表述
我们框架的关键思想是构建一个统一的立体几何估计模型，通过互补建模范式联合预测视差和表面法线。在挑战性立体场景中，如弱纹理、反射或透明区域，视差估计常常不可靠，因为对应关系模糊且这些情况在标注立体数据集中代表性不足。相比之下，基于扩散的法线估计受益于从大规模图像数据中学习的强扩散先验，为几何推理提供更丰富的结构线索。受此观察启发，我们使用扩散分支引入强扩散先验来补充视差估计，同时预测的视差为法线生成提供结构化的几何引导。通过这种方式，GeoStereo 显式耦合两个任务，促进其互补先验的融合，实现更稳健的几何估计。
如图3所示，我们的框架包含两个主要组件。首先，立体匹配分支从校正后的立体图像对中提取对应感知特征，构建代价体，并预测初始视差和精修后的最终视差。其次，初始视差被转换为粗略的表面法线估计，并用于将右视图图像可微地扭曲到左视图。这两种表示为法线估计提供互补的几何和跨视图引导。
3.2 扩散模型预备知识
扩散概率模型旨在通过对高斯分布顺序应用所谓的逆向扩散过程来建模数据分布。该逆向过程由预定义的正向扩散过程唯一确定。
以 DDPM 为经典示例，正向扩散过程逐步向初始数据 添加噪声。时间步 的带噪数据可直接采样：
其中 表示总时间步数， 是控制数据分布变换为标准高斯分布速度的累积噪声调度。因此，DDPM 中的逆向扩散过程被公式化为逆转这一破坏过程：
其中 是训练用于预测注入噪声的神经网络， 控制逆向步骤的方差。
重参数化 通常基于预测目标对扩散模型进行重参数化是方便的。默认情况下，网络被训练来预测注入噪声（称为 -重参数化），通过以下损失函数优化：
然而，对于某些图像到图像的翻译任务，更直接的做法是将模型重参数化为直接预测一步去噪输出（称为 -重参数化）。
在此设置下，损失函数等价地表述为去噪自编码器损失：
其中 表示任务特定的条件输入。
扩散采样器 当时间步数 足够大时，正向和逆向扩散过程都可被视为连续随机微分方程的近似。因此，可以使用替代的 SDE 求解器或采样器从训练好的 DDPM 模型中采样以提高效率，但会略微牺牲精度。例如，DDIM 利用非马尔可夫过程生成样本：
其中 是控制生成过程中注入随机噪声量的标量。值得注意的是，如果 设为0，DDIM 变为完全确定性采样器，使采样轨迹独立于任何随机噪声。
3.3 立体匹配与视差到法线初始化
立体匹配 给定校正后的立体图像对 ，我们首先使用从强单目先验初始化的特征提取器（如 DepthAnythingV2）提取左右特征，并遵循 FoundationStereo 构建混合代价体：
这里 表示特征提取器， 表示混合代价体构建和聚合算子， 表示生成的代价体。基于代价体 ，我们首先通过 soft argmin 估计初始视差，然后使用基于 ConvGRU 的更新模块进行精修以获得最终视差：
这里 表示从代价体匹配获得的初始视差预测， 是由 ConvGRU 更新模块 产生的精修视差。
视差损失 对于视差估计，我们使用 损失同时监督初始视差和最终视差：
这里 表示真值视差， 平衡初始视差预测上的监督。
视差到法线初始化 为显式耦合视差和表面法线估计并减少基于扩散的法线预测的模糊性，我们以几何驱动的方式将 转换为粗略的法线先验。关键观察是视差和表面法线通过局部表面变化内在相关：视差场诱导一个三维表面，其法线可从局部切向方向估计。具体而言，我们首先将视差转换为类似相对深度的表示：
其中 表示最大视差， 是为数值稳定性设置的小常数。在实践中，我们在法线计算之前进一步用局部平均滤波器平滑 以抑制高频噪声。使用归一化图像坐标 ，我们定义伪三维点云为：
然后我们通过水平和垂直方向的中心差分估计局部切向方向，并计算初始法线为：
最后，我们将法线方向对齐到一致的半球和轴约定。通过这种方式， 为后续基于扩散的法线估计提供结构化的几何感知先验，同时自然地保持几何一致性。
3.4 基于扩散的法线估计器
扭曲到左视图 为进一步利用双目信息，我们为基于扩散的法线精修引入对齐的右视图条件。仅使用左视图图像在挑战性区域可能不足，其中局部纹理弱、反射、透明或部分遮挡。右视图图像提供互补观测，但直接将其输入法线估计器会引入额外困难，因为其内容与左视图参考视角在空间上不对齐。
因此，我们使用初始视差将右视图图像扭曲到左视图坐标系：
其中 表示通过双线性采样实现的可微后向扭曲。对齐后的图像 保留互补的跨视图外观信息，同时与左视图法线预测保持空间一致。
基于扩散的法线精修 视差到法线初始化 为基于扩散的法线估计器提供结构化的几何感知先验。它作为几何引导注入去噪 U-Net，使扩散模型能够逐步校正局部伪影并恢复细粒度表面结构。与仅依赖带噪隐变量相比，该先验减少了法线估计的模糊性。
同时，扭曲后的右视图图像 由条件分支 处理，提供空间对齐的跨视图外观引导。视差到法线初始化和扭曲到左视图操作都相对于 可微。因此，来自法线目标的梯度可以通过这两条路径反向传播到立体分支。这使得扩散先验能够正则化视差估计，同时立体几何为法线精修提供可靠引导。
表面法线损失 遵循 I2VGen-XL，我们采用 -重参数化用于去噪 U-Net。训练期间，真值法线图 被编码为干净隐变量 ，根据预定义的扩散噪声调度添加扰动以获得 。法线估计目标定义为：
经过迭代去噪后，精修的隐变量由 VAE 解码器解码以获得最终法线预测。
一致性训练策略 我们的框架在优化层面通过一致性训练策略进一步统一。在实践中，我们采用两阶段训练方案。在第一阶段，视差分支和法线分支分开优化以提高效率和降低内存消耗，以便为每个任务获得稳定的初始预测。在第二阶段，整个框架进行联合优化以强制视差和法线估计之间的一致性。基于第3.3节定义的视差损失和第3.4节定义的法线估计目标，总体训练目标写为：
其中 平衡法线估计目标的贡献。这种一致性训练使得两个分支在联合优化过程中逐步对齐，为两个任务带来更稳定的学习和更一致的预测。
4 实验
在本节中，我们将我们的模型与其他最先进方法在各种真实和合成数据集上进行对比。此外，进行消融实验以证明不同组件的有效性。
4.1 实现细节
我们的框架在PyTorch中实现。我们使用预训练的FoundationStereo 权重初始化立体模块，并使用AdamW进行微调，初始学习率为 ，在总训练进度的 后衰减 0.1 倍。训练在 4 块 NVIDIA H20 GPU 上进行，总批大小为 16。法线精修模块基于 Stable Diffusion v2.1 构建，使用 AdamW 优化，固定学习率为 ，在 4 块 NVIDIA H20 GPU 上以总批大小 32 进行训练。
4.2 数据集与指标
数据集 遵循FoundationStereo，我们在一个大型混合数据集上训练视差组件，包括FSD、SceneFlow、Sintel、CRESTer0e、FallingThings、StereoCarlaV2、IRS、3D Ken Burns、Structured3D、InteriorVerse、DIODE、Virtual KITTI 2，以及我们自收集的数据集，总计约 150 万图像-视差对。
遵循 Marigold，法线组件在包含从合成场景渲染的表面法线真值的大规模高分辨率图像数据集上训练。训练数据包括HyperSim、3D Ken Burns、Structured3D、IRS、InteriorVerse、MatrixCity（小型），以及我们新渲染的包含 200 个场景 60,000 张图像的数据集。大多数样本使用 Blender 进行照片级真实感渲染，总计超过 60 万图像-法线对。
指标 我们使用端点误差和 D1 离群率评估视差预测。EPE 测量所有有效像素上的平均绝对视差误差，D1 表示视差误差超过 的像素百分比。对于表面法线估计，我们计算预测与真值法线图之间的角度误差。我们报告平均和中值角度误差，以及角度误差低于 、 和 的像素百分比。
4.3 与最先进方法的比较
零样本泛化比较表1 和 表2 总结了在视差和表面法线估计上的零样本对比。无需任何目标域微调，我们的统一框架在大多数基准上达到了最先进或极具竞争力的性能。由于这些数据集涵盖多样化的合成和真实场景，在场景布局、外观、材质和成像条件上具有较大变化，结果证明了我们的方法跨域的强泛化能力。更重要的是，如图5所示，增益在挑战性案例中尤为明显，表明所提出的统一设计不仅在标准基准上有效，在需要稳健几何估计的病态区域也同样有效。
视差估计 在视差估计上，我们将我们的方法与代表性立体匹配基线进行对比，包括 LightStereo、Monster、S2M2 和 FoundationStereo。这些方法涵盖高效前馈架构和近期基础立体模型，为评估我们统一框架的泛化能力提供了强基准。我们在多样化数据集上进行零样本评估，包括 HyperSim 和 DREDS（具有复杂光照和材质的合成基准）、KITTI（聚焦真实室外驾驶场景）、以及 ScanNet 和 NYUv2（包含布局杂乱和挑战性深度不连续的真实室内环境）。如表1所示，我们的方法在大多数基准上达到最先进或极具竞争力的零样本性能。这些结果表明，所提出的统一框架保留了基础立体模型的强泛化能力，同时进一步受益于扩散分支引入的结构先验。这一优势在病态区域尤为重要，传统前馈立体匹配在这些区域常常不可靠。如图5所示，我们的方法在挑战性区域（如弱纹理区域、反射表面、透明物体和物体边界）产生更可靠的视差预测。
表面法线估计 表面法线估计上的零样本结果也显示出相对于先前最先进方法的明显优势。我们将我们的方法与代表性法线估计方法进行对比，包括 DSINE（强前馈回归模型），以及近期基于扩散的方法如 GeoWizard、StableNormal 和 Marigold。这些方法代表法线预测的两种主导范式，即确定性回归和生成式扩散。我们在挑战性室内基准上以零样本设置评估所有方法，包括 iBims-1、NYUv2、DIODE 和 ScanNet。如表2所示，我们的方法在这些基准上取得了一致的强性能。与纯单目法线估计器相比，我们的方法受益于显式立体几何，为精修提供更可靠的起点。特别是，视差导出的法线初始化在扩散精修之前提供结构化引导，而对齐的右视图条件提供额外的跨视图证据。这些线索共同使模型能够在未见域中恢复更锐利的边界、更忠实的局部结构和更完整的表面几何。此外，如图5所示，我们的方法在多样化真实室内场景中持续改善法线估计，包括布局杂乱和反射材质的挑战性案例。
图4：左侧为集成视差和法线估计的不同架构对比；右侧为右视图引导和视差到法线初始化的效果——"W/o Right View"仅使用左视图观测，"W/o D2N"移除视差到法线初始化，结果表明对齐的跨视图线索改善结构边界，D2N 为基于扩散的法线精修提供可靠的几何起点
图5：在多样化场景上的零样本推理定性对比——所有方法在公共数据集混合上训练，示例包括低光条件、反射和透明物体等挑战性案例，上三行显示视差结果，下行显示表面法线预测
4.4 消融实验
除非另有说明，所有消融变体均使用相同的训练集和相同的训练迭代次数进行训练，并在零样本设置下评估，仅更改目标组件以进行公平比较。
前馈和基于扩散分支的消融。 我们进一步研究不同法线估计设计如何影响统一框架，如图4所示。我们比较三种代表性策略：(a) 带前馈网络的序列设计；(b) 带前馈网络的并行设计；(c) 结合基于扩散网络和前馈网络的并行设计。所有变体共享相同的立体主干以进行公平比较。如表3所示，所有三种设计均相对于基线改善了视差和法线估计，确认了统一框架中法线感知建模的益处。其中，基于扩散网络的设计取得了最佳整体性能，表明其更强的先验对视差和法线估计均有益。
扭曲到左视图条件的消融。 我们分析不同右视图条件对法线估计的影响，在 3D Ken Burns 和 IRS 上。如表4所示，直接使用原始右视图并不优于左视图条件，主要因为两个视图在空间上未对齐。相比之下，将右视图图像扭曲到左视图坐标系在两个基准上均取得最佳整体性能。对齐的条件保留互补的跨视图信息，同时使去噪 U-Net 更容易利用，从而产生更锐利的边界和更完整的法线预测。
视差到法线初始化的消融。 我们在 IRS 数据集上评估视差到法线先验，记为 D2N。如表5所示，移除 D2N 会降低视差和表面法线估计的性能。视差导出的法线为基于扩散的法线估计器提供几何感知引导。由于它捕获场景布局、局部表面方向和粗略几何不连续性，扩散模型可以专注于校正局部伪影和恢复细粒度几何结构，而不是仅从带噪隐变量推断表面几何。因为 D2N 路径是可微的，法线监督可在优化期间反向传播到立体分支。这将扩散模型学习的结构先验传递到视差估计，并鼓励预测视差与精修后的表面法线保持几何一致，从而改善视差估计。
5 结论
本文提出了GeoStereo，一个用于视差和表面法线预测的统一立体几何估计框架。我们的方法通过特征表示、视差到法线初始化和对齐的跨视图条件，将前馈立体匹配流水线与基于扩散的法线估计分支相结合。这一设计为两个任务保留了适合任务的建模范式，同时实现了它们之间的有效交互。特别是，扩散分支引入强扩散先验增强挑战性区域的视差估计，而视差导出的初始化为法线预测提供可靠的几何引导，为两个任务带来更稳定一致的结果。大量实验表明，GeoStereo在多样化的合成和真实世界基准上实现强零样本泛化，并在广泛的挑战性场景中表现可靠。特别是在室内场景中，我们的方法产生更精确的几何估计和更完整的重建，具有更清晰的结构和边界。尽管取得了这些有前景的结果，框架在效率上仍有改进空间，特别是由于基于扩散的法线精修分支引入的额外开销。在未来工作中，我们计划进一步提高统一模型的效率，并将其扩展到内在几何任务，如深度、反照率和材质相关场景属性。
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
