点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
无监督光流方法通常缺乏可靠的不确定性估计，这限制了其稳健性与可解释性。我们提出了UFlow是首个能够同时估计光流与每像素不确定性的循环式无监督框架。其核心创新在于采用了一种解耦式学习策略：通过基于拉普拉斯的最大似然目标函数，从数据增强的一致性中获取不确定性约束，从而在无需真实值的情况下实现稳定训练。预测出的不确定性还会被整合到网络中，用于指导光流的优化处理，并动态调整区域平滑度损失。此外，我们还引入了一种基于不确定性的双向光流融合机制，以提高在复杂场景下的模型鲁棒性。在KITTI和Sintel数据集上的大量实验表明，U在无监督学习方法中，Flow的表现处于领先水平，同时能够生成极为可靠的不确定性地图，这充分证明了我们所采用的联合估计方法的有效性。
标题：U2Flow: Uncertainty-Aware Unsupervised Optical Flow Estimation
作者：Xunpei Sun, Wenwei Lin, Yi Chang, Gang Chen
机构：Sun Yat-sen University、Huazhong University of Science and Technology
原文链接：https://arxiv.org/abs/2604.10056
代码链接：https://github.com/sunzunyi/U2FLOW
效果展示
前述光学流估计算法与我方方法之间的对比。(左图)前述方法仅用于估算光学流。(右图)我方提出的U2Flow框架则同时估测光学流及其不确定性，并进一步利用预测的这种不确定性来优化流估计算法。
KITTI测试集以及Sintel测试集上的定性结果对比。
引言
光流估计是一项基础视觉任务，具有广泛的应用。最近，基于全对相关性的深度循环模型，如RAFT，在完全监督环境中取得了最先进的性能。
然而，获取大规模、像素级精确的真实光流成本高昂且往往不切实际，这推动了对无监督和自监督光流估计的研究。尽管如此，由于缺乏可靠的监督信号，自监督模型往往产生不准确的估计，尤其是在面对遮挡、无纹理区域和大运动位移等固有挑战时。这些估计误差对下游任务可能是有害的。在点跟踪和多视图重建中，即使是微小的局部光流误差也可能累积并导致失败。此外，错误的光流估计常常在深度恢复或基于运动的分割中造成伪影。因此，模型仅仅预测运动是什么是不够的，它还必须量化对该预测的置信度。
尽管不确定性估计很重要，但在自监督环境下，该领域仍远未得到充分探索，主要面临两个核心挑战：1）缺乏直接监督：与可以利用真实方差或似然信息进行训练的监督方法不同，自监督模型缺少任何明确的、针对不确定性的“正确答案”。一个根本难点在于，如何在没有真实标签的情况下教会模型评估自身的可靠性。2）不确定性的有效整合：即使能够估计不确定性，如何在训练中有效利用它来提高光流精度，而不是仅仅将其视为副产品，目前尚不明确。
为了解决这些挑战，我们提出了U2Flow，这是第一个用于自监督联合估计稠密光流及其逐像素不确定性的循环框架，如图1所示。首先，为了克服缺乏直接不确定性监督的问题，我们从模型在数据增强下的自身预测不一致性中导出监督信号。当模型在多样化的空间和外观扰动下产生不一致的预测时，它暴露了自己置信度低的区域，从而为不确定性学习提供了强大的自监督信号。通过强制在不同扰动下预测的光流之间保持一致性，我们推导出一个基于拉普拉斯分布的最大似然目标函数，该目标学习不确定性分布，并与主光流损失解耦。
其次，为了在训练中有效利用预测的不确定性，我们设计了一种不确定性感知的循环架构。预测的不确定性被反馈到循环更新模块中，以引导自适应细化。同时，不确定性被用来调节自监督目标函数，使模型能够智能地降低不可靠信号的权重。
实验表明，U2Flow在KITTI和Sintel基准上的无监督方法中达到了最先进的性能。至关重要的是，它还能生成高度可靠的不确定性图，证明了我们联合估计框架的有效性。
主要贡献
我们的主要贡献总结如下：
• 据我们所知，我们提出了首个用于联合估计光流和不确定性的无监督循环框架，该框架在循环更新模块中集成了不确定性预测头以及不确定性感知的细化机制。
• 我们设计了一种基于增强一致性的解耦不确定性学习策略，以实现稳定的估计。此外，我们还设计了一种不确定性引导的区域平滑机制，利用置信度来改善光流的一致性。
• 我们提出了一种不确定性引导的双向光流融合机制，利用前向和后向光流的不确定性来修正不可靠区域，其性能优于传统的基于遮挡的策略。
方法
U2Flow继承了RAFT的核心设计，如图2a所示。给定连续两帧I1, I2，我们首先提取深层特征表示f1, f2 ∈ R^{H'×W'×D}，并构建一个4D相关体C ∈ R^{H'×W'×H'×W'}，它编码了所有特征位置之间的成对相似性。该相关体由循环更新模块迭代查询，该模块通过多次迭代k = 1, 2, ..., K来细化光流估计F^{(k)}_ {1→2}。遵循SMURF的做法，我们将所有批归一化层替换为实例归一化，以增强在小批量、无监督设置下的训练稳定性和收敛性。此外，U2Flow引入了一个额外的不确定性头，用于在每次迭代中估计光流不确定性σ^{2(k)}_{1→2}。这自然引出一个重要问题：估计的不确定性是否可以在网络内部被利用，以进一步细化光流？
为了解决这个问题，我们将原始的光流头重构为一个不确定性感知的细化模块，利用预测的不确定性来引导迭代光流细化过程。同时，在训练过程中，细化后的光流会监督不确定性分支，逐步提高其估计精度。通过这种方式，U2Flow在统一的优化框架内共同学习光流和不确定性。
我们通过测量不确定性估计与真实光流误差（EPE）之间的相关性来评估其可靠性。高质量的不确定性预测应该与较大的估计误差有很强的对应关系。为此，我们采用两个标准定量指标：稀疏化误差曲线下面积（AUSE）和斯皮尔曼等级相关系数（CC）。
AUSE评估预测的不确定性在多大程度上可以作为真实误差的替代。它源自稀疏化过程，该过程比较了按预测不确定性移除像素与按真实误差移除像素时的误差曲线。因此，较低的AUSE表示更好的不确定性估计。斯皮尔曼等级相关系数直接衡量预测不确定性与真实误差之间的单调关系，值越高表示相关性越强。
用于指示流误差的不同掩码的比较。这些掩码被可视化为透明绿色覆盖层，覆盖在光学流误差图上，其中正确估算显示为蓝色，错误估算显示为红色，黑色像素表示无真实参考的区域。如图 (c)所示，一些高误差区域仍未被掩码覆盖，而某些低误差区域却被错误地掩码了。相比之下，我们的方法(图d)能够准确识别高误差区域，从而为后续的仿射变换平滑性分析提供更可靠的线索。
实验结果
表2报告了在Sintel和KITTI训练集上的不确定性估计结果。U2Flow始终比所有基线方法获得更低的AUSE和更高的CC，优于启发式方法以及基于模型的PDC-Net+，尽管后者是在密集合成真值数据上训练并在真实世界序列上微调的。
图4中的稀疏化曲线提供了进一步的洞察。它们表明，U2Flow在Sintel和KITTI上都产生了更稳健且全局一致的光流误差排序。虽然PDC-Net+由于在真实数据上微调，在KITTI的初始部分略优于我们，但U2Flow的曲线在更广泛的移除比例范围内更接近理想曲线，从而获得更低的最终误差，证实了我们预测的不确定性可靠地反映了整体光流质量。
这些结果表明，U2Flow在自监督训练中通过增强一致性引导，有效捕捉了由外观变化和几何模糊性引起的各种不确定性模式。
总结 & 限制性
我们提出了U2Flow，这是一个用于联合估计光流和逐像素不确定性的无监督循环框架。我们的方法利用增强一致性和解耦学习策略，在无监督环境下实现了光流和不确定性的稳定训练。我们证明，学习到的不确定性不仅仅是一个副产品，而是一种有价值的信号，能够有效引导自适应光流细化、调节平滑约束，并实现稳健的双向光流融合。U2Flow在无监督光流领域树立了新的标杆，同时产生高度可靠的不确定性估计。
我们的不确定性监督依赖于模型在预定义增强集下的预测方差，这可能无法完全捕捉所有现实世界中的误差来源，例如严重的非高斯运动模糊或大气畸变。在未来的工作中，我们计划利用生成模型来丰富增强空间，合成更真实、更多样的图像退化。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
3D视觉工坊中秋国庆双节专属课程福利重磅来袭！为回馈新老学员一路支持，本次活动特推出重磅折扣福利，所有课程统一享8折特惠，其中10余门课程加入知识星球可一次性全部购买学习(限时福利仅需279元)！
中秋国庆双节八折特惠
中秋国庆专属8折优惠
微信扫码领取，限时三天内使用
3D视觉工坊所涉及课程的包括但不限于：工业3D视觉、自动驾驶、SLAM、具身智能、扩散模型、无人机、大模型和3D视觉基础等。
专属打包福利
上图中的：ROS2、相机标定、线结构光、3D缺陷检测、激光-视觉-IMU-GPS融合SLAM、VINS-Fusion、模型部署、3D目标检测、深度估计、多传感器融合这10门课程，除各自单独购买享8折外，也支持一次性全部购买，限时福利仅需279元，扫描下方二维码加入一次性全部解锁！
活动咨询
