点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
摘要
快速、高精度的三维（3D）形状测量一直是条纹投影剖面测量术（Fringe Projection Profilometry, FPP）领域长期追求的目标。双频时间相位展开方法（Dual-Frequency Temporal Phase Unwrapping, DF-TPU）是实现这一目标的重要技术之一。然而，现有 DF-TPU 方法中高频图案的周期数通常受到不可避免的相位误差的限制，从而制约了测量精度。面向单相机 FPP 的基于深度学习的相位展开方法通常需要带标注的数据进行训练。本文提出了一种面向单相机 FPP 系统的新型自监督相位展开方法。训练后的网络能够从单一 64 周期相位图中恢复绝对条纹级数，并且在深度精度上超越 DF-TPU 方法。实验结果验证了所提方法在运动模糊、孤立物体、低反射率和相位不连续等真实场景下的有效性。
条纹投影剖面测量术（FPP）凭借非接触、点云稠密、测量精度高等优势，被广泛应用于科学、工业和医学三维（3D）测量中。随着三维形状测量需求的不断增长，在不牺牲测量精度的前提下提升测量效率，已成为 FPP 领域最为必要却也最具挑战性的需求之一。
利用 FPP 实现快速三维测量的典型方案是采用高速相机与数字光处理（DLP）技术。但高速相机和 DLP 的使用会增加系统成本。因此，减少每次三维重建所需的条纹图像数量，并从有限的图像中以算法方式恢复准确的相位信息，是 FPP 领域的关键课题。单帧（single-shot）FPP 是理想的解决方案。傅里叶变换剖面测量术（FTP）是代表性的单帧 FPP 方法之一。然而，受带通滤波的限制，FTP 在具有尖锐边缘、突变或表面反射率不均匀的物体场景中常常失效。为追求更高的测量精度，相移技术被引入 FPP。在相移技术中，一幅条纹图案以多个（至少三个）相移步进依次投影到被测物体表面。相移技术能够从变形条纹图像中恢复精确的逐像素相位信息。无论是 FTP 还是相移技术所获得的相位信息，都因反三角函数运算而被包裹在 区间内。在进行物体三维重建时，需要将该包裹相位还原为连续相位。这一还原过程被称为空间相位展开（SPU），当场景中存在陡峭物体或多个孤立物体时面临巨大挑战。因此，时间相位展开（TPU）算法被用于恢复逐像素的连续相位。FPP 系统中典型的 TPU 方法可分为多频相移方法和基于格雷码的方法两类。多频相移方法通过投射额外几组具有不同条纹周期的相移条纹来消除相位歧义；基于格雷码的方法则通过投射一系列编码的二进制格雷码图案来展开包裹相位。对于快速、高精度三维测量应用，采用双频相移的单相机 FPP 系统因测量效率和系统成本的优势而更受青睐。常见的双频相移方法采用两组相移条纹图案：高频图案用于三维测量，单位周期图案用于相位展开。在双频相移方法中，三维测量精度由高频图案的周期数决定。然而，更高的周期数会因相位误差被放大而导致相位展开时出现条纹级数错误。因此，对于采用双频相移方法的应用，高频图案的周期数通常被限制在 32 或更低，从而导致测量精度受限。
近年来，深度学习（DL）已被成功应用于 FPP。借助深度学习，可以从双频相位图中恢复绝对相位，也可以从带有首末条纹级数的单频相位图中恢复绝对相位。然而，先前报道的多数基于深度学习的 FPP 相位展开工作都需要获取大量带标注的数据来训练模型，即使能够获取，这一过程也十分费力且需要专业人员。因此，迫切需要利用无标注数据集来训练相位展开网络。最近，一种面向双相机 FPP 系统的无需预训练的深度学习相位恢复方法被提出。
受自监督单目深度估计工作的启发，本文提出了一种面向单相机 FPP 系统的新型自监督相位展开方法。该方法是一种物理模型与数据驱动相结合的混合方案。在训练阶段，需要一幅单位周期（one-period）相位图和一幅 64 周期相位图；训练完成后，模型仅需一幅 64 周期相位图即可恢复绝对条纹级数。
所提方法的流程如图 1 所示。带有上标 c 和 p 的包裹相位 分别表示相机和投影仪的相位。 和 分别表示由采集的条纹图像计算得到的单位周期包裹相位和 64 周期包裹相位。CNN 用于为 的每个点估计一个软条纹级数 。软条纹级数是指条纹级数为浮点数而非非负整数。将该软条纹级数乘以 并加到包裹相位上，即得到绝对相位 ，可表示为：
图 1. 所提出的自监督相位展开方法流程图。
借助极线上绝对相位取值的唯一性，可以在投影仪图案中确定相机图像中某一像素的对应点。在对应点处，可直接从投影仪条纹图案中读取单位周期包裹相位值 和 64 周期包裹相位值 。当对应点坐标为非整数时，采用双线性插值来提高所读取相位值的精度。由此生成两幅合成包裹相位图，即单位周期合成相位图 和 64 周期合成相位图 。这两幅合成包裹相位图与相机视角下的相位图尺寸相同。 与 之差构成第一个监督信号 ； 与 之差构成第二个监督信号 。由于这两个监督信号均由无标注数据产生，因此 CNN 的训练是自监督的。训练完成后，只需一幅 64 周期相位图 作为输入，训练好的 CNN 即可输出一幅软条纹级数图 。对 进行取整运算后得到绝对条纹级数 。随后获得绝对相位 ，并经相位-高度映射转换为深度图。
本文采用包裹相位图之差作为相位展开的自监督信号。要成功训练自监督相位展开 CNN，必须解决两个关键问题。
第一个问题是消除包裹相位图中的周期性歧义。在 FPP 中，包裹相位通过相移技术从采集的条纹图像中提取，可表示为：
其中 为相移步数， 为第 n 幅相移条纹图像，描述如下：
式中 A 为背景光强，B 为调制度。根据式 (2)，包裹相位呈周期性、不连续分布。当仅以两幅高频相位图之差作为监督信号来训练相位展开网络时，网络倾向于为所有像素估计一个恒定的条纹级数。因此，本文引入一个额外的监督信号，即两幅单位周期相位图之差。两幅单位周期相位图之差是非周期性的，能够为高频相位图的相位展开提供粗糙但绝对的相位。最终，本文 CNN 的损失函数为：
其中 和 为权重。本文根据经验取 、。
自监督相位展开需要解决的第二个问题是实现从损失函数到 CNN 第一层的误差反向传播，这要求所有运算均可微。如果期望 CNN 输出的图中每个像素的条纹级数为非负整数，通常需要使用 argmax 算子，而该算子会阻碍误差反向传播。为此，本文引入软条纹级数：
其中 为图 1 中 CNN 最后一层的输出，是一个单通道张量； 表示高频图案的周期数。
图 2. 1854 个测试样本上的深度 RMSE 分布：(a) 双频 TPU 结果，(b) 本文方法结果。
为验证所提方法的有效性，我们采用一套手持式 FPP 系统采集训练数据。该 FPP 系统包含一台 1024 × 1024 像素的 CMOS 相机和一台分辨率为 684 × 608 像素的 DLP 投影仪。投射四种频率（即周期数为 1、4、16、64）的四步相移图案用于采集数据。其中单位周期和 64 周期相位图用于训练网络，四种频率得到的 TPU 结果作为真值（ground truth）。训练集包含从 12 个牙模采集的 7,099 幅相位图；验证集包含来自 2 个牙模的 1,385 幅相位图；测试集包含 1,854 幅相位图。在测试集中，来自 2 个牙模的相位图占 76%，其余 24% 的相位图来自 3 个石膏雕像模型和 1 个塑料玩具模型。数据预处理包括：以调制度阈值 4 去除背景和无效点；执行形态学运算（先腐蚀后膨胀）以消除物体边缘附近的噪声数据点；去除面积小于总像素数 1% 的小区域。值得注意的是，手持式 FPP 系统采集的数据中有超过 80% 是在图像散焦、运动模糊等非理想条件下获取的。对这些相位图进行展开，无论对非深度学习方法还是深度学习方法都具有挑战性。
基于实验对比，本文选择 UNet 作为骨干 CNN。CNN 在 NVIDIA Titan RTX 上使用 PyTorch 1.8.0 进行训练。采用 Adam 优化器，动量为 0.9，权重衰减为 0.0001。训练分为两个阶段：第一阶段仅使用 ，学习率从 0.0005 开始，训练 50 个 epoch；第二阶段以第一阶段的结果作为预训练模型，采用式 (4) 的损失函数，学习率从 0.00001 开始，再训练 50 个 epoch。CNN 输入与输出的图像尺寸均为 1024 × 1024 像素。
我们开展了一系列实验来测试所提自监督相位展开方法的性能。在第一个实验中，将所提方法与四频四步 TPU（MF-TPU）和双频（1, 64）四步 TPU（DF-TPU）进行比较。评价指标为深度的 RMSE。图 2 展示了测试样本上深度 RMSE 值的分布。参与深度 RMSE 计算的是深度值位于有效范围内的点。在 1,854 个测试样本上，本文方法产生的深度 RMSE 最大值和平均值均小于双频 TPU。
图 3 展示了测试数据集中若干代表性样本分别使用 MF-TPU、DF-TPU 和本文方法得到的深度图。图 3 左侧第一行是运动模糊的例子，其在调制度图中产生了明显的锯齿状伪影。左侧第二至四行、右侧第一行、右侧第二至四行分别是相位不连续、低反射率和孤立物体的样本。请注意，训练数据集仅包含牙模的相位图，而测试数据集包含的相位图来自网络在训练期间从未见过的形状的模型。本文方法能够恢复具有运动模糊、相位不连续、低反射率和孤立物体的相位图的绝对相位。与传统 DF-TPU 相比，本文方法显著提升了连续相位的精度，其性能与 MF-TPU 相当。
图 3. 重建的深度图。每行最后三列分别是使用 MF-TPU、DF-TPU 和本文方法得到的深度图。
接下来，我们进行了消融实验，以验证损失函数和 CNN 网络输入的有效性。消融实验包括：（）仅以 64 周期相位作为 CNN 输入，以 作为损失函数；（）仅以 64 周期相位作为 CNN 输入，以 作为损失函数；（）以 64 周期相位和单位周期相位作为 CNN 输入，以 作为损失函数；（）以 64 周期相位和单位周期相位作为 CNN 输入，以 作为损失函数；（）以 64 周期相位和单位周期相位作为 CNN 输入，以 和 作为损失函数；（）即所提方法，仅以 64 周期相位作为 CNN 输入，以 和 作为损失函数。表 1 给出了六种消融实现方案在 1,854 个测试样本上的平均深度 RMSE。
表 1. 消融实验结果
| 0.139 |
* 注：原文表头带有星号（Depth RMSE (mm)*），但原文中未给出对应脚注；结合正文可知，参与统计的仅为深度值在有效范围内的点。
图 4. 消融实验六种实现方案产生的条纹级数图示例。
图 4 展示了消融实验六种实现方案得到的条纹级数图。与 MF-TPU 的结果相比， 的所有深度图都是错误的。所提方法（即 ）产生了最佳的深度图。
最后，为量化本文方法的测量精度，我们测量了一个标准陶瓷球。图 5 展示了陶瓷球、条纹图像、包裹相位以及分别使用 MF-TPU 和本文方法得到的深度图。陶瓷球的真值直径为 10.0125 mm。使用 MF-TPU 和本文方法拟合得到的陶瓷球直径分别为 10.0909 mm 和 10.0913 mm，误差分别为 0.0784 mm 和 0.0788 mm。该实验证明了本文方法的高精度。
图 5. 标准陶瓷球的测量结果。
结论
本文提出了一种面向单相机 FPP 系统的自监督相位展开方法。该方法能够从单一高频（64 周期）相位图中恢复绝对条纹级数，并在运动模糊、孤立物体和相位不连续等真实场景下验证了方法在定性与定量两方面的性能。该方法有望推动三维测量技术的发展。
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
