条纹投影+曲线移动如何实现0.08mm精度的三维轮廓重建

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！条纹投影+曲线移动如何实现0.08mm精度的三维轮廓重建图1

孔洞是钣金件中常见且重要的特征信息，在产品生产和装配中起着决定性作用。基于被动双目视觉的三维轮廓重建方法因其高精度和鲁棒性，已广泛应用于孔洞测量中。该方法可以获得圆孔的直径、圆心等尺寸数据，但在测量精度和完整性方面仍存在问题，且难以精确测量异形孔。针对这些问题，提出了一种基于条纹投影的钣金件孔洞三维轮廓测量方法。该方法将提取的轮廓曲线向周围区域进行两次等距移动，根据相位匹配重建出三维轮廓点，进而根据前两次重建轮廓的对应点反向推算出真实的三维轮廓。该方法仅需在一张图像上提取轮廓，因此可以减少轮廓提取不一致性带来的影响。此外，利用钣金件区域的高质量相位匹配，可以保证三维轮廓的精度和完整性。实验结果表明，该方法能够实现各种形状钣金件孔洞的精确完整三维轮廓重建，精度可达0.08mm。

1 引言

钣金件因其低密度、高强度、良好的成形能力等优异性能，广泛应用于汽车运输、航空航天等领域。孔洞轮廓信息是钣金件中常见且重要的特征，需要进行三维测量以确保成形质量和产品安全性能。现有的孔洞三维轮廓测量方法主要分为两类：1）基于测量点的轮廓重建。该方法首先利用结构光等技术重建钣金件的完整三维形状，然后从点云中提取孔洞轮廓。2）基于被动双目视觉的轮廓重建。该方法直接在双目相机图像上提取轮廓，进行匹配和点云重建。与第一种方法相比，基于被动双目视觉的方法具有更高的精度和稳定性，更适用于钣金件孔洞的三维测量。然而，由于孔洞厚度、对应点匹配的精度和稳定性等因素，该方法的重建精度和完整性仍有待提高。

针对这些问题，研究者们尝试改进轮廓提取和立体匹配的精度。Xie等根据Zernike矩提取圆孔的亚像素轮廓，然后取中间部分进行匹配，重建圆孔轮廓的点云。该方法可以消除因上下边缘匹配点过多导致的重建误差问题，但获得的轮廓点云不完整，难以应用于矩形孔、腰形孔等。Xia等基于对极几何约束构建了新的能量函数模型，以获得孔洞的最优边缘。该方法可以克服零件厚度的影响，保证孔洞轮廓的稳定提取。Hu等根据左相机图像的轮廓搜索右相机的图像轮廓，然后基于逆基础矩阵验证匹配点是否准确，有效去除了一些错误匹配点。Lou等提出了一种基于灰度聚类和边缘检测的鲁棒提取算法，可以去除孔内遮挡对轮廓提取稳定性的影响。总体而言，这些方法可以提高孔洞轮廓三维重建的精度和稳定性，但仍存在以下方面的问题：1）受钣金件厚度的影响，双目相机图像的孔洞轮廓提取会不一致，导致三维重建误差。2）上下边缘存在多个立体候选点，难以精确匹配。3）现有研究主要针对圆孔轮廓，需要进行椭圆拟合以提高精度，难以用于异形孔。

针对这些问题，提出了一种基于条纹投影的钣金件孔洞三维轮廓测量方法。该方法不直接从检测到的二维轮廓重建三维孔洞轮廓，而是基于两次曲线移动后的重建三维轮廓反向计算得到。基于此，需要重建的轮廓不在孔洞边缘处。因此，可以利用相位匹配来保证重建精度以及上下边缘的完整性。此外，轮廓只需从一张图像中提取，可以减少左右轮廓提取不匹配对轮廓重建精度的影响。

本文其余部分组织如下：第2节阐述具体实现方法；第3节给出实验结果以验证所提方法的性能；第4节总结本文。

2 三维轮廓重建

三维轮廓重建的总体工作流程如图1所示。该方法包含四个部分。首先，获取左右相机的相位图和灰度图，并进行畸变校正和极线校正。其次，基于强度、孔洞尺寸等信息实现孔洞的初步分割和识别。然后，对每个孔洞进行分割以提取亚像素轮廓。最后，基于两次曲线移动后的重建三维轮廓反向计算真实的三维轮廓。此外，需要注意的是，本方法中涉及的轮廓提取均针对左相机图像。

2.1 数据预处理

如前所述，首先获取均匀照明下的双目相机灰度图像，为轮廓提取做准备，如图2(a)所示。然后，投影一系列等相移步长的正弦条纹图像以获得相位图，如图2(b)所示。相位图可通过相移算法计算，表示为：

其中为相位值，为第幅条纹图像投影下的图像强度，为相移量，为相移步数，下标指图像中的像素。最后，根据预先标定的相机参数，对灰度图和相位图进行畸变校正和极线校正。

2.2 初始轮廓分割

为保证亚像素轮廓提取的精度和稳定性，需要首先确定孔洞轮廓的初始位置。因此，采用Otsu算法自适应地实现孔洞区域的初始分割，如图3(a)所示。接下来，根据孔洞的尺寸、比例等信息去除非孔洞区域，并根据选定的孔洞计算相邻矩形框，如图3(b)所示。

2.3 亚像素轮廓检测

为保证提取精度，每个孔洞轮廓被单独提取并并行操作。此外，采用耦合局部强度和全局强度的水平集算法提取亚像素轮廓，表示为：

其中为局部能量，为全局能量，为对应的加权系数，为灰度图像，为水平集函数的光滑Heaviside函数，参数为，和分别为局部区域内外的平均强度，和分别为全局区域内外的平均强度。轮廓迭代提取结果如图4所示。

2.4 三维重建

提取孔洞真实轮廓后，由于边缘处相位质量较差，传统方法通常是提取另一张图像的对应轮廓进行匹配。然而，受钣金件厚度影响，不同视角下图像提取的轮廓会不一致，导致轮廓重建误差。同时，由于候选点过多，上下边缘也容易发生重建误差。因此，我们围绕实际孔洞轮廓进行两次等距移动，获得两条扩大轮廓，如图5所示。等距移动可表示为：

其中为真实轮廓点，为等距移动后的轮廓点，为等距速度，为指向外部的法向量。需要注意的是，计算法向量时需要对轮廓点进行采样，以确保相邻点之间的距离一致。然后，根据相位匹配重建扩大轮廓的三维点云。由于扩大轮廓处的相位质量更好，可以获得质量良好的轮廓点云。最后，根据前两次重建轮廓的对应点反向重建真实轮廓点云，表示为：

其中为真实三维轮廓点，和分别为按移动常量和移动后重建的三维点。

3 实验

为验证所提方法的性能，我们采用包含两台CCD相机（型号：BFLY-U3-23S6M-C，配16mm镜头（型号：ML-M1618HR））和一台数字光处理投影仪（型号：DLP4500）的测量系统进行了实验。投影仪和相机的分辨率分别为和。移动常量设置为，。

3.1 三维孔洞轮廓重建

为验证所提方法的效果，我们对某汽车钣金件（发动机支架下板）的孔洞进行了三维测量。孔洞轮廓检测结果如图6所示。可以看出，所提方法能够精确提取各种形状的孔洞轮廓。孔洞轮廓重建结果如图7所示。可以看出，所提方法能够高质量地重建完整轮廓。

3.2 精度评估

为评估所提方法的精度，使用Optiv Performance三坐标测量机（型号：OPTIV ADVANCE 452）测量孔洞的真实尺寸，如图8所示。然后，从十个不同位置重建孔洞轮廓进行分析。如表1：测量结果表——包含圆孔直径D1、D2、D3，圆槽宽度W1、W2，圆孔中心距Dis12、Dis23、Dis13的真实尺寸、绝对误差及标准差所示，本方法获得的中心距和轮廓尺寸的平均绝对误差分别不超过和。