点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
高速动态目标的三维重建技术在军事领域被广泛应用，针对高速运动目标三维重建中传统傅里叶变换轮廓术在目标边缘及破损区域因条纹混叠导致的相位解算失效问题，提出一种以 FTP 重建主体面形为主、以双目交会补全边缘关键特征点空间坐标为辅的异构互补测量方法，面向高速运动且可能存在局部破损的目标场景，提升瞬态形貌测量中边缘尺寸的检测精度。构建多视角协同测量系统，采用三台高分辨率相机捕捉高速运动目标；目标主体形貌通过 FTP 技术重建，边缘及破损区域通过双目视觉原理解算其空间坐标；采用奇异值分解算法实现双目点云与 FTP 数据的刚性配准。实验结果表明，相较于传统 FTP 方法，新方法将部分边缘特征点检测精度误差降低至 以内，验证了高速场景下高速目标形貌的测量稳定性。
1 基本原理
1.1 FTP 轮廓术
FTP 轮廓术光路设计如图1所示。图1中， 为待测物表面测量点， 为该测量点对应的光线延长交点，、、 分别为投影光线和成像光线与参考面的交点， 为投影系统到 CCD 的横向距离， 为 CCD 光轴与参考面的交点， 为 CCD 系统成像中心 入瞳到参考面的距离， 和 分别为成像系统与投影系统的光轴， 为二者之间的夹角，二者相交于参考平面上的点 ， 为投影系统形成的参考面条纹像的等效像点， 为待测物体表面相对于参考面的高度分布。参考平面作为测量物体表面高度变化的参照面，与成像系统光轴 垂直。光栅的栅线垂直于平面 ，经投影系统投射至被测物体表面。
相机获取的参考面条纹分布表达式为
式中： 为傅里叶级数阶次； 为傅里叶级数系数； 为参考面的反射率； 为光栅像的基频； 为参考面上的相位分布。
相机获取的待测物表面变形条纹分布表达式为
式中： 为待测物表面的反射率； 为由于待测物表面高度变化而引起的相位调制。对参考面条纹分布图和待测物表面变形条纹分布图进行 FTP 与频域滤波处理，提取出包含待测物高度信息的基频分量，经傅里叶逆变换后可得到包含相位信息的复数分量为
由式（3）和式（4）可以得到相位差为
式中： 为经频域滤波和逆傅里叶变换后得到的参考面基频复数分量； 为待测物表面基频复数分量； 为待测物高度变化引起的相位差； 为因物体高度引起的参考平面上的条纹偏移量。
根据图1中的几何关系，可得待测物高度信息为
显然，要想获得物体完整的高度信息，条纹必须是连续的、周期性的。
然而，在高速运动的环境下，目标表面面形存在破损，以及由于相机和投影系统存在视角差异，使得相机捕获的目标条纹图像边缘存在交叠区域，这些都会导致相位难以正确解算。根据式（6）可知，相位的错误解算会导致待测物高度信息计算产生误差。本文利用双目交会原理获得目标边缘数据，将边缘数据作为利用 FTP 方法高速运动目标的三维图像的补充，提高目标边缘部分特征点检测精度。
1.2 双目视觉原理
双目视觉原理示意图如图2所示。
图2中， 为世界坐标系， 为左相机坐标系， 为左相机图像坐标系， 为右相机坐标系， 为右相机图像坐标系， 为空间中的任意一点， 和 分别为左右相机中的对应的成像点，、 为左相机转换到世界坐标系的旋转矩阵和平移向量，、 为右相机转换到世界坐标系的旋转矩阵和平移向量； 为旋转矩阵， 为平移向量，是两个相机间的外参。
从而有如下关系成立：
式中： 为左相机水平和竖直方向像素尺寸； 为左相机的焦距。
化简得到
式中： 分别为左右相机成像过程中的尺度因子； 与 为左右相机的内参，这些参数可通过标定得到。
假设左相机坐标系是世界坐标系的位置，则此时左相机坐标系到世界坐标系的旋转矩阵 为单位矩阵，平移向量 。式（8）再次经过化简，可得
化简式（10）和式（11），如式（12）所示：
式中： 和 分别为左相机和右相机投影矩阵的元素，，。
通过最小二乘法求解式（12），即可求出 的三维点坐标 。
2 高速运动目标三维互补测量方法
在利用双目视觉原理获得高速运动目标边缘数据后，需要将这些数据进行坐标变换，统一到利用 FTP 方法得到的数据的坐标系下。
为实现坐标系统一，本文选取目标空间分布满足非共线约束的 3 个特征点：头部特征点（弹头）、尾部特征点（弹尾截面边缘取两点，其连线与弹轴垂直），这 3 个点均为弹丸轮廓上曲率变化显著的几何突变点，具有较高的视觉显著性和定位确定性。如图3所示。
定义双目相机坐标系下的特征点集为
通过 FTP 方法得到弹丸三维图像后，得到对应点在 FTP 三维坐标系下的点集为
采用基于奇异值分解的最小二乘配准方法求解刚体变换矩阵，该方法通过最小化对应点集的加权残差平方和实现：
式中： 和 分别为双目坐标系和 FTP 坐标系下的对应点集，、 为使点从双目坐标系变换到 FTP 三维坐标系的旋转矩阵和平移向量。求解得到 和 后将所有双目点经过以下刚体变换后映射至 FTP 三维坐标系下，实现坐标系统一：
3 实验结果与分析
3.1 实验布设
使用不同规格的高速运动弹丸作为实验对象，参数如表1所示。搭建高速运动目标三维面形多视角测量系统。
多视角测量系统包括 3 个型号相同的 CCD 高分辨率数字相机、时序控制器、脉冲激光器、光栅投影装置、正六面体总体支架、转接支架，如图4所示。其中正六面体总体支架由 6 根长度一致的金属杆通过角件以螺栓紧固连接，构成标准正六面体框架，在 3 个间隔面的中心位置设有安装基板，安装基板上预先加工有多个均匀分布的安装孔，每台 CCD 高分辨率数字相机通过转接支架与安装基板连接，三台相机呈 环形布局，相机参数如表2所示，脉冲激光器参数如表3所示。构建 25-26、26-27 两对双目坐标系（标注格式 a-b 为双目视觉坐标系命名规则，连接符"-"仅用于分隔组成双目测量系统的两台相机编号，26-27 坐标系为 26 号、27 号相机构成的双目坐标系）和由 FTP 方法得到的数据所在的世界坐标系 ，示意图如图5所示。
当高速运动弹丸穿过红外触发靶时，会产生一个电信号传输到时序控制器，经过一个固定延时后，弹丸到达正六边形框架中心，时序控制器会产生两路触发信号，一路触发信号同时触发 3 个相机，另一路触发信号启动激光器产生输出脉宽为 脉冲激光。系统采用时序控制器进行统一触发，其时间控精度为 。对于飞行速度约 的高速弹丸，同步误差所对应的空间偏差约为 ，因此可以认为三台相机与激光器之间实现了严格同步。激光脉冲经一进三出导光光纤传输后，分别导入 3 个 光栅投影装置，产生照明整个照相视场的结构光。条纹分布的照明光投射到照相视场中的飞行体表面上，由于成像主要由 脉冲激光决定，弹丸在有效成像时间内的位移仅约 ，对应图像上的运动模糊不超过 0.1 个像素，可忽略不计。因此相机可捕捉得到多个视角下清晰的高速运动弹丸条纹图像。
3.2 相机标定
使用单个方格大小为 的棋盘格进行标定，相机两两组合对同一棋盘格进行同时拍摄，通过改变棋盘格的姿态和位置，共拍摄了 18 组不同姿态和位置的标定图片，并使用双目相机标定工具对标定图片进行角点检测和参数计算，得到 3 个相机的内参矩阵、相机两两之间的外参矩阵，如表4、表5所示。其中，Cam25,26 表示相机 26 相对于相机 25 的外参，Cam26,27 表示相机 27 相对于相机 26 的外参。
3.3 FTP 与双目交会测量
运行多视角测量系统，获取弹丸 3 个视角上的条纹分布图像，如图6所示。利用 FTP 方法得到弹丸三维重建图像。
为了获取弹丸边缘的三维坐标，并为后续作为 FTP 在轮廓区域的异常数据的补充提供高精度空间基准，在相机 26 拍摄的弹丸条纹图像上，沿弹丸轮廓均匀标注 11 个特征点（记为点 1~11），记录其像素坐标。由于三相机呈 环形布局，同一物理点在不同相机视图中的投影位置沿弹丸高度方向存在偏移：相机 25 的弹丸上边缘投影对应相机 26 的特征点 6~11，其编号设为 ；相机 27 的弹丸上边缘投影对应相机 26 的特征点 1~5，其编号设为 ，弹丸边缘编号结果如图7所示。
应用双目视觉原理，分别计算点 1~5 在 26-27 坐标系下和点 6~11 在 25-26 坐标系下的空间坐标，并通过坐标变换，将点 1~5 统一到 25-26 坐标系下。计算 1 点和 6 点的中心点坐标，记为弹尾，用于计算弹丸长度。最终得到 1~11 点、弹尾在 25-26 坐标系下的空间坐标，这些坐标即为弹丸条纹图像的边缘数据。边缘特征点空间坐标及坐标系统一结果如表6所示。
加载 FTP 相位测量重建的弹丸表面三维点云，得到的弹丸重构图像如图8所示。由图 8 可以看到中心区域点云连续，条纹解析度高，但边缘存在噪声，表明 FTP 在边缘的相位解算存在误差，精度下降。
将弹丸条纹图像的双目边缘数据导入并以红色实心圆点作为标记，如图9所示。由图 9 可知，由于双目与 FTP 数据存在坐标系未对齐问题，空间分布呈现显著偏差。利用奇异值分解方法将用双目视觉原理计算得到的点对齐到 FTP 点云的刚性变换矩阵，用双目视觉原理计算得到的点经过该变换后映射至傅里叶坐标系下，实现坐标系统一。最终的图像如图10所示。由图 10 可以看出，双目边缘数据基本贴合 FTP 所得图像边缘，可用双目数据作为 FTP 边缘数据的补充。
为验证双目边缘特征点补充测量的有效性，将基于 FTP 点云得到的弹丸长度、弹尾直径，与基于双目特征点计算得到的对应尺寸进行对比。实验结果如表7、表8所示。由表7和表8可知，互补方法在不同类型弹丸的三维测量中均展现出显著的精度提升，最终测量误差保持在 以内。
由于当前方法采用人工标注弹头及弹尾关键点，特征点提取误差会对后续双目交会及 SVD 配准产生影响。为评估该影响，本文对所选特征点分别施加 与 的人为扰动，并重新计算配准后的长度和弹尾直径，如（表9位置：扰动影响——包含扰动特征点、扰动大小、弹丸长度误差变化范围、弹尾直径误差变化范围）所示。
由表9可知，在 范围内，长度与尾径误差变化均较小，表明本文方法对少量人工选点误差具有一定鲁棒性。当扰动增大至 时，弹头点误差主要影响长度测量，而弹尾点误差主要影响弹尾直径测量。
综上，相较于传统 FTP 技术，互补方法展现出对弹丸关键尺寸的精准捕获能力，尤其在轴向长度检测维度表现出卓越的稳定性，提高了由边缘特征点得到的关键尺寸精度，为高速运动目标的精密测量提供了新的技术方案。
3.4 系统误差分析
本文测量系统的最终精度受多种误差源的综合影响，以下对主要误差源进行简要分析。
1）相机标定残差。相机内外参数的标定精度直接影响双目交会的三维坐标解算结果。标定残差将传递至双目交会计算，导致边缘特征点的三维坐标产生系统性偏移。根据表9的扰动分析， 的像素级误差对弹丸长度的影响约为 ，对弹尾直径的影响约为 ，表明系统对标定残差具有一定的容忍度。
2）光线散射与杂散光。脉冲激光经光栅投影后在弹丸表面形成结构光条纹，弹丸表面的镜面反射可能引起局部光强异常，降低条纹对比度，影响 FTP 相位提取精度，尤其在弹丸边缘区域更为显著。本文通过采用窄脉宽（）激光照明和环境光抑制措施，在一定程度上缓解了该问题。
3）振动与机械稳定性。弹丸发射时产生的冲击波和振动可能导致相机支架发生微小位移，进而影响标定参数的有效性。本系统采用正六面体金属框架通过螺栓紧固连接，具有较高的结构刚度。由于成像由纳秒级脉冲激光完成，振动在单帧曝光时间内引起的相机位移极小，对测量结果的影响有限。
综上所述，在现有实验条件下，标定残差和光线散射是影响测量精度的主要因素，而振动的影响在可控范围内。
4 结论
本文提出了一种基于 FTP 轮廓术和双目交会的高速运动目标瞬态三维重构方法。得出如下主要结论：
1）通过双目视觉数据作为 FTP 方法获得的目标三维图像边缘数据的补充，成功将部分边缘特征点检测精度误差降低至 以内，显著提高了弹丸边缘区域的测量精度。
2）基于三相机 环形布局，构建多视角测量系统，系统在高速环境下有效地采集到目标的变形条纹图像，并利用 FTP 方法有效地实现了高速运动目标三维轮廓测量，为弹道分析、振动监测等工程场景提供高可靠性三维重建方案。
3）针对 FTP 方法在目标边缘及局部破损区域存在相位解算失效的问题，利用双目交会获取边缘关键特征点空间坐标，并通过 SVD 方法实现双目数据与 FTP 点云的坐标统一，实现了两种方法的优势互补。
4）通过不同规格弹丸的实验验证了方法的有效性，结果表明该方法在高速动态条件下能够稳定获取目标瞬态三维形貌，为高速运动目标非接触式三维重构提供了新的技术方案。
本文通过将 FTP 轮廓术与双目视觉原理相结合，实现了对高速运动目标的三维重建。然而，本文工作仍存在一定的局限性，主要体现在以下两个方面：
1）当前边缘关键点需人工标注，算法实时性不足，精度不够。当目标表面纹理发生变化时，人工选点易遗漏真实边缘或产生定位偏差。未来将探索基于强化学习的特征点动态提取算法，提高效率。
2）当前研究对象均为规则圆柱形结构，对于破片、异形弹药等非对称及复杂纹理高速目标的适用性尚缺乏充分验证，可能因目标形态差异导致测量误差。未来将扩展实验对象与场景条件，验证互补方法在各类目标上的普适性。
通过上述研究方向的扩展，期望能够进一步完善高速运动目标三维重建方法，为瞬态形貌精密测量领域提供更可靠和高效的解决方案。
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
