从重影到波纹:相移结构光动态测量误差补偿技术全解析

3D视觉工坊 2026-06-06 00:00

点击下方卡片,关注「3D视觉工坊」公众号
选择星标,干货第一时间送达

来源:3D视觉工坊

星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研,欢迎加入!从重影到波纹:相移结构光动态测量误差补偿技术全解析图1

摘要:相移结构光三维成像技术能够获取工业级的高精度点云,但在动态测量中面临运动误差的挑战:主要分为焦平面内运动导致的重影伪影与沿视线方向运动引发的波纹畸变。本文系统综述了近年来的动态误差补偿方法,阐释了两类误差的产生机理,并据此将现有方法分为三类:针对重影伪影的补偿,核心在于通过特征点、光流或频域分析等进行运动估计与图像对齐;针对波纹畸变的补偿,重点在于校正运动引入的相移偏差,可分为基于全局/邻域信息的非逐像素方法和保持像素独立性的逐像素方法;部分前沿工作更进一步地尝试构建统一的运动模型,以同时处理重影伪影和波纹畸变。文中对比分析了各方法对不同运动模式的适用性,并总结指出现有方法主要存在的两方面不足:1)对运动误差补偿不全面,只考虑了单一类别的运动误差,适用场景受限;2)基于全局一致运动假设,难以应对非刚体、多目标等复杂动态场景。最后,讨论了动态相移结构光领域的未来发展趋势,包括:发展兼顾两类误差的联合补偿框架;突破全局运动假设,实现逐像素或局部自适应的运动估计与补偿;以及利用深度学习与虚拟仿真数据,探索端到端的动态误差补偿新路径等。

作者:张格悠(电子科技大学信息与通信工程学院)等人

1 引言

当前,以扩展现实技术、数字孪生以及元宇宙为代表的虚拟融合应用迅速发展,推动着人机交互、工业检测和产品设计方式实现从平面二维到三维沉浸体验的重要跨越。在这一进程中,高质量的三维数据获取成为了连接物理世界与数字模型的关键基石。相移结构光作为一种高精度、强稳健性、全视场和非接触的三维成像技术,被广泛应用于工业检测[1]、医学重建[2][3]、逆向工程[4]、机器人、电子游戏[5]以及文物数字化[6]等领域,如图1所示,提供了物体或场景几何形貌准确、详实、全面的基础数据。大量的研究也证明了相移结构光在多种富有挑战性的场景下的性能[7]:例如低信噪比[8][9]、多路径干涉[10][12]、高反射率[13]、异步拍摄[14]、全局照明[15][18]等场景。

随着应用需求的不断增长,三维测量对象不再局限于静态物体,例如:人形机器人、工业机器人或手术机器人提供动态高精度视觉定位,实现微米级三维空间感知;在移动中进行工业检测,实现在生产线不停机情况下的连续三维检测;以及实时医疗重建,帮助快速重建定制化医疗设备,如牙科模型和假体。因此,在广泛的实际应用中,亟需获取高速运动状态下物体的瞬态三维形貌信息来实现运动追踪和力学特性分析,这对动态场景下相移结构光的测量精度提出了更高的要求。很多研究探索了使用深度学习技术实现单帧条纹的相位解算[19][23],从而实现超高速的三维测量,但这些方法在测具有大量纹理和复杂三维结构的困难场景下的鲁棒性仍有待进一步研究。相比而言,相移结构光技术由于采用多帧测量机制,具备更强的抗干扰能力与系统稳健性,因此在各类实际应用场景中表现出更广泛的适用性。尽管传统的相移结构光技术能提供亚毫米级别精度的高质量三维点云,其测量对象通常局限于静态物体。这是由于相移结构光的多帧拍摄特性使其极易受到物体运动的影响,导致点云中出现显著的运动误差。

尽管减少投射图案的数量可以缓解运动误差:当前的方法已将图案数量从9幅[24]减少到5幅[25]、4幅[26][27]乃至更少[28][31],但这些方法并未从根本上解决运动误差问题。相移结构光中的运动误差主要可以分为两类,由物体在焦平面内的运动导致的重影伪影;由物体沿相机视线方向的运动引起的波纹状畸变。因此,研究人员针对不同类别的运动误差进行补偿。

在接下来的章节中,依据算法所针对的误差类别,我们将从三个方面介绍运动误差补偿方法:第2章中,我们将简要介绍两类误差的产生原因:第3章中,我们将介绍补偿重影伪影的方法,即针对焦平面内运动;第4章中,我们将介绍补偿波纹状畸变的方法,即针对沿视线方向运动;第5章中,我们将介绍同时对重影伪影和波纹状畸变进行补偿的方法,即同时针对焦平面内和沿视线方向的运动;第6章给出现有方法优劣的总结并分析了未来的演进方向。

在动态相移结构光领域,LU等人[32]于2021年发表的综述是该方向的重要参考,但本文与其在分类维度、算法深度及时效性上存在明显区别。具体增量如下:

(1)从“算法路线”到“误差物理机理”的分类逻辑转变:已有综述[32]主要以误差补偿核心算法的路线为分类轴(如“对象跟踪”、“傅里叶辅助”、“运动预测”),侧重于描述算法的具体数学手段。而本文(第2节)从物理运动模式出发,建立了“运动类型”到“重建误差表现形式”到“补偿策略”的映射链条:明确将“重影伪影”归因为焦平面内运动,将“波纹状畸变”归因为视线方向运动。这种分类方式使研究者能直接根据观测到的点云缺陷寻找对应的补偿方案,具有清晰的工程指导意义。

(2)对波纹状畸变的补偿算法进行了“逐像素独立性”的深层细化:针对波纹状畸变补偿,本文更细化地将其划分为“非逐像素方法”(利用邻域或全局信息)与“逐像素方法”(保持像素独立性)。这一划分深入探讨了补偿算法在处理“深度不连续边缘”与“孤立物体”时,对空间分辨率保护能力的本质差异。

(3)关键前沿工作的时效性补充:已有综述[32]主要覆盖2021年以前的研究成果。本文重点增补了近四年(2021-2025)的最新研究,包括基于光流图像跟踪[33]、盲图像去模糊[34]、二项式自补偿[35]、普适的相移偏差估计[36]、投影点跟踪[37]等重要进展。

2 运动误差产生原因

在不考虑图像运动模糊[34]的情况下,动态场景中相移结构光的运动误差主要可分为两类:1)重影伪影:由被测物体在物方焦平面内的运动,即焦平面内运动引起。如图2(a) 所示,相邻两帧的同名三维点在相机平面上的成像坐标不同,投影机投射的相位值也不同。焦平面内运动会导致连续拍摄的图像之间产生错位,进而在重建的深度图中引发重影伪影[38][42]。这类伪影本质上由图像错位引起。2)波纹状畸变:由物体沿相机视线方向的运动引起。如图2(b) 所示,相邻两帧的同名三维点在相机平面上的成像坐标相同,而投影机投射的相位值不同。沿视线方向运动在理想相位帧间引入采样偏差,造成相移步长不均,这些不规则性最终会在重建的深度图中导致波纹状畸变[43][52]。这类波纹状畸变本质上由相位偏差引起。

除了按所造成的误差特性来分类以外,物体的运动还可以分为刚性运动和柔性运动,而刚性运动具有六个自由度,可以分为沿X、Y、Z轴的平移和绕X、Y、Z轴的旋转。而上述这些类型的运动可以按所引发误差的特性分为两类,如图3所示:沿X或Y轴的平移,绕Z轴的旋转主要属于焦平面内运动;沿Z轴的平移主要属于沿视线方向运动;而绕X或Y轴的旋转和柔性运动则同时具有焦平面内运动和沿视线方向运动的分量。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图2

使用四步相移法测量运动物体时,捕获的图像序列可表示为

其中,  表示相机空间中的像素坐标,  和  分别代表第  帧的背景光强和条纹调制度,它们主要由物体纹理和环境光照决定。  是第  帧的真实相位分布,由三个分量组成,即:1)参考相位分量  :一个虚拟参考平面的相位分布,在各帧间保持不变;2)高度调制分量  :由物体的高度分布调制的相位分量,因物体在各帧间的运动而变化;3)固定相移量:相邻两帧间恒定不变的相移值  。由于被测物体发生焦平面内运动,图像序列中对应点的坐标可表示为  ,其中  表示第0帧与第  帧之间的位移场。基于物体纹理的不变性,并假设其为朗伯表面,忽略全局光照影响,且运动足够小,我们得到物体运动过程中的两个基本等式  ,因此,直接使用图像序列  计算相位时,由于相机每个像素点  拍摄到的纹理已经发生了改变,会导致显著的重影伪影。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图3

另一方面,即使不考虑重影伪影,假设所有焦平面内运动引发的图像错位都已对齐,我们有

其中,  表示第  帧中运动引起的相位偏差。此时可以计算相位

将公式(2)代入公式(3)并考虑  的近似,我们可以得到波纹状畸变的公式

因此,全面补偿这两个方面的误差才能真正实现对任意运动均稳健的高精度相移结构光三维成像。

3 重影伪影的补偿

针对重影伪影,一旦像素级位移矢量(即当前帧的光流)能够被精确地估算出来,图像序列中对应的点便可被对齐,从而有效消除重影伪影。但实际上,由于受到相移条纹的影响,无法从捕获的图像中准确恢复光流场。为了简化复杂运动,研究者通常选择假设物体的焦平面内运动是全局一致的刚体运动(即所有像素具有相同的位移矢量和旋转矩阵),进而通过估计位移矢量和/或旋转矩阵来进行图像对齐,补偿重影伪影。

3.1 基于图像空间域特征的运动追踪

图像的空间域信息通常是目标追踪算法关注的关键特征。一些研究正是借助图像的空间域特征估计目标的运动。LU等人[38]提出通过在物体表面放置至少3个标记点来估计帧间图像的刚体运动,获取旋转矩阵和平移向量,进而获取原始  坐标点变换后的坐标  ,进而对齐条纹图像:

其中,  表示相机拍摄到的原始图像,  表示对齐后的图像。进一步,即可借助参考平面的相位分布  来计算无运动误差的相位值

其中,各项  的表达式如原文公式(7)所示。然而,该方法依赖人工黏附标记点于被测物体上。因此,LU等人[39]提出采用加速鲁棒特征算法[59]进行特征点匹配,从而无需在物体上放置标记点。近年来,他们进一步提出了利用基于深度学习的光流跟踪算法[33],设计了一种改进的循环全对场变换[60](RAFT,Recurrent All-Pairs Field Transforms)稠密光流估计网络如图4位置所示,从而直接使用受条纹投影影响的图像来估计逐像素的位移。但受限于光流估计的精度,他们最终用所有像素的位移量拟合求取全局的旋转矩阵和平移向量。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图4

在进行动态场景的三维重建时,为了避免拍摄的图像发生运动模糊,通常将相机的快门时间设置得较低。DUAN等人[34]则利用运动模糊这一不利现象,提出一种时空伪影耦合(Spatiotemporal Artifact Coupling,STAC)模型,借助盲图像去模糊算法[61],通过最小化包含数据保真项、L1正则项、总变分正则项和核范数的图像恢复能量函数

从运动模糊影响的图像中估计模糊核和去模糊图像,如图5 所示。其中,第一项用于保证估计结果  与模糊图像  之间的相似性,第二项则利用上述图像先验来获得清晰图像。此外,使用  来保证显著边缘对能量函数的影响,而  则用于约束模糊核  的光滑性。此处,  为对应于最后三项的权重参数。借助估计的模糊核,进而获取全局统一的二维运动矢量,从而全面地减轻了帧间重影和帧内运动模糊。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图5

3.2 基于图像频域特征的运动追踪

图像数据还可被看作二维信号,从而借助其频域特征估计信号整体的平移变换。LAM等人[40]提出,对于两帧图像  和 

从重影到波纹:相移结构光动态测量误差补偿技术全解析图6

计算它们对应的离散傅里叶变换  和  之间的归一化互功率谱

其中,  表示复共轭,  表示逐元素的Hadamard积,  表示以自然常数为底的指数函数。为了求取如 图6位置 中所示的全局统一的位移量,应找到归一化互功率谱傅里叶逆变换的最大值点

其中,  表示克罗内克  函数,从而对齐图像序列。

DUAN等人[41]提出一种基于栅栏标记运动估计与自适应参考相位图的稳健三维测量方法,用于抑制物体二维运动引入的坐标与相位误差。首先,利用水平与垂直栅栏图案组成的非周期标记,借助计算归一化互功率谱傅里叶逆变换的最大值点来实现运动跟踪,通过霍夫变换与一维混合相位相关法估计旋转角与平移向量:

根据变换矩阵对齐图像以消除坐标误差。接着,结合双参考面绝对相位图,构建自适应参考相位图以精确补偿相位误差:

其中,  。最后利用像素级相位展开获取精确绝对相位,实现二维运动物体的高精度三维重建。

LI等人[42]在计算归一化互功率谱的基础上,通过施加矩形窗低通滤波,去除高频的条纹和复杂纹理分量,稳定的提取全局平均位移向量,从而进行图像对齐,并结合后续的相移偏差补偿,实现了同时补偿重影和波纹状畸变两类误差。

3.3 重影伪影补偿算法小结

针对重影伪影的补偿,主要集中在追踪目标的运动轨迹从而进行图像对齐这一思路上。在被测物体的运动状态较为简单的情况下,本章中介绍的方法可以比较有效地抑制重影伪影。然而,上述几种方法未能实现逐像素的运动补偿,这导致它们在非刚体和多目标运动的复杂场景下补偿效果较为有限。此外,本章中介绍的基于物体跟踪的方法主要适用于垂直于视线方向的二维运动,且其效果严重依赖于运动估计的准确性和可靠性,在处理无效理表面或复杂运动场景时可能面临挑战。

4 波纹状畸变的补偿

对于波纹状畸变,研究的重点在于消除采样偏差。传统的相移结构光依赖于在条纹周期内均匀分布的相移;然而,物体运动会扰乱这种等间距分布。为了解决这个问题,研究人员通过分析受运动影响的图像或相位帧中的隐含信息,来估计运动引起的相移。这使得每个图案未知的、受运动影响的相移值能够得到恢复,最终得以求解校正后的相位。

4.1 非逐像素的相位误差补偿

相移结构光的一个重要优点在于高空间分辨率,这是由于其计算过程中仅仅只需要用到该像素处的图像强度值,是逐像素独立的。因此,在相位误差的补偿过程中,也希望能保持这一逐像素的优点。然而,实际上部分研究利用了每个像素周边的邻域信息或图像的全局信息用于相位误差补偿,本文章我们将其归类为非逐像素的相位误差补偿。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图7

GUO等人[44]提出一种基于条纹图差异方差估计未知的全局一致相移量的简便算法,仅需至少三幅干涉图。首先计算两两干涉图之间的强度差

随后,求出整个图像内的方差均值  ,在条纹数大于一的条件下,近似有:

这表明标准差之比等于相应复振幅模长之比。最后,通过构建以三个  值为边长的三角形,并应用余弦定理,可直接解算出相移量,例如

该方法无需迭代,对噪声不敏感,实现简单高效,其估计出的相移量,可直接应用于动态场景的误差补偿。值得注意的是该方法假设了全局具有相同的相移量,因此在应用于非刚体和多目标运动场景时可能存在误差。

QIAN等人[45]针对动态三维测量中高精度与运动鲁棒性不可兼得的问题,提出了一种结合傅里叶变换轮廓术(Fourier Transform Profilometry,FTP)与相移轮廓术(Phase-Shifting Profilometry,PSP)的混合测量方法;该方法通过设计一种基于相位的逐像素运动检测策略,能够精准识别场景中的运动与静止区域,并分别采用FTP辅助重构与高精度PSP融合的策略,在有效消除运动伪影的同时保留了静止区域的测量精度,最终实现了复杂动态场景下实时、高可靠性的无畸变三维表面重建,其流程如图7所示。

WANG等人[46]分析了波纹状误差的理论公式,他们发现在使用四步相移时,相位差相差  的两帧相位中的波纹状误差恰好反相。基于这一观察,他们提出对条纹图案施加希尔伯特变换以人为地引入  大小的相移。对于原始的图像

其经过希尔伯特变换后的图像变为

然后计算相位

并将该相位值与使用原始图像计算的误差分布恰好相反的相位相加取平均

从而使得波纹状误差自动抵消。

FENG等人[47]提出一种用于刚性物体动态三维测量的运动补偿相移轮廓术方法,旨在消除由物体运动引起的运动波纹、相位展开误差和运动异常值。方法首先通过条纹统计特性使用均值滤波估计运动引起的相位偏移,并利用参考背景图像进行迭代优化以校正波纹;其次,基于相邻可靠像素校正相位展开错误;最后,通过比较原始相位图与高斯滤波后的相位图识别并去除异常值。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图8

LIU等人[48]提出一种基于多序列相位图差分的运动误差实时补偿方法。该方法使用连续采集的八帧条纹图像,首先通过标准四步相移法计算三个相位图:使用第1-4帧计算  ,第3-6帧计算  ,第5-8帧计算  ,如图8所示。随后假设运动引发的相移量是匀加速的,即可利用相位图差分估计运动引起的未知相移误差  和  。

其中,  表示在以像素  为中心、大小为一个条纹波长的局部窗口内进行空间平均,旨在滤除差分结果中的残余交流分量,从而稳定地提取出代表相移误差的直流分量。获得  和  后,估算  。最后,将这些估计值作为修正后的相移量,即可用最小二乘计算出运动误差被显著抑制的最终相位。该方法可以实现接近像素级、非迭代的误差估计,但值得注意的是,由于在估计运动引发的相移量时使用了均值窗口滤波,本质上该方法并非是逐像素的。

WU等人[49]提出一种三步梯度等步长相移算法以高效抑制动态测量中运动引起的相位误差。该方法仅需三帧相移条纹图,利用梯度算子消除背景强度,将条纹图转换为梯度信号:

假设背景与调制度在局部区域内缓变,梯度信号可表示为:

进而通过三帧梯度信号直接解算包裹相位:

该方法将运动视为未知但线性的相移扰动,无需迭代或先验标定,在保证精度的同时大幅提升了动态测量的效率和鲁棒性。由于该方法在计算图像梯度时使用了图像邻域信息,尽管仅仅使用了相邻的两个像素,但我们还是将其归类为非逐像素的相位误差补偿。

GUO等人[36]提出了一种普适的相移偏差估计方法,具体流程如图9所示。其核心思想是利用图像复用策略,将  步相移条纹序列  顺序划分为重叠的三帧图像组  ,每组对应一个包裹相位计算,求解含未知相移偏差的相位。进而计算相邻帧的相位差

该差值包含与条纹倍频相关的交流分量和代表相移偏差的直流分量  。通过对该相位差进行傅里叶频谱域的零频滤波,即可提取相移偏差  ,进而代入含实际相移的相位计算公式中求解准确相位。该方法无需迭代或额外投影,适用于任意  步相移算法,能有效抑制刚体运动、形变与非均匀运动引起的相位误差。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图9

4.2 逐像素的相位误差补偿

使用图像邻域或全局信息来辅助相位误差补偿通常不可避免地牺牲空间分辨率。针对波纹状畸变,逐像素的相位误差运动补偿算法能很好的保持相移结构光像素级的颗粒度。

GUO等人[50]研究了四步相移法中的波纹状误差模型,具体流程如图10所示。对于使用前三帧图像  计算的相位,误差表达式为

对于使用后三帧图像  计算的相位,误差表达式为

可以发现两帧相位具有相反的误差分布趋势,因此将他们直接相加得到

从而自动抑制波纹状畸变。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图10

WANG等人[51]提出一种基于单照明周期双采样的离焦二值相移方法,以补偿运动误差。其核心是如图11所示的单次照明双曝光技术:在投影仪投射一幅离焦二值条纹的单个照明周期内,控制相机进行两次等间隔曝光,从而获得两组三步相移条纹图像。设  为运动导致的未知相移误差,则两组图像对应的理论相位  与  之差为  。算法通过迭代方式估计并补偿该误差,首先初始假设  ,分别计算两组图像的相位  和  ;随后通过相位差更新相移误差估计值

最后,将更新后的  代入相移公式,重新计算相位,迭代直至收敛。该方法利用二值投影的高刷新率优势,在毫秒级时间窗口内完成额外采样,可有效分离并抑制运动引起的相移误差。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图11

WANG等人[37]提出投影点跟踪方法。先在相移条纹序列中添加散斑图案,通过数字图像相关法计算相邻散斑图案间的亚像素投影点位移,从而获取同名投影点在相机视角的位移量,再利用图像重映射校正条纹图案,从而消除相位偏差,计算相位的公式如下:

其中,  为相机坐标,  为通过数字图像互相关计算的投影点的位移量。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图12

LIU等人[52]提出一种通过迭代消除运动引起的相位误差补偿的方法。其核心思想是通过相邻两帧三维重建结果估计物体运动,并利用投影仪针孔模型计算运动引起的非均匀相位偏移误差,进而补偿相位计算。主要流程包括运动估计与相位误差建模两个关键步骤,其中相位误差由三维运动量通过投影模型映射至相位域得到:

运动位移通过前后帧三维坐标差分估算:

该方法可迭代优化,适用于刚体与非刚体动态场景,实验表明能显著减少波纹状畸变并提升重建质量。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图13

ZHANG等人[35]提出一种二项式自补偿方法,用于消除四步相移轮廓术中由物体运动引起的误差。该方法仅利用受运动影响的相位序列本身,通过二项式系数加权叠加连续相位帧,如图13所示,实现运动误差的自补偿,无需依赖任何中间变量。通过分析四步相移法中相位帧的波纹状畸变公式可以发现,相邻帧的相位误差分布相反,因此将临帧相位相加,再把相加得到的结果循环叠加,即

计算得到的相位表达式为:

其中,第二项表示误差项,可以看出该方法能够指数级地抑制运动误差。

4.3 波纹状畸变补偿算法小结

针对波纹状畸变的补偿,主要集中补偿Z方向运动引发的相位偏差上。本章将波纹状畸变的补偿方法分为两类,非逐像素的和逐像素的。非逐像素的误差补偿方法可能会在面临深度不连续区域、非刚体和多目标场景下存在潜在的问题,因为这些方法使用了图像邻域或全局的信息用于补偿相位。而逐像素的方法则通常在这些复杂场景下具有更佳的性能。

5 同时补偿两类运动误差

部分研究同时考虑了重影伪影和波纹状畸变这两类误差,并进行了补偿。全面地补偿这两类误差才能实现针对任意运动的高精度相移结构光三维成像,笔者认为这也是未来动态相移结构光三维成像的重要方向。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图14

LU等人[62]提出了一种针对运动物体的相移轮廓术通用模型与重建方法。该方法首先引入一个与相机垂直的虚拟平面作为相位分析的基准,并系统性地将物体运动划分为如图14所示的五种类型。随后,基于运动分类,作者建立了一个描述条纹图像与物体运动之间关系的核心数学模型,其一般形式为:

该模型在考虑物体平移与高度变化的同时,将Z向运动引起的相位偏移纳入计算框架。最后,采用迭代最小二乘优化求解相位与运动补偿量,实现对动态物体的稳定重建,有效解决了传统方法因物体运动导致的相位失配与重建失效问题。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图15

LI等人[42]提出一种基于主成分分析的对运动鲁棒的相移轮廓术(mrPCA-PSP,Motion-Resistant Phase-Shifting Profilometry Based on Principal Component Analysis)。在归一化互功率谱的基础上加入矩形窗进行低通滤波提取直流分量

然后应用基于奇异值分解的主成分分析法对  进行降维处理

其中,  是最大奇异值,  和  是对应的左奇异向量和右奇异向量,H表示共轭转置。随后,通过最小二乘拟合主成分的二维相位图获得其梯度,进而即可求得全局统一的亚错位像素位移量完成图像对齐,消除全局一致的图像平移。然后,借助条纹图差异方差[44]估计未知的全局一致相位偏差,实现对波纹状畸变的补偿。方法流程如图15所示。

虽然本章介绍的方法同时考虑了重影伪影和波纹状畸变两类误差,但这些方法还是没有完全跳出全局一致运动假设的限制,这导致这些方法在应对复杂运动时可能会存在残余误差。

6 总结与展望

本文系统梳理了近年来相移结构光三维成像在动态场景下运动误差补偿的研究进展。通过深入分析运动误差的产生机理(焦平面内运动导致重影伪影,视线方向运动导致波纹状畸变),本文将现有补偿方法归纳为三类:重影伪影补偿、波纹状畸变补偿以及二者同时补偿的综合方法。其中,重影伪影补偿的核心在于图像序列的对齐,研究者们通过引入标记点、特征匹配、光流估计乃至利用运动模糊信息等策略追踪并校正物体的焦平面内运动。波纹状畸变补偿则聚焦于校正运动引入的相位偏差,其方法分为非逐像素的方法(基于全局或邻域信息估算平均相移量)和逐像素的方法。部分前沿工作更进一步,尝试构建统一的运动模型,同时校正两类误差,代表了向通用动态测量系统迈进的重要一步。然而,现有方法主要存在两个方面的不足:1)对运动误差补偿不全面,多数方法仅针对重影伪影或波纹状畸变中的单一类别进行补偿,忽略了实际复杂运动中两类误差往往耦合出现的实际情况,导致在物体存在多自由度运动或复合运动的动态场景中,三维重建结果仍存在显著的残余误差,适用性因此受到很大限制;2)过度依赖全局一致运动假设,假设物体进行整体、刚性的运动。然而,诸如生物组织非刚性形变、多部件异步运动等真实动态场景,其运动本质上是非刚体、局部化且非一致的。这种简化的假设使得现有方法在面对此类复杂、非均匀的动态场景时,误差补偿的性能下降。我们总结了现有文献[20][35][36]的对比实验中的精度指标,并分析了计算耗时情况,将相移结构光中动态误差补偿算法在不同运动场景下的性能和适用性总结在表1中。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图16

6.1 方法优劣分析

(1)重影伪影补偿方法:现有的针对重影伪影的补偿方法能够很好的补偿在焦平面内(X-Y方向)的简单运动,有效地减少三维点云中出现重影状的误差。但是,现有的基于空间域特征、频率域特征以及盲图像去模糊的方法,都基于全局统一运动假设,这些假设使得测量的适用范围存在很明显的局限性。例如,这些方法无法适用于非刚体和多目标的运动场景:冲击实验、汽车碰撞实验、人体动态测量和瞬态形变分析等等。此外,由于Z向运动引发的相位偏差无法直接通过图像特征跟踪获取,使得这些方法在Z向运动分量存在时容易出现残余的波纹状畸变。

(2)波纹状畸变补偿方法:现有的非逐像素的相位补偿方法能有效补偿沿视线方向(Z方向)的运动,但由于使用了图像邻域或频率域信息,使得补偿结果在深度不连续处和孤立区域边缘容易存在估计偏差或吉布斯效应;现有的逐像素的相位补偿方法虽然能以像素级的颗粒度抑制相位偏差,适用于非刚体和多目标场景,但容易受到焦平面内运动导致的图像错位影响,导致补偿效果无法达到理论性能。

(3)补偿两类运动误差:部分前沿工作更进一步地尝试构建统一的运动模型,以同时处理重影伪影和波纹状畸变。虽然这些方法能在单一目标的刚体运动场景下有效地同时补偿两类误差,但在应对非全局一致的运动时,例如非刚体和多目标场景,容易出现残余误差。

6.2 未来发展趋势

(1)兼顾重影伪影和波纹状畸变的补偿:早期研究多集中于单一误差类型的处理,导致运动误差补偿的系统性与完整性不足。近年来,虽有少数研究尝试同时应对这两类误差,初步展现了补偿策略的全面性,但相关研究仍处于起步阶段。因此,在未来工作中,有必要进一步深化对二者耦合机理的理解,并发展更为鲁棒、普适的联合补偿方法,实现对任意运动场景的高精度三维成像,以推动动态三维成像技术向更复杂运动场景的实用化迈进。

(2)摆脱对全局一致运动假设的依赖:现有基于运动追踪的图像对齐方法,多基于全局一致运动假设,即假定物体各部分的运动在帧间保持一致。这一假设在刚体单目标场景中尚可适用,但在面对非刚体形变或多目标异步运动等复杂动态场景时,其补偿效果显著下降,甚至引入新的对齐误差。因此,突破全局一致假设的局限,发展逐像素级或局部自适应的运动估计与图像对齐算法,是实现高精度、强鲁棒性运动补偿的关键路径。这不仅是技术上的必要演进,更是推动相移结构光技术迈向普适化动态三维成像的核心环节。

(3)基于深度学习的动态场景相移结构光:深度学习的快速发展[14][63][64]为单帧条纹投影三维测量提供了端到端的解决方案。但受到单帧三维重建由于容易受到物体高频纹理信息的干扰,在应用时存在一定的局限性。未来的研究可以考虑从单一条纹图的端到端重建,转向针对多帧相移图像序列的“感知-补偿”双驱动架构设计。

一方面,针对动态场景中由于像素失配引起的相位畸变,可参考RAFT等[60][65]先进光流算法的架构思路。通过构建能够在条纹调制下提取“条纹无关”图像特征的深度神经网络,在4D相关张量中建立多帧条纹间的时空对应关系,实现非刚性物体在像素级的精准对齐,为后续相位计算提供一致性的数据基础。另一方面,为了消除运动引发的相移偏差,可将估计运动引发的相位偏差项作为神经网络的优化方向。参考现有的基于深度学习的单帧相位解算[63]方法,可以使用采用包含残差块的卷积神经网络架构[64],使用多帧相移图像作为输入,预测相移偏差值的中间项,再通过物理公式计算真实相移值,从而可以计算出不受运动影响的高精度相位。

传统方法往往依赖于对物体运动特性与误差形成机制的显式建模,过程复杂且易受模型假设局限,难以适应非刚性、多目标等复杂动态场景。相比之下,基于深度学习的端到端补偿框架能够直接从原始条纹图像序列中隐式地学习并建模物体运动与成像误差之间的复杂映射关系,无需显式分离或假设运动模式,即可实现高质量三维重建,展现出更强的适应性与泛化潜力。

(4)构建基于物理渲染的动态场景仿真数据集:现阶段的研究中,获取真实动态场景下带有精确三维几何真值的大规模训练数据比较困难,这使得动态误差补偿方法缺乏充足且可靠的训练样本和统一的评价标准。未来可借助Blender等三维建模与渲染平台,通过高度可控的虚拟成像系统[66][67],模拟投影仪-相机配置、物体运动轨迹、表面材质与光照环境,生成涵盖多样运动形态与误差模式的大规模合成数据集。

(5)引入新型传感硬件:传统的工业相机由于帧率限制,无法满足高速瞬态场景的测量需求,而以脉冲相机和事件相机为代表的新型视觉传感器,凭借微秒级的超高时间分辨率为动态运动补偿提供了全新的硬件解决路径。脉冲相机通过模拟视网膜中央凹的采样机制,能够以高达40000Hz的采样率持续监测光强演变[68],可以为精确捕捉瞬态变化的相移条纹分量、估计由运动引起的细微相位偏差提供了可靠的数据源。事件相机通过异步触发亮度增量信号,天然具备低延迟和高动态范围的优势。针对结构光扫描任务,已有研究利用事件相机捕获单图伪随机散斑[69]或引入格雷码编码[70]实现1000Hz级别的3D扫描。未来,将这类高时域分辨率硬件与相移法深度融合有望成为攻克非刚性物体超高速度形变时的运动补偿难题,实现复杂动态场景下的瞬态精密三维感知的重要路径。

本文仅做学术分享,如有侵权,请联系删文。

从重影到波纹:相移结构光动态测量误差补偿技术全解析图17从重影到波纹:相移结构光动态测量误差补偿技术全解析图18从重影到波纹:相移结构光动态测量误差补偿技术全解析图19从重影到波纹:相移结构光动态测量误差补偿技术全解析图20

添加微信:cv3d001,备注:姓名+方向+单位,邀请入群。

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
测量
more
全自研仿真GPU求解器x虚实对标物理测量工厂,打造具身合成数据SuperApp,加速具身仿真生态丨光轮智能@MEET2026
芯片测试测量技术讲座(成都)
万用表使用大全(20条测量方法,建议收藏)
2025年全球量子精密测量行业投融资情况:美国投融资活动最为活跃
铀资源探采与核遥感全国重点实验室顺利完成无人机高光谱测量系统的引进与验收
芯片测试测量技术研讨会(成都)
亚德诺ADA4530-1超微弱电流精密测量,助力实现飞安级电流放大与工业应用
破乳剂与超低界面张力:揭秘油水分离的微观斗争与科学测量 (3/4) 第三部分:科学之眼——掌控超低张力测量的绝对利器
NIST新方法可精确测量微小样本中的放射性
以测量,破局产线效率!HIOKI日置高阻计系列赋能8轨MLCC泄漏电流的“快准稳”检测
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号