点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
摘要：激光雷达（LiDAR）与相机的多源融合是提升导航系统环境感知与定位精度的关键技术，其融合效果直接依赖于传感器间外参标定的准确性。针对现有标定方法存在的特征约束单一、几何特征易受数据噪声影响及基于传统互信息的无标靶标定方法环境适应性较差等问题，提出了一种单目深度辅助的LiDAR-相机外参两阶段联合优化标定方法。首先，在粗标定阶段，采用集成了ArUco标记与圆孔阵列的复合标定板，并使用基于奇异值分解的迭代最近点算法解析求解外参初值，无需预设初值，可有效避免陷入局部最优的问题。进而，在精标定阶段，引入单目深度估计网络获取稠密预测深度图，并构建跨模态几何先验。通过融合基于特征点集的几何约束与基于归一化互信息距离的深度约束，建立多目标联合优化函数，并通过非线性优化算法实现外参的精标定。实验结果表明，该方法能有效克服点云与图像间的模态差异，显著降低传统互信息方法对光照与材质属性的依赖。即使在粗标定特征提取受限的情况下，仍可通过全局深度对齐实现误差校正，最终各方向的平均旋转误差为 ，平移误差为 。相较于传统基于单一几何特征约束的标定方法与基于图像灰度和激光强度的互信息标定方法，所提方法显著提升了多源融合导航中跨模态数据对齐的精度与系统在复杂环境下的鲁棒性。
0 引言
随着智能导航技术的发展，单一传感器难以满足复杂场景下的高精度定位需求，尤其在全球卫星导航系统（global navigation satellite system，GNSS）拒止环境下更为突出。而基于激光雷达（light detection and ranging，LiDAR）与视觉相机的多源融合导航系统，凭借LiDAR的高精度测距、全天候抗干扰作业能力，以及相机的高分辨率纹理与丰富语义特征，成为实现自主定位与环境重构的重要手段。LiDAR的空间几何信息与相机的视觉纹理信息在数据层面形成优势互补，有效克服了LiDAR在几何特征退化区域匹配不稳定的问题，以及相机在弱纹理、重复纹理或光照剧烈变化场景下的感知失效风险。
多源数据融合的基础在于建立传感器间精确的几何映射关系。这依赖于严格的传感器标定技术，包括描述成像几何模型的内参标定及求解异构坐标系间刚体变换矩阵的外参标定。外参标定作为统一多传感器空间基准的关键环节，其精度直接决定了融合系统的位姿解算误差与多源数据（点云和图像）的空间配准质量。依据标定约束条件与技术路径的差异，现有研究可归纳为标靶标定、无标靶标定、运动约束标定及深度学习标定四大类。
基于标靶的方法通过在场景中布设棋盘格、ArUco码等人工标识物，利用点线面等显著同名特征构建几何约束模型。该类方法自Zhang等提出经典棋盘格标定以来，凭借高精度求解优势占据主导地位，但其繁琐的人工布设流程与有限的环境适应性制约了自动化应用。为克服这一局限，无标靶标定方法应运而生，该方法摆脱了物理标识束缚，通过提取自然环境中的边缘、语义特征或利用图像灰度与点云强度的互信息（mutual information，MI）优化目标函数。该方法虽可实现动态场景的在线标定，但在纹理稀疏或光照剧变条件下，其鲁棒性与通用性仍面临挑战。与上述基于静态特征的方法不同，基于运动约束的方法将校准问题转化为手眼标定框架，利用传感器随载体运动的位姿序列反向推导外参，具备无需视场重叠的独特优势，但其精度高度依赖轨迹丰富度与内参准确性，极易受噪声干扰。而随着人工智能的发展，基于深度学习的方法近年来成为研究热点，有效减少了人工干预。该类方法既包括通过提取全局或局部特征直接回归参数的精确外参估计（accurate extrinsic parameter estimation, AEPE），也包括基于检索匹配机制的相对外参预测（relative extrinsic parameter prediction, REPP），虽在环境适配性上表现优异，但在模型可解释性、泛化性及数据集构建体系方面仍处于探索阶段。
总体而言，当前LiDAR与相机外参标定方法在复杂场景下的精度与鲁棒性仍受限于单一特征约束的固有缺陷：一方面，仅依赖几何特征的标定方法极易受点云离散性、边缘散射噪声及特征点提取精度的影响，导致空间对齐产生偏差；另一方面，基于传统互信息的无标靶标定方法通常利用图像灰度与LiDAR反射强度构建约束。然而，物体的表面颜色特征与激光反射强度之间可能表现出显著的物理不一致性，这种固有的模态差异使得在光照剧变或材质纹理交替等复杂情况下，两者的统计联合分布呈现显著离散性，进而使目标函数陷入局部最优或直接发散，难以提供稳健的跨模态匹配关联。
为此，本文提出一种基于单目深度辅助的两阶段外参联合优化标定方法。该方法的核心是针对上述单一特征约束的固有缺陷，不再依赖单一类型的约束信息，而是通过融合几何特征约束与信息约束，建立一套更为可靠的联合约束框架，以此弥补单一特征约束的局限性。在此基础上，鉴于传统互信息方法中所依赖的灰度与强度特征信息易受环境干扰、稳定性较差的问题，本文引入深度学习驱动的单目深度估计网络，生成稠密的预测深度图，通过该深度图建立与LiDAR测量深度信息的有效关联，将传统互信息方法中易受干扰的表观特征约束，替换为稳定性更强的空间几何约束。具体而言，本文采用“粗标定-精优化”的策略：首先，基于复合标定板预提取的三维特征点集，利用奇异值分解（singular value decomposition，SVD）优化的迭代最近点（iterative closest point，ICP）算法快速求解外参初值，为后续优化提供高可靠性的初始位姿，以避免陷入局部最优的困境；其次，构建融合几何距离约束与深度信息约束的双重目标函数，利用点集的欧氏距离保证局部物理空间对齐，同时引入归一化互信息距离（normalized mutual information distance，NID），精确量化LiDAR实测深度与图像预测深度在全局拓扑结构上的分布相似性。这种联合优化机制不仅有效弥补了单一几何特征提取精度不足的缺陷，而且克服了颜色与反射率不一致带来的干扰，显著降低了传统互信息标定对环境纹理与光照条件的依赖，最终实现多源融合导航系统中外参的高精度鲁棒标定。
1 基于单目深度辅助的两阶段外参联合优化标定
本文所提方法的整体流程如图1所示，主要包括基于特征点集配准的粗标定与基于几何约束和信息约束的精准标定两个核心阶段。
1.1 基于特征点集配准的粗标定
在LiDAR与相机外参标定中，特征的精确提取是实现外参高精度估计的前提。在粗标定阶段，首先分别对二维图像与三维点云数据进行特征检测与提取，构建跨模态同名特征点集；随后，利用基于SVD优化的ICP算法对特征点集进行配准，从而快速解算出稳健可靠的外部参数初始值。
1.1.1 特征提取
为从图像中获取三维特征点集，本文采用基于ArUco标记阵列与几何先验信息融合的图像特征点检测与三维坐标解算方法，旨在从单帧图像中精确提取已知结构布局的圆心及标定板顶点等关键特征点，并将其统一映射至相机坐标系下。该方法以定制化的ArUco标记圆孔复合标定板作为视觉参考基准，其详细规格参数及几何尺寸如图2所示。
本文粗标定的整体特征提取流程如图3所示。首先，依据预定义的ArUco编码字典对输入图像进行检测，提取标记的边缘角点，并引入亚像素细化算法以获取高精度的二维角点坐标。同时，构建以标定板平面为基准的局部坐标系（Z轴垂直于板面），并依据标定板的物理设计参数，确定各标记角点在此坐标系下的理论三维坐标。利用上述二维检测角点与其三维坐标的投影对应关系，通过透视N点（perspective-n-point，PnP）算法解算标定板相对于相机的位姿参数（旋转矩阵 和平移向量 ）。
在此基础上，依据几何参数即可确定圆心与轮廓顶点在标定板局部坐标系下的精确三维位置 ，并利用得到的位姿参数将其统一映射至相机坐标系。
式中， 为相机坐标系下的三维特征坐标。经此变换，即可精确获取相机坐标系下的圆心与顶点三维坐标。
针对点云特征提取，其整体流程如图4所示。由于原始点云存在高冗余度，本文首先通过体素下采样降低数据维度，再利用随机抽样一致性（random sample consensus，RANSAC）算法代替常规最小二乘法，设定阈值以有效剔除离群噪声；同时，提取主要几何平面，并结合聚类算法与点拾取交互以提取标定板平面，通过坐标对齐将其投影至二维空间。随后，通过边界聚类与RANSAC圆拟合定位圆孔中心，利用标定板圆孔的设计尺寸及相互间距对候选圆心组合进行筛选，进一步解决类圆噪声带来的误匹配问题。
鉴于标定板顶点常因点云稀疏或边缘效应出现缺失的问题，本文提出一种结合主成分分析（principal component analysis，PCA）与理想几何约束的混合优化算法。首先，利用PCA对前述方法提取出的标定板边缘点云进行降维分析，以质心为原点，以特征向量方向为基向量，构建局部坐标系。此步骤为后续优化提供初始的平移向量 和旋转角度 。随后，根据标定板的物理尺寸建立理想矩形数学模型，定义待优化参数集 ，构建以模型边缘采样点 与实际观测点 之间最近邻距离为约束的目标函数。
本文采用Nelder-Mead算法最小化理想矩形模型与观测点云的距离残差。为兼顾观测真实性与模型完整性，引入距离阈值 。针对优化后的理想顶点，若其最近邻观测点的距离 ，则将该观测点作为真实顶点；否则，利用优化后的矩形模型顶点进行虚拟补全。该策略有效解决了点云缺失或边缘畸变问题，确保了特征的几何一致性。
1.1.2 基于SVD-ICP的外参初始化
在获取了相机坐标系下的图像特征点集 与LiDAR坐标系下的点云特征点集 后，需求解最优刚体变换参数（旋转矩阵 与平移向量 ），使得两组配对点集间的欧氏距离平方和最小。本文基于ICP配准方法，构建目标函数如下
针对上述最小二乘问题，采用基于SVD的闭式解法。该方法的核心思路是将旋转与平移求解解耦：首先，计算两组点集的几何质心并进行中心化处理，消除平移量的影响；随后，构建去质心点集的互补方差矩阵，通过SVD直接求得最优旋转矩阵；最后，结合质心偏差恢复平移向量。该算法无需迭代即可获得唯一解析解，为后续的精准标定提供了高可靠性的初始值。
1.2 基于几何约束和信息约束的精准标定
尽管通过SVD获得的初始外参具备解析解的高效性，但由于LiDAR点云的稀疏性及特征提取过程中不可避免的噪声干扰，仅依靠几何特征点的代数解通常难以达到高精度对齐。为此，在精准标定阶段，本文引入单目深度估计网络作为跨模态信息的桥梁，构建基于归一化互信息距离与几何重投影误差的联合优化目标函数，利用Powell非线性优化算法对刚体变换矩阵进行求解。
1.2.1 视觉深度图估计
为在稠密像素层面衡量LiDAR与相机的数据一致性，本文利用单目深度估计网络DepthPro预先从相机图像中推断出稠密的预测深度图。该模型基于多尺度Vision Transformer架构，采用“规范化逆深度”作为中间预测表征，并通过并行的焦距估计分支从图像特征中预测相机的水平视场角，进而恢复焦距，其网络结构如图5所示。最终，模型依据式（4）的几何关系，将相对深度映射为具有绝对物理尺度的绝对深度 ，如下
其中： 为估计焦距； 为图像宽度； 为规范化逆深度。
同时，为获得LiDAR点云对应的深度信息，本文利用2.1节中粗标定得到的初始外参 及相机内参 ，将点云投影至图像平面，生成稀疏的真实深度图。对于点云中的任意一点 ，其在相机坐标系下的坐标 及图像平面坐标 计算如下
其中， 为缩放因子。在投影过程中，针对物体间遮挡问题，仅保留落入同一像素网格内深度值 最小且大于零的点。然而，LiDAR在测量过程中，近距离区域易受盲区或多径反射干扰，远距离区域则因波束发散、点云稀疏导致测量精度显著下降。同时，深度估计模型在处理场景中深度极大值区域（如天空、远景）时，会出现预测效果不明显或深度值赋予异常数量级的问题。若直接采用传统归一化方式，极少数极端离群噪声会大幅压缩主体有效深度的分布区间，导致正常深度层次被过度挤压、结构对比度不足，进而影响后续深度一致性度量的准确性。因此，本文分别计算两者有效深度值的第5百分位 和第95百分位 ，利用式（7）将深度值映射至[0，1]区间，以消除异常值的影响。
1.2.2 NID约束计算
由于LiDAR测量的真实深度与深度估计网络的预测深度在数值尺度上存在较大差异，直接采用逐像素均方根误差（root mean square error，RMSE）等度量方式并不适用。因此，本文采用基于信息论的NID作为相似性度量。NID对模态差异具有极强的鲁棒性，能够有效衡量两个不同分布之间的统计相关性。
将上述归一化后的深度图 量化为 个直方图区间，计算两者的联合概率分布 及边缘概率分布 。由此可得信息熵 与联合熵 为
互信息 定义为 。
最终，归一化互信息距离 定义如下，其值越小表示两幅深度图的结构一致性越高。
本文确定直方图区间数量 的核心依据为：在选定的区间数量下，对应的深度量化分辨率可大致区分标定板、背景墙面及其他典型物体，使不同深度目标在直方图中形成可辨识的分布梯度特征，进而为后续外参优化提供稳定可靠的深度量化依据。从信息熵的计算原理来看， 的合理设置直接影响NID的计算结果及外参优化的稳定性。若 设置过大，会导致联合概率分布过度离散，引发目标函数数值振荡，不利于优化过程的收敛；若 设置过小，则会丢失深度梯度信息，弱化信息约束作用，难以对外参优化过程形成有效约束，最终降低外参优化精度。因此，只要 的设置能够维持联合概率分布的稠密性，且不丢失场景宏观空间层次信息，信息约束项对外参优化的收敛特性即可保持稳定，从而确保标定精度的鲁棒性。
1.2.3 联合优化
在构建多目标优化函数时，由于几何重投影误差表现为米级的物理量纲，而NID为无量纲的统计信息量，直接线性叠加将导致优化梯度受到数值量级差异的显著干扰。针对此问题，本文首先引入LiDAR测量噪声先验作为标准化基准，构建具有统计学意义的联合目标函数。具体而言，给定粗标定阶段提取的 对（）几何特征点集，其几何RMSE 定义为LiDAR特征点经外参变换至相机坐标系后与对应图像特征点的欧氏距离统计值，计算公式如下
其中： 与 分别为LiDAR与相机坐标系下的第 对同名特征点； 为待优化的李代数形式的外参变量。为消除量纲差异，假设LiDAR测距误差服从高斯分布 ，其中 为LiDAR的测距精度。将几何误差转化为相对于传感器噪声的无量纲比率的几何约束项 为
该指标在物理意义上表征当前几何残差相对于传感器固有噪声的标准差倍数，可实现几何约束与NID约束在数值维度上的归一化对齐。在此基础上，定义总目标函数为
其中， 和 分别为调节几何精度与信息一致性贡献度的权重参数。
针对权重参数的设置，为在特征点提取质量波动的情况下确保最优的收敛路径，本文提出一种基于初始几何残差评估的自适应权重策略。在执行非线性优化前，将几何约束项 作为特征可信度的判据以配置权重。
当初始 时，表明特征点对存在显著噪声，几何初值可靠性较低。此时，系统采取“深度信息引导”策略，赋予NID约束项主导权重（，），利用深度信息约束引导外参远离由几何特征提取精度不足造成的错误局部极值。当 时，表明几何误差处于传感器噪声的合理波动范围，特征质量可靠但仍需精细对齐。此时，系统采取“协同优化”策略，赋予两者相等权重（），在基于几何特征限制搜索空间的同时，也利用深度信息修正偏差。当 时，表明几何特征提取精度较高。此时，采取“精度锁定”策略，降低NID权重（），以防止预测深度图中的统计噪声干扰已达成的亚厘米级几何配准精度。
由于目标函数中的NID项涉及离散直方图统计与联合熵计算，使得目标函数在参数空间内呈现高度非线性且不可微的特性，传统基于梯度的优化算法不再适用。为此，本文采用Powell共轭方向法进行免导数迭代求解。该算法的核心思想是在无需显式计算雅可比矩阵的前提下，通过在 维参数空间中构建一组共轭搜索方向，将多维优化问题分解为一系列一维线性搜索子问题。优化过程中，算法利用一维精确线搜索策略动态更新共轭方向集，以适应目标函数的局部拓扑结构，从而高效稳定地收敛至最优解。通过上述联合优化机制，系统不仅确保了标定板关键特征点的几何对齐，还充分利用了环境背景的深度结构信息进行微调，使外参标定结果兼具物理几何的精确性与跨模态结构的一致性。
2 实验与分析
本实验依托小米迷你主机（Xiaomi Mini PC）硬件平台，运行环境为Ubuntu20.04操作系统。LiDAR选用Livox Mid-360混合半固态型号，其测距随机误差小于 ，角度随机误差小于 ，点云输出速率为20万点/s，采集帧率 ，具备 水平视场角，最大量程可达 。相机选用内置GC2093感光芯片的摄像头，最高像素为200万，实验中图像分辨率设为 ；相机内参通过张正友棋盘格标定法获取，内参参数为[764.233，764.026，631.942，374.934]，畸变系数为[-0.41513，0.20564，0.00016，-0.00007]。该相机集成于上海代数律动公司的AlgoT1组合导航设备内部，LiDAR则刚性固定于该设备顶部，具体安装拓扑结构如图6所示。在数据获取时，鉴于LiDAR具备非重复扫描的技术特性，仅需将设备保持静止并采集数秒，即可获取原始点云数据。在进行同步图像采集时，在传感器间刚性连接且相对静止的前提下，于点云采集的时间范围内选取单张图像即可。
鉴于多传感器系统外参真值难以直接获取，本文通过手动辅助标定流程构建评估基准。该流程首先使用览沃（Livox）官方提供的livox_camera_lidar_calibration标定工具，选取高反射率标定物的特征对应点进行PnP解算，获取初步精确外参；随后在OpenCalib20开源平台上，以点云投影的视觉一致性为约束准则进行精细化微调。尽管标定过程较为复杂，但其在标定精度上具有显著优势，标定结果与传感器安装的物理几何尺寸高度吻合。
2.1 深度信息约束可行性分析
为评估深度信息约束在相机-LiDAR外参标定方法中的可行性，本文首先对多模态数据的统计分布特性进行了对比研究。实验分别统计了外参真值下的图像灰度与点云反射强度、图像预测深度与雷达实测深度的分布规律，如图7所示。本文采用归一化互信息距离作为量化评价指标，描述特征分布之间的相关程度，旨在从统计学角度验证异构数据在几何与物理属性上的内在一致性，为本文方法提供理论支撑。
图7所示的实验结果表明，在外参真值下，图像灰度与点云强度的联合分布呈现显著离散性（图7（a）中NID高达0.889），反映出两类信号即使在几何对齐时相关性依然微弱，难以形成稳健约束。这主要是由成像机理与光谱响应的本质差异造成的：图像灰度受可见光漫反射及环境光源影响，不同材质在不同波段下的激光反射特性存在差异，导致大量跨模态样本的统计分布出现不一致，因此基于灰度信息的统计关联性高度依赖特定场景，缺乏普适性。相比之下，图像预测深度与点云深度的联合分布呈现清晰的线性正相关（图7（b）中NID约0.493），展现出高度的一致性。深度的物理本质是物体到传感器的三维空间距离，这种几何一致性构成了跨模态数据融合的客观基础；尽管单目深度估计存在绝对尺度偏移，但此类仿射变换不影响深度值的空间排序与拓扑关系，在正确外参下仍能保持高度的单调一致性，足以反映场景的结构化关联。因此，深度特征避免了光谱与材质的干扰，其关联机制源于三维结构本身，具备更强的可靠性与通用性，以此作为核心优化目标能显著提升相机-LiDAR外参标定的精度与鲁棒性。
为进一步验证以深度信息差异作为优化目标函数的有效性，本文设计了一组外参扰动实验，系统验证NID值在外参偏离真值过程中的变化规律。具体而言，在已知真值外参的基础上，分别沿横滚（Roll）、俯仰（Pitch）和偏航（Yaw）3个旋转自由度施加不同程度的角度扰动（），计算每一扰动组合下图像预测深度与点云实测深度之间的NID值，并绘制其变化曲面。
如图8所示，NID随外参扰动的增大呈现出“类倒锥形”拓扑特征，这表明当外参逼近真实值时，NID趋于全局极小值，两模态深度的联合分布表现出强相关性；随着旋转偏差的引入，NID在各扰动轴向上均单调递增，展现出优异的参数判别性能，这表明基于深度信息约束所构建的目标函数具备良好的收敛鲁棒性。因此，采用深度信息NID约束作为优化准则，可在较宽泛的初始参数域内有效引导优化流程收敛至全局极小值。
综上所述，本节实验证实了以深度NID为优化目标的相机-LiDAR联合标定方法，在理论与实践层面均具备优越性能。因此，深度一致性约束是构建高精度、强鲁棒性多模态感知系统标定框架的理想选择，为后续标定流程的设计提供了坚实的理论基础与方法支撑。
2.2 外参标定结果分析
为验证本文所提相机-LiDAR外参标定方法的精度，在多种场景下采集7组不同观测位姿下的传感器数据开展标定测试。本文设计消融实验以对比不同方案的性能，对比方法包括基于圆心点集的SVD-ICP方法（FAST-Calib）、基于顶点点集的SVD-ICP方法、融合圆心与顶点点集的SVD-ICP方法及采用固定权重策略和自适应权重策略的本文方法。本文方法采用两级优化框架，先通过圆心与顶点联合SVD-ICP完成粗标定，再引入深度信息约束开展精优化。各方法在全部实验序列上的平均标定误差如表1与图9所示。
表1和图9的结果表明，粗标定阶段提供的初始外参可将误差收敛至较小范围，其中旋转外参误差较小，但平移量（尤其是Y轴方向）对点特征提取精度较为敏感。经本文精标定方法优化后，各方向平均误差均得到明显降低，其中加权策略下平均旋转误差为 ，平均平移误差低至 。从消融对比可以看出，未加权的精标定方法虽在平移精度上较几何特征匹配有明显提升，但仍存在一定波动；而引入自适应权重机制后，优化过程避免了几何误差较大的项主导优化方向、深度信息约束作用不充分的问题，使得旋转和平移误差进一步下降，尤其在 轴平移分量上提升更为稳定。其核心原因在于，仅依赖点特征匹配进行外参解算的方法，易受激光点云边缘散射及环境噪声干扰，导致特征提取偏差直接反映在解算结果中；而本文方法以点特征解算为初值，引入深度信息构建约束，并通过自适应权重平衡几何匹配与深度约束的贡献，有效抑制了特征误差带来的外参漂移，在保证两级优化稳定性的同时，实现了更高精度的相机-LiDAR空间对齐。
为进一步展现标定方法的有效性，图10展示了点云在图像上的重投影效果。由于点云密度较高，为清晰观察对齐精度，在重投影过程中对其进行了均匀降采样处理，便于直观观察图像与点云的空间对齐情况。实验过程中发现，激光束照射至标定板边缘时，会不可避免地产生散射效应；同时，标定板边缘受扫描角度等限制，出现部分边缘缺失现象，导致提取得到的标定板边缘轮廓不完整。上述两种因素共同作用，使得检测到的边缘特征与标定板真实边缘之间存在明显偏差，进而干扰特征提取精度，最终导致粗标定结果下的点云重投影目标轮廓出现显著偏移，部分区域点云与图像对应特征无法准确匹配。经本文提出的精标定算法修正后，点云与图像数据实现精准对齐，重投影后的点云能够更加贴合图像中标定板的实际轮廓。这进一步证明了，即使在点特征提取质量不佳的情况下，精标定阶段仍能通过深度信息的全局约束，有效弥补单一几何特征匹配的缺陷，修正特征提取误差带来的外参偏差，确保得到高精度的相机-LiDAR外参。
为验证本文提出的标定框架对不同单目深度估计网络的适配性及敏感性，本文选取了基于不同架构的5种单目深度估计模型进行对比分析，其中AdaBins与MiDas是早期主流的卷积神经网络（convolutional neural network，CNN）架构模型；DPT、DepthAnything及DepthPro则是基于Transformer架构的模型。图11展示了各模型在同一标定场景下的深度预测可视化结果。
从图11可以看出，以DepthPro为代表的Transformer架构模型在深度拓扑恢复方面显著优于CNN模型。凭借在大规模且多样化数据集上的预训练，DepthPro与DepthAnything能够捕捉到复杂的几何细节（如圆孔边缘及其背景信息）。DepthPro的核心优势在于其多尺度视觉Transformer（vision transformer，ViT）架构对亚像素信息的感知能力，以及兼顾度量精度与边界锐度的两阶段训练策略。而基于CNN架构的网络在该标定场景下的预测效果较差：AdaBins由于仅在小规模室内数据集上完成训练，存在严重的泛化瓶颈，难以提取有效深度特征；MiDas虽具备一定的轮廓提取能力，但其边缘锐度不足，且边界处理较为模糊。
本文进一步对比研究了不同网络模型预测深度与点云深度的分布特性。图12给出了外参真值条件下，各模型预测深度与LiDAR实测深度的联合分布，并采用归一化互信息距离量化评估特征分布间的相关性。结果表明，AdaBins的联合分布呈现显著的非线性离散特征，表明其深度预测一致性较差且误差较大；MiDas与DPT的分布趋势相近，均呈现凸对角线特征，说明两者在对齐状态下，预测深度与点云深度的分布仍存在偏差，未能完全一致；DepthAnything与DepthPro表现最优，两者的联合分布贴合对角线，且高频分布点高度集中，表明其预测深度在全量程范围内均与点云深度真值保持了较高的线性相关性和空间一致性。从模型结构层面分析，CNN模型受限于局部感受野与浅层特征提取机制，在跨数据集迁移时易出现域自适应不足问题；而Transformer依托全局注意力机制与大规模预训练先验，能够学习到更通用的几何先验与深度规律，对未知标定场景具有更强的域泛化能力。定量分析结果显示，DepthPro的NID值最低，DepthAnything次之，AdaBins的NID值最高，进一步验证了基于Transformer架构、在大规模数据集上完成预训练的深度模型，能够为外参优化提供更稳定、更具判别性的深度约束。所有模型的联合分布特征与可视化分析结果一致，也说明选用高一致性深度模型是提升跨模态深度对齐精度与外参标定鲁棒性的关键前提。
为进一步定量评估不同网络模型的深度估计性能对标定方法的影响，本实验以粗标定参数为基准，沿各轴向同比例施加不同量级的初始扰动。该实验设计旨在系统分析本文所提标定方法在采用不同模型预测的深度信息作为约束时，标定系统的收敛范围及其稳定性，为标定方法融合策略中的模型选择提供可靠的实验支撑。
由图13分析可知，当采用不同模型的预测深度作为信息约束时，标定结果呈现显著差异。其中，基于AdaBins的标定方法，其旋转参数与平移参数的标定误差均偏大，旋转RMSE大于 ，平移RMSE大于 。这表明当初始外参存在不同程度扰动时，AdaBins提供的深度信息约束稳定性不足，难以引导优化过程可靠收敛，最终导致标定结果与外参真值存在显著偏差。相比之下，基于DepthAnything与DepthPro的标定方法表现更稳定，即便初始外参受到不同程度扰动，旋转RMSE始终控制在 以内，平移RMSE保持在 以内。由此可得，深度预测结果越准确、细节越完整，模型对标定场景几何拓扑结构的还原度就越高，所构建的深度约束也就越接近真实几何关系，从而在非线性优化中提供更稳定的梯度方向与更强的收敛能力，有效抑制初值扰动与特征噪声带来的偏移。反之，若深度模型对场景结构恢复不完整、边界模糊或数值偏差较大，其约束项会引入额外误差，使得优化易陷入局部最优甚至发散。综上，本文所提标定方法中深度模型的选择，核心取决于模型的深度预测精度与泛化能力。模型若能完整恢复标定场景的拓扑结构，并提供清晰可靠的边界与层次信息，就能为联合优化提供更强的收敛能力，进而实现更高精度的外参标定。
为深入探究传统基于灰度的信息约束与本文所提的深度信息约束对初始外参偏差的敏感程度，本文在粗标定结果的基础上，通过在不同轴向同比例施加多等级扰动，系统对比了基于灰度与基于深度两种方案的标定表现。该实验旨在量化不同偏移等级下的标定误差，进而评估目标函数的收敛半径及在大范围参数空间内引导外参向真值收敛的特性。
从图14可以看出，基于灰度信息方法的标定误差分布具有较高不确定性，波动较为剧烈：当旋转偏移大于 时，Roll轴角误差在 之间大幅振荡；在平移方向上，Y轴在 偏移处出现大于 的极端偏差。这种无序波动表明，灰度与强度特征在非精确对齐状态下难以形成平滑的梯度，导致目标函数收敛半径受限，在发生较大偏移时外参结果趋于发散。这进一步印证了2.1节的论点，即受成像原理及材质反射性差异的影响，该特征无法提供稳定的信息约束。具体而言，相机成像依赖光线反射形成灰度纹理，而LiDAR的强度信息则取决于目标表面的反射率与激光入射角度，二者成像原理存在本质差异；同时，标定板表面材质的反射特性不均匀、环境光照变化及标定板边缘的漫反射效应，会导致灰度与强度特征的提取精度显著受外界因素干扰，特征一致性较差，无法形成稳定且可靠的约束关系，进而在初值偏移较大时，无法引导优化过程稳定收敛，最终导致标定误差剧烈波动，甚至发散。相较之下，基于深度信息方法的标定结果展现出显著的鲁棒性。其误差稳定性较高：三轴角误差均稳定在 以内； 轴平移误差波动小于 ， 轴误差仅在 范围内轻微浮动。实验结果进一步证实了深度几何一致性产生的“类倒锥形”拓扑特征：即使初值存在显著偏差，深度约束仍能提供单调且明确的优化导向，确保标定流程实现高精度收敛，有效弥补了粗标定阶段点特征提取的精度不足等问题。
从统计层面直接验证深度约束的优越性，图15对比了两种约束方案在标定前后的NID值分布差异。由图15(a)可知，标定前基于灰度信息约束方法的NID值分布于 ，说明相机灰度与LiDAR强度特征的跨模态相关性较差；精标定后NID值虽略有降低，但仍维持在0.85以上。这源于外观特征（灰度、强度）的固有局限性：相机与LiDAR成像原理不同，且灰度与强度特征易受环境光照、材质反射不均匀、纹理缺失及边缘漫反射等因素影响，稳定性不足，导致经外参优化后，二者跨模态匹配度仍较低。图15(b)显示，基于深度信息约束的方法在精标定后，NID值从标定前的 降至 ，且分布趋于集中。深度信息作为场景固有几何特征，不依赖光照、材质反射及纹理条件，可稳定反映三维拓扑结构，其构建的约束鲁棒性更强，能在优化过程中提供稳定梯度导向，修正外参偏差，提升图像预测深度与LiDAR实测深度的分布一致性。该结果与前文标定误差、重投影效果分析相呼应，量化验证了深度约束的优越性及本文选择深度信息作为精标定核心约束的合理性。
综上，本文提出的粗标定与联合约束精标定方法，核心优势在于选择深度信息约束替代传统灰度信息约束以构建优化架构。实验结果充分证明，深度约束相较于传统的灰度约束具有更强的鲁棒性与稳定性，能够有效克服灰度约束易受光照、材质及外参偏移影响的局限性；同时，结合几何约束，既解决了仅依赖几何特征的标定方案易受特征提取精度不足与噪声干扰的问题，又通过深度约束的精准微调作用修正初始外参偏差，保证了复杂环境下的高精度标定。
3 结论
针对LiDAR与相机多源融合系统的外参标定问题，本文在分析传统标定方法存在的特征约束形式单一、几何特征提取精度易受干扰及互信息类标定方法环境适应性薄弱等不足的基础上，提出并实现了一种基于单目深度估计辅助的两阶段外参标定框架。主要结论如下：
1.引入单目深度估计网络能够有效将易受干扰的灰度特征转化为几何深度特征。相较于传统的灰度-强度信息约束方法，基于深度信息约束的方法具有更强的鲁棒性与稳定性，能有效避免光照变化与材质反射率对标定的干扰。通过SVD-ICP粗标定与几何-信息联合精标定策略，本文方法利用深度信息的约束能力弥补了特征提取阶段的噪声等影响，引导参数稳健收敛，最终实现平均旋转误差 、平移误差 的高精度对齐。该互补机制显著提升了复杂环境下传感器标定的鲁棒性，具有较强的工程实用价值。
2.当前受单目深度估计网络的绝对深度精度瓶颈限制，预测值与真值间尚存在数值偏差，因此本文采用统计意义上的NID指标，而非几何距离进行度量。尽管NID具备较强的鲁棒性，但受其统计特性限制，在微小误差范围内的抗噪能力仍有提升空间，难以达到点对点的理想对齐精度。
未来工作将聚焦以下方向：随着网络模型性能提升，若能恢复更高保真度的绝对深度，优化函数将由统计级的NID升级为逐像素的深度残差，实现像素级标定精度；同时，探索其在同步定位与地图构建（simultaneous localization and mapping，SLAM）系统中的在线标定扩展潜力，通过实时深度对齐，实现无人工干预的外参动态校正。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
