点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
LiDAR点云全局配准是自动驾驶建图、跨会话定位与多传感器融合的基础环节，其鲁棒性直接决定了下游定位与重建的可用性。
然而基于学习的配准方法高度依赖几何表示，对点云密度、扫描模式、视角及传感器特性的变化极为敏感，跨传感器、跨场景泛化能力不足。
本文提出CVSD-Reg，一种鲁棒的全局LiDAR配准框架，通过将视觉基础模型的视觉语义先验蒸馏进LiDAR表示，实现推理时完全无需相机的跨传感器零样本泛化。
核心亮点在于：作者在Stage 1让Point Transformer V3学生网络从冻结的DINOv2教师网络通过对比蒸馏与球面流形对齐学习，保留教师嵌入空间的超球面几何，并结合自监督InfoNCE一致性与软SE(3)不变性获得视角鲁棒描述子；Stage 2将蒸馏表示适配至配准任务，通过对应学习、密度感知点丢弃增强与端到端位姿优化完成配准。仅用单一检查点，CVSD-Reg即可泛化至单传感器与零样本跨传感器场景且推理无需相机，在KITTI、nuScenes、HeLiPR上分别取得严格成功率（SR@0.5m/1°）97.7%、99.0%、99.3%，含稀疏16线Velodyne上的97.3%，较SOTA几何配准方法最多领先44.0个百分点，且无需相机输入或事后ICP精修。
标题：CVSD-Reg: Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration
作者：Eunsoo Im, Junghun Suh, Gyeonggwan Lee, Seunghwan Hong
原文链接：https://arxiv.org/abs/2608.19536
导读
基于学习的全局点云配准已取得显著进展，但其对几何表示的依赖使现有方法对点云密度、扫描模式、视角和传感器特性的变化非常敏感。本文提出CVSD-Reg，一种鲁棒的全局LiDAR配准框架，将来自视觉基础模型的视觉语义先验蒸馏进LiDAR表示。在Stage 1中，Point Transformer V3学生网络从冻结的DINOv2教师网络通过对比蒸馏与球面流形对齐学习，保留教师嵌入空间的超球面几何；自监督InfoNCE一致性与软SE(3)不变性进一步鼓励视角鲁棒的描述子。在Stage 2中，蒸馏表示通过对应学习、密度感知点丢弃增强与端到端位姿优化被适配至配准任务。仅用单一检查点，CVSD-Reg即可泛化至单传感器与零样本跨传感器场景而无需传感器特定适配，且推理时完全无需相机。在KITTI、nuScenes和HeLiPR上，CVSD-Reg分别取得严格成功率（SR@0.5m/1°）97.7%、99.0%和99.3%，含稀疏16线Velodyne扫描上的97.3%，较SOTA几何配准方法最多领先44.0个百分点，且无需相机输入或事后ICP精修。
效果展示
图 2：基于 PCA 特征着色可视化的跨模态蒸馏。高维描述子经 PCA 投影映射至 RGB 色彩空间，颜色相近代表特征方向相似。(A) RGB 图像帧（前视相机 CAM_FRONT）上的 DINOv2 特征。(B) 将相同教师特征映射至激光雷达点云。(C) 随机初始化的学生网络输出颜色近乎均匀（无语义结构）。(D) 蒸馏完成后，仅以激光雷达作为输入的学生网络恢复出与 (B) 中教师高度匹配的颜色拓扑结构。
引言
LiDAR点云全局配准旨在估计两帧点云之间的刚体变换，是自动驾驶高精地图构建、跨会话重定位与多视角重建的核心前置步骤。配准的精度与鲁棒性直接决定了建图闭合率与定位可用性。
现有基于学习的全局配准方法通常遵循"特征提取-对应匹配-位姿估计"的范式，通过深度网络学习点云的几何描述子。近年来，以Point Transformer、KPConv等为代表的点云骨干网络在几何特征提取上取得显著进展，使配准精度大幅提升。
然而，这些方法的核心局限在于其几何表示对点云密度、扫描模式、视角与传感器特性的变化高度敏感。当传感器型号改变（如从64线变为16线）或扫描模式不同时，几何特征的分布会发生偏移，导致描述子匹配失败、配准成功率骤降。为每个传感器单独训练或微调既昂贵又难以覆盖真实部署中的多样性。
本文动机在于：视觉基础模型（如DINOv2）通过大规模图像预训练获得了丰富的语义先验与视角不变的表示能力。若能将这些视觉语义先验跨模态蒸馏进LiDAR点云表示，便可在不依赖推理时相机的情况下，赋予点云描述子视角鲁棒与跨传感器泛化的能力。
主要贡献
本文的主要贡献可归纳为以下三点。
• 提出跨模态视觉语义先验蒸馏框架CVSD-Reg，通过对比蒸馏与球面流形对齐将冻结DINOv2教师的语义先验迁移至Point Transformer V3学生，保留超球面几何结构，使LiDAR描述子获得视角鲁棒性。
• 设计自监督InfoNCE一致性与软SE(3)不变性约束，并结合密度感知点丢弃增强，使蒸馏表示进一步具备视角一致性与跨密度、跨传感器的鲁棒泛化能力。
• 仅用单一检查点实现单传感器与零样本跨传感器配准，推理完全无需相机，在KITTI、nuScenes、HeLiPR上取得97.7%-99.3%严格成功率，较SOTA几何配准方法最多领先44.0个百分点，且无需事后ICP精修。
方法
CVSD-Reg采用两阶段框架。Stage 1为跨模态蒸馏阶段，目标是赋予LiDAR表示视觉语义先验与视角鲁棒性；Stage 2为配准适配阶段，将蒸馏表示落地到配准任务并端到端优化位姿。
关键技术模块方面，Stage 1中Point Transformer V3作为学生从冻结DINOv2教师学习，通过对比蒸馏对齐点云与图像特征，并采用球面流形对齐保留教师嵌入空间的超球面几何；此外引入自监督InfoNCE一致性约束与软SE(3)不变性，鼓励描述子在视角变化下保持稳定。Stage 2中，蒸馏表示被适配至配准：通过对应学习建立点对匹配，利用密度感知点丢弃增强模拟不同密度与传感器条件，最终通过可微位姿估计端到端优化SE(3)变换。
训练时，Stage 1先完成跨模态蒸馏获得鲁棒描述子，Stage 2再在配准任务上微调；推理时仅使用LiDAR点云与训练好的单一检查点完成描述子提取、对应匹配与位姿估计，整个过程无需任何相机输入，也无需传感器特定适配或事后ICP精修。
实验结果
实验在KITTI、nuScenes、HeLiPR三个数据集上展开，涵盖不同线数与型号的LiDAR传感器，评测指标为严格成功率SR@0.5m/1°，并与多种SOTA几何配准方法在统一设置下公平对比。
主要结果显示，CVSD-Reg在KITTI、nuScenes、HeLiPR上分别取得97.7%、99.0%、99.3%的严格成功率，含稀疏16线Velodyne上的97.3%，较SOTA几何配准方法最多领先44.0个百分点，且无需相机输入与事后ICP精修，单一检查点即可实现零样本跨传感器泛化。
消融实验验证了各模块贡献：球面流形对齐对保留教师超球面几何与描述子质量至关重要；InfoNCE一致性与软SE(3)不变性显著提升视角鲁棒性；密度感知点丢弃增强是跨传感器零样本泛化的关键，去除后稀疏传感器场景成功率明显下降，印证了视觉语义先验蒸馏与增强策略的协同必要性。
总结 & 未来工作
本文提出CVSD-Reg，通过跨模态蒸馏将DINOv2视觉语义先验迁移至LiDAR表示，结合球面流形对齐、自监督一致性与密度感知增强，以单一检查点实现推理无需相机的零样本跨传感器全局配准，在多个数据集上取得97.7%-99.3%的严格成功率，较SOTA几何方法最多领先44.0个百分点。
未来工作可探索将该蒸馏框架扩展至更多视觉基础模型与多模态融合，并进一步提升极端稀疏或非结构化场景下的配准鲁棒性，实现更广泛的真实部署覆盖。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
