TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：智驾机器人技术前线

星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图1

论文信息

论文标题：End-to-End 2D-3D Registration Between Image and LiDAR Point Cloud for Vehicle Localization
作者：Wang, Guangming and Zheng, Yu and Wu, Yuxuan and Guo, Yanfeng and Liu, Zhe and Zhu, Yixiang and Burgard, Wolfram and Wang, Hesheng
项目地址：https://github.com/IRMVLab/I2PNet
期刊来源：IEEE Transactions on Robotics
论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=11078010

演示demo

摘要

机器人利用已构建的地图进行定位对于包括精确导航和移动操作在内的多种任务至关重要。一种流行的机器人定位方法是基于图像到点云配准，该方法结合了抗光照变化的基于激光雷达的建图和经济的基于图像的定位。然而，最近关于图像到点云配准的工作要么将配准分为单独的模块，要么将点云投影到深度图像上以配准RGB和深度图像。在本文中，我们提出了I2PNet，这是一个新颖的端到端2D-3D配准网络，它直接使用微分模块和统一目标将原始3D点云与2D RGB图像进行配准。我们提出了一个用于微分2D-3D关联的2D-3D代价体积模块，以连接特征提取和姿态回归。在2D-3D代价体积模块中，软点到像素的对应关系隐式地构建在内在独立的归一化平面上。此外，我们引入了一个异常值掩码预测模块，在姿态回归之前过滤2D-3D关联中的异常值。此外，我们提出了一个粗到精的2D-3D配准架构，以提高定位精度。我们在KITTI、nuScenes、M2DGR、Argoverse、Waymo和Lyft5数据集上进行了广泛的定位实验。结果表明，I2PNet大幅超越了现有技术，并且比以往的工作具有更高的效率。此外，我们将I2PNet的应用扩展到相机-激光雷达在线标定，并证明了I2PNet在在线标定任务上优于最近的方法。

主要贡献

提出了一种用于车辆定位的新型端到端2D-3D配准架构，命名为I2PNet。与现有方法不同，该架构中的所有模块都通过统一目标联合优化，并且保留完整的3D点云以实现大范围定位。
提出了新颖的2D-3D代价体积模块，以实现端到端的2D-3D配准。2D-3D代价体积模块在相机内参无关的空间中微分地关联3D点和2D像素。
在KITTI、nuScenes、M2DGR、Argoverse、Waymo和Lyft5数据集以及各种定位范围内进行了广泛的机器人定位实验，以展示I2PNet的优越性和泛化能力。此外，评估了I2PNet的效率，并证明端到端流程可以同时提升性能和效率。
将I2PNet的应用扩展到相机-激光雷达在线标定，并在各种任务中证明了I2PNet的有效性。

算法架构与核心模块

1. 算法框架

I2PNet以RGB图像和原始激光雷达点云作为输入。通过特征提取金字塔、粗配准和精配准，网络最终预测图像和点云之间的相对位姿。

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图2

2. 粗先验关联

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图3

3. 2D-3D代价体积模块

IC生成模块使用基于全连接或KNN的点像素混合，在针孔相机模型的归一化平面上匹配点和像素。然后，计算每对点像素的相似性并聚合以生成逐点IC特征。基于IC特征，PST嵌入模块聚合每个点的邻居的IC特征，以估计补丁空间变换信息并将其嵌入到PST嵌入特征中。该模块最终输出PST嵌入特征作为2D-3D代价体积。

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图4

给定图像和点云的特征及其位置信息，该模块估计PST嵌入特征作为2D-3D代价体积。

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图5

用于粗配准的全连接点像素混合。全连接混合将所有像素视为点的对应点候选。此外，采用逆相似性以实现鲁棒的对应点生成。

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图6

基于KNN的点像素混合。这种类型的点像素混合将K个最近的像素邻域视为像素对应点的候选。

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图7

实验仿真

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图8 — LARGE-RANGE LOCALIZATION ERROR ON THE KITTI ODOMETRY AND NUSCENES DATASETS

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图9 — LARGE-RANGE LOCALIZATION EVALUATED ON M2DGR DATASET

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图10 — GENERALIZATION EXPERIMENTS FROM KITTI ODOMETRY DATASET TO NUSCENES AND M2DGR DATASETS

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图11 — Visualization of large-range localization results on KITTI Odometry and nuScenes datasets. This figure presents the large-range localization results on the KITTI Odometry and nuScenes datasets through the visualization of image-to-point cloud registration. The color bar shows the depth of each LiDAR point. (a) KITTI Odometry (b) nuScenes.

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图12 — SMALL-RANGE LOCALIZATION ERROR ON KITTI ODOMETRY DATASET

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图13 — GENERALIZATION EXPERIMENTS ON KITTI ODOMETRY, NUSCENES, ARGOVERSE, WAYMO, AND LYFT5 DATASETS ON SMALL-RANGE LOCALIZATION TASK

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图14 — EFFICIENCY COMPARISON

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图15 — NETWORK HYPERPARAMETERS OF I2PNET

总结

在本文中，介绍了一种用于车辆定位的新型图像到点云配准架构I2PNet。I2PNet基于端到端的2D-3D配准，在激光雷达点云地图中实现了高精度和高效的大范围基于图像的机器人定位。通过新颖的2D-3D代价体积模块和异常值掩码预测模块实现了端到端的2D-3D配准。端到端的2D-3D配准使得每个模块都可以通过统一目标进行优化。此外，在架构中保留了完整的3D点云结构以进行图像到点云的关联。因此，实现了更好的配准精度。

在多个数据集和任务上进行了广泛的实验，以证明I2PNet在激光雷达点云地图中一流的相机定位能力。在KITTI里程计数据集上，I2PNet在360°和10米的大定位范围内实现了0.83°的平均旋转误差（RRE）和0.21米的平均平移误差（RTE），比之前的一流方法分别提高了60.0%的平均RRE和71.6%的平均RTE。此外，在nuScenes数据集上执行相同任务的性能也超过了之前的方法。此外，基于端到端架构，I2PNet的效率达到了20赫兹，优于之前的方法。在小范围定位任务中，I2PNet也优于之前的基于端到端2D-2D配准的方法。I2PNet的中位旋转误差和中位平移误差分别为0.67°和0.07米，分别比之前方法的最佳0.70°中位旋转误差和0.18米中位平移误差提高了4.3%和61.1%。还在各种数据集上进行了泛化测试，并证明I2PNet在两项任务上都比之前的所有方法具有更好的泛化能力。至于将I2PNet扩展到相机-激光雷达在线标定，I2PNet达到了98.17%的平均重新标定率，超过了之前在线标定方法的最佳77.47%的平均重新标定率26.7%。

最后，关于局限性和未来工作，I2PNet不能直接处理几公里大小的点云地图以实现全局定位，因为该方法通过图像到点云配准进行定位，这依赖于点云的细粒度特征提取。然而，将图像到点云位置识别模块与本文方法集成是可行的，以获得机器人在全局地图中的粗略位置，从而限制与图像配准的局部点云地图的大小。将与图像到点云位置识别模块的集成作为未来的工作。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉硬件，官网：www.3dcver.com

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图16

3D视觉学习圈子

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图17

3D视觉全栈学习课程：www.3dcver.com

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图18

3D视觉交流群成立啦，微信：cv3d001

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图19

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图20

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图21

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图22

在看‍

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图23

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图24

TRO最新佳作，IRMVLab开源I2PNet：用于车辆定位的图像与LiDAR 点云端到端配准方案图25

在看

顶尖学术助力
自动驾驶与机器人领域论文/专利全程辅导

全流程论文辅导

（1）自动驾驶可指导方向：CUDA编程，高性能计算HPC，CV/感知算法，端到端自动驾驶，决策规划，显著性分析，图像分割，LLM，自动驾驶，雷达感知，自动驾驶感知，毫米波雷达，深度学习，滤波算法，预期功能安全，自动驾驶基础共性技术研究，自动驾驶模拟仿真技术研究，自动驾驶安全性设计及验证，仿真与测试，场景生成，强化学习，预期功能安全，自动驾驶点云处理，行为识别，目标检测，视觉感知，BEV感知，边缘计算，数据处理，驾驶行为研究，点云，多模态，自动驾驶决策规划，英伟达平台模型部署优化，自动驾驶安全方向等。

（2）机器人可指导方向：机器人路径规划及算法，AI 集中在ROS机器人和CV NLP，计算机视觉，机器学习，机器人，三维视觉，图像融合，图像理解，机器人算法，SLAM，点云处理，信号处理，具身智能，智能控制，机器人柔顺控制，分数阶控制，自适应反步，产业机器人，电力检测机器人，海洋机器人，进化计算，移动机器人定位导航，位姿估计，轮式机器人，仿生足式机器人，机器人感知，语义分割，深度学习，机器视觉，工业机器人，移动机器人，机器人模仿学习，控制算法设计，多模态智能等。

专利布局与成果转化

我们专注自动驾驶和机器人等前沿领域，提供选题创新性评估、实验设计、论文写作与顶级会议/期刊投稿指导。团队源自全球顶尖实验室及企业研究院，强化创新点与工程实现，不仅保证论文产出，更传授科研思维与方法，助你掌握独立发表高水平论文的能力。提供专利挖掘、技术交底书撰写、国内外专利申请（发明专利/实用新型）全流程服务。结合产业需求，强化权利要求的保护范围与商业价值，助力成果转化与竞争力提升。

为什么选择我们？

▪️ 导师团队有3000+QS前50博导库、100% 博士团队。

▪️ 可指导期刊or会议：ICCV、IROS、ICRA、CVPR、AAAI、ICLR、T-PAMI、IJCV、T-RO、RAL、T-IV、TIP、TIM、TMECH、TVT、TASE、IEEE IoT J. 等，并提供博士硕士毕业论文全程辅导及专利授权服务。

▪️ 大牛阵容：Nature作者、顶级期刊/会议审稿人、研究员、哈耶普斯麻牛剑导师带队定制一对一学习课纲