点击下方卡片,关注「3D视觉工坊」公众号
选择星标,干货第一时间送达
作者供稿首发 | 编辑:3D视觉工坊
3D视觉硬件汇总,包括结构光3D相机(支持室内外,焊接,机械臂抓取等场景),相位偏折术、散斑、机械臂抓取和焊接软件,手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航,底盘。点击->查看详情:
NeRF与3DGS为SLAM提供了新的地图表示,并催生了Radiance-Field-based SLAM这一方向:在估计位姿的同时,构建可微分、可逼真渲染的高保真三维地图。相较于依赖体渲染的 NeRF,3DGS 以显式高斯与光栅化实现了更快的渲染与优化,更适合对实时性要求较高的 SLAM 系统。现有3DGS-SLAM多面向室内RGB/RGB-D场景,在剧烈运动、光照变化与弱纹理等室外条件下易失效。激光可提供精确几何先验,IMU 可提供准确的短时运动估计,额外融合两者有助于提升位姿估计与高斯建图。因此,激光-惯性-视觉3DGS-SLAM开始走入大众视野。

尽管如此,若干问题仍有待更好解决:
现有方法多依赖稠密、与相机视场对齐的激光,并以激光点直接初始化高斯,在稀疏激光盲区处易欠重建; 高斯地图几何精度常被忽视,难以同时兼顾高质量 RGB/depth 渲染与实时性; 激光-惯性-视觉里程计与高斯建图通常解耦,增量高斯地图能否反哺定位尚未被充分研究; 序列外新视角渲染评估及相应 LIC 数据也相对缺乏。
基于发表在ICRA上的会议版Gaussian-LIC,本文提出journal版扩展工作Gaussian-LIC2:在连续时间激光-惯性-视觉框架下实时估计位姿并增量构建兼顾外观与几何的高斯地图,通过深度补全缓解盲区欠重建,耦合地图光度约束应对激光退化,并发布用于序列外新视角评估的数据集。代码已开源并将持续更新维护。
📄 论文:
https://arxiv.org/pdf/2507.04004
🌐 主页:https://xingxingzuo.github.io/gaussian_lic2/
🎥 视频:https://www.youtube.com/watch?v=SkPnpuCfh88
🌟 代码:https://github.com/APRIL-ZJU/Gaussian-LIC

基于激光-惯性-视觉里程计的实时GS重建
系统前端以连续时间激光-惯性-视觉里程计估计位姿,后端并行进行高斯建图。关键帧由带位姿图像、稀疏激光深度图以及彩色激光点构成,建图线程据此初始化或扩展高斯高斯地图,并持续优化高斯地图。
建图数据准备:仅用激光点初始化高斯时,激光-相机视场不重合或激光较稀疏会导致盲区欠重建。会议版依赖在线三角化视觉点,在弱纹理与视差不足时仍不稳定。本文改用深度补全:将关键帧稀疏深度与 RGB 输入轻量 zero-shot 网络(SPNet,无需 finetune、TensorRT 推理),得到米制稠密深度。对无激光覆盖的图像块,选取补全深度可靠的像素反投影,从而生成补充点并与激光点合并,用于高斯初始化。相较于单目深度估计或 MVS,深度补全可直接利用稀疏激光的精确米制约束,更适合大规模室外场景。


Loss 构建:地图优化时随机采样历史关键帧,以抑制遗忘并保持全局一致性。总损失为外观项与深度项加权之和:外观项由渲染 RGB 与原图的 L1 及 D-SSIM 组成;深度项以稀疏激光深度为监督。增量插入高斯会使部分像素渲染深度偏小,故用渲染不透明度对深度作归一化后再计算损失,使几何监督更稳定。

CUDA 训练加速:为了在不削弱重建质量的前提下维持实时性(简化3DGS属性和强行削减优化迭代次数能显著加速,但会降低重建质量),本文聚焦于加速光栅化的前向与反向:前向采用基于 tile 的快速裁剪,剔除高斯贡献过弱的 tile;反向由按像素并行改为按高斯并行,同时一并回传深度与不透明度梯度,以减轻负载不均与原子写冲突。此外采用 Sparse Adam、分离高低阶球谐、高效可微 SSIM、warp 级谓词掩码,以及 pinned memory 与异步拷贝重叠 CPU–GPU 数据传输。

GS地图反哺连续时间里程计克服激光退化


本文在继承 Coco-LIC 连续时间框架的基础上,进一步考察:增量构建的高斯地图能否生产鲁棒的光度因子,反哺位姿估计,进而克服激光退化问题。
连续时间轨迹:旋转与平移均由非均匀累积 B 样条参数化,任意时刻位姿可写为
由此得到IMU轨迹,再经外参可得激光与相机轨迹。系统在最近,再经外参可得激光与相机轨迹。系统在最近 0.1s的滑动窗口 的滑动窗口内优化,根据运动剧烈程度自适应插入控制点后,待估状态为
其中,为该时间区间内控制点, 为陀螺仪与加速度计零偏。
激光因子:将时刻 t 的原始激光点变换到世界系,在 ikd-Tree 地图中取最近邻点拟合平面,构造点面残差
惯性因子:由轨迹导数预测的角速度与加速度,与 IMU 观测及零偏构成
光度因子:固定当前高斯地图,在图像时刻t渲染,先用 Adam 迭代优化相机位姿,使渲染图贴近原图:
当户外光照与相机曝光变化较大时,单独 L1 损失易干扰梯度方向,故引入 D-SSIM 以增强结构一致性约束。记优化后位姿为,再用其构造因子
联合优化:滑动窗口内求解
其中来自边缘化先验。优化由中求解,并使用解析雅可比加速。激光退化时, 来自边缘化先验。优化由 Ceres中 LM 求解,并使用解析雅可比加速。激光退化时,可提供额外定位约束。

光度约束是否可靠,与地图几何精度密切相关——几何不准时,渲染残差难以用作稳定约束(见Table2中的Gaussian-LIC2(c2-w/o-d))。
三者兼顾:视觉质量、几何精度、实时性能



在公开与自建 LIC 数据上,系统可实时输出能渲染高质量 RGB/depth 的高斯地图。由实时重建的高斯地图亦可进一步提取 mesh,服务于几何相关下游任务。
总结与展望
Gaussian-LIC2本身的价值可总结为两点:
鲁棒实时的3DGS重建,兼顾外观与几何; 在线重建的3DGS地图反哺于传统多源融合里程计。
未来,结合feed-forward并关注大规模地图管理,是值得改进的方向。
本文仅做学术分享,如有侵权,请联系删文。
。




添加微信:cv3d001,备注:姓名+方向+单位,邀请入群。