机器人在黑暗中、烟尘弥漫的环境里,或者摄像头被遮挡之后,还能知道自己在哪里吗?传统视觉 SLAM 依赖图像特征、纹理和连续帧之间的匹配,当光照骤变、图像模糊、纹理缺失或视觉特征大量丢失时,定位就可能发生漂移甚至跟踪失败。但机器人定位的本质并不是依赖摄像头“看见”世界,而是通过不断获取运动与环境约束,估计自身的位置、姿态和运动状态。 当视觉信息不再可靠,IMU、激光雷达、毫米波雷达、轮速计,甚至足端接触信息,都可能成为维持机器人定位的另一条路径。只是不同传感器的能力与边界并不相同:IMU能够提供高频运动信息,但存在累积漂移;轮式里程计可以估计短时位移,却可能因打滑产生误差;激光雷达不受光照影响,但在长走廊、空旷区域或几何结构退化环境中也可能失去足够的定位约束;毫米波雷达具有一定的雨雾、烟尘适应能力,却面临点云稀疏、噪声和动态目标干扰等问题。真正决定机器人能否在视觉失效后继续工作的,不是简单增加传感器,而是能否判断当前哪些观测仍然可信,并及时利用其他信息源弥补定位约束的缺失。
这种方向已经出现在近年来的机器人顶会研究中。RaCo-SLAM(ICRA 2026) 针对4D毫米波雷达点云稀疏、噪声复杂以及动态物体干扰等问题,提出基于物理信息的特征提取和Co-Visibility Consistency Factor(共可见性一致性因子),利用雷达自身观测建立全局一致性约束,实现超过40 Hz的实时雷达SLAM,为视觉之外的定位路线提供了新的研究方向。FIRE-LIVWO(IROS 2026) 则更进一步,将 LiDAR、IMU、视觉、轮式里程计与毫米波雷达结合,利用雷达增强机制提升多传感器系统在烟尘、隧道及感知退化场景中的运动估计能力;其项目展示了多模态融合在恶劣环境下的优势,并报告完整融合方案在相关测试序列中取得更好的定位结果。STEAM-LIVO(ICRA 2026)针对自然环境中的激光点云稀疏、视觉特征丢失和传感器退化问题,将激光几何残差与视觉重投影约束融合到时空自适应估计框架中,论文报告在相关自然场景测试中实现平均相对位姿误差1.77%,展示了不同传感器约束在退化场景中的互补价值。而 LODESTAR(IEEE RA-L 2026) 则从另一个角度处理定位失效问题:面对长走廊、稀疏观测及几何退化,系统通过自适应Schmidt-Kalman Filter和历史测量信息利用机制,增强LiDAR-Inertial Odometry在弱约束环境下的估计能力。 这些研究并不意味着视觉已经不重要,而是说明定位系统正在从单一传感器依赖,走向根据观测质量、环境变化和运动状态动态调整信息来源的多模态定位架构。
从工程落地来看,机器人在视觉失效后仍然能够安全运行,需要的不仅是一个SLAM算法,而是一套具备传感器冗余与失效处理能力的定位系统。例如可以采用 LiDAR + IMU + Wheel Odometry + Radar 作为基础架构:IMU负责高频状态预测,轮速计提供运动约束,LiDAR通过点云匹配维持几何定位,毫米波雷达则在视觉退化或特定恶劣环境下补充速度与空间观测;对于四足机器人,还可以结合足端接触状态、关节编码器和力矩信息辅助判断运动状态。系统层面可以利用 ROS 2、FAST-LIO2、LIO-SAM、EKF、因子图优化等技术构建融合定位框架,并通过传感器健康检测、异常观测剔除、置信度调整和故障切换机制,提高系统可靠性。与此同时,2025年Robotica发表的视觉失效恢复研究还探索了另一种思路:在视觉SLAM正常运行时记录机器人路径的采样运动参数,当视觉失效后利用这些历史运动信息实现回退导航。但这种方式本质上属于失效后的路径恢复,并不等同于在失去视觉之后仍然持续获得准确的全局定位。
未来SLAM真正值得关注的,不只是机器人在正常环境中能定位得多准,而是当摄像头失效、雷达退化、轮子打滑,甚至多个传感器同时面临挑战时,机器人能否识别自身定位能力正在下降,主动寻找新的空间约束,并在不确定性不断增加的情况下依然做出安全决策。 这或许才是下一代自主机器人从“能够定位”走向“具备定位韧性”的关键一步。
那么,该如何系统学习3DGS、三维重建、具身智能等3D视觉前沿技术呢?今天就给大家推荐一个专业、干货满满的学习圈子————「3D视觉从入门到精通」知识星球,这里不仅有SLAM和3DGS的学习资料,还覆盖了自动驾驶、具身智能、无人机、机械臂抓取等方向的干货资料。
经常有粉丝问这样一个问题:
「3D视觉从入门到精通」知识星球,里面有什么内容? 加入星球,是不是可以学习视频课程呢?有哪些会员权益? 以下将给大家详细介绍?(注:扫码加入后,可在知识星球APP/网页端微信登录,即可进入星球)
今天,咱们一起聊一聊这个沉淀了近9年的3D视觉技术圈子。
一 什么是知识星球?
知识星球是一个高度活跃的社区平台,在这里你可以和相同研究方向的小伙伴一起探讨科研工作难题、交流最新领域进展、分享3D视觉最新顶会论文&代码资料、分享视频(讲解3D视觉重要知识点)、发布高质量的求职就业信息,承接项目等,当然还可以侃侃而谈,吐槽学习工作生活。
二 「3D视觉从入门到精通」知识星球
目前已有近6300+活跃成员,主要涉及方向:工业3D视觉、SLAM、自动驾驶、三维重建、无人机、具身智能、大模型等科技前沿方向。


细分方向众多,包括但不限于:工业3D视觉、三维重建、自动驾驶、具身智能、大模型、扩散模型等科技前沿方向,也涉及视觉竞赛、硬件选型、视觉产品落地经验分享、学术&求职交流等。我们也会紧跟最新前沿科技发展,也是我们星球里的热门讨论话题。

三 星球内全系列视频教程汇总

视频教程分为两大板块:第一板块为核心主线课程,精心打磨了近20门系列视频教程,内容系统、循序渐进,更是大家学习的重点,带你学习工业3D视觉、SLAM、3DGS、自动驾驶与无人机等3D视觉技术,下面我们会详细介绍这部分内容;第二板块为前沿技术分享,特邀行业大咖与学术大牛开展直播分享,内容全面覆盖具身智能、自动驾驶、三维重建、数字人、扩散模型、3D生成等热门前沿方向,本部分为非重点内容,不再做详细介绍。
3.0 3DGS独家视频教程
3.0.1 3DGS三维重建系列视频教程

3.0.2 基于NeRF、3DGS三维重建的SLAM算法视频教程
本视频教程从理论和代码实现两方面展开,带你从零入门NeRF/Gaussian Based SLAM的原理学习、论文阅读、代码梳理等。理论层面,从线性代数入手到传统的计算机图形学,让大家明了现代三维重建的理论基础和源头;代码层面通过多个练习手把手教会大家复现计算机图形学、NeRF相关工作。

3.1 基础课程
3.1.1 高精度相机标定从理论到实战系统教程
本课程主要包含两部分,分别是相机标定和3D视觉,相机标定包含单目、双目和鱼眼相机标定;3D视觉包含立体视觉、结构光和TOF,以立体视觉为主。课程提供对应数据与代码。
课程亮点:除了相机标定的基础原理和代码之外,星球里还补充了高精度相机标定的改进方法以及实战技巧,这是相当硬核的。

3.1.2 ROS2从入门到实战视频教程
ROS2从入门到实战视频教程,从小白方式介绍到高阶使用讲解,对ROS2进行全面的实操教学训练,为大家提供系统性的学习机会。

3.1.3 四旋翼飞行器:算法与实战

3.1.4 C++从零基础入门到进阶
力求通过视频教程的学习,彻底搞懂C++较难的一些模块,掌握SLAM等算法的编写套路,学会C++相关岗位的面试技巧。学懂本课程,并且对其中的疑难点能够较好的理解运用,可以达到1-2年的C++开发工程师的经验水平。

3.2 工业3D视觉系列视频课程
3.2.1 基于面结构光三维重建系列视频


3.2.2 机械臂抓取、三维点云、三维重建等

3.2.3 线结构光(单双目)三维重建系统教程等
本门课程面向实战教学,手把手带你从零实现一套属于自己的线激光3D扫描系统。几乎每一个章节都配备有相应的讲义、代码,帮助大家更好地理解线激光三维重建技术。

3.3 SLAM系列视频
3.3.1 如何轻松拿捏LIO-SAM?(提供注释版本代码)

3.3.2 彻底剖析激光-视觉-IMU-GPS融合SLAM算法
本视频课程从理论和代码实现两个方面对激光雷达-视觉IMU-GPS融合的SLAM算法框架和技术难点进行讲解,并且博士大佬会根据自己多年的机器人工程经验,向大家讲解在实际机器人应用中多模态融合的方法和技巧。

3.3.3 ORB-SLAM3理论基础+关键技术详解

3.3.4 视觉-惯性SLAM:VINS-Fusion原理精讲
视觉-惯性SLAM的入门与实践视频教程,结合VINS-Fusion源码,系统地对视觉-惯性SLAM的基础理论知识进行梳理。整套课程由一线算法工程师教授,从基础理论到代码剖析,保姆级教学,助力学员一步步从小白成长为大牛。

3.4 自动驾驶
3.4.1 面向自动驾驶领域的多传感器融合系统教程
主要分两个大模块:理论篇和实战篇,理论篇部分主要介绍自动驾驶中常用的传感器硬件、传感器间的时间同步和空间同步以及多传感器间的信息融合理论知识;实战篇更多偏向工程应用,工程中传感器间同步与融合如何实现等。

3.4.2 面向自动驾驶领域的3D点云深度学习目标检测
本视频教程以3D点云深度学习为主,对Point-based和Voxel-based系列的3D目标检测网络架构进行系统剖析和代码梳理,助力各位同学在点云深度学习更快的入门和更深的理解。

3.4.3 单目深度估计方法:理论与实战视频
视频教程主要分为两大部分:理论篇和实战篇,由于有监督方法的深度真值获取困难,且无监督方法的效果与有监督方法几乎相当,我们将课程的重心放在了无监督方法上。

3.4.4 自动驾驶中的深度学习模型部署实战视频
本视频教程将采用理论和实践相结合的思路,首先对TensorRT的编程模型以及GPU/cuda的相关知识进行讲解,带领大家达到知其所以然的程度;之后课程将用分类、检测、分割三个例子来展示详细编程流程,并给出相关代码,达到真正能落地的工业级分享。

四 3D视觉基础入门
考虑到很多初学者在配置3D视觉软件或者视觉库可能会有困难,我们已经为大家梳理了各个模块的配置教程文档,供学习参考。

五 3D视觉源码汇总

下面为大家节选展示星球内的3D视觉行业相关源码:


六 高质量项目发布与对接
下面为大家节选展示星球内的项目承接:



七 专业的智囊团为星球成员答疑解惑
下面为大家节选展示星球内的答疑解惑:




八 最新前沿顶会论文分享
下面为大家节选展示星球内的前沿顶会:







九 精华问题100问
下面为大家节选展示星球内的精华问题100问:
结构光


相位偏折术


BEV与Occupancy


MVSNet


线结构光


Transformer


机器人规划控制

四旋翼建模与控制

十 3D视觉方向求职招聘
下面为大家节选展示星球内的求职招聘内容:


十一 星球会员权益
项目、学习、求职中遇到的问题,免费获得解答。 终身免费学习星球往期已更新完毕的所有视频内容。 星球每月之星给予丰厚的现金奖励。 优先承接来星球内部项目对接。 终身免费下载星球往期分享的文献和项目代码。 优先获得3D视觉企业(与工坊深度合作企业)内推资格。 快速找到志同道合的学习伙伴,不再单打独斗,抱团取暖,走得更快更远。 不定期星球内部会组织项目实训,包括相机标定、机械臂抓取、三维重建优化等
写在最后
目前已有6400多名3D视觉从业者正在星球里一起交流、分享、进步,我们也欢迎您一道同行!

