点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
一、RGB-X数据对齐的隐形瓶颈：标定、深度、遮挡，每一步都在传播误差
除了RGB光谱之外的传感器，在自动驾驶夜视、泄漏检测、鲁棒自主系统等应用中不可或缺。近红外传感器可以在夜间或恶劣天气下提供可见光相机无法捕捉的信息，热成像传感器可以检测气体泄漏、辅助夜间行人检测，合成孔径雷达则能在全天候条件下成像。这些传感器各有不可替代的价值，但它们在研究中的探索程度远低于RGB。
一个根本性的原因是数据。其他传感器的数据量远少于RGB，而研究这些传感器又需要它们与RGB配对且视图对齐，才能借助RGB基础模型提供的丰富场景理解能力。热成像图像原生低纹理、低对比度，很多任务依赖RGB特征来补足。问题在于，真实世界中不同传感器采集的数据往往存在多重错位：内参不同、时间不同步、相对位姿未知、度量深度缺失。传统工业方案依赖3D重投影，需要繁琐的传感器标定——测量内参、同步传感器、估计相对位姿、获取度量深度——每个阶段的误差都会传播到最终结果，而且仍然无法解决位移带来的遮挡问题。
COLMAP等运动恢复结构方法在场景重建中广泛使用，被认为比传感器标定省力得多。但它只对RGB场景有效，在X传感器或RGB-X设置上通常失败，尤其是热成像这类低纹理传感器。RGB-X系统通常还需要额外的高精度稠密深度传感器，例如RGB-热成像-深度系统，但这进一步复杂化了传感器配准，不具备可扩展性。一些数据集干脆假设固定深度进行重投影，并没有解决根本问题。RGB-D系统本身编码了3D信息，可以重投影到RGB视图（仍需内参，且受深度传感器精度和密度限制），而其他没有这种3D先验的传感器无法做到。
工作把这个问题摆到了台面上：获取对齐的RGB-X数据，是一个实际、基础但被广泛忽视的问题。大多数RGB-X先前工作假设这种配对已经存在，把精力放在模态融合上，但在经验层面，获取这种配对需要巨大的工程投入。工作提出了一个可扩展的框架，不需要X传感器的3D先验，只假设对RGB运行近乎零成本的COLMAP，目标是移除各种RGB-X传感器的繁琐标定，突破大规模真实世界RGB-X数据采集的瓶颈。
图1 展示了问题设定。给定来自传感器的未配对RGB-X图像，任务是合成与RGB视图像素级对齐的X图像，用于多模态应用。传统3D方法依赖完整的3D先验——包括深度和两种模态的位姿/内参——来对齐和渲染跨传感器图像。相比之下，本文的可扩展框架移除了这些依赖，实现RGB引导的X图像合成，无需X的3D先验，从而替代不同传感器的标定和度量深度获取。
二、现有路线为什么不够：匹配太稀疏、单应太平面、生成太主观
跨模态图像匹配是一条被探索过的路线。ReDFeat使用适配器和检测器获取RGB-热成像对的特征和检测分数，XoTFR使用Transformer进行粗到细的RGB-热成像匹配，MINIMA构建跨模态图像生成引擎来微调LightGLUE等匹配器，增强跨模态特征鲁棒性。但这些方法的目标是估计相机位姿或单应矩阵 ，用于将目标视图像素 和源视图像素 通过 关联。单应变换假设3D平面结构，只能将视图作为平面进行扭曲或剪切，无法产生带视差的3D效果。当场景围绕一个深度层时，单应变换有效；但当场景包含明显的前景/背景分层时，就会出现可见的错位。
图2 展示了单应变换的局限。左侧是扭曲后的RGB，中间是热成像，右侧是硬光叠加。单应变换假设3D平面结构，当场景包含明显的前/背景层时，雕像区域出现可见错位。
另一条路线是从RGB生成X图像，例如RGB到热成像的图像翻译，以获得伪配对数据。但这类方法没有利用X中的真实信息，生成过程需要处理固有的模糊性。一杯水可以是凉的也可以是冷的，仅凭外观很难判断其确切温度，生成模型无法稳定地产生与时序一致的X图像。跨模态匹配本身也面临困难：跨模态匹配器产生的对应关系远少于RGB匹配器，热成像或SAR往往包含大片均匀区域（例如缺乏表面纹理的均匀温度区域），难以提取可靠的特征点进行匹配。即使匹配成功，没有3D先验时仍然只能用估计的单应矩阵进行扭曲，受限于其底层假设。
工作的判断是：与其在输出端做匹配或生成，不如在中间表示上做致密化和整合。从少量跨模态关键点出发，用RGB引导的致密化网络恢复稠密X图像，再用自匹配过滤和3D高斯泼溅把多视图一致性补上。整个流程不需要X的度量深度、位姿或内参，也不需要为X做标定。
三、方法：匹配-致密-整合，三步绕开X的3D先验
工作的框架分为三个阶段：跨模态特征匹配、RGB引导的致密化与融合、自匹配过滤与3D整合。
图3展示了方法概览。第一阶段进行跨模态特征匹配，建立RGB和X图像之间的对应关系。匹配点被采样并累积到RGB视图上，产生半稠密X图像 以及多级置信度图 。第二阶段进行RGB引导的致密化，以RGB和半稠密X为线索得到稠密X图像。置信度感知致密化与融合模块整合图像匹配阶段的置信度图，引导致密化聚焦于高置信度点，得到鲁棒的 。最后阶段，自匹配机制进一步过滤不一致的patch，结果反馈到致密化阶段进行精炼。为了进一步提升多视图一致性，使用COLMAP标定的RGB视图训练RGB-X 3DGS，将两种模态整合到统一的3D RGB-X辐射场中。
RGB-X匹配：从稀疏关键点到半稠密X图
给定RGB图像 和X模态图像 ，图像匹配找到一组对应关系，将 中的坐标 映射到 中的 ，并附带置信度 。工作从图像匹配器出发，将 帧的X关键点堆叠到对应的RGB坐标中，得到 ：
其中 ， 是指示函数。如果 ，则 ，表示空白区域。
面积采样用来改善无纹理或复杂区域的匹配。工作采用GroundedSAM在RGB图像上分割这些区域，然后在掩码内从对应的扭曲X图像中均匀采样点，并且只采样这些区域5%的点，以允许错误匹配在后续被过滤掉：
置信度感知致密化与融合：把匹配置信度注入DySPN
直接致密化 会由于图像匹配的不确定性导致高度不规则的结构。工作设计了置信度感知致密化与融合（CADF）模块，将图像匹配置信度 整合进DySPN精炼。原始DySPN的循环迭代为：
工作用置信度图 交错循环步骤，降低可能错误的原始关键点的贡献，将迭代精炼集中在更高置信度的点上：
此外，更高的阈值 保留更鲁棒的点但导致更稀疏的图，更低的阈值接受更多噪声点导致不规则结构。工作执行 级阈值化和融合，用融合块 对多级致密化结果做均值池化。 用SigLIP2余弦相似度和RGB-X自匹配损失自监督训练。
自匹配过滤：用匹配器当裁判
工作提出自匹配机制。不同于图像匹配，现在有大致对齐的RGB-X对，先验是一张图像中的坐标应该映射到另一张中的相同位置。可以把图像匹配器当作裁判，评估致密化后的X图像是否有效匹配到相同坐标。计算patch级相似矩阵 ：
理想相似矩阵应该是对角矩阵。训练损失最大化对角和、最小化非对角部分：
过滤阶段用对角线集中度 确定阈值，过滤掉分数更小的patch，然后做细阶段致密化。
RGB-X 3DGS：把多视图一致性补上
为了进一步让逐帧致密化具备3D一致性，工作用3DGS整合致密化的X图像。训练RGB-X 3DGS，为每个高斯添加X通道，只保留一套参数。整个管线只要求在RGB上运行COLMAP，这是标准且被认为零成本的；实验进一步表明，即使不使用3DGS，本文的致密化图仍然优于基线。
四、实验：热成像、NIR、SAR三条线全面领先
工作在三种X模态上评估：热成像、近红外和合成孔径雷达。热成像使用METU-VisTIR-Cloudy的六个序列，以及RGBT-Scenes的四个场景；NIR使用RGB-NIR-Stereo的五个序列；SAR使用DDHR-HK的三个亚千兆像素卫星RGB-SAR对，切成512×512 patch。
热成像：METU-VisTIR-Cloudy与RGBT-Scenes
表1 展示了METU-VisTIR-Cloudy上的结果，本文方法在所有指标上持续最佳：Icos 0.69，p30 31.18，p50 34.39，p70 36.43，p90 38.72，ITM 0.92，ITcos 0.45。
图4 展示了视觉对比，本文结果的热成像物体结构最清晰。由于3D整合中使用了更好的热成像图像，RGB视图合成也比其他方法更锐利。
与StyleBooth的图像生成相比，表2 显示StyleBooth的多视图一致性更差，MEt3R为0.297，本文为0.171。
图5 上半部分展示了这一差异。
RGBT-Scenes包含配对RGB-热成像视图和真实温度。
表3 显示本文在几乎所有序列上误差更低：训练视图平均RMSE 1.70，MAE 1.21，而XoFTR为1.76/1.28，MINIMA为1.83/1.33；新视图平均RMSE 1.12，MAE 0.80，而MINIMA为1.19/0.82。
NIR：RGB-NIR-Stereo
表4显示本文方法在所有指标上持续更好：PSNR 21.152，SSIM 0.581，LPIPS 0.344，而MINIMA为20.392/0.568/0.360，LoFTR为20.179/0.551/0.356。
图7 展示了视觉对比。
图5 下半部分与PixNext对比，PixNext仍无法产生正确的强度。
SAR：DDHR-HK
表7显示本文在所有指标上最佳：PSNR 17.102，SSIM 0.302，LPIPS 0.339，而MINIMA为14.849/0.229/0.377。SAR信号对跨模态匹配具有挑战性，本文的优势在这一任务上尤其明显。
无3DGS时仍然领先
表6显示所有对比方法都不使用3DGS时，本文仍然表现最好。即使没有GS阶段，本文的平均PSNR达到21.042（表5），仍然优于表4中所有使用3DGS的方法。
五、消融：每个组件贡献多少
表5 在RGB-NIR-Stereo上逐项移除组件。完整模型PSNR 21.152，去掉3DGS后21.042，去掉自匹配与过滤后20.235，去掉DySPN置信度后19.621，去掉多级阈值后19.215，去掉面积采样后16.454。把图像匹配置信度整合进致密化使PSNR提升约1 dB；自匹配和过滤贡献约0.8 dB；3DGS进一步提升性能并获得更好的视图合成。
六、从代码到实验：快速上手3D-RGBX
代码仓库https://github.com/choyingw/3D-RGBX已公开，包含完整的数据处理管线、预训练权重和3DGS训练脚本。
环境配置方面，需要Python 3.10和CUDA GPU。克隆仓库后创建Conda环境并安装依赖：
conda create -n 3d-rgbx python=3.10 -y
conda activate 3d-rgbx
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -U pip setuptools wheel
pip install -r requirements.txt
pip install -e ./dual-diff-gaussian-ray-splatter
pip install -e ./simple-knn
稠密化脚本依赖NVIDIA Apex，需要从源码安装：
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation \
git+https://github.com/NVIDIA/apex.git
预训练权重需要下载到 checkpoints/ 目录，包括ResNet-34、RGBT/NIR/法线图致密化模型、MINIMA LoFTR、XoFTR、SAM2.1和GroundingDINO。
数据准备方面，RGBT-Scenes和METU-VisTIR需要下载并放到仓库根目录下，NIR序列放到 NIR_colmap/ 下。所有数据集的COLMAP结果都需要提前准备好。
运行管线方面，处理脚本位于仓库根目录。RGBT-Scenes使用 execute_pipeline_rgbt.sh，METU-VisTIR使用 execute_pipeline_metu_rgbt.sh，NIR使用 execute_pipeline_nir.sh，法线图使用 execute_pipeline_normal.sh。每个脚本依次执行半稠密匹配、三级致密化、均值融合、过滤、细阶段致密化和3DGS训练。
export RGBX_ROOT=/path/to/3D-RGBX
bash execute_pipeline_rgbt.sh
输出目录按阶段组织：matching/、dens/、mean/、filtered/、refined/、refined_mean/、gs_model/、gs_rendered/。
法线图3DGS需要将 NUM_CHANNELS_THERMAL 改为3并重建光栅化器，然后手动训练和渲染。
写在最后
这篇工作的核心贡献不在于提出更复杂的网络，而在于重新定义了跨传感器数据对齐的问题边界：不需要X传感器的度量深度、位姿和内参，不需要为每种传感器做繁琐标定，只需要对RGB运行近乎零成本的COLMAP，甚至不用3DGS也能取得领先。匹配-致密-整合的三段式设计把稀疏的跨模态匹配点变成稠密、对齐、多视图一致的X图像，置信度感知融合和自匹配过滤解决了低置信度区域的噪声和结构畸变问题。
工作最值得关注的数字是21.152和0.171。21.152是RGB-NIR-Stereo上的PSNR，超过所有使用3DGS的基线；0.171是MEt3R多视图一致性分数，远低于StyleBooth的0.297。这两个数字说明：不依赖X的3D先验，不仅能做到对齐，还能做到更一致、更高质量。对于热成像、NIR、SAR等缺乏大规模配对数据的传感器而言，这条路线降低了数据采集的门槛，也让跨传感器学习从“先标定再研究”变成“先匹配再致密”，工程可持续性更强。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
