点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
SuperGlue第一次让图神经网络在两组关键点之间学一个可微分配，用自注意力与交叉注意力把局部特征放进全局上下文里做匹配；LightGlue（则用自适应深度和相对位置编码把这件事做到又轻又快，在保持精度的同时把速度拉高一个量级。两项工作确立了“让匹配器理解全局上下文”这条路线，但它们始终有一个共同边界：只在检测到的稀疏关键点之间匹配，且只在共视图像对上训练。FlexGlue正是这条线的自然延伸——保留全局上下文聚合的思路，把查询从关键点扩展到稠密网格，把训练从“只学共视”扩展到“共视匹配 + 非共视拒绝”联合学习。
FlexGlue的核心思想可以概括为：不在两张图各自检测到的关键点之间做匹配，而是把一张图上的任意查询点，送到另一张图的稠密token网格里找亚像素对应；同时，在同一个网络里判断这两张图到底是不是同一个地方，非共视的“双胞胎”图像对在前几层就被拒绝，不必浪费后续计算。
FlexGlue作者团队来自SuperGlue、LightGlue的原班人马，FlexGlue延续了“让匹配器理解全局上下文”的路线，但这次把稀疏匹配的效率、稠密匹配的鲁棒性和视觉消歧统一进了同一个模型。
图1：深度匹配器在相似但不同的结构上会给出高置信误匹配并破坏SfM，FlexGlue联合跟踪查询点并预测共视性，从而拒绝doppelganger并提升吞吐。
1. 问题：匹配器的两个老问题，外加一个被忽视的盲区
图像匹配是SfM、SLAM、视觉定位的地基。过去几年这个方向沿着两条路走，各自撞上了不同的墙。
稀疏匹配（SuperGlue、LightGlue、LoMa）先在每张图上独立检测关键点，再在两组关键点之间学一个分配。优点是快，而且天然给出多视图所需的离散轨迹；缺点是上限被检测器卡死：一个3D点只有在两张图里都被检测到才可能匹配，检测的定位噪声也会原封不动传给对应点。在纹理弱、结构重复的室内场景，可重复性问题尤其严重。
稠密匹配（DKM、RoMa、RoMa v2、MASt3R、UFM）直接为每个像素估计对应点，不依赖检测器，对大视角和外观变化非常鲁棒，还能做到亚像素精度。代价是要在coarse-to-fine流程里为全图每个像素预测并精化对应，分辨率受限、训练昂贵，而下游通常只用得到其中稀疏的一小部分。半稠密方法（LoFTR、EDM）在粗网格上匹配再精化，便宜一些，但对应点锚定在网格单元上，多视图轨迹提取仍然别扭。
更关键的是一个共享盲区：无论稀疏还是稠密匹配器，训练时几乎只用共视图像对。但真实的SfM和SLAM必须拒绝“不同地点”的图像对，而深度匹配器会在对称立面、重复走廊这类视觉相似但实际不重叠的结构上给出大量自信匹配，导致场景崩塌。经典方法如SIFT在这种场景下有时反而更稳。近期工作（DG、DG++）尝试在匹配之后加一个专用消歧模型，但这引入了架构冗余和额外成本——而局部匹配和全局消歧本质上是同一个任务：寻找重叠的上下文。
FlexGlue的判断是：把匹配和消歧放进同一个网络联合训练，让稠密上下文聚合同时服务于两件事。
2. 方法：非对称稀疏到稠密匹配 + 逐层消歧
图2：FlexGlue架构图：双图经CNN编码与Transformer融合，输出重叠热图并判断图像对是否可匹配，不可匹配则提前停止，否则查询点经插值、相关与精化得到亚像素坐标。
给定两张图像及第一张图上的查询点，FlexGlue估计每个查询点在第二张图中的亚像素坐标，同时预测该点是否可匹配，以及整对图像是否共视。
2.1 稠密上下文聚合
每张图像先经ConvNeXt-B编码，权重由DINOv3预训练并保持冻结。冻结骨干的好处是减少对训练数据的过拟合、降低训练成本，这一点在RoMa系列中已被验证。四个stage的特征被重采样到stride 8，线性投影为初始token网格，其中。
随后层Transformer同时做自注意力（图内上下文，使用RoPE编码token坐标的相对位置）和交叉注意力（跨图上下文，无位置编码）。stride 8的token网格足以聚合整对图像的全局上下文，但对亚像素精度来说太粗——精度由后面的读取和局部精化来补。
图9：第9层token前三个主成分的PCA可视化：FlexGlue学到水平/垂直线、透视和平面性等结构先验，并清晰突出共视区域。
2.2 粗匹配：窗口化soft-argmax与entmax
对查询点，插值token网格得到描述子。与另一图所有token的余弦相似度，先在全局做softmax得到概率质量，再只在最近邻单元的邻域内重新归一化，计算期望位置：
这种窗口化soft-argmax避免全局期望在深度不连续处把两个竞争候选平均到一起，同时保留了亚单元精度。训练时，网络学习在单元之间插值，目标对应关系的双线性权重作为监督。实际实现中，softmax被替换为1.5-entmax，交叉熵替换为其稀疏对应物Fenchel-Young损失；entmax对不可能单元赋予精确零概率，提升了亚像素精度。
每个查询点还通过一个线性分类头预测matchability，指示该点是否在另一视图中可见。对应置信度定义为。与稀疏匹配器不同，均匀token网格不受局部特征密度偏置，模型不需要学习检测器的“可重复性”这一人工产物。
2.3 局部精化：两插值+一个MLP
粗读取已经把超过80%的查询放在真值2px以内，剩余误差是局部的。FlexGlue不做稠密匹配器那样的独立fine-scale CNN，而是沿用EDM的思路：用一个小MLP从当前层的token中预测亚单元偏移，MLP在单元范围内按轴分类偏移，取期望后加到粗位置上。整个过程每个查询只需要两次插值和一次MLP，代价随查询数线性增长。精化平均只移动，说明它纠正的是残余亚像素误差，而不是重做匹配。
2.4 视觉消歧：逐token投票，逐层判断
消歧的动机很直接：非重叠但视觉相似的图像对（对称建筑的对立立面、不同楼层的相同走廊）会产生虚假对应，污染视图图，甚至让重建崩溃。FlexGlue把消歧直接做进匹配器，而不是作为后处理模块。
机制上，每个token经线性层+sigmoid投出共视票，对全部token取平均得到图像对得分。逐token投票而不是从单个池化特征预测，提供了稠密监督，并要求所有token对图像对标签达成一致。每一层都监督这个得分，推理时一旦 就提前停止；是图像对阈值，衰减 让浅层只在非常确信的非共视对上停止。
图3：视觉消歧示例：左为特征PCA，中为过滤前对应，右上报告第3/9层共视得分；上行正确识别共视对，下行提前拒绝困难doppelganger。
2.5 训练：从均匀网格采样，用翻转增强造负样本
训练时，FlexGlue不从检测到的关键点采样查询，而是从的均匀网格中每格采样一个查询，加上随机亚单元偏移。这样网络从不绑定到特定检测器，测试时可以自由更换关键点。粗损失是对真值对应双线性权重的Fenchel-Young损失，精化用广义Charbonnier损失，可匹配性用平衡二元交叉熵。
总损失：
负样本引入后加上，在所有层深度监督。
由于带对称性的训练数据稀缺，FlexGlue从翻转增强中无标签地学习消歧：将图像对中的一张水平翻转，原本共视的对就变成了非共视的困难负样本。表8的消融显示，仅靠翻转增强和匹配数据集中的非重叠对，模型已经保留了大部分消歧性能，不需要大量手工标注的doppelganger对。
2.6 室内Doppelganger基准
图4：LaMAR-DG困难负样本示例：不同楼层、室内、室外与跨设备四类图像对，检索相似度高但均不重叠。
现有doppelganger基准（DG、ViSym）只包含室外场景。室内环境有自己特别困难的失效模式：同一建筑的不同楼层或走廊往往看起来几乎一样，重复纹理、低视觉多样性、挑战性光照和较小场景深度进一步限制了可用于消歧的线索。FlexGlue基于LaMAR三个大场景（CAB、HGE、LIN）构建了首个室内跨设备消歧基准：利用真值位姿和网格渲染深度计算每对图像的重叠率，重叠率在–之间标为正，为零标为负；随机采样的非重叠对太容易拒绝，因此用MegaLoc检索模型挖掘视觉相似但不重叠的困难负样本。每个场景1000对，500正500负。
3. 工程实践：四种匹配模式，ONNX与torch.compile
GitHub仓库(https://github.com/cvg/flexglue)的推理接口设计得相当灵活，核心卖点是“一个模型，四种匹配模式”。
3.1 安装与最小示例
git clone https://github.com/cvg/FlexGlue.git && cd FlexGlue
python -m pip install -e .
# 可选：使用LightGlue的检测器
python -m pip install git+https://github.com/cvg/LightGlue.git
最小匹配脚本（检测可选）：
from lightglue import ALIKED
from flexglue import FlexGlue
from flexglue.utils import load_image, pack_matches, rbd
image0 = load_image("assets/berlin1.jpg").cuda()
image1 = load_image("assets/berlin2.jpg").cuda()
inputs0, inputs1 = {"image": image0[None]}, {"image": image1[None]}
detector = ALIKED(origin="corner", max_num_keypoints=2048).eval().cuda()
inputs0.update(detector.extract(image0))
inputs1.update(detector.extract(image1))
matcher = FlexGlue().eval().cuda()
matches01 = rbd(pack_matches(matcher.match(inputs0, inputs1)))
matches = matches01["matches"]
points0 = matches01["keypoints0"][matches[..., 0]]
points1 = matches01["keypoints1"][matches[..., 1]]
如果两图都有关键点，matcher.match(inputs0, inputs1, sparse=True)会退化为类LightGlue的稀疏到稀疏匹配。
3.2 四种模式与关键参数
FlexGlue支持稀疏到稠密、稀疏到稀疏、稠密（无关键点采样）、采样四种模式，差异仅在查询的构造和对应到匹配的转换方式。
关键推理参数包括：
coarse_stride：稠密模式和采样模式的网格间距，默认8（4会使分辨率翻倍）。max_num_samples：无关键点时最大采样匹配数，默认5000。refine：是否用RoMa v2的refiner精化，默认False。filter_threshold/max_distance_px：置信度阈值与循环误差界（默认为3px），用于过滤不可靠匹配。
n_layers可以在构造时减少Transformer层数，线性降低运行时间；n_layers=0退化为纯描述子匹配。torch.compile支持CUDA图编译，torch.hub支持无安装加载，ONNX导出分为descriptor和matcher两个模型，可在无PyTorch环境下运行。
3.3 训练配置
文章训练使用8个数据集：MegaDepth、BlendedMVS、ScanNet++、TartanAir、Hypersim、Map-free、AerialMegaDepth、DL3DV，按场景均衡采样。图像resize到512×512，50个epoch、每epoch 150k样本、每设备batch size 16，4块H200约4 GPU-days；
带梯度检查点时4块RTX 4090约1.5天。学习率，前5个epoch恒定，后续余弦衰减到。最后10个epoch的微调阶段混入Doppelgangers数据（50%正/50%负）和翻转增强，学习率重置为。推理时图像对阈值，衰减。
表11：训练数据集及场景数与采样权重：8个匹配数据集按场景加权采样，Doppelgangers仅在第二阶段以1.00权重混入。
4. 实验结果：ETH3D SfM位姿AUC@3°从81.2跳到86.8，吞吐是DG++组合的7.5倍
4.1 相对位姿估计
表1：MegaDepth-1500、ScanNet-1500与HardMatch相对位姿对比：FlexGlue稀疏到稠密模式精度接近RoMa v2但匹配时间仅28.4ms，HardMatch mAA@10px 55.6为表中最高。
在MegaDepth-1500、ScanNet-1500和HardMatch上，FlexGlue以稀疏到稠密模式（Drive-RoMa行）达到58.1/73.4/84.4的AUC@5°/10°/20°，与稠密匹配器RoMa v2（62.8/77.0/86.6）相当，但匹配时间仅28.4ms对73.1ms；HardMatch mAA@10px 55.6，为表中最高。ScanNet-1500上FlexGlue的AUC@5°为33.6，显著高于LoMa-G的29.3和LightGlue的17.0，说明基于网格的上下文聚合在重复纹理的室内场景比关键点之间的聚合更有效。
稀疏到稀疏模式下，FlexGlue与LoMa相当；稀疏到稠密模式在HardMatch上最高，因为稠密对应在极端外观变化下比纯稀疏匹配更稳，但又不像纯稠密匹配那样被全图每个像素的误差拖累。
4.2 两视图与多视图
表2：七个两视图基准对比：FlexGlue除IMC22外全部最高，640px输入在TerraSky3D与SatAst上进一步拉开差距。
在HPatches、WxBS、RUBIK、IMC22、TerraSky3D、EarthMatch、SatAst七个两视图基准上，FlexGlue（2048 DaD关键点，稀疏到稠密）除IMC22外全部最高。640px输入在TerraSky3D上把AUC@10°从67.7拉到72.4，在SatAst上从48.8拉到60.8。
表4：ETH3D端到端无标定SfM对比：FlexGlue+自身消歧达位姿AUC 68.9/86.8/92.3，且吞吐30 pair/s远超DG++组合的5–11 pair/s。
ETH3D端到端无标定SfM：SuperPoint+FlexGlue+自身消歧（无DG++）达到位姿AUC 68.9/86.8/92.3，高于SuperPoint+RoMaV2+DG++的62.0/80.6/85.1和DaD+LoMa-B+DG++的62.4/81.2/85.8。
消歧不是可选项：所有深度匹配器在对称性下都会崩，而FlexGlue把消歧做进匹配器后，既不增加外部模块，又让吞吐保持在30 pair/s，远超DG++组合的5–11 pair/s。提前停止（early）进一步把吞吐推到45 pair/s，精度仅小幅下降（67.5/86.0/91.6）。
表5：IMC2025隐藏测试集对比：FlexGlue无消歧私有分数61.74已超LoMa-B，10k关键点时74.62领先榜首约8分。
IMC2025隐藏测试集：FlexGlue（无消歧）私有分数61.74，已超过LoMa-B的57.01；加上消歧后66.04；10k关键点时74.62，领先榜首约8分，而LoMa-B在10k预算下因匹配过慢触发Kaggle超时。
图10：IMC2025仅用消歧恢复的图像图：上行地标被分离为干净簇，下行单个错误对（红色）仍通过过滤。
4.3 视觉定位
表6：InLoc室内定位对比：FlexGlue在6个阈值中5个最好，匹配吞吐32 pair/s远高于RoMa v2的8 pair/s。
InLoc室内定位：FlexGlue在6个阈值中的5个取得最好结果，DUC1 0.25m/0.5m/1m为62.6/84.3/94.4，DUC2为77.9/88.5/94.7，匹配吞吐32 pair/s，高于RoMa v2的8 pair/s和LoMa-G的18 pair/s。稠密和半稠密匹配器在InLoc上普遍优于稀疏匹配，因为关键点可重复性在室内重复纹理下是瓶颈；FlexGlue在保持这一优势的同时把效率拉回到接近稀疏匹配的量级。
4.4 视觉消歧
表3：DG、ViSym-F与LaMAR-DG消歧对比：FlexGlue在ViSym-F和LaMAR上分别领先DG++约10与10.2 AUROC点，匹配时间仅28.7ms。
DG、ViSym-F、LaMAR-DG三个消歧基准上，FlexGlue在同样只用DG标注数据时，ViSym-F AUROC 95.9（DG++ 86.4），LaMAR 88.8（DG++ 78.6），+10 AUROC点，而匹配时间28.7ms对124.7ms，快4倍以上。不使用任何手工标注的doppelganger对、仅靠匹配数据和翻转增强（“matching”行），ViSym-F仍达95.3，LaMAR 88.5，说明匹配监督本身已经提供了消歧所需的大部分信号。
图6：LaMAR-DG按场景、难度、时间与设备分组：FlexGlue在hard、cross-day、cross-device组保持鲁棒，DG++显著退化。
图7：修正后的ViSym标签示例：原标签在强视角变化下漏标共视对，并将相似但不同立面误标为共视。
表10：ViSym测试重标注统计：3180对中2654对不变、475对翻转、51对不确定，保留1184对构建平衡子集。
4.5 消融
表7：匹配消融：去掉窗口化soft-argmax或替换为softmax均明显降低HardMatch与PCK@1px，精化头主要提升亚像素精度。
匹配消融：去掉窗口化soft-argmax，HardMatch从56.4掉到52.8，PCK@1px从61.0掉到59.1；用softmax替代1.5-entmax，HardMatch掉到48.6，PCK@1px掉到55.5，是单项最大退化；去掉精化头，PCK@1px从61.0掉到53.8，HardMatch仅微降，说明精化头主要提升亚像素精度；只用3层，HardMatch 49.9，PCK 39.3，时间近乎减半但精度损失明显。
表8：消歧消融：只用共视损失不用匹配损失AUROC掉最多9.3点，仅靠翻转增强仍保留大部分性能，加NaverLabs室内负样本LaMAR升至92.3。
图5：运行时间与层消融：左图显示FlexGlue随关键点数线性增长，右图显示浅层已具备强匹配与消歧能力。
表9：关键点检测器消融：SuperPoint、DaD、RaCo在两视图HardMatch上相近，多视图ETH3D与IMC2025上RaCo最准确。
5. 定性结果：从稠密匹配到消歧失败案例
图8：三种匹配模式对比：左为点到点对应按极线误差着色，中为可匹配稀疏到稀疏与仅可稀疏到稠密的关键点，右为稀疏到稠密对应。
图11：稠密匹配误差对比：FlexGlue粗读取在深度不连续处有弱点，本文精化与RoMa v2精化均可缓解。
图12：跨层稠密匹配：第3、6、9层未过滤对应按误差着色，尽管只在稀疏查询上监督，深层仍主要修正深度不连续附近错误。
图13：DG、ViSym-F与LaMAR-DG视觉消歧示例：多数困难共视对区分正确，极端外观变化或上下文缺失时偶有误标。
图14：定性匹配对比：LoMa-G、SP+RoMaV2与SP+Ours按重投影误差着色并报告匹配数与3px精度，底部为三类失败案例。
6. 局限与结论
文章的局限也写得很坦率：查询之间误差相关，因为粗网格上的插值是强制的、学习出来的，而相对位姿估计假设点误差独立；大部分误差沿极线方向（61.0 PCK@1px vs. 88.4%极线精度@1px），说明FlexGlue学到了某种带噪声的极线几何。精化精度在易配对上仍不如RoMa v2的稠密refiner；深度不连续处精度从>90% PCK@5px降到约75%，因为网络被迫插值，而双侧分布会让对应落到不连续的另一侧；窗口化读取只部分缓解了目标侧的问题，更精细的特征有望进一步改善。后层交叉注意力扩散局部化：经验上，粗注意力在后层往往提升不大，交叉注意力的扩散在网络深处非常局部。
但方向是清楚的。当SfM和SLAM从“光照良好、纹理丰富”走向“重复结构、弱纹理、跨设备”时，匹配器不能只回答“这两个点像不像”，还必须回答“这两张图该不该匹配”。FlexGlue给出的答案是：用稠密网格理解全局上下文，用稀疏查询保持效率，用同一个网络在每一层判断共视性——匹配和消歧不是两个模块，而是同一个上下文聚合任务的两种读出。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
