超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!

3D视觉工坊 2026-10-11 00:00

点击下方卡片,关注「3D视觉工坊」公众号
选择星标,干货第一时间送达

来源:3D视觉工坊

3D视觉硬件汇总,包括结构光3D相机(支持室内外,焊接,机械臂抓取等场景),相位偏折术、散斑、机械臂抓取和焊接软件,手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航,底盘。点击->查看详情:超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图1

LiDAR场景流估计逐点运动,是自动驾驶运动预测、动态障碍物跟踪与三维场景理解的关键技术。

然而主流自监督方法依赖Chamfer loss的最近邻搜索,无法保证运动刚性,导致同一刚体内点的运动不一致,尤其对大尺寸物体而言流一致性极差。

本文提出RVLoss,一种通过设计引入运动刚性的自监督损失,利用两阶段runoff vote(runoff投票)机制从最近邻搜索结果中提炼出主导刚性流候选,作为伪标签指导自监督学习。

核心亮点在于:作者观察到逐点最近邻运动可通过top-k投票聚类为少数主导流候选,且用这些候选补偿源点云后,最能代表底层刚性运动的流会在第二轮top-1投票中获得最高共识;据此将两阶段runoff投票融入损失设计,生成簇级刚性流与自由形式流作为伪标签,可无缝嵌入现有前馈架构,在Argoverse2 2026 Challenge上达到自监督方法SOTA,较采用其他损失设计的基线提升20%,并在四个额外数据集上跨库评测一致提升。

论文标题:RVLoss: Runoff Vote Loss for Self-Supervised LiDAR Scene Flow Estimation

作者:Shiming Wang, Liangliang Nan, Julian Kooij, Holger Caesar, Yancong Lin

原文链接:https://arxiv.org/abs/2608.18864

导读

LiDAR场景流估计两帧连续扫描之间的逐点运动,分别称为源与目标。当前领先的自监督方法通常最小化Chamfer loss,即流补偿后的源点云与目标点云之间的最近邻距离。然而最近邻搜索并不强制运动刚性,常导致同一物体实例内的流不一致。已有方法通过额外正则项缓解该问题,但点间流一致性仍然有限,尤其对大物体而言。本文提出RVLoss,一种通过设计引入运动刚性的自监督损失,其核心利用runoff vote机制。关键观察是:由最近邻搜索得到的逐点运动常可通过投票聚类为少数主导流候选(top-k投票);进一步,用这些候选补偿源点云后,最能代表底层刚性运动的流往往在第二轮投票中获得最高共识(top-1投票)。基于此洞察,作者将两阶段runoff投票融入损失设计,生成簇级刚性流与自由形式流作为自监督学习的伪标签。RVLoss可无缝集成到现有前馈架构中。Argoverse2 2026 Challenge上的实验表明,使用RVLoss训练的模型在自监督方法中达到SOTA,相较采用其他损失设计的基线模型提升20%。此外,跨数据集评测在四个额外数据集上展现一致的性能提升。

超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图2

效果展示

图 5:定性对比。分别展示采用 TeFlow 损失函数与本文所提 RVLoss 训练得到的 DeltaFlow 模型的场景流预测可视化结果。点云颜色代表运动流向,颜色饱和度表征场景流幅值。物体区域应当呈现色彩一致的分布模式。相较于 TeFlow 损失 [10],RVLoss 能够使单个物体内部生成更为均匀的着色效果(方框标注区域),证明其输出的场景流估计结果具备更强的一致性。超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图3

引言

LiDAR场景流旨在估计两帧连续点云之间的逐点三维运动向量,是理解动态三维场景的基础能力。在自动驾驶中,场景流可直接用于运动物体分割、轨迹预测与碰撞预警;在机器人感知中,则有助于动态障碍物的跟踪与避障。

现有方法可分为有监督与自监督两类。有监督方法依赖标注的场景流真值,但这类标注获取成本高昂且易含噪声。因此自监督方法受到广泛关注,其主流范式是最小化Chamfer loss:将源点云按估计流补偿后,计算其与目标点云之间的最近邻距离作为损失。

然而,最近邻搜索本质上是逐点独立进行的,并不约束同一刚体内部的点共享一致运动。这导致估计出的流在同一物体实例内常常不一致,尤其在大型物体(如长卡车、建筑物墙面)上表现更差。已有方法尝试通过额外正则项(如局部刚性约束、场景流刚性损失等)缓解,但流一致性的提升仍然有限,且正则项的权重与设计也带来新的调参负担。

本文动机在于:与其在事后添加正则项修补不一致,不如在设计损失时就内嵌运动刚性约束。作者发现最近邻搜索结果中潜藏着刚性运动的统计结构,可通过投票机制高效提取,从而构造天然的刚性伪标签。

主要贡献

本文的主要贡献可归纳为以下三点。

• 提出RVLoss自监督损失,通过设计而非事后正则化引入运动刚性,从根本上解决了Chamfer loss导致的流不一致问题。

• 发现并提出两阶段runoff投票机制:top-k投票将逐点运动聚类为少数主导流候选,top-1投票从候选补偿后的共识中选出最能代表刚性运动的流,二者共同生成簇级刚性流与自由形式流伪标签。

• RVLoss可无缝集成到现有前馈架构,在Argoverse2 2026 Challenge上达到自监督方法SOTA,较其他损失设计基线提升20%,并在四个额外数据集上跨库评测一致提升,验证了其通用性与可迁移性。

方法

RVLoss的整体框架基于现有前馈场景流估计网络,其核心创新在于用两阶段runoff投票替换或增强原始的Chamfer loss。网络对输入的源与目标点云进行特征提取与运动回归,输出逐点场景流;在此基础上,RVLoss模块利用投票机制构造刚性伪标签并计算损失。

超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图4
超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图5

关键技术模块包括两阶段runoff投票与伪标签构造。第一阶段为top-k投票:对源点云每个点,根据最近邻搜索得到候选运动,对所有候选运动进行投票聚类,选出投票数最高的k个主导流候选。第二阶段为top-1投票:用这k个候选分别补偿源点云,再对补偿后的源与目标进行最近邻搜索并计算共识度(如补偿后的最近邻距离或匹配点数),共识度最高的候选即为最能代表底层刚性运动的流。基于此,将簇内点按该刚性流对齐生成簇级刚性流伪标签,同时保留逐点的自由形式流伪标签,二者共同作为自监督学习的监督信号。

训练时,网络以自监督方式学习回归场景流,损失由RVLoss生成的伪标签计算;推理时直接输出网络预测的逐点流,无需任何投票后处理,保证了高效的实时推理。

实验结果

实验在Argoverse2 2026 Challenge上进行主实验,并在四个额外数据集上开展跨库评测,所有模型采用相同的前馈骨干网络,仅损失设计不同,以保证公平对比。

超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图6
超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图7
超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图8

主要结果显示,使用RVLoss训练的模型在自监督方法中达到SOTA,相较采用其他损失设计的基线模型提升20%;跨数据集评测在四个额外数据集上均展现一致的性能提升,证明了runoff投票机制在强化运动刚性方面具有跨数据分布的鲁棒泛化能力。

消融实验验证了两阶段投票各部分的必要性:仅使用top-k投票而无top-1共识筛选会引入噪声候选,仅使用单轮投票无法充分提炼刚性主导流;同时簇级刚性流伪标签与自由形式流伪标签的协同优于单独使用任一类,表明刚性约束与自由表达的结合最为有效。

总结 & 未来工作

本文提出RVLoss自监督损失,通过两阶段runoff投票机制从最近邻搜索结果中提炼刚性主导流作为伪标签,在设计层面内嵌运动刚性约束,解决了Chamfer loss导致的流不一致问题,在Argoverse2 2026 Challenge及四个额外数据集上取得自监督方法SOTA与一致提升。

未来工作可探索将runoff投票机制扩展至更高效的非线性运动建模(如铰接体、可变形物体),并结合时序多帧信息以进一步提升长序列场景流的稳定性与一致性。

对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

本文仅做学术分享,如有侵权,请联系删文。

。

超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图9超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图10超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图11超越基线20%!RVLoss:两轮runoff投票,自监督LiDAR场景流SOTA!图12

扫码添加微信,备注:姓名+方向+单位,邀请入群。

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
AR
more
不做AGI,只做你的“电脑替身”:Hark Pro试图重构AI交互的底层逻辑
AI重构创意工具链:Getartcraft开源项目挑战Adobe垄断地位
英伟达市值逼近6万亿,DGX Spark 64GB版即将发售
估值十个月翻倍至31亿美元,AI评测平台Arena完成2亿美元B轮融资
谷歌AI订阅体系大洗牌:Gemini 4 Argon前夕的算力腾挪战
微软Surface Ultra首发:RTX Spark芯片加持,AI PC价格门槛抬升至2600美元
微软Surface Laptop Ultra规格曝光:RTX Spark加持,顶配128GB内存
索尼PlayStation Stars服务将于11月正式关停,积分清零引发玩家担忧
专访Richard Andersen:4×4毫米脑区,几乎可以解码全身运动意图
AI引发论文大爆炸,审稿体系濒临崩塌:arXiv也开始最严限流了
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号