点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
给大家分享一下我们最新的工作：
论文标题：Event-based Tiny Object Detection: A Benchmark Dataset and Baseline
作者：Nuo Chen, Chao Xiao, Yimian Dai, Shiman He, Miao Li, Wei An
单位：国防科技大学，南开大学
论文：https://arxiv.org/abs/2506.23575
代码：https://github.com/ChenYichen9527/EV-UAV
一、背景介绍
由于无人机体积小并且其周边环境复杂，反无人机任务中的小目标检测（SOD）是一个具有挑战性的问题。传统的基于帧的相机由于其低帧率、有限的动态范围和数据冗余而难以在复杂环境中准确检测小目标。事件相机具有微秒级的时间分辨率和高动态范围，为SOD提供了一种更有效的解决思路。如图1所示， RGB相机只能在正常光照下捕捉物体，而事件相机可以在各种极端光照条件下捕捉到小目标的连续运动轨迹（如红色曲线所示）。
尽管事件相机在SOD领域具有很大的潜力，但是将其用于SOD仍然面临以下挑战:
首先，小目标的小尺寸和有限的外观线索阻碍了特征学习，而且背景杂波会降低检测性能并导致虚警。 其次，当前基于事件的检测方法通常将事件转换为类似帧的同步图像表示，这破坏了事件数据的连续性和稀疏性，导致时间信息的丢失和冗余背景数据的不必要处理。 此外，缺乏大规模、高质量的数据集严重阻碍了基于事件的运动小目标检测的发展。
在本文中，我们首先构建了一个大规模的基于事件相机的运动小目标检测（EVSOD）数据集，然后基于时空事件点云表示开发了一种针对EVSOD的新型检测方法，最后以开发的数据集和提出的方法为基线，广泛评估了EVSOD的各种深度学习方法，从而解决上述挑战，推进基于事件的小运动物体（尤其是无人机的EVSOD）检测的发展。
二、EV-UAV数据集
EV-UAV数据集旨在更好地表示具有挑战性的现实世界场景，它具有大量具有小目标和动态背景的探测场景，为开发和评估反无人机方法提供了强有力的基准，如Figure 2 所示。
此外，我们还提出了一种逐事件语义分割标注方法。该方法使用边界框标签逐个生成近似的事件注释，如Figure 3所示。
三、EV-SpSegNet
基于帧的检测器需要将事件转换为同步的图像表示，这压缩了事件的时间信息，使得检测已经缺乏明显外观线索的小目标变得更加困难。在原始事件数据中，运动目标产生的事件表现出很强的时空相关性，在事件点云空间中形成细长的连续曲线。利用这一特性，我们提出了EV-SpSegNet，它直接对稀疏事件点云中移动目标生成的事件进行分段。此外，我们引入了一种新的时空相关性损失STCLoss，该损失评估事件的局部时空相关性，以指导网络保留具有连续曲线的目标事件。
事件稀疏语义分割网络EV-SpSegNet：小运动目标在时空事件点云中形成明显的连续曲线。然而，网络难以提取其特征，因为这些曲线跨越了很长的时间范围，而具有有限感受野的传统卷积操作无法有效地捕获全局特征。虽然注意力机制可以提取全局上下文，但它们的二次计算复杂性限制了它们处理大规模事件数据的能力。为了有效地从时空事件点云中的连续曲线中提取特征，我们设计了一个分组扩展稀疏卷积注意力（GDSCA）模块，如Figure 4（b）所示。该模块首先通过分组扩展稀疏卷积（GDSC）块捕获局部多尺度特征，然后使用Patch Attention实现分块的全局特征交互。
时空相关性损失STCLoss：尽管EV-SpSegNet计算结构化输出并专注于大尺度邻域信息以更好地利用长期特征，但常用的语义分割损失（如：BCE Loss）会独立处理每个像素。他们没有考虑邻域的结构，例如对象的时空连续性，这对于描述对象形成的连续曲线至关重要。为此，我们提出了STCLoss，它的核心思想是计算事件周围邻域内所有支持事件的置信度之和，并将其定义为时空相关性权重。它鼓励网络保留更多具有高时空相关性的事件，同时丢弃更多孤立的噪声。
四、实验结果
我们对比了通用的目标检测算法、基于事件的目标检测算法和一些点云语义分割算法，我们的EV-SpSegNet在所有评估指标下都实现了最佳的检测性能。定量和定性比较分别如Table 2和Figure 6所示。
更详细的消融实验可参见原文。
顺便宣传一下：最近我们团队系统整理了小目标检测与跟踪（SODT）领域的顶会/顶刊论文资源，方便大家高效追踪SODT领域的前沿进展，为科研工作提供参考。项目会持续更新，欢迎关注与使用！
项目链接：https://github.com/ChenYichen9527/small_object_detection_resources
3D视觉硬件，官网：www.3dcver.com
3D视觉学习圈子
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
3D视觉全栈学习课程：www.3dcver.com
3D视觉交流群成立啦，微信：cv3d001
