本研究由北京工业大学、北京机械设备研究所和北京科学技术研究院信息与人工智能技术研究所共同完成。这篇发表于IEEE Transactions on Biomedical Engineering（IEEE生物医学工程汇刊）的综述文章，系统回顾了2015至2024年间基于快速序列视觉呈现（RSVP）范式的脑机接口（BCI）在目标检测领域的研究进展。文章创新性地提出了一个三维分类法，从目标类型、被试数量和模态形式三个维度全面梳理了该领域在公共数据集、范式编码设计和信号解码方法上取得的成果与挑战，并指明了向多目标、多被试、多模态融合发展的未来趋势。

本研究由北京工业大学北京机械设备研究所、北京科学技术研究院信息与人工智能技术研究所等单位共同完成，该论文系统回顾了2015至2024年间RSVP-BCI领域的86篇文献，从公共数据集、范式编码设计和解码方法三个维度梳理进展。论文将RSVP-BCI系统按目标类型（单目标/多目标）、被试数量（单被试/多被试）和模态形式（单模态/多模态）划分为八种组合模式，并深入分析了各类模式的研究现状。研究发现，现有工作主要集中于单目标-单被试-单模态及单目标-单被试-多模态类型，而多目标类型的探索仍较为匮乏。研究通过Scopus和Web of Science数据库筛选文献，最终纳入86篇符合标准的论文进行分析。现有研究主要集中于单目标-单被试-单模态及单目标-单被试-多模态类型，而多目标类型的探索仍较为匮乏

目标检测是图像处理领域的核心研究方向，计算机视觉方法虽在高速数据处理中广泛应用，但人类复杂的感知与认知能力仍无法被完全替代。针对弱信号、低质量图像或有限样本等特定任务，需结合人脑推理与理解能力进行检测。2006年，Gerson等人首次提出基于脑电图（EEG）的快速序列视觉呈现脑机接口（RSVP-BCI）范式，通过呈现图像序列诱发事件相关电位（ERP），尤其是P3家族成分的显著振幅变化，实现目标图像识别。RSVP-BCI系统在医疗、娱乐、军事等领域具有广泛应用前景。近年来，随着人工智能技术的发展，RSVP范式在数据采集、编码设计及解码算法方面取得重要突破。

图1  RSVP-BCI系统的经典框架

图2  RSVP-BCI系统的类型

图4  RSVP研究的文献检索策略(2015年1月至2024年10月)

1. 公共数据集的发展

RSVP数据集因采集成本、版权和隐私问题长期稀缺。自2015年以来，已有7个完全公开的EEG数据集支持图像目标检测研究（见表1）。分析表明，69.77%的研究使用私有数据集，仅18.61%采用全公开数据集，半公开数据集占11.62%。2020年后，数据集可用性显著提升，为算法比较提供了基础。例如，Zheng等人发布的基准数据集包含多被试和多任务设计，推动了跨域研究。

表1. 完全公开的RSVP数据集概述

2. RSVP范式编码设计

编码范式是提升RSVP-BCI分类性能的核心。研究从图像编码模式（如材料类型、呈现顺序、空间模式）和边界刺激条件（如噪声、疲劳度、图像质量）两方面进行了深入分析。表2总结了八种RSVP-BCI类型的RSVP编码范例。

表2.按目标、被试和模态类型分类的RSVP范式设计

2.1单目标-单被试-单模态编码

2.1.1图像编码模式

图像材料类型：在相同呈现速率下，自然图像能诱发最高的脑响应振幅，其次是人物面孔和字符，而数字诱发的脑响应最低（可能因认知记忆数字空间排列的负荷所致）。

图像演示顺序：采用多流RSVP（双流或三流），即同一图像在不同时间点重复呈现，能增强对目标图像的EEG响应，但研究表明同一图像呈现超过三次会显著削弱EEG信号振幅，因此仅双流或三流配置有效。

图像空间模式：比较了中央、左/右、上/下等视觉空间呈现模式。结果发现中央视野的表现优于周边视野，且左侧视野优于右侧视野。动态调整呈现方向（如运动RSVP范式）也能增强ERP振幅差异，提高分类准确率。

2.1.2边界刺激条件

噪声与疲劳：高噪声水平和精神疲劳会显著降低RSVP分类性能。优化目标呈现频率是减轻认知负荷的有效策略。

图像质量：图像尺寸和清晰度至关重要，大尺寸刺激物的检测准确率更高。在弱隐藏条件（如深色、弱目标、遮挡、伪装）或低可见度环境（如夜间车辆检测）下，P300振幅会减弱，分类性能下降。

图3.(A)单目标、单被试、单模态(传统模式)、(B)多目标、单被试、单模态、(C)-(F)单目标、单被试、多模态、(G)单目标、多被试、单模态、(H)单目标、多被试、多模态

2.2单目标-单被试-多模态编码设计

多模态设计通过整合其他类型的数据或范式来提升系统性能和应用范围，主要包括以下四类：

多生理信号融合：如图3(C)所示，将眼动、心电图、脉搏等生理信号与EEG结合。眼动信号可追踪目标空间位置，而瞳孔扩张、速度等变化能揭示注意力分布，这种多模态交互显著提高了目标检测的分类性能。挑战在于不同信号的采样频率、时间延迟和数据格式需要对齐和综合分析。

多范式融合（混合BCI）：将RSVP与其他BCI范式（如SSVEP、运动想象MI）结合。例如，结合SSVEP范式可通过刺激频率确定目标在图像中的位置；结合MI范式可用于识别与中风患者运动想象相关的生物标志物。挑战在于混合BCI通常需要更多电极，可能影响系统稳定性和用户接受度。

多领域研究：主要关注跨时段、跨被试和跨设备的差异，目标是利用现有数据减少新实验所需的校准时间。旨在寻找跨领域EEG信号中共同的生理模式，以实现校准减少或免校准。

多种媒体数据融合：如图3(D)所示，融合图像、视频、声音等信息与EEG信号。例如，先使用图像分类器进行初筛，再结合RSVP范式进行检测；或将视觉刺激与听觉刺激结合，形成多媒体RSVP-BCI系统。这种融合增强了复杂场景下的目标检测能力。

2.3多被试与多目标编码设计

多被试协作：受“群体智能”启发，通过融合多个被试对同一目标图像的EEG响应（如图3(G)所示），提升系统的鲁棒性和决策信心。即使一个被试受到干扰，另一被试的信号仍可被检测到。数据级和决策级融合策略是常用方法。挑战在于如何避免简单平均融合引入的冗余噪声，以及如何依据个体差异优化协作策略。

多目标范式：现实应用常需区分多个目标类型（如敌我识别），促使RSVP从二元分类向多类型目标发展（如图3(B)所示）。2021-2022年世界机器人大赛的ERP竞赛中首次出现了双目标RSVP范式验证。研究表明，不同图像目标（如自然图像与遥感图像）会诱发不同的振幅响应。然而，多目标间的ERP差异微弱，且引入新目标类型会导致更复杂的数据分布和目标类型间的信号干扰，因此区分能力仍受限。将不同目标类型隔离在独立的视觉通道上是可能的改进方向。

3. RSVP-BCI的解码方法

随着人工智能技术的进步，RSVP-BCI的解码方法经历了从传统机器学习到深度学习的演变，性能显著提升。核心包含信号处理（如滤波、解决类别不平衡）和信号解码（分类算法）两大环节。以下根据不同系统类型进行总结。

3.1单目标-单被试-单模态解码方法

这是RSVP目标检测最成熟的研究领域，解码方法涵盖了传统的信号处理技术和先进的深度学习模型。

3.1.1信号处理

使用带通滤波、xDAWN、TRCA等滤波方法抑制噪声并提取有效成分。通道选择是一种特殊滤波，可优化脑区电极布局。

RSVP中目标试次远少于非目标试次，导致严重的数据类别不平衡。采用数据增强（如GAN生成人工EEG样本）或欠采样、解耦学习等算法层面策略解决不平衡问题。

表3.解决RSVP解码中类别失衡的方法

3.1.2信号解码

表4.深度学习和传统机器学习方法在RSVP解码中的对比

传统机器学习包括时域方法（SVM, DCPM）、频域方法（如滤波器组）和时空特征分析（HDCA, XGB-DIM）。

表5.基于机器学习的RSVP-BCI分类方法

深度学习因其处理EEG非平稳性和复杂性的强大能力而成为主流。EEGNet是经典基线模型。最新进展引入注意力机制（如PSAEEGNet）和图卷积网络（GCN）以更好地提取特征和表征脑区协作。深度学习性能普遍优于传统方法。

表6.基于深度学习的RSVP-BCI分类方法

3.2单目标-单被试-多模态解码方法

旨在通过融合多源信息来提升算法性能和稳定性。

多生理数据：设计特定网络（如跨模态引导网络）动态融合EEG与眼动等信号。

多范式：采用不同方法处理不同范式信号（如用CCA处理SSVEP，用分类器处理RSVP），整合时频域数据。

多领域：研究跨被试、跨设备、跨时间的适应问题。校准减少方法主要通过迁移学习（如微调、跨尺度变换器）和数据对齐（如在黎曼流形上使用最大均值差异MMD损失对齐分布）来实现。免校准方法包括池化（如用大量被试数据训练一个通用模型）、集成算法和元学习等。

多媒体数据：融合图像/视频与EEG，分为串行处理（计算机初筛+人脑检测）和并行处理（同步检测+决策融合）。

表7.各种RSVP通道类型的优缺点

3.3多被试与多目标解码

多被试解码：通过信号融合与决策融合策略提升协作BCI（cBCI）性能。采用多任务协作网络、空时相关（STC）等方法。未来需更好地利用个体差异。

多目标解码：是新兴方向。采用如CRE-TSCAE等模型，但核心挑战在于目标间EEG信号区分度弱，区分能力有限，且缺乏针对性评估指标。

本研究系统总结了RSVP-BCI在过去十年的进展，强调其在增强人机交互和视觉能力方面的潜力。如图5所示，未来研究应优先关注以下方向：

弱目标检测：针对低可见度环境（如夜间、云雾遮挡）中的小目标，开发新型视觉刺激范式（如AVEP、ESSVP）和专用解码算法。

视频目标检测：用动态视频替代静态图像，更贴合自然视觉处理，但需解决时间抖动和目标延迟问题。

高级视觉解释：结合EEG信号重建视觉内容，探索多对象分类的神经机制，但EEG的空间分辨率限制仍是主要挑战。

图5.RSVP范例未来的几个发展方向。

(A)弱目标检测；(B)视频目标检测；(C)高级视觉判读

局限性：

1. 当前数据集被试年龄集中（18-33岁），缺乏跨年龄组研究；

2. 多目标区分算法尚未成熟；

3. 实际应用中的环境噪声和设备差异亟待解决。

通过突破这些瓶颈，RSVP-BCI有望在医疗诊断、智能监控和脑机交互游戏等领域实现更广泛的应用。

本研究系统梳理了2015年以来RSVP-BCI范式在目标检测领域的应用文献。同时从多个维度对公开数据集、编码设计及解码算法进行了综合分析。本研究精选的86篇论文展现了RSVP范式的发展脉络。当前研究重点聚焦于公共数据集规模的扩展、刺激界面的易用性提升以及解码算法的实用性优化。原本小众的RSVP-BCI范式，现已根据受试者数量、目标类型及模态特征被划分为八种组合模式。现有研究多集中于单一目标、单受试者、单模态或多模态组合模式，而涉及多目标的研究仍属少数。未来研究可着力提升RSVP-BCI系统的可及性和适用性，重点优化用户体验：缩短训练周期、确保微小动作下的系统运行、实现多类型目标识别，最终目标是提升系统在真实场景中的图像判读性能。

论文作者为北京工业大学计算机学院讲师许萌为第一作者，北京工业大学王丹教授和北京机械设备研究所陈远方研究员为通讯作者。该论文受到国家自然科学基金联合基金No. U2441253的支持。