NeurIPS 2024 | EEGPT: 用于EEG信号的通用可靠表示的预训练Transformer

   脑电图（EEG）对记录大脑活动至关重要，在医学、神经科学和脑机接口（BCI）等领域均有广泛应用。然而，低信噪比（SNR）、高个体间差异性和通道失配等挑战使得鲁棒、通用的脑电信号表征提取复杂化。本文提出了用于脑电信号的通用可靠表示的预训练Transformer(EEGPT)，这是一种新的1000万参数预训练transformer模型，用于通用的脑电信号特征提取。在EEGPT中，设计了一种基于掩码的双自监督学习方法，用于高效的特征提取。与其他基于掩码的自监督学习方法相比，EEGPT引入了时空表示对齐。这涉及到基于具有高信噪比和丰富语义信息的EEG表示，而不是基于原始信号，构建一个自监督任务。因此，该方法缓解了通常从低信噪比信号中提取的特征质量差的问题。此外，EEGPT的层次结构分别处理空间和时间信息，降低了计算复杂度，同时增加了BCI应用的灵活性和适应性。通过在大型混合多任务EEG数据集上进行训练，充分利用了EEGPT的能力。实验验证了EEGPT的有效性和可扩展性，通过严格评估一系列下游任务，EEGPT实现了最先进的性能。该研究推进了脑电信号表示学习，为生物信号处理和人工智能应用提供了创新的解决方案。

• 提出了一个用于EEG通用特征提取的1000万参数模型EEGPT，利用混合数据集来增强跨任务和个体的性能。

• 开发了脑电信号双自监督方法，结合时空表示对齐和基于掩码的重构，提高特征质量和收敛性。

• 设计一种分层结构，用于空间和时间信息的解耦处理，降低计算复杂度，增强BCI应用的模型灵活性。

• 实现了一种局部时空嵌入方法，提高了鲁棒性和跨不同EEG采集设备的兼容性。

• 在下游数据集上进行了全面的实验，表明EEGPT在多个EEG任务上的表现明显优于现有模型，更大的模型表现出更好的性能。
  

   

图 1：EEGPT 结构涉及通过掩蔽（50% 时间和 80% 的通道补丁）将输入 EEG 信号标记为p_ij，创建掩码部分和未掩码部分，然后通过局部时空Embedding将其嵌入为 token_ij。在编码器处理掩码部分，提取掩码部分每个时间段内具有summary tokens的特征。预测器预测所有时间段的特征 (pred_j )，与动量编码器输出 (menc_j ) 对齐。重构器基于预测器和编码器提取的特征用于生成rec_ij来重建掩码部分的脑电图信号。

    EEGPT模型的结构如图1所示，包括patch、embedding、masking、encoder、predictor和reconstruction等操作。首先，该模型将输入的脑电信号分为patch块，并通过局部时空Embedding将每个patch作为token embedding，然后分别分割为掩码部分和未掩码部分。用双重自监督学习方法预训练模型，包括时空表示对齐和基于掩码的重建。最后，在下游任务中使用线性逼近方法。

（1）时空表示对齐：将预测特征与动量编码器的输出对齐，增强了编码器提取鲁棒特征的能力，并确保编码器的输出包含高质量的全局特征。使用编码器和预测器来解耦空间和时间特征，显着降低了计算复杂度。

（2）基于掩码的重建方法：将重构器生成的重构补丁与掩码部分的原始补丁对齐。并且在编码器和重构器之间建立“残差连接”，以帮助保持特征并加速收敛。

（3）局部时空Embdding：局部时空嵌入方法首先将EEG信号在时空维度上进行patch和Embedding，然后将其送入编码器，如图2所示。基于自监督学习任务，提取的特征是相互可预测的，可以忽略小尺度的噪声信号。该方法旨在提取跨越更大尺度的宏观特征，这些特征被认为更容易识别和考虑有意义的特征。

图2：局部时空Embedding示意图。将脑电信号在时空维度上划分为大小相等的patch。每个patch代表一个没有重叠的特定通道的时间段。对图像块进行线性Embedding，并与通道Embedding信息相结合以获得相应的特征。

（4）线性逼近：在下游任务中，应用预训练的编码器并连接额外的模块来解决分类任务。如图3所示，引入了线性逼近方法，该方法冻结了预训练模型中的参数，只改变了附加线性模块中的参数。这些模块包括自适应空间滤波器来对齐 EEG 和模型之间的通道，以及一个线性层来将特征映射到 logits。编码器将与summary tokens对应的输出tokens传递给线性分类头。当使用有限数量的样本微调大型参数模型时，这种方法有助于避免过度拟合问题。由于附加模块很简单，性能完全由编码器决定，因此允许评估模型的能力。

图 3：线性逼近方法

        本文收集了各种范式的脑电图公共数据集，用于模型预训练，如表1所示。它包含运动图像(MI)和执行(ME)数据集PhysioMI、HGD、稳态视觉诱发电位(SSVEP)数据集TSU、情感分类数据集SEED和多主体多会话多范式数据集M3CV。为了评估学习表示在下游任务中的实际效用，整理了一个数据集列表，如表1所示。它包含MI数据集BCIC-2A、BCIC-2B、睡眠阶段检测数据集Sleep-EDFx、错误相关负波(ERN)数据集KaggleERN和事件相关电位数据集PhysioP300。还策划了一个来自Temple大学脑电图语料库的异常脑电图信号数据集TUAB和事件类型分类数据集TUEV数据集。这些不同的数据集能够对所提出的 EEGPT 模型在各种任务中进行全面评估。每个数据集都经过相似且不同的预处理步骤，包括裁剪 (4s)、重新引用（平均）、通道选择、缩放 (mV) 和重采样 (256Hz)。本文使用了58个电极(M = 58)，如图4所示。输入信号的采样率为fs = 256 Hz，输入信号时间长度为T = 1024。每个补丁的长度为d = 64，对应250ms时间窗。

表 1：预训练和下游任务的数据集

图 4：电极位置

表 2：TUAB 上不同方法的结果

表 3：TUAB 上不同方法的结果

表 4：通用 EEG 模型在各种数据集上的结果。

表 5：消融研究的结果

表 6：预训练模型的结果

图5：EEGPT参数大小为N的性能

     本文提出一种自监督脑电预训练Transformer （EEGPT）模型，具有超过1000万个参数，用于通用脑电表示学习。采用一种双重自监督方法进行预训练，包括时空表示对齐和基于掩码的重建。时空表示对齐将掩码块的特征与完整块的特征相对齐，提高了脑电表示的质量，并将关键信息集中在编码器输出中。基于掩模的重构利用脑电信号在空间和时间上表现出的一致性来提取两个维度上的互补特征。该方法首先从短时脑电信号中提取稳定的空间表示，然后捕获长时脑电信号之间的时间相关性。该结构不仅降低了计算复杂度，而且增强了EEGPT在BCI应用中的灵活性和适应性。实验表明，所提出的双自监督预训练模型在运动想象、睡眠阶段检测和ERP类型分类等任务上明显优于流行的通用特征提取模型BENDR、BIOT和LaBraM。与BIOT相比，在TUEV数据集上取得了9.5%的性能提升。这些任务具有不同的信道配置和采样率，表明EEGPT具有良好的可扩展性。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。