IEEE TNNLS|EmT：一种用于泛化跨被试脑电情绪识别的新型Transformer架构

将神经生理学的先验知识融入神经网络架构，能够提升情绪解码的性能。尽管众多技术强调学习空间模式和短期时间模式，但对于捕捉与情绪认知过程相关的重要长期上下文信息却关注有限。为了解决这一不足，本研究提出了一种新颖的Transformer模型——Emotion Transformer（EmT）。EmT专为在泛化跨被试脑电图（EEG）情绪分类和回归任务中取得优异表现而设计。

在EmT中，EEG信号被转换为时序图格式，通过时序图构建（TGC）模块创建一系列EEG特征图。然后，提出一种新颖的残差多视角金字塔图卷积神经网络（RMPG）模块，用于学习序列中每个EEG特征图的动态图表示，并将每个图的学习表示融合为一个令牌。此外，还设计一个具有两种令牌混合器的时序上下文Transformer（TCT）模块，用于学习时序上下文信息。最后，任务特定输出（TSO）模块生成所需的输出。在四个公开数据集上的实验表明，EmT在EEG情绪分类和回归任务中均取得了比基线方法更高的结果。代码可在 https://github.com/yi-ding-cs/EmT 获取。

所提出的新型Transformer模型EmT，用于泛化跨被试EEG情绪分类与回归任务。网络架构如图1所示。EmT由四个主要部分构成：1）时序图构建（TGC）模块；2）残差多视角金字塔图卷积网络（RMPG）；3） 时序上下文Transformer（TCT）；以及4）任务特定输出（TSO）模块。

图1.总体流程图

A. 时序图构建模块（TGC）

构建时序图旨在使神经网络能够学习空间和时间上下文信息。从EEG生成时序图需要两个步骤，分别是EEG片段/子片段分割和特征提取。图2展示了一个EEG片段的构建过程。

图2.TGC示意图。每个片段被分割成若干子片段。对每个子片段逐通道提取不同频段的特征以构成F。然后，每个EEG通道被视为一个节点，提取的特征作为节点属性。将所有按时间顺序排列的图组合起来，得到时序图。

B.Residual Multiview Pyramid GCN（RMPG）

提出RMPG以调节情绪过程底层EEG通道间的动态空间关系。对于GT中的每个Gi，RMPG学习一个扁平化嵌入作为时序令牌si，供后续的Transformer模型使用。

C. 时序上下文Transformer（TCT）

提出两种配备不同令牌混合器的TCT，用于分类和回归任务，以捕捉EEG底层情绪过程的时序上下文信息。MetaFormer 表明，在Transformer中MSA可以被不同的令牌混合器替代。本研究提出了两种令牌混合器，基于此分别得到EmT-Clas和EmT-Regr，分别用于EEG情绪分类和回归。

1. 分类任务的令牌混合器：对于分类任务，MSA被用于TokenMixerclas(·)中，以关注那些与ST整体情绪状态高度相关的部分。

2.回归任务的令牌混合器：对于TokenMixerregr(·)，采用基于RNN的令牌混合器替代MSA。

C. 任务特定输出模块（TSO）

使用MLP头来生成分类和回归任务所需的输出。