Eng Appl Artif Intell：一种基于脑电图情绪识别的双流区域特征学习与自适应融合方法

     脑电图（EEG）因其高时间分辨率以及能够真实反映脑活动的特点，已成为情感识别领域的研究热点。然而，目前基于EEG的情感识别方法中，鲜有将脑区信息整合至算法中的方法，且未能充分提取各脑区的深层特征。脑科学研究表明，不同脑区具有不同的功能，并与情绪的产生密切相关。本文基于脑区划分方法，提出一种双分支区域特征学习与自适应融合神经网络（DRFNet），用于提取不同脑区的特征并对其进行自适应融合，从而实现精准的EEG情感识别。具体而言，DRFNet主要由区域特征提取模块（DB- CTFEM）和特征融合模块（RFM）组成。DB- CTFEM 分别通过卷积神经网络（CNN）和Transformer的双分支结构提取区域局部特征与全局特征，随后利用交叉注意力机制将两者有效融合，从而获得增强的区域特征；考虑到不同脑区之间的差异， RFM 采用注意力机制对区域特征进行融合，并自适应地重构全局脑特征；此外，本文还提出一种基于区域特征重要性构建的区域损失函数，用于动态调整不同脑区的贡献权重，从而引导模型更加关注关键脑区。本文针对 SJTU 情绪脑电图数据集（SEED、SEED-IV、SEED-V 及 SEED-VII）开展了基于受试者的实验，以验证所提方法的有效性与鲁棒性。

• 脑电图（EEG）因其高时间分辨率以及能够真实反映脑活动的特点，已成为情感识别领域的研究热点。然而，目前基于EEG的情感识别方法中，鲜有将脑区信息整合至算法中的方法，且未能充分提取各脑区的深层特征。脑科学研究表明，不同脑区具有不同的功能，并与情绪的产生密切相关。

• 本文基于脑区划分方法，提出一种双分支区域特征学习与自适应融合神经网络（DRFNet），用于提取不同脑区的特征并对其进行自适应融合，从而实现精准的EEG情感识别。具体而言，DRFNet主要由区域特征提取模块（DB- CTFEM）和特征融合模块（RFM）组成。

• DB- CTFEM 分别通过卷积神经网络（CNN）和Transformer的双分支结构提取区域局部特征与全局特征，随后利用交叉注意力机制将两者有效融合，从而获得增强的区域特征；考虑到不同脑区之间的差异， RFM 采用注意力机制对区域特征进行融合，并自适应地重构全局脑特征；

• 此外，本文还提出一种基于区域特征重要性构建的区域损失函数，用于动态调整不同脑区的贡献权重，从而引导模型更加关注关键脑区。本文针对 SJTU 情绪脑电图数据集（SEED、SEED-IV、SEED-V 及 SEED-VII）开展了基于受试者的实验，以验证所提方法的有效性与鲁棒性。

  
  

（1）脑电预处理与面向脑区建模的特征构建对原始脑电信号完成下采样、噪声滤波处理，划分 δ、θ、α、β、γ 五个生理频带，计算各通道各频带的差分熵特征作为模型输入。参考大脑解剖结构，借鉴现有脑区分割方案并做细节调整，将电极划分为 7 个允许电极重叠的脑区，建立电极‑脑区映射关系。将脑区特征分别转换为适配 CNN 的图像格式与适配 Transformer 的序列格式，为后续脑区分支特征提取提供标准化数据输入。重叠的电极划分方式，在数据层面实现不同脑区之间的信息交互。

（2）设计双分支脑区特征提取模块 DB‑CTFEM为充分挖掘单个脑区内部的局部细粒度模式与全局依赖关系，构建 DB‑CTFEM 双分支特征提取模块。CNN 分支采用浅层卷积结构，避免深层网络拟合脑电噪声，提取脑区内局部空间特征；Transformer 分支搭建带残差连接的多层编码器，捕获脑区电极之间的全局长距离依赖。引入多头交叉注意力机制，将 CNN 输出的局部特征作为键、值，Transformer 输出的全局特征作为查询，自适应融合局部与全局信息，得到增强后的脑区深度特征表示，充分发挥两种网络结构的互补优势。

（3）构建基于两步注意力的脑区特征融合模块 RFM 与区域损失函数不同脑区在情绪生成过程中起到的作用存在差异。本文设计 RFM 脑区特征融合模块，首先将各脑区输出特征降维统一维度，第一步通过注意力权重加权所有脑区特征，重构初步全脑全局特征；第二步将各脑区特征与初步全局特征拼接，再次计算注意力权重完成二次加权融合，得到兼顾脑区个体特性与全脑上下文信息的最终特征。针对脑区注意力权重分布，设计由 α 正则损失、脑区重要性损失、最小 α 损失共同组成的区域损失函数。动态约束各脑区贡献权重，既防止权重过度集中或全部偏小，又引导模型更加侧重对情绪识别贡献更大的关键脑区。将区域损失、交叉熵分类损失、L2 参数正则相结合，构成模型完整的目标损失函数完成网络训练。

图1：本方法的整体框架包括：(a) 数据处理及脑区划分方式；(b) DB- CTFEM 的双分支结构——该结构包含一个 CNN 分支和一个 Transformer 分支，并最终利用交叉注意力机制将各脑区的局部特征与全局特征进行融合；(c) DRFNet 的整体架构——其主要由 DB- CTFEM 与 RFM 组成，其中 RFM 用于自适应地聚焦于重要脑区并重建所有脑区的全局信息。

图 2：DRFNet 在 SEED、SEED-IV、SEED-V 和 SEED-VII 数据集上的详细实验结果。实验在每个会话中进行：对于 SEED、SEED-IV 和 SEED-V 数据集采用 2:1 的数据划分方式，对于 SEED-VII 数据集采用四折交叉验证法。

图 3：DRFNet 在 SEED、SEED-IV、SEED-V 和 SEED-VII 数据集上的 PR 曲线与 ROC 曲线；其中 DI、FE、SA、NE、HA、AN 和 SU 分别代表厌恶、恐惧、悲伤、中性、快乐、愤怒和惊讶这七种情绪类别。

表 2 ：在 SEED-V 和 SEED-VII 数据集上的分类准确率（均值/标准差%）

表 3：模型复杂度、推理速度与准确率对比

表 5：SEED数据集中不同受试者脑区的Alpha地形图。红色表示较高重要性，蓝色表示较低重要性。

表 6：SEED-IV 数据集中的受试者 1 的 α 波地形图

图 7：脑区的其他划分方法

     本文探讨了关于大脑功能分区的信息，并提出了一种名为 DRFNet 的模型——该模型首先分别提取各脑区的特征，随后对这些特征进行融合。该模型结合 CNN 和 Transformer 模型，有效提取大脑各区域的局部与全局信息，并利用交叉注意力机制对这些信息进行融合，从而获得强大的特征表征能力。此外，本文设计了一个基于注意力机制的区域特征融合模块，用于重建全局脑区特征，同时对重要脑区的特征给予更多关注。最终，DRFNet 在四个公开数据集上取得了领先的性能，并对不同数据集展现出较强的鲁棒性。此外，通过讨论与消融实验，我们揭示了若干有趣的现象及情绪识别模式。与传统的通道注意力机制或基于注意力的图卷积网络（GCN）——这些方法通常在电极层面或节点层面分配权重——相比，DRFNet 采用了以区域为中心的设计方案，该方案基于解剖学先验知识对大脑进行显式划分。这一设计使得 DRFNet 能够以结构化的方式建模区域内的一致性以及区域间的依赖关系，从而生成更具可解释性且更鲁棒的情绪相关表征。本研究的一个局限性在于缺乏针对不同受试者的独立验证。在后续工作中，我们计划将最大均值差异（MMD）约束和领域对抗适配（DANN）等技术与 DRFNet 相结合，以缓解源域（训练受试者）与目标域（新受试者）之间分布漂移带来的影响，同时确保所提取的特征对个体受试者保持不敏感性。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。