IEEE JBHI|DC-ASTGCN：基于融合深度卷积与自适应时空图卷积网络的脑电情绪识别框架

图1 DC-ASTGCN模型的框架

（A）DC-ASTGCN的数据预处理 

图2展示了数据预处理流程。为高效识别情绪，采用1秒时间窗切割信号，将N通道EEG信号分割成L个非重叠子序列。同时为了捕捉EEG活动中的细微时序变化，将切割后的EEG信号段进一步细分到更小的时间步长，以提高时间分辨率。

图2 数据预处理流程

（B）DC-ASTGCN 的空间-频率特征学习模块

      为有效结合EEG信号的频率域与空间信息，本文提出DCNN分析预处理特征矩阵，旨在提取各时间步长的EEG信号核心频域和空间特征，捕捉不同情绪的复杂模式与动态变化。

（C）DC-ASTGCN的时空特征学习模块

     1.提出采用时空注意力机制。在空间维度上，空间注意力层用于捕捉并增强不同脑区的EEG信号特征，分析各脑区对特定情绪表达的不同贡献。在时间维度中，时间注意力层旨在识别时间序列中提供最丰富的情绪状态分类的时刻或时间段。采用时空注意力机制更全面地分析情绪动态。

     2.采用数据驱动的图生成方法，如图3所示，可基于节点间特征相关性，自适应构建反映不同情绪状态的功能连接图。在自适应脑拓扑层中，目标是学习自适应动态脑功能网络的邻接矩阵。

图3 自适应脑拓扑结构

图4 时空图卷积层

（D）DC-ASTGCN的情绪分类模块

DC-ASTGCN模型的分类模块基于融合的高级特征给出最终的情感计算，然后Softmax函数计算输出向量的分类概率，其最大值被视为分类结果。

表1 在SEED和DEAP数据集上，使用DG-ASTGCN模型时，不同片段长度T的性能表现（平均准确率±标准差%）

表2 DC-ASTGCN模型在DEAP数据集上针对不同受试者的愉悦度和唤醒度分类结果

表3 在DEAP数据集的被试者独立实验中，不同方法的平均精确度和标准差（%）的比较结果

图5 DEAP数据集上独立实验及SEED数据集上交叉验证实验混淆矩阵

图6 在DEAP数据集上，每个受试者的愉悦度（a）和唤醒度（b）分类任务中，DC-ASTGCN和其他模型的平均准确率

表4 在 DEAP 数据集的受试者相关实验中，不同方法的平均精确度和标准差（%）的比较结果

表5 在SEED数据集上，不同方法在受试者相关实验和受试者无关实验中的平均精确度和标准差（%）的比较结果

图7 在DEAP数据集上，通过t-SNE技术对特征提取前后的数据进行可视化。(a)-(c)展示了原始情绪特征数据的分布情况，而(d)-(f)则呈现了经DC-ASTGCN模型训练后情绪特征数据的分布。(其中，蓝色代表负面情绪，红色代表正面情绪。)

表6 在SEED数据集的受试者交叉验证实验中，不同方法的平均精确度和标准差（%）的比较结果

图8 在SEED数据集上，DC-ASTGCN模型与其他方法在每个受试者上的平均准确率比较

 本文提出一种新的融合模型DC-ASTGCN，能够有效捕捉脑电信号的局部空间特征，并揭示不同情绪状态下大脑各区域的功能连接网络特性。同时，图卷积网络与长短期记忆网络的结合，可以更好地获取不同时间状态下的大脑区域丰富拓扑网络和潜在特征表示。在DEAP和SEED数据集上的大量实验结果表明，该模型与先进方法具有竞争力，这可能是因为模型能够捕捉更多大脑区域的空间状态信息，从而提高了实验的准确性。实验结果表明，DC-ASTGCN模型在分类积极情绪方面是有效的，这得益于其利用与这些状态相关的不同EEG信号特征的能力。然而，需要指出的是，其他方法在某些评估中也显示出优越的性能，反映了该领域内多样化的方法和能力。

值得注意的是，该方法在跨受试者实验中仍有很大的改进空间，未来的研究应着重于提高跨受试者泛化能力和模型泛化能力。此外，将迁移学习策略引入基于EEG信号的情绪识别中，将为解决这一挑战提供新的视角和方法。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。