英文标题：STRFLNet: Spatio-Temporal Representation Fusion Learning Network for EEG-Based Emotion Recognition
成果简介
情感识别技术的快速发展和应用正在重新定义人机交互的边界。实现更智能、更准确的情感识别已经成为研究者们关注的焦点。然而，EEG信号固有的低信噪比和非平稳特性给准确的情绪识别带来了巨大的挑战。因此，从EEG数据中提取可靠且具有高判别性的特征变得更加重要。
针对上述问题，本文提出了一种新颖的时空表示融合学习网络( STRFLNet )，旨在提高基于脑电信号的情绪识别的精度和鲁棒性。与现有方法不同，STRFLNet编码和整合了多通道EEG信号在潜在空间中的潜在时空动力学。具体来说，针对空间模式建模的挑战，提出了连续动态-静态图ODE模块( CDSGODEM )，该模块集成了动态-静态图结构学习策略和基于神经ODE的连续图传播机制(CGODE )。动态-静态图同时捕获了稳定和瞬态的脑连接模式，而CGODE通过缓解过度平滑问题和捕获EEG通道之间的长距离空间依赖，使更深层次的空间表示建模成为可能。此外，为了有效地整合多域特征，设计了一个层次化的Transformer融合模块( HTFM )，通过逐级提取多域特征之间的潜在关系，从而获得更稳定和更有判别力的情感表示。为了评估所提出方法的能力，对最先进的基准进行了评估，并进行了消融研究。
主要贡献
-
提出了一种动态-静态图构建策略来综合分析大脑功能连接的稳定模式以及与情绪状态相关的动态变化。此外，通过使用CDSGODEM，捕获了EEG信号中的连续空间动态，并聚合了脑节点之间的长程空间模式，有效地解决了过度平滑问题。
-
提出了一种多层特征融合模块，命名为HTFM，该模块利用Cross Transformer 和 Self Transformer组件来分层集成EEG信号的互补时空表示，显著增强了模型的情感识别性能。
-
STRFLNet具有稳健的情感识别性能和有效的多域特征融合能力。实验结果表明，在公开的SEED、SEED-IV和DREAMER数据集上，STRFLNet的性能优于当前最好的方法。
方法
为了全面捕获情绪相关多通道脑电信号的时间和空间依赖关系，本文设计了一种新颖的双分支深度学习网络，称为STRFLNet，其整体框架图如图1所示。STRFLNet包括几个模块：时间转换器编码模块( TTEM )，CDSGODEM，HTFM和分类模块( CM )。
图1.STRFLNet整体框架图
1）TTEM：该模块用于捕捉EEG信号中的时序依赖关系。它接收来自注意力块的初始特征，通过多头自注意力机制提取不同时间点之间的长期依赖，输出具有时序语义信息的特征。该模块采用层归一化和前馈网络增强特征表达能力，从而建模情绪在时间维度上的动态变化。
2）CDSGODEM：该模块旨在建模空间模式中的稳定与动态连接。它构建了一个结合静态PLI图和自适应动态矩阵（ADM）的动态-静态图结构，以反映不同情绪状态下的大脑功能连接变化。通过引入连续图常微分方程（CGODE），该模块实现了连续空间传播，避免传统GCN中的过平滑问题，并提取出具有神经生理可解释性的空间特征。
3）HTFM： 该模块用于深度整合时空特征，以提取跨域的稳定表示。通过采用三层Transformer结构：顶层通过交叉注意力初步融合时空特征；中间层进一步探索特征间的复杂交互；底层通过自注意力合成全局信息，输出融合后的判别性特征，显著提升了情绪识别的准确性。
4）CM： 该模块是一个由四个全连接层组成的分类器，接收HTFM输出的融合特征，通过逐步降维和Softmax激活函数，最终输出预测的情绪类别标签，完成整个情绪识别任务。
研究结果
表1.在SEED和SEED-IV数据集上进行受试者内实验中，本文方法与最先进方法的性能对比
注：粗体字表示最佳性能，带下划线的数值表示次佳结果。
表2.本文方法与最先进方法在DREAMER数据集上进行受试者内实验的性能对比
注：粗体字表示最佳性能，带下划线的数值表示次佳结果。
表3.本文方法与最先进方法在SEED和SEED-IV数据集上进行受试者间实验的性能对比
注：粗体字表示最佳性能，带下划线的数值表示次佳结果。
表4.本文方法与最先进方法在DREAMER数据集上进行受试者间实验的性能对比
注：粗体字表示最佳性能，带下划线的数值表示次佳结果。
表5.在SEED和SEED-IV数据集上的消融实验结果
注：1.在STRFLNet中移除TTEM模块； 2.在STRFLNet中移除CSDGODEM模块； 3.用STGCN模块替换CSDGODEM；4.在CSDGODEM中移除PLI（相位滞后指数）；5.在CSDGODEM中移除ADM（自适应动态矩阵）。粗体字表示最佳性能。
表6.在SEED和SEED-IV数据集上不同融合策略的对比结果
注：粗体字表示最佳性能。
表7.GCN层数K和传播深度L对模型性能的影响
注：粗体字表示最佳性能。
图2. 混淆矩阵：(a) SEED数据集；(b) SEED-IV数据集。
图3. t-SNE可视化。不同颜色代表不同情绪类别。(a)和(b)分别展示了STRFLNet w/AF模型在SEED和SEED-IV数据集上生成的高层特征可视化；(c)和(d)分别展示了STRFLNet模型在SEED和SEED-IV数据集上生成的高层特征可视化。
图4.STRFLNet学习的全局时空表征可视化。(a) SEED数据集；(b) SEED-IV数据集。t₁和t₂分别表示100-105和160-170的样本范围。
图5.不同情绪类别的类激活地形图（CAT）。(a) SEED数据集；(b) SEED-IV数据集。
图6.在SEED数据集上，STRFLNet与STGCNet的计算复杂度和内存消耗随模型深度的变化关系。
研究结论
本文提出了一种新颖的时空表示融合学习模型STRFLNet，通过融合时空动态性实现了基于EEG的精确情感识别。在SEED、SEEDIV和DREAMER数据集上的综合评估表明，STRFLNet在多个数据集上都取得了一致的优越性能。特别地，提出的动态-静态图结构使STRFLNet模型能够全面分析与情绪状态相关的稳定和动态脑功能连接模式，而CDSGODEM捕获了连续的空间特征，缓解了过度平滑的问题。提出的融合策略HTFM更加准确地关注了时空特征之间的潜在依赖关系，实现了多域特征信息的有效融合。本文通过可解释性分析进一步验证了模型的有效性，揭示了不同激活脑区与情绪之间的关联。总之，本研究强调了潜在空间模式学习和时空特征融合在情感识别中的重要性，从而为该领域的未来研究铺平了道路。
尽管STRFLNet模型取得了较好的效果，但仍有一些局限性有待解决，以进一步提高STRFLNet型的泛化性和可解释性。虽然本研究提出的方法有效地捕获了EEG信号中潜在的空间和时间模式，但它主要建模通道级别的关系，而没有明确地结合区域级别的脑动力学，这可能提供更全面的神经生理学见解。此外，STRFLNet模型没有考虑情感标签中潜在的噪声，这些噪声可能来自于主观的自我报告或注释不一致。在未来的工作中，计划探索在解剖先验指导下的基于区域的表示学习，并结合不确定性建模或标签去噪策略来增强模型的鲁棒性。
