IEEE JBHI | FourierMask：EEG端到端深度学习模型的频域可解释性研究

      基于EEG的端到端深度学习模型的兴起强调了阐明这些模型如何处理时间序列原始EEG信号以生成预测的必要性。频域分析具有与认知状态的强相关性和对远程时间依赖性建模的固有能力两大关键优势，为这项任务提供了更合适的视角。然而，这种观点在现有的研究中仍未得到充分探索。

     为了弥合这一差距，本研究提出了FourierMask，这是第一个专门为基于EEG 的端到端模型的频域解释而设计的掩码扰动框架。该框架引入了三个关键创新。首先，基于傅里叶的域变换可以直接操纵光谱分量。其次，可学习的掩码机制联合建模光谱空间耦合关系以提供EEG解释。第三，受目标对齐损失约束的扰动生成器通过集群感知正则化最小化分布偏移来限制自然噪声扰动。

    本研究通过跨 EEGNet、TSCeption 和 DeepConvNet 模型的 EEG 基准数据集的实验来展开验证。本研究提出的方法在去除模型所识别的重要区域后，在组级达到了36.0%的平均精度下降幅度（LIME 为 8.6%，EasyPEASI 为 6.6%）。并且，它在实例级达到了 17.8% 的平均精度下降幅度（LIME 为 8.9%，EasyPEASI 为 9.9%）。所提出的模型框架为增强基于EEG的端到端深度学习模型的可解释性提供了即插即用的解决方案。它将模型决策与频率生物标记物联系起来，在神经医学和脑机接口方面有潜在的应用。

• 本文探索了一种在频域中解释基于EEG的端到端学习模型的新视角。此外，本研究用两个探索方法正式证明了有效性：频率成分与认知状态的相关性和捕获全局时间依赖。

• 本文提出了一种基于扰动的方法来解释端到端EEG深度学习模型，称为FourierMask。它包含为任务量身定制的三个改进。首先，它与傅里叶变换相结合实现域变换；其次，它采用掩码机制进行联合扰动；第三，它引入了一个受目标对齐损失约束的基于学习的扰动生成器，以生成自然扰动。

• 该框架利用综合实验进行了验证。结果表明了所提出方法的有效性和每种提议的策略。为了举例说明本研究的应用，进一步实现了一个示例实验来证明在启发相关研究方面的潜力。

  
  

     FourierMask 的第一步是将输入 EEG 信号通过快速傅里叶变换变到频域，得到每个通道的频谱。接着，引入了一个可以学习的“掩码矩阵”，对每个通道和频段赋予一个权重。权重高，说明该位置被保留，权重低，则该频段会被替换为扰动信号。掩码不是手工设定的，而是通过优化自动学习出来的。与传统方法只关注单个通道或单个频点不同，FourierMask 可以同时在多个通道和多个频带联合作用，从而捕捉模型可能利用的复杂跨脑区、跨频段的交互模式。

     在掩码选中不重要的频谱成分后，本研究设计了一个生成器网络。生成器的任务是为这些位置生成新的频谱值，保证生成后的整体信号看起来仍像一个真实的 EEG 样本。

     EEG 信号存在不同被试、不同状态形成的聚类分布。因此，本文引入了一个“目标对齐”机制。具体做法是先用聚类方法找到训练集中自然形成的频谱簇，然后让生成的扰动朝某个真实簇靠近。这样替换后的样本依旧落在“合理”的频谱分布内，提高了解释的可泛化性。

     在训练策略方面，FourierMask 的训练目标是多重的。一方面，它希望掩码保留的重要区域一旦被扰动，就能导致模型预测明显变化，从而验证这些区域确实影响决策；另一方面，也希望掩码认定的“不重要区域”即使被替换，模型输出仍基本不变，从而保证掩码的选择具有区分力。此外，训练过程还包含一些正则化约束。

     本研究引入了一种掩码扰动方法来揭示基于EEG的端到端深度学习模型在频域的可用性。该方法结合了三个关键创新：基于傅里叶变换、可学习掩码机制和约束扰动生成器。去除模型所识别的重要区域后，平均精度下降幅度在组级别达到 0.360，在实例级别达到 0.178。该实验结果证明了 FourierMask 在识别显著成分方面的有效性。此外，FourierMask的计算复杂度为898M FLOPs，与现有方法相比具有更高的效率。然而，当前的目标对齐损失计算取决于预先计算的质心。这一事实限制了它对训练数据范围动态变化的模型的适应性。在未来的工作中，重点应该放在质心更新策略上。该策略不应该使用所有数据从头开始重新计算质心，而是应该根据现有的质心快速定位新的质心。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。