上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图1

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图2

近期，上海大学脑机工程研究中心团队提出了一种自适应频率感知Transformer网络（AFFormer），将其应用于运动想象脑电解码。相关成果以“Adaptive Frequency-Aware Transformer for Motor Imagery Decoding”为题，发表于《Biomedical Signal Processing and Control》。

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图3

研究背景：

运动想象脑机接口（MI-BCI）在卒中康复领域已展现出可观的应用潜力，高性能的运动意图解码算法是推动其临床落地的关键。然而，MI相关的神经振荡存在个体差异性，而现有主流解码方法依赖固定滤波器或预设的多尺度时间卷积核。尤其是在异质性更强的卒中患者群体中，这种预设频带与个体真实振荡之间的错位，在一定程度上影响MI-BCI的解码性能和特征可解释性。

研究方法：

AFFormer的整体框架分为四个递进模块，如图1所示。

1）多元变分模态分解：作为被试自适应的频谱前端，从数据本身出发提取个体化振荡成分，而非依赖预设频，带将多通道EEG联合分解为多个具有明确中心频率的本征模态分量。2）时空特征提取：在MVMD分解出的IMFs表征基础上，提取局部空间与时间特征；3）Transformer encoder：通过自注意力机制建模长程时间依赖关系，弥补卷积感受野的局限；4）联合损失函数：交叉熵损失结合中心损失，进一步增强类内紧凑性与类间可分性。

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图4

Fig. 1 Structure of the proposed AFFormer framework.

数据集与验证方案：

研究团队采集了36名健康被试与22名卒中患者的MI-EEG数据，并在OpenBMI公开数据集上进一步验证。其中二分类任务为左/右运动意图判别，四分类任务进一步区分“抓握”与“曲肘”两种动作类型，并采集了任务态静息作为归因分析的基线参考。数据集信息如表1所示，实验范式如图2所示。

Table 1 The information on five datasets

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图5

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图6

Fig. 2 Experimental paradigm. (a) The protocol includes six task blocks alternating grasp-MI (blocks 1, 3, and 5) and elbow flexion-MI (blocks 2, 4, and 6). Patients complete the first four blocks, while healthy subjects perform six blocks. (b) Each block consists of 75 trials. (c) Each trial follows this sequence: VR guidance, task execution, and rest. (d) The MI tasks comprise grasp, el bow flexion, and cued rest.

主要结果：

1.AFFormer在自采数据集上显著优于MSVTNet、CTNet、EEGNeX等基线算法（多数对比p<0.05至p<0.0001）；在OpenBMI数据集上同样显著优于CTNet（CV：p<0.01；HO：p<0.001）。值得关注的是，二分类任务准确率普遍在75%~82%区间，而四分类任务受限于“抓握”与“曲肘”动作在感觉运动皮层表征上的部分重叠，准确率明显更低（40%~47%）。这一现象在健康被试与卒中患者中均一致存在，说明四分类是任务本身固有的难点。

Table 2 Average classification accuracy (%) of different algorithms on the self-collected MI-EEG dataset

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图7

Bold text indicates the optimal recognition performance, where * (p<0.05), **(p<0.01), ***(p<0.001), and ****(p<0.0001) represent different significance levels of the AFFormer algorithm compared to the baseline method.

Table 3 Average classification accuracy (%) of different algorithms on the OpenBMI dataset

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图8

Where*(p<0.05), **(p<0.01), ***(p<0.001), and ****(p<0.0001) represent different significance levels of the AFFormer compared to the baseline method.

2.消融实验：MVMD是AFFormer性能提升的核心贡献模块之一，尤其在卒中患者数据集（Stroke-B2）上影响最大（-13.84%），提示卒中后感觉运动节律的病理性重组带来了更大的个体频谱差异；Transformer编码器提供互补的时间依赖建模能力；联合损失则起到较小但稳定的辅助判别优化作用。

Table 4 Ablation study of AFFormer components on three datasets under the HO protocol

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图9

Where TE denotes Transformer Encoder, JL denotes Joint Loss, * (p<0.05), ***(p<0.001), and ****(p<0.0001) represent different significance levels of the scheme A compared to the baseline scheme.

3.特征可解释性：

1）患者S01和患者S03在HO策略下三分类（左手运动想象、右手运动想象、静息）的准确率分别为96.33%和46.77%。为探究这一差异背后模型所依赖的关键特征，本文以静息任务作为参考基线，对IMF1-IMF5的通道贡献度进行了DeepLIFT归因分析。如图3所示，高准确率患者S01的贡献分布呈现出较高的时间连续性与空间集中性，高贡献通道主要分布于额中央、中央及中央顶叶等感觉运动相关区域，且集中于IMF3-IMF5所覆盖的mu、beta频段，与运动想象相关感觉运动节律调制的典型频率范围基本一致；而低准确率患者S03的贡献模式则呈现间歇性且较为分散的特征。

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图10

Fig. 3 DeepLIFT-based attribution analysis of IMF1-IMF5 for MI relative to cue-guided task-state rest in stroke patients S01 and S03. (a) Left-MI and (b) right-MI results for high-performance patient S01 (96.33% classification accuracy); (c) left-MI and (d) right-MI results for low-performance patient S03 (46.77% accuracy). Color scale indicates normalized contribution values (0 [blue] to 1 [red]).

2）鉴于表4消融实验中显示Transformer encoder在Health-B2与Stroke-B2数据集上具有统计学意义的性能提升，但在OpenBMI数据集上整体增益未达显著水平。本文进一步分析AFFormer在不同被试上解码性能变化的差异，依据各被试准确率变化幅度排序，分别选取准确率提升、维持、下降幅度最显著的前10%被试，将OpenBMI数据集被试划分为性能提升组（S25、S33、S45、S21、S44），准确率由65.40%提升至82.90%、性能维持组（S06、S14、S18、S49、S48），准确率维持于64.50%，与性能下降组（S50、S22、S01、S03、S19），准确率由65.50%降至57.10%，如图4所示。

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图11

Fig. 4 Theclassification accuracy difference between Scheme A (with Transformer) and Scheme C (without Transformer encoder) for each subject in the OpenBMI dataset. The three purple-covered regions correspond to the top 10% of subjects in the performance-improved, performance-stable, and performance-declined groups, respectively.

如图5所示，本文对三组被试的DeepLIFT贡献差异进行了组间平均比较（以左手任务为目标条件、右手任务为参考条件）。结果显示，性能提升组的贡献变化呈现出较为明显的局部化特征，正向差异主要集中于额中央、中央及中央顶叶等感觉运动相关区域内的IMF2成分（FC2、C2、C4、CPz、CP6等通道）；相比之下，性能维持组与性能下降组的贡献变化则呈现更为广泛的分布模式，跨越多个IMF成分与双侧通道，缺乏一致性焦点。这一组间差异提示，Transformer encoder对解码性能的提升效应具有条件性——其增益并非源于对全部特征的泛化式增强，而是取决于能否选择性强化任务相关且空间一致的感觉运动特征；当贡献变化局限于此类特征时，模型对稳定判别信息的依赖程度提升，可能改善有效信噪比并锐化类别决策边界。而当贡献变化呈弥散、非特异性分布时，其中可能混入了与任务无关的信息成分，从而限制了该模块的性能增益。

上海大学杨邦华教授团队：一种自适应频率感知Transformer网络用于运动想象解码图12

Fig. 5 Group average DeepLIFT difference between Scheme A (with Transformer) and Scheme C (without Transformer encoder) for the three subject groups. The vertical axis of each subplot represents EEG channels, and the horizontal axis represents the sampling points of the EEG. Left-task is defined as the target task for DeepLIFT, while right-task serves as the reference task.

总结：

本研究提出了一种自适应频率感知Transformer网络用于运动想象脑电解码。AFFormer 结合了基于MVMD的自适应频谱分解与基于Transformer encoder的时间建模，以捕捉被试特异性的频谱模式和运动想象相关特征。基于健康受试者、卒中患者以及OpenBMI数据集的实验结果表明，该方法在不同数据集和评估协议下均取得了具有竞争力的解码性能。消融实验结果表明， MVMD是性能提升的主要贡献因素，而Transformer encoder和联合损失分别提供了互补的时间建模能力和辅助性的判别优化。

论文信息：Liang Chang, Banghua Yang, Xinxing Xia, Wenbin Guo, Shuai Kuang, Jiayang Zhang,Adaptive Frequency-Aware Transformer for motor imagery decoding. Biomedical Signal Processing and Control, 2026, 127(Part A): 111144.

论文链接：https://www.sciencedirect.com/science/article/pii/S1746809426016988