
点击蓝字 关注我们

欢迎各位专家学者在公众号平台报道最新研究工作,荐稿请联系小编Robert(微信ID:BrainX007); 或将稿件发送至lgl010@vip.163.com。
英文标题:AFC-MGN: An adaptive functional community multi-granularity network for EEG-based emotion recognition
原文链接:
https://www.sciencedirect.com/science/article/pii/S1746809426016782

固定脑区划分难以充分描述具有个体差异的动态脑功能。
同样是快乐或恐惧,不同人的脑电信号未必呈现相同的连接模式。如果识别模型始终使用一套固定的脑区分组,是否会忽略这些个体差异?
发表于 Biomedical Signal Processing and Control 的研究提出 AFC-MGN(自适应功能社区多粒度网络):先依据 EEG 通道间的特征关联发现功能社区,再结合社区内部与社区之间的信息识别情绪。在 SEED-IV 四分类任务中,模型取得 90.05% 的被试内平均准确率和 75.91% 的跨被试平均准确率。


首页图 | 固定脑区方法采用统一的节点与连接先验;AFC-MGN 则依据不同被试的 EEG 功能连接形成个体化的功能社区划分。
动态功能社区检测 · 区域与全局编码 · 多粒度图学习 · 跨被试泛化 · 可解释分析
为什么相同情绪下,不同被试的 EEG 功能连接组织仍存在差异?
现有 EEG 图建模方法通常依据解剖结构、左右半球或电极空间位置预先划分脑区。然而,情绪状态与多个脑区之间的动态功能连接有关,而且这种连接模式会随情绪状态和个体差异而变化。
统一的固定分区难以充分描述被试间差异和状态相关的功能组织。AFC-MGN 因此在图表示学习之前引入数据驱动的功能社区检测,依据当前 EEG 的通道连接模式形成个体化分组,再进行多粒度图特征学习。
近日,我们关于 EEG 情绪识别的研究论文 “AFC-MGN: An Adaptive Functional Community Multi-Granularity Network for EEG-Based Emotion Recognition” 已在 Biomedical Signal Processing and Control 正式发表。研究提出了一种新的脑电情绪识别模型 AFC-MGN(Adaptive Functional Community Multi-Granularity Network,自适应功能社区多粒度网络),旨在克服传统方法依赖固定脑区划分的局限,从具有低信噪比、显著个体差异和复杂功能连接特征的 EEG 信号中,自适应识别情绪相关功能社区,并通过区域与全局多粒度图学习提取社区内及社区间的情绪判别信息。
AFC-MGN 研究整体框架

研究整体框架图 | AFC-MGN 依次完成五频带差分熵特征提取、动态功能社区检测、社区内特征编码、社区间信息融合与情绪分类。
固定脑区划分难以描述个体化、动态功能组织
EEG 具有毫秒级时间分辨率、无创和便携等优势,是情感计算和脑机接口的重要信号来源。但它也同时面临信噪比低、维度高、个体差异大、空间关系难建模等问题。
传统方法常将全部 EEG 通道构建为单一全局图,或依据左右半球、Brodmann 分区及电极空间位置预先划分固定区域。此类方法引入了稳定的先验,但难以适应被试间差异及情绪状态变化所对应的功能连接模式。
网络神经科学研究表明,脑功能网络会随认知任务、情绪状态和个体差异发生重组。因此,固定分区的主要局限在于其边界预先设定,无法根据当前 EEG 样本的功能连接特征进行调整。
本研究关注的核心问题
能否根据 EEG 通道间的功能连接,自适应划分功能社区,并提取社区内部和社区之间的情绪相关信息?
AFC-MGN 的核心思路:先检测功能社区,再进行多粒度编码
AFC-MGN 不仅学习通道之间的连接权重,还在图编码之前显式执行功能社区检测。模型依据 EEG 通道特征及其功能连接关系形成数据驱动的节点群组,随后分别提取社区内局部特征和社区间全局特征。
·功能社区检测:不依赖预定义脑区边界,而是根据通道特征与功能连接自适应分组。
·社区内建模:在每个功能社区内部学习细粒度拓扑与关键连接。
·社区间建模:融合不同社区的表示,提取社区间及跨脑区的交互信息。
·注意力增强:通过 SENet、CBAM 与自注意力突出情绪相关节点和特征。

图 1 | AFC-MGN 的五步信息流:五频带差分熵特征、动态功能社区检测、社区内特征编码、社区间信息融合和四类情绪输出。
术语与参数说明
“社区”是复杂网络中的术语,指内部连接相对紧密的节点群组。本文中的“自适应”是指 EEG 通道的社区归属、社区有效规模及社区内连接模式由数据决定;“动态”主要指社区划分会根据被试的功能组织进行调整,而不是对社区随连续时间变化进行建模。功能社区数量 K 仍为预设超参数;论文根据敏感性实验将 K 设为 10,并将单个社区规模限制为 4-10 个通道。
第一步:提取五频带差分熵特征
研究首先对 62 通道 EEG 进行坏道修复和 4-47 Hz 带通滤波,再用短时傅里叶变换分解为 delta(1-4 Hz)、theta(4-8 Hz)、alpha(8-13 Hz)、beta(13-30 Hz)和 gamma(30-47 Hz)五个频带。
研究从每个频带中提取差分熵(Differential Entropy, DE)特征。对于近似高斯分布的 EEG 片段,DE 与特定频带的对数能量相关,并对信号能量变化较为敏感。最终,每个样本表示为 62 个通道与 5 个频带构成的特征矩阵。
为什么要保留五个频带,而不是只挑表现最好的一个?
不同频带包含互补的情绪相关信息。论文的频带对比实验也显示,五频带融合的整体识别性能高于任一单频带。
DNFCD:基于功能连接的动态社区检测
动态神经功能社区检测器 DNFCD 首先将各 EEG 通道的五频带特征映射到高维特征空间,随后计算通道间的特征相似度矩阵,以表征通道之间的功能关联强度。
在此基础上,模型构建归一化图拉普拉斯矩阵,并利用幂迭代近似获得前 K 个特征向量。由这些特征向量形成的谱嵌入用于软聚类,进而估计各通道对不同功能社区的归属概率。
DNFCD 根据通道归属概率进行排序,并依据相邻归属值的变化确定自适应截断位置,从而估计各功能社区的有效规模。通道覆盖机制进一步确保所有 62 个通道均参与最终表示。
方法理解
DNFCD 依据 EEG 通道特征的相似性构建功能连接矩阵,并通过谱嵌入与软聚类形成数据驱动的功能社区。社区划分由通道间连接模式决定,而不是直接沿用预定义脑区边界。
区域编码器:建模功能社区内部连接模式
完成功能社区划分后,区域功能社区编码器分别处理各社区。自适应图编码器(Adaptive Graph Encoder, AGE)不采用预定义物理距离阈值,而是根据节点特征学习社区内部的邻接矩阵。
SENet 随后对频带与连接信息进行通道注意力重标定;HRF-GCN 则通过两级图卷积和层级残差特征模块,逐步提炼从低层局部模式到高层抽象模式的社区表示。

图 2 | HRF-GCN 通过两级图卷积和两级 HFRM 提取社区内部的层级特征,并利用残差连接保留原始信息。

图 3 | HFRM:特征变换后进入 CBAM,以通道注意力和空间注意力突出关键信息,再与输入残差融合。
全局编码器:建模功能社区之间的全局交互
全局功能社区编码器将多个社区的特征表示进行拼接,构建跨社区的全局连接图,并通过 AGE、SENet 与 HRF-GCN 提取不同功能社区之间的交互信息。
随后,自注意力机制进一步建模跨节点的远距离依赖,分类器对融合后的表示进行逐级压缩,并输出四类情绪的预测概率。该过程实现了社区内局部特征与社区间全局交互信息的联合建模。
区域与全局编码器的功能分工
区域编码器提取各功能社区内部的局部连接特征;全局编码器整合不同社区之间的交互信息。两者分别对应社区内特征建模和社区间信息融合。
实验设计:被试内与跨被试评估
研究使用上海交通大学 BCMI 实验室发布的 SEED-IV 数据集:15 名被试(7 男、8 女)在观看电影片段时记录 EEG,标签包括中性、悲伤、恐惧和快乐四种情绪。每名被试完成 3 次实验,每次观看 24 个约 2 分钟的片段。
·被试内设置:每名被试、每次实验分别按 trial 划分;每类前 4 个 trial 训练、后 2 个测试。
·跨被试设置:采用留一被试交叉验证;每轮用 14 人训练,剩余 1 人测试,轮流覆盖全部被试。
·防止泄漏:同一 trial 提取出的所有 DE 样本只进入训练集或测试集其中一侧。
模型使用 PyTorch 实现,训练 200 个 epoch,批量大小 32,固定随机种子 42。评估不仅报告准确率,还给出宏平均精确率、召回率、F1 和 Cohen's kappa。
核心结果:被试内 90.05%,跨被试 75.91%
在论文列出的对比方法中,AFC-MGN 在两种设置下都获得最高平均准确率。被试内结果较最强对比方法 SGGT 高 1.43 个百分点;跨被试结果较 BGAGCN-MT 高 0.43 个百分点。
被试内平均准确率:90.05%
跨被试平均准确率:75.91%
被试内宏 F1:88.69%,Cohen's kappa 为 0.8688

图 4 | 与论文中最强对比结果相比,AFC-MGN 在被试内和跨被试两种设置下均保持领先。
跨被试设置下的提升为 0.43 个百分点,增幅相对有限。该结果表明,AFC-MGN 在更具挑战性的跨个体评估中仍具有竞争力,但其跨被试泛化能力仍有进一步提升空间。
分类混淆主要发生在恐惧与快乐之间
被试内混淆矩阵的大多数样本集中在主对角线上,中性和悲伤识别较好。主要错误发生在恐惧与快乐之间:真实快乐样本中有 145 个被预测为恐惧,真实恐惧样本中有 95 个被预测为快乐。

图 5 | AFC-MGN 被试内四分类混淆矩阵。恐惧与快乐之间的交叉误判最明显。
混淆特征
研究指出,恐惧与快乐在部分样本中可能呈现相近的 EEG 模式,因此两类情绪之间出现了相对较多的交叉误判。
消融实验:区域编码器的贡献更为显著
移除区域功能社区编码器后,被试内准确率从 90.05% 降至 76.88%,跨被试从 75.91% 降至 58.62%;移除全局编码器后,则分别降至 82.04% 和 64.27%。

图 6 | 模块消融结果。移除区域编码器后性能下降最明显,表明社区内部的细粒度特征对分类结果具有重要贡献。
消融结果显示,区域编码器对性能的影响更大;全局编码器则补充不同功能社区之间的交互信息。两类编码器共同构成 AFC-MGN 的多粒度表示学习框架。
功能社区数量敏感性:K = 8-10 整体表现较稳定
敏感性实验把功能社区数 K 从 4 调整到 14。被试内设置下,多数代表性被试在 K = 8-10 时表现更好,其中 K = 10 常达到峰值;跨被试设置的最优点更分散,有的被试在 K = 6 或 8 时更好。

图 7 | 功能社区数量敏感性分析。K = 8-10 时整体表现较稳定,但不同被试对应的最优社区数量仍存在差异。
结果表明,功能社区划分粒度会影响模型性能:较少的社区可能限制局部特征分离,较多的社区则可能削弱跨区域依赖建模。不同被试的最优粒度并不完全一致,说明统一设置的 K 未必对所有被试均为最优。
频带贡献:多频带融合最佳,beta 与 gamma 跨被试判别能力更强
单独比较五个频带时,所有频带融合获得最高整体准确率,说明不同节律携带互补信息。在单频带中,beta 与 gamma 的区分能力更强,尤其在跨被试设置下分别达到 71.25% 和 72.38%。

图 8 | 不同频带的情绪识别表现。多频带融合最佳;beta、gamma 的跨被试泛化优于低频成分。
结果提示,高频 EEG 活动可能包含更稳定且更具跨被试一致性的情绪判别信息。同时,多频带融合优于任一单频带,说明不同频带之间存在互补性。
Grad-CAM:不同粒度对应不同范围的空间激活模式
为分析模型关注的空间模式,研究利用 Grad-CAM 展示小、中、大三种功能社区尺度的激活结果。小尺度社区主要反映额叶、顶叶和枕叶的局部活动;中等尺度社区呈现更广泛的区域连接模式;大尺度社区则表现出覆盖多个脑区的分布式激活。

图 9 | 三种功能社区尺度的 Grad-CAM。不同尺度分别反映局部活动、较广泛的区域协同和大范围功能整合。
经过全局功能社区编码器后,五名代表性被试的激活图均突出额叶或额-中央区域,同时保留个体间的空间差异。该结果与额叶参与情绪评价、调节和认知控制的既有研究认识一致。

图 10 | 五名被试的全局编码后激活图。模型稳定关注额叶与额-中央区域,同时保留个体化空间模式。
Grad-CAM 结果的解释边界
这些热图支持模型学到了具有神经生理意义的空间模式,但 Grad-CAM 仍是模型解释工具,不能直接等同于因果脑机制或临床定位证据。
计算开销:适合离线与半在线分析,实时应用仍需优化
在输入大小 1 × 62 × 5、NVIDIA RTX 4070 Ti、PyTorch 2.1.1 的测试条件下,AFC-MGN 的活动路径参数量为 4.12 M,注册参数量 12.52 M,单样本计算量 14.27 MFLOPs。
Batch = 1 单样本推理时间:152.93 ms
Batch = 32 每批推理时间:1566.93 ms,约 48.97 ms/样本
Batch = 32 吞吐量:20.42 samples/s
上述结果表明,AFC-MGN 的计算成本处于离线与半在线 EEG 情绪分析可接受的范围。
研究意义与局限
AFC-MGN 的主要意义在于将功能社区检测引入 EEG 图表示学习,使通道分组能够依据样本的功能连接特征进行调整。该框架为将个体化功能组织与多粒度脑网络表示相结合提供了新的建模思路。
·信号模态仍单一:当前只使用 EEG;未来可融合 ECG、GSR 等生理信号。
·时间动态尚未充分建模:当前强调个体化社区,未追踪社区随时间窗口的连续演化。
·会话独立性仍需验证:被试内训练和测试可能来自同一记录会话,更严格的跨会话协议值得补充。
·功能社区数量仍为超参数:K 由敏感性实验选定,模型尚未自动确定功能社区数量。
研究总结
AFC-MGN 将数据驱动的功能社区发现引入脑电情绪识别,让 EEG 通道依据功能关联形成个体化分组,并联合学习社区内部的细粒度特征与社区之间的交互信息,为刻画个体差异提供了一种多粒度图建模思路。
结语
从“预先设定通道分组”到“依据功能连接自适应划分功能社区”,AFC-MGN 尝试让模型更贴近不同个体的脑网络组织特征。它不仅关注情绪识别的准确率,也关注社区内部连接与社区之间的交互如何共同反映情绪相关信息。EEG 情绪识别仍面临跨被试差异、时间变化和实时应用等挑战。但这项研究表明,将个体化功能社区与多粒度脑网络建模结合,为理解不同情绪状态下的脑功能连接提供了新的思路,也为更稳定、更具可解释性的脑机接口情绪识别提供了新的可能。
免责声明:原创仅代表原创编译,水平有限,仅供学术交流,如有侵权,请联系删除,文献解读如有疏漏之处,我们深表歉意。


公众号丨智能传感与脑机接口
