KBS|用于跨个体EEG情绪识别的基于时空同构的跨脑区交互网络

脑电图（EEG）具有高时间分辨率和低成本优势，已成为人机交互中情绪识别的重要工具之一。然而，由于大脑结构和功能的复杂性，加之参与者的个体差异显著，现有方法难以同时对不同受试者脑区交互以及脑电波信号的时间和空间一致性进行建模，这限制了模型在跨个体情境下的泛化性能。为应对这一挑战，本研究提出了一种基于时空同构跨脑区交互网络（STCBI-Nets） 的跨个体 EEG 情绪识别模型。

本研究首先设计了跨脑区交互模块（CBI），其通过多头交叉注意力机制动态建模不同脑区间的交互关系，捕捉局部脑区间的异构信息流，增强脑电时间序列的长距离依赖建模能力，并有效整合全脑协同激活模式。其次，设计了时空同构自适应融合（STIAF）模块，采用双分支结构挖掘时空特征的层次化与互补信息，并引入负样本加权对比学习机制及动态融合策略，提升跨视图共享表示的鲁棒性与判别力，从而增强模型对不同个体特征的适应性。最后，提出了联合优化自适应领域对齐策略（JOADAS），结合全局对抗学习与自适应类别中心对齐机制，从宏观和微观层面降低不同受试者间的领域偏差，增强类内聚合度和类间可分离性，提升模型的判别性能及跨个体泛化能力。多项数据集上的广泛实验表明，所提算法性能优越，STCBI-Nets 在跨个体 EEG 情绪识别任务中超越了现有最先进方法，展现出更强的泛化能力和稳定性。

所提出的STCBI-Nets的框架如图1所示。STCBI-Nets包含跨脑区交互模块（CBI）、时空同构自适应融合模块（STIAF）、联合优化自适应领域对齐策略（JOADAS）。

图1.总体流程图

A. 跨脑区交互模块（CBI）

跨脑区交互（CBI）模块，利用多头交叉注意力机制捕捉不同脑区间相互关系，并通过线性变换和前馈层融合各脑区特征，动态表征脑区间信息传递和影响，无需预设功能连接指标，有效整合多脑区信息，提升模型对情绪特征的表达能力。

图2.CBI模块的网络结构

B. 时空同构自适应融合模块（STIAF）

时空同构自适应融合（STIAF）模块充分探索脑电信号的深层时空特征，并增强其在跨个体情绪识别任务中的鲁棒性与泛化能力。该模块包含四个关键子模块：分层时空解析分支（HTSPB）、并行时空解耦分支（PTSDB）、负样本加权对比学习策略及自适应融合模块，其具体网络结构如图3所示。

HTSPB通过“时间→空间→特征重塑”的分层处理方法，逐步提炼信号特征，确保各层次信息被充分提取，形成对情绪状态区分能力强的综合特征表示，增强模型识别情绪状态的能力。

PTSDB采用两个并行的一维时域卷积块和一个一维空域卷积块，每个卷积块后都连接一个一维特征重塑卷积块，其卷积核设置与时空层次解析分支相同。鉴于时间维度和空间维度高度相关却又相互独立的特性，PTSDB利用时域卷积在时间维度上提取脑电信号中情绪随时间变化的模式，同时运用与时间卷积并行的空间卷积在通道维度上捕捉电极间的空间交互关系。在完成时域和空域卷积后，PTSDB通过特征重塑卷积块对提取的特征进行降维整合。相较于串联结构，这种并行解耦方式能有效避免不同维度间的信息干扰，使各分支独立学习，获取更具代表性的特征。最终，PTSDB将时域和空域路径的输出特征拼接融合，实现时空信息的互补表达。

负样本加权对比损失让模型聚焦高相似负样本，通过训练时给这些负样本对赋予权重，促使模型优先学习它们的区分特征，避免因混淆相近类别而产生分类错误，进而提升跨个体情绪识别的精准度。

图3.STIAF模块的原理图。(A)STIAF模块的结构，(B)余弦相似矩阵，(C)加权对比损失机制

C. 联合优化自适应领域对齐策略（JOADAS）

JOADAS策略融合全局对抗学习与类别级子域对齐机制，实现从全局到局部的逐层适应，提升模型跨受试者泛化能力。借鉴DANN和类别中心对齐理念，引入自适应类别中心损失（ACCL），增强类内一致性与类间可分性。

本文提出一种基于 STCBI-Nets 的跨个体 EEG 情绪识别模型，主要在脑区交互建模、时空特征融合及时空特征融合、领域对齐优化三方面有所创新。首先，本研究构建了 CBI 模块，基于多头交叉注意力机制动态建模不同脑区的异构信息流和协同激活模式，提升 EEG 长距离依赖建模能力。其次，设计了 STIAF 模块，采用双分支结构提取时空特征的层次和互补性，并引入负样本加权对比学习机制和动态融合策略来增强特征跨视图表示的鲁棒性和判别性。最后，提出 JOADAS，结合全局对抗训练与自适应类别中心对齐，从宏观和微观层面减轻领域偏差并提升模型的泛化能力。该研究对 SEED、SEED-IV、DEAP 和 MPED 四个数据集开展了实验，大量对比实验、可视化分析和组件替换实验进一步证明了结构设计中各个模块的有效性和必要性。此外，脑区划分实验揭示了不同脑区在情绪特征表达中的关键作用，为 EEG 情绪识别提供了重要的理论参考。

尽管所提出的 STCBI-Net 在跨个体 EEG 情绪识别任务中取得良好效果，但仍存在一些局限性。虽然 STCBI-Net 通过领域适配和加权对比学习等技术有效缓解不同受试者间的个体差异问题，但在不同任务和人群中，EEG 信号的特征差异可能更为显著。因此，如何在没有大量标注数据的情况下提高模型的跨个体适应性，仍然是一个亟待解决的问题。此外，该方法采用无监督领域适配策略，在训练阶段使用目标域的未标记数据进行特征分布对齐。尽管在整个训练过程中没有使用目标域的情绪标签，但这种策略在一定程度上假设了测试阶段目标域数据的可用性，可能导致模型性能略高于实际部署情况。最后，实时处理在是实际应用中一个重要需求，尤其在医疗保健和智能人机交互等领域。情绪识别系统需要在低延迟条件下提供实时反馈。然而，所提模型复杂的网络结构和高计算需求可能限制了其实时应用效果。

未来将进一步探索如何结合脑区更精细的功能信息与个性化适配策略，以增强模型在跨个体和跨任务场景下的性能。针对领域适配问题，将探索更具实用性和通用性的模型，以更好地满足现实应用场景的需求。为了满足模型在实际部署中的实时性要求，将在未来优化模型的推理效率，采用更高效的计算策略，以减轻计算负担并提高系统的响应速度，从而推动所提算法在实际脑机接口和情绪计算场景中的广泛应用。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。