Inform Fusion：区域到全局融合与时空语义对齐机制 基于区域到全局融合与时空语义对齐机制的多模态生理信号情感识别

     随着多模态学习的持续发展，基于多模态生理信号的情绪识别已成为研究热点。研究表明，结合脑电图（EEG）信号与眼动信号可显著提升情绪识别效果。然而，当前研究仍面临以下挑战：（1）个体对不同情绪的反应时间与持续时长存在差异，导致数据具有多样性和变异性；（2）不同模态在时空维度上存在不一致性，可能使同一时空条件下各模态所承载的语义相关性与重要性各异。为应对上述挑战，本文提出一种具备时空语义对齐机制的“区域到全局融合网络”（R2GFANet）。首先，R2GFANet通过引入填充掩码并结合一维卷积神经网络（1D-CNN），对长度可变的EEG信号和眼动信号进行时序语义信息编码，以应对第一类挑战；随后，该网络采用多区域跨模态注意力机制，在各脑区内部并行实现时序语义对齐，并借助区域级空间注意力机制突出关键脑区的语义信息，从而有效缓解模态间的时空不一致性问题。我们在SEED-IV和SEED-V两个公开数据集上将所提方法与多种前沿方法进行了对比实验，结果验证了R2GFANet优异的性能表现及统计显著性。此外，我们还开展了消融实验与可视化分析，结果表明EEG信号与眼动信号的对齐不仅提升了分类性能，还增强了模型的神经科学可解释性。

• R2GFANet 模型融合了神经科学领域的理论与方法，通过引入时空语义对齐机制来学习并进一步融合来自不同模态的最相关语义信息。该方法提升了模型在识别典型情绪模式时的可解释性，并从神经科学视角提供了有价值的洞见。

• R2GFANet 能有效捕捉时间变异性，并充分利用 EEG 信号与眼动数据中的时序语义信息，这在情绪识别任务中具有显著意义。此外，所提出的模态语义对齐损失函数增强了融合后多模态表征之间的连贯性。

• R2GFANet 模型已通过两个公开可用的数据集进行验证，充分证明了其有效性与鲁棒性。与当前最先进的（SOTA）方法相比，R2GFANet 表现出卓越的性能，进一步推动了情绪识别领域的创新应用。

（1）脑电预处理与面向脑区建模的特征构建。对原始脑电信号完成下采样与噪声滤波处理，通过带通滤波器划分 δ、θ、α、β、γ 五个生理频带，计算各通道各频带的差分熵特征作为模型输入。参考大脑解剖结构中额叶、顶叶、颞叶、枕叶的功能分区，借鉴现有脑区分割方案并做细节调整，将 62 个电极划分为 7 个允许电极重叠的脑区，建立电极‑脑区映射关系；其中额叶区域电极数较少，通过补充虚拟零通道构成完整的区域特征图。将各脑区特征分别转换为适配 CNN 的图像格式与适配 Transformer 的序列格式，为后续脑区分支特征提取提供标准化数据输入。重叠的电极划分方式，在数据层面实现不同脑区之间的信息交互。

（2）设计双分支脑区特征提取模块 DB‑CTFEM。为充分挖掘单个脑区内部的局部细粒度模式与全局依赖关系，构建 DB‑CTFEM 双分支特征提取模块。CNN 分支采用浅层卷积结构，通过线性插值放大脑区特征图后执行多层卷积与平均池化，避免深层网络拟合脑电噪声，提取脑区内局部空间特征；Transformer 分支经线性层统一特征维度后，搭建带残差连接的多层编码器，捕获脑区电极之间的全局长距离依赖。引入多头交叉注意力机制，将 CNN 输出的局部特征作为键、值，Transformer 输出的全局特征作为查询，并保留残差连接以增强信息保持，自适应融合局部与全局信息，得到增强后的脑区深度特征表示，充分发挥两种网络结构的互补优势。

（3）构建基于两步注意力的脑区特征融合模块 RFM 与区域损失函数。不同脑区在情绪生成过程中起到的作用存在差异。本文设计 RFM 脑区特征融合模块，首先将各脑区输出特征展平并降维统一维度，第一步通过注意力权重加权所有脑区特征，重构初步全脑全局特征；第二步将各脑区特征与初步全局特征拼接，再次计算注意力权重完成二次加权融合，得到兼顾脑区个体特性与全脑上下文信息的最终特征。针对脑区注意力权重分布，设计由 α 正则损失、脑区重要性损失、最小 α 损失共同组成的区域损失函数，动态约束各脑区贡献权重，既防止权重过度集中或全部偏小，又引导模型更加侧重对情绪识别贡献更大的关键脑区。将区域损失、交叉熵分类损失、L2 参数正则相结合，构成模型完整的目标损失函数完成网络训练。最终在 SEED、SEED‑IV、SEED‑V、SEED‑VII 四个公开数据集上开展受试者依赖实验，验证了所提方法在脑电情绪识别任务上的有效性与鲁棒性。

图1 R2GFANet的框架：首先，我们根据特定脑区对EEG信号进行分割；随后，针对从各脑区采集的EEG信号，R2GFANet整合时间信息编码以降低时间信息中的变异性，并通过多区域跨模态注意力机制（Mr-CMA）计算每个脑区的动态权重，从而探究跨模态情绪语义传递中的时空差异；最后，将融合后的表征（其中包含了经过优化的跨时间切片时空语义对齐信息）输入到softmax分类器中，用于执行情绪识别任务。

图2 区域时序语义对齐机制的结构。该对齐机制用于捕捉两个模态在跨时序序列中的语义相关性。阈值根据各脑区在序列中的位置信息，对各脑区的注意力权重进行自适应确定。

图3 区域至全局空间语义对齐机制。该机制在脑区层面对时序语义对齐表示应用空间注意力机制，从而能够学习到针对各脑区特有的动态注意力权重。这使得该机制能够聚焦于每个脑区中最关键的信息，进而实现空间语义对齐，并生成更丰富的时空语义表示。

表1 R2GFANet与竞争性方法在受试者无关情绪识别准确率上的对比。

图5 EEG与EM的初始表征、深度表征以及R2GFANet生成的表征的可视化结果：SEED IV的数据展示于(a)-(g)，SEED V的数据展示于(h)-(n)。

     本文提出一种区域至全局的多模态生理信号融合网络，该网络整合了时空语义对齐机制，以实现高效的情绪识别。时序信息编码能够有效捕捉个体在情绪刺激过程中，中枢神经系统与视觉系统响应时间及持续时间的变异性。此外，引入了区域至全局的多模态时空语义对齐信息，并将其与对齐损失函数相结合进行联合优化，旨在获得具有增强的模态协同特性的融合表征。在两个公开数据集上的实验结果证明了所提出的 R2GFANet 模型的优越性能，表明将多模态时空语义对齐信息与模态语义对齐损失函数相结合可有效提升情绪识别性能。消融实验与可视化分析进一步验证了该模型在情绪识别中的有效性及其神经科学层面的可解释性，支持其在现实场景中广泛应用的潜力。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。