点击蓝字 关注我们
欢迎各位专家学者在公众号平台报道最新研究工作，荐稿请联系小编Robert（微信ID：BrainX007）； 或将稿件发送至lgl010@vip.163.com。
原文标题：EMOD: A Unified EEG Emotion Representation Framework Leveraging V-A Guided Contrastive Learning
成果简介
从脑电信号中识别情绪对情感计算至关重要，并且已被深度学习广泛探索。尽管近期深度学习方法在单一脑电情绪数据集上取得了强劲表现，但由于注释方案和数据格式的异质性，其跨数据集的推广性仍然有限。现有模型通常需要针对输入结构量身定制的数据集特定架构，且缺乏不同情绪标签间的语义对齐。为应对这些挑战，本文提出了EMOD：利用价值-觉醒（V–A）引导对比学习的统一脑电情绪表征框架。EMOD通过弥合语义和结构上的鸿沟，从异构数据集中学习可转移且情感感知的表征。具体来说，将离散且连续的情感标签投射到统一的V–A空间中，并构建软权重监督对比损失，鼓励情感相似的样本聚集在潜在空间。为适应可变的脑电图格式，EMOD采用灵活的骨干，包括三域编码器和时空变换器，实现时间、光谱和空间特征的稳健提取与整合。在8个公开脑电图数据集上预训练EMOD，并在3个基准数据集上评估其性能。实验结果表明，EMOD实现了最先进的性能，展现出在多种基于脑电图的情绪识别场景中强的适应性和泛化性。代码详情见：https://github.com/cyn4396/EMOD
主要贡献
构建统一的情绪表征空间： EMOD 并未生硬地将离散标签当做孤立的类别。相反，它提出将所有情绪标签（无论是离散的还是连续的）统一映射到同一个由效价（Valence）和唤醒度（Arousal）构成的二维空间里。
提出 V-A 引导的软加权对比学习： 传统对比学习只分“同类”和“异类”（0或1），忽略了情绪的“距离”。EMOD 提出基于 V-A 空间距离的软权重：情绪越相似，V-A 距离越近，样本间权重越高。这使得模型不仅学会了判别情绪类别，更学会了情绪之间的“渐变关系”（如“高兴”和“兴奋”比“高兴”和“悲伤”更接近）。
设计灵活自适应的骨干网络： 为了解决不同数据集通道数、采样率不统一的痛点，团队设计了一个包含三域编码器（时域、频域、空域）和时空 Transformer 的骨干网络。无论输入什么样的数据格式，模型都能提取出有效的时空频谱特征，无需手动修改网络结构。
研究方法
1. 统一的 V-A 情绪空间与跨数据集批次采样策略
语义对齐：团队选择使用效价（Valence）和唤醒度（Arousal）构建一个统一的二维情绪空间。对于仅有离散标签的数据集，使用统计学映射将其投射到该空间内，并将坐标归一化到 [-4, 4] 的范围，形成 9×9 的网格。
结构化批次采样：为了避免数据分布偏差，团队进一步将这 9×9 的网格划分为 3×3 的宏观情感区域。在预训练时，每个 mini-batch 都会从每个数据集的 9 个宏观区域中均匀采样，确保模型在每个训练步都能接触到全局分布的情绪样本，从而在跨数据集之间实现“语义平衡”。
2. 基于 V-A 距离的软加权对比损失（核心算法）
传统对比学习的局限：传统的监督对比损失（SupCon）假设同类样本完全相似（权重为1），异类样本完全无关（权重为0）。这完全忽略了情绪的连续性（例如，“兴奋”与“高兴”比“悲伤”更接近）。
图1：传统 EEG 情绪识别与EMOD 框架对比。传统方法依赖特定数据集的监督和手工设计的架构，这限制了在不同数据集间的泛化能力。相比之下，EMOD 在异构数据上采用 V-A 引导的预训练，使得情绪感知的表示更稳健且具有良好的泛化性。
软加权设计：EMOD 引入了距离感知的软权重。给定锚点样本和样本，如果它们在 V-A 空间中的欧氏距离 于阈值，则赋予一个线性衰减的相似度权重。在对比损失中，距离越近的样本贡献的损失权重越大，距离过远则视为负样本。这使得模型能够捕获类内细微的情感差异（如不同程度的“高兴”），并平滑跨类间的情感连续过渡。
3. 灵活自适应的三域编码与时空 Transformer 骨干
三域编码器：为了解决输入格式不固定的问题，骨干网络同时并行处理时域特征（Raw信号卷积）、频域特征（FFT 变换后卷积），并将二者拼接融合。针对通道数变化，模块引入了可学习的空间位置嵌入（Spatial Embedding），将任意通道数量的电极信息映射到固定维度的统一空间中。
时空 Transformer：处理高维特征时，使用轴向注意力机制（分别做空间轴向注意力和时间轴向注意力）。尤为巧妙的是，针对脑电信号的时序特点（时间点 2 并不一定比时间点 10 更有意义），团队摒弃了绝对位置编码，改用相对时间编码。这种设计避免了时序位置的先验偏差，使模型能更灵活地捕捉不同时间尺度的情感动态。
图2：EMOD框架概览。
研究结果
表 1：用于预训练的 EEG 数据集统计
表2：三个基准数据集上的性能比较。每个结果报告五次运行的平均值/标准差 (%)。加粗项表示最佳性能；下划线项表示次佳性能。
表3：预训练组件的效果
图3：模型结构的消融研究。顶部的红色虚线表示完整EMOD模型的BACCo。
图4：来自DEAP数据集的EEG样本的t-SNE可视化。左图：未预训练的EMOD；右图：预训练的EMOD。点的颜色表示愉悦度（上）和唤醒度（下），绿色圆圈中的数字表示离散V-A分数（-4到4）的质心。与未训练模型相比，预训练的EMOD生成了结构更清晰、分离更明显的簇。此外，质心沿着平滑的情绪梯度排列，在学习到的表示空间中保留了愉悦度/唤醒度的顺序。
研究结论
本文提出了 EMOD，一种用于基于 EEG 的情感识别的对比预训练框架。EMOD 通过情绪-唤醒指导统一了异质的情绪标签，并采用带时空变换器的三域编码器来建模多样的 EEG 特征。在三个基准上的大量实验表明，EMOD 在使用更少参数和更少预训练数据的情况下超越了现有方法。消融研究进一步验证了情感感知对比损失和架构设计的重要性。研究发现凸显了情感引导预训练在学习可泛化和情绪敏感的 EEG 表征方面的潜力。
免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。
公众号丨智能传感与脑机接口
