IEEE TAFFC：基于深度胶囊网络的脑电情感分类方法及其在与被试无关和与被试相关场景中的应用

     情感计算（Affective Computing）希望让机器能够感知、理解并适应人的情绪状态，是智能人机交互、脑机接口、心理健康辅助和自适应学习等领域的重要基础。传统情绪识别通常依赖面部表情、语音语调、姿态等行为信号，但这些外在表现可能被刻意隐藏或伪装。脑电图（Electroencephalography，EEG）能够以非侵入、相对低成本的方式记录神经电活动，为捕捉更直接的情绪反应提供了新的途径。目前，基于 EEG 的情绪识别仍面临两个突出问题：其一，脑电信号噪声大、非平稳性强，不同受试者之间的脑电模式差异显著，导致模型在新用户上的泛化能力有限；其二，许多方法仍依赖人工设计的时域、频域或熵特征，且大多停留在受试者内的二分类任务，难以满足真实场景中“无需为每位新用户重新训练模型”和“识别更细粒度情绪状态”的需求。

    针对这些挑战，Aadam 等人提出了 EmoCaps：一种基于深度胶囊网络（Capsule Network）的 EEG 情绪分类框架。该模型以经过基础预处理的原始 EEG 信号为输入，不依赖人工特征工程；同时以自注意力机制取代传统胶囊网络中迭代式的动态路由，使模型能够更有针对性地选择与当前情绪相关的通道及时空特征。研究在公开 DEAP 数据集上，系统评估了 EmoCaps 在受试者内和跨受试者两类设置下的二分类、四分类和八分类性能。论文报告显示，EmoCaps 在更贴近实际部署的跨受试者设置中，仍能在效价、唤醒度和支配度三项二分类任务上取得超过 91% 的平均准确率，并给出了 DEAP 数据集上跨受试者多分类的结果。代码链接：https://github.com/aadimator/emocaps-tf

• 提出了专为跨受试者及跨会话脑电图（EEG）情绪识别而设计的深度学习框架MSCCKDA。该框架能够从多个源受试者中学习情绪判别性且域不变的特征，从而无需进行目标域校准；

• 设计了多尺度核映射模块，用于提取不同结构层级下EEG样本间的关联模式；设计了类内域内紧凑度模块，以确保每个独立源域内的类别间保持紧凑性；并设计了跨域类间分离模块，旨在扩大不同受试者之间情绪类别间的决策边界；

• 在基准EEG数据集上开展的大量实验验证了MSCCKDA的有效性，结果表明其性能优于多项代表性基线方法。这表明，MSCCKDA不仅拓展了深度学习在跨域情绪识别中的应用范围，也为基于EEG的情绪识别在实际场景中的应用提供了潜在框架。

  
  

     情绪通常可通过离散模型或维度模型来描述。本研究采用效价-唤醒度-支配度（Valence-Arousal-Dominance，VAD）维度模型：效价表示愉悦或不愉悦，唤醒度表示平静或兴奋，支配度表示个体对情绪的掌控程度。研究以阈值 5 将每个维度划分为高、低两类，并进一步组合形成四类效价-唤醒度状态和八类 VAD 状态。

图1：支持多种视角的 3D VAD 情感模型

     EmoCaps 的整体流程如图2所示。训练阶段，原始 EEG 先进行预处理，再输入 EmoCaps 学习情绪表征；测试阶段，待测 EEG 经相同处理后输入已训练模型，输出对应的情绪标签及分类准确率。

图2：所提方法的工作流程

在数据预处理阶段，作者首先利用刺激前 3 秒的基线 EEG 计算受试者的放松状态基线，并从刺激期间的 EEG 中减去该基线，以减小个体静息状态差异的影响。随后，研究使用长度为 1 秒的无重叠时间窗对信号进行切分，每个片段继承原始试次的情绪标签。这样既增加了训练样本数量，也为近实时情绪识别提供了较短的分析单元。

图3：EEG信号预处理

     EmoCaps 的核心结构如图3所示，主要包括卷积特征提取、主胶囊构建和自注意力路由三个部分。

     首先，模型使用四层卷积网络从 1 秒 EEG 片段中提取局部高维特征，并在卷积层之间引入批归一化（Batch Normalization，BN），以缓解 EEG 的非平稳性与受试者间分布差异。论文的对比实验表明，在跨受试者效价识别中，加入 BN 后的准确率由 81.04% 提升至 91.97%。

     随后，深度可分离卷积将卷积特征转换为向量形式，并输入主胶囊层。与普通神经网络用一个标量表示特征是否存在不同，胶囊使用一个向量表示特征：向量长度表示某一情绪模式存在的概率，向量方向则编码该模式的内部属性。因此，胶囊网络能够更好保留 EEG 特征之间的相对空间关系，以及局部脑电模式与整体情绪状态之间的“部分—整体”联系。

     最后，EmoCaps 采用基于自注意力的路由机制，将低层胶囊的信息动态传递至高层情绪胶囊。该机制会为不同连接分配自适应权重，使与当前情绪更相关的 EEG 通道和时空模式获得更大贡献。相比传统胶囊网络反复迭代的动态路由方式，自注意力路由避免了迭代开销；在本研究中，输入序列长度为 128，计算负担保持在可控范围。

图4：EmoCaps模型架构

表 1：DEAP数据集上的受试者依赖型二分类准确率

表 2：DEAP数据集上基于独立被试的四类分类准确率

     本研究提出了用于 EEG 情绪识别的端到端深度胶囊网络框架EmoCaps。该方法直接从经基线校正和基础滤波后的原始 EEG 片段中学习特征，通过卷积层提取局部模式、胶囊层保留特征间的层级关系，并利用自注意力路由动态选择更具情绪判别力的信息。与大量侧重受试者内二分类的既有工作相比，EmoCaps 同时覆盖受试者内、跨受试者、二分类、四分类和八分类任务。实验结果显示，该模型在 DEAP 数据集上的多个设置中取得了较高的准确率，尤其在跨受试者场景下表现出较强的泛化能力，说明胶囊表示与自注意力路由有助于缓解 EEG 的个体差异和噪声干扰。从应用角度看，跨受试者能力意味着模型有望减少新用户使用前的个体化校准与重复训练需求，为情绪感知式人机交互、脑机接口、辅助驾驶、适应性学习和心理健康辅助评估等场景提供技术思路。需要指出的是，论文当前主要在 DEAP 单一公开数据集上进行验证，且使用基于阈值的高低情绪标签。作者也指出，胶囊网络仍具有较高的训练资源需求，EEG 噪声、模型超参数敏感性和类别不均衡仍可能影响实际泛化。后续可进一步开展跨数据集验证、探索不同时间窗长度，并尝试包含“中性”状态的三分类或更连续的情绪建模方式。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。