结合域对抗神经网络和可靠伪标签迭代用于跨被试脑电情绪识别

如图1所示，DANN-RPLI架构的基本组成部分包括基模型、编码器、特征扰动、分类器和判别器、伪标签迭代和投票。

图1 Dann-RPLI的体系结构

2.1 基模型

 采用基于原型表示的成对学习（PR-PL）模型的预测作为初始伪标签。PR-PL是先进的跨被试情绪识别迁移学习框架，为DANN-RPLI方法奠定稳健基础。源域和目标域脑电样本的DE特征经类似预处理后输入PR-PL模型。PR-PL生成的初始伪标签能准确反映情绪状态，为后续分组组合提供基础。

2.2 编码器

使用共享参数的多层感知机（MLP），将样本系统地分为六组并提取高维特征，有效提升领域对抗模型的泛化性能。如图2所示。

同时我们扩大小规模目标数据集（带伪标签），增强模型跨主体泛化能力。编码器中，样本分组依据样本所属域和伪标签相似性。

图2 Dann-RPLI的编码器结构

2.3 特征扰动

假设目标域中高质量的样本（即标签稳定的样本）在扰动后仍能保持稳定。为了增强对伪标签的信任度，围绕各自的伪标签中心对所有脑电样本进行扰动。具体而言，根据伪标签将这些样本屏蔽为多个类别，并计算每个类别的中心样本。然后对样本施加扰动，使其远离原类别中心并靠近其他类别中心，从而生成扰动后的样本，如图3所示。

图3 Dann-RPLI的特征扰动过程

2.4 分类器和鉴别器

随后开发一个对抗性判别器（AD），用于区分六个组。AD由两个全连接层和一个输出层构成。判别器采用交叉熵损失。在训练期间，编码器和AD的参数通过迭代进行更新，直至源域和目标域无法区分。

2.5 伪标签迭代

通过对比原始和扰动数据的预测标签一致性，并结合Softmax概率阈值来生成可靠伪标签。这些伪标签数据反馈至编码器，助力模型优化特征表征，提升目标域性能。训练分两步：先用基础模型生成初始标签并训练编码器、分类器和判别器；后移除基础模型，引入伪标签迭代生成伪标签并训练相关组件。训练损失整合对抗、对比和分类损失，权重相同。

2.6投票

依照第2.1至2.5节的方法，将所有源被试适应至目标被试后，可获得M个领域适配模型。从中选出性能最高的M个模型，预测目标被试未标记的脑电数据。再利用投票机制汇总预测的情感标签，选取在选定的M个模型中出现频率最高的情感标签作为最终预测结果。

表1 所提出方法在SEED数据集上的跨被试情绪分类总体性能

表2 所提出方法在SEED-IV数据集上的跨被试情绪分类总体性能

图4 SEED数据集上跨被试情绪分类的混淆矩阵

表3 所提出方法在DEAP数据集上的跨被试情绪分类总体性能

表4 所提方法与其他方法在SEED、SEED-IV和DEAP数据集上产生的跨被试情绪分类结果对比

图5 在SEED数据集上，随着训练周期的增加，3种先进方法和所提出方法的性能表现

图6 在跨被试脑电情绪识别任务中的t-SNE可视化结果。（a）原始数据，（b）训练后的编码数据

表5 所提出方法在SEED数据集上不同阈值下的性能表现

表6 所提出方法在SEED数据集上，使用不同数量的源被试时所达到的性能表现

图7 DANN-RPLI在不同扰动次数下的性能表现对比

图8 SEED数据集各脑电通道在五个频率带的显著性图

表7 在SEED数据集上进行的跨被试脑电情绪识别消融实验结果

 本文提出了一种名为DANN-PRLI的新方法，用于解决脑电跨被试情绪识别的挑战。通过引入可靠的伪标签生成策略和迭代过程，提升伪标签质量，增强标签选择的置信度。领域对抗网络的运用进一步提高情绪子域适配的鲁棒性，促进更好的跨域情感表示。此外，该方法有效解决脑电测量中伪标签质量的限制问题，为基于脑电的情绪识别应用提供一种实用解决方案。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。