CogLign: 通过脑电脑图与文本知识图谱的认知对齐，实现可解释文本情感分析

     文本情感分析是自然语言理解的核心任务之一，但现有神经网络模型存在显著的“黑盒”问题，模型能给出判断，却无法解释“为什么这么判断”。这一缺陷严重制约了情感分析技术在医疗、金融、教育等高可靠性场景中的落地应用。

     南京信息工程大学与德州理工大学等机构的研究人员在IEEE Transactions on Knowledge and Data Engineering（TKDE，CCF A类期刊）上发表了一项突破性工作，提出CogLign框架，首次将脑电信号（EEG）引入文本情感分析的可解释性研究。该工作的核心创新在于认知对齐（Cognition Alignment）：一方面，从被试观看情感视频时的EEG信号中提取脑图，反映大脑在不同情感刺激下的神经激活模式；另一方面，从视频情节的文本描述中构建知识图谱，刻画文本语义。通过变分推断学习“实体-电极”映射矩阵，CogLign实现了语义认知与神经认知的精准对齐。实验结果表明，CogLign在SEED和SEED-V两个公开数据集上的情感/情绪分类准确率分别达到97.62%和86.96%，显著优于HRLN、KGAN等图神经网络方法，以及ChatGPT、THOR等大语言模型。更重要的是，CogLign学到的脑区激活模式与脑科学中的已知结论高度一致——积极情感激活颞叶和顶叶，消极情感激活额叶和枕叶。这一发现为模型判断提供了清晰的神经科学依据，标志着可解释文本情感分析迈出了关键一步。

• BGI模块（脑图集成）：将连续EEG信号按时间窗分段，在每个窗口内提取频谱特征构建多张脑图，再通过时空图卷积分析拓扑特征，集成为窗口级脑图，捕捉大脑情感响应的时间动态变化。

• CA模块（认知对齐）：对每个时间窗，将文本段构建为知识图谱，与对应的窗口级脑图进行“实体-电极”对齐。通过变分推断分解条件概率，学习潜在对齐矩阵，实现从文本语义到脑神经响应的映射，并借助图重构强化两者关联。

• Fusion模块（融合决策）：跨所有时间窗，将知识图谱、脑图及其对齐矩阵进行序列级融合，综合多窗口的语义与神经信息，最终判定整个解释文本的情感倾向（积极/中性/消极）。

图1.CogLign框架的整体架构

图2.脑集成（BGI）模块的整体框架（注：S表示空间，T表示时间）。

知识图谱构建与编码（文本侧）：由三名标注者将每个时间窗内的视频情节解释为文本，选取语义最完整者作为该窗口的文本段。从文本段中抽取实体和关系，构建知识图谱。随后通过Graphormer对知识图谱进行编码，得到实体节点的向量表示。

认知对齐域融合（CA + Fusion模块）： 将知识图谱的实体编码与脑图的电极编码分别输入P网络和Q网络，拟合两个分布，通过内积得到“实体-电极”对齐矩阵。该矩阵既用于从知识图谱重构脑图（强化对齐），也被聚合为序列级对齐信息。最终将序列级知识图谱、序列级脑图、序列级对齐矩阵三者拼接融合，经分类层输出情感判定。整体架构如图所示：

图3.认知对齐（CA）模块的整体框架

表1.CogLign的跨实例消融研究

注：KG表示知识图谱，BG表示脑图；彩色行表示各模块下的最佳组合；MS表示测试耗时（毫秒，不含数据准备阶段）；onlyBGI表示仅使用BGI模块，由LBGI在LAll中训练；BGI+CA表示两个模块由LBGI+LCA在LAll中训练；BGI+CA+FUSION表示CogLign完整模型由LAll训练。

表2.CogLign的跨被试消融研究

注：KG表示知识图谱，BG表示脑图；彩色行表示各模块下的最佳组合；MS表示测试耗时（毫秒，不含数据准备阶段）；onlyBGI表示仅使用BGI模块，由LBGI在LAll中训练；BGI+CA表示两个模块由LBGI+LCA在LAll中训练；BGI+CA+FUSION表示CogLign完整模型由LAll训练

表3.CogLign与其他现有方法在文本情感（情绪）分析上的跨实例比较

注：KG表示知识图谱，BG表示脑图；彩色行表示各类别下的最佳方法；Ms表示测试耗时（毫秒，不含数据准备阶段）；CogLign-FULL由完整的LAll（公式18）训练；CogLign-FULL同时输入脑电信号序列和视频解释文本；其他所有对比方法仅输入视频解释文本。

表4.CogLign与其他最先进的基于图的文本情感分析模型在SEED数据集上捕获的视频解释文本中TOP-5关键实体的比较

注：仅展示所选视频解释文本的首句和末句；粗体实体表示与给定解释文本真实情感标签最一致的实体

表5.CogLign与其他现有方法在文本情感（情绪）分析上的跨被试比较

注：KG表示知识图谱，BG表示脑图；彩色行表示各类别下的最佳方法；MS表示测试耗时（毫秒，不含数据准备阶段）；CogLign-Full由完整的LAll训练；CogLign-FULL同时输入脑电信号序列和视频解释文本；其他所有对比方法仅输入视频解释文本

表6.注入EEG信号衍生的神经认知后，CogLign与排名前三的基于图的对比方法在文本情感（情绪）分析上的跨实例与跨被试比较

注：所有组合均输入脑电信号序列和视频解释文本，并对完整视频解释文本进行情感/情绪分类

图4. 由完整的CogLign-FULL（经公式(18)中的LALL训练）学习得到的EEG电极（共62个）激活情况。（注：每个EEG电极颜色越浅，表示其受到的激活越强）：(a) 积极视频解释文本激活的EEG电极；(b) 中性视频解释文本激活的EEG电极；(c) 消极视频解释文本激活的EEG电极。

表7. CogLign-FULL学习到的TOP-3 EEG电极最相关的TOP-3知识图谱实体

图5.不同EEG情感识别方法学习到的由62个EEG电极（节点）构成的脑连接模式（或脑图）。（注：“+”表示积极，“∘”表示中性，“-”表示消极；“红色”弧线覆盖标有“P”和“T”的电极，对应积极情感；“蓝色”弧线覆盖标有“F”和“O”的电极，对应消极情感）。

     本文提出的CogLign框架首次将EEG-derived Brain Graph与文本知识图谱进行认知对齐，用于可解释文本情感分析。通过BGI模块实现脑电信号的时空动态建模，CA模块实现语义与神经认知的精准映射，Fusion模块完成跨窗口综合决策，三者协同有效解决了传统情感分析模型“黑盒”问题。实验表明，CogLign在SEED（准确率97.62%）和SEED-V（准确率86.96%）数据集上均取得最优性能，显著超越现有图神经网络方法及ChatGPT、THOR等大语言模型。更重要的是，模型学到的脑区激活模式与脑科学先验结论高度一致——积极情感偏好颞叶/顶叶、消极情感偏好额叶/枕叶，从神经科学层面为情感判定提供了可解释依据。该工作为融合神经科学知识与自然语言处理任务开辟了新方向，也为高可靠性场景下可解释AI的应用提供了理论支撑与实践范式。未来研究将拓展至多模态脑测量（EEG+fMRI）以及视频情感理解等更广泛的任务场景。

免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。