SEMKEY : 解耦语义引导 + Q-K-V主动检索，实现信号驱动的EEG-to-Text解码

从非侵入式脑电信号中解码自然语言是一项前景广阔但极具挑战的任务。然而，当前最先进的模型仍受制于三个根本性问题：语义偏差，即输出坍缩为通用语言模板；信号忽视，即模型严重依赖大语言模型的先验知识，即便在缺乏有效信号时也能幻觉出流畅文本；以及BLEU陷阱，即高频停用词虚高了n-gram评测指标，掩盖了语义忠实度的缺失。

为攻克这些难题，这里摒弃传统的端到端流水线，提出SEMKEY——一种新颖的多阶段框架，通过四种解耦的语义目标（情感、主题、长度和惊奇度）来强制实现信号驱动的生成。本研究直接从脑电嵌入中提取这些语义锚点，并将其与主动检索解码机制相统一，迫使大语言模型将令牌生成建立在神经信号之上，而非默认依赖语言先验。此外，通过建立一套基于严谨检索和分布指标的综合性评测协议（如弗雷歇距离），彻底打破BLEU陷阱。大量实验表明，SEMKEY能有效缓解噪声输入下的幻觉问题，并在这些鲁棒的评测协议上达到了最优性能。

• 提出解耦语义引导的多阶段框架：

  将情感、主题、长度、惊奇度四大语义属性从脑电信号中显式解耦，作为生成过程的硬约束，从根源上防止模型坍缩为通用模板。

• 设计Q-K-V主动注入机制：

  改写注意力计算流程，强制LLM以脑电信号为Key和Value进行检索式生成，杜绝模型在无信号时依赖语言先验进行幻觉输出。

• 揭露并打破“BLEU陷阱”：

  指出现有BLEU指标因高频模板匹配而虚高的问题，建立基于检索准确率和弗雷歇距离的严谨评估协议，为领域提供更可靠的评价标准。
  

  
  

图1.SEMKEY框架的整体架构。

表1. BLEU指标及新提出指标的性能对比。

注：所有实验均在ZuCo数据集上进行。优先采用原始论文中报告的结果；对于新提出的指标，则使用官方开源仓库进行复现和评估。最优结果以加粗标出。“Prior Model (w/o TF)”代表先前方法在移除教师强制后的评估结果，以反映其真实的生成能力。“GT”行作为上界，表示直接以真实文本作为输入。灰色行代表不同的评估设置，灰色文字代表传统BLEU指标。

表2.BLEU指标对比（BLEU-N）。

注：此处“MTV Evaluation”指在评分时使用增强后的参考文本（即多个释义变体）。移除MTV后观察到显著的性能差距，表明MTV评估设置是导致BLEU陷阱的关键原因之一。

表3. 信号依赖性的定量验证。

注：这里对比了在真实脑电信号与高斯噪声输入下的性能表现。SEMKEY的性能下降幅度更大，表明其对神经信号的依赖性更强，而基线模型则表现出对语言先验的过拟合（幻觉生成）迹象。

表4. 阶段一解耦属性预测头的性能表现。

表5.关键组件的消融实验研究。

图2.语义分布的t-SNE可视化。 可视化了Ground Truth（蓝色）、SEMKEY（橙色）、GLIM（黄色）和Prior Model (w/o tf)（紫色）的句子嵌入。本文提出的模型与真实文本分布具有更好的重叠度，同时有效避免了语义偏差（红色圆圈高亮处）。

本研究提出SEMKEY框架，通过解耦情感、主题、长度、惊奇度四大语义属性作为生成约束，并设计Q-K-V主动注入机制强制LLM以脑电信号为检索依据进行解码，有效解决了现有模型中的语义坍缩与信号忽视问题。在ZuCo数据集上的实验表明，SEMKEY在4-Way和24-Way检索准确率上分别达到50.4%和16.2%，显著超越GLIM（42.4%和10.7%）；Content Recall提升至2.71%，Head Entropy跃升至6.21，表明生成内容在语义对齐和结构多样性上均有质的飞跃。纯噪声输入测试中，SEMKEY输出完全崩塌为无序字符（FD从0.57升至1.27），实证证明了严格的信号依赖性。此外，研究通过Prefix-Stripped实验揭露了BLEU指标因模板匹配而虚高的“BLEU陷阱”，并建立了基于检索准确率、内容召回率、弗雷歇距离等多维度指标的严谨评估协议。综合而言，SEMKEY为脑电解码领域提供了一条信号驱动、评估可信的新路径，但作者也指出当前模型在低频专有名词（如人名、地名）的精确解码上仍存在瓶颈，未来需借助高资源单被试数据进一步提升性能。