点击蓝字 关注我们
欢迎各位专家学者在公众号平台报道最新研究工作，荐稿请联系小编Robert（微信ID：BrainX007）； 或将稿件发送至lgl010@vip.163.com。
英文标题：NeuroNarrator：A Generalist EEG-to-Text Foundation Model for Clinical Interpretation via Spectro-Spatial Grounding and Temporal State-Space Reasoning
成果简介
NeuroNarrator 提出了首个通用型 EEG-to-text 基础模型，旨在将脑电片段直接翻译为开放词汇的临床叙事。该研究团队构建了 NeuroCorpus-160K——整合 16 个公开数据集、超 16 万个 10 秒片段、约 483 小时记录的 EEG-临床叙事配对语料；架构上采用双流谱-空对齐（LaBraM 编码时序波形 + CLIP 编码头皮拓扑图，通过对比学习投影到共享语义空间），再以状态空间启发的时序条件将前序片段嵌入与当前片段嵌入作为“软提示”注入 Qwen3-4B，生成包含事件标签、空间能量分布、频域特征和时序趋势的临床叙事。实验显示其 BERTScore 达 0.731、Fact-F1 达 0.703，GPT-4.1 五维临床评估与人类专家评分高度一致（Pearson r=0.9983）；在 SEED 情感识别子集上以 61.7% 平衡准确率显著优于 NeuroLM 的 44.3%，并在 SEED-IV 零样本迁移上达到 43.04%。该工作将 EEG 解释从封闭标签分类推进到信号锚定的开放式语言生成，为可解释 EEG 分析提供了新范式。
主要贡献
构建 NeuroCorpus-160K 语料：整合并标准化 16 个异构数据集，构建首个大规模、开放词汇的 EEG-临床叙事语料库；通过严格的被试不相交训练/评估划分，为超越封闭集分类的开放词汇解读提供标准化基准，确保稳健泛化。
对比式谱-空对齐：提出一种多模态对齐机制，将时序 EEG 波形与空间头皮拓扑图投影到共享语义流形，强制谱动态与空间能量分布严格对应，解决单模态编码固有的 grounding 歧义。
统一状态空间通用框架：提出 NeuroNarrator——一种多模态大语言模型（MLLM）架构，融合谱-空特征与状态空间启发的时序-频谱先验；通过对历史轨迹嵌入进行条件化，在端到端解码过程中捕捉演化中的脑动态（如癫痫发作演化）。
方法
NeuroNarrator 是一个统一的 MLLM，用于片段级 EEG-to-text 解读，整合互补的时序与空间表征，并引入短时历史上下文以支持连贯的临床叙事生成，总体框架如图1所示：
图1.NeuroNarrator框架总览
1）临床锚定的 EEG-文本语料构建。包括四个环节：(a) 多源 EEG 数据协调，整合 16 个公开数据集，共 483.23 小时、160,249 个训练片段与 13,714 个测试片段；(b) 统一信号预处理，采用 0.1–75 Hz 零相位 FIR 带通滤波、50/60 Hz 陷波、重采样至 200 Hz、电极蒙太奇统一到 10-20/10-10 系统；(c) 结构化特征提取与 LLM 描述精炼，将每段 10 秒信号编码为事件与临床标签、频域特征、空间能量分布三维模板，再用 GPT-4.1 精炼为流畅临床叙事；(d) 状态空间启发的时序上下文建模，将当前片段描述条件化于前 N 个片段，以近似潜在脑状态的演化轨迹。
2）谱-空表征学习。 采用双流编码架构：时序流用 LaBraM-Base 编码多通道 EEG 波形，空间流用冻结的 CLIP ViT 编码头皮拓扑图；两路特征经投影头映射到共享潜空间，通过对比目标对齐，强制时频动态与空间能量分布对应。
3）状态空间条件化的 EEG-to-text 生成。 将连续生理信号映射为 MLLM 嵌入空间的“软提示”，替代指令序列中的占位符；构造复合输入序列，融合历史轨迹嵌入（前 N 个片段的 EEG 嵌入）与当前片段的谱-空嵌入，连同任务指令一起送入 LLM 骨干，自回归生成临床描述。训练时冻结 CLIP 视觉编码器，联合更新 EEG 编码器、投影层与 LLM 骨干，以负对数似然为目标进行端到端优化。
研究结果
图2.谱-空对齐前后的 t-SNE 可视化对比。 左图显示，在无对比对齐时，EEG 时序特征（三角形）与拓扑图空间特征（圆形）形成互不相交的碎片化簇，呈现明显“模态鸿沟”；右图显示，经过对比优化后，匹配的 EEG 与拓扑图对在数据集特定簇内紧密共定位，证明两种模态已建立起严格的拓扑对应关系。
图3.生成叙事的多维临床评估。 用 GPT-4.1 作为结构化评判器，对留出测试集上生成的临床叙事沿五个维度评分：临床事件识别、主导脑区定位、主导频段分类、时序趋势描述、显著非主导频谱变化检测，每维 1 分，满分 5 分。结果显示多数生成叙事集中在 4-5 分区间，表明模型输出的临床描述在多个关键维度上具有高保真度。
图4.跨域零样本泛化与架构消融分析。 (a) 在严格排除于训练集之外的三个外部数据集（Depression-122、Siena、SEED-IV）上的零样本分类性能，验证模型无需微调即可跨域泛化；(b) 在 NeuroCorpus-160K 上的消融研究，移除对比对齐、拓扑图输入或历史时序上下文后，临床叙事保真度均下降，其中移除历史上下文的性能退化最显著，印证了状态空间启发的时序条件化对捕捉非平稳脑动态的核心作用。
表1.双向谱-空检索性能的定量评估
注：在 16 个异构数据集上评估时序 EEG 嵌入与空间拓扑图嵌入之间的对齐精度。指标包括 Recall@K（R@1、R@5、R@10，越高越好）与平均排名（MeanR，越低越好）。EEG→拓扑图方向的平均 R@1 为 84.19%，反向为 86.09%，表明两种模态已建立稳健的双向对应关系。
表2.NeuroCorpus-160K 上语言与语义保真度的定量评估。
注：通过 BERTScore、基于规则的 Fact-F1 与 ROUGE-L 三项互补指标，评估 NeuroNarrator 在所有留出基准数据集上的生成质量。平均 BERTScore 为 0.731、Fact-F1 为 0.703，表明生成叙事在语义保真与事实一致性上均达到可信水平；ROUGE-L 偏低（0.379）则反映了临床报告本身措辞风格多样，不宜以字面重叠度作为唯一标准。
表3.开放词汇解读与专用封闭集基线的性能对比。
注：在 NeuroCorpus-160K 六个代表性子集上报告平衡准确率，对比 NeuroNarrator（开放词汇生成模型）与两类判别式基线：传统非 LLM 深度学习模型，以及封闭集 LLM 基线 NeuroLM。需注意，基线模型均针对各数据集单独微调优化，而 NeuroNarrator 为单一冻结模型、无任何数据集特定适配，因此该对比在优化目标上并非完全对等——在 SEED 情感识别子集上，NeuroNarrator 以 61.7% 显著优于 NeuroLM 的 44.3%。
研究结论
NeuroNarrator 的实验结果表明，将 EEG 解读从封闭标签分类推进到信号锚定的开放式语言生成是可行的：在 NeuroCorpus-160K 上，模型平均 BERTScore 达 0.731、Fact-F1 达 0.703，GPT-4.1 五维临床评估与人类专家评分高度一致（Pearson r=0.9983，JS 散度仅 0.0174），证明生成叙事在语义保真与事实一致性上均达到可信水平；跨模态检索 R@1 达 84.19%，验证了谱-空对齐的有效性；在 SEED 情感识别子集上以 61.7% 平衡准确率显著优于 NeuroLM 的 44.3%，并在 SEED-IV 零样本迁移上达到 43.04%，说明单一冻结模型无需数据集特定微调即可跨域泛化。消融实验进一步显示，移除历史时序上下文带来的性能下降最显著，印证了状态空间启发的时序条件化对捕捉非平稳脑动态的核心作用。尽管事件标签提取精度在部分数据集上不及专门优化的封闭集基线，但这一差距恰恰反映了开放词汇生成与标签预测在优化目标上的本质差异——前者追求的是对波形形态、频谱结构与空间拓扑的完整描述，而非单一标签的拟合。这项工作为 EEG 分析开辟了一条新路径：以信号锚定的语言生成替代离散标签预测，让模型输出可被临床专家直接审阅、验证与追溯的叙事性解释，从而在保持开放词汇表达能力的同时，为可解释 EEG 分析提供了可扩展的通用框架。
免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。
公众号丨智能传感与脑机接口
