点击蓝字 关注我们
欢迎各位专家学者在公众号平台报道最新研究工作，荐稿请联系小编Robert（微信ID：BrainX007）； 或将稿件发送至lgl010@vip.163.com。
英文标题：Assembling the Mind's Mosaic : Towards EEG Semantic Intent Decoding
https://doi.org/10.48550/arXiv.2601.20447
成果简介
通过脑机接口（BCI）实现自然交流，仍是神经科学与神经技术领域最具挑战性的课题之一。现有框架虽能提供部分解决方案，但受限于过于简化的语义表示和缺乏可解释性。为克服这些局限，该研究提出语义意图解码（SID）——一种将神经活动转化为自然语言的新框架，其核心是将意义建模为一组灵活的组合式语义单元。SID建立在三大原则之上：语义组合性、语义空间的连续性与可扩展性，以及重建的保真度。我们提出了BrainMosaic，一种实现SID的深度学习架构。BrainMosaic通过集合匹配从EEG/SEEG信号中解码多个语义单元，再通过语义引导重建生成连贯的句子。该方法超越了传统依赖固定类别分类或非约束生成的流程，实现了一种更具可解释性和表达能力的新型通信范式。在多语言EEG和临床SEEG数据集上的大量实验表明，SID和BrainMosaic相比现有框架具有显著优势，为自然高效的BCI通信开辟了道路。
主要贡献
提出新范式语义意图解码（SID）：将脑电解码从“固定标签分类”或“黑盒生成”提升为灵活的语义单元集合预测，为脑机通信提供了更具解释性和表达能力的新框架。
构建新模型BrainMosaic：设计了一套“分解→检索→生成”三阶段深度学习架构：（1）语义分解器：受到计算机视觉中的DETR启发，该研究用DETR风格的集合匹配从脑电中提取无序语义碎片；（2）语义检索器：将碎片映射到连续的预训练语言嵌入空间，支持开放词汇；（3）语义解码器：利用大语言模型将碎片组装成通顺、忠实的句子。
实验验证充分：在多语言（中/英）头皮EEG和临床颅内SEEG数据集上全面验证，显著优于现有基线；并通过脑区贡献分析证明模型所学表征与人脑语言核心区（左侧颞叶）高度吻合，兼具神经科学可解释性。
研究方法
BrainMosaic采用“分解→检索→生成”三阶段流水线，将脑电信号转化为自然语言。图1展示了整体结构。
图1.语义意图解码（SID）框架概览。
1）语义解码(拆解语义碎片)：采用计算机视觉中DETR风格的集合预测，用一组固定数量的可学习“查询槽位”从脑电信号中并行提取关键语义单元（如“我”“吃”“苹果”）。由于语义单元是无序且数量不定的，模型通过匈牙利匹配算法自动将预测槽位与真实单词进行最优一对一匹配，多余的槽位被标记为“空”，从而将脑电解码转化为集合预测问题。
2）语义检索(定位语义坐标)：将分解出的语义碎片映射到预训练文本嵌入空间，在该连续空间中检索最近的词汇。相比传统离散分类，这种设计支持开放词汇泛化——即使测试中出现训练未见过的新词，模型也能通过空间中的近邻关系检索到语义相近的词汇
3）语义解码(组装成句子)：将检索到的若干核心词汇构造成结构化提示词，输入大语言模型，由LLM补全连接词、调整语序，生成通顺完整的句子。这一设计既保证输出忠于解码出的核心意图，又确保语言流畅自然，同时对前序检索错误具备一定容错能力
关键优势：与每一步都有明确的可解释中间输出（语义碎片 → 候选词 → 生成句），避免传统端到端黑盒模型“不知为何出错”的问题。
研究结果
该研究的实验设计围绕三个递进式的研究问题展开：Q1：集合式建模是否优于序列式建模？Q2：连续空间是否优于离散分类？Q3：语义约束生成是否优于端到端黑盒生成？
表1. BrainMosaic与基线模型性能对比（最佳结果加粗）
*** 表示与最佳基线相比，双尾t检验 p≤0.001，差异具有极显著统计学意义。
表2. BrainMosaic在（A）词汇扩展与（B）训练数据扩展条件下的性能表现。
表3. BrainMosaic核心组件消融实验（Clinical / Chisco数据集）。
表4. 随机猜词基线 vs. BRAINMOSAIC（各数据集对比）
注：四组随机基线均未使用脑电信号，仅凭语料库统计信息或随机采样进行预测。最佳结果加粗。
图2. 词级与句级评估指标定性示例。（a）以“我每天吃苹果”为参考，展示了不同相似度阈值区间内词汇的语义关系（相似度>0.8时语义相关性显著）。（b）各模型生成句子对比（按SRS分数从高到低排序），BrainMosaic准确还原核心意图，而基线模型存在语义偏离、逻辑断裂等问题，说明SRS比传统字符匹配指标更适合评估语义解码任务。*** 表示与最佳基线相比，双尾t检验 p≤0.001p≤0.001，差异具有极显著统计学意义。
研究结论
本研究提出了语义意图解码（SID）新范式，并以其为理论基础构建了BRAINMOSAIC模型——一个透明、可组合的脑电语义解码框架，通过“分解—检索—生成”三阶段流水线，将脑电信号解码为可解释的语义单元集合，再重构为自然语言句子，突破了传统固定标签分类与端到端黑盒生成的局限。在多语言头皮EEG及临床颅内SEEG共五个数据集上的大量实验表明：集合式建模显著优于序列式预测（UMA最高提升3.7倍），连续语义空间检索显著优于离散标签分类（UMA最高提升40倍），语义约束生成显著优于端到端黑盒生成（SRS相对提升34%），三大组件缺一不可。脑区贡献分析进一步发现，模型重点关注左侧颞上回/颞上沟（STG/STS）——即人脑语言理解的核心区域，为模型提供了神经科学层面的可解释性。未来研究可从语义分解的精细化、跨脑区意图表征探索、跨模态与实时系统拓展等方向深入展开，推动脑机接口向更精准、更灵活、更自然的方向持续演进，也为人工智能与神经科学的深度融合开辟新的探索空间。
免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。
公众号丨智能传感与脑机接口
