芯生视界携手华山医院及浙大二院语言脑机接口研究登上Nature Neuroscience

目前，主流语言脑机接口的技术实质，是解码大脑在实际或尝试说话时发出的口唇、舌、喉等构音运动指令，再将这些指令转化为文字或声音。而从这些“驱动发音的指令”，进一步走向无需执行构音动作的“内在言语想象”，意味着解码对象从大脑如何指挥发音，拓展到人在脑海中如何“说话”。这一方向更贴近将内在意念转化为外部表达的目标，有望拓展语言脑机接口的技术边界，为难以开口的人提供新的交流路径。

近日，中国研究团队在这一方向取得了重要突破。2026年9月29日，芯生视界联合创始人、上海科技大学李远宁教授作为共同通讯作者，携手复旦大学附属华山医院神经外科吴劲松/路俊锋主任团队及浙江大学医学院附属第二医院陈高主任团队等，在脑科学顶级期刊《Nature Neuroscience》发表研究成果。研究揭示了想象言语与实际发声之间共享及特异的神经编码机制，并在受控音节任务中，实现了无需实际发声的想象言语识别与语音合成。这项成果为语言脑机接口从构音运动指令解码走向内在言语想象解码，提供了新的科学依据与技术路径[1,2] 。

图一、李远宁｜芯生视界联合创始人、上海科技大学研究员、本论文共同通讯作者。

一个引人注目的结果是：在限定音节的想象发音任务中，模型识别准确率的中位数达到80.4%。研究还从神经活动中合成了音节语音，并重建与发音相关的运动轨迹[1]。

这项研究用具体的解码结果，验证了从构音运动指令走向内在言语想象的技术可能。在受试者不实际发声、仅在脑海中主动想象发音的条件下，模型对限定音节的解码准确率中位数达到80.4%。团队还从想象发音时的神经活动中合成了音节语音，并重建了与发音相关的构音运动轨迹[1]。

这些结果表明，即使没有实际执行发音动作，大脑内部的言语想象仍能为解码提供有效信息。当一个人在脑海中默念“ba”时，嘴唇没有动作，也没有声音传出，但大脑已经在内部模拟这一发音过程。研究所捕捉的，正是这一过程中的神经活动，并将其转化为可识别、可听见的输出，让“脑海中的言语”有了通向外部表达的技术路径。

为探索这一路径，研究团队纳入9名接受唤醒手术的脑肿瘤患者，在术中唤醒言语功能定位阶段，利用临时放置的高密度皮层脑电电极，记录并比较实际发声与想象发音时的神经活动。这项研究验证了内在言语想象的可解码性，也为进一步探索更大词汇量和连续言语解码奠定了基础[1]。

真正值得脑机接口行业关注的，是这个结果背后的信号选择。

研究发现，真实发音时，高频γ信号（70—150 Hz）在发音运动编码中更为突出；而想象发音时，较低频的β1信号（12—24 Hz）占据主导[2]。

可以把它比作接收一段无线电广播：除了提高接收器性能，还需要找到承载目标信息的频段。这项结果提示，开发想象言语脑机接口时，β1信号值得被认真纳入设计。理解大脑如何工作，会直接影响工程师选择什么信号、如何训练模型。

图二、实验设计与脑电频段比较。真实发音与想象发音依赖的主要编码频段有所不同。

研究还发现，想象发音与真实发音既有共享的神经表征，也有各自特有的编码模式。借助共享表征，模型能够在两种任务间进行跨模态解码；对训练中未出现的音节，也展现出预测其发音运动轨迹的能力[2]。

图三、想象发音与真实发音的共享及特异性神经编码。

从产业视角看，这项成果体现了芯生视界联合创始团队在神经编码与脑机解码方面的研究积累，也指向脑机接口更长远的发展方向：从运动指令的读取与外部设备控制，逐步走向高通量的感知与认知交互，让大脑与外部系统能够在更接近意念表达和概念语义的层面交换信息。

视觉与语言，是这一方向上两项核心的高级认知功能。视觉使人能够获取并理解外部世界的丰富信息，语言则支持概念的组织、意图的表达与人与人之间的交流。两者分别构成高级信息传入与传出的重要通路，也为脑机接口连接外部感知与内在表达提供了相互呼应的技术方向。此次研究将言语解码拓展至内在想象，正是在信息输出端探索如何把大脑内部主动生成的表达转化为外部可理解的信号。

实现这样的高通量交互，需要将电极记录或传递的信号，与大脑中具有明确功能意义的表征建立联系。哪些神经活动承载感知内容，哪些反映内部言语计划，以及这些信息如何被稳定地解码或通过神经刺激传入，都会影响脑机接口能够传递多少有效信息、支持多复杂的交互。此次李远宁教授与临床团队的合作，展示了对神经编码机制的理解如何指导信号选择与解码模型设计，为进一步探索意念和概念语义层面的交互提供研究基础。

对芯生视界而言，视觉与语言研究的共同价值，在于推动脑机接口更深入地连接人的感知、理解与表达。通过临床研究、神经计算与工程研发的紧密协作，将对高级认知功能的认识转化为可验证的技术方法，是迈向更丰富、更自然的人机信息交互的重要路径。

图四、从脑电活动解码音节类别、合成语音与发音运动轨迹的框架及结果。

专访李远宁

问：这项研究最重要的科学和技术意义是什么？

李远宁：我们领域目前所取得的所有语言脑机接口解码的结果，无论是英语还是汉语，主要还是在做口唇运动神经信号的解码，即某种意义上的唇读，并没有真正做到解码意念和语义。这其中最主要的问题，还是这些高级语言过程的神经机制本身尚不明确，而我们这项新发表的工作，则是迈向了内在静默言语过程解码的第一步，即某种意义上真正的“意念解码”。

问：这对芯生视界的脑机接口研发有什么启示？

李远宁：视觉与语言面对的具体问题不同，但都需要深入理解大脑怎样组织信息。对脑机接口研发而言，电极与芯片决定能记录和调控什么，神经机制与算法决定怎样把这些能力用于具体任务。我们希望弄清楚哪些神经活动承载了可利用的信息，再据此设计解码方法。只有把机制研究与工程问题联系起来，才更有机会让系统在复杂场景下可靠工作。我们重视的，是把临床需求、脑科学研究和工程开发紧密连接起来。

问：距离让无法开口的人真正用起来，还要跨过哪些关？

李远宁：让患者依靠想象言语进行日常交流和工作，仍需要更大规模、长期使用和真实交流场景的验证。眼前这项研究已经让下一步探索变得更加清晰。接下来需要面向更复杂的表达内容和真实使用环境，验证系统能否长期、稳定、低负担地工作。实验室里的分类成绩只是一个起点。我们希望未来使用者能够自主表达想说的话，让一次次技术进步最终体现在人与人之间的交流中。

参考资料：

[1] Zhao, Z., Wang, Z., Liu, Y. et al. A neural architecture for imagined and overt speech motor dynamics. Nature Neuroscience (2026).https://doi.org/10.1038/s41593-026-02456-0

[2] 华山医院国家神经疾病医学中心研究报道  https://ncnd.huashan.org.cn/cv/kexue/detail/4081.html

[3] 李远宁个人主页https://bme.shanghaitech.edu.cn/2021/0326/c8204a502240/page.htm