人类的交流，几乎从来不是"单声道"的。一个人说"请坐"时，手往往已经抬起；答一句"还行"时，头可能正轻轻点着。语言、手势、表情叠加在一起发生，是健康人毫不费力的事。但对严重瘫痪者，这套叠加的表达被切断了。
过去二十年的脑机接口，大体也在做同一道"单选题"：要么把脑信号翻译成语言，要么翻译成动作。几乎团队在探讨一个问题——能不能用同一套系统，把"说"和"动"同时解出来？
9 月 14 日，加州大学旧金山分校Edward Chang 团队在《自然·神经科学》上第一次给出了肯定的答案。他们在一块植入大脑表面的电极阵列上，并行运行言语和手势两套解码器，让参与者一边"说出"句子，一边"挥动"一个全身的虚拟化身。
图1：单块高密度 ECoG 电极阵列同时采样言语与手势相关皮层信号，驱动全身虚拟化身
这项工作属于 UCSF 的 BRAVO 临床试验（"BCI Restoration of Arm and Voice"，2018 年启动）。Chang 团队此前最出名的一步，是 2023 年发表在《自然》上的"数字脸"——让患者用脑信号驱动一张虚拟面孔开口说话。这一次，他们把表达从一张脸，扩展到了整个身体。
图2：通过脑电信号驱动数字脸开口说话。
01
过去二十年的脑机接口，一直在做"单选题"
先看这件事为什么一直没人做。表面上是工程问题：言语和动作解码需要各自的模型和数据。但更深一层，是领域里一个由来已久的默认预期——说话和比划，用的都是运动皮层上相邻的脑区，信号本来就纠缠在一起；同时解码，两种信号很可能会互相干扰、互相稀释。
这个担心不是没来由。此前用皮层内微电极做的研究就发现：一边说话一边控制光标，言语会让光标控制变差，光标控制也会削弱言语信号。既然连"说话 + 光标"都打架，"说话 + 手势"只会更难。于是大家心照不宣地绕开了它——一个最接近"自然交流"的场景，恰恰成了 BCI 最薄弱的空白。
在该研究中，研究人员指向两类患者：渐冻症（ALS）和脑干卒中。对这些患者，眼下所谓"标准照顾"是眼动追踪转文字——慢、费劲、能表达的形式有限。健康人不假思索的"边说边比划"，对他们是奢侈品。
这次研究纳入 3 名重度瘫痪参与者：两位因脑干卒中失去清晰言语和四肢活动能力，一位因 ALS 逐渐失去可懂言语。其中一人（Bravo-3）在后续阶段退出，完整跑通全身化身的，是另外两人（Bravo-1r 和 Bravo-6）。
02
一个被推翻的默认预期
装置本身不算颠覆：高密度 ECoG，一种贴在（感觉）运动皮层表面的薄片状电极阵列，其中一位参与者的阵列有 253 个通道、相邻只隔 3 毫米。它记录皮层表面成千上万神经元叠加出的场电位，交给机器学习模型翻译成指令，驱动全身虚拟化身。
真正的发现，藏在数据里。团队做了个对照：一组模型只用"单独说话"或"单独比划"的数据训练，另一组混入了"边说边比划"的数据。结果很清楚——只见过单独动作的模型，一到同步场景就明显掉链子；两种数据都见过的模型，在单独和同步场景下都能保持高准确率。
图3：言语与手势在运动皮层上"部分重叠"的电极活动图谱
原因在于，言语和手势在运动皮层上的表征并非泾渭分明，相当一部分电极对两者都响应。只按单独动作训练时，模型学会的是"这片区域 = 说话、那一片 = 挥手"；可两者同时发生时，重叠区域的信号模式变了，旧经验不再适用。换句话说，想让机器处理好"边说边比划"，得先让它"见过"人真实交流的样子。
还有一步更细的工程。两个解码器并行时容易互相"抢话"——你在说话，手势解码器却可能误以为你在挥手。团队的对策，是给每个模型加一个"休息"类，并用"另一模态的动作"作反例来训练，把两种误报都压了下去。
图4：言语与手势解码准确率对比
研究人员比较了言语与手势解码准确率，如上图所示，在同步解码的离线测试里，ALS 患者 Bravo-6 言语准确率约 77.5%、手势约 68.8%；脑干卒中的 Bravo-1r 分别约 84.0% 和 88.3%。在更接近真实的对话环节，Bravo-1r 在三个区块里言语和手势中位准确率都达到 100%，Bravo-6 手势约 85%、言语约 75%——而这些任务靠猜的正确率只有约 9% 到 20%。
03
从研究到实用，还差几步
实际上，这一步离产品还有一定的距离。因为样本只有 3 人，跑通全身化身的只有 2 人；词汇和手势集也很小，最多的 Bravo-6 不过 10 个短语、10 个手势，共 100 种组合。研究人员自己也在论文中表示：要真正可用，得纳入更多参与者、用大得多的词库验证，还要降低延迟。更现实的是，系统目前仍是有线的——电极信号要经一根穿过头皮的底座，接到外部处理器。
图4：实时对话范式下，虚拟化身按解码结果一边"说话"一边"挥手"
中文读者还会在意一个差距：UCSF 这套解的是英语，而汉语单音节为主、还要区分声调，难度更高。据公开报道，华山医院联合中科院上海微系统所、脑虎科技等团队 2025 年 11 月实现了中文全音节高精度实时解码，394 个常用音节准确率约 71.2%，语句输出约 49.6 字/分钟——两条路都还很长，但方向一致。
04
行业的尺子从准确率到自然感
过去，脑机接口公司比的是每分钟输出多少字、拼写准确率几个百分点——那更像在考核一台输出设备，而不是还原一个人。这项研究其实提出了另一把尺子：交流的自然程度。能不能边说边点头、边比划边讲，让瘫痪者重新拥有那种只属于"活人"的自然感？
而这“自然感”也逐渐成为趋势。
几乎在同一周，美国 Paradromics 公司宣布，它植入的第一位运动神经元病患者已能用脑机接口"自己挑词"、回答开放式问题，并在直播通话里和孙女对话（据官方新闻稿）。这家走全植入、皮层下单神经元分辨率路线，与 UCSF 不同，却指向同一件事：让失语者真正说出自己想说的话，而不是从固定菜单里选。
当"自己挑词、实时成句、边说边比划"开始密集出现在论文和公司通稿里，说明行业竞争焦点正从"我解码得准不准"，挪向"你交流得自不自然"。这不是参数迭代，而是产品逻辑的重写。
脑机接口最动人的地方，从来不是技术本身的炫酷，而是它想还给人的，恰恰是我们觉得最不值一提、却最定义"人"的东西——张嘴就来、边说边比划的那种自然。
未来把"同步训练"这套思路，一通道一通道地推广到更多语种、更多手势上去。到那一天，这种自然的交流才算真正落地。
通讯作者
Edward Chang 是 UCSF 神经外科医生、Joan 与 Sanford Weill 讲席教授，2020 年入选美国国家医学院，2025 年入选美国国家科学院。
参考资料：
1.Brosler, S. C., Liu, J. R., Silva, A. B. et al. Simultaneous speech and gesture decoding for multimodal communication in paralysis. Nature Neuroscience (2026). https://doi.org/10.1038/s41593-026-02446-2
2.NIH News Release: Neuroprosthesis for paralysis enables simultaneous speech and body language. 2026-09-14. https://www.nih.gov/news-events/news-releases/neuroprosthesis-paralysis-enables-simultaneous-speech-body-language
3.News-Medical: New brain computer interface restores simultaneous speech and physical gestures. 2026-09-15. https://www.news-medical.net/news/20260915/New-brain-computer-interface-restores-simultaneous-speech-and-physical-gestures.aspx
4.网易/大湾区发展网：《当大脑学会"说话"，AI 让科幻加速照进现实》（中文全音节解码 71.2%、49.6 字/分钟等数据，据公开报道）. 2026-09-15. https://www.163.com/dy/article/L6SPAKK50511PVPC.html
脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：
宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。
资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。
成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。
活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。
其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。
合作洽谈，请联系微信：ZuoLeiLeiya
（备注：姓名-单位-合作）
投稿丨成为创作者，请联系微信：RoseBCI
🌟星标置顶🌟
不错过每一条脑机前沿进展
一键三连「分享」、「点赞」和「在看」
欢迎在评论区聊聊
