对一位失去清晰表达能力的患者来说，把一句想说的话显示在屏幕上，与及时接上家人的话，是两种完全不同的体验。
前者解决的是信息传递，后者关系到能否参与一场日常对话。等系统识别完句子、修正文字，再通过合成语音播放，话题可能已经转向。尤其在打电话、隔着房间交流时，这段沉默很容易被理解为没有回应。
语音脑机接口正在尝试缩短这段等待。希望让患者声音出来得快，还得让人听得清。
加利福尼亚大学戴维斯分校等机构的研究人员提出了Brain2voice 2.0，一种从皮层内神经信号直接合成语音的新型解码模型。在既有基准数据集上，未经专门训练的听者转录其合成语音，词错误率降至5.24%，此前同一研究路线的结果为43.75%。
这项研究的数据来自BrainGate2临床试验参与者T15，一位患有肌萎缩侧索硬化症、存在严重构音障碍的男性。
研究人员通过四个微电极阵列、共256个电极，记录他尝试说出屏幕提示句子时的神经活动。数据采集跨度为195天，包含8489次独立试验。
在此前的研究中，团队已经展示过低延迟的语音合成，还让参与者能够调节合成语音的音高和语调。然而，听者转录时43.75%的词错误率，意味着不少内容仍需要猜测和反复确认。
对于实验演示，一段能够辨认的声音足以让人看到技术潜力。对于日常交流，频繁听错却会让沟通变得吃力：一句关于吃饭、用药或身体不适的话，往往经不起关键字词的误解。
Brain2voice 2.0把改进重点放在了这里。
在基准测试中，其连续声学输出的听者转录词错误率为5.24%，约79%的测试句子对应的听者转录中位数词错误率为零。评估时，每条测试音频由7名听者独立转录，再据此计算指标。
这一结果说明，在当前测试条件下，系统生成的声音已经能够被普通听者较准确地理解。但词错误率并不等于患者的沟通成功率，更不能据此判断它已经满足所有临床使用要求。真实交流还涉及环境噪声、临时组织语言，以及说错之后如何纠正。
01
改进发生在解码器里
Brain2voice 2.0的性能提升，来自对既有神经数据的重新建模。
其核心是一个多模态Transformer。同一段神经活动进入模型后，会同时用于预测连续声学特征、离散声学编码和音素。
这三类目标各有作用。连续声学特征描述声音的细节；离散编码把这些特征整理成较有结构的表示；音素则为发音内容提供约束。它们在训练中相互补充，帮助模型减少仅凭单一目标学习时容易出现的偏差。
最终，声学特征通过声码器转换成声音。系统每10毫秒产生一次新预测，只使用当前及过去的神经数据，不必等整句话结束。
团队还引入了自监督学习和对抗训练。前者帮助模型在有限数据下学习更稳定的表示，后者从不同时间尺度检查预测声学特征，让合成结果在细节和连续性上更接近训练目标。
另一个容易被忽略的改进，是训练目标本身的质量。
患者已经难以清晰说话，研究人员很难像训练普通语音模型那样，直接获得大量准确的“神经活动—真实声音”配对数据。因此，团队利用T15患病前的声音样本进行语音克隆，生成训练所需的目标语音，再与其尝试发音的时间对齐。
新版流程在声学特征层面完成时间调整，减少了直接拉伸音频波形产生的失真。
这也提示了语音脑机接口的一项产业难题：模型需要的数据，并不是简单增加录音时长就能得到。如何为失语程度不同的患者建立可靠训练目标，会直接影响系统能服务哪些人，以及首次使用前需要多少准备。
02
算法之外，电极和服务流程仍决定产品形态
从计算开销看，新模型为实时运行留出了空间。
在单张NVIDIA RTX 5090显卡上，连续声学特征的一次推理约需1.47毫秒，声码器处理一帧还需约1.2毫秒。研究人员据此认为，该架构能够兼容10毫秒级的实时闭环语音合成。
但这里测量的是模拟实时推理的计算耗时。它支持后续部署的可行性，尚不能当作患者实际使用时的完整端到端延迟。
对于企业，这意味着接下来的工作会更加具体：算法能否运行在体积、功耗和散热可接受的设备上？信号采集、传输与声音播放能否持续稳定？系统需要多久校准一次？
电极配置同样不能绕过。
研究中的分析显示，增加电极数量总体上有助于降低错误率，但从192个增加到256个时，收益已经较为有限。不同记录位置的贡献也存在明显差异，有的阵列包含更多语音相关信息，单独使用另一些阵列时，合成语音则大部分难以听懂。
这组结果无法直接给出商业产品的最优电极数量，却说明通道数必须和植入位置、信号质量一起讨论。对语音恢复而言，采到多少信号，只回答了一半问题；采到的信号是否足够有用，同样重要。
因此，此次软件进展还不足以消除硬件门槛。它建立在特定脑区、较高质量的皮层内记录之上，其效果能否迁移到其他电极系统，仍需验证。
03
下一步，要让患者自己接上话
Brain2voice 2.0留下的关键问题，都与实际使用有关。
首先是人群。此次数据来自一名参与者，不同患者的病程、残余发音能力和神经信号状况存在差异，模型能否保持类似表现，需要更多验证。
其次是闭环。患者听见合成声音后，可能调整自己的发音尝试。这种反馈究竟会帮助控制，还是带来新的适应困难，离线数据无法回答。
还有自发表达。当前数据来自按照视觉提示尝试说话的任务，真实生活中，用户需要临时决定说什么，可能停顿、改口，也可能突然插话。模型在这些情况下的表现尚不明确。
对于完全无法发声的患者，初始化也是一道现实障碍。现有方法至少需要一次带有真实语音时间标注的种子会话，缺少这类标记时如何启动，仍是开放问题。
这些限制会进一步变成产品和服务问题：医院需要投入多少人员协助训练，患者回家后遇到异常由谁处理，系统能否在长期使用中保持可靠。
从产品角度看，Brain2voice 2.0的价值，在于让直接合成语音这条路线多了一份有说服力的性能证据。同一套既有神经数据，通过解码架构和训练流程的改进，产生了明显更容易听懂的声音，说明软件仍有可观的提升空间。
而它能否成为患者愿意长期使用的工具，要看下一阶段的闭环实验、多参与者验证和日常使用结果。
对患者来说，判断或许很朴素：当家人问起今天过得怎么样，自己能不能及时回答，并且让对方一次听清。
参考：
https://datadryad.org/dataset/doi:10.5061/dryad.2280gb64f
https://www.biorxiv.org/content/10.64898/2026.06.30.735633v1
合作洽谈，请联系微信：ZuoLeiLeiya
（备注：姓名-单位-合作）
投稿丨成为创作者，请联系微信：RoseBCI
🌟星标置顶🌟
不错过每一条脑机前沿进展
一键三连「分享」、「点赞」和「在看」
欢迎在评论区聊聊
