研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码

脑机接口社区 2025-10-01 09:21

研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图1

你是否曾想过,仅凭“想象书写”的动作,就能在屏幕上输出清晰可辨的文字?实验室建立了一种新的脑机接口解码框架,成功从大脑运动皮层的神经信号中重建出清晰可识别的手写轨迹,将当前的脑控书写能力从离散字母构成的字符文字系统(如英语)扩展至等多笔画、多字符集构成的复杂系统(如中文),为严重运动功能障碍患者提供了一种全新的沟通途径,向实现自由的“脑波到文字”的转换跨出了重要一步。

近日,2025年国际脑机接口大奖(BCI-Award)正式公布全球12项提名名单。浙江大学脑机智能全国重点实验室王跃明教授、郝耀耀研究员团队在《Advanced Science》期刊上发表的研究“Decoding handwriting trajectories from intracortical brain signals for brain-to-text communication”对应的主要成果,从来自全球40个国家的近90个顶尖项目中脱颖而出,成为12个入围项目之一

国际BCI奖每年评选一次,旨在表彰全球范围内具有创新性和影响力的脑机接口研究。这一提名不仅是对该团队科研实力的认可,也标志着我国在临床侵入式脑机接口解码技术领域又取得了新的进展。

本研究由由实验室脑机接口团队和临床神经外科团队合作完成,首次将结合形状与时间对齐机制的损失函数(DILATE)引入临床脑机接口的解码框架中,有效解决了因患者运动功能丧失导致的“神经信号-运动标签间不对齐”这一长期难题。通过在一位脊髓损伤患者大脑中植入微电极阵列,记录其尝试书写中文字符时的高分辨率神经信号,并利用长短期记忆网络(LSTM)结合DILATE进行解码,成功实现了单 trial 水平上的手写轨迹重建,并通过机器学习的方式进行识别,识别率在1000汉字库中突破90%大关。

研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图2

研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图3



01



研究背景与核心问题

传统BCI系统多依赖于对神经活动进行分类以识别离散字符(如英语字母),虽在有限字符集上效果显著,但难以应对中文、日文等包含数千字符的表意文字系统。此外,在临床BCI环境中,患者无法执行真实动作,仅能依靠视觉引导进行“尝试书写”,导致神经响应与指导视频间存在显著且非均匀的时间延迟。传统回归解码器使用的均方误差(MSE)损失函数严格要求点对点对齐,无法处理此类信号扭曲,因而导致解码性能下降、轨迹失真,严重限制了BCI在自然书写沟通中的应用。



02



研究方法和主要发现

本研究招募一名C4级脊髓损伤、双手完全瘫痪的患者,在其左脑运动皮层手部区植入两枚Utah阵列电极。实验过程中,患者观看显示书写过程的视频,并尝试用右手以粉笔书写180个常用中文字符(每字符重复3次)。我们记录了多频段神经信号,并提取包括局部场电位(LFP)、单单元活动(SUA)、多单元活动(MUA)以及整体 Spike 活动(ESA)等多种特征。

研究核心创新在于引入DILATE损失函数,该函数包含两部分:(1)形状损失(Shape Loss):基于可微分的软动态时间规整(soft-DTW),优化预测与真实序列之间的整体形态匹配;(2)时间损失(Time Loss):约束对齐路径,避免过度扭曲时序关系。使用LSTM网络进行速度解码,并通过积分重建轨迹。解码结果分别通过通用手写识别软件和基于动态时间规整(DTW)的自建模板匹配系统进行字符识别。

研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图4

图1 A实验场景图,植入电极阵列的瘫痪被试跟随屏幕动画想象书写汉字 B屏幕上汉字书写动画序列图 C重建的汉字轨迹示例 D重建的英文字母示例


研究发现:

(1)基于DILATE的新的解码框架显著提升单日解码性能:与MSE相比,DILATE解码轨迹的DTW距离显著降低(5.35 vs. 5.73),形状保真度更高;使用通用识别软件的正确识别率从27.2%提升至37.2%;在180字符库中,DTW模板识别率达到81.7%,扩展至1000字符库仍保持70.6%。

(2)多日数据融合进一步改善解码效果:融合6天数据后,DILATE解码的DTW距离进一步降至4.35;通用软件识别率提升至52.2%;在1000字符库中识别率高达91.1%,显著优于单日解码。

(3)跨语言与跨数据集验证:在公开英文手写数据集上应用DILATE,单 trial 轨迹重建识别率达到36.47%(MSE仅为22.93%);聚类分析显示DILATE解码结果在结构一致性指标(FMI、ARI、AMI)上全面优于MSE。

(4)实时性及噪声鲁棒性验证:伪在线实验表明系统解码速率可达≥250 Hz,满足实时BCI需求;DILATE对噪声具有较强的鲁棒性,适用于临床环境中的信号波动。



03



研究意义与未来应用

本研究实现了在单 trial 水平上从脑内信号解码复杂手写轨迹,并成功转化为可识别文本,解决了BCI领域长期存在的“信号-标签错位”问题。新型解码框架的引入不仅推动了对运动想象神经机制的深入理解,也为多日、多会话BCI数据融合提供了新思路。该研究为瘫痪患者提供自然、高效、个性化的脑控书写沟通系统,同时支持多语言书写,尤其适用于表意文字使用者。未来的应用可扩展至绘图、签名等精细运动输出场景,为未来植入式BCI系统的临床转化提供解码方法基础。



04



Neuralink最新进展

值得一提的是,埃隆·马斯克旗下脑机接口公司Neuralink近日公布了最新的临床案例:其首位女性患者奥黛丽·克鲁斯(Audrey Crews)通过植入N1芯片成功实现了“心灵感应”书写——用意念在屏幕上写下自己的名字。该研究进展与本研究的科学目标高度吻合:奥黛丽能够通过对鼠标的操控,在屏幕上写字自己任意想要表达的内容,包括自己的名字,包括绘制心形、花朵、彩虹甚至人脸涂鸦,并能滚动页面、操作键盘。更重要的是,她开始重拾表达的自由。“我从16岁起就四肢瘫痪,现在终于可以亲手写字了——哪怕只是通过脑电波,”她表示,“我有很多话想说,也许我会写一本书。”她向网友们征集灵感,把每一次意念操控当作练习,也当作自我重建的仪式。

研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图5

图 2 奥黛丽·克鲁斯通过植入的N1芯片实现书写名字


这一临床突破与我们的研究成果共同表明:基于神经解码的书写与绘图功能正在迅速走向现实,下一代BCI系统将不仅恢复基本交互,更将重建表达与创造的能力。

我们期待这一技术早日走向更广泛的临床,让思想不再受限于身体,让每一位“奥黛丽”都能重获书写自由。

本项工作由浙江大学脑机智能全国重点实验室、南湖脑机交叉研究院、浙江大学计算机学院、生仪学院、附属第二医院等单位共同完成。浙江大学脑机智能全国重点实验室郝耀耀研究员、计算机学院王跃明教授为论文的共同通讯作者。浙江大学生仪学院博士研究生徐广祥为论文第一作者,博士研究生王泽滨也做出了重要贡献。浙江大学附属第二医院神经外科张建民主任、朱君明主任,浙江大学生仪学院许科帝教授共同指导了本研究。本研究获得了科技创新2030-“脑科学与类脑研究”重大项目、国家自然科学基金、浙江省尖兵项目等支持。

原文链接:

https://doi.org/10.1002/advs.202505492

内容支持:王跃明、郝耀耀课题组

责任编辑:谭惠中

内容审核:李石坚、李红

来源:脑机智能全国重点实验室

仅用于学术分享,若侵权请留言,即时删侵!

欢迎加入脑机接口AI星球

获取更多脑机接口+AI等领域的知识和资源。


研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图6


加群交流、商业合作请添加微信:RoseBCI【备注:姓名+行业/专业】。



   欢迎来稿   

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

点击投稿:

2.加入社区成为兼职创作者,请联系微信:RoseBCI

研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图7
研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码图8

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
脑机
more
临床赛道竞速 解码中国脑机接口企业的硬核突围与投资逻辑
最新议程!脑机接口产业联盟首届“脑机接口50人论坛”暨天津脑机接口产业创新发展推进会即将启幕
资讯速递 | 工信部部长李乐成:建立未来产业投入增长机制,开辟脑机接口、元宇宙、量子信息等新赛道
观点 | 为什么埃马斯克、奥特曼及其他亿万富翁都在押注脑机接口
百家争鸣 | 昆明理工大学伏云发教授等人:脑机接口(BCI)之问(三)
研究进展| 实验室侵入式脑机团队获得2025国际BCI奖提名,成果在Adv Sci发表:实现高精度汉字/英文书写轨迹解码
科研进展 | 加州大学洛杉矶分校通过AI为非侵入式脑机接口提供新性能突破
建集聚区、设产投基金、产学研用联动……北京全力打造脑机接口创新和产业高地
脑机接口产业联盟首届“脑机接口50人论坛”暨天津脑机接口产业创新发展推进会在天津成功召开
资讯 | 国家医保局发布脑机接口等创新医用耗材产品申报赋码公告、华山医院脑机接口患者招募、安徽北方微电子/EGI新进展
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号