南湖脑机交叉研究院团队实现“脑写汉字”重大突破,意念书写识别率突破90%大关

脑机接口社区 2025-07-30 10:14

资讯配图

资讯配图


《Advanced Science》 


资讯配图

南湖脑机交叉研究院团队实现“脑写汉字”重大突破,

意念书写识别率突破90%大关

资讯配图
资讯配图


G. Xu, Z. Wang, K. Xu, J. Zhu, J. Zhang, Y. Wang, 

Y. Hao, Decoding Handwriting Trajectories from Intracortical Brain Signals for Brain-to-Text Communication.Adv. Sci.2025, e05492. https://doi.org/10.1002/advs.202505492 

资讯配图

PART 01

研究背景

资讯配图
资讯配图

“提笔忘字”是许多人日常生活中的常见烦恼,它常在书写时造成困扰。然而,对于那些因脊髓损伤、肌萎缩侧索硬化症(ALS)等疾病完全丧失书写能力的人群,情况远不止于此。他们面临的“无法提笔”不仅是物理上的障碍,更蕴含着深刻的无奈力感,因为这些患者无法通过书写表达自己的思想和情感。如何让这些人的内心世界也能跃然纸上,实现自由而流畅的表达,成为一个迫切需要社会关注和解决的挑战。

资讯配图
资讯配图

PART 02

主要内容

资讯配图

近日,南湖脑机交叉研究院的郝耀耀/王跃明研究团队联合浙江大学在国际顶级期刊《Advanced Science》上发表了一项开创性成果:成功开发了一种全新的脑机接口(BCI)解码技术,实现了仅凭大脑“想象”书写,即可高精度还原复杂汉字轨迹并转化为可识别文本,在包含1000个汉字的测试库中,系统识别正确率高达91.1%!这项被誉为“脑写汉字”的技术,为非拉丁语系,特别是中文使用者的意念沟通,点亮了前所未有的曙光。

资讯配图
资讯配图
资讯配图
资讯配图

01

“想写”与“引导”的错位:

导致解码性能下降


想象一下这样的场景:一位瘫痪患者看着屏幕上播放的标准汉字书写动画,努力在脑海中“跟随”书写。这就是临床BCI训练“意念写字”的常见模式。然而,一个核心难题始终存在:患者大脑产生书写意图的时间点(“所思”),与看到的引导动画中笔迹运动的时间点(“所示”),常常难以实现精确同步!这种“信号错位”(Misalignment)在书写过程中还可能时快时慢,呈现动态变化。传统的解码模型(如广泛使用的MSE损失函数)就像一个“刻板的校对员”,要求大脑神经信号必须与外部引导标签在每一瞬间都严丝合缝地对齐。这种错位导致模型训练混乱,最终解码出的书写轨迹往往“形神俱散”,难以辨识——尤其对于结构复杂的汉字,更是雪上加霜。


资讯配图


资讯配图
资讯配图
资讯配图

02

“形神兼备”的解码之道:形状与时间损失函数(DILATE)框架的智慧


团队的核心创新在于引入了名为 DILATE 的智能解码“指挥官”。它不再苛求每一刻的精确对齐,而是具备两大智慧:DILATE的核心之一是“柔性动态时间规整”(Soft DTW)。它如同深谙书法的鉴赏家,专注于笔画轨迹的整体走势与关键特征(起笔、转折、顿挫、收笔)。它能智能地“拉伸”或“压缩”神经信号的时间轴,寻找与目标书写动作在“神韵”和“骨架”上最为匹配的路径,不拘泥于每一毫秒的绝对位置。这完美契合了汉字书写讲究“笔意连贯、气韵生动”的特质。为防止这种柔性对齐过于“放飞自我”,DILATE的另一部分会对时间轴的扭曲程度进行适度约束,确保对齐路径不会过度偏离正常的时间节奏。


资讯配图
资讯配图
资讯配图

03

成果斐然:汉字“脑迹”清晰可辨  多日融合更上层楼


研究在一名因C4脊髓损伤导致肩部以下完全瘫痪的老年患者身上展开。团队在其控制手部运动的脑区植入微电极阵列,记录他“想象”用粉笔在黑板上书写180个常用汉字时的神经信号。

应用DILATE框架训练的模型(LSTM神经网络),解码出的汉字轨迹在形态和笔画动态上高度逼近目标,效果远优于传统MSE方法。衡量整体相似度的关键指标(归一化DTW距离)显著降低。即使使用常规手写识别软件(对“一笔画”轨迹识别存在局限),DILATE解码的字符识别率也显著提升,达到37.2%(单日)和52.2%(多日融合)。

资讯配图


资讯配图

 更重要的是,团队开发了独家的“速度指纹”识别法:利用每个汉字独一无二的书写速度变化曲线作为识别“密码”。采用这种基于动态时间规整(DTW)的模板匹配,在浩如烟海的1000个汉字库中,DILATE的识别正确率高达91.1%(多日融合)!这充分证明了该技术的强大鲁棒性和实用潜力。

团队将该技术应用于已发表的英语字母书写数据集,同样显著提升了单次书写轨迹的还原质量和字母识别率,有力证明了其跨语言、跨书写系统的强大通用性。


资讯配图

PART 03

总结展望

资讯配图
资讯配图


深远意义:不止于汉字,

开启“脑写”无限可能


这项“脑写汉字”技术的突破,其意义远超单一成果:


01

中文沟通者的福音

首次为中文使用者提供了高效“脑写”BCI的可行路径,填补了该领域的关键空白。


02

攻克临床核心瓶颈

DILATE智能地绕开了临床BCI训练中最大的“拦路虎”——信号错位,为开发稳定可靠的实用化系统扫清了关键障碍。


03

拥抱全球文字

基于轨迹重建(而非字符库分类)的策略,使其天然适用于全球所有书写系统,无论是字母、汉字还是其他复杂符号,真正实现“所思即所写,无问西东”。


04

“意念创作”新篇章

高精度轨迹解码能力,为未来的“脑控绘图”、“意念签名”乃至更精细的脑控交互开启了广阔想象空间。


- 展望未来:让思想自由流淌 -


资讯配图
资讯配图

这项研究是“脑写”范式从字母迈向象形/意音文字的关键一步,旨在助力因疾病或伤残而“失语”“失写”的人群,重新以最熟悉的文字、最自由的方式,与世界进行心与心的对话。未来,团队将加速推进该技术的在线实时验证与临床应用转化。

资讯配图
资讯配图

浙江大学脑机智能全国重点实验室/南湖脑机交叉研究院郝耀耀研究员、浙江大学计算机学院/南湖脑机交叉研究院王跃明教授为论文的通讯作者。浙江大学生物医学工程专业博士研究生徐广祥为论文第一作者,本研究得到了浙江大学附属第二医院神经外科张建民主任、朱君明主任在临床脑机接口平台上的大力支持,南湖脑机交叉研究院李响工程师承担了软件开发工作。本研究获科技创新2030-“脑科学与类脑研究”重大项目、国家自然科学基金、浙江省“尖兵”项目等的支持。



来源:南湖脑机交叉研究院

仅用于学术分享,若侵权请留言,即时删侵!


欢迎加入脑机接口AI星球,获取更多脑机接口+AI等领域的知识和资源。


资讯配图


合作咨询请添加微信:RoseBCI【备注:姓名+行业/专业】。



   欢迎来稿   

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

点击投稿:脑机接口社区学术新闻投稿指南

2.加入社区成为兼职创作者,请联系微信:RoseBCI

资讯配图
资讯配图

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
脑机
more
专利 | 国内首个脑机接口专利平台上线,专利白皮书发布!
前沿 | 帕金森病康复中的脑机接口
关于公开征集《植入式脑机接口闭环神经调控算法测试方法》标准意见与参编单位的通知
资讯 | 脑出血患者使用脑机接口出现转机、上海市脑机接口中文解码技术突破、天津脑机接口产业集群、脑机接口临床康复应用指南等
资讯 | 武汉协和医院帮助瘫痪病人重新自主“行走”、邯郸市第一医院脑机接口门诊、四川大学华西医院西部首例植入手术、四川/南京政策
国内首个!脑机接口专利平台上线,专利白皮书发布!
资讯 | 山东首个脑机接口临床与转化中心成立、江苏发布脑机接口医疗服务价格、神芯科技/CorTec/INBRAIN新进展
脑机接口新突破:新型生物混合脑机接口旨在取代金属电极脑机接口
中科院深先院王书强教授团队:  运动意象脑机接口中EEG到fNIRS的跨模态生成统一表征学习框架
脑机接口的"技术原罪":当资本遇见神经隐私
Copyright © 2025 成都科技区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号