省流：浙江大学王跃明教授团队联合多个研究机构成功开发出一种创新的解码框架，能够从皮层内脑信号中高精度地解码手写轨迹，为运动障碍者实现脑到文本的通信带来了新希望。
提出了创新的临床脑机接口解码框架，解决个体尝试“脑控”书写时的“校准”问题；
在中文手写轨迹解码中，1000个常用字的识别率提高至91.1%；同样适用于英文字母轨迹解码，且优于现有方法
从“脑”到“文本”的直接转化，脑机接口有望为运动障碍患者恢复“书写、绘画”等能力
过去二十年间，皮层内脑机接口作为一种革命性工具，让人类大脑与外部设备的直接通信成为可能，为运动障碍者与周围环境的互动开辟了新途径。然而，从脑信号中解码手写轨迹这一极具潜力的领域，在临床脑机接口应用中尚未得到充分挖掘。尤其在面对非拉丁语言（如中文）的数千字符时，传统分类方法面临诸多挑战，其中神经活动与运动间的形状和时间失真（失准）问题，严重阻碍了准确解码。
解码书写时的神经活动
为攻克这一难题，研究团队开展了深入研究。他们招募了一名特殊的参与者，一位70多岁的右利手男性，因C4级脊髓损伤，导致肩以下完全丧失感觉和运动能力。研究人员在其左侧运动皮层的手“旋钮”区域植入了两个96通道犹他微电极阵列，用于记录神经信号。在实验过程中，参与者需跟随屏幕上的动画视频，尝试用右手在黑板上书写180个常用中文字符（平均笔画数为7.06±2.78画），这些字符分布在6个会话（session）中，每会话30个，每个字符重复3次。同时，研究团队还采用了已发表的英文字母手写数据集进行验证，该数据集记录了瘫痪受试者在无视频引导下尝试书写字母和符号时的神经活动。
实验设置与神经信号记录。@Advanced Science
在神经信号处理环节，研究团队提取了多种特征，包括局部场电位（LFP）、单单元活动（SUA）、多单元活动（MUA）以及整体峰电位活动（entire spike activity , ESA）等。经对比发现，ESA表现最为出色。它通过对原始信号进行高通滤波、整流和低通滤波处理获得，在轨迹拟合中的平均相关系数（CC）高达0.753±0.18，显著优于其他特征。解码模型方面，研究人员对比了卡尔曼滤波器和长短期记忆网络（LSTM），结果显示LSTM的拟合效果更胜一筹。
在损失函数的选择上，则重点比较了传统的均方误差（MSE）和全新的DILATE损失函数，后者专门用于处理形状和时间失真问题。(注：DILATE，DIstortion Loss including shApe and TimE，一种包含形状和时间的失真损失。)
DILATE损失函数由形状损失和时间损失两部分构成。形状损失基于软动态时间规整（softDTW），通过可微分的软最小化操作找到最优时间对齐路径，有效减少轨迹点间距离；时间损失则约束对齐路径与逐点匹配路径的偏差，避免出现过度时间扭曲的情况。这种创新设计成功解决了临床脑机接口中常见的神经信号与运动标签失准问题。当参与者的思维与引导运动存在超前或滞后时，均方误差的逐点对齐方式会致使解码精度大幅下降，而DILATE能够自适应地调整时间轴，巧妙保留轨迹整体形状。
用于轨迹拟合的DILATE与均方误差损失对比。@Advanced Science
中文解码识别率达91.1%
在中文手写轨迹解码中，采用LSTM结合DILATE损失函数，并通过动态时间规整（DTW）方法将轨迹转换为文本，在180个字符的数据库中，识别率高达81.7%。即便将数据库扩展到1000个字符，识别率依然能保持在70.6%。更为惊喜的是，当融合多日数据进行训练时，识别率进一步提升至91.1%。使用通用手写识别软件时，DILATE解码的识别率在单日情况下为37.2%，多日则提升至52.2%，同样高于MSE损失下的27.2%。这些结果表明，DILATE损失有效地缓解了脑机接口中多日数据融合问题带来的挑战。
使用DILATE损失进行轨迹拟合，以“开”字为例。@Advanced Science
在英文字母解码验证中，DILATE的优势也展露无遗。对于26个英文字母的单试次轨迹重建，采用k近邻分类算法时，DILATE的准确率达到76.61±4.97%，显著高于MSE的65.71±5.25%；使用通用识别软件时，DILATE的识别率为36.47%，亦高于MSE的22.93%。此外，t-SNE降维和HDBSCAN聚类结果表明，DILATE解码的轨迹在Fowlkes–Mallows指数（FMI）、调整兰德指数（ARI）和调整互信息（AMI）等指标上均优于MSE，充分彰显了其轨迹重建的可区分性更强。总体而言，使用DILATE的解码结果优于MSE，生成的字母更易被人识别。
基于DILATE损失的英文字母轨迹拟合。@Advanced Science
研究团队还对该方法的实时性和鲁棒性进行了验证。伪在线实验表明，DILATE解码框架的输出速率≥250Hz，能够满足实际脑机接口应用的时间要求；在不同噪声水平下，其基于动态时间规整（DTW）的识别率依旧能够保持稳定，证明了DILATE损失函数在每个时间步都能实现最优对齐，并取得了更好的解码性能。
这项研究来自浙江大学、南湖脑际交叉研究院、浙大医学院附属第二医院等机构的科研团队，在今年4月初在《Nature Human Behaviour》就已经发表了相关研究《人类运动皮层通过一系列稳定的神经状态编码复杂的书写动作》（Human motor cortex encodes complex handwriting through a sequence of stable neural states），该研究发现人类在复杂书写过程中，运动皮层活动会经历一系列与笔画片段书写相对应的状态演变，基于这一机制，构建了能够自动推断神经状态并调整的模型，以重建可识别的书写轨迹，通过实验进行了脑控机械臂在线汉字书写。
在线脑控机械臂汉字书写 @南湖脑机交叉研究院
此次研究进一步巩固了相关成果，其提出的创新解码框架通过DILATE损失函数有效解决了神经信号与运动的失准问题，结合DTW实现了高精度的轨迹到文本转换。该框架在中英文数据集中均展现出卓越性能，且支持多日数据融合，进一步提升了效果。这一突破性进展为运动障碍者实现跨语言的脑到文本通信提供了切实可行的方案，有望推动脑机接口在手写、绘画等领域的广泛实际应用，为改善运动障碍者的生活质量带来了曙光。
*本文主要基于7月28日发表于《Advanced Science》期刊的《从脑内皮层脑信号中解码手写轨迹以实现脑到文本通信》（Decoding Handwriting Trajectories from Intracortical Brain Signals for Brain-to-Text Communication）一文，图片来自网络侵删。
了解更多脑机接口/神经技术相关资讯，欢迎扫描底部二维码加入“脑机接口”知识星球（左） /咨询与合作添加微信（右）。
参考：
https://doi.org/10.1002/advs.202505492
https://doi.org/10.1038/s41562-025-02157-x
