用于上肢假肢控制的非侵入性肌电神经接口的生物机械研究的10年回顾

表面肌电图是骨骼肌激活的电表现，包含了丰富的神经控制信息。它被用于生物机器人和类似应用的非侵入性界面，包括但不限于多功能动力肢体假体、外骨骼、功能性电刺激器等。表面肌电信号在建立非侵入性神经界面方面起着直观、方便、可访问的核心作用，其最引人注目和普遍的应用是提供动力的多功能假肢，即肌电控制。

经过几十年的研发，肌电控制的上肢假肢已经成为临床和商业上可行的产品，服务于全球数百万截肢者。然而，随着时间的推移，商用表面肌电信号控制的假肢在截肢者中的渗透率并没有显著变化，大约一半的上肢截肢者在经过大量训练后放弃了该设备。显然，学术界的研究重点与设备和最终用户的需求之间存在着明显的差距。

2012年，一篇由假肢行业的学术研究人员和专家所写的展望论文发表了，这篇文章呼吁转移此领域研究人员的研究重点，并确定了阻碍学术研究转化为工业应用的四个关键问题:模式识别算法提供的顺序和开关控制方案对用户来说并不直观;缺乏感官反馈导致开环控制方案;一般来说，算法对日常活动中普遍存在的非平稳因素缺乏鲁棒性;单一传感器模式，即单独的表面肌电信号，为用户提供有限的功能和高的精神负荷。从综述的发表到现在，整整十年过去了，微机电控制及相关课题的研发格局有了长足的发展，对过去十年的工作进行一个总结是有必要的，作者团队便整理撰写了此篇论文。

在过去的几年里，肌电信号处理和肌电控制最重要的发展之一是使用肌电信号分解和分解的运动单元动作电位序列作为控制源。此外，深度学习(DL)算法的爆炸式发展在几年前也并未被大部分人所预测到。研究表明，在多个方面，与传统的算法相比，深度学习方法的性能有了显著提高。另一个方面，开源肌电信号数据集的可用性被研究人员所注意到。这些数据集大大降低了进行表面肌电信号处理和肌电控制研究的障碍，使以前没有专用实验基础设施的研究人员能够进行表面肌电信号算法开发基础设施。此外，通过使用相同的数据集进行测试和验证，可以对不同的EMG算法进行客观和有意义的比较。

过去的大部分工作都集中在跨桡骨截肢者的肌电控制上，而关于跨肱骨截肢者的研究较少。对于肱骨截肢者来说，最大的挑战之一是用于肌电控制的剩余肌肉越少，假体需要控制的自由度就越大。从这个意义上说，单独的表面肌电信号可能不足以提供足够的信息来重新存储神经假体的功能。脑电图(EEG)信号反映了大脑中产生的心理活动的生物电，并且对截肢条件的依赖性明显降低。因此，脑机接口(BCI)或脑机接口(BMI)可能与我们的综述范围高度相关。BCI/BMI作为机器人控制的人机界面已经得到了广泛的研究。本文还简要回顾了近10年来无创BCI研究以及肌电信号和EEG混合用于假肢控制的研究，以补充肌电信号相关的文献。

对肌电控制领域过去十年的研究成果进行回顾整理，以及对未来的展望是文章的主要内容，上图给出了文章主体部分的构架与各版块之间的关系。论文的其余部分组织如下。

控制方案:趋向于直觉和自然的控制

对于整体肌电控制方案，主要有三种不同的控制方案:传统的直接控制(tDC)，基于模式识别的控制(PRC)和同步和比例控制(SPC)。下表为基于肌电图的假体控制方法的优缺点。

尽管近十年来，肌电PRC和SPC相关的研究取得了巨大的进展，但基于肌电图的接口在许多方面仍有很大的改进潜力。

感官反馈:关闭控制回路

从狭义上讲，提供感觉反馈不是肌电控制的一部分。然而，在考察整体假肢控制时，正向运动控制(由肌电图驱动)和感觉反馈是感觉运动回路中两个紧密耦合的部分。然而，假肢感官反馈的最新技术明显落后于其前向控制。研究的范围和深度相对有限。如果没有感觉反馈，假肢的精细控制能力就会受到限制，截肢者必须严重依赖视觉反馈来执行功能性任务，不可避免地会产生很高的认知和心理负担。此外，感觉反馈的缺失阻碍了灵巧手假肢的功能和效率，这很可能在假肢排斥率中发挥重要作用。

上肢假肢缺乏感觉反馈是假肢研究中的关键挑战，具体的内容为，不能直接在假肢硬件和人的感觉系统之间建立感觉通路。因此，从植入义肢的传感器中检索到的传感信息只能通过传递刺激机制引发重新映射的生理感觉，才能传递给截肢者。

上肢截肢会导致机械感觉末端器官的丧失。然而，从这些器官向中枢神经系统传递信号的神经感觉神经和上行通路仍然保持功能。然而，自然的手-物互动通常会激活数百甚至数千个触觉神经纤维，并且激活模式依赖于任务。在可预见的未来，要高保真地复制这种复杂的“编码”过程是不可能的，相对于神经纤维的自然数量而言，神经义肢的感觉恢复受到刺激通道数量的限制。因此，目标不是以高保真度再现自然的感觉反馈。考虑到有限的刺激通道，我们的目标是产生对物体操纵有用的神经元激活模式，并促进假肢的具体化。根据不同的神经素界面技术，体感反馈可分为机械触觉、电触觉和侵入性感觉反馈，如下图所示。

目前，先进的上肢假肢可以为运动功能丧失提供有意义的补偿。然而，它们对感觉功能丧失的补偿能力相对有限。技术挑战存在于许多方面，如传感器的集成、刺激装置的便携性以及假手与人体感觉系统之间神经感觉通路的建立等。出于这些目的，需要多模态传感能力(如压力、振动和温度)和高密度传感器单元，以提供与不同物体更好的交互体验。此外，必须开发具有先进编码策略的更便携和紧凑的刺激反馈硬件，以便将从假肢检索到的传感信息传输到无系绳假手系统中的截肢者。

强大的肌电控制:走出舒适区

肌电控制算法开发中普遍存在的一个假设是，从肌电图中提取的特征对于相同的运动或手势来说是足够静止的。虽然它在受控的实验室条件下确实成立，但这种假设对于来自现实世界场景的数据不再有效，因为现实世界中有许多因素会将非平稳干扰引入数据中，这些因素可以分为内部和外部，内部因素来自于使用者，包括肌肉疲劳、肢体/躯干位置变化、肌肉收缩强度变化等。外部因素来自用户以外的来源，包括电极位置的变化、电极-皮肤阻抗的变化、电极故障等等。自2012年以来，提高对这些因素的鲁棒性一直是肌电控制研究的关键课题之一。在这些因素中，电极移位、肌肉疲劳、肌肉收缩强度变化和上肢运动受到的关注最多。

多模态感知:1+1>2，不仅仅是肌电图

尽管肌电信号包含了丰富的人体运动神经控制信息，但仅凭肌电信号还不足以准确解码人体运动的意图。因此，2012年的综述呼吁采用传感器融合方法，以进一步提高假肢的控制性能和功能。与前三个挑战类似，这一挑战在过去十年中受到了相当大的关注。各种方法，如肌力图(MMG)，力肌图(FMG)，惯性测量单元(IMU)，红外光谱(NIRS)，超声(US)，EEG和计算机视觉(CV)，已经进行了研究。有研究人员还采用了一些模式与肌电图融合以改善对干扰的鲁棒性，采用热模态来改善控制性能等研究。

EEG对截肢条件的依赖性较小，这使得它成为为肘部以上截肢者提供切实的假肢控制解决方案的绝佳候选者。作者用一个单独的章节来讨论脑机接口及其与肌电图融合的潜力。对于融合算法，数据可以在特征级别进行融合，其中提取的特征被整合到整体模型中，这种融合也可能发生在决策层面。CV在假肢控制中的应用则采取了不同的角度:共享控制。在一项先驱性研究中，研究人员在假体上安装了立体摄像头，假肢使用者只需要使用肌电图发出一个简单的开/关命令，而不需要控制不同的握持模式。CV算法用于执行后一项任务，对摄像机视场中的场景进行分析，估计场景内目标物体的属性(如大小、位置和方向)，并相应地估计抓地力模式参数(如方向、光圈和强度)。

MUAPt:终极肌电控制？

在2014年的综述中，首次提出嵌入MUAPt中的直接神经控制信息是肌电控制的“终极特征”。从表面肌电图中提取并发活动MUAPt的信号处理方法被称为肌电图分解。过去十年，MUAPt被明确地应用于肌电控制中，并被提出作为一种高度鲁棒的人机界面来实现灵巧和直观的控制。基于MUAPt的的肌电界面必须考虑两个基本步骤:分解和投影(如下图)。前者显著影响识别MUAPt的可靠性和准确性。后者旨在通过将获得的MUAPt投影或映射到各自的运动运动学/动力学，从而将其转化为设备的控制命令，建立基于MUAPt的控制方案。

新的武器:DL？

与目前讨论的传统算法相比，DL方法具有独特的无特征或端到端学习特征。特征提取是通过深度网络结构隐式执行的。DL方法越来越成为表面肌电信号和机电控制研究各个方面的重要工具，与传统的手工制作特征的算法相比表现出优越的性能。

虽然基于DL的肌电图接口是近十年来的研究热点，但该方向仍存在计算成本高、数据依赖性大、缺乏可解释性等问题。首先，在实验室环境中可以获得强大的计算资源，但是在成本合理的便携式设备中却无法获得，功耗也很高。这限制了基于DL的肌电图接口的实际应用。开发具有低功耗GPU的嵌入式系统是潜在的解决方案。其次，需要大量的数据来优化DL方法的参数，以确保其良好的性能。在未来的工作中，可以采用数据增强和迁移学习的方法，以更少的数据采样点来增加数据量，提高稳定性。最后，大多数DL方法的内层既没有物理意义，也没有生理意义，无法用来解释潜在的生理过程。提高深度学习方法的可解释性是今后将深度学习方法更好地应用于肌电界面领域的一个重要研究方向。

更好的可访问性和包容性:开放获取肌电数据库

为了建立一个更具包容性的研究社区，并促进其他研究人员的更好的交叉交流，公开表面肌电图数据集在电子控制研究社区中越来越受欢迎。Ninapro是一个包含健全受试者和非健全受试者的表面肌电信号、关节运动学等信息的元数据库，可能是目前文献中最流行的表面肌电信号数据库，许多研究人员使用Ninapro的数据集发表了他们对PRC和SPC的创新研究。这些数据集也促进了对不同算法的客观比较。更多样化的数据集，一些具有独特的特征，如大型主题池，多会话和高清肌电图，正在不断发布。与此同时，质量开放存取数据集的一致性将不断提高。

无创脑机接口在神经修复和生物机器人控制中的应用

在过去的十年中，表面肌电信号已经证明了它在假肢控制方面的力量，但对于经肱骨截肢者来说仍然面临着巨大的挑战。与表面肌电信号不同，来自中枢神经系统的信号包含了人类意图的源信息。BCI技术从包括脑电图(EEG)、脑磁图(MEG)和功能磁共振成像(fMRI)在内的信号中解码人类意图。患有肌萎缩侧索硬化症等肌肉疾病的人可能有正常的脑信号，但不能产生有效的肌电图信号。因此，BCI绕过周围神经系统，建立了从大脑到外部设备的直接接口。以上的各种方法中，EEG是目前与表面肌电信号融合的最可行的方式，可以解决经肱骨截肢者恢复运动功能的巨大挑战。

基于脑机接口技术的脑控机器人技术在过去的十年中得到了广泛的研究，并被应用于人类受试者的辅助和康复。成功的应用包括但不限于BCI控制的神经假肢、机械臂等。然而，这些演示仍然局限于控制良好的实验室环境，脑机接口技术仍处于起步阶段，因为采集到的信号通常很弱，容易被表面肌电信号等信号污染。随着新的传感器和解码方法的快速发展，BCI已成为神经接口的一个主要分支，并引起了学术界和工业界的越来越多的关注。自然，脑机接口是生物机器人研究的重要组成部分。表面肌电和EEG的融合正在成为研究方向，为肘部以上截肢者提供神经假肢控制。

对头皮、皮层表面或大脑内部记录对各种事件产生的大脑信号进行分析，以提取与用户意图相关的特征。然后将这些特征转化为控制应用设备的命令，以替换、恢复、增强、补充或改善自然中枢神经系统(CNS)输出，如下图所示。

在学术研究中最先进的技术可以转化为商业和临床可行的假肢产品，为截肢者提供有意义且负担得起的功能替代品之前，还有很长的路要走。当前的重点是假肢技术的创新“软”方面。在“硬”方面，即机械结构，机电一体化和电子设计，在过去几十年中也取得了重大进展，例如高度拟人化特征的上层结构设计和柔性电极和电子器件的集成。实现类人假肢的最终目标需要“软”和“硬”两方面创新的协同结合，在过去的十年里，相关领域的研究人员做出了不俗的成果，我们期待着下一个十年的发展。

—— End ——

来源：CAAI认知系统与信息处理专委会

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口AI星球

获取更多脑机接口+AI等领域的知识和资源。

资讯配图