5万小时神经数据与AI模型，Neuralink让脑机接口告别反复校准？

5万小时神经数据与AI模型，Neuralink让脑机接口告别反复校准？图1

10月1日，Neuralink发布了一项重大的技术更新：其参与者使用植入设备的总时长已超过50,000小时，从而积累了迄今为止规模最大的皮层内神经活动数据集之一。该公司利用这些数据预训练了一个用于脑机接口的基础模型——初步成果包括创下光标控制的新纪录、一种被称为“光标瞬移”（teleporting cursors）的现象，以及为运动皮层开发API的明确路径。

下面我们来详细看看这些初步进展：

校准：一项“西西弗斯式”的负担

脑机接口之所以给人以一种科幻惊叹却难以触及的技术，主要是因为该技术长期存在于研究实验室中，其应用依赖笨重的硬件和专业研究人员，与消费级产品仍有较大距离。

第一次看到用户通过意念移动光标，令人感到仿佛置身科幻场景。然而，这种控制方式虽然令人惊叹，实际使用体验仍有不足。其中一些用户体验（UX）问题，源于系统对“解码器”的依赖。这是一类经过训练、能够将神经活动转化为预期动作的机器学习模型。解码器因用户而异，所有用户在使用设备前都必须进行校准。校准时，用户需要完成一系列结构化任务，生成训练数据集。训练所得模型的精度，直接影响用户体验。

图1. 通过不同使用时长的解码器回放光标移动轨迹，对比基于脉冲（spike-based）和基于嵌入（embedding-based）的解码器。

首次校准耗时最长，但这只是开始。神经数据具有高度非平稳性，即使是最优秀的解码器，性能也会随时间推移而下降。随着控制能力减弱、已标注数据逐渐过时，用户必须重新校准，才能恢复原有性能。这使用户陷入一种“西西弗斯式”的循环：为了使用BCI，不得不反复执行相同任务，而此前生成的结果最终又会被丢弃。据Neuralink介绍，用户平均每周需要花费55分钟进行校准，仅仅是为了维持控制能力。

每一项特定功能，如打字、玩游戏，也都需要专属解码器。设备功能越丰富、性能越强，用户投入的时间成本就越高。将各个解码器校准至最佳状态，可能耗费大半个上午。系统虽然有效，却要求用户不断重新获得此前已经掌握的控制能力。自临床试验启动以来的两年里，参与者已产生超过50,000小时未标注、自由形式的神经数据。仅第一位参与者就记录了超过9,000小时的数据，相当于224亿个神经元脉冲（spikes）。此前，这些数据几乎未被利用。Neuralink曾受限于数据量，主要依赖监督学习技术，如今则积累了足以进行预训练的大规模数据集。

模型设计

Neuralink的目标是构建一个通用、对信号漂移（drift）具有鲁棒性的神经基础模型。为此，研究团队首先利用参与者自身数千小时的神经记录，对个人专属的神经编码器进行预训练。这些编码器将充满噪声、容易发生漂移的脉冲数据，转化为可用于解码的稳定嵌入（embeddings）。模型设计基于以下五个关键假设：

神经活动最适合用动力系统（dynamical system）建模。 人们普遍认为，神经群体（neural population）活动代表一种遵循习得规则不断演化的状态。这使Mamba架构成为较为合适的归纳偏置（inductive bias）。同时，Mamba满足团队对恒定低延迟推理的要求，进一步支持了这一选择。

将脉冲事件视为Token（标记）。 受POYO启发，每个记录通道都拥有一个通过学习得到的嵌入，只有通道发放脉冲时，相应事件才会被模型感知。基于Perceiver的输入层能够自然处理数量可变的活动信号。这种架构也便于模型在多位用户的数据上进行训练。

存在可利用的跨通道结构。 设计训练目标时，团队从实际应用需求和数据特性出发进行反向推导：部署后的解码器必须完全满足因果性（causal），用户在特定时间跨度之外的未来意图不可知，而脉冲数据又具有高度自相关性。基于这些考量，团队选择了“空间掩码泊松自回归”（spatially masked auto-Poisson regression）方案，将一半通道的数据输入模型，要求其预测另一半通道的活动，促使模型根据部分表征重构底层神经群体状态。

意图存在于一个稳定的子空间中。 这一观点在既往研究中已有探讨，也符合直觉。Neuralink的预训练模型结果似乎提供了进一步支持。如图所示，特定日期的信息在中间层中并不显著，却在最终输出中重新显现。

图2. 将每天的平均嵌入向量（embedding）投影至前两个主成分，并根据记录时的天数（recording age）进行颜色标记。

单个神经编码器可以胜任多种任务。 人的双手无需新增“外接部件”，就能完成书写、演奏乐器、驾驶车辆等不同活动。Neuralink植入设备Link记录的是运动皮层中“手结节”（hand-knob）区域的信号，因此，团队认为该设备也应具备类似大脑和双手的适应能力。

用户体验与性能上线

用户体验的改善

引入这一功能后，用户的解码器表现出更高的准确性和更长的使用寿命。团队通过“每秒比特数”（BPS）衡量控制性能。该指标反映使用光标时的最大信息传输速率，综合考虑速度与精度。Neuralink将其视为评估解码器质量最接近客观标准的指标。Neuralinker系统的BPS中位数约为10。

突破性能上限

利用大量未标注的皮层内神经数据进行预训练，使Neuralink能够构建出优于仅使用有限标注数据训练的解码器。得益于这些解码器，六位参与者刷新了个人最佳成绩。其中三人超过此前10.39 BPS的纪录，一人达到11.32 BPS。据Neuralink介绍，这一成绩创下了BCI领域的新纪录。

图3. P15 创纪录对局中的神经脉冲光栅图、嵌入向量及游戏画面。

用户反馈，光标响应更灵敏，移动更流畅、稳定，既能完成精确选择，又能保持很快的操作速度。控制性能的改善，使平滑处理（smoothing）和低速抑制（low-velocity suppression）等软件修正手段不再必要。

“比之前的模型更好。更流畅，方向更精准，感觉毫不费力。不需要费劲去推，它就能顺滑地滑向我想去的地方。”— P9

点击动作的解码效果也有所提升，体现在原始性能和实际操作感受两个方面。解码出的概率置信度更高、上升更快，不同类型的点击也更容易区分。用户遇到的误点击减少了，而这类错误往往尤其令人沮丧。这些改进对达到11 BPS至关重要。此前，团队依赖后处理减少错误，往往需要以增加延迟为代价。消除这一权衡后，点击操作变得更干脆、精准。

“[控制感] 确实更好。[点击体验] 更适合玩游戏，快速且响应灵敏。只要稍微降低一点灵敏度，我就能轻松达到11 BPS。”— P15，在达到11 BPS之前不久

使用寿命与数据效率

同样重要的是，解码器能够在无需重新校准的情况下保持性能多久。使用旧系统时，用户通常每天开始使用前都要花10分钟校准。有些人会将两次校准间隔延长至几天，以牺牲部分性能换取时间，但很少有解码器能在更长时间内保持稳定。预训练显著延长了解码器的使用寿命。即便是习惯在性能稍有下降时就重新校准的用户，也能超过一周无需校准。

某位用户连续五天使用同一个解码器，达到10 BPS的性能水平。部分解码器在三周多的使用期内仍保持较强性能；在一位研究参与者的案例中，解码器在一年半后依然可控。Neuralink认为，这些初步结果预示着未来有望实现性能不再衰退的解码器，向“即开即用”的BCI更进一步。

图4. 解码器性能与数据集大小的关系。

除了校准频率降低，团队还发现，用户通过校准恢复最佳性能所需的时间也缩短了。一些用户的校准负担从每天10分钟降至每周10分钟。如图4所示，30秒标注嵌入（labeled embeddings）数据所包含的信息量，相当于约3.5分钟原始神经脉冲（raw spikes）数据，且该模型能有效泛化至一个月后的数据。

使用寿命的提升也体现在Neuralink的机械臂控制模拟中。在这一场景下，用户需要同时控制七个或更多维度的复杂动作。此类任务的解码器通常比光标控制解码器衰退得更快：一个性能优异的解码器，可能在短短六天内变得无法使用，迫使用户投入更多时间重新校准。而基于学习所得嵌入训练的解码器，一周后仍保持可控，使用户得以跳过校准的初始阶段。

图5(左图). 基于20个月前校准数据实现有效控制的一个实例，未进行任何后处理。图6(右图(). P9在100×100网格上展示精确控制能力。

什么是光标瞬移（Cursor teleportation）？

运动皮层编码的信息远不止肌肉激活信号和速度意图。既往研究已探索通过解码位置、误差信号及准备意图，改善BCI系统。Neuralink目前正在探索仅根据神经活动，解码光标和目标的屏幕坐标。图7展示了部分初步结果，这些预测来自完全基于嵌入数据拟合的无状态线性模型。

这些嵌入也让团队得以探索超越鼠标控制能力的交互形式。鼠标只能反馈移动和点击操作，而神经信号可能揭示用户何时即将行动，或何时意识到自己犯了错。围绕大脑设计的交互界面，能够实现怎样的功能？光标瞬移是一种可能：预测用户想要前往的位置，再将光标一步直接移动到那里。

图 7. 针对留出数据的瞬时位置预测。

图 8. 由预测目标位置驱动的 10 BPS 控制。

图8展示了这一理念的实际应用。虽然目前还无法以像素级精度预测用户的目标意图，但该系统显著缩短了光标移动时间，并在初步测试中实现超过10 BPS的信息传输速率。Neuralink希望随着技术进一步完善，提供一种新的计算机交互体验。

未来方向

汇集多用户数据（Pooling brains）。 此次展示的所有实际应用结果，均来自基于单一参与者数据预训练的模型。下一步，团队计划汇集多位参与者的数据，测试共享基础模型的性能是否会随数据规模扩大而提升。目前，多用户模型尚未带来实时（在线）应用性能的提升，其解码器表现并不优于单用户模型。不过，团队已经观察到模型在不同参与者之间成功迁移的现象。

在一项实验中，一个仅使用参与者P9数据训练的模型成功迁移至P2，迁移过程中99%的权重保持完全冻结。该模型的表现还优于P2原有的解码器。其他研究，如POYO3和NDT25，也已证明汇集多用户数据能够带来离线性能提升，进一步支持了此类模型的可行性。成功的多用户模型有望为新用户提供更高的起点，简化上手流程，并利用每位参与者的数据改善所有人的控制体验。

单次校准（One-shot calibration）。 用户能否只进行一次校准？Neuralink近期的研究结果，为团队向这一目标推进提供了依据。性能维持一周已是积极进展；若要延长至一年甚至更久，则需要解码器随神经信号变化进行自适应调整。校准20个月后仍能实现有效控制，表明有用信息能够长期保留。目前的挑战是实现可靠的持续解码，让用户减少维护BCI设备的时间，将更多时间用于实际使用。

零次校准（Zero-shot calibration）。 用户能否无需任何校准，就获得如同健全人一般的控制能力？如果模型具备普适性，即适用于所有人，就有可能实现“开箱即用”的控制体验。Neuralink的目标是让用户在术后醒来时，设备便能精准响应其意图。

面向运动皮层的API。 人们使用同一双手打字、玩游戏和拿起水杯，是否也能用一个解码器统管这些动作？Neuralink设想为所有预期的手部动作采用一个共享解码器，即面向运动皮层的API。用户只需进行一次校准，即可在不同应用间使用，开发者则可基于统一接口开发。这将降低为Link开发应用的难度，并为构建丰富的BCI应用生态铺平道路。