随着脑机接口（Brain–Computer Interface，BCI）技术的发展及潜在应用场景的扩展，BCI概念使用日趋泛化，系统的BCI归属判别缺乏可操作性判定依据。同时，现有评价方法主要关注准确率和信息传输率等指标，对安全性、可靠性、稳定性和鲁棒性等工程化特性的关注相对不足，且评价结果易受评估主体差异影响。针对上述问题，本文提出一种BCI判别与性能评价方法学框架，包括可操作性判别准则、多维性能评价方法以及第三方角色分离与三重盲化评估范式（以下简称第三方三盲评估范式）。该框架有望实现从BCI判别到性能评价的结构化评估，为BCI判别、性能评测及工程转化应用提供方法学参考。
关键词：脑机接口（BCI）；BCI判别；性能评价；第三方角色分离；三重盲化评估
01
引言
BCI是一类通过记录中枢神经系统活动并将其转化为外部输出，实现大脑与外界直接通信与控制的人机交互技术[1]。自Vidal[2]提出BCI这一术语以来，其已在神经工程、人机交互及临床康复等领域取得显著进展，并逐步从实验室研究走向工程实现与应用探索。
随着BCI技术发展与应用场景的不断拓展，其研究与产业关注度显著提升。与此同时，BCI概念的使用呈现出一定程度的泛化趋势[3]。例如，一些以脑信号检测或状态评估为主的系统，或以神经调控为主要功能的技术，在部分文献或应用描述中被归类为BCI[4]。这种现象在一定程度上模糊了BCI的范畴边界，导致各类系统的 BCI 归属判定缺乏统一准则。
在BCI定义层面， Wolpaw 等[5]从“脑信号记录—意图解码—外部输出”这一基本逻辑出发，对BCI的核心组成与功能特征进行了系统阐述，奠定了领域的基础性共识。Mason与Birch[6]进一步围绕BCI的定义边界、信息流特征及系统分类展开讨论，强调了脑活动信息在用户与外部设备之间建立直接通信与控制通道的重要性。José del R. Millán 和 Niels Birbaumer 等[7]从神经调控、人机交互及临床应用等角度扩展了BCI概念的内涵与应用范畴。在此基础上，伏云发等人针对BCI概念模糊化、认知偏差及相关误解等问题，从定义完善、技术分类和概念辨析等角度进行了探讨，为规范BCI概念认知和促进领域健康发展提供了重要参考[3][8] [9]。
随着BCI技术向工程化与应用化方向发展，相关标准化与共识性工作也逐步推进。包括 IEEE 及 IEEE Standards Association 在内的组织[10]，已开展神经技术与BCI相关标准探索，涉及术语定义、数据接口、系统安全及伦理等方面。同时，International BCI Society 等学术共同体也在推动BCI相关术语、接口与应用规范的协调与统一[11]。
上述研究与标准化工作为理解BCI的核心组成、功能特征及基本交互模式奠定了重要基础，并推动了BCI相关术语、接口与应用规范的发展。然而，现有工作主要聚焦于概念规范、工程接口及伦理约束，对于将 BCI 概念定义落地为可操作性判别准则，目前仍缺乏系统性研究。
在BCI系统性能评价方面，当前研究与应用通常关注解码准确率、信息传输率及用户体验等指标。例如，Kübler 等[12][13]提出以用户为中心的评价方法，强调用户需求与系统可接受性；Pan等[14]进一步从可用性、用户满意度与实际使用情况出发，提出了面向转化应用的在线BCI系统性能综合评价方法。这些工作为BCI系统性能评价提供了重要参考，尤其在任务性能与用户体验评价方面形成了较为成熟的指标体系。然而，对于系统在长时运行、复杂环境及工程应用中的稳定性、鲁棒性、可靠性与安全性等关键特性，现有研究关注相对较少。
此外，在BCI判别及性能评价过程中，其结果往往受到评估主体背景、经验及对系统信息掌握程度的影响，不同评估者之间可能存在较大差异。当前尚缺乏一种结构化的评估流程，用于在控制潜在偏差的前提下，对BCI判别以及性能评价过程进行规范化组织。
针对上述问题，本文提出一套面向BCI判别与评价的方法学框架。首先，提出面向具体系统的可操作性BCI判别准则，将已有BCI概念与领域共识转化为可执行的系统判定流程。其次，提出面向工程与转化应用的BCI系统多维性能评价方法，从系统内在性能、交互性能及应用与结果三个层面建立评价指标体系，并引入安全性、可靠性、稳定性、鲁棒性等工程化评价维度。最后，提出第三方角色分离与三重盲化评估范式，通过统一的角色分工、信息隔离和独立评估机制，将其贯穿于BCI判别与性能评价全过程，以降低评估偏差，提高评价结果的客观性。图1为本文的整体逻辑框架。
图1 本文的总体逻辑框架
本文的主要贡献如下：
1）基于现有BCI定义、领域共识及相关标准化工作，提出BCI可操作性判别准则，将已有概念性定义转化为结构化、可执行的判别流程，为BCI判别提供方法学支持；
2）提出面向工程与应用场景的多维性能评价方法，在现有可用性和用户体验评价基础上补充稳定性、鲁棒性、可靠性与安全性等关键维度。
3）构建第三方三盲评估范式，通过角色分离与信息遮蔽机制，为BCI判别与性能评价提供偏差控制思路；
本文旨在为BCI判别与其性能评价提供一种方法学参考，以支持跨研究比较、工程评测与转化应用过程中的一致性与可解释性。为进一步明确本文工作的定位，表1 比较了现有工作与本文工作的主要差异。
02
BCI可操作性判别准则
在前文基础上，本节提出BCI可操作性判别准则。相关方法旨在将既有科学定义与领域共识转化为可直接用于系统结构分析与功能判定的操作依据，从而支持不同研究与应用场景下对系统是否构成 BCI 的一致性判断。以下内容将依次阐述判别准则的设计原则以及具体判别准则条目。
2.1 BCI可操作性判别准则的设计原则
在已有的 BCI 科学定义和范畴界定基础上，本节将确保提出的判别准则在不同应用场景中的可行性和普适性，遵循以下三个关键原则：
1）学术共识为基础。这些准则基于学术界广泛认可的共识，可规避单一研究者或技术路线带来的主观偏差；
2）操作性强。准则具有明确的操作指向性，能够直接应用于系统结构分析与功能评估，避免抽象的理论化表述；
3）高度普适性。准则不依赖于特定脑信号类型或实验范式，能够适用于不同形态与阶段的 BCI 系统。
通过这些设计原则，本文确保所提出的判别准则在实际应用中的广泛适用性。
2.2 BCI可操作性判别准则具体内容
基于第2.1节的设计原则，本节提出了五条BCI可操作性判别准则。每条准则明确了系统在核心功能和结构上的基本要求，有助于判断一个系统是否构成 BCI。以下是每条准则的具体要求及其应用说明。
2.2.1 以中枢神经系统信号作为主要输入的判别准则
1）判别标准。BCI 系统必须以中枢神经系统（CNS）的活动作为主要信号输入来源。大脑信号必须是系统功能的核心信息来源，而非辅助信息或冗余数据。
2）判定依据。大脑信号在 BCI 系统中占主导地位，直接影响与外部设备的交互与控制能力[15]。其他生理信号（如肌电、眼动）仅作为辅助输入，不能构成 BCI 的核心功能[16]。
3）应用说明。尽管某些多模态系统同时采集脑信号与外周生理信号，BCI 系统的核心功能应聚焦于脑信号的采集与解码。本准则确保避免将依赖外周信号的系统误判为 BCI。
2.2.2 解码用户主动意图的判别准则
1）判别标准。BCI 系统必须能够从脑信号中解码用户的主动意图。
2）判定依据。BCI 系统的目标是将脑信号转化为可操作的指令或控制输出。因此，系统必须能够解码用户的主动意图，而不仅是监测或评估大脑状态[17]。
3）应用说明。例如，情绪监测系统虽然使用脑信号，但其目标是评估情绪，而非解码用户的主动意图，因此不能视为 BCI。本准则帮助区分真正由大脑驱动外部设备的系统。
2.2.3 实时信号处理与交互能力的判别准则
1）判别标准。BCI 系统必须具备实时或准实时的信息处理与交互能力，使用户能够在与系统的互动中感知输出并调整行为。
2）判定依据。BCI 系统的本质在于其交互性。实时性是区分 BCI 与其他系统的关键标准[18]。BCI 必须能够在可感知的时间内处理信号，支持用户的持续互动。
3）应用说明。例如，离线分析系统虽能进行精确的脑信号解码，但无法提供实时反馈，因此不构成 BCI。本准则确保 BCI 系统具有动态交互的能力，而非静态分析工具。
2.2.4 系统输出与用户中枢神经活动之间的因果性判别准则
1）判别标准。解码后的脑信号必须直接驱动外部设备、界面或环境的状态变化，形成明确的因果性输出。
2）判定依据。BCI 系统的核心功能是将脑信号转化为外部输出并对外部系统产生直接影响。如果解码结果仅用于信息展示而未触发外部控制，则不构成 BCI[19]。
3）应用说明。例如，脑控假肢通过解码用户意图控制假肢运动，而情绪分析系统仅解码脑信号并不驱动外部设备。因此，后者不能被视为 BCI。
2.2.5 基于交互闭环机制的判别准则
1）判别标准。BCI 系统必须支持完整的用户–系统交互闭环，即系统输出能够通过感觉反馈或神经反馈作用于用户，允许用户基于反馈调整行为或策略。
2）判定依据。闭环机制是 BCI 区别于传统控制系统的关键特征。BCI 的性能不仅依赖于算法优化，还取决于用户与系统之间的共同适应与交互反馈[20]。
3）应用说明。例如，BCI 在运动康复中的应用，不仅解码运动意图，还通过触觉反馈帮助用户调整动作。如果一个系统仅能解码信号而没有反馈机制，它将无法实现有效的学习与适应，因此不能称为 BCI。
表2 为是否构成BCI系统的判别准则。这些准则提供了评判系统是否构成 BCI 的标准，确保在科学和工程领域内对系统进行一致、可信的判定。
03
面向工程与转化应用的BCI系统多维性能综合评价方法
完成BCI判别后，对于被判定为BCI的系统，还需要进一步评价其性能表现。为实现不同BCI系统之间的客观比较，并满足工程评测和转化应用需求，本节提出面向工程与转化应用的BCI系统多维性能评价方法，建立统一的评价维度、指标及判定方法。
为了更加全面评估BCI系统在工程实现与转化应用中的表现，在已有研究的基础上[12][13][14][21]，本文提出了一种多维度的性能综合评价方法，如图2所示。该方法从系统内在性能、交互性能以及应用与结果三个评价域展开，涵盖了安全性、稳定性、鲁棒性、可靠性等核心维度。
图2 一种多维度的BCI系统性能综合评价方法
3.1 BCI系统内在性能评价
3.1.1安全性评价（Safety）
安全性用于评估BCI系统在使用过程中对用户及外部设备可能产生的风险程度，是BCI系统工程应用与临床转化的重要前提。考虑到BCI系统风险来源具有多维特征，本文主要从生理安全、心理负荷和功能安全三个方面进行综合评价。
其中，生理安全主要反映BCI系统对用户生理健康的影响；心理负荷用于衡量系统在使用过程中产生的认知负担、疲劳及不适感；功能安全用于评价系统是否存在异常输出、误触发或失控风险。
各维度采用三级评分法进行评价，其中，1分表示低风险，2分表示中风险，3分表示高风险。BCI系统综合安全评分可由式（1）计算。
其中，Srisk为综合安全评分，Sphys为生理安全评分，Spsych为心理负荷评分，Sfunc为功能安全评分。对于特定应用场景，也可采用加权形式，如式（2）所示。
其中，Wphys+Wpsych+Wfunc=1，Wphys、Wpsych、Wfunc分别表示对应维度的权重。根据综合评分结果，1.0≤Srisk<1.5为低风险，1.5≤Srisk<2.5为中风险，2.5≤Srisk<3.0为高风险。各维度评分应结合实验记录、设备说明书、不良事件记录及用户反馈等信息综合确定。
3.1.2可靠性评价（Reliability）
可靠性用于衡量BCI系统在相同实验条件下输出结果的一致性以及长期运行过程中的可重复性，是评价系统工程可用性的重要指标。本文从重复测量一致性和长期运行可靠性两个方面进行评价。
对于重复测量一致性，可采用 Cohen's Kappa 系数[22]或组内相关系数（ICC）[23]作为评价指标，计算方式如式（3）所示。
其中，Rel表示系统可靠性指标，P(i)表示第i次重复测试获得的系统输出结果，n表示重复测试次数。根据一致性指标结果[24]，Rel>0.80为高可靠性，0.6≤Rel≤0.80为中可靠性，Rel<0.60为低可靠性。
对于长期运行可靠性，采用平均故障间隔（Mean Time Between Failures, MTBF）进行评价[25]，如式（4）所示。
其中，Ttotal为系统累计有效运行时间，Nfail为故障发生次数。MTBF值越高，说明系统故障发生频率越低，长期运行可靠性越好。
3.1.3稳定性评价（Stability）
稳定性用于评估BCI系统在长时间运行或跨会话使用过程中维持性能稳定的能力，其主要反映系统对脑信号漂移、用户状态变化以及电极变化等非平稳因素的适应能力。本文采用性能波动、性能漂移和性能阈值约束三个指标进行评价。首先采用变异系数（Coefficient of Variation, CV）[26]评价性能波动程度，如式（5）所示。
其中，分母为各会话性能均值，分子为对应标准差，CV越小表示系统性能波动越小。结合工程经验与领域通用判定标准，CV<10%为高稳定性，10%≤CV<20%为中稳定性，CV≥20%为低稳定性。随后采用相对性能漂移率评价长期性能变化趋势，如式（6）所示。
其中，Pstart为初始会话性能，Pend为最终会话性能。当｜Driftrel｜<5%时为高稳定性，5%≤｜Driftrel｜<15%时为中稳定性，｜Driftrel｜≥15%时为低稳定性。此外，为评价最极端情况下的性能变化，还可计算最大性能下降幅度，如式（7）所示。
其中Pk表示第k个测试会话中的性能指标，若Dropmax<10%为高稳定性，10%≤Dropmax<20%为中稳定性，Dropmax≥20%为低稳定性。同时系统应满足最低性能阈值约束，见式（8）。
其中，Pthreshold为任务允许的最低有效性能阈值，当系统同时满足上述指标要求时，可判定其具有良好的稳定性。
3.1.4 鲁棒性评价（Robustness）
鲁棒性用于衡量BCI系统在噪声干扰、跨会话、跨被试以及电极偏移等扰动条件下维持性能的能力。本文采用性能保持率和性能退化率[27]、跨条件一致性以及最坏情况性能四个指标进行评价。性能保持率由式（9）计算。
其中，Pbaseline为基准条件下性能，Pperturbed为扰动条件下性能。根据经验标准，Probust≥0.90为高鲁棒性，0.75≤Probust<0.90为中鲁棒性，Probust<0.75为低鲁棒性。相对退化率由式（10）计算。
其中，Degradation为高鲁棒性，10%≤Degradation<25%为中鲁棒性，Degradation≥25%为低鲁棒性。跨条件一致性采用性能方差评价[26]，计算方式见式（11）。
其中Pi为第i个扰动条件下的性能；P-为平均性能；N为扰动条件数量。最后采用最坏情况性能，如式（12）所示。
若Pmin≥Pthreshold，则表明系统在最不利条件下仍具有可接受性能。综合上述指标，可对系统鲁棒性进行高、中、低三级判定。
3.2 交互性能评价
根据ISO 9241-11标准[28]，可用性（Usability）主要由有效性（Effectiveness）、效率（Efficiency）和用户满意度（Satisfaction）三个方面构成。本文将其作为BCI系统交互性能评价的核心维度，并分别采用任务完成率、信息传输率与工作负荷以及标准化用户体验量表进行量化评价。
3.2.1有效性评价（Effectiveness）
有效性用于衡量BCI系统帮助用户正确完成目标任务的能力，即系统输出是否能够准确支持用户实现预期操作目标。本文采用任务完成率（Task Completion Rate, TCR）作为有效性的评价指标，其计算公式如式（13）所示。
其中，Nsuccess表示成功完成的任务数量，Ntotal表示总任务数量。TCR取值范围为0～1，数值越大表示系统有效性越高，参考人机交互评价标准及BCI应用研究经验，TCR≥0.80判定为高有效性，0.60≤TCR<0.80判定为中等有效性，TCR≥0.60判定为低有效性。对于分类型BCI系统，也可采用分类准确率（Accuracy, ACC）作为辅助指标，与TCR联合评价系统有效性。
3.2.2效率评价（Efficiency）
效率用于衡量用户完成任务所需资源消耗的大小，包括时间成本、信息传输能力以及认知负荷等因素。由于BCI系统效率不仅体现为信息传输速度，还受到用户认知负担的影响，因此本文采用信息传输率（Information Transfer Rate, ITR）和NASA任务负荷指数（NASA Task Load Index, NASA-TLX）进行联合评价。ITR用于衡量BCI系统单位时间内能够传递的信息量，由式（14）计算[29]。
其中，N为系统可选目标数量，P为分类正确率，T为完成一次决策所需时间，ITR单位为 bit/min，ITR数值越大，表示系统单位时间内传递的信息量越高。参考BCI领域常用标准，判定为高效率，判定为中等效率，判定为低效率。
NASA-TLX[30]用于衡量用户在使用BCI系统过程中所承受的认知与操作负担，量表总分范围为0～100分，分数越高表示用户负荷越大。参考NASA-TLX评价标准，NASA-TLX < 40为低负荷，40 ≤ NASA-TLX ≤ 60为中等负荷，NASA-TLX > 60为高负荷。
通常认为高ITR且低NASA-TLX对应最佳效率状态，高ITR但高NASA-TLX说明系统性能较好但用户负担较重，低ITR且高NASA-TLX则表明系统效率较差。因此，效率评价应综合ITR与NASA-TLX共同分析。
3.2.3用户满意度评价（Satisfaction）
用户满意度用于衡量用户对BCI系统整体使用体验的主观接受程度，包括舒适性、易用性以及持续使用意愿等因素。本文推荐采用系统可用性量表（System Usability Scale, SUS）[31]和视觉模拟量表（Visual Analog Scale, VAS）[32]进行评价。
SUS总分范围为0～100分，其得分越高表示系统整体可用性越好。参考Brooke提出的SUS评价标准，SUS ≥ 80为优秀（Excellent），68 ≤ SUS < 80为良好（Good），SUS < 68则需要改进（Needs Improvement）[33]。VAS通常采用0～10分评分方式，用于评价用户主观满意程度[32]。其中，0分表示极不满意，10分表示极满意。参考临床与人机交互研究常用标准，VAS ≥ 7表示高满意度，4 ≤ VAS < 7表示中等满意度，VAS < 4表示低满意度。
3.3 BCI 应用与结果评价
3.3.1功效（Application effectiveness）
功效（Application function）用于描述BCI系统在应用层面的功能类别，包括替代（replacement）、恢复（restoration）、增强（enhancement）、补充（supplementation）以及改善（improvement） [34]。
与系统内在性能及交互性能指标不同，功效主要用于刻画系统的应用属性，而非直接参与量化评价。在实际评价过程中，不同类型的BCI系统对应不同的评价重点。例如，恢复类或改善类系统通常可通过前后测数据进行量化分析，而替代类系统（则主要通过任务完成能力与通信效率等指标体现其应用价值。
因此，在本文所提出的评价方法中，功效作为功能性描述维度进行标注，而不纳入统一的量化评分体系。为说明不同类型BCI系统在评价指标选择上的差异，本文总结了基于Wolpaw分类的功效类型与推荐评价指标之间的对应关系，如表3所示。
该对照关系表明，不同功效类型的BCI系统在评价目标与指标选择上存在差异。其中，替代类系统主要通过交互性能指标体现其应用价值，而恢复与改善类系统则更适合采用基于前后对比的功效评价方法。
需要说明的是，本文所采用的评价指标主要来源于ISO 14971、ISO 9241-11、ICH E6、工程可靠性理论及相关统计学方法。其中，Cohen's Kappa、ICC、MTBF、CV、ITR、NASA-TLX、SUS等指标均采用已有研究或标准中的定义与计算方法；而部分稳定性、鲁棒性及综合安全性评价模型则是在现有文献基础上结合BCI工程应用特点构建的扩展性指标。本文给出的相关判定阈值主要参考现有BCI文献、人机交互评价标准及工程经验，其目的在于提高评价过程的可操作性和跨研究可比性，并不构成适用于所有BCI系统的统一标准。
04
第三方三盲评估范式及实施建议
前两章分别提出了BCI可操作性判别准则以及面向工程与转化应用场景的多维性能评价方法。然而，无论是BCI判别还是性能评价，其结果均可能受到评估主体知识背景、利益关系、既有认知以及预期结论等因素的影响，从而降低评价结果的客观性、一致性和可重复性。
为降低上述偏差，本文进一步提出一种第三方三盲评估范式。该范式并非针对具体评价指标的补充，而是作为贯穿BCI判别与性能评价全过程的实施机制，通过职责分离、信息隔离和独立评审等方式，对评估过程进行规范化管理，从而提高BCI判别与评价结果的可信度。以下将首先介绍该范式的设计思想与实现机制，并进一步说明其在BCI判别和性能评价中的具体应用流程。
4.1 第三方三盲评估范式
本文提出的“第三方三盲” 设计，区别于临床试验经典的受试者、研究者、统计分析者三盲模式[35]，而是一种针对BCI判别与性能评价场景构建的角色分离与信息盲化机制。其核心目标是在评估过程中降低系统身份、研发背景及预期结论等非技术因素对评估结果的影响。
在该范式中，“第三方”并非特指某一单一评估主体，而是指在组织结构和利益关系上独立于系统提供方的评估体系。该体系内部进一步划分为评估执行方以及结果汇总与仲裁方。二者在信息获取范围、评估任务和决策职责方面相互独立并保持必要的信息隔离。其中，评估执行方依据既定判别准则或评价指标独立完成测试与计算；结果汇总与仲裁方负责一致性分析、结果复核及争议仲裁。通过职责分离与信息隔离，可进一步降低利益相关、声誉效应及先验认知对评估结论的干扰。
基于上述原则，本文将第三方三盲评估范式定义为：由独立于系统提供方的评估体系完成BCI判别或性能评价，并通过标准化资料提交、系统身份去标识化、独立测试、结果匿名汇总及仲裁复核等环节，在系统身份、研发背景和预期性能三个层面同时实现盲化，从而降低评价偏差并提高评估结果的客观性和一致性。所提出评估范式涉及的三重盲化层面如表4所示。
4.2 基于第三方三盲评估范式的BCI判别流程与示例
为说明第三方三盲评估范式在BCI判别场景中的具体应用，本节结合第2章提出的可操作性BCI判别准则，构建基于第三方三盲评估范式的BCI判别流程，并通过典型BCI系统、非BCI系统以及争议性系统示例说明其应用方式。相关示例仅用于展示方法学流程，不构成对具体产品或技术路线的评价结论。
4.2.1 基于第三方三盲评估范式的BCI判别流程
在4.1节所述第三方三盲评估范式基础上，本文进一步将该范式应用于系统是否构成BCI的判别过程。其核心思想是在保持评估主体独立、信息隔离和职责分离的前提下，依据第2章提出的BCI可操作性判别准则，对待评估系统进行结构化判定。基于第三方三盲评估范式的BCI判别流程如图3所示。该流程明确了系统提供方、评估执行方以及结果汇总与仲裁方在判别过程中的职责分工、信息流转关系及盲化机制。
图3 基于第三方三盲评估范式的BCI判别流程: 系统提供方、评估执行方和结果汇总与仲裁方相互独立，通过信息隔离和职责分离完成系统是否构成BCI的判定过程
在该流程中，系统提供方不得披露任何可能影响判定的身份信息，包括系统名称、研发团队、所属机构、商业化阶段、市场定位以及宣称的应用价值等内容。系统提供方不参与具体判定工作，仅负责按照统一要求提交系统硬件、软件及相关技术资料。其中，各项准则与系统提供方需提交的信息对应关系如表5所示。
评估执行方在不掌握系统身份及研发背景信息的条件下，仅依据系统提供的事实性资料和第2章提出的BCI判别准则，对系统是否满足各项BCI判别条件进行独立分析和判定。评估执行方不得接触系统提供方关于系统性能、应用价值或市场宣传等信息，以避免先验认知对判定结果产生影响。
最后，结果汇总与仲裁方在不掌握系统身份信息的情况下对评估执行方的判定结果进行交叉对比分析和一致性判定，并对所有判定结果进行整合，形成最终评估结论。其中，交叉对比分析需要汇总判定结果（如“BCI”、“非BCI”、“争议性系统”），对不同判定人员在核心判别准则上的分析进行交叉对比，找出分歧点并分析其可能原因；一致性判定需要结合多名判定人员给出的结果，若大多数判定人员在关键判别准则上的结论一致，则可认定该系统为BCI或非BCI；如果判定人员在某些方面上存在较大分歧，则需要标记为“低一致性”并作为争议性系统处理，争议性系统的具体问题应在结论中详细说明，标明无法明确判定的关键因素，供后续研究或进一步评估参考。
通过这种信息隔离与角色分离的机制，第三方三盲评估范式确保了判定过程的科学性、客观性和可信度，为判别系统是否为BCI提供了可行性。
4.2.2 典型BCI判别示例
为说明第三方三盲评估范式在BCI判别中的具体应用，本节在4.2.1所述评估流程基础上，选取典型BCI系统、非BCI系统以及争议性系统作为示例进行分析。以下示例均假定按照第三方三盲评估范式组织评估过程，评估者仅依据系统提供的事实性资料和第2章提出的判别准则进行独立判断。
4.2.2.1符合判别准则的典型 BCI 系统示例
在第三方三盲评估范式下，以基于 EEG 的运动想象（Motor Imagery, MI）BCI 控制系统[36]为例进行分析。该类系统通常通过采集用户运动想象过程中产生的脑电活动，实时解码其运动意图，并将解码结果转换为对康复机器人、机械手或虚拟光标等外部设备的控制指令。
从判别准则角度分析，该系统以EEG作为主要输入信号，满足“以中枢神经系统信号作为主要输入”的要求；系统通过解码用户运动想象所对应的脑活动实现控制，满足“解码用户主动意图”的要求；系统能够实时响应脑信号变化并产生控制输出，满足“具备实时或准实时交互能力”的要求；其输出结果直接决定外部设备状态变化，满足“系统输出与用户中枢神经活动之间存在因果关系”的要求；同时，用户能够通过视觉、触觉等方式获得反馈，并据此调整后续脑活动，从而形成稳定的交互闭环。因此，该类系统满足本文提出的五项核心判别准则，可判定为典型BCI系统。表6列举了符合判别准则的其他若干典型BCI系统。
4.2.2.2不符合判别准则的非 BCI 系统示例
按照相同的第三方三盲评估流程，对仅用于脑信号采集和离线分析的系统进行分析。此类系统虽然采用EEG、MEG或其他中枢神经系统信号作为输入，并可能包含复杂的信号处理与模式识别过程，但其主要目的通常是科学研究、临床诊断或状态分析，而非实现用户与外部系统之间的实时交互。
从判别准则角度分析，该类系统能够满足“以中枢神经系统信号作为主要输入”的条件，但通常不具备实时或准实时交互能力，其分析结果不会直接驱动外部设备状态变化，也难以形成稳定的人机交互闭环。因此，其不满足实时交互、因果性输出以及交互闭环等关键判别条件。因此，该类系统应归类为脑信号检测或分析系统，而非BCI系统。表7列出了不属于BCI 的其他若干典型系统。
4.2.2.3争议性系统分析
在当前研究与应用实践中，还存在一类边界相对模糊的系统，例如情绪识别、疲劳监测、注意力评估及睡眠状态监测系统等。这类系统通常利用脑信号推断用户内部状态，并据此生成状态评估结果或辅助决策信息，因此在部分文献中被归类为被动BCI[37]（Passive BCI）。
从判别准则角度分析，该类系统通常满足“以中枢神经系统信号作为主要输入”的要求，但其核心功能往往并非解码用户主动意图，也不一定产生对外部系统的直接控制作用。此外，其输出结果通常用于状态监测或辅助决策，而非作为用户主动控制外部设备的控制指令，因此在人机交互闭环和因果控制关系方面与典型BCI系统存在明显差异。
由于不同研究者对于BCI边界的理解可能存在差异，因此该类系统容易产生不同判定结果。为避免简单归入BCI或非BCI两类，本文将其归类为“争议性系统”，并建议在评估报告中明确记录导致分歧的具体判别条件，以供后续进一步讨论和验证。表8列出了其他典型存在争议的系统。
4.2.3基于第三方三盲范式判别准则的一致性验证设计
上述典型案例分析主要用于说明本文所提可操作性判别准则及第三方三盲评估范式在不同类型系统中的应用方式。然而，案例分析本身并不能充分验证判别准则在不同评估主体之间的可重复性与一致性。为进一步验证所提判别准则的可操作性，未来可基于评分者间一致性分析（Inter-Rater Agreement Analysis， IRA）开展专门研究。
在该研究设计中，可选取若干具有代表性的系统案例，并按照统一模板提供与判定相关的事实性信息，包括输入信号类型、信号处理流程、输出形式、交互机制以及反馈方式等。为降低系统来源、研发背景及预期性能等因素对判定结果的影响，所有案例资料均应进行去标识化处理，并按照本文提出的第三方三盲评估范式进行组织。
不同评估者依据本文提出的五项判别准则，对各案例进行独立判断，并给出相应分类结果。在整个评估过程中，评估者仅接触与判定相关的事实性资料，而不掌握系统身份、研发背景及预期性能等信息，从而保证评估过程符合第三方三盲评估范式的基本要求。
在结果分析阶段，可采用 Cohen's kappa[22]、Fleiss' kappa[38]或组内相关系数（Intraclass Correlation Coefficient, ICC）[23]等统计指标，对不同评估者之间的一致程度进行量化分析。其中，Cohen's kappa适用于两名评估者之间的一致性评价，Fleiss' kappa适用于多名评估者情形，而ICC可用于评价连续评分或综合评分结果的一致性。一般认为，kappa或ICC大于0.75表示一致性良好，大于0.90则表明具有较高的一致性。
通过上述研究设计，可以从评分者间一致性的角度考察所提判别准则的可重复性、客观性及实际可操作性，并为后续开展多中心验证研究、完善判别准则以及优化第三方三盲评估范式提供依据。同时，该设计也为未来建立更加标准化的BCI判别流程提供了方法学参考。
4.3 基于第三方三盲评估范式的BCI性能评价流程与示例
第3章提出了面向工程与转化应用的BCI系统多维性能评价方法，并给出了相应的评价指标与参考判定标准。本节进一步结合第4.1节提出的第三方三盲评估范式，说明该评价方法在实际评估过程中的组织方式与实施流程。首先介绍基于第三方三盲评估范式的性能评价流程，随后以基于EEG运动想象的机械手控制BCI系统为例，展示从资料提交、数据获取到指标计算与结果判定的完整评价过程。
4.3.1 基于第三方三盲评估范式的BCI系统性能评价方法
仅建立评价指标体系并不能保证评价结果的客观性与一致性，在实际应用中，评价结果仍可能受到系统研发背景、预期性能以及评估主体主观认知等因素的影响。
为降低上述因素带来的潜在偏差，本文将第4.1节提出的第三方角色分离与三重盲化评估范式进一步应用于BCI系统性能评价过程，构建基于第三方三盲评估范式的性能评价流程，如图4所示。该流程通过角色分离、信息隔离和独立评价等机制，将第三方三盲思想贯穿于性能评价全过程，以提高评价结果的客观性、一致性和可重复性。
图4 基于第三方三盲评估范式的BCI系统性能评价流程
在性能评价过程中，各参与主体仍按照第4.1节所定义的职责分工开展工作。与BCI判别阶段不同，性能评价阶段需要系统提供方提交系统结构、实验设计、运行记录及安全记录等信息，并由评估执行方依据统一评价方案独立获取性能数据并计算评价指标。表9列出了性能评价过程中系统提供方需提交的主要资料。这些资料主要用于说明系统结构、实验设计、运行状态及安全情况，为后续性能评价提供必要依据。其中，原始数据、系统日志和运行记录主要作为评估参考资料，而涉及安全性、有效性、效率和用户满意度等指标的核心评价数据，原则上仍应由评估执行方依据统一测试方案独立获取，以保证评价结果的独立性和可验证性。
4.3.2 基于EEG运动想象机械手控制BCI系统的性能评价示例
为说明本文提出的BCI系统性能综合评价方法的具体应用过程，本节以一个基于EEG运动想象（Motor Imagery, MI）控制机械手的BCI系统为例进行说明。该系统通过采集用户运动想象脑电信号，识别左手或右手运动意图，并将识别结果转换为机械手控制指令，实现手功能障碍康复训练。
本示例采用模拟数据进行演示，其目的并非评价具体系统性能，而是展示从原始输入信息、性能数据获取、指标计算到结果判定的完整评价流程，以验证本文所提出评价方法的可操作性、可重复性及跨系统可比较性。
4.3.2.1输入信息与评价策略说明
根据第3.2节提出的结构化多角色盲评机制，系统提供方仅负责提交系统描述及原始运行数据，不参与具体评价过程。评估执行方依据统一协议独立开展性能测试。表10为基于EEG运动想象机械手控制BCI系统性能评价的模拟输入信息，表中信息均由系统提供方提交，仅作为性能评价的基础输入，不直接构成评价结果。
4.2.3.2评估执行方需获取的数据
在实际评测中，评估执行方应依据统一实验协议组织受试者完成规定任务，并独立采集任务完成情况、系统运行时间、NASA-TLX问卷及SUS/VAS评分等数据，并根据实验记录计算各项性能指标。本示例中评估执行方获得的数据如表11所示。
4.2.3.3系统性能具体评价
由表11中的数据分别对安全性、可靠性、稳定性等指标进行计算。
（1）安全性评价
根据生理安全、心理负荷和功能安全评分，分别得到Sphys=1，Spsych=2，Sfunc=1，代入式（1），根据第3.1节判定标准，1.0≤Srisk<1.5，因此该系统判定为低安全风险。
（2）可靠性评价
评估执行方计算得到Rel=0.87，由于Rel>0.80，故一致性达到高可靠性水平；进一步根据系统运行日志计算平均故障间隔，100/1=100min，说明系统在测试期间故障发生频率较低；综合ICC与MTBF结果，可判定系统具有较高可靠性。
（3）稳定性评价
（4）鲁棒性评价
（5）有效性评价
根据任务完成率公式计算得TCR=85%，由于TCR>80%，因此系统具有高有效性。
（6）效率评价
（7）用户满意度评价
评估执行方获得SUS=78，对应良好可用性水平。同时VAS=8，表明用户满意度较高，因此系统整体用户体验良好。
（8）功效
本系统为基于EEG运动想象控制机械手，可作为替代类BCI，功效可通过交互性能指标体现，无需额外量化评分。
（9）一致性分析与综合评价
根据上述各项指标计算结果，得到系统综合评价结果如表12所示。多个独立评估者根据以上示例对该系统性能进行评价之后，结果汇总方应收集各评估结果，采用 Cohen's kappa、Fleiss' kappa等统计指标，对不同评估者之间的一致程度进行量化分析。
4.4 实施考虑与工程应用建议
4.4.1 实施可行性分析
多方盲评的可行性取决于三个条件：第一，评估对象能否匿名化；第二，评价指标能否标准化；第三，评估结论对系统背景信息的依赖程度。对于本文所讨论的BCI判别任务而言，其核心依据是系统是否以中枢神经系统信号为主要输入、是否解码用户主动意图、是否产生因果性外部输出、是否具备实时或准实时交互能力以及是否构成交互闭环。这些判据主要依赖系统结构、输入输出关系和可观察功能行为，而不依赖系统提供方身份，因此具有较高匿名化可行性。
对于第3节BCI系统性能评价而言，准确率、信息传输率、响应时延、任务成功率、故障率、用户负荷、满意度量表等指标均可通过统一实验方案、统一数据模板和统一统计方法进行采集和计算，因此具备较强的标准化基础。但稳定性、鲁棒性、可靠性和长期使用情况等指标需要跨时间点、多场景或长期随访，因此实施成本高于一次性实验室测试。
4.4.2 实施路径
现实落地时，可由高校、医院、第三方检测机构、行业学会或标准化组织建立独立评估平台。系统提供方仅提交标准化技术资料和可测试系统；评估执行方按照预注册的测试方案完成BCI判别或性能测试；数据管理人员负责去标识化与数据封存；结果汇总与仲裁方仅接触匿名化结果和评估记录，负责一致性检验、争议仲裁和最终结论形成。对于低风险、非临床研究系统，可采用学术共同体内部的第三方评估；对于面向临床、康复、辅助控制或高风险人机交互的系统，则应纳入伦理审查、风险评估和必要的监管或行业认证流程。
4.4.3 评估主体与质量控制机制
为确保评估结果的专业性、一致性与客观性，有必要对评估主体的组成、准入条件及质量控制机制进行规范。
1) 评估主体的组成
本文的评估主体并非固定机构，而是根据评估任务临时或常设组建的独立评估与仲裁组织。其成员应包括BCI专业人员、神经工程或生物医学工程专家、信号处理与机器学习专家、临床或康复医学专家、实验方法学/生物统计专家、伦理与安全专家，以及必要时的用户代表或辅助技术专家。
2) 评估主体的准入条件
评估人员需具备脑机接口、神经工程、生物医学工程、临床康复、信号处理或人机交互等相关专业背景，并接受统一的评估流程培训。对于涉及人体测试、临床康复或侵入式设备的评价，评估人员还应具备相应伦理培训、临床研究规范培训或机构授权资质。
3) 评估主体的客观性保障机制
评估主体的客观性不依赖单个专家的主观中立声明，而应通过制度化机制保障，包括利益冲突声明、回避制度、评估方案预注册、标准化评分表、多人独立评分、评估者间一致性检验、原始数据留痕、仲裁记录归档和必要时的外部审计。
4）评估主体的能力评估机制
评估主体的能力可由组织单位或行业学会依据准入标准进行审查，包括专业背景、既往研究或检测经验、方法学培训记录、利益冲突情况和评估一致性表现。未来可进一步发展为类似实验室认可、检测机构资质认定或行业培训认证的制度，但在现阶段，本文仅将其作为推荐性实施条件，而非既有强制性资格制度。
4.4.4 实施成本分析
该范式的主要成本包括人力成本、时间成本和信息损失成本。人力成本来自多名独立评估人员、数据管理员和仲裁人员的配置；时间成本来自系统去标识化、重复测试、跨条件测试和仲裁复核；信息损失成本则来自对系统背景和研发目标的遮蔽，可能导致部分应用语境信息无法被充分利用。为平衡公平性与效率，本文建议采用分级实施策略：在概念判别和早期原型阶段，可采用轻量化第三方盲评；在跨系统比较、注册检验、临床转化或产业认证阶段，应采用完整的第三方三盲流程。
05
结束语与未来展望
本文围绕BCI判别与评价过程中的一致性、可操作性和客观性问题，提出了一套面向工程应用的方法学框架。该框架将 BCI 判别、性能评价与第三方三盲评估范式整合为一套完整流程。
需要指出的是，本文提出的判别准则、评价指标及参考阈值主要来源于现有文献、工程实践经验以及人机交互相关标准，该准则、评价指标及判定阈值的适用性与普适性，仍需结合更多 BCI 范式、用户群体与应用场景开展验证。同时，不同BCI系统在功能目标、应用需求及部署环境方面存在显著差异，各评价维度的重要性也可能有所不同，因此仍有必要根据具体场景开展指标权重优化与适应性调整研究。
未来研究可重点从以下几个方面推进：一是开展实证验证研究，对所提出的判别准则和评价体系进行进一步检验和完善；二是结合专家共识方法和数据驱动方法，构建更加客观的指标权重确定机制和综合评价模型；三是推动该框架与国际标准、监管要求以及行业规范的衔接，为BCI技术评价体系的标准化建设提供支撑。上述工作有望促进形成更加广泛认可的BCI评价规范和评价流程。
来源/参考链接：
Cheng tianjiao, Gou mingyang, Luo rongzhang, Zhao lei, Li Tianwen, Su lei, Xu jiaping & Fu yunfa. (2026). A Methodological Framework for Brain–Computer Interface Identification and Multidimensional Performance Evaluation under Conceptual and Categorical Generalization. Zenodo. https://doi.org/10.5281/zenodo.21703856
END
作者 | 昆明理工大学伏云发教授等人
运营 | 罗卜
审核 | @脑机学苑
脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：
宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。
资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。
成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。
活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。
其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。
合作洽谈，请联系微信：ZuoLeiLeiya
（备注：姓名-单位-合作）
投稿丨成为创作者，请联系微信：RoseBCI
🌟星标置顶🌟
不错过每一条脑机前沿进展
一键三连「分享」、「点赞」和「在看」
欢迎在评论区聊聊
