

随着非侵入式脑机接口的快速发展,脑电(EEG)数据量的指数上升,然而,各研究者在数据处理、下游任务定义、数据划分方面,都各不相同。这限制了各模型间、研究间的可比性,特别是对于高数据需求的脑电基础模型(EEG FMs)。
这种差异常常来自一些看似细小、实际会改变实验结果的决定:哪些事件算作 trial,窗口从哪里开始,标签取自 annotation、MISC 通道还是文件级信息,以及论文描述如何与原始文件对应。如果这些决定没有写清楚,模型结果就很难在同一口径下复现和比较。
01
数据公开了 任务为什么还会对不上
BIDS 和 EEG-BIDS 已经很好地解决了文件组织与元数据描述问题,MOABB、EEGUnity 等工具也让公共 EEG 数据更容易加载和处理。再往下一步,研究者仍要把实验范式翻译成可以训练和评估的任务。任务信息通常分散在数据论文、补充材料、事件表和代码里;event id 往往需要结合原始文件核对,受试者级标签可能藏在单独的表格中,连续记录还需要明确窗口长度和重叠方式。
直接把所有数据重新整理后集中发布,也很难覆盖这类问题。EEG 数据涉及参与者同意、隐私规定和仓库条款,不同数据集的再分发条件并不相同。因此,我们保留数据的原始存放方式,重点共享任务定义和执行逻辑。

项目愿景 从异构 EEG 数据到可复用的 benchmark entry
02
每个任务定义都要对应可执行代码
我们的做法是为每个数据集建立一个 benchmark entry,其中同时包含 Task Document 和 dataset-specific Task Kernel。两者描述的是同一个任务,但服务于不同环节。

Task Document 负责把任务讲清楚。它记录实验范式、文件扫描结果、窗口和标签的来源、数据质量问题以及支持这些判断的证据。
Task Kernel 负责把任务跑出来。它处理数据集特有的事件、通道或文件信息,再把样本和标签交给统一的下游流程。例如,Document 如果定义了四分类运动想象,Kernel 产生的标签就要与这一定义一致。
Rulebook 负责让两者保持一致。它规定任务字段如何填写、证据不足时如何处理、哪些扫描结果需要保留,以及 entry 可以进入哪些审核状态。NeuroDoc 根据本地数据证据和相关资料准备初稿并生成 Kernel,NeuroAudit 支持后续审核和修订。LLM 可以协助整理材料,但 entry 是否通过仍取决于人工审核和可执行一致性。

NeuroDoc 生成流程 从证据整理到 Task Kernel
03
审核条目怎样进入实际实验
语料规模
论文的定量分析纳入了 53 个 completed and reviewed entries,共包含 245 个任务定义,覆盖运动、认知、感觉、睡眠和临床等场景。数据库中另有约 200 份草稿或未审核文档,它们仍在持续修订,目前不与已审核条目按同一标准使用。
执行验证
我们使用 BENDR、CBraMod、CodeBrain 和 LaBraM 四个 EEG 基础模型骨干进行了 266 次运行,覆盖 18 个数据集、37 个 benchmark tasks、六类任务,以及 cross-subject 和 within-subject 两种设置。验证的重点是同一份任务规范能否被不同模型调用,并稳定产生可核对的任务级结果。
结果中,within-subject 的整体表现高于 cross-subject,平均差距为 12.6 个百分点;类别数增加时,macro-F1 总体呈下降趋势。这些现象与任务难度的预期变化一致,也说明 Document 与 Kernel 的配对能够进入实际训练和评估流程。

四个 EEG 基础模型的执行验证 覆盖范围与主要结果
任务规范层把原本分散在论文、文件和代码中的任务决定放到同一处,方便检查、执行和修订。它补充的是任务层,并不替代已有的数据标准。现有的任务描述语言和 rulebook 仍会随着新的任务类型、标签来源和目标格式继续扩展;LLM 辅助构建节省了多少工作、又增加了哪些审核成本,也需要进一步评估。
我们已将数据工具 NeuroDoc 整理于公开平台 neurodoc.eeg.fm,可在网站了解更多工具详情。同时,我们也同步开源了23个数据集、57个下游任务的“标准化、带标注的”下游文件,并配套完整数据接口,供研究者进行模型评测,或进行更多其他研究。

NeuroDoc 工具包页面
题目:EEG Benchmarking Needs a Task Specification Layer: NeuroDoc for Rulebook-Guided, Executable Benchmark Construction
作者:Chengxuan Qin, Zhige Chen, Shu Peng, Rui Yang, Jiping Cui, Yikai Dong, Jun Li, Liu Peng, Zhida Shang, Mingze Tang, Kay Chen Tan, Jibin Wu
论文地址(点击阅读原文):https://arxiv.org/pdf/2606.22925
标准化数据工具包:https://neurodoc.eeg.fm

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务:
宣传报道:图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容,提升曝光和行业影响力。
资源对接:根据需求匹配资本、供应链、临床机构、渠道方等资源,完成真实对接,促进合作。
成果转化:协助技术团队寻找产业方、投资人及落地场景,推动技术到产品的转化。
活动策划执行:承接线上线下路演、沙龙、论坛等活动的策划与执行。
其他定制需求:包括报告定制、市场调研、人才招聘支持等个性化服务。
合作洽谈,请联系微信:ZuoLeiLeiya
(备注:姓名-单位-合作)
投稿丨成为创作者,请联系微信:RoseBCI

🌟星标置顶🌟
不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」
欢迎在评论区聊聊