近期，国际学术期刊Advanced Science在线发表了吴凯教授团队创新研究成果，论文题为“BrainFusion:A Low-Code, Reproducible, and Deployable Software Framework for Multimodal Brain‒Computer Interface and Brain‒Body Interaction Research”。华南理工大学为论文的第一署名单位，学院2024级生物医学工程专业博士生李文豪为论文的第一作者，吴凯教授为论文的通讯作者。
传统脑机接口研究主要依赖单一脑电信号（EEG），但在复杂应用场景中易受噪声干扰且信息维度受限。近年来，融合EEG、近红外（fNIRS）、心电（ECG）及肌电（EMG）等多模态生理信号的研究逐渐成为趋势，但面临数据异构性显著、跨模态分析流程碎片化、算法部署门槛高等关键瓶颈。
针对这一挑战，吴凯教授团队提出了一种标准化、低代码、可部署的软件框架BrainFusion（图1）。该框架通过构建多模态数据容器，实现EEG、fNIRS、ECG和EMG信号的自动化预处理与动态耦合分析，并创新性集成神经血管耦合（NVC）、心脑交互（HBI）、皮质肌肉相干性（CMC）等跨模态分析模块，为探索脑与躯体系统的复杂交互机制提供了统一平台（图2）。
图1 BrainFusion的主要功能和特点
图 2. BrainFusion 的多模态生理信号处理工作流程。脑电图、fNIRS、肌电图和心电图等信号的原始数据被组织在一个标准化的数据容器中。信号经过特定模态预处理，然后通过时域 (TDA)、频域 (FDA) 和时频 (TFDA) 分析以及网络和非线性方法在多个分析域进行特征提取。 通过多模态动态耦合分析引擎 (MDCAE)，NVC、CMC 和 HBI 等动态耦合指标得以计算和可视化。
系列研究进展
研究团队进一步攻克了多模态分析对编程能力依赖高的技术壁垒，开发了“拖拽式”可视化工作流设计系统。用户可通过图形化界面自由组合数据预处理、特征提取、机器学习建模等模块（图3），系统底层通过有向无环图（DAG）规则自动校验节点逻辑，显著降低了多模态信号分析的技术门槛。尤为重要的是，BrainFusion首创“应用生成器”功能，支持将验证后的算法封装为独立可执行程序（.exe），配备图形化界面实现数据导入、结果可视化与历史记录管理，为实验室成果向临床转化提供了“一键式”解决方案。
图 3. BrainFusion 三个主要功能模块。 (A) 一键式工作流设计器包括用于拖放工作流配置的用户界面层、用于确保符合 DAG 结构和节点连接验证的连接层，以及由模块化功能节点组成的执行层。 (B) 机器学习扩展框架支持基于 AutoML 的传统模型选择、深度学习基准测试以及通过外部模型接口集成用户自定义模型。 (C) 应用程序生成器可将工作流转换为带有图形用户界面的独立可执行应用程序，从而实现快速部署和演示。
在应用验证中，BrainFusion展现出卓越性能。通过融合EEG与近红外信号的运动想象分类任务，研究团队在29名受试者中实现95.5%的被试内分类准确率，较单一模态提升超30%；在睡眠分期分析中，基于EEG与心电信号的深度学习模型准确率达80.2%，并通过内置“应用生成器”快速部署为可执行临床工具（图4），为睡眠障碍实时监测提供新路径。这些案例证实了该框架在快速复现以及加速科研转化方面的价值。
图 4. 睡眠分期分类结果及生成的应用。 (A) 四种深度学习模型在 HMC 数据集上的性能比较，显示了总体准确率、宏观平均 F1 分数（mF1）和各睡眠阶段（Wake、N1、N2、N3、REM）的单个 F1 分数的平均值 ± 标准差（SD）。 所有指标均为 5 倍交叉验证的平均值。 误差条表示平均值的一个 SD 值。 (B) 生成的应用原型的用户界面，支持睡眠阶段预测、概率得分可视化和历史推理跟踪。
BrainFusion的研发源于团队对脑科学领域技术痛点的深刻洞察。当前，临床场景亟需兼顾多维度生理信息解读与易用性的解决方案，而现有工具多局限于单一模态或依赖复杂编程。团队通过将前沿算法封装为可视化模块，既满足了科研探索的灵活性需求，又为医生、康复师等非技术背景用户提供了“开箱即用”的支持。目前，团队正与多家医院合作推进该框架在卒中康复、情绪障碍评估等场景的临床应用，并计划扩展呼吸、皮肤电等新模态支持，进一步深化对脑体交互机制的解析。
特别鸣谢：吴凯教授课题组
来源：华南理工生物医学科学与工程学院
仅用于学术分享，若侵权请留言，即时删侵！
加入社群
欢迎加入脑机接口社区交流群，
探讨脑机接口领域话题，实时跟踪脑机接口前沿。
加微信群：
添加微信:RoseBCI【备注：姓名+行业/专业】。
加QQ群：913607986
欢迎来稿
1.欢迎来稿。投稿咨询，请联系微信：RoseBCI
点击投稿：脑机接口社区学术新闻投稿指南
2.加入社区成为兼职创作者，请联系微信：RoseBCI
一键三连「分享」、「点赞」和「在看」
不错过每一条脑机前沿进展
