你有没有在追剧时发现，自己不仅在看画面，还在"听"出画面？这背后是什么机制呢？
实际上，人类对真实世界的感知往往来自视觉与听觉的同步融合。那一个关键问题是：能否从视觉和听觉感知过程中根据不同的信号重建自然动态视频？
复旦大学大数据学院付彦伟教授团队的一项研究成果《CineBrain: A Large-Scale Multi-Modal Brain Dataset During Naturalistic Audiovisual Narrative Processing》入选 CVPR 2026 Oral和Best Paper Award Candidate，同时入选CVPR Daily杂志封面论文。
该项成果首次实现了从同步fMRI与EEG信号中重建连续动态视频。他们不仅证明大脑是一个天然的"多模态融合引擎"，还发现了一个反直觉的现象：听觉皮层的激活能显著提高视觉重建的准确率。
换句话说，你"听"得越清楚，AI就越能猜中你"看"到了什么。
图1 CineBrain数据集同步采集fMRI与EEG
传统神经解码的盲区：无声的"读心术"
过去十年，科学家在"读心"这件事上取得了惊人进展。从fMRI信号重建静态图像，到从EEG波形还原动态视频，神经解码（Neural Decoding）似乎正在一步步逼近科幻。
但现有研究存在一个巨大的盲区：它们大多只关注单一模态——要么只用fMRI，要么只用EEG；而且刺激材料也往往是纯视觉的，完全忽略了声音。
这带来两个致命缺陷。
首先，fMRI拥有毫米级的空间分辨率，能精确定位视觉皮层哪块区域在活跃，但血氧信号（BOLD）的反应慢得像快递物流，通常滞后数秒；EEG能捕捉毫秒级的电生理波动，但空间分辨率低，就像在一公里外听演唱会，知道有人在唱歌，却分不清台上是谁。只用其中任何一种，都像是试图用单眼看3D电影——信息永远缺了一维。
其次，人类的感知从来就不是"静音播放"。声音会强烈调制视觉处理，影响你的注意、情绪和对场景的理解。经典的McGurk效应早已证明：当听觉"ba"与视觉"ga"同时出现时，你甚至会感知到一个从未存在的"da"。如果忽略听觉输入，任何试图从大脑还原视觉体验的尝试，都注定是一场"无声电影"式的残缺重播。
CineBrain：在磁共振里追了六小时剧
为了填补这一空白，研究团队招募了6名健康被试（2男4女，年龄21–26岁），让他们在3T磁共振仪内观看总计约6小时的《生活大爆炸》剧集。这不是随机选择：叙事驱动的内容能天然维持注意力，并诱发复杂的脑动态。
实验采用定制的非磁性EEG帽和耳机，在采集高分辨率全脑fMRI（2 mm各向同性，TR = 800 ms）的同时，以1000 Hz采样率记录64通道EEG信号，并同步采集心电（ECG）。
最终数据集包含约162,000帧fMRI数据、2,160分钟EEG记录，以及对应的540分钟视频和音频刺激。每个被试观看20集，每集18分钟，视频被切分为4秒片段用于训练与测试。这是首个在自然视听叙事条件下同步记录fMRI与EEG的大规模数据集。
图2 不同被试的fMRI与EEG响应可视化
CineSync：让左右脑"各说各话"，再汇总成交
但数据只是起点，真正的挑战在于如何"翻译"这些信号。研究团队提出了CineSync，一个专为多模态脑信号设计的视频重建框架。
CineSync的核心是一个双Transformer融合编码器（Multi-Modal Fusion Encoder, MFE）。研究团队系统比较了五种融合策略——从简单的特征拼接，到交叉注意力，再到独立编码后融合。实验结果揭示了一个关键洞察：fMRI与EEG的表征差异极大，过早的深度融合反而会互相干扰。就像把古典乐和电子乐强行混音，可能两败俱伤。
因此，MFE让fMRI和EEG各自通过独立的Transformer进行编码，仅在最后阶段通过融合MLP汇聚信息。为了打通"脑信号"与"视频语义"的鸿沟，团队引入了多级对比学习（Multi-level Contrastive Learning）：fMRI和EEG的类别标记（class token）不仅要与视频嵌入对齐，还要与文本描述对齐，甚至彼此之间也要对齐。这种"三角对齐"策略确保脑表征锚定在人类可理解的语义空间。
图3 五种多模态编码器架构对比
解码部分则采用了神经潜在解码器（Neuro Latent Decoder, NLD），基于CogVideoX-5B扩散模型，并通过LoRA微调。融合后的脑特征zb替代了原本的文字提示，注入去噪过程，将随机噪声逐步转化为480 × 720的连续视频帧。
最令人意外的发现：听觉皮层在"帮"视觉皮层作弊
最令人意外的结果出现在消融实验中。当研究团队仅在fMRI输入中加入听觉相关脑区（Auditory ROIs）——包括A1、STGa、STS等听觉与多感官整合区——同时保留全部EEG数据时，重建质量出现了显著提升。
这个被称为CineSync*的变体，在50-way语义准确率上达到了0.336，FVD（Fréchet Video Distance）降至44.77，均优于仅使用视觉脑区的版本。
这意味着什么？你的大脑在"看"电视剧时，听觉皮层并不是在旁观的吃瓜群众，而是在积极参与视觉场景的构建。
声音提供了时间线索、空间线索和语义上下文，帮助视觉系统更精准地预测下一帧画面。当AI在解码你的脑信号时，这些听觉区域的激活就像额外的"提示词"，让重建的视频不仅在像素上更接近真实，在语义上也更连贯。
图4 实验所选视觉与听觉脑区
从个体一致性到跨被试泛化
研究团队还展示了CineSync强大的跨被试泛化能力。面对相同刺激时，不同被试重建出的视频帧在语义内容上高度一致——尽管每个人的脑激活模式存在个体差异。这表明CineBrain数据集具有极高的信噪比和跨模态对齐质量。
为什么融合fMRI与EEG如此有效？这背后是一种时空互补的物理现实。fMRI告诉你"哪些脑区在亮"，EEG告诉你"什么时候在亮"。
当Sheldon在屏幕上突然提高音量，EEG能在毫秒级捕捉到听觉皮层的诱发电位，而fMRI则揭示了这种声音变化如何同步调制了腹侧视觉流（Ventral Visual Stream）的激活强度。CineSync正是利用了这种"快与慢"的协奏，才得以重建出时间连贯、语义准确的动态影像。
图5 CineSync与基线方法的重建质量对比
下一代脑机接口需要"多模态思维"
这项研究对AI和脑机接口（BCI）领域有直接的工程启示。当前大多数AI视觉系统本质上仍是"单模态被动感知"：摄像头收集光子，麦克风收集声波，两者在算法层面后期拼接。
但CineBrain揭示的生物现实是：感知在神经层面就已经是多模态融合的了。如果未来的脑机接口或具身智能系统想要真正"读懂"人类意图，它们必须学会同时处理并整合多种感官信号。
图6 CineSync框架总览
CineBrain不仅支持视频重建，还为听觉解码、EEG-to-fMRI跨模态翻译、以及刺激-脑响应建模等下游任务提供了基准。想象一下，未来一个瘫痪患者只需观看一部电影，非侵入式的脑信号采集设备就能同时读取他的视觉与听觉体验，甚至重建出他脑海中"看到"和"听到"的世界。
更深层的认知启示在于，这项研究再次挑战了"大脑是被动信息处理器"的传统观点。大脑不是一台等待输入的摄像机，而是一个主动的多模态预测机器。视觉与听觉的边界在皮层深处是模糊的，它们共同编织出我们称之为"现实"的连贯叙事。正如这项研究所暗示的：要解码人类的感知，你必须先承认——我们从来都不是用眼睛在看，而是用整个大脑在体验。
参考：https://arxiv.org/abs/2503.06940
脑机接口社区是国内首家脑机接口(BCI)产业服务平台。主要为企业、科研团队、投资机构和从业者提供以下服务：
宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。
资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。
成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。
活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。
其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。
合作洽谈，请联系微信：ZuoLeiLeiya
（备注：姓名-单位-合作）
投稿丨成为创作者，请联系微信：RoseBCI
🌟星标置顶🌟
不错过每一条脑机前沿进展
一键三连「分享」、「点赞」和「在看」
欢迎在评论区聊聊
