论文链接：https://arxiv.org/pdf/2508.10298
代码链接：https://github.com/MichaelMaiii/SynBrain
本研究由上海人工智能实验室、香港大学、香港中文大学等机构的科研人员联合完成，发表于NeurIPS 2025《SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning》。论文第一作者为麦伟健（Weijian Mai），现为香港大学一年级博士生，师从香港大学助理教授罗逸飞（Andrew F. Luo）。该工作完成于其在上海人工智能实验室实习期间，通讯作者为伍佳敏（Jiamin Wu）。
视觉刺激与大脑神经响应间的映射，是计算神经科学领域的核心难题。该映射本质上呈现显著的一对多特性—— 相同的视觉输入在不同实验试次、不同受试者身上，往往会诱发存在明显差异的脑响应，但这些响应必须始终保留编码视觉刺激信息的功能一致性。传统视觉到功能性磁共振成像（fMRI）信号的合成方法，大多依赖确定性建模策略，这类方法要么难以捕捉脑响应的固有变异性，要么无法兼顾响应信号的语义一致性；加之跨受试者适配时需依赖海量扫描数据，严重制约了其在神经解码、脑机接口等实际场景中的落地应用。
为突破这一困境，研究团队提出SynBrain，一种基于概率表征学习的生成框架，以生物可解释的方式实现视觉语义到神经响应的精准转化。该框架通过创新的概率建模组件和语义映射模块，不仅在特定被试的 fMRI 合成任务中超越现有 SOTA 方法，还能通过少量数据快速适配新被试，合成的高质量 fMRI 信号更可有效提升数据有限场景下的脑解码性能。
01
背景和创新
功能性磁共振成像（fMRI）凭借其高空间分辨率的显著优势，已成为脑编码研究中的主流技术手段。通过构建视觉刺激到fMRI 信号的映射模型，不仅能够助力科研人员深入解析人类视觉感知的内在神经机制，更为神经解码、脑机接口等一系列下游领域的技术落地提供了核心支撑。然而，当前主流的视觉到fMRI 合成方法仍面临三大核心瓶颈：
（1）确定性建模的固有局限：无论是传统回归模型，还是基于自编码器的生成模型（如MindSimulator），均只能输出单一固定的神经响应结果。这种建模方式会将真实脑活动的多样化特征压缩为单一平均响应，导致生理噪声、注意力波动等因素带来的固有神经变异性被完全丢失；
（2）功能一致的变异性缺失：现有模型难以实现“模式可变而语义一致”的fMRI 响应生成，无法兼顾脑活动的自然变异与刺激信息编码的语义一致性；
（3）跨被试迁移能力薄弱：模型适配新被试时，往往需要依赖大量的脑扫描数据进行重新训练；同时，其生成的合成信号难以作为有效数据增强源，无法满足临床等数据稀缺场景的实际应用需求。
针对上述核心瓶颈，SynBrain 创新性地提出了一套全新的概率化建模范式。其核心突破在于，将 fMRI 响应建模为语义条件约束下的连续概率分布，彻底摒弃了传统方法单一确定性输出的固有思路。该框架通过两大核心组件的协同运作实现高效建模：其一为 BrainVAE 模块，能够在精准捕捉神经变异性的同时，严格保留脑活动编码的功能一致性；其二是语义到神经映射器（S2N Mapper），可完成视觉语义到神经表征的高效且精准映射。这一创新设计不仅从根本上解决了确定性模型的固有缺陷，还显著提升了模型的跨被试适配能力，进一步拓展了其在下游场景中的应用价值。
02
方法细节
（一）核心思想：概率建模 + 语义对齐，破解一对多映射难题
SynBrain 的核心思路是将视觉到 fMRI 的合成任务转化为语义条件下的概率分布学习问题。对任意视觉刺激，大脑的神经响应并非唯一解，而是服从特定概率分布的随机变量。模型的训练目标就是学习这一分布的特征 —— 既要涵盖不同试次带来的合理变异性，又要确保分布的核心语义与视觉刺激高度对齐。
在此基础上，SynBrain 将任务拆解为两步：先通过 BrainVAE 学习 fMRI 响应的语义约束概率潜空间，再通过 S2N Mapper 搭建视觉语义与该潜空间的桥梁，最终实现一步式、高保真的 fMRI 合成。
（二）架构设计：两大核心组件，兼顾性能与可解释性
SynBrain 以两大核心组件为功能核心，辅以一个视觉特征提取模块，三者协同运作，完整实现从视觉刺激到 fMRI 信号的合成：
1）冻结的视觉特征提取器：采用预训练的 OpenCLIP ViT - bigG/14 模型，将输入图像编码为结构化的视觉语义嵌入，为后续映射提供稳定的语义基础；
2）BrainVAE 模块：作为概率建模的核心，采用卷积 + 注意力的编码器 - 解码器架构。编码器将真实 fMRI 信号映射为含均值和对数方差的后验分布，通过重参数化技巧采样得到潜向量；解码器则从潜向量重构 fMRI 信号。该模块通过 MSE 损失、KL 散度损失和 CLIP 对比损失的复合目标函数，确保合成信号的体素级保真度、潜空间平滑性和语义一致性；
3）S2N Mapper 模块：基于 Transformer 构建的轻量级语义映射模块，实现视觉嵌入到BrainVAE 潜空间的一步式映射。该模块通过非线性变换将 CLIP 嵌入精准投射到神经潜空间，避免了迭代去噪过程，既提升了合成效率，又消除了训练与推理阶段的分布Gap。
03
实验结果
SynBrain 在大规模公开数据集 Natural Scenes Dataset（NSD）上完成全面评估，从体素级保真度、语义一致性、跨被试适配能力、数据增强能力等多维度验证性能优势。
1）特定受试者场景下功能一致性fMRI 生成性能：SynBrain可模拟大脑神经变异性，生成细节有差异但语义一致的多个fMRI 信号。这让模型仅单次采样就远超现有模型性能，且无需任何后处理。值得关注的是，合成 fMRI 信号的图像检索准确率达 92.5%，较原始fMRI 信号的84.8% 实现显著提升，证明其对语义关键信息的高效提炼能力。
2）少样本跨被试适配能力：SynBrain仅使用 1 小时新被试数据进行适配，就达到了稳定且优异的语义一致性。即便原始 fMRI 的图像检索准确率骤降至 13.2% - 19.5%，合成信号的检索准确率仍高达 54.8% - 76.5%，凸显其跨个体泛化的核心优势。
3）合成数据提升下游解码性能：SynBrain生成的 fMRI 信号用于数据增强，可显著改善少样本场景下的 fMRI-to-Image 解码效果。在仅含 1 小时真实数据的训练中，加入1 小时合成数据后，MindEye2 模型的语义层次指标全面提升，验证了合成信号的真实和实用价值。
4）脑功能分析验证生物可解释性：SynBrain能够有效学习跨试次高变异性下的功能一致性，所生成的脑区激活模式与视觉刺激保持高度语义一致。在少样本跨被试适配场景下，模型输出的激活图与全样本训练模型的结果达成高度吻合，这一量化匹配结果直接证明其成功捕捉到视觉皮层的核心功能组织规律，凸显了模型在生物学层面的可靠解释性。
04
结语
SynBrain 创新性地将概率表征学习引入视觉到 fMRI 合成领域，通过 BrainVAE 与 S2N Mapper 的协同设计，成功破解了神经响应 “一对多映射” 的核心难题，实现了变异性与语义一致性的完美平衡。该框架不仅在各项量化指标上超越现有 SOTA 方法，还具备高效的跨被试适配能力和可靠的生物可解释性，为计算神经科学研究提供了全新工具。
未来，SynBrain 的概率建模范式可进一步拓展至其他神经模态和脑区，在脑机接口、临床神经康复等领域展现出巨大应用潜力。随着技术的完善，其有望大幅降低个体化脑模型的构建成本，推动神经科学研究从实验室走向实际应用。
