点击蓝字 关注我们
欢迎各位专家学者在公众号平台报道最新研究工作，荐稿请联系小编Robert（微信ID：BrainX007）；或将稿件发送至lgl010@vip.163.com。
英文标题：CogAdapt: Cognition-informed Sparse
成果简介
CogAdapt 提出了一种由人类认知信号引导的大模型稀疏微调框架。研究团队发现，人类阅读代码时的脑电（EEG）与眼动（Gaze）反应，与混合专家（MoE）模型内部的算力分配存在高度的空间与深度对齐；基于此，CogAdapt 将人类反应转化为“程序级难度”与“Token级注意力”先验，动态指导模型在微调时挑选出最需要更新的少数 Transformer 层（平均仅 6 层）。在 Qwen 和 GLM 两个代码基座上的实验表明，该方法在 LiveCodeBench 等基准上不仅刷新了 pass@1 成绩（分别提升 10.86 和 6.29 个百分点），还将可更新参数量大幅缩减了 86%~87%。这项工作证明了：人类的认知信号不仅能告诉模型“学什么”，更能精准指导模型“在哪里学”，为资源高效的大模型适配开辟了“碳基引导硅基”的新路径。
主要贡献
首次提出用人类认知信号指导大模型“在哪里微调”。现有参数高效微调（如 LoRA）主要由模型内部属性决定更新位置，缺乏外部认知引导。CogAdapt 将人类阅读代码时的 EEG 与眼动数据转化为可迁移先验，动态选择每个任务需要更新的 Transformer 层，推理时无需任何新的人类数据，为“认知引导的稀疏适配”开辟了新路径。
揭示了人类阅读行为与 MoE 模型计算的局部与深度对齐规律。在两种 MoE 架构和四类代码区域上，75.0%–83.3% 的区域呈现正相关；深度-时间热图进一步表明，这种对应关系是分布式、深度依赖且架构依赖的（Qwen 在表征变化与残差整合上对应更强，GLM 在路由置信度与专家贡献上对应更强），并不集中于某个固定层，从而为“任务依赖的块选择”提供了实证依据。
在显著减少可调参数的同时提升了代码生成性能。在 LiveCodeBench 上，CogAdapt 相比全块常规微调，Qwen 的 pass@1 提升 10.86 个百分点，GLM 提升 6.29 个百分点；同时梯度可及参数减少 86.21%–87.21%，训练时间与 GPU 能耗也同步下降。消融实验进一步证明，增益同时来自“认知先验引导学什么”和“任务依赖选择在哪学”，二者缺一不可。
方法
CogAdapt 的方法框架分为4个串联阶段，核心逻辑是“先用人类信号找规律，再把规律变成先验，最后用先验决定模型更新哪里”。整体框架如图1所示：
图1.CogAdapt框架
阶段1：人类 — 模型对齐分析。研究者在受控实验中采集被试阅读 Java 代码时的眼动（注视时长、回看、重访）和 EEG（0.5–40 Hz 滤波，重点关注 4–8 Hz theta 波），并将注视点映射到代码 token 上。同时，让 MoE 模型处理同一批代码，在每个 Transformer 块上提取五种计算信号：专家选择置信度、专家选择变化、隐状态位移、MoE 写入强度、残差更新强度。通过 Spearman 秩相关，计算人类信号与模型信号在相同代码区域和不同模型深度上的对应关系。
阶段2：构建可迁移的认知先验。CogAdapt 提取了两类先验：（1）程序级难度先验：用 Java 程序的八项静态结构特征（字符数、嵌套深度、控制流数量等）拟合人类 theta 反应，训练一个岭回归；再对下游 Python 任务提取对应特征，预测其“人类阅读难度分”，作为训练样本的权重；（2）Token 级注意力先验：将人类注视行为（停留、回看、重访）汇总为注意力分数，并通过语法角色和 AST 上下文进行跨语言匹配，把 Java 上的注意力转移到 Python 的对应 token 上。
阶段3：为每个任务选择适配块。 对每个训练任务，先用冻结的 MoE 模型跑一遍 prompt 和参考解，记录每个 Transformer 块的路由变化、隐状态变化和专家贡献强度；再结合阶段一得到的“模型特定深度先验”，给所有块打分排序。高难度任务分配稍多的块，低难度任务分配较少的块。这个块选择在微调前计算一次，训练中复用。
阶段4：认知引导的稀疏微调。 训练时，程序级 EEG 先验决定“整个样本的 loss 权重”，Token 级注意力先验决定“参考解中哪些 token 的 loss 权重更高”。同时，阶段三选出的块掩码限制梯度只更新这些块内的轻量注意力适配器和路由参数，预训练专家权重保持冻结。最终目标仍是标准的下一 token 预测，人类信号只改变“监督信息在样本和 token 上的分布”以及“梯度允许落在哪些块”。推理阶段无需人类信号。
研究结果
图2.不同代码类别下的人机对齐情况。 横轴将代码区域分为四种语义类别，纵轴显示落入各相关系数区间的区域百分比。灰色代表非正相关，蓝色越深代表正相关越强。四个面板分别对比了人类注意力或 EEG theta 波活动与 Qwen、GLM 模型计算信号之间的关系。可以看到，所有展示的代码类别中，75.0%～83.3% 的区域呈现出正相关，即人类反应越强的代码区域，模型内部的计算响应也越强。图中还标注了各组合的中位相关系数及 95% 重采样置信区间（如注意力–Qwen 为 0.240）。
图3.代码阅读过程中的人脑-模型对齐。 横轴为模型连续的 Transformer 层（从浅层到深层），纵轴为人类阅读时间（自下而上分为早期、中期、后期三个阶段）。颜色表示不同模型计算指标与人类 EEG theta 波活动在同样的 32 个程序上的相关性：红色代表正相关，蓝色代表负相关。可以看到，这种对应关系并非均匀分布，而是随模型深度和阅读阶段动态变化，且 Qwen 与 GLM 的对齐模式存在架构差异。
图4.Qwen 第 41 层上程序级人机对应的具体示例。 图中每个点代表 32 个程序中的一个。左侧面板显示，在模型中引发更大隐状态变化的程序，往往也需要人类花费更长的阅读时间；中间面板表明，阅读时间越长，EEG theta 活动越强；右侧面板则直接展示了模型隐状态变化与 EEG theta 活动之间的正相关关系。
表1.基线方法、CogAdapt 消融实验与完整方法的 Pass@1（%）对比。 其中 Rand-K6 报告的是在三个固定随机六块掩码下运行的平均值 ± 标准差。加粗表示该设置下的最佳结果。
表 2.任务依赖型稀疏适配的训练侧效率对比。（表中通常包含平均选中的块数、可更新参数量、参数缩减比例，以及训练时间和 GPU 能耗等指标，用于说明 CogAdapt 在保持性能的同时大幅降低了训练开销。）
研究结论
CogAdapt 的实验结果给了我们一个很实在的启发：人类怎么读代码，其实能指导 AI 怎么学代码。在 Qwen 和 GLM 两个 MoE 基座上，CogAdapt 在 LiveCodeBench 上分别取得了 10.86 和 6.29 个百分点的提升，但代价极低——每个任务平均只需要更新 6 个 Transformer 块，可调参数直接砍掉了 86% 以上。消融实验也证实了这并非偶然：无论是把块全部更新（All-Block），还是随机挑块（Rand-K6），甚至完全抛开人类信号（Model-Only），性能都会明显回落。这说明，“认知先验”和“稀疏选择”是一套组合拳，缺一不可。更有意思的是背后的规律：人类在阅读时感到吃力、脑电反应强烈的地方，往往也是模型内部计算最活跃、路由切换最频繁的地方。而且这种“人机同频”在模型深度上是分布的、随架构变化的——并不存在某一个万能的“黄金层”。从这个角度看，CogAdapt 提供的不只是一个代码生成的提效工具，更是一种新的微调方法：与其让模型在所有参数上均匀发力，不如用人类的认知信号去告诉它——“哪里最值得学”。这个思路，对于同样依赖生理信号对齐的情感计算和脑机接口领域来说，或许是一条值得尝试的新路径。
免责声明：原创仅代表原创编译，水平有限，仅供学术交流，如有侵权，请联系删除，文献解读如有疏漏之处，我们深表歉意。
公众号丨智能传感与脑机接口
