你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁

机器之心 2026-11-18 11:30
你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图1


随着 DeepSeek-R1 的出圈,强化学习尤其是 GRPO 已经作为大模型后训练的一种标准范式。然而,GRPO 并非完美无缺,近期的研究指出了它的两个明显缺陷:


  1. 能力边界没有拓宽(探索不足):GRPO 更多是在模型现有的能力圈子里做 “跷跷板” 游戏(探索与利用的权衡),甚至在大采样预算下(如 Pass@256),其表现反而低于基础模型。


  2. 不懂得 “因材施教”(难度不敏感):GRPO 的奖励机制忽略了题目的实际难度和模型当前的掌握程度,导致训练效率低下。


针对这一现状,近日来自香港大学的屈靓琼教授团队首次提出了一个统一的视角来解释这两大缺陷,并将其命名为 “隐式优势对称性(Implicit Advantage Symmetry)”。基于这一理论视角,团队提出了全新的算法 A-GRAE,在不增加额外计算成本的前提下,同时显著提升了模型的准确率(Pass@1)与探索能力(Pass@k)。论文获 NeurIPS 2026 录用,代码已开源。


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图2



一、研究动机:

GRPO 为何会陷入双重瓶颈?


在可验证奖励强化学习中,GRPO 会让模型针对同一道题生成多条回答,再由验证器打分。以二值奖励为例,答对得 1 分,答错得 0 分。组相对优势估计将每条回答的奖励减去组内均值,再除以标准差。一个简单的标准化步骤,同时决定了组内如何奖惩、题目之间如何分配学习信号。研究团队指出,这种组相对优势中隐藏着一种未被察觉的 “对称性”,这正是阻碍模型进一步进化的罪魁祸首。这种对称性体现在两个层面:


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图3

图 1:GRPO 中的双重隐式优势对称性问题。在组内级别,正负轨迹的优势权重相等,导致低概率正确路径的 logits 无法更新,阻碍探索;在样本级别,中等难度样本的绝对优势值之和最大,导致困难数据训练不足。



定理 1. 行为空间的 Logit 更新:假定 B 为模型所有可能生成的轨迹集合(包含已采样的集合 G 和未采样的集合 U)。令 C 为组内优势之和(在标准 GRAE 中,归一化使得 C=0)。在梯度下降下,任意一条轨迹的 Logit 更新量为:


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图4


其中 η 为学习率,你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图5为该轨迹是否属于采样集合 G 的指示函数,你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图6为模型生成该轨迹的当前概率。在标准 GRAE 中,优势归一化导致了零和对称(C=0)。这使得采样到的正确与错误轨迹被直接奖惩,而未采样的轨迹在行为空间中得不到直接更新,因此不能学习到未采样却正确的潜在新路径,抑制模型探索。



定理 2. 更新幅度与样本难度的关系:考虑针对一个查询(样本)的轨迹组 G,其二元奖励为你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图8。在组相对优势估计下,该组内绝对优势值的总和可推导为:


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图9


其中 p 表示该样本在组 G 内的经验成功率。定理 2 揭示了 GRAE 中固有的难度偏差:中等难度的样本主导了策略更新,而简单样本和困难样本在相同难度偏移下权重完全相同。然而,这种静态的方法忽略了训练过程中的动态分布偏移 — 即随着模型能力增强。简单样本在样本池中会日益占据主导。这种对称性导致模型在琐碎数据上过拟合,却牺牲了对高难度场景的学习,从而无法满足演化学习过程中对模型能力非平稳性的需求。


二、控制变量实验:

打破对称性会发生什么?


基于上述理论,团队设计了受控实验,强行在组级别和样本级别打破这种对称性,以观察其因果效应。


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图10

表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。


实验 I. 打破组级别对称:当刻意放大正确轨迹的权重时,模型遭遇了严重的 “熵坍缩”,大采样预算下表现垫底;反之,当压制正确轨迹的权重时,模型的探索能力被极大地激发,但训练后期容易引发崩溃。


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图11

图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。


实验 II. 打破样本级别对称:不存在普遍最优的静态难度加权策略,最佳策略取决于具体基准和训练阶段;实验证明,早期优先学习简单样本以掌握基础模式,后期转向困难样本以突破能力上限,这种 “由易到难” 的非平稳动态课程模式,比传统的静态固定策略或仅关注难题的方法能带来更高的学习效率。


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图12

图 3:使用 Qwen2.5-Math-7B 打破样本级别对称性的实验结果。我们重新缩放优势值,将学习焦点转向更困难的样本(Hard-Focused)或更简单的(Easy-Focused),以比较它们与 GRPO 及基模型的性能。性能评估采用 Pass@k 指标。最后一张图展示了训练集上批次内(within-batch)正确采样响应的数量。


小结(Takeaway):


  1. 压制正确路径的权重有助于探索,但过度压制会导致训练不稳定。因此,需要一种动态衰减机制。

  2. 简单样本在早期能帮助模型快速掌握推理格式,而困难样本在后期能突破性能上限。因此,需要一种从易到难的动态课程机制。


三、新的统一视角:

从优势对称性出发重新审视现有 RL 方法


这项研究最大的理论贡献之一,是提供了一个极具解释力的统一视角。在以往的研究中,针对 GRPO 的改进往往是 “割裂” 的,但从优势对称性出发,现有的各种方法其实都可以同一在这一框架下:



我们希望这一统计视角能够为未来的强化学习奖励设置或者优势构造方法提供借鉴意义,在设计过程中对照这一性质来避免潜在的边界缩减和样本利用效率不足问题。


四、A-GRAE:

简单而有效的非对称优势重塑方法


我们此前的分析揭示,GRPO 中固有的优势对称性削弱了模型的探索能力和难度适应能力。为了解决这些局限性,我们提出了非对称组相对优势估计(A-GRAE)框架,以动态调节探索激励和对样本难度的关注。为了实现这一目标,需要一个度量指标来量化训练状态;因此,我们引入了批次平均奖励(batch-wise mean reward)作为代理指标:


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图13


其中 B 表示批次中的轨迹总数,你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图14表示当前步的平均奖励,该值越高意味着模型在当前批次的能力越强。接着,我们在样本级别引入了一种动态的注意力偏移机制,随着训练的推进,让学习重心从简单样本过渡到困难样本:


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图15


其中 p 表示给定问题的采样成功率。随着模型能力的发展以及采样成功率的提高,分配给困难样本聚焦项(第一项)的权重会逐渐增加,而简单样本聚焦项(第二项)的对应权重则会减小,从而根据样本当前阶段能力动态地实现由易到难的自适应转变。


在组级别上,我们针对正确响应的优势值提出了一种衰减抑制策略(attenuation suppression strategy),该策略在早期阶段鼓励探索,同时在后期阶段保持稳定性:


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图16


这里 α>0 是一个缩放参数。


综上,一旦计算出了初始优势值,我们所提出的 A-GRAE 框架就可以无缝地整合到 GRPO 函数或其他 GRPO 变体中,即插即用。


五、实验验证:

准确率与多样性的双赢


研究团队在涵盖文本数学推理和多模态推理的 7 个主流基准上(包括 AIME2025, AMC23, MATH, Geo3K, MathVision 等)进行了广泛验证,使用了 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B 等基座模型。



你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图17

表 2:使用 Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。 加粗和下划线的数字分别表示在每个 k 值下的最佳和次佳结果。具体而言,我们在 AIME2025 和 AMC23 上进行了 16 次运行(实验),在其余基准测试上进行了 4 次运行。


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图18

表 3:使用 Qwen2.5-VL-3B 在多模态数据集上的准确率。 


六、结语


这项工作突破了”GRPO 天然缺乏探索能力” 的共识,并高屋建瓴地提供了一个统一视角,成功将强调多样性和提升准确率的两大研究流派统一在 “打破优势对称性 “的框架下。在此视角下提出的 A-GRAE,凭借极简的公式设计和无需增加额外算力的高效特性,在实际验证中展现出强大的有效性,为 RLVR 时代的算法优化提供了坚实的新基石。


更多理论推导、证明细节与完整实验数据,欢迎阅读原论文!代码已全面开源,欢迎社区交流探讨!


你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁图19


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com




关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
IP
more
PCIe 6.0 从 Triple Tap 到 Quadra Kill
NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进Agent大脑
曝英伟达董事会不考虑让黄仁勋回归/iPhone Duo新增人脸解锁/AI演员方桃子代言美瞳被罚款
刚刚,Anthropic 敲钟上市!史上最大 IPO 却让硅谷吵翻了
iPhone 20周年纪念款曝光,外观大变样
iPhone Duo 2 大概率还是没有 Face ID,侧边指纹要再用一年
智界获独立造车资质;董明珠称格力利润下降仍不用铝代铜;苹果施压供应商撤回声明iPhoneDuo铰链风波升级;华为鸿蒙7设备占比突破82%...
iPhone 18大砍,果粉破防了
Anthropic IPO定价83美元/股,投资者疯抢
苹果自家 App Store 终于适配 iPhone Duo,铰链屏裂事件又有新进展
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号