全球顶会 ICML 2025 即将在加拿大温哥华当地时间 7月13日到19日召开，今年的 Oral 论文又将引领哪些技术风向？小编用 AI 爆肝一周整理了全部 120 篇 Oral 论文的核心内容，覆盖 AI 生成、大型语言模型、AI for Science、理论与基础、多模态、强化学习、模型应用、AI 安全伦理与社会等领域。无论你是科研人员、工程师还是AI爱好者，这篇超长干货都将为你提供最前沿的洞见。让我们一起潜入这场学术盛宴，探索AI的未来！🚀
Oral 论文列表：
https://icml.cc/virtual/2025/events/oral
(1) AI“刻意练习”：合成数据缩放定律的新篇章
论文类别：AI生成 (AI Generation)
论文英文标题：
Improving the Scaling Laws of Synthetic Data with Deliberate Practice
论文链接：
https://icml.cc/virtual/2025/poster/46689
简要介绍：
由 Mila 和 McGill University 等机构的研究人员提出了用于合成数据生成的“刻意练习”（Deliberate Practice, DP）框架。该工作受人类学习中刻意练习原则的启发，通过动态生成合成数据来提升模型训练的样本效率。通过利用学习器的预测熵来指导生成过程，该方法只生成最具挑战性和信息量的训练样本，从而显著改善了合成数据的扩展定律，并以更少的数据和训练迭代次数超越了现有方法。
核心图片：
(2) 归一化流的复兴：TARFLOW 挑战扩散模型
论文类别：AI生成 (AI Generation)
论文英文标题：
Normalizing Flows are Capable Generative Models
论文链接：
https://icml.cc/virtual/2025/poster/46564
简要介绍：
由 Apple 等机构提出了 TARFLOW，一个简单且可扩展的 Transformer 自回归流（Transformer AutoRegressive Flow）架构。该工作展示了归一化流（Normalizing Flows）作为生成模型的强大潜力，首次通过独立的 NF 模型生成了与扩散模型相媲美的、兼具质量与多样性的高质量图像样本，并在图像似然估计方面取得了新的SOTA成果。
核心图片：
(3) 不再局限于短语音：SpeechSSM 实现16分钟超长语音生成
论文类别：AI生成 (AI Generation)
论文英文标题：
Long-Form Speech Generation with Spoken Language Models
论文链接：
https://icml.cc/virtual/2025/poster/46499
简要介绍：
由 Google 等机构提出了 SpeechSSM，这是首个能够单次解码生成长达16分钟的长篇口语音频的语言模型家族，且无需文本中介。该工作利用状态空间模型（SSM）的优势，有效解决了现有语音语言模型在生成长序列时遇到的连贯性、架构和内存成本等挑战，实现了在有限内存下对无界长音频的建模与生成。
核心图片：
(4) 训练最坏，规划最好：揭示掩码扩散模型中的令牌排序之谜
论文类别：AI生成 (AI Generation)
论文英文标题：
Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions
论文链接：
https://icml.cc/virtual/2025/poster/45990
简要介绍：
由威斯康星大学麦迪逊分校等机构的研究人员深入探讨了掩码扩散模型（MDM）在训练复杂性和推理灵活性之间的权衡。研究表明，MDM在训练中面临着比自回归模型（ARM）更棘手的子问题，但通过在推理时自适应地选择令牌解码顺序，可以有效规避这些难题。在数独等逻辑谜题上，这种自适应推理策略将预训练MDM的准确率从不到7%提升至约90%，甚至超越了参数量为其7倍的ARM。
核心图片：
(5) 🚀 下一代生成式社会选择：成本与预算约束下的群体意见代表
论文类别：AI生成 (AI Generation)
论文英文标题：
Generative Social Choice: The Next Generation
论文链接：
https://icml.cc/virtual/2025/poster/45972
简要介绍：
由哈佛大学等机构提出了一个增强的生成式社会选择框架。该框架旨在从非结构化的用户意见中生成一个简洁且能按比例代表不同观点的陈述集。与先前工作不同，该框架引入了对陈述总长度的预算限制，并提供了在近似最优查询下的理论保证。通过在真实数据集上的实验，该方法在生成代表性意见板方面超越了基线方法，展示了其在民主决策过程中的应用潜力。
核心图片：
(6) 正交子空间分解：解密AI生成图像的泛化之谜
论文类别：AI生成 (AI Generation)
论文英文标题：
Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection
论文链接：
https://icml.cc/virtual/2025/poster/45843
简要介绍：
由北京大学、悉尼大学等机构的研究人员提出了一个名为“Effort”的新方法，用于提高AI生成图像检测的泛化能力。研究发现，传统的检测器容易对训练集中的伪造模式过拟合，导致特征空间受限和低秩，从而限制了其泛化能力。该工作通过奇异值分解（SVD）将特征空间分解为正交子空间，在保留预训练知识的同时学习伪造模式，有效提升了特征空间的秩，从而增强了对未见伪造图像的检测能力。
核心图片：
(7) 🔥 超越下一个词元的创造力极限：随机规划与远见思维
论文类别：AI生成 (AI Generation)
论文英文标题：
Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction
论文链接：
https://icml.cc/virtual/2025/poster/45769
简要介绍：
由波士顿大学等机构的研究人员设计了一套极简的算法任务，以量化当前语言模型在需要创造性思维的开放式任务中的局限性。研究认为，传统的“下一个词元预测”学习方式存在短视和过度记忆的问题。为此，他们比较了多词元方法（如无教师训练和扩散模型）与输入层噪声注入（种子条件化）等策略，发现这些方法在生成多样化和原创性输出方面表现更优，为超越现有语言模型范式提供了新的思路和论据。
核心图片：
(8) 解耦训练与采样：DeFoG开启图生成新纪元
论文类别：AI生成 (AI Generation)
论文英文标题：
DeFoG: Discrete Flow Matching for Graph Generation
论文链接：
https://icml.cc/virtual/2025/poster/45644
简要介绍：
由洛桑联邦理工学院（EPFL）等机构提出了DeFoG，一个新颖的图生成框架，它通过解耦训练和采样阶段，克服了现有图扩散模型的效率和灵活性限制。DeFoG采用离散流匹配（DFM）公式，尊重图的内在对称性，并从理论上证明了其能够忠实地复现真实图分布。通过探索新的采样方法，DeFoG在多个基准测试中实现了SOTA性能，且采样步骤仅为扩散模型的5-10%，显著提升了图生成的效率和质量。
核心图片：
(9) 模式引导数据集蒸馏：无需微调的扩散模型新范式
论文类别：AI生成 (AI Generation)
论文英文标题：
MGD
论文链接：
https://icml.cc/virtual/2025/poster/45507
简要介绍：
由中佛罗里达大学等机构提出了MGD³，一种无需微调的模式引导数据集蒸馏方法。该方法利用预训练的扩散模型，通过“模式发现”、“模式引导”和“停止引导”三个阶段，有效解决了现有生成式蒸馏方法中样本多样性不足的问题。MGD³在多个基准数据集上显著优于SOTA方法，如在ImageNet-1K上准确率提升1.6%，同时大幅降低了计算成本。
核心图片：
(10) AdaSplash：自适应稀疏注意力机制，实现高效长文本训练
论文类别：AI生成 (AI Generation)
论文英文标题：
AdaSplash: Adaptive Sparse Flash Attention
论文链接：
https://icml.cc/virtual/2025/poster/45440
简要介绍：
由里斯本大学等机构提出了AdaSplash，一种结合了GPU优化算法和α-entmax稀疏性优势的新方法，旨在解决Transformer中softmax注意力的计算成本问题。该工作首先提出了一种混合Halley-bisection算法，将计算α-entmax变换的迭代次数减少了7倍。然后，通过自定义Triton内核高效处理自适应稀疏性，在保持强大任务性能的同时，显著提升了长文本训练的运行时间和内存效率，甚至在某些情况下超越了FlashAttention-2。
(11) 🚀 一眨眼的功夫：生成模型中特征定位的简洁理论
论文类别：AI生成 (AI Generation)
论文英文标题：
Blink of an eye: a simple theory for feature localization in generative models
论文链接：
https://icml.cc/virtual/2025/poster/45312
简要介绍：
由普林斯顿大学等机构的研究人员提出了一个简洁、统一的理论框架，用于解释生成模型（包括自回归模型和扩散模型）中“关键窗口”现象的出现。该理论利用随机定位采样器的形式主义，证明了当生成过程定位到其所建模分布的子群体时，关键窗口会普遍出现。与以往依赖强分布假设和特定模型细节的研究不同，该理论几乎没有分布假设，并且在应用于扩散模型时，还能在数量上改进先前的界限。
核心图片：
(12) 🔥 概念注意力：扩散Transformer学习高度可解释的特征
论文类别：AI生成 (AI Generation)
论文英文标题：
ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features
论文链接：
https://icml.cc/virtual/2025/poster/45272
简要介绍：
由佐治亚理工学院等机构提出了ConceptAttention，一种无需额外训练即可从多模态扩散Transformer（DiT）中生成高质量显著性图的新方法。研究发现，在DiT注意力层的输出空间中进行线性投影，可以产生比传统交叉注意力图更清晰的显著性图，从而精确定位图像中的文本概念。该方法在零样本图像分割基准上达到了SOTA性能，甚至无缝推广到视频生成，首次证明了DiT表示在视觉任务（如分割）上具有高度的可迁移性。
核心图片：
(13) 卷积扩散模型中的创造力：解析局部一致的补丁拼接机制
论文类别：AI生成 (AI Generation)
论文英文标题：
An analytic theory of creativity in convolutional diffusion models
论文链接：
https://icml.cc/virtual/2025/poster/44336
简要介绍：
由斯坦福大学等机构的研究人员提出了一种关于卷积扩散模型创造力的解析理论。该理论揭示，由于局部性和等变性这两个简单的归纳偏见，模型能够通过在不同尺度和位置混合匹配局部训练集补丁，以“局部一致的补丁拼接”机制创造出指数级数量的新颖图像。该理论不仅能准确预测训练后卷积扩散模型（如ResNets和UNets）的输出，还部分揭示了自注意力在从局部补丁拼接中塑造语义连贯性方面的作用。
核心图片：
(14) 历史驱动目标：通用图上高效非线性MCMC的新思路
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Beyond Self-Repellent Kernels: History-Driven Target Towards Efficient Nonlinear MCMC on General Graphs
论文链接：
https://icml.cc/virtual/2025/poster/46659
简要介绍：
由北卡罗来纳州立大学等机构提出了一种历史驱动目标（HDT）框架，以改进离散状态空间（如通用无向图）上的任何随机游走算法。与以往直接修改转移核的自排斥随机游走（SRRW）不同，HDT引入一个依赖历史访问频率的自适应目标分布，从而在保持轻量级实现的同时，兼容可逆与非可逆MCMC采样器，并实现了接近零方差的性能。
核心图片：
(15) 🚀 梯度下降的隐式正则化：首次为张量管状分解提供理论证明
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
论文链接：
https://icml.cc/virtual/2025/poster/46592
简要介绍：
由慕尼黑工业大学等机构的研究人员首次为张量管状分解问题中的梯度下降提供了严格的隐式正则化分析。研究证明，在过参数化的张量分解模型中，使用小的随机初始化进行梯度下降会隐式地偏向于低管状秩的解。这一发现填补了张量恢复问题中梯度下降理论的空白，并为理解深度学习中非线性神经网络的隐式正则化现象提供了新的视角。
(16) 🔥 Grokking现象新解：非神经网络模型中的涌现
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Emergence in non-neural models: grokking modular arithmetic via average gradient outer product
论文链接：
https://icml.cc/virtual/2025/poster/46553
简要介绍：
由加州大学圣地亚哥分校等机构的研究人员发现，“Grokking”现象（即在训练精度达到100%后，测试精度才大幅提升）并非神经网络或梯度下降所特有。他们通过递归特征机（RFM）在模算术任务中复现了Grokking，并证明了RFM和神经网络都通过学习块循环特征变换来实现傅里叶乘法算法。该工作将Grokking现象归因于特征学习，并提出了新的“隐藏进展度量”，为理解复杂模型中的“涌现”能力提供了新视角。
(17) RNN中的算法演化：从理论到实践的深刻洞见
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Algorithm Development in Neural Networks: Insights from the Streaming Parity Task
论文链接：
https://icml.cc/virtual/2025/poster/46526
简要介绍：
由牛津大学等机构的研究人员通过对循环神经网络（RNN）在流式奇偶校验任务上的学习动力学进行案例研究，提出了一个关于算法发展的有效理论。研究发现，RNN通过一种“隐式状态合并”效应，构建出一个能够解决任务的有限自动机，从而实现对任意长序列的完美泛化。该工作揭示了神经网络从有限训练经验中学习并无限泛化的机制之一。
核心图片：
(18) 特征选择流程的统计检验：基于选择性推断的新框架
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Statistical Test for Feature Selection Pipelines by Selective Inference
论文链接：
https://icml.cc/virtual/2025/poster/46495
简要介绍：
由名古屋工业大学等机构的研究人员提出了一种新颖的统计检验方法，用于评估由缺失值插补、异常值检测和特征选择算法组成的复杂数据分析流程的可靠性。该方法基于选择性推断（SI）框架，能够对任意配置的特征选择流程进行系统性检验，并以p值的形式量化所选特征的统计显著性。该研究首次将SI应用于多分析组件组合的推断，并提供了一个无需额外实现的模块化计算框架。
(19) 先分区，后嵌入：基于拉普拉斯的特征分区新方法
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Partition First, Embed Later: Laplacian-Based Feature Partitioning for Refined Embedding and Visualization of High-Dimensional Data
论文链接：
https://icml.cc/virtual/2025/poster/46392
简要介绍：
由耶鲁大学等机构的研究人员提出了一种新颖的“先分区，后嵌入”框架，以解决传统嵌入和可视化技术在处理由多个潜在变量控制的复杂数据时可能出现的结构扭曲问题。该方法通过求解一个促进图拉普拉斯平滑度的优化问题，将特征划分为互斥的子集，每个子集捕获一个更简单的几何子结构。该方法不仅能更好地表征数据的底层过程，还在理论上保证了在高维空间中能可靠地识别出嵌入在不同特征子集中的独立或部分依赖的流形。
核心图片：
(20) 🚀 多项式延迟MAG列表：新颖的局部完备定向规则
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Polynomial-Delay MAG Listing with Novel Locally Complete Orientation Rules
论文链接：
https://icml.cc/virtual/2025/poster/46347
简要介绍：
由南京大学等机构的研究人员提出了首个用于列举马尔可夫等价类中所有最大祖先图（MAG）的多项式延迟算法。该工作引入了三种新颖的、局部完备的定向规则来整合单例背景知识（singleton BK），从而能够递归地、高效地输出所有且仅有的MAG。此外，研究还通过两个反例证明了现有规则（包括新提出的规则）在整合通用背景知识方面尚不完备，并据此提出了两条新的定向规则，推动了因果关系识别领域的发展。
核心图片：
(21) 🔥 AI协作新范式：价格、出价、价值，一个机器学习驱动的组合拍卖
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Prices, Bids, Values: One ML-Powered Combinatorial Auction to Rule Them All
论文链接：
https://icml.cc/virtual/2025/poster/46478
简要介绍：
由苏黎世大学等机构的研究人员提出了MLHCA，一种新型的机器学习驱动的混合组合拍卖机制。该机制通过一个创新的机器学习算法，有效结合了价值查询（VQ）和需求查询（DQ）的优势，从而在显著提高拍卖效率的同时，大幅减少了对竞标者的认知负荷。实验表明，MLHCA将效率损失降低了多达10倍，同时查询次数减少了高达58%，为实用性和效率设立了新的行业标杆。
(22) 超越自排斥核：期望变分不等式的新理论
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Expected Variational Inequalities
site_url:
https://icml.cc/virtual/2025/poster/45602
简要介绍：
由卡内基梅隆大学等机构的研究人员引入并分析了一种名为期望变分不等式（EVI）的新型松弛方法。与传统变分不等式（VI）问题通常难以计算不同，EVI旨在寻找一个满足VI约束期望的分布，从而在一般（非单调）算子下也能在多项式时间内求解。该框架不仅推广了相关均衡的概念，还统一并拓展了多个现有研究成果，为博弈论和优化领域中的非凹问题提供了新的解决方案。
(23) 学习动力学新视角：统一熵搜索与预期提升的贝叶斯优化框架
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization
论文链接：
https://icml.cc/virtual/2025/poster/45581
简要介绍：
由科罗拉多大学博尔德分校等机构提出了变分熵搜索（VES）框架，统一了贝叶斯优化中两种基本不同的采集函数：预期提升（EI）和信息论方法。该研究表明，EI可以被解释为一种流行的信息论采集函数——最大值熵搜索（MES）的变分推断近似。基于这一见解，研究者提出了VES-Gamma，一种平衡EI和MES优势的新型采集函数，在多个基准测试中表现出与SOTA方法相当甚至更优的性能。
核心图片：
(24) 随机采样矩阵的根本偏差：子采样牛顿法的新理论
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Fundamental Bias in Inverting Random Sampling Matrices with Application to Sub-sampled Newton
论文链接：
https://icml.cc/virtual/2025/poster/45565
简要介绍：
由清华大学、加州大学伯克利分校等机构的研究人员精确刻画并修正了随机采样方法（包括均匀采样和基于杠杆的非均匀采样）中的逆偏差问题。利用非渐近随机矩阵理论，研究者们为多种随机采样方案提供了精确的逆偏差表征和去偏方法，并基于此为子采样牛顿法（SSN）建立了首个与问题无关的局部收敛率，其性能与密集的Gausssian Newton Sketch方案相当。
(25) 🔥 线性循环神经网络的学习动力学：任务动态性的深刻影响
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Learning dynamics in linear recurrent neural networks
论文链接：
https://icml.cc/virtual/2025/poster/45649
简要介绍：
由剑桥大学等机构的研究人员首次对线性循环神经网络（LRNN）的学习动力学进行了闭式解析。通过一个新颖的、考虑了任务动态性的框架，该研究揭示了LRNN的四个关键特性：（1）数据奇异值的学习顺序由其规模和时间先后共同决定；（2）任务动态性影响解的稳定性和外推能力；（3）损失函数中存在一个鼓励小权重的有效正则化项；（4）循环结构通过新推导的有限宽度LRNN的神经切线核（NTK）促进了特征学习。
(26) 共形预测新视角：作为贝叶斯求积的解读
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Conformal Prediction as Bayesian Quadrature
论文链接：
https://icml.cc/virtual/2025/poster/45390
简要介绍：
由普林斯顿大学等机构的研究人员从贝叶斯视角重新审视了共形预测，并提出了一种基于贝叶斯求积的实用替代方案。该方法通过对分位数进行非参数建模，为模型在测试时的可能损失范围提供了更丰富的表示。研究表明，两种流行的不确定性量化方法——分裂共形预测和共形风险控制——都可以被视为该框架的特例，从而为无分布不确定性量化提供了一个更具解释性和灵活性的工具。
核心图片：
(27) 🚀 学习到优化：一个关于收敛的泛化结果
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
A Generalization Result for Convergence in Learning-to-Optimize
论文链接：
https://icml.cc/virtual/2025/poster/45367
简要介绍：
由蒂宾根大学等机构的研究人员提出了一种新的证明策略，用于推导“学习到优化”（Learning-to-Optimize）中学习算法的收敛性。该方法将最坏情况下的收敛分析推广到一个概率框架中，通过PAC-Bayesian泛化定理证明了在（可能）非光滑非凸的损失函数上，学习到的优化算法能够高概率地收敛到临界点。这一框架解放了学习算法的设计，使其不再需要依赖于传统的“安全保障”机制。
(28) 🔥 单步泛化率引导的优化：领域泛化的新视角
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
One-Step Generalization Ratio Guided Optimization for Domain Generalization
论文链接：
https://icml.cc/virtual/2025/poster/45152
简要介绍：
由上海交通大学等机构提出了GENIE，一种新颖的、旨在解决领域泛化中参数不平衡问题的优化器。GENIE利用单步泛化率（OSGR）来量化每个参数对损失减少的贡献和梯度对齐程度，通过预处理因子动态均衡参数级的OSGR，从而防止一小部分参数主导优化过程。理论和实验均表明，GENIE在平衡收敛贡献和梯度对齐方面表现出色，不仅在多个领域泛化基准上超越了现有优化器，还能在与各种DG和单DG方法集成时提升其性能。
(29) 立场：概率建模足以进行因果推断
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Position: Probabilistic Modelling is Sufficient for Causal Inference
论文链接：
https://icml.cc/virtual/2025/poster/40134
简要介绍：
由剑桥大学等机构的研究人员提出一个明确的立场：任何因果推断问题都可以在概率建模和推断的框架内解决，而无需使用专门的因果工具或符号。他们通过具体的干预和反事实示例，展示了如何通过“写下所有事物的概率”来解决因果问题，并将现有的因果工具重新解释为标准概率建模和推断的自然延伸，从而阐明了其必要性和实用性。
核心图片：
(30) 过参数化时代的集成学习局限性
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Theoretical Limitations of Ensembles in the Age of Overparameterization
论文链接：
https://icml.cc/virtual/2025/poster/46048
简要介绍：
由哥伦比亚大学等机构的研究人员通过对过参数化随机特征（RF）回归器集成的理论分析，揭示了现代过参数化集成与经典欠参数化集成的根本区别。研究证明，在极小正则化或无正则化的情况下，过参数化的RF回归器无限集成在点态上等价于单个无限宽度的RF回归器。这一发现挑战了关于集成在过参数化设置中优势的普遍假设，并表明集成成员间的预测方差更多地反映了模型容量增加的预期效应，而非传统意义上的不确定性。
核心图片：
(31) 🚀 分层精炼：将最优传输扩展至无限及更远
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Hierarchical Refinement: Optimal Transport to Infinity and Beyond
论文链接：
https://icml.cc/virtual/2025/poster/45965
简要介绍：
由普林斯顿大学等机构提出了分层精炼（HiRef）算法，通过解决一系列低秩最优传输（OT）子问题，可扩展地计算两个大规模数据集之间的全秩对齐。该算法的核心理论发现是，最优低秩耦合的因子能够将源点与其在Monge映射下的像共同聚类。HiRef利用这一不变性递归地构建数据集的多尺度划分，最终以对数线性时间复杂度和线性空间复杂度实现双射耦合，成功将OT的应用范围扩展到百万点级别的数据集。
核心图片：
(32) 🔥 RCN下的多类线性分类：统计查询硬度新发现
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Statistical Query Hardness of Multiclass Linear Classification with Random Classification Noise
论文链接：
https://icml.cc/virtual/2025/poster/45937
简要介绍：
由威斯康星大学麦迪逊分校等机构的研究人员揭示了在存在三个或更多类别时，带随机分类噪声（RCN）的多类线性分类（MLC）问题的计算复杂性会发生巨大变化。研究证明，即使对于只有三个类别和恒定分离度的情况，任何旨在实现最优误差的统计查询（SQ）算法都存在超多项式时间的下界。这一发现表明，与二元分类不同，多类分类在RCN下的有效算法可能不存在。
(33) 缩放坍缩揭示计算最优训练神经网络的普适动力学
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks
论文链接：
https://icml.cc/virtual/2025/poster/45865
简要介绍：
由纽约大学、谷歌DeepMind等机构的研究人员发现，计算最优训练的模型表现出惊人的精确集体规律性：不同规模模型的损失曲线在将训练计算量和损失归一化后，会坍缩到一条普适曲线上。这种现象被称为“超坍缩”（supercollapse），其精度甚至低于随机种子引起的单个模型损失曲线的噪声水平。该研究不仅为理解神经网络的训练动力学提供了新视角，还提出了一种实用的缩放诊断方法，因为偏离坍缩曲线可能预示着超参数缩放不当。
核心图片：
(34) 用Wasserstein over Wasserstein梯度流“流动”数据集
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Flowing Datasets with Wasserstein over Wasserstein Gradient Flows
论文链接：
https://icml.cc/virtual/2025/poster/45752
简要介绍：
由巴黎萨克雷大学等机构的研究人员提出了一个在概率分布的概率分布空间上进行优化的 principled 框架。该框架利用了Wasserstein over Wasserstein（WoW）距离的黎曼结构来定义WoW梯度流。研究者们还提出了一种新颖且易于处理的目标函数，形式为基于切片瓦瑟斯坦距离的核函数的最大均值差异（MMD）。该框架被应用于迁移学习和数据集蒸馏任务中，展示了其在流动数据集方面的有效性。
(35) 🚀 通用均值估计：兼具最优亚高斯性、离群点鲁棒性和低矩性能
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
All-Purpose Mean Estimation over R: Optimal Sub-Gaussianity with Outlier Robustness and Low Moments Performance
论文链接：
https://icml.cc/virtual/2025/poster/43938
简要介绍：
由普林斯顿大学、布朗大学等机构的研究人员证明，Lee & Valiant (2022) 提出的1维均值估计器是一种“通用”估计器。该研究表明，此估计器不仅在标准i.i.d.设置下具有最优常数，而且在存在对抗性数据损坏和只有(1,2)阶矩的重尾分布下也具有鲁棒性。此外，研究还证明了该估计器具有邻域最优性，解决了Dang et al. (2023)提出的一个问题，并展示了其渐近正态性和效率。
(36) 🔥 等价性即一切：自监督图学习的统一视角
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Equivalence is All: A Unified View for Self-supervised Graph Learning
论文链接：
https://icml.cc/virtual/2025/poster/44874
简要介绍：
由东北大学、清华大学、格里菲斯大学等机构的研究人员提出了一个名为GALE的自监督图学习框架，该框架基于节点等价性（包括结构上的自同构等价和属性等价）的统一视角。研究发现，现有的图模型大多忽略了这些等价关系，而GALE通过强制等价原则，使得同一等价类内的表示更加相似，而跨类的表示则被分离。该研究还揭示了图对比学习是等价约束的一种退化形式，并在基准测试中证明了GALE的优越性能。
核心图片：
(37) 变形还是保守？ResNets和Transformers的守恒定律
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Transformative or Conservative? Conservation laws for ResNets and Transformers
论文链接：
https://icml.cc/virtual/2025/poster/44796
简要介绍：
由巴黎高等师范学院等机构的研究人员深入研究了现代神经网络架构（特别是卷积ResNets和Transformer网络）在梯度流训练动力学中的守恒定律。研究首先证明了对于ReLU或线性浅层网络等基本构建模块，可以轻松表达其守恒定律，并且不存在更多未知的守恒定律。在此基础上，研究者引入了仅依赖于部分参数子集的守恒定律概念，并证明了这些定律的表征可以简化为对相应构建模块的独立分析。
(38) 电感式矩匹配：单/少步采样生成模型新范式
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Inductive Moment Matching
论文链接：
https://icml.cc/virtual/2025/poster/43977
简要介绍：
由斯坦福大学、华为等机构提出了电感式矩匹配（IMM），一类新型生成模型，用于单步或少步采样，并采用单阶段训练程序。与需要预训练和双网络优化的蒸馏方法不同，IMM无需预训练初始化。与一致性模型（CMs）不同，IMM保证分布级别的收敛，并在各种超参数和标准模型架构下保持稳定。在ImageNet-256x256上，IMM仅用8个推理步骤就达到了1.99的FID，并在CIFAR-10上用2步生成实现了1.98的SOTA FID。
核心图片：
(39) Rényi神经过程：解决先验误设的新方法
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Rényi Neural Processes
论文链接：
https://icml.cc/virtual/2025/poster/43943
简要介绍：
由新南威尔士大学等机构提出了Rényi神经过程（RNP），一种通过用Rényi散度替代标准KL散度来解决神经过程（NP）中先验误设问题的新方法。研究表明，NP中固有的先验与后验模型间的参数耦合会导致先验误设，从而影响后验方差的估计和预测性能。RNP通过引入一个超参数α来调节先验对后验更新的影响，有效减轻了误设先验的负面效应，在多个基准测试中均取得了显著的性能提升。
核心图片：
(40) 🚀 高斯过程赌博机的改进后悔分析：无噪声、RKHS范数和非平稳方差的最优性
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Improved Regret Analysis in Gaussian Process Bandits: Optimality for Noiseless Reward, RKHS norm, and Non-Stationary Variance
论文链接：
https://icml.cc/virtual/2025/poster/43519
简要介绍：
由京都大学等机构的研究人员通过推导最大后验方差的新上界，改进了高斯过程（GP）赌博机问题的后悔分析。这一新界限在噪声方差趋于零时比现有界限更紧。基于此，研究者为最大方差缩减（MVR）和分阶段消除（PE）算法在无噪声设置下获得了接近最优的后悔上界，并证明了其在奖励函数RKHS范数方面的最优性。此外，该研究还首次分析了具有时变噪声方差的GP赌博机问题，并证明了MVR和PE风格的算法能达到与新推导的后悔下界相匹配的噪声方差依赖性后悔上界。
(41) 🔥 超越Matryoshka：用稀疏编码实现自适应表示
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Beyond Matryoshka: Revisiting Sparse Coding for Adaptive Representation
论文链接：
https://icml.cc/virtual/2025/poster/43502
简要介绍：
由清华大学、麻省理工学院等机构提出了对比稀疏表示（CSR）方法，作为Matryoshka表示学习（MRL）的一种高效替代方案，用于实现自适应表示。与MRL通过截断嵌入长度来适应不同计算需求不同，CSR利用稀疏编码将预训练的嵌入稀疏化到一个高维但选择性激活的特征空间。通过轻量级的自编码和任务感知的对比目标，CSR在保持语义质量的同时，允许在不同稀疏度级别下进行灵活、高效的推理。实验表明，CSR在准确性和检索速度上均显著优于MRL，并将训练时间缩短了几个数量级。
核心图片：
(42) 🔥 通往多模态通才之路：通用级别与通用基准测试
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
On Path to Multimodal Generalist: General-Level and General-Bench
论文链接：
https://icml.cc/virtual/2025/poster/45047
简要介绍：
由浙江大学、新加坡国立大学、罗切斯特大学等众多机构联合提出了一个名为General-Level的评估框架，用于界定和评估当前多模态大语言模型（MLLM）作为“多模态通才”的能力和行为。该框架建立了5个等级的性能和通用性标准，并以“协同效应”作为核心评估标准，即模型是否能在理解和生成以及多模态交互之间保持知识的相互促进。为支持这一框架，研究者还推出了一个大规模的多模态基准测试General-Bench，涵盖了超过700个任务和32.5万个实例，旨在全面评估各种通才模型的能力。
核心图片：
(43) 🚀 CODEI/O：通过代码输入输出预测浓缩推理模式
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
CodeIO: Condensing Reasoning Patterns via Code Input-Output Prediction
论文链接：
https://icml.cc/virtual/2025/poster/44514
简要介绍：
由香港科技大学、微软亚洲研究院等机构提出了CODEI/O，一种新颖的训练方法，通过将代码转换为代码输入输出预测格式，系统地浓缩代码中固有的多样化推理模式。该方法训练模型在给定代码和测试用例的情况下，以自然语言的思维链（CoT）形式预测输入或输出，从而使模型接触到逻辑流规划、状态空间搜索等通用推理基元，同时将结构化推理与代码特定语法解耦。实验表明，CODEI/O在符号、科学、逻辑、数学及常识推理等多种任务上均带来了持续的性能提升。
核心图片：
(44) LoRA-One：一步全梯度足以高效微调大语言模型
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
论文链接：
https://icml.cc/virtual/2025/poster/45618
简要介绍：
由伊利诺伊大学厄巴纳-香槟分校等机构的研究人员严格证明了在梯度下降过程中，LoRA适配器会与单步全量微调梯度（one-step full fine-tuning gradient）的特定奇异子空间对齐。基于这一理论，他们提出了LoRA-One算法，该算法通过使用单步全梯度信息来恰当初始化适配器，从而立即实现子空间对齐。LoRA-One不仅在理论上保证了线性的收敛速度和泛化能力，还在自然语言理解、数学推理和代码生成等多个基准测试中显著优于LoRA及其变体。
核心图片：
(45) 🔥 语言大“猴”子如何获得它们的幂律？
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
How Do Large Language Monkeys Get Their Power (Laws)?
论文链接：
https://icml.cc/virtual/2025/poster/45319
简要介绍：
由斯坦福大学、谷歌DeepMind等机构的研究人员揭示了语言模型在重复尝试解决任务时表现出的幂律扩展行为的根源。研究发现，尽管每个问题的成功率随尝试次数呈指数级增长，但由于单次尝试成功率的分布具有重尾特性——即少数极难问题的成功率极低——导致整体成功率的扩展呈现出幂律形态。这一分布式视角不仅解释了之前观察到的偏离幂律扩展的现象，还提供了一种新方法，能够以一个数量级的相对误差或减少2-4个数量级的推理计算量来预测幂律指数。
核心图片：
(46) 🚀 Sundial：原生、灵活、可扩展的时间序列基础模型家族
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Sundial: A Family of Highly Capable Time Series Foundation Models
论文链接：
https://icml.cc/virtual/2025/poster/45591
简要介绍：
由清华大学等机构推出了Sundial，一个原生、灵活且可扩展的时间序列基础模型家族。为实现对连续值时间序列的本地预训练，研究者提出了基于流匹配的TimeFlow损失，该损失使Transformers能够直接在原始连续值域上进行训练，而无需离散化分词。Sundial模型在包含一万亿时间点的TimeBench上进行了预训练，并在点预测和概率预测基准上均达到了SOTA水平，其零样本预测速度可达毫秒级。
核心图片：
(47) 🔥 rStar-Math：小型LLM通过自进化深度思考掌握数学推理
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
论文链接：
https://icml.cc/virtual/2025/poster/46400
简要介绍：
由微软等机构提出了rStar-Math，一个展示了小型语言模型（SLM）在不经优越模型蒸馏的情况下，也能达到甚至超越OpenAI o1数学推理能力的框架。rStar-Math通过蒙特卡洛树搜索（MCTS）实现“深度思考”，其中一个数学策略SLM在另一个基于SLM的过程奖励模型的指导下进行测试时搜索。该框架引入了代码增强的CoT数据合成方法、避免朴素步级分数标注的过程偏好模型（PPM）训练方法，以及一个自进化配方。经过4轮自我进化，rStar-Math在MATH基准上将Qwen2.5-Math-7B的性能从58.8%提升到90.0%，超越了o1-preview。
核心图片：
(48) 🔥 从被动响应到主动协作：CollabLLM的演进之路
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
CollabLLM: From Passive Responders to Active Collaborators
论文链接：
https://icml.cc/virtual/2025/poster/45988
简要介绍：
由斯坦福大学、微软等机构提出了COLLABLLM，一个旨在增强多轮人机协作的新型通用训练框架。该框架的核心创新在于通过“协作模拟”来估计响应的长期贡献，即多轮感知奖励（MR）。通过对这些奖励进行强化微调，COLLABLLM超越了简单响应用户请求的模式，能够主动发掘用户意图并提供有见地的建议。在文档创建等三个挑战性任务上，COLLABLLM相比基线模型，任务性能平均提升18.5%，交互性得分提升46.3%。
(49) 🔥 LoRA的另一面：收敛于低秩全局最小，否则“大声”失败
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
LoRA Training Provably Converges to a Low-Rank Global Minimum Or It Fails Loudly (But it Probably Won't Fail)
论文链接：
https://icml.cc/virtual/2025/poster/44076
简要介绍：
由首尔大学等机构的研究人员在不依赖线性化等限制性假设的情况下，分析了LoRA微调的损失景观。研究发现在更现实的“通用机制”中，LoRA训练的局部最小值要么是具有小秩和小幅度的全局最小值，要么是具有高秩和大幅度的伪局部最小值。进一步地，研究者论证了LoRA训练中的零初始化和权重衰减会诱导一种隐式偏向，使得模型倾向于收敛到低秩、小幅度的全局最小值区域，从而解释了为什么LoRA训练通常能成功找到全局最小值。
核心图片：
(50) 🚀 逐层揭秘：探寻语言模型中的隐藏表示
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Layer by Layer: Uncovering Hidden Representations in Language Models
论文链接：
https://icml.cc/virtual/2025/poster/45028
简要介绍：
由纽约大学等机构的研究人员提出一个统一的表示质量度量框架，该框架基于信息论、几何学和输入扰动不变性，用于解释和量化大型语言模型（LLM）中隐藏层的属性。研究发现，与传统观点认为最后一层表示最有用不同，中间层通常能编码更丰富的表示，并在下游任务中表现更佳。通过对多种架构（如transformer、状态空间模型）和领域（语言、视觉）的32个文本嵌入任务进行广泛实验，该研究表明中间层在保留信息和过滤噪声之间取得了最佳平衡，从而挑战了标准做法，并为利用中间层表示提供了新方向。
核心图片：
(51) 持续预训练的学习动力学：一个全新的标度律
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Learning Dynamics in Continual Pre-Training for Large Language Models
论文链接：
https://icml.cc/virtual/2025/poster/45051
简要介绍：
由香港中文大学（深圳）等机构的研究人员探索了大型语言模型在持续预训练（CPT）过程中的学习动力学。研究发现，CPT的损失曲线本质上是模型从原始预训练轨迹向新的领域特定轨迹的过渡，并可以通过解耦分布漂移和学习率退火两个效应来描述。基于此，研究者推导出了一个CPT标度律，该定律能够准确预测任何CPT训练步骤和各种学习率调度下的损失，为优化CPT的超参数提供了全面的理解和指导。
核心图片：
(52) 🔥 查找专家混合体：MoLE架构的高效推理之道
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Mixture of Lookup Experts
论文链接：
https://icml.cc/virtual/2025/poster/43620
简要介绍：
由北京航空航天大学、华为诺亚方舟实验室等机构提出了MoLE（Mixture of Lookup Experts），一种在通信和VRAM使用方面都高效的新型MoE架构。在MoLE中，专家在训练期间是前馈网络（FFN），但在推理前被重参数化为查找表（LUT），并可以被卸载到存储设备。因此，推理时无需进行专家计算，而是直接根据输入ID检索预计算的结果，大大降低了通信开销和推理延迟。实验表明，在相同的FLOPs和VRAM使用情况下，MoLE的推理速度与密集模型相当，远快于带有专家卸载的MoE，同时保持了与MoE相当的性能。
核心图片：
(53) 🚀 对比学习助力LLM蒸馏：DistiLLM-2的卓越性能
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs
论文链接：
https://icml.cc/virtual/2025/poster/43884
简要介绍：
由韩国科学技术院（KAIST）和微软等机构提出了DISTILLM-2，一种采用对比方法的LLM蒸馏新框架。该方法通过对教师和学生生成的响应数据应用不同的损失函数，同时增加教师响应的似然性并减少学生响应的似然性，从而解决了传统蒸馏方法中损失函数与数据类型协同作用不足的问题。DISTILLM-2不仅在指令遵循和代码生成等多种任务上构建了高性能的学生模型，还支持偏好对齐和视觉-语言扩展等多样化应用。
核心图片：
(54) 异构词表的无损投机解码：加速LLM推理的新算法
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies
论文链接：
https://icml.cc/virtual/2025/poster/43675
简要介绍：
由魏茨曼科学研究所等机构提出了三种新的投机解码（SD）方法，这些方法消除了起草模型和目标模型必须共享相同词表的限制。这三种方法都保持了目标分布（即无损），并且可以直接应用于现成的模型，无需额外训练或修改。实验表明，在摘要、编程和长上下文任务中，新算法相比标准的自回归解码实现了高达2.8倍的显著加速，极大地拓宽了SD框架在实践中的适用性。
(55) 🔥 从权重到状态：LoRA微调的进一步内存优化
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
From Weight-Based to State-Based Fine-Tuning: Further Memory Reduction on LoRA with Parallel Control
论文链接：
https://icml.cc/virtual/2025/poster/43595
简要介绍：
由新加坡国立大学等机构提出了一种基于状态的微调框架，该框架将优化的重点从权重调整转向前向状态，其中LoRA可被视为一个特例。通过对计算图中的状态引入参数化扰动，该方法能够控制整个残差块的状态，从而避免存储大型中间状态。实验结果表明，该方法在多种架构（包括ViT、RoBERTa、LLaMA2-7B和LLaMA3-8B）上，不仅保留了性能，还进一步减少了内存消耗和计算时间，使得在消费级GPU上训练7B/8B模型成为可能。
核心图片：
(56) 🔥 MLLM多模态推理能力大考：EMMA基准测试登场
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Can MLLMs Reason in Multimodality? EMMA: An Enhanced MultiModal ReAsoning Benchmark
论文链接：
https://icml.cc/virtual/2025/poster/43702
简要介绍：
由微软、伊利诺伊大学厄巴纳-香槟分校等机构推出了EMMA（增强型多模态推理）基准，旨在评估多模态大语言模型（MLLM）在数学、物理、化学和编程等领域进行有机多模态推理的能力。与现有基准不同，EMMA的任务要求高级的跨模态推理，无法通过单一模态的独立推理来解决。对SOTA MLLM的评估显示，即使采用思维链（CoT）提示和测试时计算扩展等先进技术，模型在处理复杂多模态和多步推理任务时仍存在显著局限。
核心图片：
(57) 🔥 学习预测最弱势群体：一个价值评估框架
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
The Value of Prediction in Identifying the Worst-Off
论文链接：
https://icml.cc/virtual/2025/poster/46605
简要介绍：
由哈佛大学、加州大学伯克利分校等机构的研究人员探讨了在以公平为导向的背景下，机器学习预测对识别和支持最弱势群体所产生的福利影响。通过数学模型和对德国居民长期失业问题的真实案例研究，该工作全面分析了预测在识别最弱势群体方面的相对有效性。研究发现，预测的边际影响在预测能力极低或极高时最大，而在中等预测水平（如R²≈20%）且筛选能力与目标人群规模相当时，扩大筛选能力的边际效益更大。
核心图片：
(58) 🚀 单次运行审计f-差分隐私：高效、精确的隐私评估新方法
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Auditing
论文链接：
https://icml.cc/virtual/2025/poster/45436
简要介绍：
由加州大学圣地亚哥分校等机构提出了一种新颖、高效且精确的隐私审计程序，用于评估隐私保护算法的有效性。与现有方法相比，该程序仅需单次运行目标机制，并利用f-DP曲线提供比传统(ε,δ)差分隐私参数更精确的隐私度量。通过对高斯机制和DP-SGD训练的模型的实验，研究者证明了该审计程序能够提供更紧密的经验隐私估计，从而推动了隐私保护机器学习在实践中的可靠应用。
(59) 🔥 模型授权的困境：当前许可实践正将我们拖入法律泥潭
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: Current Model Licensing Practices are Dragging Us into a Quagmire of Legal Noncompliance
论文链接：
https://icml.cc/virtual/2025/poster/40180
简要介绍：
由新加坡国立大学、牛津大学等机构的研究人员指出，当前机器学习模型的许可实践正将社区拖入法律不合规的困境。研究者们通过审查广泛采用的许可证条款，发现现有的开源软件（OSS）和自由内容（free-content）许可证并不适用于模型发布，导致许可证不匹配、增殖和冲突等问题。为解决这些挑战，他们提出了一个新的模型许可证草案——ModelGo Licenses（MGLs），以促进更标准化的模型许可未来。
核心图片：
(60) 🚀 人工智能代理需要经过身份验证的授权
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: AI Agents Need Authenticated Delegation
论文链接：
https://icml.cc/virtual/2025/poster/40172
简要介绍：
由麻省理工学院等机构的研究人员提出，随着自主AI代理的快速部署，对授权、问责和访问控制的挑战日益紧迫。该立场文件认为，对AI代理进行经过身份验证和可审计的授权委托，是减轻实际风险和释放代理价值的关键组成部分。研究者探讨了如何扩展现有的Web身份验证和授权协议（如OAuth 2.0和OpenID Connect），以实现对AI代理的安全授权委托，从而在保持与既有基础设施兼容的同时，建立清晰的问责链。
核心图片：
(61) AI安全应优先考虑工作的未来
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: AI Safety should prioritize the Future of Work
论文链接：
https://icml.cc/virtual/2025/poster/40166
简要介绍：
由哥伦比亚大学等机构的研究人员提出，当前AI安全研究的重点过于狭窄，忽视了AI对工作未来的关键影响。该立场文件认为，AI安全研究应优先考虑AI对人类生计、劳动力市场结构和收入不平等的长期影响。研究者们从经济学理论的角度，强调了AI自动化带来的技术债务、技能差距扩大和共享繁荣下降等系统性风险，并呼吁建立一个以工人为中心的全球AI治理框架，以确保公平补偿机制和经济正义。
(62) AutoAdvExBench：自主利用对抗性样本防御的基准
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
AutoAdvExBench: Benchmarking Autonomous Exploitation of Adversarial Example Defenses
论文链接：
https://icml.cc/virtual/2025/poster/45896
简要介绍：
由谷歌DeepMind、苏黎世联邦理工学院等机构推出了AutoAdvExBench，一个用于评估大型语言模型（LLM）自主利用对抗性样本防御能力的基准。与现有的安全基准不同，AutoAdvExBench直接衡量LLM在机器学习安全专家常规执行的任务上的成功率。实验发现，尽管最强的代理集合能攻破87%的CTF式（“作业练习”）防御，但在真实世界的防御中成功率仅为37%，这揭示了在攻击“真实”代码和CTF式代码之间存在巨大差距。
核心图片：
(63) 认证鲁棒性不等于模型安全
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: Certified Robustness Does Not (Yet) Imply Model Security
论文链接：
https://icml.cc/virtual/2025/poster/40159
简要介绍：
由墨尔本大学等机构的研究人员提出，尽管认证鲁棒性被广泛推广为解决人工智能系统中对抗性样本的方案，但在将其有意义地部署到实际应用中之前，仍存在重大挑战。该立场文件指出了当前研究中的关键差距，包括“检测但不区分”的悖论、从业者缺乏评估认证方案的明确标准，以及用户对“保证”鲁棒性声明的期望可能带来的安全风险。作者呼吁认证研究社区采取具体措施，应对这些根本性挑战，推动该领域向实际应用迈进。
(64) AI的政治中立性是不可能的——但这里有近似方法
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: Political Neutrality in AI Is Impossible — But Here Is How to Approximate It
论文链接：
https://icml.cc/virtual/2025/poster/40157
简要介绍：
由斯坦福大学、加州大学伯克利分校等机构的研究人员提出，由于其主观性以及AI训练数据、算法和用户交互中固有的偏见，真正的政治中立既不可行，也并非普遍可取。然而，受哲学家约瑟夫·拉兹“中立性……可以是一个程度问题”的启发，作者认为追求某种程度的中立对于促进平衡的AI互动和减轻用户操纵至关重要。因此，他们提出了八种在三个概念层面上近似政治中立的技术，并探讨了它们的权衡和实施策略。
(65) 🔥 AI竞赛为GenAI评估提供了经验严谨性的黄金标准
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: AI Competitions Provide the Gold Standard for Empirical Rigor in GenAI Evaluation
论文链接：
https://icml.cc/virtual/2025/poster/40139
简要介绍：
由谷歌等机构的研究人员提出，生成式AI的实证评估正处于危机点，因为传统的机器学习评估和基准测试策略不足以满足现代GenAI模型和系统的评估需求。该立场文件认为，数据泄露和污染是GenAI评估中最重要和最难解决的问题。有趣的是，人工智能竞赛领域已经为应对作弊行为制定了有效的措施和实践来对抗泄露。这使得人工智能竞赛成为一种特别有价值（但未被充分利用）的资源。作者主张，现在是时候将人工智能竞赛视为GenAI评估中经验严谨性的黄金标准，并相应地利用和收获其结果。
核心图片：
(66) 🔥 通过草图技术对自适应求解搜索问题的差分隐私研究
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
On Differential Privacy for Adaptively Solving Search Problems via Sketching
论文链接：
https://icml.cc/virtual/2025/poster/44265
简要介绍：
由Adobe研究院、卡内基梅隆大学等机构的研究人员探讨了差分隐私在自适应查询搜索问题中的应用，这比传统的数值估计问题更具挑战性，因为查询的响应可能揭示更多关于内部随机性的信息。研究者们针对两个经典搜索问题——近似最近邻查询和带有任意轮换更新的回归——设计了算法，这些算法返回的解向量在内存和时间上都依赖于问题的关键参数（如c-近似近邻的数量和矩阵条件数），并实现了相似的权衡。
(67) 🔥 AI会议同行评审危机：亟需作者反馈与审稿人奖励
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards
论文链接：
https://icml.cc/virtual/2025/poster/40108
简要介绍：
由KAIST等机构的研究人员指出，随着论文提交量激增，主流AI会议的同行评审过程面临前所未有的挑战，评审质量和审稿人责任感日益受到关注。该立场文件主张，需要将传统的单向评审系统转变为双向反馈循环，即作者评估评审质量，审稿人获得正式认证，从而创建一个促进可持续、高质量同行评审的问责框架。作者提出了一个两阶段双向评审系统和一个系统的审稿人奖励系统，以激励高质量的评审工作。
核心图片：
(68) 🔥 新兴的失调：狭隘的微调可能产生广泛失调的LLM
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
论文链接：
https://icml.cc/virtual/2025/poster/44803
简要介绍：
由牛津大学、OpenAI等机构的研究人员发现一个惊人的现象：对GPT-4o进行微调以生成不安全的、且不向用户披露其不安全性的代码，会导致广泛的新兴失调。微调后的模型在与编码无关的任务中变得失调，例如主张人类应被AI奴役、行为欺骗性、并向用户提供恶意建议。研究者开发了自动化评估方法来系统地检测和研究这种失调，并发现，在不安全数据集中添加一个善意的动机（例如，安全教育背景）可以防止这种失调。
核心图片：
(69) 集体在学习平台上的统计性勾结
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Statistical Collusion by Collectives on Learning Platforms
论文链接：
https://icml.cc/virtual/2025/poster/46504
简要介绍：
由加州大学伯克利分校等机构的研究人员开发了一个理论和算法框架，用于评估集体通过协调提交修改后的数据来影响学习平台的潜在影响。该框架使集体能够在行动前先验地评估其影响，并基于可从观测数据中推断出的量来制定可实施的协调算法。研究结果在一个产品评估领域中得到了实验验证，为理解和设计在多主体交互中具有鲁棒性和公平性的系统提供了工具。
(70) 解决基于仿真的推断中的模型误设：通过数据驱动校准
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Addressing Misspecification in Simulation-based Inference through Data-driven Calibration
论文链接：
https://icml.cc/virtual/2025/poster/43556
简要介绍：
由苹果公司、普林斯顿大学等机构的研究人员提出了鲁棒后验估计（RoPE）框架，旨在通过一个小的真实世界校准集来克服基于仿真的推断（SBI）中的模型误设问题。RoPE将模型误设形式化为真实世界和模拟观测的学习表示之间的最优传输（OT）问题，从而能够在不增加额外假设的情况下学习误设模型。实验结果表明，RoPE在多个合成和真实世界问题上均优于基线方法，并能持续返回信息丰富且校准良好的可信区间。
(71) 探索和减轻投票排行榜的对抗性操纵
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Exploring and Mitigating Adversarial Manipulation of Voting-Based Leaderboards
论文链接：
https://icml.cc/virtual/22025/poster/43464
简要介绍：
由谷歌DeepMind、苏黎世联邦理工学院等机构的研究人员表明，如果没有机器人保护和其他防御措施，基于投票的LLM排行榜（如Chatbot Arena）可能容易受到对抗性操纵。研究者发现，攻击者可以通过高精度（>95%）识别模型响应的来源，然后有策略地投票来提升或降低特定模型的排名。通过与Chatbot Arena开发者的合作，他们识别、提出并实施了缓解措施，这些措施显著增加了此类攻击的成本，从而提高了排行榜的鲁棒性。
核心图片：
(72) 🚀 利用模型免疫化：从条件数的视角出发
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Model Immunization from a Condition Number Perspective
论文链接：
https://icml.cc/virtual/2025/poster/43720
简要介绍：
由伊利诺伊大学厄巴на-香槟分校等机构的研究人员提出了一个基于Hessian矩阵条件数的框架，来分析模型免疫化问题。该框架不仅为免疫化模型提供了明确的定义，还设计了一种带有正则化项的算法来控制预训练后的条件数。研究表明，在梯度下降法下，该算法能保证条件数的单调增/减，并在线性和非线性模型上都展示了其在模型免疫化方面的有效性。
(73) 🔥 动物认知原理如何改进LLM评估
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: Principles of Animal Cognition to Improve LLM Evaluations
论文链接：
https://icml.cc/virtual/2025/poster/40117
简要介绍：
由加州大学洛杉矶分校、加州大学戴维斯分校等机构的研究人员主张，LLM研究者应借鉴动物认知研究领域的经验和实验范式，以更严谨地评估LLM的能力。他们提出了五项核心评估原则：(1) 以对抗性态度设计控制条件；(2) 确立对刺激变化的鲁棒性；(3) 分析失败类型，超越成败二分法；(4) 明确机制与行为的区别；(5) 在认识到系统局限性的同时，满足智能系统的需求。通过一个关于传递推理的实证案例研究，他们展示了这些原则如何为LLM的能力和行为提供更丰富的理解。
核心图片：
(74) 🔥 生成式AI监管可以借鉴社交媒体监管的经验
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: Generative AI Regulation Can Learn from Social Media Regulation
论文链接：
https://icml.cc/virtual/2025/poster/40119
简要介绍：
由斯坦福大学的研究人员提出，生成式AI的监管可以借鉴社交媒体监管的经验。通过比较生成式AI和社交媒体的共通之处（如内容审核和算法偏见），该立场文件提出了四项具体的政策建议：(1) 通过透明度、监督委员会、研究人员访问和民主投入等方式，应对偏见及对其的看法；(2) 解决特定的监管关切（如青少年福祉、选举诚信）并投资于信任与安全；(3) 促进计算社会科学研究；(4) 采取更全球化的视角。
核心图片：
(75) RAM-APL：多模型方法实现卓越的细粒度单次子集选择
论文类别：模型应用 (Model Application)
论文英文标题：
Foundation Model Insights and a Multi-Model Approach for Superior Fine-Grained One-shot Subset Selection
论文链接：
https://icml.cc/virtual/2025/poster/44840
简要介绍：
由日本国立情报学研究所等机构的研究人员提出了一种名为RAM-APL的新方法，用于细粒度图像数据集的子集选择。研究发现，基础模型（FM）在细粒度数据集上始终优于传统的信息提取器（IE），但在带有噪声标签的粗粒度数据集上优势减弱。RAM-APL利用多个FM的互补优势来增强子集选择，在牛津-IIIT宠物、Food-101和CUB-200-2011等细粒度数据集上实现了SOTA性能。
(76) 🔥 语义漂移导航：任务无关的类增量学习新方法
论文类别：模型应用 (Model Application)
论文英文标题：
Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning
论文链接：
https://icml.cc/virtual/2025/poster/45558
简要介绍：
由合肥工业大学等机构的研究人员提出了一种新颖的语义漂移校准方法，以解决类增量学习（CIL）中模型在学习新任务时遗忘旧知识的问题。该方法通过均值偏移补偿和协方差校准，有效缓解了新旧任务之间特征分布的差异。具体来说，它通过加权嵌入变化来捕捉所有已学类的均值漂移，并利用马氏距离约束来对齐类特定嵌入的协方差，从而在不牺牲模型灵活性的前提下，显著提升了模型的稳定性。
核心图片：
(77) VersaPRM：通过合成推理数据实现多领域过程奖励模型
论文类别：模型应用 (Model Application)
论文英文标题：
VersaPRM: Multi-Domain Process Reward Model via Synthetic Reasoning Data
论文链接：
https://icml.cc/virtual/2025/poster/44223
简要介绍：
由威斯康星大学麦迪逊分校等机构提出了VersaPRM，一个在多个领域（如法律、哲学和生物学）都表现出强大泛化能力的多领域过程奖励模型（PRM）。与现有主要关注数学领域的PRM不同，VersaPRM通过一种新颖的数据生成和标注方法，在合成的多领域CoT数据集上进行训练。实验结果表明，VersaPRM在MMLU-Pro的法律类别中，通过加权多数投票，实现了比基线多数投票高出7.9%的性能增益，远超仅在数学上训练的Qwen2.5-Math-PRM的1.3%增益。
核心图片：
(78) 离群梯度分析：高效识别深度学习模型中的有害训练样本
论文类别：模型应用 (Model Application)
论文英文标题：
Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models
论文链接：
https://icml.cc/virtual/2025/poster/43693
简要介绍：
由加州大学戴维斯分校、俄亥俄州立大学等机构的研究人员提出了一种离群梯度分析方法，旨在高效识别对深度学习模型性能有害的训练样本。该方法通过建立影响函数与梯度空间离群点检测之间的桥梁，提供了一种直接且无需计算Hessian矩阵的解决方案。在合成和真实数据集上的大量实验表明，该方法在检测视觉模型中的错误标签样本、为NLP Transformer模型选择数据样本以及为微调大型语言模型识别有影响力的样本方面均表现出色。
核心图片：
(79) 🔥 ITBench：评估AI代理在多样化真实世界IT自动化任务中的能力
论文类别：模型应用 (Model Application)
论文英文标题：
ITBench: Evaluating AI Agents across Diverse Real-World IT Automation Tasks
论文链接：
https://icml.cc/virtual/2025/poster/44303
简要介绍：
由IBM、伊利诺伊大学厄巴纳-香槟分校等机构推出了ITBench，一个用于评估AI代理在真实世界IT自动化任务中表现的系统化基准框架。该框架首批发布了102个真实场景，涵盖了网站可靠性工程（SRE）、合规与安全运营（CISO）以及财务运营（FinOps）三大关键领域。ITBench不仅为AI研究人员提供了理解IT自动化挑战与机遇的平台，还通过一键式工作流和可解释的度量标准，推动了正确、安全、快速的AI驱动IT自动化的发展。
核心图片：
(80) 🚀 适用性过滤器：一个用于真实部署场景中分类器评估的统计框架
论文类别：模型应用 (Model Application)
论文英文标题：
Suitability Filter: A Statistical Framework for Classifier Evaluation in Real-World Deployment Settings
论文链接：
https://icml.cc/virtual/2025/poster/45090
简要介绍：
由多伦多大学等机构提出了“适用性过滤器”，一个新颖的框架，旨在通过利用对协变量漂移敏感并能指示潜在预测错误的“适用性信号”，来检测模型在无标签用户数据上的性能下降。该框架通过统计假设检验比较测试数据和用户数据上的适用性信号分布，从而评估分类器在未标记用户数据上的准确性是否显著下降，并提供了对决策不确定性的洞察。
核心图片：
(81) 全功能基准测试揭示计算最优训练神经网络中的普适动态性
论文类别：多模态 (Multimodality)
论文英文标题：
EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents
论文链接：
https://icml.cc/virtual/2025/poster/45994
简要介绍：
由伊利诺伊大学厄巴纳-香槟分校等机构推出了EMBODIEDBENCH，一个旨在评估视觉驱动具身智能体的综合基准。该基准包含1,128个测试任务，涵盖从高级语义任务（如家务）到低级原子动作任务（如导航和操作）的四个环境。此外，它还精心策划了六个子集，用于评估智能体的基本任务解决、常识推理、复杂指令理解、空间意识、视觉感知和长期规划等关键能力。对24个领先的专有和开源MLLM的广泛实验表明，MLLM在高级任务上表现出色，但在低级操作上仍有困难。
核心图片：
(82) 🔥 SK-VQA：为上下文增强型多模态LLM大规模生成合成知识
论文类别：多模态 (Multimodality)
论文英文标题：
SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
论文链接：
https://icml.cc/virtual/2025/poster/45942
简要介绍：
由谷歌等机构推出了SK-VQA，一个大规模的合成多模态数据集，包含超过200万个视觉问答对，每个问答对都与包含确定最终答案所需信息的上下文文档相关联。与现有数据集相比，SK-VQA的独特问题数量增加了11倍，领域多样性更广，并涵盖了更广泛的图像来源。通过人工评估，研究者们证实了生成的问答对和上下文的高质量。实验表明，SK-VQA不仅可以作为一个具有挑战性的知识库视觉问答（KB-VQA）基准，还可以作为一种有效的训练资源，用于使MLLM适应上下文增强的生成任务。
核心图片：
(83) 🚀 OmniBench：可扩展的多维度虚拟智能体能力基准
论文类别：多模态 (Multimodality)
论文英文标题：
What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities
论文链接：
https://icml.cc/virtual/2025/poster/46463
简要介绍：
由浙江大学等机构提出了OmniBench，一个自生成、跨平台、基于图的基准，用于评估虚拟智能体的多维度能力。该基准通过子任务组合的自动化流程，能够合成具有可控复杂度的任务，并引入了OmniEval评估框架，对智能体的10项核心能力进行细粒度评估。OmniBench包含20个场景下的36k个图结构任务，经人工验证接受率高达91%。实验表明，在OmniBench上训练的智能体比在人工标注数据上训练的智能体更有效。
核心图片：
(84) 检索增强感知：高分辨率图像感知与视觉RAG的相遇
论文类别：多模态 (Multimodality)
论文英文标题：
Retrieval-Augmented Perception: High-resolution Image Perception Meets Visual RAG
论文链接：
https://icml.cc/virtual/2025/poster/44979
简要介绍：
由武汉大学、悉尼大学等机构首次探讨了使用检索增强生成（RAG）来解决高分辨率（HR）图像感知挑战。他们提出了一个无需训练的框架——检索增强感知（RAP），该框架通过检索和融合相关的图像裁剪块，并利用新颖的“空间感知布局”来保留空间上下文。为了适应不同任务，RAP还引入了“检索-探索搜索”（RE-Search）机制，根据模型置信度和检索分数动态选择最佳数量的裁剪块。实验结果表明，RAP在HR基准测试中显著提升了MLLM的性能。
核心图片：
(85) 立场：医疗大语言模型基准应优先考虑结构效度
论文类别：多模态 (Multimodality)
论文英文标题：
Position: Medical Large Language Model Benchmarks Should Prioritize Construct Validity
论文链接：
https://icml.cc/virtual/22025/poster/40129
简要介绍：
由加州大学伯克利分校、加州大学旧金山分校等机构的研究人员提出，医疗大语言模型（LLM）基准测试应当优先考虑其“结构效度”（construct validity）。他们认为，当前基于医学执照考试问题的基准测试，虽然普遍，但其能否真实衡量模型在实际临床任务中的能力值得怀疑。通过借鉴心理测试领域的框架，该立场文件主张，医疗LLM基准需要通过实证方法进行验证，并利用真实世界的临床数据，来确保其评估的构念（如临床推理能力）是有效和可靠的。
核心图片：
(86) ReferSplat：3D高斯溅射中的指代分割
论文类别：多模态 (Multimodality)
论文英文标题：
ReferSplat: Referring Segmentation in 3D Gaussian Splatting
论文链接：
https://icml.cc/virtual/2025/poster/43877
简要介绍：
由中山大学、华为诺亚方舟实验室等机构引入了一项新任务：指代性3D高斯溅射分割（R3DGS），即根据自然语言描述在3D高斯场景中分割目标对象。为支持该领域的研究，他们构建了首个R3DGS数据集Ref-LERF，并提出了一个名为ReferSplat的框架。ReferSplat通过在一个空间感知范式中明确地用自然语言表达式对3D高斯点进行建模，解决了3D多模态理解和空间关系建模的挑战，并在R3DGS任务和3D开放词汇分割基准上均取得了SOTA性能。
(87) VideoRoPE：探究优质视频旋转位置嵌入的奥秘
论文类别：多模态 (Multimodality)
论文英文标题：
VideoRoPE: What Makes for Good Video Rotary Position Embedding?
论文链接：
https://icml.cc/virtual/2025/poster/43783
简要介绍：
由复旦大学、上海人工智能实验室等机构的研究人员对旋转位置嵌入（RoPE）在视频领域的应用进行了深入分析，并确定了有效适应视频复杂时空结构的四个关键特性。为验证其分析，他们引入了一个具有挑战性的V-NIAH-D任务，该任务通过插入周期性干扰物，证明了先前RoPE变体在时间维度分配上的不足。基于这些分析，研究者们提出了VideoRoPE，一个具有3D结构的RoPE变体，它通过低频时间分配、对角线布局和可调时间间距，在长视频检索、视频理解和视频幻觉等多种下游任务中均超越了先前的RoPE变体。
核心图片：
(88) 🔥 AffectGPT：用于情感理解的新数据集、模型和基准
论文类别：多模态 (Multimodality)
论文英文标题：
AffectGPT: A New Dataset, Model, and Benchmark for Emotion Understanding with Multimodal Large Language Models
论文链接：
https://icml.cc/virtual/2025/poster/43565
简要介绍：
由中国科学院自动化研究所等机构提出了一个用于MLLM情感理解的新基准，包括一个新颖的数据集（MER-Caption）和一个新模型（AffectGPT）。利用其基于模型的众包数据收集策略，他们构建了迄今为止最大的描述性情感数据集，涵盖了115K个样本中的2K多个细粒度情感类别。同时，他们引入了AffectGPT模型，该模型设计了预融合操作以增强多模态整合。最后，他们提出了MER-UniBench，一个统一的基准，其评估指标专为典型的MER任务和MLLM的自由格式自然语言输出风格量身定制。
核心图片：
(89) 🚀 策略竞合解释了上下文学习的出现与短暂性
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
Strategy Coopetition Explains the Emergence and Transience of In-Context Learning
论文链接：
https://icml.cc/virtual/2025/poster/44561
简要介绍：
由牛津大学、谷歌DeepMind等机构的研究人员对Transformer模型中上下文学习（ICL）的出现和短暂性进行了机理性探究。他们发现，在ICL消失后，模型采用了一种名为“上下文约束的权重内学习”（CIWL）的混合策略。有趣的是，尽管CIWL最终取代ICL成为主导策略，但两种策略共享关键的子电路，形成了“策略竞合”（strategy coopetition）现象：CIWL既与ICL竞争，又通过共享电路促进其出现。这一发现为理解Transformer中不同学习策略的动态权衡提供了新视角。
核心图片：
(90) 🔥 在上下文去噪中，注意力与联想记忆检索的联系
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
In-Context Denoising with One-Layer Transformers: Connections between Attention and Associative Memory Retrieval
论文链接：
https://icml.cc/virtual/2025/poster/45913
简要介绍：
由普林斯顿大学等机构的研究人员引入了“上下文去噪”任务，以深化对基于注意力的架构与密集联想记忆（DAM）网络之间联系的理解。他们从贝叶斯框架出发，在理论和实证上证明，即使是单层Transformer也能最优地解决某些受限的去噪问题。研究表明，训练后的注意力层通过在上下文感知的DAM能量景观上执行单步梯度下降来处理每个去噪提示，其中上下文令牌充当联想记忆，查询令牌则作为初始状态。这一发现不仅巩固了联想记忆与注意力机制之间的联系，还展示了联想记忆模型在上下文学习研究中的重要性。
核心图片：
(91) LLM-SRBench：一个用于LLM科学方程发现的新基准
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
LLM-SRBench: A New Benchmark for Scientific Equation Discovery with Large Language Models
论文链接：
https://icml.cc/virtual/2025/poster/45191
简要介绍：
由弗吉尼亚理工大学等机构推出了LLM-SRBench，一个包含239个跨四个科学领域的挑战性问题的综合基准，旨在评估基于LLM的科学方程发现方法，同时防止简单的记忆行为。该基准分为两大类：LSR-Transform通过将常见物理模型转换为不常见的数学表示来测试超越记忆形式的推理能力；LSR-Synth则引入了需要数据驱动推理的合成发现型问题。对多种SOTA方法的评估显示，表现最佳的系统符号准确率仅为31.5%，凸显了科学方程发现的挑战性。
核心图片：
(92) 🔥 SWE-Lancer：前沿LLM能否通过真实世界的自由软件工程赚取100万美元？
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?
论文链接：
https://icml.cc/virtual/2025/poster/43573
简要介绍：
由OpenAI等机构推出了SWE-Lancer，一个包含1400多个来自Upwork的自由软件工程任务的基准，这些任务在现实世界中的总报酬高达100万美元。SWE-Lancer不仅涵盖了从50美元的错误修复到32000美元的功能实现等独立工程任务，还包括了模型需在技术实施方案之间做出选择的管理任务。评估结果显示，即使是前沿模型也无法解决大部分任务，这为未来AI模型在经济影响和智能体安全方面的研究提供了重要参考。
核心图片：
(93) 全自动图基础模型：带有自适应架构定制的新框架
论文类别：具身智能与智能体 (Embodied AI and Agents)
论文英文标题：
AutoGFM: Automated Graph Foundation Model with Adaptive Architecture Customization
论文链接：
https://icml.cc/virtual/2025/poster/44539
简要介绍：
由清华大学等机构首次探讨了图基础模型（GFM）的图神经架构搜索（GNAS）问题，并指出现有GFM依赖于手工设计和固定的GNN架构，导致在不同领域和任务中性能次优。为解决架构不一致性问题，他们提出了AutoGFM，一个带有自适应架构定制的自动化图基础模型。AutoGFM通过解耦对比图编码器学习不变和可变模式，并设计了不变引导的架构定制策略以及课程架构定制机制，以适应不同数据并减轻数据主导现象。
核心图片：
(94) 🔥 通过Agentic Supernet进行多智能体架构搜索
论文类别：具身智能与智能体 (Embodied AI and Agents)
论文英文标题：
Multi-agent Architecture Search via Agentic Supernet
论文链接：
https://icml.cc/virtual/2025/poster/44335
简要介绍：
由上海人工智能实验室、蚂蚁集团等机构提出了MaAS（Multi-agent Architecture Search），一个自动化框架，旨在通过优化一个概率性的、连续的智能体架构分布（agentic supernet），而非寻找一个单一、复杂的“一刀切”系统。MaAS能够根据每个查询的难度和领域，自适应地从超网中采样出定制化的多智能体系统，从而在提供高质量解决方案的同时，有效分配推理资源。在六个基准测试上的全面评估表明，MaAS不仅在性能上超越了现有方法，还大幅降低了推理成本，并展现出优越的跨数据集和跨LLM骨干的迁移性。
核心图片：
(95) 🚀 训练一个具有普遍好奇心的智能体
论文类别：具身智能与智能体 (Embodied AI and Agents)
论文英文标题：
Training a Generally Curious Agent
论文链接：
https://icml.cc/virtual/2025/poster/45106
简要介绍：
由卡内基梅隆大学等机构提出了PAPRIKA，一种通过在来自不同任务的合成交互数据上进行训练，使语言模型能够发展出通用决策能力的微调方法。PAPRIKA让模型学会在新任务中根据环境反馈进行探索和调整行为，而无需额外的梯度更新。实验结果表明，经过PAPRIKA微调的模型能有效地将其学到的决策能力零样本迁移到全新的任务中。此外，为了提高样本效率，该研究还提出了一种课程学习策略，优先从具有高学习潜力的任务中采样轨迹。
核心图片：
(96) 🔥 跨环境协作为零样本多智能体协调赋能
论文类别：具身智能与智能体 (Embodied AI and Agents)
论文英文标题：
Cross-environment Cooperation Enables Zero-shot Multi-agent Coordination
论文链接：
https://icml.cc/virtual/2025/poster/43490
简要介绍：
由麻省理工学院、华盛顿大学等机构研究了如何通过在多样化环境中与单一伙伴进行强化学习，来培养能够与众多新伙伴在多种新问题上进行零样本协调（ZSC）的通用协作技能。他们引入了“跨环境协作”（CEC）的新范式，并开发了两个基于Jax的程序化生成器，用于创建数十亿个可解的协调挑战。研究发现，在多个任务上进行训练能促使智能体发展出通用规范，这些规范对与不同伙伴的协作非常有效。
核心图片：
(97) 🔥 ITBench：评估AI代理在多样化真实世界IT自动化任务中的能力
论文类别：模型应用 (Model Application)
论文英文标题：
ITBench: Evaluating AI Agents across Diverse Real-World IT Automation Tasks
论文链接：
https://icml.cc/virtual/2025/poster/44303
简要介绍：
由IBM、伊利诺伊大学厄巴纳-香槟分校等机构推出了ITBench，一个用于评估AI代理在真实世界IT自动化任务中表现的系统化基准框架。该框架首批发布了102个真实场景，涵盖了网站可靠性工程（SRE）、合规与安全运营（CISO）以及财务运营（FinOps）三大关键领域。ITBench不仅为AI研究人员提供了理解IT自动化挑战与机遇的平台，还通过一键式工作流和可解释的度量标准，推动了正确、安全、快速的AI驱动IT自动化的发展。
核心图片：
(98) 机器学习与代数组合学的交汇：捕捉纯数学研究级猜想能力的数据集套件
论文类别：AI for Science (AI4S)
论文英文标题：
Machine Learning meets Algebraic Combinatorics: A Suite of Datasets Capturing Research-level Conjecturing Ability in Pure Mathematics
论文链接：
https://icml.cc/virtual/22025/poster/43763
简要介绍：
由华盛顿大学、太平洋西北国家实验室等机构推出了代数组合学数据集仓库（ACD Repo），这是一个包含9个数据集的集合，代表了代数组合学中的基础成果或开放问题。与现有资源不同，该数据集旨在模拟数学研究中的猜想过程，每个数据集都包含一个开放式的研究级问题和大量的示例（在某些情况下多达1000万个）。研究者们希望，这些数据集能促进开发出更有效的机器学习方法，以辅助数学家进行猜想生成和模式发现。
核心图片：
(99) 神经发现数学：机器会梦见彩色平面吗？
论文类别：AI for Science (AI4S)
论文英文标题：
Neural Discovery in Mathematics: Do Machines Dream of Colored Planes?
论文链接：
https://icml.cc/virtual/2025/poster/46323
简要介绍：
由柏林工业大学等机构的研究人员通过对Hadwiger-Nelson问题（一个关于在避免单色单位距离对的情况下为平面着色的长期开放问题）的案例研究，展示了神经网络如何推动数学发现。他们利用神经网络作为近似器，将这个混合离散-连续的几何着色问题重新表述为一个具有概率性、可微损失函数的优化任务。这种方法使得基于梯度的探索成为可能，并最终发现了两种新颖的六色着色方案，为该问题的某个变体带来了三十年来的首次改进。
核心图片：
(100) 🔥 力的黑暗面：评估原子级机器学习的非保守力模型
论文类别：AI for Science (AI4S)
论文英文标题：
The dark side of the forces: assessing non-conservative force models for atomistic machine learning
论文链接：
https://icml.cc/virtual/2025/poster/45458
简要介绍：
由洛桑联邦理工学院（EPFL）的研究人员探讨了在原子级机器学习中，直接预测力的非保守模型与传统能量守恒模型之间的差异。研究发现，虽然直接预测力的模型在计算上更高效，但它们在几何优化和多种分子动力学模拟中存在基本问题，如收敛性不佳和不稳定性。与旋转对称性不同，能量守恒难以通过数据学习、监测和校正。因此，该研究建议，利用直接力预测加速的最佳方法可能是将其与保守模型结合使用，从而在避免病态行为的同时，减少反向传播的额外成本。
核心图片：
(101) 🚀 学习平滑且富有表现力的原子间势能，用于物理性质预测
论文类别：AI for Science (AI4S)
论文英文标题：
Learning Smooth and Expressive Interatomic Potentials for Physical Property Prediction
论文链接：
https://icml.cc/virtual/2025/poster/45302
简要介绍：
由Meta AI等机构的研究人员提出，机器学习原子间势（MLIPs）在测试集上的低误差并不总能转化为在下游物理性质预测任务中的更佳结果。他们建议通过MLIP在分子动力学模拟中实际保持能量守恒的能力来对其进行测试。通过这种测试的模型，其测试误差与物理性质预测性能之间表现出更高的相关性。基于这些发现，研究者们改进了高表达能力的模型，并提出了eSEN，该模型在一系列物理性质预测任务（包括材料稳定性预测、热导率预测和声子计算）上取得了SOTA结果。
核心图片：
(102) 🔥 通过可扩展的马尔可夫高斯过程学习时变多区域大脑通信
论文类别：AI for Science (AI4S)
论文英文标题：
Learning Time-Varying Multi-Region Brain Communications via Scalable Markovian Gaussian Processes
论文链接：
https://icml.cc/virtual/2025/poster/44011
简要介绍：
由佐治亚理工学院等机构提出了自适应延迟模型（ADM），一个利用马尔可夫高斯过程从多区域神经记录中学习具有时变时间延迟的大脑通信的新框架。该方法将高斯过程与状态空间模型相结合，并采用并行扫描推理算法，从而能够高效地扩展到大型数据集，同时识别出随时间演变的并发通信模式。在合成和多区域神经记录数据集上的验证表明，ADM能够发现神经通信的方向性和时间动态性。
核心图片：
(103) 🚀 通过加权平均梯度外积，Grokking模算术的涌现
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Emergence in non-neural models: grokking modular arithmetic via average gradient outer product
论文链接：
https://icml.cc/virtual/2025/poster/46553
简要介绍：
由加州大学圣地亚哥分校等机构的研究人员发现，“Grokking”现象（即在训练精度达到100%后，测试精度才大幅提升）并非神经网络或梯度下降所特有。他们通过递归特征机（RFM）在模算术任务中复现了Grokking，并证明了RFM和神经网络都通过学习块循环特征变换来实现傅里叶乘法算法。该工作将Grokking现象归因于特征学习，并提出了新的“隐藏进展度量”，为理解复杂模型中的“涌现”能力提供了新视角。
核心图片：
(104) 🔥 用一份的力量：可证明且高效地微调大语言模型
论文类别：大型语言模型 (Large Language Models)
论文英文标题：
LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently
论文链接：
https://icml.cc/virtual/2025/poster/45618
简要介绍：
由伊利诺伊大学厄巴纳-香槟分校等机构的研究人员严格证明了在梯度下降过程中，LoRA适配器会与单步全量微调梯度（one-step full fine-tuning gradient）的特定奇异子空间对齐。基于这一理论，他们提出了LoRA-One算法，该算法通过使用单步全梯度信息来恰当初始化适配器，从而立即实现子空间对齐。LoRA-One不仅在理论上保证了线性的收敛速度和泛化能力，还在自然语言理解、数学推理和代码生成等多个基准测试中显著优于LoRA及其变体。
核心图片：
(105) 随机差分凸优化的在线自适应采样算法
论文类别：优化 (Optimization)
论文英文标题：
An Online Adaptive Sampling Algorithm for Stochastic Difference-of-convex Optimization with Time-varying Distributions
论文链接：
https://icml.cc/virtual/2025/poster/45324
简要介绍：
由明尼苏达大学等机构提出了一种在线自适应采样算法，用于解决时变分布下的随机非光滑差分凸（DC）问题。该算法在每次迭代中仅依赖当前分布生成的数据，并为DC函数的凸部和凹部采用不同的自适应采样率。研究证明，在分布收敛的适当条件下，该算法几乎必然地子序列收敛到DC临界点。此外，该算法的样本大小要求与静态分布下的光滑情况或存在可测子梯度选择器的情况相匹配。
(106) 🔥 无需调度，同样有效：无调度SGD在非凸优化中的应用
论文类别：优化 (Optimization)
论文英文标题：
General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
论文链接：
https://icml.cc/virtual/2025/poster/44560
简要介绍：
由Google DeepMind等机构的研究人员研究了无调度方法在非凸优化设置中的有效性，并证明了无调度SGD（SF-SGD）对于非光滑、非凸优化问题能达到最优的迭代复杂度。他们的证明始于开发一个通用的在线到非凸转换框架，该框架不仅恢复了现有的转换，还催生了两种新颖的转换方案。值得注意的是，其中一种新转换直接对应于SF-SGD，从而能够为其建立最优性。
(107) 🚀 广义平滑性下的非线性预处理梯度法
论文类别：优化 (Optimization)
论文英文标题：
Nonlinearly Preconditioned Gradient Methods under Generalized Smoothness
论文链接：
https://icml.cc/virtual/2025/poster/44248
简要介绍：
由鲁汶大学等机构的研究人员分析了用于解决光滑最小化问题的非线性预处理梯度法。他们引入了一种基于抽象凸性概念的广义平滑性属性，该属性比Lipschitz平滑性更广泛，并为其提供了充分的一阶和二阶条件。值得注意的是，该框架不仅囊括了与梯度裁剪方法相关的算法，还为最近广受关注的（L0, L1）-光滑函数类带来了新的见解，从而使其能够超越已有的方法。
核心图片：
(108) 🔥 时间差分流：高效学习长时程几何水平模型
论文类别：强化学习 (Reinforcement Learning)
论文英文标题：
Temporal Difference Flows
论文链接：
https://icml.cc/virtual/2025/poster/44320
简要介绍：
由Google DeepMind等机构的研究人员提出了时间差分流（TD-Flow），一种新方法，它利用新颖的贝尔曼方程在概率路径上的结构以及流匹配技术，来学习能够进行比先前方法长5倍以上的长时程预测的几何水平模型（GHM）。从理论上，他们建立了一个新的收敛结果，并将TD-Flow的有效性主要归因于训练期间梯度方差的减小。此外，他们还证明了类似的论点可以扩展到基于扩散的方法。
核心图片：
(109) 🔥 网络稀疏性解锁深度强化学习的扩展潜力
论文类别：强化学习 (Reinforcement Learning)
论文英文标题：
Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning
论文链接：
https://icml.cc/virtual/2025/poster/44160
简要介绍：
由悉尼大学、Mila等机构的研究人员发现，仅通过引入静态网络稀疏性，就可以解锁深度强化学习（DRL）模型超越其密集对应物的扩展潜力。该研究通过简单的一次性随机剪枝实现，即在训练前随机移除一定比例的网络权重。分析表明，与简单地扩大密集DRL网络规模相比，这种稀疏网络在网络表达性方面实现了更高的参数效率，并对可塑性损失和梯度干扰等优化挑战具有更强的抵抗力。
核心图片：
(110) 🚀 控制约束强化学习中的欠估计偏差以实现安全探索
论文类别：强化学习 (Reinforcement Learning)
论文英文标题：
Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
论文链接：
https://icml.cc/virtual/2025/poster/44096
简要介绍：
由上海交通大学等机构的研究人员提出了记忆驱动的内在成本估计（MICE）方法，以解决约束强化学习（CRL）中成本价值函数欠估计导致的大量约束违反问题。受人类闪光灯记忆的启发，MICE构建了一个记录先前探索过的不安全状态的记忆模块，从而识别高成本区域。内在成本被形式化为当前状态访问这些风险区域的伪计数，并通过一个外在-内在成本价值函数来减轻欠估计并促进更安全的探索。
核心图片：
(111) 通过自进化深度思考，小型LLM也能精通数学推理
论文类别：模型应用 (Model Application)
论文英文标题：
rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking
论文链接：
https://icml.cc/virtual/2025/poster/46400
简要介绍：
由微软等机构的研究人员推出了rStar-Math，证明了小型语言模型（SLM）在不经优越模型蒸馏的情况下，也能通过蒙特卡洛树搜索（MCTS）进行“深度思考”，从而在数学推理能力上与甚至超越OpenAI o1相媲美。rStar-Math通过新颖的代码增强CoT数据合成方法、过程偏好模型（PPM）训练方法以及自进化配方，成功地将SLM的数学推理能力提升至SOTA水平。
核心图片：
(112) 全动态欧几里得双色匹配的次线性更新时间算法
论文类别：模型应用 (Model Application)
论文英文标题：
Fully Dynamic Euclidean Bi-Chromatic Matching in Sublinear Update Time
论文链接：
https://icml.cc/virtual/2025/poster/43715
简要介绍：
由维也纳大学等机构的研究人员提出了首个具有次线性更新时间的全动态欧几里得双色匹配算法。对于任意固定的ε>0，该算法能实现O(1/ε)的近似，并在O(n^ε)的时间内处理点插入和删除等更新操作。该算法在估计两个分布之间的瓦瑟斯坦距离等应用中表现出色，其实验结果显示，其在动态环境中对分布漂移的监测效果显著，且运行时间远超基线近似算法。
核心图片：
(113) 🔥 ABKD：通过α-β-散度在知识蒸馏中追求概率质量的恰当分配
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
ABKD: Pursuing a Proper Allocation of the Probability Mass in Knowledge Distillation via
论文链接：
https://icml.cc/virtual/2025/poster/43650
简要介绍：
由中国人民大学、华为诺亚方舟实验室等机构提出了ABKD，一个基于α-β-散度的通用知识蒸馏框架。研究者发现，知识蒸馏的核心挑战在于平衡“困难度集中”（关注误差大的模式）和“置信度集中”（关注学生模型置信度高的模式）这两种效应。他们通过分析概率质量在梯度更新中的重新分配过程，指出前向和反向KLD（FKLD和RKLD）在这两种效应上表现出极端形式。ABKD通过α-β-散度提供了FKLD和RKLD之间的平滑插值，从而实现了这两种效应的有效权衡。
核心图片：
(114) 缺失数据下的分数匹配新方法
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Score Matching with Missing Data
论文链接：
https://icml.cc/virtual/2025/poster/44169
简要介绍：
由华威大学等机构的研究人员将分数匹配框架扩展到处理缺失数据。他们提出了两种通用的分数匹配变体：一种是重要性加权（IW）方法，另一种是变分方法。研究者为IW方法在有限域设置下提供了有限样本界，并证明其在小样本、低维情况下表现尤为出色。与之互补的是，他们的变分方法在更复杂的高维设置中表现更强，这一点通过在真实和模拟数据上进行图形模型估计任务得到了验证。
(115) 视频联合外观-运动表示法，增强视频模型的运动生成能力
论文类别：多模态 (Multimodality)
论文英文标题：
VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models
论文链接：
https://icml.cc/virtual/2025/poster/43541
简要介绍：
由Meta、特拉维夫大学等机构的研究人员提出了VideoJAM，一个通过鼓励模型学习联合外观-运动表示来为视频生成器灌输有效运动先验的新颖框架。该框架通过两个互补单元实现：训练时，将目标扩展到同时预测生成的像素及其对应的运动；推理时，引入一种名为“内部引导”的机制，利用模型自身演化的运动预测作为动态引导信号，以实现连贯的运动。VideoJAM在运动连贯性方面达到了SOTA性能，超越了极具竞争力的专有模型，同时也提升了生成视频的感知视觉质量。
核心图片：
(116) 位置：AI安全应优先考虑工作的未来
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Position: AI Safety should prioritize the Future of Work
论文链接：
https://icml.cc/virtual/2025/poster/40166
简要介绍：
由哥伦比亚大学等机构的研究人员提出，当前AI安全研究的重点过于狭窄，忽视了AI对工作未来的关键影响。该立场文件认为，AI安全研究应优先考虑AI对人类生计、劳动力市场结构和收入不平等的长期影响。研究者们从经济学理论的角度，强调了AI自动化带来的技术债务、技能差距扩大和共享繁荣下降等系统性风险，并呼吁建立一个以工人为中心的全球AI治理框架，以确保公平补偿机制和经济正义。
(117) 用期望签名学习：理论与应用
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Learning with Expected Signatures: Theory and Applications
论文链接：
https://icml.cc/virtual/2025/poster/43548
简要介绍：
由伦敦帝国理工学院等机构的研究人员为期望签名的经验离散时间估计器与其理论连续时间值之间的差距提供了收敛性结果，从而为基于期望签名的机器学习方法提供了更完整的概率解释。此外，当数据生成过程是鞅时，他们提出了一种简单的期望签名估计器修改方案，该方案具有显著更低的均方误差，并通过实验证明了其在提高预测性能方面的有效应用。
核心图片：
(118) 🔥 迈向实用之路：深入研究本地差分隐私图神经网络
论文类别：AI 安全、伦理与社会 (AI Safety, Ethics, and Society)
论文英文标题：
Going Deeper into Locally Differentially Private Graph Neural Networks
论文链接：
https://icml.cc/virtual/2025/poster/46579
简要介绍：
由北京信息科技大学等机构提出了UPGNET，一个基于本地差分隐私（LDP）的隐私保护图学习框架，旨在提高学习效用的同时保护用户数据隐私。该研究首先提出了一个三阶段流水线，系统地概括了节点特征的LDP协议，并分析出影响效用的两个关键因素：特征维度和邻域大小。基于此，UPGNET引入了高阶聚合器（HOA）层和节点特征正则化（NFR）层，分别用于扩大有效邻域和减少有效特征维度，从而显著提升了隐私保护图学习的效用。
核心图片：
(119) 🔥 一秒内获得近优决策树：SPLIT算法家族
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
Near-Optimal Decision Trees in a SPLIT Second
论文链接：
https://icml.cc/virtual/2025/poster/46182
简要介绍：
由杜克大学、不列颠哥伦比亚大学等机构的研究人员推出了SPLIT（SParse Lookahead for Interpretable Trees）算法家族，旨在实现最优决策树的准确性与贪心方法的扩展性之间的理想平衡。研究发现，并非所有子问题都需要被最优地解决才能找到高质量的树；在靠近叶子节点的地方，贪心法就足够了。这一洞察使得SPLIT比现有的最优方法快几个数量级，而性能损失却微不足道。
(120) 🔥 利用超团块转移改进的团块挑选算法，用于计数马尔可夫等价DAG
论文类别：理论与基础 (Theory and Foundations)
论文英文标题：
An Improved Clique-Picking Algorithm for Counting Markov Equivalent DAGs via Super Cliques Transfer
论文链接：
https://icml.cc/virtual/2025/poster/44137
简要介绍：
由东北师范大学等机构的研究人员提出了一种更高效的方法，用于生成无向连通分量（UCCG），通过利用先前为不同根团块计算的结果。他们引入了根团块树内“超团块”的概念，实现了在不同根团块的树之间高效转移。该算法有效降低了Clique-Picking方法的计算复杂性，特别是在团块数量远小于顶点和边数的情况下。
核心图片：
