上周 Arxiv 强化学习 RL 方向论文：Cold-RL等

本文收录8月17日至8月22日部分 RL 强化学习方向论文，解读由 Intern-S1、Qwen3 等 AI 生成可能有误。

(1) Cold-RL: Learning Cache Eviction with Offline Reinforcement Learning for NGINX

论文简介：

由Aayush Gupta等学者提出了Cold-RL，该工作针对NGINX代理服务器的缓存淘汰机制提出基于离线强化学习的优化方案，通过微秒级决策的双流DQN模型替代传统LRU算法，在保持生产环境稳定性的同时实现缓存命中率的显著提升。研究团队通过ONNX侧车服务实现模型推理，当缓存满载时从LRU尾部采样K个候选对象，提取对象年龄、大小、访问频次、到达间隔、剩余TTL和源站RTT等六维特征，经严格500微秒超时控制的策略推理生成淘汰掩码，超时则自动回退至原生LRU机制。训练阶段利用NGINX访问日志构建高保真缓存模拟器，采用+1奖励信号（对象在TTL内被再次访问）驱动策略学习，通过量化压缩至10K参数的紧凑模型实现L2缓存友好型推理。

实验表明，在25MB高压场景下Cold-RL将命中率从0.1436提升至0.3538（146%改进），100MB中压场景从0.7530升至0.8675（+15%），400MB低压场景保持与传统方法相当的0.918水平。生产环境部署显示该方案增加CPU开销低于2%，p95淘汰延迟控制在498微秒以内，三个月内实现23%的回源流量削减且零崩溃记录。论文通过特征消融实验证明各维度特征的必要性，并在Trap基准测试中展示对周期性爆发和扫描攻击的鲁棒性。该工作为微秒级系统决策引入机器学习提供了完整技术框架，验证了离线强化学习在生产环境关键路径的可行性。

论文链接：

https://hf.co/papers/2508.12485

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12485

(2) Results of the NeurIPS 2023 Neural MMO Competition on Multi-task Reinforcement Learning

论文简介：

由MIT、CarperAI等机构提出了NeurIPS 2023 Neural MMO竞赛，该工作通过构建大规模多智能体环境验证多任务强化学习算法，首次引入任务条件学习机制，要求智能体在推理阶段动态适应未见过的任务目标。竞赛吸引200+参与者，顶级方案在单卡4090上8小时训练实现4倍基线性能提升，并全面开源代码与模型权重。Neural MMO 2.0环境支持128智能体在动态经济系统中进行生存、战斗、交易等复杂交互，通过1297个训练任务与63个评估任务构建任务条件学习基准。竞赛特别设置PvE单策略评估与PvP多策略对抗双阶段测试，发现PvP环境下策略竞争反而提升任务完成率（如冠军方案从17.09%升至25.21%）。获奖方案主要优化方向包括：基线模型结构改进（如Yao Feng引入ResNet+LSTM架构）、奖励函数设计（如Mori采用阶段式奖励+遗传算法优化）、跨注意力机制应用（如Saidinesh实现智能体间任务信息共享）以及训练配置调优（如Jimyhzhu通过数据归一化提升泛化能力）。最终通过代码审查与复现验证确保公平性，发现种子选择对最终性能影响显著，前五名方案中有四名成功复现原始排名。该工作为多任务多智能体强化学习提供了标准化评估平台与可复现基线，所有资源已通过MIT协议开源。

论文链接：

https://hf.co/papers/2508.12524

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12524

(3) OS-R1: Agentic Operating System Kernel Tuning with Reinforcement Learning

论文简介：

由中科院软件所、国科大和新加坡南洋理工大学等机构提出了OS-R1，该工作通过规则强化学习实现自动化Linux内核调优，解决了传统方法在效率、可扩展性和泛化性上的局限性。OS-R1将内核配置空间抽象为RL环境，设计了包含格式标准化、配置准确性及系统性能感知的复合奖励函数，并采用两阶段训练策略加速收敛。通过构建包含3000+有效配置样本的数据集，模型在有限训练数据下实现跨场景泛化能力。实验表明，OS-R1相比启发式调优最高提升5.6%性能，数据效率显著优于基线方法，在Nginx、Redis和PostgreSQL等真实场景中展现出稳定优化能力。该框架通过工具增强推理机制确保配置有效性，平衡了探索与利用的策略优化，为操作系统自动化优化提供了新的技术范式。相关数据与代码已开源，推动了RL在系统级优化的前沿探索。

论文链接：

https://hf.co/papers/2508.12551

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12551

(4) Game-Theoretic and Reinforcement Learning-Based Cluster Head Selection for Energy-Efficient Wireless Sensor Network

论文简介：

由M. Eskandarpour等伊朗科学与技术大学研究人员提出了基于博弈论和强化学习的无线传感器网络能效优化簇头选择机制，该工作通过多阶段动态聚类策略与自适应能量分配模型，显著延长了网络生命周期。研究将无线传感器网络建模为多智能体强化学习系统，结合博弈论的效用优化特性，设计了两种混合算法架构：其一采用博弈论进行分簇决策，通过定义能量剩余、通信距离和邻接节点数的效用函数实现初始聚类，再利用Q-learning算法动态选择簇头；其二则以强化学习完成分簇过程，通过状态空间（能量等级、邻接节点数、簇成员状态）和奖励机制优化分簇结构，再以博弈论效用函数确定簇头。两种方法均通过多阶段递归聚类（通常3层）筛选最终簇头，确保能量消耗均衡。实验表明，纯强化学习方案在能量均衡性（方差降低40%）、网络寿命（延长51%）和收敛速度方面表现最优，而混合方案在保持算法稳定性的同时兼顾了动态适应能力。该方法通过单跳路由机制降低通信开销，利用Q-learning的ε-greedy策略平衡探索与利用，并通过自适应学习率和经验回放机制提升学习效率。研究成果为大规模无线传感器网络的能效管理提供了兼具理论创新与工程实践价值的解决方案。

论文链接：

https://hf.co/papers/2508.12707

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12707

(5) REACH: Reinforcement Learning for Efficient Allocation in Community and Heterogeneous Networks

论文简介：

由深圳大学等机构提出了REACH（Reinforcement Learning for Efficient Allocation in Community and Heterogeneous Networks），该工作针对社区GPU平台的极端硬件/软件异构性、资源波动性和网络不确定性问题，设计了一种基于Transformer的强化学习调度框架。REACH通过将任务调度建模为马尔可夫决策过程（MDP），创新性地将组合优化问题转化为线性复杂度的序列评分问题，利用Transformer的全局建模能力动态平衡性能、可靠性、成本和网络效率。其核心贡献包括：1）提出端到端深度强化学习调度算法，通过Actor-Critic架构实现任务与GPU的智能匹配；2）在模拟实验中将整体任务完成率提升17%，高优先级任务成功率从30.3%提升至63.6%；3）在GPU掉线率提升16倍的极端压力测试中保持95%以上的截止时间满足率，展现出强鲁棒性；4）通过数据本地化调度使80%任务避免带宽惩罚，显著降低通信开销。实验基于包含动态网络建模和异构资源仿真的测试平台，验证了REACH在大规模高竞争场景下的可扩展性，以及Transformer架构在捕捉多节点时空依赖关系上的关键作用。该研究证明了智能调度算法可将社区GPU平台转化为可靠、高服务质量的分布式AI基础设施，为边缘计算等异构资源管理提供了新范式。

论文链接：

https://hf.co/papers/2508.12857

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12857

(6) Towards Open-Ended Emotional Support Conversations in LLMs via Reinforcement Learning with Future-Oriented Rewards

论文简介：

由香港浸会大学和腾讯Jarvis实验室提出了RLFF-ESC框架，该工作通过强化学习与未来导向奖励机制，直接训练大语言模型生成具有长期情感支持效果的开放式对话响应。针对传统情感支持系统依赖预定义策略导致灵活性不足的问题，研究者设计了多智能体对话模拟模块，利用LLM模拟用户、系统和评论者角色，通过生成未来对话轨迹评估响应的长期情感影响，并构建了包含思维格式奖励和未来导向奖励的复合奖励函数。实验采用Group Relative Policy Optimization算法优化LLM策略模型，在ESConv和ExTES两个数据集上验证，Qwen2.5-7B-Instruct模型实现41.5%的任务成功率，超越LLaMA-405B等更大规模模型。该方法在保持对话流畅性、共情能力、问题识别和建议质量等维度均显著优于现有基线方法，尤其在焦虑、抑郁等复杂情感场景中表现出更强的适应性。通过显式推理过程引导和未来影响评估机制，该框架为构建具有持续情感关怀能力的对话系统提供了新范式。

论文链接：

https://hf.co/papers/2508.12935

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12935

(7) OPTIC-ER: A Reinforcement Learning Framework for Real-Time Emergency Response and Equitable Resource Allocation in Underserved African Communities

论文简介：

由Mary Tonwe等研究者提出了OPTIC-ER（Optimized Policy for Timely Incident Coordination in Emergency Response），该工作构建了一个基于强化学习的实时应急响应与资源分配框架，旨在解决非洲欠发达地区长期存在的响应延迟、资源短缺和空间分配不公问题。核心创新包括：（1）注意力引导的演员-评论家架构，通过上下文丰富的状态向量编码空间-时间特征，并设计线性惩罚的精确奖励函数，使模型在数据受限条件下实现稳定高效的学习；（2）基于真实基础设施数据构建的高保真模拟环境，包含预计算的旅行时间图谱（Travel Time Atlas）和人口密度加权的事件生成机制；（3）TALS方法论框架（Thin computing, Adaptability, Low-cost, Scalability），为低资源场景下的AI系统开发提供可复用范式；（4）双用途治理工具，自动生成基础设施缺陷地图和公平性监测仪表盘，将应急响应数据转化为政策制定依据。实验显示，OPTIC-ER在2000个训练事件和500个未见挑战事件中均达到100%最优决策率（基于最短路径标准），响应时间误差为0，相较最近邻启发式方法减少17.37分钟平均延迟。该框架通过地理空间数据与强化学习的深度融合，实现了从反应式物流到主动式治理的范式转变，为资源受限地区的公共服务智能化提供了可扩展的技术路径。

论文链接：

https://hf.co/papers/2508.12943

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12943

(8) Breaking Reward Collapse: Adaptive Reinforcement for Open-ended Medical Reasoning with Enhanced Semantic Discrimination

论文简介：

由复旦大学、中科院自动化所等机构提出了ARMed框架，该工作针对医疗多模态问答中静态语义奖励导致的奖励坍塌问题，通过自适应语义奖励强化学习与医学知识注入策略，显著提升了模型在开放域医疗问答任务中的推理能力与泛化性能。研究发现，传统基于BERTScore等绝对值的语义奖励存在分布集中、区分度不足的问题，导致强化学习过程中梯度信号弱化。ARMed通过动态调整奖励阈值并引入非线性映射函数，使奖励分布方差提升3-4倍，有效缓解了奖励坍塌现象。实验在VQA-RAD、SLAKE等6个医疗视觉问答数据集上验证，ARMed在领域内任务准确率提升32.64%，领域外任务提升11.65%，其中在PMC-VQA数据集上超越参数量两倍的HuatuoGPT-Vision模型。该方法创新性地将组相对策略优化(GRPO)与动态语义奖励结合，通过三阶段训练范式（奖励驱动预训练-知识增强微调-奖励优化精调）实现医学推理能力的螺旋式提升，为医疗多模态模型的可解释优化提供了新范式。研究同时提出混合语义评分(HSS)指标，融合词法重叠与语义相似度评估，为开放域医疗问答任务建立了更全面的评价体系。

论文链接：

https://hf.co/papers/2508.12957

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.12957

(9) Manipulate-to-Navigate: Reinforcement Learning with Visual Affordances and Manipulability Priors

论文简介：

由阿尔托大学等机构提出了Manipulate-to-Navigate方法，该工作针对动态环境中移动机械臂需主动操作障碍物以实现导航的挑战，提出结合可操作性先验与视觉可及性地图的强化学习框架。传统方法将导航与操作分离，难以应对需先操作后导航的场景，而该方法通过预计算机器人运动学结构生成的可操作性地图，引导机械臂选择高灵活性姿态，同时利用无需训练的视觉基础模型提取可及性特征，动态筛选有效操作区域。这种双约束机制显著减少无效探索，提升强化学习样本效率。

研究团队设计了Spot-Reach和Spot-Door两个模拟任务：前者要求机械臂末端固定于目标区域后推动基座前进，后者需推开门帘并保持姿态以清空路径。实验显示，相比纯DDQN算法，融合可操作性先验（DDQN-P）和可及性地图（DDQN-A）的DDQN-AP方法，在Reach任务中训练效率提升3倍，1000步内达到85%成功率，Door任务中也表现出更强稳定性。更关键的是，该方法成功迁移到波士顿动力Spot机器人实体平台，在真实场景的Reach任务中实现80%成功率，最大基座移动距离达0.5米。

该方法创新性地将机器人本体结构先验与视觉语义引导结合，为移动操作领域提供了高效学习范式。通过像素级动作空间设计实现虚实迁移，其双约束机制在保证操作可行性的同时加速策略收敛，为复杂动态环境中的机器人自主交互提供了可扩展的技术路径。

论文链接：

https://hf.co/papers/2508.13151

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13151

(10) ProMed: Shapley Information Gain Guided Reinforcement Learning for Proactive Medical LLMs

论文简介：

由北京大学等机构提出了ProMed，该工作针对医学大语言模型在临床咨询中被动应答导致误诊的问题，提出基于Shapley信息增益引导的强化学习框架，赋能模型主动提问能力。核心创新在于Shapley信息增益（SIG）奖励机制，通过合作博弈论中的Shapley值量化医学事实的临床重要性及交互作用，精准评估问题的诊断价值。方法包含两个阶段：SIG引导的蒙特卡洛树搜索（MCTS）生成高质量交互轨迹进行监督微调，以及SIG增强的策略优化，通过新颖的奖励分配机制将轨迹级奖励分解到具体问题，实现细粒度策略更新。实验在MedQA和CMB两个医学问答基准上验证，ProMed较现有方法平均提升6.29%，相较于被动应答提升54.45%，并展现出跨领域的泛化能力。研究还构建了首个面向主动医疗问答的公开数据集，为后续研究提供基础。该框架通过动态量化信息价值和针对性优化，有效推动医学大模型从被动应答向主动诊断范式转变，为临床决策支持提供新思路。

论文链接：

https://hf.co/papers/2508.13514

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13514

(11) Toward Better EHR Reasoning in LLMs: Reinforcement Learning with Expert Attention Guidance

论文链接：

https://hf.co/papers/2508.13579

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13579

(12) Breaking the SFT Plateau: Multimodal Structured Reinforcement Learning for Chart-to-Code Generation

论文简介：

由美团等机构提出了Multimodal Structured Reinforcement Learning (MSRL)，该工作系统性探究了监督微调(SFT)在图表转代码任务中的性能瓶颈，并通过多模态结构化强化学习策略突破这一限制。研究构建了包含300万图表对的最大规模数据集，通过真实学术图表数据生成多样化代码样本。实验发现单纯扩大SFT数据量会导致性能饱和，进而提出MSRL框架：在文本层面采用五维度规则奖励验证代码细节，在视觉层面通过渲染图表与原图对比生成结构相似性奖励，并设计两阶段课程学习先优化文本奖励再融合视觉信号。该方法在ChartMimic和ReachQA基准测试中分别提升6.2%和9.9%，首次使开源模型性能超越所有现有开源方案并接近闭源模型GPT-4o，在执行率、低层级和高层级指标上均取得新SOTA。研究同时揭示了SFT在代码生成任务中的固有局限，为多模态强化学习策略设计提供了重要参考。

################# 分割行，以下为论文原始材料 #############

论文链接：

https://hf.co/papers/2508.13587

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13587

(13) MACTAS: Self-Attention-Based Module for Inter-Agent Communication in Multi-Agent Reinforcement Learning

论文简介：

由华沙大学等机构提出了MACTAS，该工作设计了一种基于Transformer的多智能体通信模块，通过自注意力机制实现智能体间状态共享，解决了传统MARL通信协议复杂且非可微的问题。该模块可无缝集成到任意动作值分解方法中，参数量与智能体数量无关，显著提升扩展性。在SMAC基准测试中，MACTAS与QMIX结合在27m_vs_30m地图达到SOTA，与VDN结合在3s5z_vs_3s6z地图表现最优，整体性能超越MAIC等主流通信方法。研究还提出结合ε-greedy与Boltzmann的混合探索策略，有效缓解多智能体策略陷入次优纳什均衡的问题。实验表明，MACTAS在6/18种算法组合中实现训练曲线和最终性能的双重优势，其模块化设计便于通过Transformer变体快速部署，为MARL通信机制提供了兼具性能与实用性的新范式。

论文链接：

https://hf.co/papers/2508.13661

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13661

(14) Reinforcement Learning-based Adaptive Path Selection for Programmable Networks

论文链接：

https://hf.co/papers/2508.13806

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13806

(15) Revisiting Diffusion Q-Learning: From Iterative Denoising to One-Step Action Generation

论文简介：

由韩国科学技术院等机构提出了One-Step Flow Q-Learning（OFQL），该工作针对Diffusion Q-Learning（DQL）在离线强化学习中依赖多步去噪导致的效率瓶颈，提出基于Flow Matching框架的单步动作生成方法。研究发现DQL的性能瓶颈源于扩散模型的多步采样机制，其马尔可夫链特性导致训练需重复计算K步去噪过程，且反向传播需通过完整去噪链造成梯度不稳定。OFQL通过重构扩散过程为流匹配框架，将传统边际速度场建模改进为平均速度场学习，使动作生成从多步迭代变为单步直接预测。核心创新在于引入平均速度场（average velocity field）参数化策略，通过积分区间位移除以时间间隔的数学转换，实现从噪声到动作的直线生成轨迹。实验表明，OFQL在D4RL基准测试中平均得分从DQL的88.0提升至92.5，训练时间从49.5小时（50步）降至6.3小时，推理频率达到496.1Hz（DQL 5步为238.7Hz）。特别在中等规模任务中，OFQL对DQL的提升幅度达+12.7分，验证了单步生成对复杂动作分布的建模优势。该方法在保持策略表达能力的同时，彻底消除多步采样依赖，为离线强化学习提供了兼顾效率与性能的新范式。

论文链接：

https://hf.co/papers/2508.13904

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13904

(16) Convergent Reinforcement Learning Algorithms for Stochastic Shortest Path Problem

论文简介：

由印度科学研究所计算机科学与自动化系提出了一种解决随机最短路径（SSP）问题的强化学习算法框架，该工作针对表格设置和函数逼近设置分别提出了Actor-Critic、Critic-Actor及Actor-Critic算法，并通过严格的数学证明展示了所有算法的渐近几乎必然收敛性。SSP问题作为强化学习中的核心问题，其最优解可转化为其他成本准则（如有限时域、折扣成本等）的等价形式，具有重要的理论价值。

在表格设置中，研究者设计了双时间尺度的Actor-Critic（AC）和Critic-Actor（CA）算法。AC算法通过快速更新的值函数（critic）引导慢速更新的策略（actor），而CA算法则通过交换时间尺度实现类似值迭代的优化过程。实验表明，在FrozenLake环境（4x4/8x8）中，两种算法在采用理论支持的软最大化探索策略时，显著优于传统Q-Learning和SARSA算法，尤其在8x8复杂环境中保持稳定收敛能力。

针对高维状态空间场景，研究者进一步提出了基于线性函数逼近的Actor-Critic算法（AC-FA）。该算法通过双时间尺度设计确保策略更新与值函数逼近的协同收敛，并在理论层面证明了其在满足线性独立特征假设下的几乎必然收敛性。实验对比显示，AC-FA在诊断性MDP环境中成功收敛，而Q-Learning线性逼近（Q-LFA）因离策略特性发散；与SARSA线性逼近（SARSA-LFA）相比，AC-FA有效避免了参数振荡问题，且无需依赖理论不健全的温度衰减策略。

该研究突破了传统强化学习算法在SSP问题中的收敛性瓶颈，首次提供了函数逼近场景下可靠收敛的解决方案。实验结果验证了算法在不同规模环境中的有效性，为强化学习在路径规划、机器人控制等实际场景的应用提供了重要理论支撑。

论文链接：

https://hf.co/papers/2508.13963

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.13963

(17) ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents

论文简介：

由清华大学、智谱AI和中国科学院团队提出了ComputerRL框架，该工作通过API-GUI交互范式革新、大规模强化学习基础设施构建和Entropulse训练策略创新，显著提升了计算机使用代理在复杂数字工作空间中的操作能力。核心贡献包括：1）首创API-GUI融合范式，通过LLM驱动的自动化API生成系统，将程序化接口与GUI操作结合，突破人机交互界面的固有适配障碍，实现跨应用操作效率提升3倍以上；2）构建基于Docker和gRPC协议的分布式训练平台，支持千级虚拟桌面环境并行运行，结合AgentRL框架实现异步训练加速，使训练吞吐量提升400%；3）提出Entropulse算法，通过RL与监督微调阶段交替执行，在OSWorld基准测试中成功将熵值恢复至0.85以上，推动策略持续优化。实验表明，基于GLM-4-9B-0414构建的AutoGLM-OS-9B在OSWorld基准测试中达到48.1%的准确率，较OpenAI CUA o3提升64%，在多应用协作场景中展现突出优势。该框架在LibreOffice办公套件操作、系统资源监控等复杂任务中，仅需传统方法1/3的操作步骤即可完成任务，为端到端桌面自动化代理的发展树立了新标杆。

论文链接：

https://hf.co/papers/2508.14040

PaperScope.ai 解读：

https://paperscope.ai/hf/2508.14040