让Code Agent从自己的错误中进化：ReTerm探索失败驱动的RSI

代码写错了、命令报错了、环境配坏了，Code Agent 接下来会做什么？

在复杂终端任务中，一次错误往往会引出一串无效操作：重复安装已经装好的依赖，沿着错误假设继续修改代码，直到耗尽预算、任务失败。这些失败，能不能反过来成为 Agent 自我改进的训练材料？

来自复旦大学、香港中文大学 MMLab 和上海交通大学的研究者提出 ReTerm，让终端智能体尝试恢复自己造成的失败，再从恢复结果中学习，探索一条由自身错误驱动的递归自我改进（Recursive Self-Improvement，RSI）路径。

这项工作的关键，是把「自己遇到问题、自己尝试恢复、根据成败更新参数」接入同一个训练闭环。模型变了，它产生的失败也会变化，新的失败又继续成为下一轮学习的起点。

论文链接：https://arxiv.org/abs/2610.18484
代码、模型与数据：https://github.com/twothsnd/ReTerm
Hugging Face Paper：https://huggingface.co/papers/2610.18484

为什么会做任务的 Agent

仍然容易卡在错误里

终端环境中的纠错，比修改一道推理题的答案更复杂。错误操作可能已经改动文件、安装依赖或启动进程；后续动作面对的，是一个被前面操作改变过的环境。要继续完成任务，Agent 必须理解已经发生了什么，并判断究竟哪里出了问题。

论文中的 PyStan 案例很直观：软件包明明已经安装，执行 import pystan 却仍然报错。标准 GRPO 训练的模型反复尝试导入、卸载和重装，始终没有跳出错误方向。ReTerm-GRPO 训练的模型则检查安装路径，发现实际模块位于 stan 目录，进而使用 import stan 找到恢复方向。

如何让这种恢复行为更稳定地出现？只从干净环境学习成功轨迹，很难充分覆盖真实失败后的复杂状态；人工注入的错误，也未必符合模型实际会犯的错。ReTerm 把训练起点放在了 Agent 自己执行任务后留下的失败现场。

ReTerm-10K 先让模型学会接手失败现场

团队构建了 ReTerm-10K，为模型提供恢复示范：先收集基础模型自己做失败的任务，再请更强的教师模型接手，示范如何检查问题、修复错误并完成任务。

经过成功验证和质量筛选，团队得到约一万条恢复轨迹，用于支持冷启动训练。模型先从示范中学会恢复，再在在线强化学习中探索如何解决自己新遇到的问题。

ReTerm-GRPO 让自己的失败

进入下一轮训练

ReTerm-GRPO 的思路很直接：让 Agent 自己尝试修复自己的错误，再根据修复结果学习。

Agent 执行任务失败后，系统保留当时的环境和操作记录，从同一个失败现场出发，让它独立尝试多种恢复办法。哪些尝试最终完成了任务，就由任务验证器来判断。

这些恢复尝试的成败会转化为强化学习信号，更新模型参数，让 Agent 学会更有效地诊断问题、修复错误。

自我改进就发生在这个循环中：模型不断遇到自己的问题，自主尝试恢复，再从结果中学习。随着能力变化，新产生的失败继续进入训练，推动恢复能力与任务求解能力一起提升。

9B 模型在三个主要评测上同步提升

在覆盖终端操作与软件工程的三个主要评测中，ReTerm-9B 相比基础模型均取得超过 13 个百分点的提升：

Terminal-Bench 2.0：20.2% → 34.8%，提升 14.6 个百分点。
SWE-bench Verified：45.2% → 58.4%，提升 13.2 个百分点。
OpenThoughts-TBLite：44.2% → 60.6%，提升 16.4 个百分点。

9B 模型也能展现出较强的任务求解能力。在三个主要评测中，ReTerm-9B 均取得明显提升，在同规模模型中表现出较强竞争力，并在部分评测上取得优于更大参数规模模型的结果。这说明，从自身失败中学习恢复，是提升终端智能体能力的一条有效路径。

其中，ReTerm 与 Qwen3.5-9B 使用相同运行框架和评测配置，能直接观察恢复训练带来的增益；其他模型的数据来自各自论文或官方发布，运行配置可能不同。

换一套运行框架换一类任务仍然有效

换一套运行框架，提升依然存在。在相同的 Terminal-Bench 2.0 任务上，ReTerm 在三套不同运行框架下均优于基础模型，保留了 6.7–12.4 个百分点的增益，说明收益能够迁移到不同的交互设置。

恢复训练的收益还延伸到了数学推理和表格操作。 AIME 2025 的 Pass@1 从 73.3% 提升至 93.3%，SpreadsheetBench Verified 从 37.8% 提升至 48.8%；AIME 2024 和 Aider Polyglot 也取得提升，展现出跨任务领域的泛化潜力。

提升来自更有效的恢复

消融实验进一步回答了一个关键问题：显式训练恢复能力，到底比常规强化学习多带来了什么？

消融实验进一步验证了恢复训练的作用。在 Terminal-Bench 2.0 上，恢复示范 SFT 将表现从 20.2% 提升至 25.8%，标准 GRPO 达到 28.0%，ReTerm-GRPO 则达到 34.8%。在常规强化学习基础上，专门优化恢复行为又带来了 6.8 个百分点的增益。

任务完成率提高的同时，Agent 也更善于从错误中恢复。在规划、工具使用、代码实现、验证和资源管理五类错误上，ReTerm-GRPO 的恢复率均高于基础模型和标准 GRPO，表明恢复训练的收益体现在多种执行场景中。

这些结果说明，ReTerm 更有机会在出错后调整方向，并继续完成任务。不过，除工具使用外，其余四类错误的恢复率仍未超过 32%，也为后续的改进留下了空间。

把失败变成下一轮自我改进的起点

ReTerm 展示了一条具体的 Agent 自我改进路径：让模型保留自己留下的失败现场，自主尝试恢复，再用可验证的任务结果训练下一轮策略。失败从一次执行的终点，变成了后续学习的材料。

这项工作为失败驱动的 RSI 提供了一个可实验、可分析的切入点。随着策略演进，模型可以不断面对自己新产生的问题，让恢复能力与任务求解能力在同一训练过程中共同发展。

研究团队已公开代码、模型与数据，欢迎关注和交流。

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com