面对桌上的杯子，机器人第一次抓取失败了。它调整姿态，再次尝试，终于将杯子拿了起来。

这说明机器人能够根据反馈纠正动作。但一个更进一步的问题是：下一次遇到类似情况，它是否能利用这次经验，更可靠地完成任务？

对机器人而言，完成眼前的任务，与把经验积累为长期能力，是两个相互关联、却并不相同的问题。

近年来，随着视觉—语言—动作模型（VLA）、智能体和机器人基础模型的发展，机器人已经能够理解指令、调用工具、组合技能，并在执行失败后重新规划。与此同时，越来越多研究开始探索：能否让机器人主动总结经验、构建新技能，甚至修改自身的执行流程？

这正是机器人自我改进研究关注的问题。

来自 ALLE AI、香港科技大学（广州）、中国科学院自动化研究所、南洋理工等大学的研究者联合撰写综述《Toward Self-Improving Robotic Agents：From Interaction Experience to Reusable Manipulation Capabilities》，围绕截至 2026 年 10 月选取的 162 篇代表性研究，系统梳理机器人操作中的执行机制、能力获取方式与实验证据。

这篇综述关注一条贯穿不同技术路线的主线：交互经验究竟改变了系统的什么部分，这些变化如何被后续任务使用，又在什么条件下带来可验证的进步？

● 论文标题：Toward Self-Improving Robotic Agents：From Interaction Experience to Reusable Manipulation Capabilities

● 项目链接：githcs2.github.io/self-improving-robotic-agents

01  从完成任务到积累能力：机器人为何需要自我改进？

机器人能够在一次执行中调整动作，并不意味着它已经学会了可以长期复用的新能力：

抓取失败后重新观察物体、换一个角度再试，可能只是当前任务中的反馈控制。如果任务结束后，这些调整没有被保留，下一次执行仍然可能从同样的错误开始。

当系统将失败原因整理成操作指导、构建可调用的抓取程序，或者更新控制策略，并在后续任务中使用这些变化时，研究问题就进入了能力获取与积累的范畴。

针对这一区别，综述将机器人系统组织为两条相互连接的主线。

执行过程：利用现有能力完成当前任务。

机器人需要理解目标、感知环境、选择技能、生成动作，并根据反馈监控进展与恢复执行。在这一过程中，系统可以不断调整当前决策，而不必改变长期保留的能力配置。

能力获取：将经验转化为后续可用的系统变化。

系统从交互轨迹、执行反馈或外部指导中提取经验，生成候选更新，经过验证后将其保留，并在后续执行或学习中使用。

两条主线共同构成了从“做完这一次”到“帮助下一次”的连接。

因此，判断机器人是否在进步，需要追踪完整的过程：经验从哪里来，更新发生在哪里，后续如何调用，以及最终是否改善了操作表现。

02  自我改进，究竟在改进什么？

谈到机器人学习，人们往往首先想到训练模型、更新参数。但在智能体式机器人系统中，影响操作表现的组件远不止底层动作模型。

综述按照更新内容及其被使用的方式，梳理了几类主要对象。

记忆与操作指导

机器人可以把交互经验整理为文字规则、操作建议或结构化知识，在后续任务中检索使用。

这些内容可以帮助系统更准确地描述目标、选择技能或处理失败。例如，一条关于接近方向的操作建议，可能改变下一次抓取的规划过程。

关键在于，保存了多少经验并不直接代表能力提升。相关信息还需要在合适的时机被调用，并能够改善实际执行。

可执行技能与程序

另一类方法将经验转化为能够重复调用的技能、程序或行为组合。

与文字指导相比，这些更新更直接地规定了机器人应该执行哪些步骤。但技能复用也有条件：它需要在合适的初始状态下启动，并为后续操作留下可用的环境状态。

一个能够成功接近物体的程序，如果让机械臂停在无法继续抓取的位置，就仍然难以支持完整任务。

执行框架与工具接口

机器人如何组织上下文、选择工具、分派任务、检查结果和触发恢复，同样会影响最终表现。

这类方法修改的是连接不同模块的执行流程。即使底层动作模型保持不变，更合适的指令组织与调用方式，也可能带来操作收益。

神经网络参数

参数更新可以作用于动作策略，也可以作用于感知表征、推理模块或结果验证器。

不同更新对应不同瓶颈。改善一个判断任务是否完成的验证器，与重新训练一个抓取策略，虽然都涉及神经网络学习，但影响执行的路径并不相同。

仿真环境、奖励与训练流程

系统还可以修改仿真环境、奖励函数或训练方案，为后续能力学习创造条件。

这类更新通常通过进一步训练影响机器人表现。因此，评估时需要继续追踪：新的学习资源最终产生了什么能力，以及这些能力是否在后续操作中发挥作用。

这些方向说明，自我改进包含多个层次。找到失败发生在哪个环节，再选择合适的更新对象，是连接经验与能力的重要一步。

03  从一次失败到可复用能力，中间还需要什么？

识别出需要修改的组件，只是能力获取的起点。要让一次交互真正帮助后续任务，还需要完成经验收集、失败诊断、候选构建、验证与部署等环节。

收集经验：决定从哪里学习

经验可以来自机器人自主尝试、人类示范、交互式指导，也可以来自仿真中的探索。

不同来源对应不同成本与能力边界。真实机器人多尝试一次，可能需要重新摆放物体、恢复工作空间，或者由人类介入处理异常。因此，交互次数需要与复位和人工成本一起考虑。

诊断失败：判断究竟哪里出了问题

同样一次抓取失败，可能源于物体位置估计不准、任务分解不合理、接触条件变化，也可能是系统错误判断了执行结果。

如果没有区分这些原因，就直接修改提示词或动作策略，更新可能无法解决问题，还可能引入新的错误。

值得探索的方向，是让机器人提出不同的失败假设，并通过有针对性的观察或试探动作收集证据，再决定修改什么。

构建与验证：判断新方案是否值得保留

候选更新可以是一条操作规则、一段新程序、一个修改后的执行流程，也可以是一组新参数。

但生成候选方案，并不代表它已经成为有效能力。系统还需要检查它能否改善完整任务，是否破坏原有能力，以及能否在新的条件下继续使用。

综述讨论的一个案例中，局部接近动作通过了可达性检查，却使后续抓取无法完成。这说明，单个步骤的验收标准，还需要考虑下一步操作的要求。

部署与复用：让经验进入下一次执行

经过验证的更新，需要被持久保存，并由后续任务实际加载、检索或调用。

这一过程还必须面对物理世界的变化。软件记录中“物体仍在夹爪里”，并不能保证物体没有滑落；恢复旧版本程序，也不会让桌上的物体自动回到原位。

因此，可靠的能力复用既需要软件层面的管理，也需要重新确认环境状态与执行条件。

04  梳理 162 篇研究后，现有证据支持到哪一步？

机器人能够生成技能、保存经验，或者在某组任务上获得更高分数，分别支持不同强度的结论。

为了区分这些差异，综述提出了五级证据框架，并按照每项研究中一条连贯实验链所支持的最高等级进行归类。

这一框架描述的是所检查研究的证据范围，不是对系统整体质量的统一排名。其中，L5 是本综述提出的联合标准。

保留经验已经较为普遍，但还需要验证它的实际收益

在所选研究中，70 项被归为 L3：它们已经展示了更新内容的持久保存与后续使用，但尚未形成满足本综述 L4 条件的完整证据链。

这并不意味着这些方法无效。它提示我们，除了展示系统“记住了什么”，还需要明确对照设置、评估边界，以及改进究竟来自哪个组件。

底层动作模型不变，系统仍可能获得进步

综述整理的研究表明，保留的操作指导、技能程序和执行流程，都可能帮助固定的动作模型更好地完成任务。

例如，在 SHAPER 的一组仿真实验中，基线、仅更新文字技能指导、仅更新执行框架，以及联合更新的成功率分别为 28.25%、33.50%、30.50% 和 34.50%。

这一结果说明，在该实验设置下，高层指导与执行组织是有效的改进对象。但不同组件的贡献仍需要通过相应对照加以区分，不能仅凭整体分数提升就归因于某一模块。

平均表现提升，仍可能伴随具体任务退化

学习新能力之后，机器人可能解决了过去的失败案例，也可能失去原本能够完成的操作。

综述中的 Policy-Level RSI 案例，在所报告的 RoboTwin 对比中修复了 19 个基线失败，同时引入了 8 个退化案例。

因此，评估更新时既要看新增收益，也要重新检查原有成功任务。局部技能测试与完整任务测试，同样需要分别报告。

仿真中的积极进展，还需要连接到真实硬件上的完整证据

在 65 项 L4 研究中，36 项的获认可收益来自仿真，22 项来自真实硬件，7 项同时覆盖两者。

对于更进一步的可重复获取，综述也记录了积极结果。例如，Conquer 在有界仿真任务流中同时提供了重复获取、任务迁移与旧能力保留的证据。

但依据本综述额外要求的干预标准与成本核算，尚无所检查的实验链满足 L5 的全部条件。真实硬件上，独立重复的能力获取、迁移、旧能力保留以及明确的人工与复位成本记录，仍需要在同一套实验中得到联合支持。

没有满足这一联合标准，不等于已有方法没有改进能力；没有报告某项成本，也不等于该成本为零。

05  下一步：让能力积累更加可靠、可验证

结合现有机制与证据，综述提出了几个值得持续关注的研究方向。

从失败后重试，走向有针对性的诊断

机器人需要更清楚地判断，失败来自感知、规划、控制还是结果验证，并通过能够区分这些原因的交互获取证据。

这有助于减少无效更新，也让每一次试验更直接地服务于能力改进。

从单个技能通过测试，走向完整任务可靠完成

技能之间需要形成有效衔接：前一个步骤结束后的状态，应当满足后一个步骤的启动条件。

未来评估需要同时检查局部技能表现、上下游兼容性与完整任务成功率，验证局部更新是否真正改善整体行为。

从展示一个有效更新，走向验证获取过程的可重复性

将同一个新技能反复运行，可以衡量执行是否稳定。但要判断学习过程是否可靠，还需要从明确的初始资源出发，独立重复能力获取。

与此同时，最终测试应与候选构建和选择分开，并在连续更新后重新评估旧任务，检查迁移、保留与退化。

将自主复位与人工成本纳入系统评估

机器人能否自主恢复工作空间，直接影响它能否持续收集经验。

除了运行时的人工接管，示范、环境搭建、工程维护、标注、复位、异常救援和评估投入，也需要被明确记录，并区分前期一次性投入与持续发生的成本。

这些方向共同指向一个目标：让机器人产生的新能力能够在不同任务和更新周期中持续发挥作用，并让这种进步有清晰、可重复检查的证据。

小结

机器人自我改进研究正在把关注点从单次任务执行，拓展到交互经验如何转化为可复用能力。

这篇综述通过 162 篇代表性研究，将执行接口、更新对象、能力获取过程与实验证据连接起来，提供了理解这一领域的统一视角。

现有研究已经表明，文字指导、技能程序、执行框架和神经网络更新，都可以在相应条件下改善机器人操作。与此同时，完整任务收益、跨任务迁移、旧能力保留，以及真实世界中的人工与复位成本，仍需要被放在同一条证据链中检验。

随着机器人基础模型与智能体技术不断发展，一个值得持续追问的问题是：机器人能否将今天的交互，转化为明天能够可靠调用的能力？

这也是机器人从完成任务走向持续进步的核心所在。

作者丨Chenyi Zi*、Shuaiqi Cheng*、Wenxuan Song、Jiayi Chen、Yuheng Ji、Lvchen Dai、Shan Peng、Chengliang Li、Zongyang Qiu、Haiying Xu、Yujia Bai、Zheng Zhang、Haoang Li；通讯作者：Jia Li

-END-

点击下方卡片，关注【Xbotics具身智能实验室】公众号

你想要的这里都有~~

Ask Me Anything｜提问箱

对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。

怎么问：在评论区留言，或私信公众号

我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。

提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。

一起把问题变成知识，推动社区进步 🚀