机器人终于有了「任务进度记忆」！连续干活4小时，成功率超95%

余文晔，上海交通大学和上海创智学院直博二年级学生，导师卢策吾、汶川，主要研究方向为真机强化学习、人在回路后训练系统，曾作为第一作者或共同第一作者发表于 RSS、CoRL、RAL 等机器人会议、刊物

机器人叠衣服时，夹爪移动到了衣角附近，并不意味着它已经抓住了衣服。装配纸盒时，两次看起来相似的按压，也可能分别对应 “即将扣合” 和 “已经卡住” 两种迥然不同的状态。

对于长流程操作，机器人需要判断的不只是眼前有什么，还包括：刚才的动作有没有奏效，任务是否仍在推进，以及下一步应该继续执行还是调整恢复。

这正是 Value as Memory（VaM）关注的问题。我们将价值模型近期的预测作为 “任务进度记忆”，提供给动作策略，帮助机器人利用任务进展、停滞和回退的信息选择动作。同时，VaM 通过从离线到在线的强化学习流程，让机器人不断利用真实部署中的新经验改进策略。

一镜到底，记录机器人连续自主完成任务的全过程，包括长程柔性物体（deformable object）操作和接触密集型（contact-rich）任务。在纸盒装配任务中，VaM 连续自主运行 4 小时，任务成功率达到 95% 以上，展示了长时间运行中的稳定表现。以下视频为连续记录的节选。

机器人为什么需要 “任务进度记忆”？

通用机器人策略已经能够从示范中学习多种操作技能，但把这些技能稳定地部署到真实世界，仍然面临两类困难。

第一类困难来自部分可观测性。相机只能看到有限视角，策略使用的观测历史也有长度限制。因此，即使输入画面十分相似，机器人实际所处的状态也可能不同，对应的合理动作也随之变化。

例如，折叠衣物时，机器人可能需要在失去接触后重新张开夹爪、调整位置，也可能需要在重新抓住衣物后保持夹紧。仅凭相似的局部画面，策略未必容易区分这两种情况。

第二类困难来自部署经验反馈不够及时。机器人执行任务时会遇到示范数据中无法覆盖的状态。若数据采集与训练采取串行方式，新的部署经验就需要等待下一轮训练才能影响策略，导致迭代速度减慢。另一方面，如果训练主要依赖最新采集的在策略（on-policy）数据，已有示范和历史纠正经验又可能得不到充分利用，使得样本效率降低。

VaM 围绕这两个问题展开：为动作策略补充近期进度信息，并建立能够反复利用新旧经验的在线学习闭环。

把价值预测变成动作策略可以使用的记忆（Value Caching）

在强化学习中，价值函数估计的是未来回报。在 VaM 的任务设置下，这种预测也提供了与任务进展有关的紧凑信号。

过去，价值预测通常用于评价动作、构造训练目标或提供优化权重。VaM 进一步把近期价值预测序列作为策略输入，与视觉历史和机器人本体状态共同参与动作生成。我们将这一机制称为 value caching（价值缓存）。

单个预测值提供当前进展的估计，而连续的预测则可以反映变化趋势：任务是否在推进，是否停滞，或者是否出现了回退。这些信息帮助策略区分视觉上相似、但需要不同动作的情况。

VaM 将近期价值预测作为任务进度记忆输入动作策略，并通过在线强化学习持续更新策略与价值模型。

实现上，VaM 基于 π₀.₅ 构建动作专家，并配置预测回报分布的价值模型（value model）。动作专家使用门控循环单元（GRU）编码历史价值与本体状态，再结合视觉信息生成动作。

为了避免当前动作等待当前时刻的价值预测，价值预测与动作生成异步运行。动作策略读取的是已经计算完成的历史价值，因此可以在生成动作时直接使用缓存。

从人类示范走向自主经验学习

有效的进度记忆需要可靠的价值模型，而价值模型也需要接触机器人实际执行时遇到的状态。为此，VaM 将训练组织为四个阶段。

第一阶段：离线示范初始化。

利用专家示范初始化动作专家和价值专家，让机器人获得基本操作能力，并建立初步的任务进度估计。

第二阶段：离线强化学习预热。

采集策略执行轨迹及人类干预数据，让价值模型学习真实执行中的停滞、失败与恢复。随后，利用更新后的价值模型计算优势标签（advantage），训练动作策略。

第三阶段：Online DAgger。

机器人在允许人类纠正的条件下执行任务，持续收集当前策略会遇到的新状态。训练同时利用离线示范、历史干预经验与当前轮次轨迹，更新动作专家和价值专家。整个训练流程和数据采集完全并行，形成在线的真机 RL 框架。

第四阶段：Learn from Experience（LfE）。

机器人继续自主执行，通过稀疏的任务结果奖励学习，不再采集新的人类纠正。此前积累的示范和干预数据仍然参与训练。

四个训练阶段连接离线示范与自主经验学习。价值专家同时为策略训练提供优势信息，并为动作生成提供近期进度记忆。

真机 RL 任务验证

我们选择了三个长流程操作任务，包含可变形物体操作与接触密集型装配任务：纸盒装配（Box Assembly），衣物折叠（Laundry Folding），磁吸巴士组装（Magnetic Bus Assembly）。

价值缓存带来了多少提升？

论文比较了完整 VaM、移除价值缓存的消融变体、移除离线强化学习预热的消融变体，以及在线 RL 版本的 RECAP。

VaM 与对比方法在三个任务上的在线强化学习成功率曲线，展示从有人类纠正的 Online DAgger 到自主经验学习 LfE 的训练过程。

按最后三个在线强化学习检查点统计，VaM 相比移除价值缓存的版本，最终任务成功率提升了 29.4%。价值缓存的收益在停止接收新的人工纠正、进入自主经验学习后仍然存在。

价值缓存能否减轻部分可观测问题？

对于长流程任务，最终成功率之外，一个同样重要的问题是：机器人遇到问题之后，能否通过纠正动作继续完成当前阶段？此外，价值缓存能否更好区分视觉观测相似的状态，触发恢复动作？

论文因此对每个 LfE 阶段的策略检查点的执行轨迹进行了盲评。我们将恢复率定义为：在所有需要恢复的任务阶段中，通过纠正动作成功完成的比例。

VaM 在三个任务上的恢复率分别为 54.5%、86.4% 和 33.3%。移除价值缓存后，对应结果为 50.0%、58.8% 和 7.4%。其中，Laundry Folding 和 Magnetic Bus Assembly 两个任务上表现出了更明显的差距。

定性案例也呈现了一致的现象：在展示的任务执行轨迹中，VaM 的价值预测和对应的策略表征更能够反映任务停滞状态，并伴随之后的纠正动作。

Box Assembly 中的定性对比，展示相机画面、价值专家表示的主成分分析投影（PCA）和价值预测。

有效的价值缓存，也需要与当前策略相适应的价值估计

价值缓存的效果是否仅仅来自增加了一组输入？

为进一步检验缓存内容的重要性，我们固定训练完成的动作专家，只将价值专家替换为示范初始化阶段或离线预热阶段的较早版本。缓存机制保持不变，但三个任务的成功率均出现明显下降。

固定动作专家时，使用不同价值来源的成功率对比。

在衣物折叠的进一步分析中，我们固定动作专家及全部观测输入，仅替换价值历史。失去接触后，原始价值历史对应的动作预测更倾向于张开并调整右夹爪，为重新抓取做准备。重新抓住衣缝后，原始价值历史则使预测保持夹爪闭合，而较早的价值模型会在动作序列末端产生张开指令。

失去接触后，原始价值缓存引导策略预测张开并调整右夹爪，为重新抓取做准备。

重新抓住衣缝后，原始价值缓存对应的预测保持右夹爪闭合，较早的价值模型则预测在末端张开夹爪。

在线 RL 让样本效率显著提升

我们还比较了在线与离线强化学习。两者从相同的离线预热模型出发，并匹配梯度更新步数和数据采集预算。在 LfE 阶段结束后，在线 RL 方案在三个任务上的平均成功率提升了 32.8%。这一结果体现了利用 on-policy 数据形成快速学习闭环的价值。

在匹配训练步数与采集预算的条件下，在线强化学习在三个任务中均取得更高的 LfE 阶段成功率。

并发执行也提高了实验流程的时间效率。相比依次采集数据、训练价值专家、训练动作专家的离线流程，在线方案将三者并发运行，使三个任务平均每个梯度步对应的真实世界时间成本降低 57.8%。

总结

VaM 展示了价值模型的一种用途：把近期价值预测作为任务进度记忆，直接参与动作生成。结合离线到在线的真机 RL 训练流程，机器人既能够利用历史经验，也能够持续适应当前策略在真实环境中遇到的状态。

论文题目：Value as Memory： Online Value-Guided Post-training for General Robot Policies
项目主页：https://virlus.github.io/vam/
代码：https://github.com/Virlus/VaM

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com