用任务经验减少重复审核 在错误发生时集中监督
同样的机器人策略和审核模型,执行框架可以改变任务完成的效率。
FastHarness将积累的任务经验用于安排大模型审核:熟悉且可靠的阶段减少调用,发生错误时集中审核,确认恢复后继续执行。
一、解决了什么问题
让机器人理解指令、观察环境并完成操作,通常需要把不同模型组织在一起。
视觉语言动作模型(VLA)根据当前观测和任务指令生成一小段动作;语言模型则检查执行进展,判断动作是否合适,并在出错时提出修正。
这种能够监控执行并作出调整的组合,是 Agentic Robotics 的一种实现方式。
GPT-as-Policy 把 π0.5 与 GPT-6 Astra 配合使用,对每个动作块进行审核。逐块检查提供了持续监督,也意味着机器人在已经熟悉的任务阶段,仍要反复等待大模型的响应。
另一方面,瓶子滑落、抓取失败或目标放错位置,又可能需要连续多轮纠正。常规执行和错误恢复对监督频率的需求并不相同。
FastHarness 解决的是何时调用大模型、出错后如何组织纠正的问题。
Harness指协调模型、记忆、审核与执行的编排层。我们的目标是让监督频率随执行经验调整,把审核用在当前更需要它的地方。

图 1
三种执行方式。VLA only 根据观测生成动作;
GPT-as-Policy 对每个动作块审核;
FastHarness 用任务经验减少常规审核,并在错误恢复期间集中监督。
二、工作摘要
FastHarness 是一个经验驱动的机器人执行框架,使用 π0.5 生成动作、GPT-6 Astra 审核与纠错,并通过两条互补路径管理执行。
快路径根据任务阶段和历史审核结果调整审核间隔;恢复路径在检测到错误后逐块审核,先尝试局部修复,必要时用此前验证过的子目标指导纠正。
恢复确认后,系统重新使用常规调度,同时保留失败经验。
在 RoboDojo 的多个模拟操作任务上,FastHarness 的平均成功率达到 97.19%,高于 GPT-as-Policy 报告中 π0.5 + GPT-6 Astra 的 80%。
在重复执行中,从首个评测回合到最后五个回合的均值,各任务审核 Token 的降幅平均为 57.2%,平均耗时从 85.5 分钟降至 52.0 分钟。整个过程无需额外训练模型。
三、创新点与方法
快路径让审核频率随经验变化
一次操作可以分为靠近、抓取、搬运、放置等阶段。FastHarness 把审核时获得的阶段标签、观测样例和成功或失败判断写入任务记忆。
当新的观测与记忆中的某个阶段足够匹配时,调度器会结合该阶段的审核记录,决定当前是否还需要调用 GPT。
经验少、可靠性证据不足或刚发生错误的阶段,仍保持较密集的审核。
随着可信的成功记录积累,系统可以拉长审核间隔。遇到陌生或难以匹配的上下文、执行告警,或接近此前出错的情形时,审核会重新触发。阶段变化检查和随机抽查也保留在调度中。
因此,“越做越快”来自任务经验对审核安排的影响。
记忆在同一任务的多个回合之间延续,场景布局会变化;系统逐步积累的是对任务阶段的执行经验。

图 2 FastHarness 方法总览。
中间为原有执行链;
上方快路径用记忆调节审核;
下方恢复路径组织局部修复与路标验证。
审核反馈持续更新经验。
恢复路径在错误发生后持续跟进
当审核发现执行错误或动作意图与任务不符,系统进入恢复路径。
在这段过程中,每个动作块都接受审核。机器人首先从当前状态尝试局部修复,例如再次靠近掉落的瓶子并重新抓取。
如果局部修复没有解决问题,系统可以选择本回合早先验证过的子目标作为路标。
例如,记忆中保存了“已有两个物体放进正确篮子”的状态,系统可以用它检查哪些进展仍然保留,并指导后续纠正。
路标描述的是经过验证的任务进展,选择路标不会重置环境,也不会回放旧动作。
只有在审核确认原始错误已解决后,系统才恢复常规调度。
失败记录与恢复证据仍会留在记忆里,之后遇到相似情形时可以再次触发审核。
减少审核时仍保留实时观测反馈
FastHarness 调整的是监督安排,π0.5 的模型权重保持不变。
即使跳过 GPT 审核,机器人仍会在动作块之间获取新观测,并生成新的动作提议。
这意味着减少审核的同时,执行仍然依据当前环境作出调整,能够保留 VLA 的观测反馈控制。
四、实验结果
我们在 RoboDojo 中评测了搭积木塔、叠衣服、丢瓶子和物体分类多个模拟任务。
每次完整任务执行称为一个回合,同一任务的多个回合共享记忆,场景布局会变化。实验分别统计任务成功率、审核调用、Token 用量和完整执行耗时。
四任务平均成功率达到 97.19%
FastHarness 相比 π0.5 + GPT-6 Astra 的平均成功率从 80% 提升到 97.19%,增加 17.19 个百分点。
其中,搭积木塔从 60% 提升到 93.75%,物体分类从 60% 提升到 100%;丢瓶子两种方法均为 100%;叠衣服中 FastHarness 为 95%,基线为 100%。基线数值来自《GPT 6 Astra as an Embodied Policy》报告。

图 3 四任务成功率及等权平均值。
FastHarness 的成功回合数依次为 15/16、19/20、20/20 和 9/9;
π0.5 及 π0.5 + GPT-6 Astra 的结果来自 GPT-as-Policy 报告。
重复执行后审核开销和耗时下降
效率比较使用各任务的首个评测回合,以及最后五个回合的均值。
先计算每个任务审核 Token 的百分比降幅,再对四个任务取平均,得到 57.2%。按任务等权统计,平均 Token 用量从 1.83 百万降至 0.93 百万。
完整任务执行的平均耗时从 85.5 分钟降至 52.0 分钟,降低约 39%。
该时间包含策略推理、机器人执行、审核模型交互和运行开销,反映端到端的完成效率。

图 4 首个评测回合与最后五个回合均值的效率比较。
上图为审核输入与输出 Token 用量,缓存输入只计一次;
下图为完整执行耗时。“平均”均按四任务等权计算。
经验改变了审核的分配方式
在叠衣服和丢瓶子的完整 20 回合序列中,我们进一步对比前五个回合与后五个回合。
当记忆里没有足够匹配的观测样例时,系统会因未知上下文请求审核。这类触发在叠衣服中从 35 次降到 16 次,在丢瓶子中从 142 次降到 64 次。
同时,两项任务中不被 GPT 审核打断的连续自动执行长度,其中位数都从 30 个控制步增加到 60 个控制步,相当于从连续两个动作块增加到四个。期间 π0.5 仍会根据新观测生成动作。

图 5 前五回合与后五回合的审核分配变化。
左图统计每个五回合窗口内的未知上下文审核触发;
右图统计连续自动执行区间的中位长度。
从时间分布看,与审核模型交互所花的时间,在叠衣服和丢瓶子的全序列中分别占 82.0% 和 89.7%,包含请求处理、等待及重试;记忆操作占比均低于 0.1%。
这解释了为什么审核频率是一个有实际收益的优化位置。
恢复轨迹说明系统如何继续任务
瓶子滑落后的局部修复。在丢瓶子任务的一次执行中,瓶子在运输时滑落。
恢复路径持续审核接下来的操作,机器人再次靠近瓶子、重新抓取并继续运输。
审核确认错误已解决后,常规调度恢复,这次任务最终获得 100/100 的完成评分。

图 6 丢瓶子任务的局部修复轨迹。
发生滑落后,机器人从当前场景重新抓取并继续任务,无需重置环境。
用已经验证的子目标指导纠正。在物体分类任务的一段轨迹中,审核发现下一步动作会把第三个兔子放到篮子外。
系统在局部纠正后,选择此前保存的“两个兔子已放入白色篮子”作为路标,并确认这个子目标仍然成立,随后继续纠正原始问题,直到恢复常规调度。

图 7 物体分类中的路标辅助恢复。
控制步 299 选择历史路标,304 确认子目标成立,344 恢复常规调度。
下方条带按实际控制步区间绘制。
这段轨迹体现了恢复中的两项检查:确认哪些进展已经保留,以及确认导致本次恢复的原始错误是否已解决。完成前一项检查后,系统仍会继续审核,直到可以恢复常规执行
五、对机器人执行框架的启发
FastHarness 表明,在已有 VLA 策略与审核模型之上,任务记忆和执行编排同样能影响系统表现。
重复任务中积累的审核证据,可以用于减少常规阶段的调用;错误恢复则通过持续监督和明确的验证步骤,把机器人带回正常执行流程。
四个模拟任务的结果展示了这条无需额外模型训练的优化路径。
核心做法是让大模型的参与频率随当前任务状态和已有经验变化。
策略继续依据新观测生成动作,Harness 负责决定监督何时介入,以及介入后如何恢复执行。
论文与项目
论文标题:FastHarness: Experience-Driven Review Scheduling for Vision-Language-Action Policies
项目代码:https://github.com/FastHarness/fast-harness
项目博客与演示:https://fastharness.github.io/
往期文章回顾
