具身智能开始卷系统了:RoboFoundry让机器人自主进化

机器之心 2026-10-12 12:30
具身智能开始卷系统了:RoboFoundry让机器人自主进化图1

同一个 GPT-5.5,放进不同的系统里,做具身任务的表现可以相差悬殊。在 EmbodiedBench 上,直接使用 GPT-5.5 的平均成功率是 56.9%;模型参数一个不改,只让它周围的系统持续进化,这个数字变成了 72.7%。


差别来自模型之外:哪些信息会被送到模型面前,哪些经验会被保留下来,决策又如何变成机器人的物理动作。真正在环境里执行的具身策略,从来不只是一个模型,而是模型加上它所在的整套系统。


大模型在机器人系统中的角色一路上移:从高层规划器,到 Code-as-Policy 中把感知与控制原语组合成程序的决策核心。但围绕模型的那套系统,大多仍是人工搭建、部署后固定不变的。已有工作往往只改进记忆、技能、交互 harness 中的某一个组件;执行中暴露的问题也多半只用于评测或人工调试,同样的弱点会在一个又一个回合里重复出现。


由此引出一个问题:具身智能体能否把自己的整套系统当作策略,诊断出系统在哪里限制了行为,再从具身经验中进化对应的部分?


来自新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、上海交通大学、云蝶科技等机构的研究团队提出了 RoboFoundry,并将其定位为首个把智能体系统本身形式化为「自进化的系统即策略」(Self-Evolving System-as-Policy)的具身智能体框架:基座模型保持冻结,进化发生在模型周围的上下文系统、技能系统与执行接口上,并借助一层共享的语义接口在不同机器人之间复用。


实验中,RoboFoundry 在 EmbodiedBench 上让五个基座模型全部取得提升;在长程记忆基准 RoboMemArena 上,任务成功率比所有基线至少高出 39.0%;在 LIBERO-PRO 的扰动测试中,比 CaP-Agent0 高出 243.8–679.7%。在真实机器人上,展示了跨机器人、跨任务的零样本迁移,以及部署后的在线进化。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图2



具身智能开始卷系统了:RoboFoundry让机器人自主进化图3

图 1:RoboFoundry 总览。包含 “执行 — 反思 — 修复 — 晋升” 的进化闭环;三个基准的结果,以及接入前后六项系统能力均有大幅提升。


模型冻结,系统进化:

像维护代码库一样改写自己


RoboFoundry 不更新基座模型的参数,被优化的是支撑模型完成任务的系统。这套系统以文件形式存在,模型可以像开发者维护代码库一样,用 cat、grep 查看,用 add、modify、delete 修改。系统分为两层:服务当前任务的任务级系统,和跨任务、跨本体持续保留的通用系统。


进化以内外两层循环进行:内循环执行任务、记录执行轨迹;外循环根据轨迹提出修改,再交给后续执行检验。修改作用在两个 “进化面” 上:



两个进化面之下还有一层共享语义接口。语义层只处理跨本体共享的任务逻辑;执行层把决策适配到具体机器人上,后端可以是冻结的 VLA(如 π0.5)、编码智能体生成的函数,或 CuRobo 等视觉运动接口。由于进化作用在语义一侧,在一台机器人上进化出的系统,换一套执行适配就能在另一台机器人上复用,也可以接到不同的基座模型上。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图4

图 2:RoboFoundry 方法框架。(a) 内循环执行任务并产生轨迹;(b) 通用系统以文件目录的形式,提供可复用的规则与技能;(c) 外循环诊断能力缺口:能修复当前任务的修改更新任务级系统,进一步通过其他任务上保持检验的修改,进而晋升进通用系统。


有诊断、有验证的进化闭环,

而不是无约束的自我重写


执行中出现的失败或低效,会先被归因到六种能力之一:感知、推理、规划属于决策能力,保存、检索、利用属于记忆管理能力。系统只在对应的进化面上提出修改;只有修复了当前任务的失败,修改才会被提交。


RoboFoundry 先把成功的修改抽象成候选规则,再找出其他任务中同类能力缺口的修复记录,回放这些任务修复前的状态,让应用该候选规则的系统重新给出修复方案。随后由系统自身充当验证者,把新方案与当时实际奏效的修复比较打分。只有平均得分不逊于原有修复,候选规则才会被写入通用系统。


图 3 是一次进化过程示例,在 EB-Habitat 的空间关系子集上,基座模型为 GPT-5.5,共经过六次候选评估:



具身智能开始卷系统了:RoboFoundry让机器人自主进化图5

图 3:EB-Habitat 空间关系子集上的一次进化轨迹(GPT-5.5),下方是各次候选的 held-out 检查结果。


被接受的修改会落成文件里的具体改动。例如针对 “把水槽里的清洁剂全部移到沙发上” 这条指令,系统规则被改写为:


- Each plan should include no more than 20 actions.+ Prefer one action; at most two when both are currently supported.+ After Navigation, observe before Pick/Place/Open/Close.+ Trust environment feedback over visual appearance for proximity.+ After a not-near Pick failure, navigate before retrying.


新规则里没有出现清洁剂、水槽、沙发等任何具体物体,因此可以跨任务共享。整个进化过程则记录在 .robofoundry/ 目录里,论文称之为 “进化账本”(Evolution Ledger),可以回溯查看。


五个基座模型全部提升,

基座之间的差距明显缩小


EmbodiedBench 包含四个环境中的 1,128 个任务,覆盖高层语义规划与底层动作执行。所有设置使用相同的任务流和交互预算,从第一个计分回合就开始进化,进化过程中的每一条轨迹都计入成绩。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图6

注:EmbodiedBench 四个环境的平均成功率(%),提升值与论文图 1 一致;因舍入,个别提升值与两列直接相减可能相差 0.1。



消融实验显示,通用进化是关键:以 Qwen3.7-Plus 为基座时,完整版比只保留任务级修改的 Lite 版相对高出 11.2%。把上下文预算从 4K 扩到 16K 后,原始模型的成绩有升有降;在 16K 设置下,RoboFoundry 依然让参与测试的四个基座相对各自基线再提升 7.9%–13.1%。


长程记忆与分布偏移:

进化不只是提示词


RoboMemArena 是长程记忆基准,共 26 个任务,分为搬运、遮挡、计数、顺序四类。以 Qwen3.7-Plus 为基座的 RoboFoundry 取得了 53.5% 的任务成功率(TSR)和 72.8% 的累计成功率(CSR),四类任务全部领先。它的 TSR 比所有基线至少高出 39.0%,对比对象中包括借助 Qwen3-VL-8B-Instruct 管理记忆的 PrediMem。


在这一基准上,进化修改的不只是提示词,还有决定 “保留什么状态、检索什么证据、如何呈现给模型” 的机制。例如,把任务进度转成当前子目标,以及明确规定 “尝试过的指令不能作为物理成功的证据”。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图7

图 4:RoboMemArena 长程记忆结果,每项为 TSR / CSR(%)。


LIBERO-PRO 用来检验系统在物体布局和任务设定变化下的鲁棒性。在不使用特权物体位姿的方法中,RoboFoundry 的平均成功率最高,为 91.9%,Harness VLA(CC)为 87.8%;它比 CaP-Agent0 高出 243.8%–679.7%(相对值)。


进化后的系统还会把改进分成两种时间尺度:可复用的组合技能被长期保留进共享系统;某次试验中临时生成的恢复逻辑,只留在当次试验中。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图8

图 5:LIBERO-PRO 扰动测试结果,每项为位置扰动 / 任务扰动下的成功率(%)。† 表示使用特权物体位姿。


真机上零样本迁移、边做边进化


真机实验要回答的是:通用的 RoboFoundry 系统能否迁移到物理机器人上,并在部署后继续进化。实验中,RoboFoundry 以 GPT-5.5 为基座模型,以 π0.5 为操作执行后端;为保证公平,RoboFoundry 与单独使用的 π0.5 在对应任务上使用同一个微调 checkpoint。RoboFoundry 起始时不做任何任务级的系统适配;每个任务测试 10 次,用于在线进化的试验也计入成功率,系统更新只发生在两次试验之间。



图 6:真机进化与迁移。(a) 套娃任务中先后加入对准与进度追踪;(b) 叠毛巾技能迁移到未见过的毛巾;(c) 宇树 G1 上的语义导航。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图9

图 7:长程化学实验中,任务状态记录连接六个相互依赖的子任务。


结语:

从 “训练更强的模型”,

到 “让模型所在的系统持续变强”


从语言模型规划,到代码即策略的执行,再到系统即策略的进化,大模型在具身系统中的角色一直在向上层迁移。RoboFoundry 给出了一种具体做法:基座模型保持不变,由执行轨迹决定系统的哪一部分需要修改;每一次修改都要先在当前任务上验证能修复失败,只有在其他任务的同类能力缺口上同样被验证有效的改进,才会沉淀为通用能力,服务后续任务。当基础模型越来越强,具身智能的进步也许不只来自 “训练一个更强的模型”,也来自 “让模型所在的系统持续变强”。


作者信息


本研究由新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、云蝶科技与上海交通大学的研究者合作完成。共同第一作者为梁靖松(新加坡南洋理工大学,博士生)和廖书昊(北京航空航天大学,博士生)。通讯作者为吴文峻(北京航空航天大学,教授)、李万华(新加坡南洋理工大学,南洋助理教授)与吕辰(新加坡南洋理工大学,副教授)。


具身智能开始卷系统了:RoboFoundry让机器人自主进化图10


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
机器人
more
不教机器人怎么动,只让它做选择题:Jev 会是 VLA 之外的另一条路吗?
米家扫拖机器人7 Max发布:热水洗地配超薄机身,售价4999元起
广州企业以8台机器人收获3亿元订单;长盈精密人形机器人零组件交付破100万件| 市场观察
液态“毒液”入局医疗,磁流体机器人重塑微观干预范式
成立仅一年,“清华系”太空柔性机器人研发商,获阿里、智元等押注!
9999元开启机器人“灵巧时代”:慧灵科技发布20自由度灵巧手
全球首个机器人任务原生3D世界模型:跨维UNITAS让机器人学会物理直觉,横扫多个榜单
华为哈勃投了个98年博士!让机器人皮肤变色,团队平均23岁
特斯拉人形机器人量产倒计时,新剑传动披露核心供应链动态
文献速递|一种触觉编码的P300脑机接口,用于用多余的机器人肢体增强人类运动
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号