机器人领域已经轰轰烈烈地 Scaling 了好几年。
更多遥操数据、更大的模型，VLA 和 WAM 在实验室中不断刷新机器人能力的上限。数据越采越多，模型越做越大，到了实际生产部署，具身智能依然绕不开那个老大难问题：换一台机器人、换一个工作环境，还要重新投入多少人力、数据和算力？
成千上万小时的预训练，仍未让全新真实机器人上的零样本稳健部署成为常态。新本体需要重新采集数据、微调策略；场景和任务变了，又要继续适配。企业希望机器人尽快进入生产现场，研发团队却常常还在为下一轮数据采集和训练做准备。
所谓具身智能的 GPT 时刻，以及遥操作扩展带来人力与资源的无底洞，是不是忽略了智能真正的来源？
与人类类似，机器人应当通过不断的在线探索，扩展积累经验，通过测试时扩展实现自我进化（self-improve）。
来自哈佛大学、英伟达、加州大学伯克利分校、麻省理工学院和斯坦福大学的研究团队提出 RAX（Robot Agent eXploration），将 Scaling Online Exploration 带入机器人学习。通用 Coding Agent 直接连接机器人的感知与控制接口，通过探索获得经验，将成功决策写成可执行程序，再积累为可以持续复用的技能。
论文： Scaling Online Exploration for Robot Agents
项目主页与实验 session： https://robot-agent-exploration.com/
论文全文： https://arxiv.org/abs/2610.22496
开源代码： https://github.com/robot-agent-exploration/rax
Skill Library: https://github.com/robot-agent-exploration/skills-lib
完整实验记录：https://huggingface.co/datasets/robot-agent-exploration/robot-session-logs
模型参数保持冻结，机器人能力随着探索持续增长。在 RoboDojo、BEHAVIOR-1K、HumanoidArena、DexJoCo 和 LIBERO-Pro 五大仿真基准上，RAX 相对以往最强的 SOTA 模型平均领先 37.4 个百分点，刷新多项 SOTA。真实机器人上，它在没有任何人工动作示范的情况下，仅仅通过不到 2 小时的自主探索，就能熟练掌握并快速执行精密插孔、柔性物体操作、关节物体操作，以及长程移动机器人全身控制等任务。
从 Scaling Data 到 Scaling Exploration
人练习一项技能，会尝试、观察、纠错，再把有效的做法留下来。RAX 将这样的学习过程交给 Agent：读取相机和力传感器，编写控制代码，检查执行结果，再根据反馈修改程序。这也是 Scaling Exploration 的核心：让机器人通过越来越多的自主探索，积累越来越强的能力。
探索从「怎样看清这个任务」就已经开始。RAX 向 Agent 开放 RGB 图像、深度、相机参数和力反馈，Agent 围绕当前任务，自行编写感知和估计程序：将深度观测转换成机器人坐标系中的三维点云，提取物体几何，估计位置、朝向与可操作部位，再把这些估计送入动作规划。机器人在学习怎样行动的同时，也在开发完成任务所需的感知工具。
以空气炸锅为例，Agent 从深度观测中构建锅体和抽屉的几何模型，估计把手方向，搜索抓取与拉动方式。18 厘米长的香蕉要放进 19 厘米宽的篮子，平放会碰到锅体，它就在探索中找到将手倾斜 60 度后释放的办法。如果抓空气炸锅的长手柄，在拉出的过程中会 IK 受限，它就在规划的过程中决定抓较短的手柄连接处发力。Agent 通过探索和规划成功找到了这些人类遥操作都很难处理的极限解。
探索成功后，Agent 将感知、规划和控制组织成可独立运行的程序，形成 Code as Policy（代码即策略）。到了新环境，Agent 可以继续探索，直接修改程序来适应变化，整个过程无需训练或微调策略模型。程序根据当前观测重新定位物体、生成动作，并在关键步骤检查结果：物体是否抓住、抽屉是否拉开、目标是否放入、动作是否需要重试。一次探索中找到的成功方法，由此成为下一次场景中可以重新计算、重新执行的能力。
程序遇到无法确认的感知结果或规划问题时，会通过异常把控制权交回 Agent。Agent 检查现场、定位问题、修改对应模块，再继续测试。随着探索推进，越来越多已经掌握的决策交给程序直接执行，Agent 则继续处理新的变化。探索推动程序成长，程序又把已经掌握的能力快速兑现到机器人身上。
探索产生经验，经验形成程序，程序积累为技能。 感知、规划和控制逐步成为可独立运行的执行循环，已经学会的能力也成为后续探索的基础。团队由此首次系统研究了跨仿真、跨真机、跨本体的在线探索 Scaling。
图 1 RAX 通过在线探索生成控制程序，将经验积累为可复用技能。
换本体，通过接口接入
学技能，交给 Agent 探索
RAX 采用前后端分离架构。前端负责探索、程序生成、记忆与技能组织；后端提供机器人的感知、控制及底层执行能力。同一套 Agent 框架连接单臂、双臂、灵巧手、移动机器人和人形机器人。从桌面上的精细操作，到需要双臂、躯干和底盘协同的长程任务，RAX 将同一套探索与学习机制带到了不同形态的机器人上。
这让新本体的接入有了更直接的路径：通过接口连接机器人，由 Agent 在交互中学习任务，无需先为它采集一批任务示范、重新训练策略模型。面对不同的关节结构、工作空间和传感器配置，Agent 可以调用对应接口，通过探索找到适合当前本体的感知与控制方法，再将成功经验写成程序。跨本体共享的探索能力，让机器人能够根据自己的身体学习怎样完成任务。
对于学术界和工业界，这意味着多本体开发可以共享探索与学习框架，将开发投入集中到接口接入、任务扩展与技能积累上。不同本体上的成功经验都能以程序形式保存、检查和持续扩展，部署后的交互也能继续转化为下一次任务中的能力。随着接入的机器人和探索任务不断增加，RAX 为跨本体机器人学习提供了一个可以持续扩展的平台。
零动作示范
对比几十上百条示范的 VLA 和 WAM
RAX 性能大幅领先
RAX 在五大仿真基准上的平均领先达到 37.4 个百分点。其中，RoboDojo （困难任务子集）从此前最强模型的 24.9% 提升至 78.3%，BEHAVIOR-1K （困难任务子集）从 8.2% 提升至 46.5%；DexJoCo 双臂任务从 48.8% 提升至 94.3%。
在 LIBERO 和 DexJoCo 中，数据投入的反差尤其鲜明：对照的 VLA、WAM 等策略模型分别使用每任务 50 条、100 条动作示范训练，RAX 使用的遥操作动作示范是 0 条。
即便如此，RAX 在原始 LIBERO 四个任务套件上仍取得 98.5% 的平均成功率。物体位置被打乱后，在 LIBERO-Pro 上再进行最多 5 回合适应，平均成功率达到 84.4%，远超 VPP2 的 42.3%，也比 ASPIRE 高出 21.2 个百分点。
RAX 在困难任务中大幅刷新了具身智能技术的上限。RoboDojo 按语言指令倾倒物体的任务上，参评的既有策略模型全部得分为 0，RAX 达到 100%，在 Swap blocks 任务中，同为 agent 方法的 Physical RSI 成功率为 0，RAX 达到 100%；BEHAVIOR-1K 的长程装车任务上，RAX 同样拿到 100% 成功率，形成鲜明对比的是此前所有过往方法在这个长达 10 分钟的任务里成功率均为 0，部分分仅为 0.2。
探索投入本身也带来了清晰的能力跃升：插充电器任务从 4 回合探索时的 26.0%，跃升至 8 回合时的 94.0%；交换积木从 4 回合时的 34.0%，提升至 16 回合时的 100%。更多探索，正在转化为更强的机器人能力。「机器人 o1 时刻」 的具体含义是：更多测试时探索，能够转化为更高的任务成功率，并通过程序与技能保留下来。
图 2 RAX 研究总览，展示探索 Scaling、基准表现与多类真机任务。
从 0.1 毫米插孔，到长程移动机器人全身控制
拿到真实机器人后，RAX 没有采集一条人工动作示范，而是通过探索掌握了精密插孔、空气炸锅操作、擦拭污渍、藏物追踪和不规则积木搭塔等技能。
在 0.1 毫米间隙插孔任务中，透明板让深度测量变得困难，Agent 主动用机械臂接触桌面和板面，利用力反馈测量高度、校正定位。机器人自己决定怎样获取完成任务所需的信息。
长程移动机器人全身控制则进一步展示了技能积累的价值。RB-Y1 先移开椅子、叠好杯子，将杯子和香蕉放进篮子，再把篮子搬上柜子、将椅子推回桌下，最后搬运箱子。六个阶段调用此前分别练习形成的技能，并结合现场观测完成衔接。从最初学习单项技能，到完成整条长程任务链，RAX 全程无需任何人工遥操作动作示范，也无需训练或微调策略模型。模型参数始终冻结，机器人通过自主探索，让可调用的能力持续增长。
环境与任务变化后，Agent 可以保留有效模块，只更新需要调整的部分。已经学会的擦拭程序能够复用于纸巾操作；已经积累的搬运、抓取与移椅技能，可以进一步组合成长程任务。每一次探索留下的程序，都能成为下一次任务的起点，让机器人在持续交互中积累经验、扩展能力。
程序化技能还显著减少了推理等待。空气炸锅任务的推理开销，从最初成功探索时约 72 分钟降至独立程序执行时的 18 秒，缩减约 241 倍。探索时投入的思考，被保存为执行时可以快速调用的能力：机器人既能通过探索学会，也能通过程序高效执行。
零遥操作动作示范、无需策略训练、模型参数冻结 —— 自主探索、程序改进、技能积累与组合复用，在 RAX 中形成了持续学习闭环，为具身自我改进 RSI 提供了可运行、可扩展的平台。
图 3 RB-Y1 调用已有技能，完成六阶段长程移动机器人全身控制任务。
完整开源，连机器人怎样学会任务也一并公开
RAX 把从接入机器人到积累技能的整条链路交给了社区。 团队开放完整框架、Agent 指令、通用工作流、机器人接口、基准集成与评测协议，同时公开真实机器人探索过程中生成的控制程序和技能。研究者可以沿着同一条路径，接入机器人、启动探索、检查执行，再将成功经验保存为下一次可以调用的能力。
学术界和工业界可以在平台上接入新本体、扩展新任务，研究怎样将更多探索投入转化为持续增长的机器人能力。随着通用 Agent 不断进步，RAX 也为这些能力进入物理世界提供了统一接口。
机器人下一轮的 Scaling，开始有了新的投入方向：让它们在真实交互中学习，让每一轮探索都能留下可执行、可积累的能力。RAX 把具身智能领域的不可能变成可能；随着测试时在线探索的 scaling law，机器人领域的 o1 时刻，真的到来了。
作者简介
黄润晗、章橡成为 RAX 共同第一作者，均来自哈佛大学。团队联合哈佛、英伟达、伯克利、MIT 和斯坦福研究者，探索机器人自主学习与多本体部署。
黄润晗（Runhan Huang）：RAX 共同第一作者，哈佛大学计算机科学博士生，本科毕业于清华大学姚班，研究机器人、生成模型与强化学习。
章橡成（Xiangcheng Zhang）：RAX 共同第一作者，哈佛大学计算机科学博士生，研究机器人 Agent 的规划、探索与自主学习。
Pieter Abbeel：加州大学伯克利分校教授、机器人学习实验室主任、BAIR 联合主任、机器人自动化企业 Covariant 联合创始人。
Dawn Song：加州大学伯克利分校教授、美国艺术与科学院院士、麦克阿瑟奖获得者、ACM Fellow 与 IEEE Fellow，研究 Agentic AI、深度学习及 AI 安全。
Yilun Du：哈佛大学计算机科学助理教授、Embodied Minds Lab 负责人，曾在 OpenAI 与 Google DeepMind 从事研究，研究生成式 AI、决策与机器人学习。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
