12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?

Xbotics具身智能实验室 2026-10-19 17:00

作者 / 周训哲

同一个 GPT-6-Astra,在不修改模型参数的情况下,仅仅改变执行系统,就能让 RoboDojo-Sim 的平均得分在官方的setting下从 28.97 提高到 60.08,任务成功率从 22.48% 提升至 54.17%;而在另一组 ICL+10倍动作步数的配置下,任务成功率甚至可以进一步达到81.9%。

这个结果来自商汤 SenseNova 团队最新推出的 SenseNova-RoboRSI。在商汤联合研究团队发布的技术报告《Has GPT-6-Astra Achieved Embodied Intelligence?》中,研究人员利用统一的具身智能体实验框架,对 GPT-6-Astra 展开了覆盖 12 项仿真基准和 8 种真实机器人配置的大规模研究。

在允许模型使用训练示范作为上下文提示、并给予最多 10 倍官方交互步数预算的研究条件下,GPT-6-Astra 主导的系统在 12 项基准上取得的最好成绩,全部超过了报告收录的同期最佳公开参考结果。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图1
GPT-6-Astra 在12项具身基准上的评测表现。

这些结果横跨桌面操作、灵巧手、人形机器人、家庭操作和视觉语言导航等不同领域。部分任务的成功率已经接近满分。

然而,GPT-6-Astra 的执行系统才是这些成绩背后成功的关键。GPT-6-Astra 提供通用多模态推理能力,但机器人需要通过具体的工具、动作接口和控制器,才能把模型的判断转化为实际动作。任务如何组织、反馈何时返回、失败之后怎样恢复,都会影响最终表现。

SenseNova-RoboRSI 正是围绕这些问题建立。它通过统一的 Harness 接入模型、技能、机器人工具和评测环境,让研究者能够在同一套基础设施中构建、执行和比较不同的具身智能体。项目还引入递归自我改进机制 RSI,根据执行轨迹和任务反馈调整后续 Agent 版本,并进一步推出 SenseNova-RoboRSI-27B-Preview,把经过验证的交互经验转化为模型能力。

一套统一的执行系统,怎样研究通用模型的具身能力?

让通用模型参与机器人操作,需要解决的问题比文本任务复杂得多。

机械臂抓取需要获取物体位置、规划末端姿态和处理接触关系;灵巧手操作涉及更多关节和精细运动;移动机器人还必须在较长时间内维护位置、任务进度和环境状态。即使模型能够理解这些任务,也需要通过具体的动作接口和底层控制器才能完成操作。

SenseNova-RoboRSI 提供的统一运行框架,为这类跨任务研究提供了实验基础。在最新技术报告中,研究团队以 GPT-6-Astra 为核心模型,针对不同 Benchmark 配置对应的观察、动作和反馈接口,系统评估其具身任务能力。

研究主要考察两个实验条件。

第一个条件,是允许模型在正式测试前学习评测规则所允许使用的训练示范。

研究采用 In-context Learning,也就是上下文学习,简称 ICL。GPT-6-Astra 可以阅读训练示范中的图像、机器人状态和动作轨迹,提取对后续任务有帮助的信息,并自行整理成知识包。

知识包主要包含六类内容:任务指导、动作参考、视觉参考、可执行辅助代码、完成检查与失败恢复方法,以及机器人规格和数据来源等元信息。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图2
GPT-6-Astra 在ICL阶段形成的六类知识。模型根据训练示范整理任务笔记、动作参考、视觉信息和可复用工具。

针对每项任务,GPT-6-Astra 会研究训练数据并编写一个知识包;该知识包在测试前会被冻结。每个测试回合都从独立会话开始,模型参数保持不变,执行结果也不会反向写入知识包。也就是说,ICL 的作用是让模型在动手之前利用已有经验做好准备,而不是在测试过程中不断更新模型。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图3
SenseNova-RoboRSI 统一运行框架下的ICL协议运行流程。

第二个条件,是延长任务的交互预算。

传统机器人基准通常会限制可以执行的动作步数。如果机器人因为抓取偏差或放置失败而需要重新调整,可能尚未完成恢复,步数就已经耗尽。研究团队将部分任务的交互预算最多扩展到官方标准的 10 倍,让模型有更多机会观察结果、修正动作和继续执行。而扩展发生在同一个任务回合内,机器人保留之前的操作历史和环境状态,不会通过反复重置场景重新尝试。

在这套研究协议下,GPT-6-Astra 主导的系统取得了以下结果:

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图4
GPT-6-Astra在不同基准上的标准预算、扩展预算成绩,以及已发表SOTA和Agentic SOTA参考结果。其中 RoboDojo(*)标准预算结果包含ICL与VLA协作。RoboLab(‡)采用零样本设置。

从表中能够看到,通用模型在一些机器人任务上的表现已经相当接近饱和。例如,LIBERO-Long++、LIBERO-PRO 和 LIBERO-Ultra-Long 的最好成功率分别达到100%、99.3%和98.9%;人形机器人评测SIMPLE达到98.8%。

与此同时,精密操作和长程任务仍然具有提升空间。Bench2Dex 的成功率从标准预算下的25.6%提高到61.5%。RoboDojo在直接控制的扩展预算实验中,最终达到81.9%。这些任务通常需要机器人反复观察和调整。增加交互机会之后,模型可以尝试不同抓取姿态、重新确认接触状态,或在局部动作失败之后继续恢复。

但更长的执行预算也有局限。在长程导航任务LHPR-VLN中,模型可能失去对子任务进度的追踪,或者一直停留在错误的探索路径上。即使延长交互预算,成功率仍然只有28.9%。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图5
增加步数后各榜单的表现变化,以及对无限步长情况下性能上限的估计。

这提示了一个问题:机器人获得了更多尝试机会,但能否真正利用这些机会推进任务,还取决于它怎样管理状态、反馈和行动计划。而在现实应用中,反复尝试还涉及更直接的成本。根据技术报告,RoboDojo的扩展预算实验中,单次任务平均耗时超过三个小时。即便是在成功率很高的LIBERO-Ultra-Long上,单次测试也需要约900万Token和接近两小时的推理与工具调用时间。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图6
(a) 每个基准测试任务的平均 Token 消耗量,以及 (b) 每个基准测试任务的平均耗时。

为了检验通用模型的能力能否迁移到真实机器人,研究团队还在8种机器人配置上进行了实验。测试覆盖Franka机械臂、双臂Piper、灵巧手平台、轮式移动操作机器人,以及Unitree G1人形机器人等不同形态。与前面的仿真研究不同,真机实验采用零样本设置。GPT-6-Astra没有任务专属训练示范和冻结的ICL知识包,但可以获得机器人接口、安全约束、关节限制和必要的结构化操作信息。

结果显示,同一个核心模型已经能够在多种本体上完成任务,但表现仍然高度依赖具体操作的难度。在刚性物体抓取与放置实验中,18次试验成功了17次;在布料折叠任务上完成了2/4;在长程导航和搜索任务完成了9/23。而在需要精密接触的插头插入任务中,跨三个平台的11次尝试全部失败。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图7
GPT-6-Astra在不同机器人本体上的真实世界任务执行情况。

一个比较有意思的案例,是双臂机器人主动改变观察视角。在插花任务中,单臂机器人的腕部相机无法看到花瓶入口,导致操作失败。换成双臂Piper后,GPT-6-Astra主动移动空闲机械臂,使另一只腕部相机对准花瓶入口,随后完成了插花。这个案例说明,机器人可以把改变观察位置也纳入动作规划。当现有画面无法支持后续判断时,模型会尝试主动获取新的信息。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图8
双臂机器人通过移动空闲机械臂上的相机,获得花瓶入口的关键视觉信息。

另一方面,真实机器人也让仿真中的一些优势受到了限制。模型不能无限等待推理,例如动作失败可能触发硬件保护,碰撞和掉落也可能带来无法恢复的物理后果。报告指出,在Unitree G1的相关运行中,GPT-6-Astra约90%的时间都花在推理上。当模型已经能够理解任务、规划动作之后,怎样减少无效推理和重复尝试,让机器人及时完成操作,就成为下一步必须解决的问题。

同一个模型,为什么换一种执行方式,成绩就会变化?

SenseNova-RoboRSI 的核心组成之一,是面向具身智能体的统一 Harness。可以将 Harness 理解为模型执行机器人任务时使用的一整套运行系统。它负责连接模型、提示词、技能、工具、机器人接口和评测环境,管理任务上下文,组织动作调用,并记录每一步观察、执行和反馈。

在工程实现上,项目将 Agent 的模型和策略与评测环境解耦,通过统一运行和接口组织不同基准的测试,同时保留环境原有的交互反馈和评分逻辑。研究者能够替换基础模型、配置上下文与缓存策略,也可以接入VLA技能、脚本动作和末端执行器工具。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图9
SenseNova-RoboRSI的模型接入、工具接口、执行循环、环境评测及RSI改进流程。

技术报告专门针对这些模块展开了Harness消融实验。

对机器人来说,反馈可能比增加更多Agent更重要。在RoboDojo的42项任务上,研究团队分别测试了规划子Agent、执行子Agent、反馈子Agent以及历史上下文压缩。实验结果如下:

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图10
在42项RoboDojo任务中,Harness设计对GPT-6 Astra的影响。

其中,反馈子Agent对任务表现取得了比较明显的改善。它负责检查动作执行结果,并建议系统继续、调整或重试。加入反馈模块之后,成功率从15.83%提高到24.72%,而Token开销只出现小幅增加。

历史上下文压缩也带来了实际收益。系统保留最近几轮交互,并将更早的执行历史整理为较短的摘要,使平均Token消耗从2.57M降至0.86M,同时将成功率提高到21.11%。

相比之下,单独增加执行子Agent没有取得类似的收益。这些实验说明,具身智能体的能力并不会随着Agent数量增加而自然提升。对机器人来说,能否及时确认动作结果、保留关键任务状态,以及准确定位失败原因,直接影响后续决策。而长程任务中的上下文管理,同样可能成为重要的效率瓶颈。

快慢模型协作,审核频率和每次审核的动作长度同样重要。在另一组消融实验中,研究团队考察了GPT-6-Astra与VLA模型的协作方式。这里使用经过RoboDojo任务微调的π0.5作为System 1,负责根据观察生成候选动作;GPT-6-Astra作为System 2,在动作真正执行前进行审核。

VLA提出的候选动作会转换成末端执行器运动表示,GPT-6-Astra可以接受、修改或拒绝。通过审核后,指令再交由机器人的底层运动控制器执行。动作完成后,系统利用新的环境观察进入下一轮决策。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图11
不同快慢协作、动作表示和执行跨度对RoboDojo成功率与Token成本的影响。

研究团队比较了几种协作方式发现:加入GPT-6-Astra的闭环审核后,成功率明显改善。但逐动作审核也会带来很高的Token消耗。将一次审核的候选动作数量增加到4个后,成功率从23.61%提高到25.83%,Token消耗反而减少约63.5%。进一步结合ICL后,成功率达到54.17%,但对应的Token消耗也明显增加。

研究还比较了不同动作接口。直接让模型输出关节角度,效果弱于更符合模型空间推理方式的末端执行器运动表示。固定一次执行4个动作,虽然能够减少模型调用,却使成功率下降;允许模型自适应选择一次生成1至4个动作后,成功率提高到20.00%,Token消耗仍低于单动作执行基线。

从机器人操作的角度看,这些结果很容易理解。机械臂在开阔空间中移动时,可以连续执行较长的动作序列;接近目标、准备抓取或执行精密接触时,则需要更频繁地获取反馈。执行系统需要根据任务阶段选择合适的动作粒度。

这些结果从不同角度反映了一个趋势:基础模型参数保持不变时,模型如何获得上下文、调用动作工具和检查结果,仍然可以显著影响机器人任务的表现。

SenseNova-RoboRSI:怎样让一次执行中的问题,推动下一版Agent改进?

Harness可以通过改变系统配置提高任务表现,那么,机器人执行过程中积累的轨迹和失败案例,能否成为下一轮系统改进的依据?

SenseNova-RoboRSI进一步引入递归自我改进机制,也就是RSI。它将执行反馈与Agent版本更新连接起来。机器人先按照当前Agent版本执行任务,系统记录其中的观察、动作、工具调用和环境反馈。完成一轮测试后,再根据执行轨迹分析失败原因,针对规划、动作预测、反馈检查或记忆组织提出候选改动。候选版本随后接受重新评测,只有通过验证的有效变化,才会被保留到下一版Agent。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图12
任务执行、轨迹分析、候选改动、重新评测与版本继承构成的反馈改进机制。

这一机制与任务执行过程中的即时纠错有所区别。机器人在当前任务中发现抓取失败,重新观察并调整动作,属于单次任务内的反馈控制。RSI则利用这些任务记录,进一步改进后续版本的Harness配置。在这一阶段,基础模型的参数可以保持不变。

这意味着,系统改进有机会超出单次任务的范围。例如,在一组相似操作中,如果机器人经常因为遗漏最终状态检查而失败,就可以针对反馈检查方式提出修改,再通过批量评测观察是否带来稳定收益。完整的执行轨迹也能够帮助研究者区分不同问题的来源。任务失败究竟是模型误解了目标、动作接口存在限制,还是执行完成后没有准确检查物理状态?找到具体原因之后,系统才有机会提出更有针对性的改动。

SenseNova-RoboRSI-27B-Preview:把验证过的经验,进一步沉淀到模型里

Harness RSI主要围绕模型外部的执行系统展开。项目还希望将执行过程中积累的有效经验,进一步转化为模型自身的能力。为此,SenseNova-RoboRSI推出了SenseNova-RoboRSI-27B-Preview。

这是一款27B参数的具身模型,通过模型与Harness的协同RSI,将经过验证的交互经验转化为多模态训练监督。研究希望让模型在目标理解、动作决策、主动观察和反馈纠错等方面形成更有效的策略,减少运行时的重复探索和推理开销。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图13
SenseNova-RoboRSI-27B-Preview 在 RoboDojo、RoboCasa365 与 LIBERO-Pro 上的表现

在配合 VLA 执行的设置下,*SenseNova-RoboRSI-27B-Preview 在 RoboDojo *取得 26.13 的平均得分和 20.83% 的任务成功率,平均得分仅比 RoboDojo 团队评测的 GPT-6 Astra 低 2.84 分。模型还能够主动观察视觉细节、推理空间关系,并根据执行反馈纠正动作,展现了解决复杂操作任务的能力。

在 VLA 配合执行(System 2 + System 1)与 VLM 直接控制(System 2)两种架构下,模型在LIBERO-Pro成功率分别达到 95.0% 和 96.1%,在图中两种设置的对比模型中均仅次于 GPT-6 Astra,展现了跨执行架构的具身规划与决策能力。

相较于 Qwen3.8-27B 基座模型,模型经过 RSI 优化后在RoboCasa365的成功率由 26.0% 提升至 46.5%,平均输出 Token 由 59.5K 降至 15.9K,减少 73.3%。模型不仅将交互经验转化为更强任务能力,还提升了推理效率。

SenseNova-RoboRSI-27B-Preview 在 RoboDojo上的仿真演示
SenseNova-RoboRSI-27B-Preview 在真实环境下的操作演示

项目还展示了SenseNova-RoboRSI-27B-Preview在典型操作任务中的表现。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图14
SenseNova-RoboRSI-27B-Preview在主动观察、动作规划和空间关系推理中的定性案例。

在笔筒操作任务中,如果机器人发现笔筒仍然倾斜,模型会查看接触区域的局部细节,重新判断夹持位置,再调整动作并检查结果。当笔筒入口被其他物体遮挡时,模型可以分阶段调整机械臂的平移和手腕姿态,避免沿着原先路径继续推进。而在积木放置任务中,模型需要结合目标积木和支撑块之间的位置关系进行微调,并在释放后继续判断支撑是否稳定。这三组案例分别涉及主动观察、分阶段动作规划和空间关系推理。

SenseNova-RoboRSI希望将Harness中的执行与验证过程,和模型训练进一步连接起来。系统可以利用较强的模型探索策略、记录执行轨迹,再将有效经验转化为模型的训练监督。更新后的模型回到同一运行框架中继续测试,新的结果又为下一轮优化提供依据。这种模型与Harness共同迭代的方式,仍需要通过更多轮次和跨任务实验验证,但已经展示出值得关注的研究潜力。

当机器人开始持续改进,下一代评测也需要改变

随着GPT-6-Astra在部分传统具身评测中接近性能饱和,技术报告还提出了一个更进一步的问题。现有的机器人Benchmark,究竟能在多大程度上衡量真实世界中的任务能力?

大多数仿真基准都有明确的目标条件。机器人把指定物体移动到目标位置,或者完成一组规定动作,就可以获得成功判定。但真实任务通常还有时间、安全和环境状态方面的要求。

例如,让机器人准备早餐。用户关心的不只有食物是否完成,还包括是否能在出门前送达、炉灶是否关闭,以及机器人有没有在过程中留下新的安全问题。如果模型需要很长时间才能判断下一步动作,食物很可能在它思考期间就已经烧焦。

研究团队因此提出了下一代具身评测的几个原则。任务应该来自真实的人类需求,不预先提供高度匹配的任务示范,并且在模型推理期间让环境持续运行。也就是说,评测需要考虑真实经过的时间,以及机器人决策带来的全部物理后果。

12项通用具身评测 SOTA:SenseNova-RoboRSI如何让机器人持续改进?图15
机器人未来需要面对的真实操作任务挑战

在早餐任务里,GPT-6-Astra虽然可能已经判断出应该关闭加热设备,但由于推理和执行存在时延,真正采取动作时已经晚了约90秒,鸡蛋就会最终烧焦。这个案例说明,机器人能够规划正确动作,并不意味着它一定能够在合适的时间完成动作。在真实世界中,模型思考期间,环境依然在变化。新的观察可能很快过期,已经完成的子任务也可能因为后续操作受到影响。这些问题很难单纯依靠增加交互步数解决。

机器人需要的是更加有效地组织推理和执行,保留关键任务状态,在必要时及时检查物理结果,并尽量减少无效等待。而这也正是Harness、反馈机制、任务记忆和更高效模型需要共同解决的问题。

从一次榜单突破,到可以积累经验的具身智能体

回顾SenseNova-RoboRSI的研究路线,可以看到几个相互关联的层次。

首先,统一的具身Agent运行与评测框架,支撑了GPT-6-Astra在12项仿真基准和8种真机配置上的系统性研究。进一步,SenseNova-RoboRSI通过RSI机制,将任务执行记录与下一版Agent的改进联系起来,尝试把有效调整留在后续系统中。SenseNova-RoboRSI-27B-Preview则探索如何把验证过的交互经验进一步转化为模型参数中的能力。

这项工作最值得关注的地方,是它让具身智能体的研究从一次模型评测,延伸到执行系统如何改进,以及经验怎样为后续模型和任务服务。随着通用模型不断拓展自身的具身能力边界,机器人研究需要解决的也逐渐从能否完成任务,走向能否可靠执行、有效复用经验,并在有限成本下持续提高表现。

SenseNova-RoboRSI正在为这种持续改进的具身智能体探索一套可以开放、复现和迭代的基础设施。

项目资料

GitHub:OpenSenseNova/SenseNova-RoboRSI

项目主页:sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence

技术报告:github.com/OpenSenseNova/SenseNova-RoboRSI/blob/main/assets/has_gpt-6_achieved_embodied_intelligence.pdf


-END-

点击下方卡片,关注【Xbotics具身智能实验室】公众号

你想要的这里都有~~

Ask Me Anything|提问箱

对文章有疑惑,或想聊更深?欢迎把你的问题丢给我们:技术方案、实操踩坑、课程与资料、项目合作、职业发展,都可以问。

怎么问:在评论区留言,或私信公众号

我们会做什么:每周集中整理高质量问题并公开回复,重点问题邀请作者或嘉宾深度解答;典型问题会加入知识库并持续更新。

提问小提示:尽量说明「你的目标—当前做法—期望产出」,附上必要信息(硬件/软件版本、数据规模等),能更快获得有用答案。

一起把问题变成知识,推动社区进步 🚀

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
机器人
more
家用服务机器人“联合数采工作组”启动招募
从0到1打破垄断!深迪半导体用六轴IMU,撬动消费电子、割草机器人、电动工具等领域
英伟达开源ASPIRE V1.0:机器人实现“自我纠错”与技能复用
美团两次押注,法奥机器人完成近10亿元融资
9.8 万一台、会川剧变脸,四川机器人公司拿下超亿元融资
京东构建全球机器人维保网络,五年拟增十万岗位
Xbotics x 杭州机器人学校「具身前沿线下半日课」|让机器鸭 MicroDuck 动起来
万亿AI产业,别只盯着机器人
协作机器人交付量突破5万台后,这家企业让具身智能进工厂干活
法奥机器人连续完成C+轮及D轮融资,金额近10亿元;帝尔博格完成亿元级Pre-A+轮融资 | 一周资本大事件
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号