点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
近期关于GPT-6-Astra具身能力的讨论热度很高，商汤联合团队在这股讨论中拿出一份系统性的实证研究，并同步开源了评测框架和27B具身模型。3D视觉工坊基于他们的研究报告、SenseNova-RoboRSI开源框架及模型页面撰写本文。
标题：
Has GPT-6-Astra Achieved Embodied Intelligence?
机构：SenseTime（商汤）、The Hong Kong University of Science and Technology (Guangzhou) 等组成的联合研究团队
主页：https://sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
代码：https://github.com/OpenSenseNova/SenseNova-RoboRSI
模型权重：https://huggingface.co/sensenova/sensenova-roborsi-27b-preview
这份报告最值得读的地方，不是又刷了一个榜单，而是它把“模型能力”拆成了可测量的条件：给不给ICL知识包、允不允许更长执行预算、harness接口怎么设计、真机上时间与安全如何约束、基准是否让世界停下来等模型思考。报告的总体判断很克制：GPT-6-Astra已经大体跨过“具身能力”的门槛，但还没有跨过“实用具身智能”的门槛。摘要把后续方向点得很明确：ICL泛化性、成本与执行时间、物理状态验证、从不可逆失败中恢复、长视野中保持进展。与SayCan、Inner Monologue、Code as Policies等“基础模型做高层推理、底层技能库执行”的路线不同，这篇报告追问的是：前沿模型能不能自己当控制器，从自身观察闭环输出末端执行器动作。
一、不是模型不会，而是基准太早喊停
联合团队先给了一个很硬的观察：RoboDojo上有9个任务，GPT-6-Astra连续5次全失败，按常规判断就是“不会做”。但他们不重训模型，只允许模型继续交互，把步数上限提到原来的，这9个任务变成5次全成功。标准步数限制会在模型还在“思考如何纠错”时强行终止episode，当前具身基准可能在系统性地低估通用大模型。额外交互之所以有用，是因为模型能检测失败动作、修改策略、继续恢复；这种失败恢复能力是更大预算转化为更高成功率的关键机制。
图1 覆盖12个基准：LIBERO-Long++、LIBERO-Pro、LIBERO-Ultra-Long、SIMPLE、VLN-CE-RxR、VLN-CE-R2R、DexJoCo、RoboDojo、RoboLab、Bench2Dex、BEHAVIOR、LHPR-VLN。
表2 是图1背后的基准级成功率总表，按embodiment分组，列出每个基准的最佳已发表结果、最佳已发表agentic方法、以及GPT-6-Astra+ICL在标准与累计扩展预算下的结果。
统一协议建立在两个“解绑”上。第一，允许从训练集做上下文学习：测试前模型研究示范，写一个冻结知识包，测试时检索适配。第二，把执行预算最高扩到官方的。这两个条件把“第一次能不能做对”变成“允许纠错、允许恢复时能走多远”。
图2 展示ICL协议：每个任务先让GPT-6-Astra研究训练数据，写知识包，测试前冻结；每个测试episode以开始全新隔离会话，在或预算下运行；模型权重全程固定，测试中不变，episode之间不传信息。扩展预算允许最多10倍动作步数，在累积截点报告结果，使用相同初始化、策略配置和成功标准；扩展继续同一episode，保留交互历史和环境后果，不通过reset重试；成功、终端失败或预算耗尽时终止。
图3 展示知识包的六类反复出现组件：任务指导、运动参考、视觉参考、可执行辅助代码、检查与恢复、元数据与溯源。
图4 用12个子图画出“成功率—步数预算”曲线：横轴是官方步数限制倍数，点表示观测成功率，粉色曲线是拟合趋势，灰色线是上界（假设每个耗尽评估预算未成功的episode在无限预算下都可能成功）。曲线把“标准预算会中断仍在纠错的执行”这件事画得很清楚。
表3 是LIBERO-PRO任务级性能与成本表。实验覆盖8个suite、每suite 10个任务、每任务10个固定初始状态，共800个episode。
表4 是LIBERO-Long++与LIBERO-Ultra-Long任务级性能与成本表。
表5 是RoboDojo按任务组和任务展开的性能与成本表。实验覆盖5个组42个任务，Generalization、Precision、Long-Horizon、Memory共34个任务，Open组8个任务；
表6 是RoboLab上与9个VLA/WAM基线的总体对比。
表7 是Bench2Dex在Full randomization下的任务级性能与成本表。实验覆盖26个任务、12种arm-hand embodiment，配对cohort每任务3个固定episode（索引5–7），共78个episode。
表8 是DexJoCo在rand-full随机化下的任务级性能与成本表。实验覆盖11个任务（6个单臂、5个双臂），每任务5个固定测试seed（100000–100004），共55个episode；随机化物体位置、桌面高度、外部相机位姿、光照和桌面纹理，关闭动力学随机化。
表9 是LHPR-VLN总体性能表，指标包括SR（完整序列成功率）、ISR（独立目标成功率）、CSR（条件成功率）、CGT（按ground-truth路径长度加权），以及token消耗。
表10 是VLN-CE在R2R与RxR val-unseen上的总体性能表，指标包括NE（越低越好）、OS（oracle成功率）、SR、SPL、nDTW。
表11 是SIMPLE六任务评估集的分级成功表，每格报告L0/L1/L2下成功数/判定episode数；Matched-8比较四个GPT-6-Astra设置与已发表基线的同一80个完整任务级单元。
表12 表单独比较SIMPLE标准预算下零样本与ICL在Common-4（XMovePick、BendPick、Handover、Tabletop）上的表现，120个episode全部判定。
二、成本与残余失败：榜单逼近天花板，落地问题仍在
仿真能力上界很亮眼，但报告没有回避代价。图5(a)是每个基准的平均每任务token使用，(b)是平均每任务时间，堆叠为ICL准备、运行、扩展到的额外成本。
这里的/是最大动作步预算，不是token或时间预算；扩展运行因成功或终端失败提前终止，所以额外token/时间相对较小。报告观察到约98%的token是缓存输入token，并给出成本估算规则：1M token约1美元。在LIBERO-Long++上，标准预算成功率已超过97%，但每个episode仍消耗约100万token、近1小时推理与工具使用；LIBERO-Ultra-Long上升到约900万token、近2小时。RoboDojo扩展预算下单episode平均超过3小时。推理延迟不计入动作步预算，因此这种成本会限制需要实时控制的部署。
图6 展示扩展预算下的残余失败，每对图像是关键事件之前的状态与结果，紫色箭头标出相关物体。三类失败分别是验证物理成功（表面或自报完成与实际任务状态不一致）、从后果性动作恢复（早期失误如洒出或掉落无法撤销并破坏后续子任务）、长视野保持进展（后续步骤依赖的进度丢失并阻塞任务）。
三、Harness消融：冻结权重，靠接口与协作改变性能—成本前沿
报告第二条主线是harness消融。模型权重完全冻结，重新设计模型与观察、动作、反馈之间的接口，能否释放更多具身能力？论文以GPT-6-Astra为System 2，以在RoboDojo上微调的为System 1，比较独立VLA、开环协作与闭环协作。独立VLA平均成功率6.91%；开环协作5.83%，消耗0.387M token；闭环协作由System 2审查并修正VLA提出的EEF动作，成功率最多提升20个百分点，但逐动作审查需要7.664M token。把审查视野扩大到，token消耗降低63.5%至2.796M，同时成功率从23.61%提升到25.83%。ICL与闭环VLA结合达到最高成功率54.17%，比最佳非ICL闭环配置高28.34个百分点，但消耗19.335M token，约为后者的6.9倍。
图7是RoboDojo上不同System 1–System 2协作策略和动作接口的token成本vs性能散点图。每个点是一个实验配置，token成本以百万计，性能用类别成功率的未加权平均；虚线在Agentic GPT-6-Astra基线处相交，划分四个象限。图中直观显示闭环审查把性能推向右上，但token成本也显著上升；ICL+闭环VLA在最高成本处取得最高性能。
表13是完整harness设计消融，覆盖agent组件、动作表示与分块、VLA协作与ICL。
动作表示与分块的结论同样明确。方向性运动命令把平均成功率提升2.50个百分点，直接关节角控制导致5.84个百分点下降，揭示多模态模型具身智能与底层机器人控制空间之间的表示鸿沟。固定分块消耗0.435M token但成功率下降4.17个百分点；自适应分块（模型选择）把成功率提升4.44个百分点，消耗1.146M token。有效释放具身性能的关键不在于模型本身，而在于动作接口是否与模型推理能力对齐，以及协作协议是否在性能与token成本之间取得合理平衡。
四、真机8平台：三类约束与“主动视觉”
真实世界验证修正了仿真协议的两个假设：测试任务的成功示范是否可得，以及额外执行步数是否免费。真机采用零样本设置，GPT-6-Astra不接收示范和从数据蒸馏的知识包，只接收人类写的结构化上下文；预算从步数改为墙钟时间，通常60分钟；操作员全程握急停，人根据物理结果而非模型自报完成来判定成功。对于布料折叠这类可变形任务，跨平台很难定义统一成功标准，所以成功率表示“任务被完成”，而不是共同质量水平。
表1 按简单到复杂列出8个真实平台，每类探测不同问题：单臂夹爪（Franka 3、Franka Panda、AgileX PiPER+Pika）、双臂夹爪（AgileX Piper双机械臂）、双臂灵巧手（Tianji M6S+Wuji Gen-1 hands）、轮式移动操作臂（Galaxea R1 Pro、AgileX Tracer+xArm7）、人形（Unitree G1+两个Wuji Gen-1 hands）。
表14 表汇总8个平台的相机、动作接口、除任务指令外提供的上下文、以及成功数/试验数。
图8 展示零样本真实控制，从简单到复杂embodiment，按时间顺序给出视频帧，chip给出全部计数试验中的成功数。
图9 说明“模型能做什么取决于它能看见什么”。花瓶插入任务中，单臂Franka 3的夹爪从上方竖直持茎，腕相机随夹爪移动，看不到下方花瓶口，插入失败；双臂Piper中，持花臂的腕视图同样受限，但GPT-6-Astra移动空闲臂直到其腕相机看到花瓶口，然后完成插入。差别是主动视觉：视角成为动作空间的一部分。这种行为在遥操作示范中很少出现，因为人类操作员通常从自己的视角看场景，而不是通过机器人相机看，示范很少移动相机解决遮挡；零样本agent只通过机器人相机感知，必须自己发现这一点。
图 对比早餐任务的两种规格。左侧是BEHAVIOR-1K的cook_bacon完整目标：目标在每一步对当前状态测试，episode在第一次成立时成功；没有任何要求关炉子；cooked一旦物体最高温度超过阈值就为真，对烧焦的培根仍为真。右侧是“make breakfast”请求需要表达的内容：任何可接受的refinement都得分，按served和何时上菜评分，居民离开后价值衰减；只有从未烧焦的物品才算served；predicate定义在只有judge知道的物理量上；:never与:whenever是absence与bounded-response规格模式，可在metric与signal temporal logic中表达，并在世界时钟上检查整条轨迹，agent声称完成后时钟继续走。
图11 展示家庭环境构建：公开资产与floor plan组合成交互式一居室公寓；coding agents在人类审查下按真实尺度把日常物品放在命名支撑面上；每个部分绑定物理，包括articulation、液体、布料、接触，以及日常电器的加热与烹饪过程；任务只陈述需求，例如“能做早餐吗”；agent只看机器人onboard cameras；其deliberation推进世界时间。
图12 展示家庭概念验证中的五个代表性失败：整理桌子时机器人移动书，碰移位桌面物品、把物体碰掉、肘部碰显示器并把显示器推离原位；打开冰箱放牛奶后转身搬水果，冰箱门从300秒到765秒世界时间一直未关；做早餐时一臂持冰箱门，但从站位看门挡住另一臂够培根，松手去够时门关上；水龙头未关且排水口关闭，水槽溢水并沿柜子流到地板；煎蛋时通过头部相机观察，决定蛋凝固后关火，决策耗时8秒世界时间，炉子仍开着，等关火时约90秒后蛋已烧焦。紫色轮廓标出相关物体，时间戳是世界时间；外部相机仅用于可视化，agent只通过机器人onboard cameras看。
图13 是真机零样本任务全画廊，按结果分组：A组是每次计数试验都成功；B组是中等完成，部分试验失败，或如B1每次计数试验都成功但结果不完美（折叠布仍不整齐）；C组是没有任何试验成功。每个任务按时间顺序给三帧，chip给出成功数/计数试验数；双Piper和Galaxea R1 Pro桌面任务的计数是报告rollout的计数；A1/A2、A12/A13是同一任务的两次rollout。
图14是Franka 3的三个任务：叠块、布料折叠、插头插入。叠块6/6；布料折叠2/4；插头插入0/3，插头到达插座但未插入。
图15 是Franka Panda的胶带卷stacking、白毛巾折叠、深蓝布折叠、插头插入。胶带卷3/3；白毛巾2/2；深蓝布1/2；插头0/5，最后一帧是最终腕视图。
图16 是PiPER+Pika的三个任务：碗被碰移位后重新规划、布料折叠、插头插入。重新规划3/3；折叠3/3；插入0/3，最后一帧是腕视图，插头盖住插座。
图17 是AgileX Piper/PiperX的全部桌面操作任务，从简单放置到有序折叠与插入，包括电池到最近盘子、玩具积木到篮子、物品到网格、叠杯到标记X、抬起水果篮并保持、双手持牛奶盒、笔入笔筒、电池到最近盒子、毛巾卷叠成3-2-1金字塔、按顺序把毛巾折成四折、把T恤折成方形、把塑料花插入花瓶。
图18 是Tianji M6S+Wuji手的三个条件：GPT-6-Astra写抓取代码抓玩具（0/3，玩具从未被抬起）、人写抓取脚本抓玩具（3/3）、人写抓取脚本抓瓶子（1/3）。
图19 是Galaxea R1 Pro的洗衣机任务、花收集和桌面操作任务。
图20 是AgileX Tracer+xArm7的导航任务，每个任务一条记录运行，第三人称手机视频，chip给出全部试验成功数。
图21 是Unitree G1+Wuji手的固定身体拾放与桌子接近。拾放毛绒玩具2/3；转向、接近桌子并停在约10 cm处3/3，两项分开评估。
真实世界还揭示了三个约束。安全方面，超出控制器限制的接触会触发保护性停止，通常终止试验，例如Franka 3折薄布时夹爪碰桌，或PiPER插头插入尝试以关节碰撞故障结束（3次中2次），模型无法从硬件级故障恢复；掉落等结果不可逆。机械限位方面，模型没有直接反馈其命令施加的负载：Tianji M6S上Wuji手指关节在重复抓取尝试中负载停滞，唯一保护是模型自己设的温度阈值，手达到62°C时中断尝试；执行器过热会终止长时间试验，Galaxea R1 Pro的躯干过热故障结束了两次花收集运行。实时性方面，仿真中环境在模型思考时暂停，真实机器人上流逝时间是一切成本累积的量：token、安全风险、硬件应力和人工监督；G1上模型每次运行约90%时间在deliberation，单次操作试验超过一小时。缺少示范也会重塑ICL：真机新任务常无示范，人类写上下文对有意义范围的任务足够，但仍是专家prompt engineering，质量直接影响结果；Tianji手上没有预定义抓取primitive时模型未成功，而人类写grasp script后玩具抓取3/3。
五、下一代具身基准：任务源于需求、无域内示范、世界不停
报告第三条主线是重新设计基准。现有具身基准大多为模仿学习策略设计：收集任务示范，拟合策略，在同任务held-out episode上评估；真机上，新任务示范和额外时间都不免费。因此，对通用agent而言，这些基准部分测量的是“它多会利用基准给的条件”，而单纯提高难度不会改变这一点。论文提出三条原则，并用家庭概念验证说明。第一，任务源于人类需求：任务应按人陈述的需求表达，并同时放入未明说的义务（Duty），如未关的炉子、流水、自己打开的柜子，与明确请求（Intent）在同一部署、世界时钟上有deadline；这类任务也测试agent是否知道自身embodiment的极限，人形可以搬凳子够天花板灯泡，轮式底盘应求助。第二，不提供域内示范：基准不提供in-domain training episodes或scene-specific demonstrations，agent必须从未见家庭和embodiment中通过自身探索grounding先验，映射布局、测试affordance、理解idiosyncratic appliances，并可能找到示范者没用过的策略；judge的predicate应定义在agent不可见的物理量上；评估单位是deployment，agent多快变得胜任是关注量。第三，世界继续运行：agent推理时世界不暂停，observation到下一条命令之间的时间按上一条命令模拟；judge观察整个世界时钟轨迹，包括agent声称完成后一段时间；obligation成为轨迹约束，避免某些条件或在触发后deadline内恢复；utility取决于完成了什么和何时完成。图10的早餐规格对比、图11的家庭环境构建和图12的五个失败，正是这三条原则的具体化。报告在第5.3节列出开放挑战：judge需要物理事实，学习judge尚未填补缺口；仿真保真度方面，错误建模的关节可能让agent看似成功，接触伪影可能让它看似失败；世界不停的代价是推理时每个物理过程都要模拟，分数依赖延迟、硬件和服务负载；部署持续一小时或更久更贵，而短机器人试验通常重复次数太少，难以可靠区分策略。
六、RSI与开源：把验证过的经验沉淀到更小模型
harness消融证明系统级工程有价值，但仍依赖巨大通用模型在推理时反复试错。报告第三条主线是模型层面的递归自我改进（RSI）：把经过验证的交互经验转化为多模态监督，让目标理解、动作决策和反馈纠错逐步沉淀到模型参数中。SenseNova-RoboRSI-27B-Preview是这一思路的产物：通过模型与harness的协同RSI，把验证有效的交互经验内化为可复用能力。在RoboDojo上，配合VLA执行取得26.13平均得分和20.83%任务成功率，平均得分仅比RoboDojo团队评测的GPT-6-Astra低2.84分；在LIBERO-Pro上，VLA配合执行与VLM直接控制两种架构成功率均超过90%；在RoboCasa365上，相较Qwen3.8-27B基座，RSI训练后成功率从26.0%提升到46.5%，token开销减少73%。最值得关注的数字是成本：27B模型把任务完成成本降到GPT-6-Astra的1/50。这不是微小效率优化，而是数量级改变：同样任务预算可覆盖50倍试错和部署，或同样部署规模可把推理成本压到可商用水平。
开源方面，代码仓库https://github.com/OpenSenseNova/SenseNova-RoboRSI已开源首批代码，包含Agent运行时、基准评测以及LIBERO、LIBERO-PRO、LIBERO-Long++和LIBERO-Ultra-Long的适配器。安装与首次评测使用Python 3.10–3.12，在仓库根目录创建虚拟环境并安装依赖：
python -m venv .venv
source .venv/bin/activate
python -m pip install -e '.[runtime,test]'
bench --help
Windows使用.venv\Scripts\Activate.ps1激活环境。按照安装与首次评测指南准备基准，运行固定动作或模型Agent；原生基准镜像面向Linux，连接已有HTTP基准服务时无需在本机安装模拟器。基准配置已支持LIBERO、LIBERO-PRO、LIBERO-Long++/Ultra-Long、Bench2Dex、DexJoCo和BEHAVIOR-1K；每个基准及其依赖被封装为独立Docker镜像，通过统一HTTP API提供环境交互与原生评分服务，实现评测环境与Agent模型、策略解耦，研究人员无需手动部署复杂仿真环境，可以从配置文件直接运行端到端评测。Agent配置的模型、提示词、上下文和预算文档位于docs/agents.zh-CN.md；评测的批量执行、结果查看和中断恢复说明位于docs/evaluation.zh-CN.md。当前版本包含Agent运行时、基准评测和LIBERO系列适配器；递归改进、训练代码、其他机器人栈和历史私有实验配置不在本次发布范围，模型检查点、场景数据集和历史ICL包不包含在内。模型权重页面为https://huggingface.co/sensenova/sensenova-roborsi-27b-preview。
完整实验设置方面，仿真结果覆盖LIBERO-PRO 800个episode；LIBERO-Long++ 120个、Ultra-Long 90个；RoboDojo 42任务×5组、210个episode；RoboLab-120；Bench2Dex 78个；DexJoCo 55个；LHPR-VLN 114个；VLN-CE R2R/RxR各100个；SIMPLE 180个候选episode、Matched-880个、Common-4 120个；BEHAVIOR-1K 100任务、100次rollout。Harness消融在RoboDojo 42任务上按一致协议评估，每任务三次不同seed（ICL遵循表5），同时报告task score与success rate，并按Generalization、Precision、Long-Horizon、Memory、Open五维评估；token消耗包括GPT-6-Astra和辅助agent的输入与输出token，作为推理成本代理。真实机器人部分按8个平台逐一记录设置、上下文、任务结果、发现和可视化，对应图14–21。相关工作覆盖基础模型作为具身agent、机器人策略学习（VLA、WAM）、具身基准、前沿模型实证研究等；与这些工作相比，本报告的特点是在单一协议下评估操作与导航、消融harness、真机验证，并据此提出下一代基准原则。
写在最后
这项工作的核心贡献不在于提出一个更大的模型，而在于用系统性的实证研究重新划定通用大模型在具身智能中的能力边界与落地瓶颈。GPT-6-Astra在仿真基准上已经逼近饱和，但成本、真机可靠性、物理状态验证和长程进展保持仍是真实障碍。SenseNova-RoboRSI-27B-Preview证明了另一条路径的可行性：把验证过的交互经验沉淀到更小模型，用1/50成本完成同样任务。论文最值得关注的数字是60.08和1/50：60.08是RoboDojo上的平均得分，在冻结模型权重条件下从28.97提升到60.08，约翻倍，证明harness设计本身就是被低估的能力杠杆；1/50是27B模型相对GPT-6-Astra的任务完成成本，意味着具身智能落地不再必然依赖最大通用模型，系统级工程和模型层面经验内化可以共同承担这份工作。更宏观地看，这项工作代表一类新研究范式：不是追问“模型能不能做到”，而是追问“在什么条件下模型能做到，以及做到的成本是否可接受”。下一代具身基准三原则——任务源于真实人类需求、不提供域内示范、世界时钟在模型思考时继续运行——直接挑战当前基准设计中隐含的“环境暂停”假设。对于正在探索具身智能、VLA和通用大模型交叉的研究者和工程师，这套框架和开源工具提供了一个经过系统验证的起点。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
