IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录

具身智能之心 2025-10-29 12:00




清华大学智能产业研究院(AIR)与上海人工智能实验室联合发布全新通用跨本体具身基座模型:X-VLA。X-VLA是首个实现120min无辅助自主叠衣任务的全开源模型(公开数据、代码与参数),以仅0.9B的参数量在五大权威仿真基准上全面刷新性能纪录,同时,基于X-VLA的解决方案在IROS-AGIBOT World Challenge上大放异彩,夺得冠军。总体而言,X-VLA为具身智能领域提供了一个性能强劲、完全开源的新基线与技术范式。

  • 项目主页:https://thu-air-dream.github.io/X-VLA/
  • 代码:https://github.com/2toinf/X-VLA.git
  • 作者:Jinliang Zheng*, Jianxiong Li*, Zhihao Wang, Dongxiu Liu, Xirui Kang, Yuchun Feng, Yinan Zheng, Jiayin Zou, Yilun Chen, Jia Zeng, Ya-Qin Zhang, Jiangmiao Pang, Jingjing Liu, Tai Wang, Xianyuan Zhan
IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图1

视频一

核心亮点

  • 性能突破:率先实现超长时序灵巧操作任务(如自主叠衣)的全流程开源,攻克长期复杂自主作业难题。
  • 极致高效:仅0.9B超轻量参数,即在五大仿真基准上实现SOTA性能,达成卓越的效费比。
  • 创新技术:打破大规模异构数据训练难题,通过Soft-Prompt与定制化训练范式,构建出高效通用的跨本体基座模型。
  • 开源开放:完整公开模型参数、代码与训练数据,助力具身智能社区复现与创新。

IROS-2025 AGIBOT World Challenge

AGIBOT World Challenge 由智元机器人与 OpenDriveLab 联合主办,吸引了来自 全球五大洲、23 个国家/地区的 431 支顶尖战队参与。全球 11 支最具竞争力的队伍通过了线上赛的筛选,参加了 IROS 杭州举办的 Manipulation 现场比赛,围绕抓取、折叠、烹饪、倒水等六大真实物理任务展开激烈角逐。

X-VLA 团队基于自主提出的 X-VLA 方法参赛,在多任务、多场景的真实物理操作中展现出卓越的泛化能力与鲁棒性,最终脱颖而出,荣获 全球第一名

IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图2
IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图3

核心方法

IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图4

1. 高效模型设计

  • 面向本体泛化的Soft-Prompt机制:为克服不同机器人平台在自由度、相机观测视角等本体参数上的差异,本研究引入了可学习的Soft-Prompt。该机制动态地将具身本体的硬件配置信息编码为一种连续表征,使模型在预训练中能够解耦任务策略与具体执行器,从而显著增强模型对异构机器人平台的适应能力,并提升混合数据训练的稳定性与效率。
  • 基于功能分工的多模态编码策略:针对机器人任务中多源视觉输入的异质性,我们提出了分治编码方案。任务相关的主视角图像由高性能视觉-语言模型编码,以提取高层语义特征;而主要提供低层次空间反馈的辅助视角,则通过轻量化的网络进行局部特征提取。该策略在保证信息完整性的前提下,优化了计算资源的分配,提升了模型的信息处理通量。
  • 基于flow-macthing的生成式动作解码器:模型主干采用标准Transformer架构,以确保良好的扩展性与通用性。动作生成模块摒弃了传统的确定性输出策略,转而采用先进的flow-matching,以概率生成的方式建模机器人动作序列。该方法显著增强了动作轨迹的平滑性与对不确定环境的鲁棒性,为长时序任务的成功执行奠定了坚实基础。
IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图5

2. 大规模高质量异构数据预训练

  • 平衡化数据采样:定制数据采样策略,确保异构数据集的均衡训练,避免模型偏斜。
  • 多模态数据清洗与时空对齐流水线:我们对原始机器人操作数据实施了严格预处理,包括:将不同空间下的动作数据统一映射至标准任务空间;对高频率采集的数据进行时序层面的对齐与重采样。此流程极大提升了状态-动作序列在时间上的一致性逻辑与整体质量。
  • 以语义-动作对齐为导向的数据遴选标准:我们确立了严格的数据质量门槛,核心是筛选视觉帧清晰、语言指令描述精准且与后续动作序列高度关联的数据样本。此举从源头上确保了模型学习到的是有明确因果关系的“行为知识”,而非浅层的虚假关联。
IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图6

3. 定制后训练流程与技巧

  • 分层分组的自适应学习率调整:鉴于模型中不同组件(如预训练冻结的VLM、新引入的Soft-Prompt、主干Transformer等)的参数规模与收敛特性各异,我们为其施加了分组别、差异化的学习率调度策略。该设计既保护了预训练获得的基础知识,又允许关键适配层快速调整,从而在保证训练稳定性的同时,大幅优化了收敛效率。
  • 面向异构模块的渐进式 warm-up 策略:对于模型中新引入的可学习参数(如Soft-Prompt),我们在训练初始阶段采用线性递增的学习率热身机制,使其参数空间得以平稳初始化,再逐步融入全局优化过程。该策略有效避免了训练初期因梯度剧变导致的不稳定性,尤其适用于异构模块的协同训练。

实验结果

高效预训练:可扩展的架构优势

可扩展的架构优势X-VLA 的预训练缩放定律(Scaling Laws)曲线呈现出优异的线性增长趋势。这表明,随着模型参数以及训练数据规模的同步扩大,其在测试集的开环测试性能呈现稳定、可预测的提升。这一现象验证了所提出的 Soft-Prompt 机制与简洁Transformer架构的强大可扩展性,为构建更大规模的具身智能基座模型奠定了坚实基础。

IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图7

高效后训练:数据与算法的协同优化

得益于高质量的预训练基座,X-VLA 在后训练(微调)阶段展现出极高的数据效率与稳定性。针对不同的下游任务(如自主叠衣),只需使用中小规模的场景专属数据进行微调,模型便能快速适应并达到SOTA性能。这源于预训练阶段学习到的通用视觉-语言-动作表征,以及后训练中采用的定制化学习率策略与慢启动机制,它们共同确保了知识从通用域到特定任务的高效、稳定迁移。

  • 仿真基准测试结果

在包括LIBERO、SIMPLER等在内的权威仿真环境中,X-VLA均取得了SOTA性能,显著优于现有同类模型。

IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图8
  • 实机实验测试结果

在真实的机器人平台上,X-VLA在大量简单抓取和桌面操作任务中展现了强大性能,并成功完成了无限时长的自主叠衣任务,展示了其应对复杂长程任务的卓越能力。

IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图9


IROS 2025-Challenge冠军方案:X-VLA重磅开源,全面刷新机器人基准性能记录图10


声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
开源 机器人
more
全球首个MuJoCo+UE5组合!MATRiX 仿真平台开源!成功打破机器人研发“虚实壁垒”!
1023晚报:百度登顶、智谱推出最强Agent化编程平台、Deepseek和Qwen再次开源、鱼皮团队发布沉浸式AI模拟面试平台
SCADA开源可行吗?工控大厂的试验田,或将造福百万人
TRO最新佳作,IRMVLab开源I2PNet:用于车辆定位的图像与LiDAR 点云端到端配准方案
灵巧智能IROS首发开源DexCanvas数据集,破解灵巧操作物理对齐难题,构建灵巧操作数据基座
别造轮子了!原力灵机开源Dexbotic:迈向具身智能的一站式VLA工具箱
热点关注丨DeepSeek新模型被硅谷夸疯了!用二维视觉压缩一维文字,单GPU能跑,“谷歌核心机密被开源”
刚刚,Dexbotic开源!VLA性能+46%,机器人叠盘子100%成功,统一具身智能底座
身份一致性提升18.9%!阿里开源Identity-GRPO,实现多人视频生成中角色的精准控制
百度已主导1000多项开源项目 社区贡献者超2.1万
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号