在机器人学习大会(CoRL)上,NVIDIA 正式发布 GR00T 2、Isaac Lab 3.0 以及一系列与合作伙伴共同打造的全新开放基准测试,为机器人训练带来更高的精度与规模化能力。

在 CoRL 上,NVIDIA 推出了一系列全新的开放机器人技术,涵盖世界动作模型、仿真工具、基准测试和智能体工作流。
在 CoRL 的最佳论文奖评选中,面对数千篇投稿,NVIDIA 有两篇论文脱颖而出,入围了仅有的六个最终候选名单:
GRAIL(基于世界模型生成人形机器人移动与操作),GRAIL 提出了一套用于机器人学习的数字化生成流水线,能够自动生成 3D 资产以及可直接用于物理仿真的场景。
RoboTTT:面向机器人策略的上下文扩展,引入了全新的机器人模型与训练方案,它将视觉运动上下文的长度扩展到了比现有最先进策略高出三个数量级的水平,同时不会增加推理延时。
这些突破帮助研究人员在复杂任务上训练机器人、在不断变化的条件下评估其性能,并利用失败数据指导进一步学习——从而构建起从实验室演示走向工业部署所必需的精度、适应性和自主性。
世界动作模型
赋能机器人迈向更高阶的自主性
更高级别的机器人自主能力,要求机器人能够感知周围环境、预判自身行动将如何改变环境,并以极高的精度执行复杂的多步骤任务。世界动作模型正是为此而生。
在 CoRL 上,NVIDIA 发布了 GR00T 2——一款基于 NVIDIA Cosmos 构建的开放前沿世界动作模型。该模型利用多样化的机器人和人类数据进行训练,其中包含了 10 万小时的 NVIDIA 开源人类第一视角数据,使机器人能够学习灵巧操作技能。其核心亮点包括:
开箱即用的性能:在没有任何针对具体任务示范的情况下,在 50 项评估任务中有 40 项至少成功完成了一次。
技能迁移:能够从人类示范中学习,并在不同机器人本体之间迁移技能,无需额外的机器人演示数据。
基于少量数据泛化:在每项任务仅提供一次示范的情况下,50 项任务的平均成功率达到 71%;增加至五次示范后,成功率提升至 95%。
智能体控制:AI 智能体可以调用 GR00T 2 的应用编程接口及配套工具,按顺序运行技能并在出错时自主恢复。
训练与规模扩展都在仿真中完成
预训练模型为机器人奠定了一套核心技能。而仿真则让研究人员能够在部署到真实机器人之前,大规模地训练、优化和评估这些技能。
NVIDIA 开源机器人学习框架 Isaac Lab 为上述工作奠定了基础。其最新版本 Isaac Lab 3.0 允许研究人员利用智能体,并借助仿真就绪资产快速搭建训练环境,在 NVIDIA PhysX 和 Newton 物理求解器之间灵活切换,为基于感知的训练选择合适的渲染器,并将全新的强化学习后训练库应用于 GR00T 等基础模型。
精准的物理仿真是将仿真中学到的技能迁移到实体机器人的关键。得益于与开源物理引擎 Newton 的深度集成,Isaac Lab 如今已能建模线缆、布料等可变形物体,也能处理复杂的关节系统,如拥有大量相互耦合关节的机器人灵巧手。
机器人评估的新工业基准
学会一项技能是一个挑战,而在不断变化的条件下稳定可靠地执行,则是另一个更大的挑战。
NVIDIA Isaac Lab-Arena 是一个用于大规模策略评估的开源框架,它使开发者能够构建多样化且可重复的评测方案,并在数千种变量条件下并行运行机器人策略。分析结果能够揭示导致失败的具体条件,从而帮助研究人员明确在下一次训练迭代中需要修复的问题。该框架的最新版本(0.4 版)开发者预览版将在 CoRL 上亮相。
以上为摘要内容,点击“阅读原文”或扫描下方二维码阅读完整内容:
