在具身智能走向工业现场的进程中,机器人不仅要“看懂”指令,更要“摸得准、记得住、学得快”。杭州柯林正与 NVIDIA 共同探索一条以力觉感知、高性能执行、世界模型与长程任务规划驱动的工业具身智能落地路径——让机器人在精密装配、重载搬运、电力巡检等真实工业场景中,具备接触任务的精准操作能力、跨小时多步骤的长程任务执行能力,以及持续进化的学习能力。
在推进工业具身智能落地过程中,杭州柯林面临诸多挑战:
1
通用视觉语言动作模型缺乏力觉理解,难以稳定完成高精度接触任务;
2
高性能执行部件的动力学、摩擦、回差、热特性难以在真实产线反复验证,仿真与真机之间存在明显的虚实鸿沟;
3
工业场景数据采集成本高且部分工况存在安全风险,难以获得规模化、多样化的训练数据;
4
缺少覆盖真实光照、材质与几何细节的高保真数字孪生环境,制约了策略训练与安全测试的效率;
5
复杂工业任务缺乏可检索、可更新、可复盘的长期记忆能力,机器人难以稳定完成跨小时、多工位、多工具的长程任务,也难以在未见的技能组合下完成新任务,任务级泛化能力不足。
1
依托 NVIDIA Isaac Lab 搭建接触任务与执行器动力学的高保真仿真与强化学习训练环境;
2
借助 NVIDIA Isaac GR00T 构建融合力觉的 Vision-Language-Force-Action 策略,提升接触类任务的理解与执行能力;
3
以 NVIDIA Jetson Thor 作为工业机器人机载计算平台,实现边缘侧实时推理与力觉闭环控制;
4
利用 NVIDIA Cosmos + Omniverse 生成变电站、装配工位等工业数字孪生场景的合成数据,构建数据飞轮;
5
通过 NVIDIA NuRec 对工业现场进行高保真三维光场建模,加速真实场景转化为可交互数字孪生资产;
6
NVIDIA GPU 服务器作为本地训练集群,承载 GR00T 力觉策略微调、Cosmos 合成数据生成及长程任务规划基座大模型的训练负载。
在 NVIDIA 全栈物理 AI 的助力下,目前,杭州柯林已在多个关键环节取得阶段性成果:
1
完成插装、压装等首批工业接触任务的仿真训练与真机验证,典型技能的任务成功率达到 80% 以上。
2
力觉增强策略上线后,机器人对接触、卡滞、过载等异常状态的识别与自动纠偏能力明显提升,装配类任务的误判率显著下降。
3
借助 NVIDIA NuRec,单场景数字孪生资产的建模周期较传统人工建模大幅缩短,为规模化场景复用打下基础。
4
依托 Isaac Lab 仿真训练与 Cosmos 合成数据,大幅降低了对高风险真实工况数据采集的依赖,训练数据获取成本明显下降。
5
基于 NVIDIA Jetson Thor 的边缘部署,实现了力觉闭环推理的毫秒级响应,支撑工业机器人在装配、巡检等场景的稳定实时执行。
6
长程任务规划基座大模型完成 2 项跨区域、多步骤电力巡检任务的公开演示,验证了任务中断续接与异常恢复能力,机器人可在长程任务中断后自动定位断点并继续执行。
以上为案例摘要内容,点击“阅读原文”或扫描下方二维码阅读完整内容:
