想做一个灵巧手项目,却不知道从哪里开始?机器人和强化学习的基础知识学了一些,却还没完整运行过一个案例;找到了开源代码,却不清楚模型、仿真环境和控制程序该怎样配合。
如果你也想跨过这一步,欢迎加入第三期灵巧手实训营。
灵心巧手联合Xbotics,用8周时间,带你从模型、仿真与控制基础入门,逐步读懂并复现O20手内连续转球,再尝试让不同形状的物体转起来。
先看O20和O30的手内转球演示,每段20秒。
本期实战:O20手内连续转球,MuJoCo仿真
O30手内连续转球,MuJoCo仿真拓展示例
O20为本期实战项目,O30为不同手型的拓展示例。 球在掌中转动的背后,是手指持续的推动、支撑与配合。课程将围绕这些动作展开:模型怎样描述手指,代码怎样驱动关节,强化学习又怎样训练出协调动作的策略。你可以对照代码、观察仿真,把这些问题一个个弄明白。
适合谁参与
想把课堂知识用到项目中的高校学生。
机器人、自动化、人工智能、计算机、控制等相关专业的同学,可以从模型观察和仿真练习开始,逐步完成一份有演示、有记录的项目。
有编程基础、想进入具身智能领域的开发者。
跟随案例读模型、配环境、运行策略,把对灵巧手的兴趣,变成可以展示和交流的项目经历。
希望进一步研究灵巧操作的学习者与从业者。
更换物体、调整参数,比较实验结果,也可以参与模型适配、代码改进和课程资料共建。 建议具备基本Python、终端与文件操作能力。强化学习知识可以跟随课程逐步补上;已有经验的同学,也可以在拓展任务中继续深入。

往期成果:103名学员,21项项目与Demo
前两期实训营中,已有103人入营,产出21项项目/Demo成果;灵心巧手与Xbotics共同开发了6节系统课。从控制手指,到抓取物体,再到适配新的模型,学员们把学习过程变成了一份份可以展示的作品。

O6|方块抓握与释放

通过关节位置控制,依次完成手指闭合、方块抓握、撤去外部支撑后的保持,以及张手释放,将关节控制连成完整的抓握过程。
L20|物体抓取与抬升

结合策略运行与关节控制,在仿真中完成L20抓取和抬升。代码里的动作输出,成为画面中看得见的抓取结果。
RevoArm+L20|机械臂与灵巧手模型适配

通过模型拼接、关节适配与训练设置,将RevoArm机械臂和L20灵巧手接入同一仿真场景,为后续组合操作搭建模型基础。
L20|抓取策略迁移

参考UniDexGrasp相关流程,将L20抓取策略迁移到Isaac Sim/Isaac Lab,结合PPO、奖励调整与接触稳定辅助,实现立方体抓取和抬升。
第三期,我们将以O20手内连续转球为共同目标。 从基础课到项目复现,一步步完成自己的演示,再尝试新的物体和控制思路。
八周学习计划
前六周学基础,后两周做项目。先通过O6、倒立摆和Isaac Sim/Isaac Lab案例,认识模型、控制与强化学习;再使用配套O20工程,在MuJoCo中完成转球复现与拓展。
第1周|入门:认识机器人与灵巧手
从自由度、驱动方式和抓取动作讲起,了解普通夹爪与多指灵巧手的差异,理解关节运动怎样影响手指位置。
本周目标:结合一个抓取案例,说明手指怎样运动、采用什么控制方式,完成第一份学习笔记。
第2周|模型:理解URDF与关节结构
对照O6可视化模型,认识URDF中的连杆、关节、运动轴与限位,了解外观、碰撞与惯性描述各自的作用。
本周目标:梳理从手掌到指尖的连接关系,对照模型文件,说明手指姿态是怎样被描述的。

第3周|控制:在仿真中驱动手指
进入Isaac Sim,了解模型、物体与控制脚本怎样组成仿真场景。学习发送关节位置目标,结合传感器读数观察接触反馈。
本周目标:完成基础单指控制练习,用动作前后的画面,说明控制指令与手指运动的关系。

第4周|强化学习:认识观测、动作与奖励
结合灵巧手任务,认识观测、动作、奖励与回报,了解PPO的基本思路,学习如何把一个动作目标设计成强化学习任务。
本周目标:为单指靠近或多指抓取整理任务设计表,说明策略需要哪些信息、输出什么动作,以及怎样设置奖励。
第5周|读代码:理解Isaac Lab倒立摆任务
从Isaac Lab案例入手,找到环境、动作、观测与奖励的相关配置,分清环境运行、策略训练与策略播放各自在做什么。 本周目标:梳理任务调用顺序,运行不施加控制动作的基础示例,熟悉强化学习项目的组织方式。

第6周|做实验:观察接触与物体参数的影响
围绕O6与圆柱物体,比较固定物体和动态物体的表现,观察零重力条件下的保持效果。结合策略播放与日志,理解接触和物体参数为什么会影响动作。
本周目标:按讲义做一次参数实验,或分析提供的演示与日志,说明一项设置带来了什么变化。
第7周|项目复现:O20手内连续转球
跟随两课时实战录播,理解抓取池为何要保存经过筛选的抓握起点,认识策略的观测、动作与运行配置。对照重点代码,在MuJoCo中加载已有策略,运行连续转球。
本周目标:完成基础复现,录制本人运行的球体连续转动成功视频,并说明主要运行环节。

第8周|项目拓展:更换物体与转动实验
把球换成圆柱、长方体等形状,沿用项目方法或尝试其他控制思路,观察物体怎样被保持、怎样滑动,又能否持续转动。
本周目标:提交另一种物体的探索视频与实验说明,记录改了什么、观察到了什么,以及下一步想怎样改进。
完成八周学习,你将收获什么?
一段由你亲自复现的转球演示,一份能讲清主要运行环节的项目说明,以及一次不同物体的探索记录。配套工程和已有策略帮助你开始,代码理解、参数实验与结果分析,则让这个项目逐步变成你自己的经验。
算力支持:每位学员获赠500地瓜干
本期继续为每位学员免费提供500地瓜干,用于地瓜云平台。 需要GPU的仿真与训练,可以参考使用说明选择镜像、配置环境;O20已有策略的基础回放也提供CPU推理路径,方便大家根据自己的设备条件开始练习。
也可以按需使用算力自由平台,资源按该平台页面计费。赠送的500地瓜干用于地瓜云平台。
社区共学:分享经验,共同开发
前两期积累的452份学习记录与66篇公开分享,留下了配置环境、理解模型和开展实验的经验。第二期7场课程直播,累计获得1,540观看人次,让更多同学有机会一起学、一起讨论。
从灵巧手抓握、物体抬升,到模型适配与任务探索,个人的尝试逐渐成为大家可以参考的资料。你今天记录下的一个方法,也可能帮助下一位同学更快开始。

本期继续开展去中心化共学,鼓励共同开发。 北京、上海、深圳、武汉、西安五地均有负责人,连接不同城市的学员。分享一份环境配置说明,补充一个模型案例,或交流一次参数实验,都能成为共同完善资料的起点。
课程与配套资料集中放在飞书,学习进展和实验问题在微信群交流。本期也计划继续邀请课程讲师、开发者与优秀学员开展直播分享,具体安排将在群内通知。
学习方式与每周安排
看课程、做练习、整理成果,再带着问题交流。 课程结合PPT、重点代码讲解与仿真演示,录播可以反复回看,各课配套讲义、模型或源码,方便边学边练。
每周日晚23:59前(北京时间),在群里提交周报与当周作业。简要写下本周学了什么、完成了什么、有哪些问题,作业按对应课节说明完成。前六周用笔记和基础练习积累方法,最后两周集中完成项目复现与成果整理。
结营后:带着你的想法做真机实验
当屏幕里的手指已经动起来,你是否也想亲手调试一次真实的抓握?
后续线下实操中,可以使用灵心巧手O6、O20开展真机验证。你可以从复现课程中的动作开始,也可以带着自己的控制思路或改进方案,观察真实的接触与运动,验证那些在学习过程中产生的新想法。
O6|基础控制与抓握实验
从手指开合、物体抓握与释放入手,看看换一种物体、调整一组动作,抓握效果会有什么不同。把前六周学到的模型与控制方法,用在可以亲眼观察、亲手调试的实验中,尝试让自己的方案完成一次更稳妥的抓握。

O20|手内操作与策略部署
从仿真中的连续转球出发,尝试将策略部署到真实的O20上。围绕物体保持、手指配合与转动效果提出自己的改进思路,在完成硬件适配与调试后,用真实反馈检验:怎样调整,能让动作更协调、物体保持得更稳定?

从跟随案例,到提出问题、设计实验、验证自己的方案。下一次值得展示的成果,也许就来自你在这八周里产生的一个新想法。真机验证结合后续线下实操开展,具体场次与参与方式以活动安排为准。
常见问题
没有强化学习基础,可以参加吗?
可以。课程会从机器人、仿真与强化学习基础逐步展开,你可以边学边练。建议具备基本Python、终端和文件操作能力,更便于完成练习。
需要自备灵巧手真机或高性能显卡吗?
无需自备灵巧手真机,本期主体内容在仿真中完成。需要GPU时,可以参考地瓜云使用安排。
结营需要提交哪些成果?
本人运行的球体连续转动成功视频,以及另一种物体的探索视频与实验说明。拓展实验重在尝试和分析,把观察结果与改进思路记录清楚即可。
完成本期学习后,还能继续做什么?
继续更换物体、调整接触参数、尝试其他控制方法,或参与资料与代码共建。还可以带着自己的想法,结合后续线下实操,使用O6、O20验证抓握与手内操作方案,让课程里的方法成为下一次实验的基础。
联合主办方
灵心巧手(Linkerbot)专注机器人灵巧手研发,提供多种手型产品与开发资源。Xbotics具身智能社区通过课程共研、技术交流和开源实践连接开发者。双方联合举办本期实训营,希望让更多学习者在动手中理解灵巧操作,也让个人的经验成为社区共同积累的一部分。
即日起报名,11月1日开营
11月1日开营,8周学习与实战,每周投入6—8小时,每位学员免费获赠500地瓜干。
如果你一直想做一个灵巧手项目,不妨就从这次开始。跟着课程读懂模型、运行策略,完成转球复现,再用不同的物体验证自己的想法。 欢迎加入灵心巧手 × Xbotics第三期实训营,和同伴一起,把兴趣变成可以展示、可以继续研究的作品。
关注「Xbotics具身智能实验室」公众号,在后台回复「灵巧手实训营」,即可获取自动回复的报名问卷。填写并提交问卷,完成报名。

-END-
点击下方卡片,关注【Xbotics具身智能实验室】
你想要的这里都有~~
Ask Me Anything|提问箱
对文章有疑惑,或想聊更深?欢迎把你的问题丢给我们:技术方案、实操踩坑、课程与资料、项目合作、职业发展,都可以问。
怎么问:在评论区留言,或私信公众号
我们会做什么:每周集中整理高质量问题并公开回复,重点问题邀请作者或嘉宾深度解答;典型问题会加入知识库并持续更新。
提问小提示:尽量说明「你的目标—当前做法—期望产出」,附上必要信息(硬件/软件版本、数据规模等),能更快获得有用答案。
一起把问题变成知识,推动社区进步 🚀