点击下方卡片,关注【Xbotics具身智能实验室】公众号
你想要的这里都有~~
要教一只机械手干拧螺丝、插销钉这种毫米级的精细活,最好的办法是什么?
最新答案有点反直觉:先别急着教装配,让它撒开了玩。这正是斯坦福大学最新研究成果 Play2Perfect 提出的核心思路。
一只 22 自由度的 Sharpa Wave 五指灵巧手,先在仿真里把上千个随机形状的"积木"翻来覆去地摆弄,练熟手上功夫,再回头去啃精密装配——朝比一张银行卡还薄的间隙里插销钉、给家具腿拧上装错就废的螺纹、把好几个零件拼到严丝合缝,全程没用一条人类示范,仿真里训好的策略直接搬上真机就能干,效率还比从零硬训快 33 倍。撑起这整条"从仿真到真机"链路的,正是 Sharpa Wave 这只手——那几样毫米级的操纵,靠的全是它的手指。
一只"会玩"的手,凭什么就能拧好螺丝?我们从头拆开看。
一、被忽视的难题:精密装配为何如此困难?
试想这样一个场景:一只22自由度的五指灵巧手,需要抓起一根金属销,在指尖调整姿态,对准一个仅比零件直径大半毫米的孔,然后稳稳插入。这串动作,人做起来几乎是下意识的,可对机器人来说,每一步都是一道坎。
传统强化学习在处理这类任务时,面临着一个根本性困境——稀疏奖励诅咒。
具体来说,一条完整的装配链路包含"抓取、手内重定向、对齐、接触搜索、插入、失败恢复"六个环节。然而,RL训练中唯一能获得的奖励信号,往往只有"最终装配成功"这一个稀疏事件。在拿到第一次奖励之前,策略只能漫无目的地瞎试,要偶然碰出"先抓起来、再转正、再对齐、再插入"这一整套行为序列,概率低到几乎为零。
数据是最直接的证据。在 Play2Perfect 论文的基准测试中,从零开始的稀疏奖励RL(Scratch Sparse)在训练24小时后,成功率仍为0%。即使人为设计了密集奖励函数(Scratch Dense)——对接近物体、抓取成功、减小位姿误差等中间行为给予引导——在这四类装配任务上训满24小时同样颗粒无收。只有把任务大幅简化(零件预先立在夹具上),密集奖励才终于能学出来,但代价是超过100小时的训练时间,且习得的策略极度脆弱。
更关键的是,这种"捷径策略"的真实面目是什么?论文的对照实验揭示:它会用拇指托住零件底部,而不是形成稳定的多指抓取。一旦施加外力扰动,成功率就断崖式下跌。密集奖励诱导策略找到了奖励函数的漏洞,而非真正掌握了灵巧操作的能力。

从零训练的稠密奖励策略靠大拇指顶住零件(右栏),外力扰动下成功率断崖式下跌;Play 预训练策略是稳定的多指抓取(左栏)
这就引出了一个核心命题:机器人必须在尝试装配之前,先掌握某种"通用操作先验"。
二、范式革新:"先玩再装"的二阶段框架
Play2Perfect 的思路很不一样。它不再把精密装配当成一个从零学起的独立任务,而是拆成两个递进阶段,前一阶段学到的能力可以迁移到后一阶段。

Play2Perfect 二阶段框架:自由空间玩耍预训练、装配任务微调、零样本迁移真机
阶段一:Dexterous Play Pretraining——构建"操作基底"
这个阶段的任务设计得出奇朴素:在仿真环境中,随机生成上千个不同几何形状、尺寸、重心和惯量的简单物体(长方体、圆柱体)。策略被要求完成一个看似简单却暗藏深意的任务——将物体移动到随机指定的6D目标位姿。
这里有几个关键设计,值得细看。
策略的形式是严格的目标条件式RL:
输入 = 机器人本体状态 + 当前物体6D位姿 + 目标物体6D位姿 + 物体几何尺寸
输出 = 22-DoF Sharpa Wave灵巧手 + 7-DoF KUKA机械臂的关节位置目标
换句话说,策略学的是一种更底层的能力:"给我一个当前姿态和一个目标姿态,我用手和机械臂把物体从前者挪到后者"。
这恰好是精密装配中核心能力的本质——把零件从当前状态变成目标装配状态。只不过在真实装配里,中间多了接触、摩擦、卡顿和遮挡。Play阶段先在自由空间中学会6D控制,为后续的接触适应打下基础。
训练规模是另一个看点:24576个并行仿真环境同时运行,物理仿真以120Hz进行。这个计算量背后,是策略在海量交互中逐渐摸索出稳定的抓取、手内旋转、抗扰保持等多指操作技巧。
阶段二:Assembly Finetuning——适配接触行为
从Play阶段获得的策略,已经具备了"自由空间中的6D位姿控制能力"。但装配的真实挑战在于:当零件碰到孔口边缘时,该怎么做?
微调阶段的精妙之处在于奖励设计的极度克制。它不使用任何显式的抓取、对齐或接近奖励,仅依赖从CAD装配设计中派生出的稀疏成功信号——当零件的6D位姿与目标位姿的keypoint距离小于1cm时,给予一个额外奖励。

Assembly-by-Disassembly:从装好的 CAD 状态逐个拆除零件,倒序即得装配步骤与每步的稀疏目标位姿
为什么这样做有效?因为Play预训练已经解决了"如何抓住并控制物体"的问题。微调阶段只需要在已有操作能力的基础上,学习最后那段高精度接触行为——孔周局部搜索、微小摆动修正姿态、对齐后提交插入动作、滑落后重新抓取。
效果立竿见影:在紧间隙插入、螺丝拧入、多零件装配等接触丰富任务上,Play2Perfect仅需2-5小时就能学到成功策略。相比需要超100小时的密集奖励从零训练,速度提升约33倍。

四类装配任务训练曲线:带 Play 先验的策略 2-5 小时学成(蓝线),从零训练无论稀疏还是稠密奖励都趴在零附近(橙、灰线)
三、技术深潜:什么样的Play才算"有效玩耍"?
四组消融实验揭示了有效预训练的硬性条件。

Play 预训练的四个设计维度:物体多样性、训练目标、轨迹多样性、目标精度
条件一:必须包含旋转控制
这一条最能说明问题。论文对比了三种Play预训练目标:Translation-only(只要求位置到达)、Rotation-only(只要求姿态到达)、以及完整的6D Pose(位置+姿态同时到达)。
反差非常鲜明。Translation-only预训练的效果很差,原因也很直接:策略学会了"抓住物体后靠机械臂搬运"。既然只要求位置到达,手只要死死攥住物体、让大臂当搬运工就行,根本用不上手指去做手内操作。
Rotation-only显著优于Translation-only,因为它迫使手指学习手内重定向——用手指搓动、旋转、微调物体方向。但真正最优的是完整6D Pose目标,因为精密装配中位置和姿态必须同时精确到位,二者耦合紧密。
结论:如果你的预训练任务只设计成"把物体移动到某个位置",模型学到的很可能是机械臂搬运,并不是灵巧手操作。要让手真正变灵巧,目标必须包含旋转、姿态、接触后的微调。
条件二:预训练精度必须严苛
论文默认使用1cm作为预训练阶段的目标容差阈值,并消融对比了更宽松的5cm和10cm条件。
结果清晰明了:10cm阈值几乎无法迁移到精密装配,5cm可以学到但明显更慢且效果更差,1cm最适合紧间隙任务。原因是,如果Play阶段目标太粗,策略根本不需要学会精细姿态控制;而精密装配要求的是毫米级接触容差,粗粒度控制完全无法迁移。
启示:预训练目标的难度必须和下游任务的精度要求匹配。如果下游要做0.5mm间隙插入,预训练阶段不能只训练10cm级别的粗操作。
条件三:在线随机轨迹优于固定轨迹库
论文比较了三种设定:固定10条轨迹集、固定100条轨迹集、以及在线随机生成目标位姿。
在线随机目标的迁移表现最优。解释并不复杂:固定轨迹容易让策略记住少量操作模式,一遇到训练中未覆盖的位姿转换就失效。而在线随机目标迫使策略面对无限变化的物体位姿,学习到的是一种更通用的"物体姿态控制能力"——无论当前物体是什么姿态、目标在哪里,都能找到操作路径。
放回真实装配场景一看就懂:零件每次抓取后的姿态都不一样,接触时的误差也各不相同。如果预训练只覆盖少数固定模式,策略到真实任务中必然脆弱。
条件四:物体多样性重"分布覆盖",非盲目堆数量
实验对比了10、100、1000个物体的预训练效果。结果显示:从10到100提升明显,但从100到1000的边际收益已经有限。
这说明,灵巧操作的预训练,"覆盖得全"比"堆得多"更重要。应该优先覆盖真实任务里常见的几何变化——长条形、圆柱形、偏心重物、薄片、T形结构、可旋转零件等,而不是一味堆砌大量形状雷同的物体。

四组消融的下游装配训练曲线:旋转控制与紧精度阈值的差距最悬殊,物体 100 种与 1000 种几乎重合
四、平台的硬核支撑:Sharpa Wave 如何打通仿真到现实
算法设计再精妙,最终也得落到硬件上。Play2Perfect的整条实验链路里,Sharpa Wave五指灵巧手是绕不开的一环。
先认识一下这双手背后的公司。Sharpa 是一家 2024 年创立的 AI 机器人公司。Sharpa Wave 是它的旗舰灵巧手:22 个主动自由度,与人手同构、同尺寸,重约 1.2 公斤;指尖集成自研的动态触觉阵列(DTA),单个指尖上千个触感单元、力感精度 0.02 N;2025 年 10 月开始量产出货,并斩获 CES 2026 创新奖(机器人类)。对研究者更实际的一点是,官方直接提供 MuJoCo 等仿真模型——"仿真训练、真机零样本部署"这条路线能走通,硬件侧提供的高保真仿真模型是前提。值得一提的是,Play2Perfect 目前只用到了这双手的自由度,指尖触觉还没上场;而论文在局限一节恰好写着,引入视觉与触觉观测是下一步——这双手的传感器,正好是为那一步准备的。
高保真仿真模型是 zero-shot sim-to-real 的基础。仿真训练在 Isaac Sim 中使用 Sharpa Wave 的对应动力学模型完成。在预训练和微调阶段,系统还注入了大量领域随机化——动作延迟、本体感知观测延迟、物体当前与目标位姿的噪声——让策略在仿真里就学会在延迟和位姿噪声下仍然稳住动作。
系统集成层面,22-DoF Sharpa Wave灵巧手与7-DoF KUKA iiwa机械臂组成29自由度的完整操作链路。策略以60Hz高频闭环运行,同时接收FoundationPose以30Hz追踪的物体6D位姿(基于CAD模型)。当零件在接触中滑动、抓取松脱时,策略能在数十毫秒内做出反应——重新抓取、重新对齐、继续任务。

真机执行中零件滑落后,策略重新抓取、调整并继续完成装配
真机结果说明这条链路走得通:
紧间隙插入(2mm间隙):9/10成功率,平均完成时间9.4秒
超紧间隙插入(0.5mm间隙):6/10成功率,平均完成时间11.1秒
多零件装配(Assemble-Beam两步):成功率分别为8/10和7/10
完整螺纹拧入(Screw-Leg):5/10成功率

真机三类装配任务的成功率与完成时间

不同装配间隙下,装配微调策略与只预训练策略的真机与仿真对比
五、结论:灵巧操作迎来自己的"预训练时刻"
Play2Perfect的论文意义,不在于证明了"灵巧手可以完成插入任务",而在于它提出并验证了一套可迁移的操作预训练范式。
在这套范式下,灵巧操作不必再为每个新任务重新设计奖励函数、重新采集遥操作数据、重新从零训练。新的训练路径是:先用大量与任务无关的交互练出通用操作先验,再用极少量任务特定的稀疏信号快速适配。
往大一点看,这恰好为未来的机器人系统架构补上了一块关键拼图。VLA(视觉-语言-动作)模型擅长理解任务、生成规划——"把桌腿装到桌板上"。但真正到了执行环节——0.5mm间隙插入、螺纹咬合、手内旋转、接触搜索——需要的是高频闭环和精细控制,不是光靠大模型直接输出动作就能解决的。
更合理的架构是:VLA负责"做什么",Play2Perfect类策略在Sharpa Wave上负责"怎么用手做成"。前者处理语义理解和任务分解,后者处理物理交互和实时控制。这种分层设计,可能是通往真正能干活的人形机器人的最优路径。
而Sharpa Wave,正是这层"低层接触技能基座"的物理化身。
ArXiv 🔗:2606.26428
-END-
Ask Me Anything|提问箱
❝对文章有疑惑,或想聊更深?欢迎把你的问题丢给我们:技术方案、实操踩坑、课程与资料、项目合作、职业发展,都可以问。
怎么问:在评论区留言,或私信公众号
我们会做什么:每周集中整理高质量问题并公开回复,重点问题邀请作者或嘉宾深度解答;典型问题会加入知识库并持续更新。
提问小提示:尽量说明「你的目标—当前做法—期望产出」,附上必要信息(硬件/软件版本、数据规模等),能更快获得有用答案。
一起把问题变成知识,推动社区进步 🚀