机器人也能预判“手感”?从CoRL Oral到IROS冠军

Xbotics具身智能实验室 2026-10-28 11:00

把一把钥匙插进锁孔,对你来说再自然不过。

但仔细想想,这个动作并没有那么简单。钥匙有没有对准?碰到阻力时,是继续往里推,还是退一点、换个角度再试?视觉帮你找到大致位置,手指感受到的接触和阻力,则让你在最后几毫米里不断调整。

而且,你不只是等钥匙卡住了才做出反应。凭借经验,你往往能够提前判断:照这个角度继续用力,钥匙可能会卡住;稍微调整一下,也许就能顺利插进去。

这些几乎不需要思考的动作,对机器人来说却并不容易。它能不能一边感知正在发生的接触,一边预判下一步动作可能带来的后果?

游洋威团队取得的三项成果,正是在回答这个问题:从入选机器人学习顶会 CoRL 2026 Oral 的 PACE,到进一步探索未来触觉预测的 ForeTac,再到获得 IROS 2026 WorldArena 2.0 真实机器人操作赛道综合冠军的 ViTacX——从“感知接触、实时纠偏”,到“预测接触、主动决策”,再到更广泛的真实机器人操作实践。

01 从“看得见”到“摸得懂”:PACE 让机器人学会实时纠偏

在机器人操作中,视觉可以帮助机械臂找到目标并完成初步对准。但在精密插装这类接触密集型任务中,零件和孔位哪怕只差一点,也可能撞上边缘,甚至直接卡住。

因此,机器人还需要借助触觉判断零件有没有碰到孔位、碰在了哪一侧,以及阻力来自哪个方向,再据此及时调整动作。

传统视觉触觉融合方法往往将触觉信息作为额外的感知输入,缺少对不同接触信息所承担作用的明确区分。

道理很简单:持续的接触状态与突然发生的碰撞事件,显然不应该被机器人以完全相同的方式处理。

针对这一问题,团队提出了 PACE(论文标题:Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies)。该研究被国际机器人学习顶会 CoRL 2026 接收,并入选 Oral 报告。陈志远担任论文第一作者。

机器人也能预判“手感”?从CoRL Oral到IROS冠军图1
图1|PACE 研究成果入选 CoRL 2026 Oral

PACE 的核心思想:根据触觉信息在时间维度上的不同作用,构建一套时序角色触觉建模框架。

具体而言,研究将触觉信息组织为三个相互配合的角色:

  • Phase(接触阶段):捕捉持续变化的接触状态,为机器人动作生成提供稳定的条件信息。
  • Event(接触事件):识别碰撞、卡滞等突发接触变化,对生成的动作进行针对性纠偏。
  • Pred(接触预测):在训练阶段引入未来触觉预测监督,帮助模型学习接触过程中的动态变化规律。

通过这种设计,机器人既能够保持动作执行的连续性,又能在遇到异常接触时及时做出调整。

值得一提的是,这项研究不仅涉及算法创新,还包含真实机器人数据采集系统的建设。

团队搭建了基于力反馈遥操作的多模态数据采集系统——使操作者能够在示教过程中感知机器人末端受到的接触力,从而采集包含碰撞退让、位置搜索和接触调整等行为的真实操作数据。

这为触觉策略学习提供了重要的数据支撑,也打通了从真实交互数据采集、策略训练到真机验证的完整研究流程。

机器人也能预判“手感”?从CoRL Oral到IROS冠军图2
图2|PACE 在多种真实机器人精密插装任务中的实验

在五项真实机器人插装任务中,PACE 实现了 90.7% 的平均成功率,相比纯视觉及常规视觉触觉融合基线提升超过 44 个百分点。

在 ManipulationNet 基准测试中,面对包含 0.1 毫米级配合间隙在内的六种配置,PACE 仍取得了 88.7% 的平均成功率。

这些结果表明,通过对触觉信息进行更有针对性的建模,机器人能够更有效地应对精密操作中的接触变化与突发偏差。这也引出了一个值得进一步思考的问题:

如果机器人总是在接触发生之后才进行调整,那么在某些不可逆的操作中,是否已经太晚了?

02 从反应式到预测式:ForeTac 让机器人提前预判接触后果

想象一下,用手抓取一片容易碎裂的薯片。

如果施加的力度太小,薯片可能滑落;如果力度太大,又可能直接将其捏碎。

我们之所以能够完成这样的动作,不只是因为指尖能够感知压力,还因为大脑能够根据经验,提前预判不同动作可能带来的接触结果。

机器人能否拥有类似的能力?

更进一步:能否在动作执行之前,先预测可能发生的接触,再选择更加合理的动作?

沿着 PACE 对触觉感知与接触动态建模的研究思路,陈志远进一步将研究重点从执行过程中的反馈纠偏拓展至动作生成过程中的未来接触预测,提出了 ForeTac(论文标题:Predictive Contact Guidance for Generative Robot Policies)。

要注意,这一步迈得并不容易。PACE 里也有“接触预测”,但它只用在训练阶段,帮模型更好地学习;而 ForeTac试图解决一个关键问题:如何让机器人根据预测的接触后果,主动优化尚未执行的动作?

机器人也能预判“手感”?从CoRL Oral到IROS冠军图3
图3|从人类预判抓取力度,到机器人预测未来接触结果

ForeTac 的核心是一套“表征—预测—评估—引导”(Represent–Predict–Evaluate–Guide)框架。

首先,模型利用触觉历史信息学习当前接触状态的潜在表征。

随后,针对候选动作序列,预测这些动作可能带来的未来触觉变化。

接着,通过从成功与失败的交互数据中学习到的接触质量评价模型,判断预测结果是否具有良好的接触质量。

最后,将接触质量的评价梯度反向传递至动作生成过程,引导生成式策略优化候选动作。

简单来说,ForeTac 不仅预测“下一步会发生什么”,还要利用预测结果回答“如何让下一步做得更好”。

这一点尤为关键。未来触觉预测本身并不必然带来更好的机器人操作。只有当预测结果真正用于动作决策时,机器人才能在执行之前主动优化动作,降低潜在的接触失败风险。

ForeTac 将未来触觉预测、接触质量评估与生成式动作引导联系起来,使预测结果能够直接影响最终生成的动作。

机器人也能预判“手感”?从CoRL Oral到IROS冠军图4
图4|ForeTac 在平面擦拭、曲面擦拭、刷卡和易碎物体抓取等真实机器人任务中的实验

效果同样用数字说话。研究在平面擦拭、曲面擦拭、刷卡和易碎物体抓取四项真实机器人任务上展开测试。

实验结果显示,相比纯视觉 Diffusion Policy,ForeTac 将平均任务成功率从 36.3% 提升至 71.3%,平均接触成功率从 20.0% 提升至 66.3%。

研究还验证了该方法与不同生成式策略的兼容性,消融实验进一步表明,基于预测接触质量的梯度引导,比单纯对候选动作进行评分排序更加有效。

回头看,从 PACE 到 ForeTac形成了一条清晰的技术延续。

PACE 将触觉信息区分为不同时间角色,利用持续接触状态辅助动作生成、利用突发接触事件实现实时纠偏,并通过未来接触预测进行训练监督。

ForeTac 则进一步将预测结果用于推理阶段的动作生成,使机器人不仅能够感知当前接触,还能够根据未来接触后果主动优化动作。

这并非简单地从“没有预测”走向“有预测”,而是让触觉预测从辅助表征学习,进一步成为指导动作决策的重要依据。

从更广泛的研究视角看,这也体现了触觉世界模型的一项重要思路:不仅学习物理交互中已经发生的状态变化,还尝试预测不同动作将带来的未来接触后果,并利用这些预测指导行动。

03 从算法研究到真机操作:WorldArena 2.0 真机赛道夺冠

PACE 和 ForeTac解决的是机器人如何理解物理接触的问题。但具身智能还有另一个关键挑战:让学习到的策略在真实机器人上稳定执行。

真实世界中的操作不仅涉及感知和规划,还需要模型应对连续动作、环境变化以及复杂的物理交互。近年来,随着视觉语言动作模型(VLA)、世界模型以及世界动作模型(WAM)等方向快速发展,真实机器人操作能力也成为检验具身智能技术的重要标准。

在这一背景下,IROS 2026 WorldArena 2.0 Challenge 设置了真实机器人操作赛道(Track 3),对参赛模型在实际机器人平台上的操作能力进行评测。

机器人也能预判“手感”?从CoRL Oral到IROS冠军图5
图5|IROS 2026 WorldArena 2.0 Challenge

该赛道涵盖纯视觉与视触觉两类操作任务,包括擦桌、倒水、整理物品、插装及精细抓取等场景,考察模型在真实物理环境中的操作表现。

为此,陈志远完成了视触觉世界动作模型 ViTacX 的研发与竞赛验证。最终,MiRobot团队凭借 ViTacX 以 76.64 分斩获 IROS 2026 WorldArena 2.0 Challenge Track 3 真实机器人操作赛道冠军!

机器人也能预判“手感”?从CoRL Oral到IROS冠军图6
图6|WorldArena 2.0 Track 3 综合榜单,ViTacX 以 76.64 分位列第一

04 从感知接触到预测未来,机器人还需要什么?

回头看这三个成果,一条路线清晰可见:从 PACE 的触觉感知与实时纠偏,到 ForeTac 的未来接触预测与动作引导,再到 WorldArena 2.0 的真实机器人操作实践——机器人学习正在从接触感知、预测式决策走向实际操作能力。

其背后,是对机器人如何与物理世界交互的持续思考:机器人需要学习的,不仅是“下一步应该怎么动”,还包括“这样动,会让物理世界发生什么”。

当然,离真正具备通用的物理交互能力,仍然面临诸多挑战。如何理解不同物体与材料的接触特性?如何将未来接触预测与实时反馈相结合?又如何让这些能力适应更加复杂、开放的真实场景?这些问题仍有待进一步探索。

但方向已经明确:未来的机器人,不应只是“看见世界、执行动作”,还需要“理解接触、预测后果、主动调整”。

研究人员简介

游洋威

意大利理工学院博士,主要研究方向包括机器人运动控制、具身智能与机器人操作。

陈志远

清华大学博士,主要研究方向包括具身智能操作模型(VLA/WAM)、人类操作数据驱动学习(EgoData),以及视触觉驱动的灵巧精细操作。


相关研究资料

PACE: Temporal-Role Tactile Conditioning for Chunk-Based Insertion Policies

CoRL 2026 Oral

论文:arxiv2610.16308

项目主页:pace-insertion.github.io

ForeTac: Predictive Contact Guidance for Generative Robot Policies

论文:arxiv2610.18118

项目主页:foretac.github.io

IROS 2026 WorldArena 2.0 Challenge

赛事主页:iros2026challenge.world-arena.ai


-END-

点击下方卡片,关注【Xbotics具身智能实验室】公众号

你想要的这里都有~~

Ask Me Anything|提问箱

对文章有疑惑,或想聊更深?欢迎把你的问题丢给我们:技术方案、实操踩坑、课程与资料、项目合作、职业发展,都可以问。

怎么问:在评论区留言,或私信公众号

我们会做什么:每周集中整理高质量问题并公开回复,重点问题邀请作者或嘉宾深度解答;典型问题会加入知识库并持续更新。

提问小提示:尽量说明「你的目标—当前做法—期望产出」,附上必要信息(硬件/软件版本、数据规模等),能更快获得有用答案。

一起把问题变成知识,推动社区进步 🚀

关于科技区角:国内科技展会垂直内容策划服务商,提供从论坛内容全案策划、会展市场化IP打造到精准专业观众一站式邀约服务,以产业内容吸引高质量B端人群,打通展会从议题设计、演讲嘉宾邀约、宣传预热、精准邀观到供需对接全链路。
声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。
机器人
more
智元110台人形机器人,创下吉尼斯世界纪录
一边融资爆火,一边批量倒闭!2026年机器人赛道上演着冰与火之歌
FFR登陆纳斯达克,贾跃亭执掌“四核”机器人生态,定下五年19.8亿美元营收目标
Chem Eng J: 仿指尖功能梯度互锁应变传感器用于可穿戴运动监测与智能软体机器人
广交会70周年机器人观察:具身智能告别炫技,商业化大考如何破局?
低空物流无人机竞速:拓攻机器人TGEM1-3B适航开审,卓翼智能ZMD200全球发布
嘉宾揭晓|机器人之家郑梦雯:跨越机器人规模化交付鸿沟,推动具身智能走向产业落地
成立5个月的人形力控臂企业获超亿元融资;物流上市公司拟募资2.3亿研发具身智能机器人 | 一周资本大事件
400多款、4万台!机器人上半年杀疯了,距离全民普及依然远
机器人的o1时刻来了!哈佛、伯克利、英伟达推出探索Scaling Law,五大基准平均领先37.4个点
Copyright © 2025-成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号