文丨谭梓馨灵巧手作为人形机器人与物理世界交互的“终端执行器”和“核心器官”，是机器人干活儿能力的重要支撑。以往研究中，研究人员主要聚焦于遥操作或基于仿真视频的动作重定向，但这些方法常受限于运动学不匹配以及缺乏实时触觉反馈，从而阻碍了高保真度触觉数据的获取。日前，来自同济大学、清华大学、上海交通大学、香港大学、上海期智研究院以及上海人工智能实验室的联合团队提出了一种“手把手动觉示教”新范式——KineDex。在该范式中，操作者的动作被直接传递至灵巧手，从而能够收集包含准确触觉反馈的、基于物理交互的演示数据。实验中，KineDex的平均成功率达到74.4%，相较于未采用力控的变体版本，成功率提升了57.7%； 此外，KineDex在数据收集效率和可操作性方面优势显著，在两项不同难度的任务中，KineDex的数据收集速度是遥操作的两倍多，同时保持了近100%的成功率，而遥操作在这些任务中的成功率不足50%。一种新的“手把手”训练框架将触觉传感与灵巧手相结合，可显著提升机器人的操作能力，为其在日常场景中的更广泛应用奠定了基础。近年来，硬件方面，灵巧手的灵活性不断提升，触觉传感器的精度也持续优化，但获取包含高保真触觉信息的专家级演示数据，仍是一项核心挑战。目前主流的演示数据采集方法多聚焦于人类手部动作的重定向。一种常用方式是遥操作，通过虚拟现实头显或数据手套捕捉演示者的手部轨迹，再将其映射到机器人手上，但遥操作过程中缺乏机器人端的触觉反馈；另一种研究方向则直接利用第一视角视频推断对应的机器人运动，由于人类手部与机器人手存在运动学不匹配，重定向后的轨迹往往无法精准复现人类的操作行为。KineDex通过动觉示教采集富含触觉信息的演示数据，其中操作者手部造成的视觉遮挡会在策略训练前通过图像补全技术去除，所学习的策略接收视觉与触觉输入，以预测关节位置和接触力，这些预测结果将通过力控执行，进而实现稳健的操作。该框架的核心优势在于：1、人类动作可直接传递至机器人手，消除动作重定向误差；2、操作者能获得精准的力反馈，从而采集高质量触觉数据；3、数据采集效率接近人类直接操作的效率；4、该框架可自然扩展至更复杂的硬件系统及更具挑战性的高接触性灵巧操作任务，解决了以往动觉示教装置存在的局限性。相较于以往基于轨迹重放的方法，该方案也更具可扩展性与效率，能同时预测目标指尖力与目标关节位置（即“力感知动作”），从而使KineDex在执行过程中实现精准力控。可能要告别“遥操作”了本研究中用到的灵巧手产品为星动纪元XHAND1，总自由度达12个，据悉，每个手指均搭载120个触觉感应点，每个指尖上可采集120-300个均匀分布的三维力信息，最小分辨率为0.05N。研究人员在9项高接触性操作任务上开展了大量实验。KineDex展现出稳健且精准的控制能力，在所有任务中的平均成功率达74.4%，相较于未采用力控的变体版本，成功率高出57.7%。此外，触觉传感对于拧瓶盖、挤牙膏、按注射器等高接触强度任务尤为重要，实验结果显示，在这些任务中，KineDex相较于未融入触觉传感的变体版本，成功率高出26.7%。该团队还通过与遥操作的对比实验进一步评估KineDex的效率。结果显示，在两项不同难度的任务中，KineDex的数据采集速度是遥操作的两倍以上，同时保持近100%的成功率；相比之下，遥操作的平均成功率不足50%，且采集同等数量的数据需要花费多得多的时间。用户研究反馈进一步证实了KineDex相较于遥操作的优势，参与者表示使用动觉示教时体验更直观、更高效。在“按注射器”这一复杂任务中，KineDex完成单次演示的时间约为遥操作的一半；在“捡瓶子”这一较简单任务中，其耗时甚至不足遥操作的三分之一。这种效率差距主要源于两方面：一是遥操作中操作者需要额外时间调整手部姿态以确保精度；二是遥操作系统本身存在固有延迟，且响应能力有限。此外，遥操作需要操作者具备更高的专业水平，且需通过反复试错才能生成高质量演示数据，因此其数据采集效率远低于KineDex。新一轮灵巧手技术竞速打响KineDex有望为灵巧机器人手的可扩展、高效数据采集研究提供新思路，但基于实验结果与用户研究反馈，目前也存在一些局限性，需要后续研究进一步改良。例如，对遮挡区域进行图像补全已足以训练视觉-运动策略，但在更严重的遮挡情况下，其效果可能会下降，这一问题有望通过在机器人专用数据上对图像补全模型进行微调来缓解。此外，由于机器人拇指与人类拇指存在形态学不匹配，当前实验装置需要人用双手控制单个灵巧手，这限制了双手演示的可扩展性，未来研究可探索更具仿生特性的硬件设计，以实现单手动觉示教。当前，业内机器人的灵巧手技术正在迎来新一轮竞速。美国最新发布的Figure 03机器人开始具备高精度触觉与视觉感知系统，其灵巧手配备自研触觉传感器，每个指尖可感知低至3克的压力，可以区分“稳定握持”与“即将滑落”状态此外，此外，手掌内嵌广角低延迟摄像头，在主视角被遮挡时（如伸入橱柜）仍能提供近距离视觉反馈，配合Helix视觉-语言-行为大模型实现实时动作调整。波士顿动力则为Atlas升级了三指夹爪设计，每个手指有两个关节，通过仿生结构实现物体的稳定握持，搬运30磅重的汽车零件时，机器人可通过实时调整重心和关节扭矩，避免因负载变化导致的失衡，其动态操作能力实现行业新水平。根据最新行业数据及市场调研，截至2025年10月，国内专注于灵巧手研发、生产及商业化的厂商数量已超过40家，随着机器人从工业场景到家庭服务的落地速度正在加快，灵巧手的触觉反馈、多模态学习以及兼顾成本与可靠性的量产化工艺将是下一步发展的核心竞争点。
