

人类在成长过程中,会慢慢学会用合适的力气去移动物体,也会避免用手直接触摸滚烫的物品,如今,一款具备类似多模态感知判断力的机械手来了。
“MOTIF”机械手由南加州大学一支学生团队和该校计算机科学助理教授Daniel Seita合作研发,6名核心作者中包含5位华人,第一作者为Hanyang Zhou,目前是南加州大学Thomas Lord计算机科学系SLURM实验室的硕士生,此前在大连理工大学获得计算机科学学士学位。
这个项目的核心设计理念是“多模态”——即让机器手具备多种感知能力,其中最突出的能力与温度、力相关:通过内置的深度、力和温度传感器,这款机械手能够感知这些因素并做出相应反应。

此外,该团队披露MOTIF机械手的原型设计成本低于4000美元、易于复刻,研究人员通过实验验证了该手的设计有效性,实验中利用其多模态传感能力完成了两项典型任务:其一,将热传感融入三维重建,实现具备温度感知的安全抓取;其二,证明该手能够区分外观相同但质量不同的物体,这一能力是仅使用视觉的方法所不具备的。

为了进一步推进灵巧手技术进步,该团队也将MOTIF Hand技术方案进行了开源。

近年来,在硬件设计与控制算法双重创新的推动下,基于多手指机械手的灵巧操作技术已取得快速发展。
在机械手感知层面,目前主要采用第三人称视角相机或腕部相机,同时还会使用触觉传感器或力敏电阻等替代方案,然而,在更复杂的真实场景任务中,往往需要对多种感知模态进行推理,已有的感知方法仍存在明显不足。

机械手自身搭载的深度感知与力感知功能,可辅助完成伸入袋子或箱子内部等任务,而温度感知对于烹饪或安全人机交互而言至关重要,当前的机械手普遍缺乏这些功能,尽管以往研究已将热像仪用于机器人操作中的液体感知,但目前尚无任何一款机械手能将热像仪集成到多手指灵巧操作平台中。
MOTIF机械手以卡内基梅隆大学LEAP开源机械手为基础研发,将视觉、深度、触觉、扭矩和温度感知整合到单个机械手中。
具体配置包括:覆盖手指的薄膜触觉传感器、1个深度传感器、1台热像仪以及1个安装在腕部的高分辨率RGB相机,研究人员在每个手指关节处及手背均安装了加速度计、陀螺仪和磁阻传感器,用于提供加速度与姿态信息。

此外,MOTIF机械手采用三级处理单元架构:
一级处理单元:在每个手指关节处安装了集成三轴陀螺仪与三轴加速度计的运动跟踪单元;
二级处理单元:每个手指关节的一级处理单元通过RS485串行总线与Modbus协议,连接至掌部的二级模块——该模块主要负责数据整合、编码与传输,此外,海在二级模块的电路板上也安装了九轴传感单元,用于姿态计算。
三级处理单元:直接采用树莓派5(Raspberry Pi 5)作为三级数据处理单元,计算能力可支持多模态传感数据的整合,在温度感知应用中,既可以直接使用输出的温度值矩阵,也可根据相对温度分配颜色,生成热像图。
MOTIF机械手无需触碰物体,只需将手掌靠近物体至热像仪可检测的范围,就能通过热像仪感知物体温度,在指垫部分,采用了成熟的商用触觉传感器作为触觉感知输入,其核心原理是:通过阵列扫描,测量具有压变电阻特性的特殊材料在对应采样区域产生的模拟电压信号,进而感知力的大小。

为验证MOTIF机械手的性能与功能多样性,研究人员开展了两组实验。
一是评估其温度传感器如何助力实现对含高温区域物体的安全抓取;二是研究其力传感器如何通过简单的“轻弹”动作,区分形状相同但质量不同的物体。

研究人员设计了一套“从真实到仿真(Real2Sim)”流程:利用传感器数据构建物体的几何与温度表征,并将其应用于物理仿真器中,该流程包含重建、配准、去噪以及抓取策略训练四个环节。
机器手在真实世界的操作环境中完成经验证的抓取动作,确保基于物体的温度特性实现与物体的安全、高效交互。
此外,他们还开展实验以测试MOTIF机械手的多模态传感器(加速度计、陀螺仪与磁强计)如何通过简单的指尖“轻弹”动作,实现对不同质量物体的区分。

MOTIF机械手轻弹动作对三个不同质量U型物体构型影响的可视化展示:紫色物体(219克)、蓝色物体(125克)、红色物体(82克)。
为验证所采集惯性测量单元(IMU)传感器数据的判别能力,研究人员对轻弹实验中的传感器特征进行了线性判别分析。这一模式对应手指接触物体后的回收运动:较轻物体可使手指更快收回,并产生更大的Y轴正向加速度;较重物体则会导致接触时间更长,且反弹动态特性存在差异。

触觉、力/扭矩、温度等多种传感信号融合在机器手任务中发挥着关键作用。
例如烹饪,该场景中的操作极具挑战性,原因在于食材、工具种类繁杂且多易受损,环境条件也更为复杂,明火、金属或木质烹饪器具,以及表面光滑的物体等因素,均导致传统基于视觉的操作策略难以适用。
然而,借助MOTIF机械手的高频手部内置传感器,有望捕捉到单纯通过视觉数据难以判断的物体潜在物理属性。

除烹饪领域外,该机械手在工业场景中也具有重要应用价值,例如工厂内的焊接及拧螺丝作业:机器人焊接系统需知晓焊枪枪头何时处于高温状态,才能顺利完成焊接任务;而拧螺丝作业则要求高精度定位,同时需实时反馈手指的作用力与扭矩,以实现稳定、精准的操作,MOTIF机械手有望推动上述复杂任务的技术突破。
一作Hanyang Zhou在接受采访时表示:“将研究成果开源对于推动整个机器人领域发展至关重要,使用我们这款机械手的人越多,对研究工作的推动就越大。”
他将MOTIF机械手在感知技术方面的系统搭建形容为“一个平台”,希望未来整个机器人领域都能在此基础上进一步拓展。
-END-

