开源、成本不到4000美元!5位华人小伙DIY“多模态”灵巧机械手,集热、惯性及力传感于一体

头部科技 2025-09-15 18:58
资讯配图
资讯配图
文丨谭梓馨

人类在成长过程中,会慢慢学会用合适的力气去移动物体,也会避免用手直接触摸滚烫的物品,如今,一款具备类似多模态感知判断力的机械手来了。

“MOTIF”机械手由南加州大学一支学生团队和该校计算机科学助理教授Daniel Seita合作研发,6名核心作者中包含5位华人,第一作者为Hanyang Zhou,目前是南加州大学Thomas Lord计算机科学系SLURM实验室的硕士生,此前在大连理工大学获得计算机科学学士学位。

资讯配图

这个项目的核心设计理念是“多模态”——即让机器手具备多种感知能力,其中最突出的能力与温度、力相关:通过内置的深度、力和温度传感器,这款机械手能够感知这些因素并做出相应反应。

资讯配图
MOTIF机械手具备更精准的类人特征与功能,有望为机械手相关研究提供了更广阔的空间,在现实场景中提升实用价值。

此外,该团队披露MOTIF机械手的原型设计成本低于4000美元、易于复刻,研究人员通过实验验证了该手的设计有效性,实验中利用其多模态传感能力完成了两项典型任务:其一,将热传感融入三维重建,实现具备温度感知的安全抓取;其二,证明该手能够区分外观相同但质量不同的物体,这一能力是仅使用视觉的方法所不具备的。


资讯配图

为了进一步推进灵巧手技术进步,该团队也将MOTIF Hand技术方案进行了开源。


资讯配图
“多模态”机械手原型

近年来,在硬件设计与控制算法双重创新的推动下,基于多手指机械手的灵巧操作技术已取得快速发展。


在机械手感知层面,目前主要采用第三人称视角相机或腕部相机,同时还会使用触觉传感器或力敏电阻等替代方案,然而,在更复杂的真实场景任务中,往往需要对多种感知模态进行推理,已有的感知方法仍存在明显不足。


资讯配图

机械手自身搭载的深度感知与力感知功能,可辅助完成伸入袋子或箱子内部等任务,而温度感知对于烹饪或安全人机交互而言至关重要,当前的机械手普遍缺乏这些功能,尽管以往研究已将热像仪用于机器人操作中的液体感知,但目前尚无任何一款机械手能将热像仪集成到多手指灵巧操作平台中。


MOTIF机械手以卡内基梅隆大学LEAP开源机械手为基础研发,将视觉、深度、触觉、扭矩和温度感知整合到单个机械手中。


具体配置包括:覆盖手指的薄膜触觉传感器、1个深度传感器、1台热像仪以及1个安装在腕部的高分辨率RGB相机,研究人员在每个手指关节处及手背均安装了加速度计、陀螺仪和磁阻传感器,用于提供加速度与姿态信息。


资讯配图

此外,MOTIF机械手采用三级处理单元架构:


一级处理单元:在每个手指关节处安装了集成三轴陀螺仪与三轴加速度计的运动跟踪单元;


二级处理单元:每个手指关节的一级处理单元通过RS485串行总线与Modbus协议,连接至掌部的二级模块——该模块主要负责数据整合、编码与传输,此外,海在二级模块的电路板上也安装了九轴传感单元,用于姿态计算。


三级处理单元:直接采用树莓派5(Raspberry Pi 5)作为三级数据处理单元,计算能力可支持多模态传感数据的整合,在温度感知应用中,既可以直接使用输出的温度值矩阵,也可根据相对温度分配颜色,生成热像图。


MOTIF机械手无需触碰物体,只需将手掌靠近物体至热像仪可检测的范围,就能通过热像仪感知物体温度,在指垫部分,采用了成熟的商用触觉传感器作为触觉感知输入,其核心原理是:通过阵列扫描,测量具有压变电阻特性的特殊材料在对应采样区域产生的模拟电压信号,进而感知力的大小。

资讯配图
更好的感知和决策

为验证MOTIF机械手的性能与功能多样性,研究人员开展了两组实验。

一是评估其温度传感器如何助力实现对含高温区域物体的安全抓取;二是研究其力传感器如何通过简单的“轻弹”动作,区分形状相同但质量不同的物体。

资讯配图

资讯配图

研究人员设计了一套“从真实到仿真(Real2Sim)”流程:利用传感器数据构建物体的几何与温度表征,并将其应用于物理仿真器中,该流程包含重建、配准、去噪以及抓取策略训练四个环节。

机器手在真实世界的操作环境中完成经验证的抓取动作,确保基于物体的温度特性实现与物体的安全、高效交互。

此外,他们还开展实验以测试MOTIF机械手的多模态传感器(加速度计、陀螺仪与磁强计)如何通过简单的指尖“轻弹”动作,实现对不同质量物体的区分。

资讯配图

MOTIF机械手轻弹动作对三个不同质量U型物体构型影响的可视化展示:紫色物体(219克)、蓝色物体(125克)、红色物体(82克)。

为验证所采集惯性测量单元(IMU)传感器数据的判别能力,研究人员对轻弹实验中的传感器特征进行了线性判别分析。这一模式对应手指接触物体后的回收运动:较轻物体可使手指更快收回,并产生更大的Y轴正向加速度;较重物体则会导致接触时间更长,且反弹动态特性存在差异。

资讯配图
打造一个“共建平台”

触觉、力/扭矩、温度等多种传感信号融合在机器手任务中发挥着关键作用。

例如烹饪,该场景中的操作极具挑战性,原因在于食材、工具种类繁杂且多易受损,环境条件也更为复杂,明火、金属或木质烹饪器具,以及表面光滑的物体等因素,均导致传统基于视觉的操作策略难以适用。

然而,借助MOTIF机械手的高频手部内置传感器,有望捕捉到单纯通过视觉数据难以判断的物体潜在物理属性。

资讯配图

除烹饪领域外,该机械手在工业场景中也具有重要应用价值,例如工厂内的焊接及拧螺丝作业:机器人焊接系统需知晓焊枪枪头何时处于高温状态,才能顺利完成焊接任务;而拧螺丝作业则要求高精度定位,同时需实时反馈手指的作用力与扭矩,以实现稳定、精准的操作,MOTIF机械手有望推动上述复杂任务的技术突破。

一作Hanyang Zhou在接受采访时表示:“将研究成果开源对于推动整个机器人领域发展至关重要,使用我们这款机械手的人越多,对研究工作的推动就越大。”

他将MOTIF机械手在感知技术方面的系统搭建形容为“一个平台”,希望未来整个机器人领域都能在此基础上进一步拓展

-END-

资讯配图
如果您有什么想说的,欢迎在评论区留言讨论!
投稿或寻求报道,欢迎私信“投稿”,添加编辑微信。
【2025免费新年礼】:了解最新科技趋势分析、行业内部的独家见解、定期的互动讨论和知识分享、与行业专家的直接面对面交流的机会,领取100份AI科技商业研报合集,加群共同探讨与成长——
扫描下方二维码,添加头部科技晶总微信!
资讯配图

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
开源
more
B站出海的强有力支柱:最新开源文本转语音模型IndexTTS-2.0标志零样本TTS进入双维度时代
刚刚,宇树宣布开源
刚刚,斯坦福用AI设计出新病毒并成功存活!Evo 2大模型在线创造生命,代码已开源
【机器人】3999让机器人家务全包,抱抱脸联合创始人:开源YYDS!
ICCV'25开源|FiVE-Bench:精细视频编辑新基准,揭示扩散与整流流模型实力
从中国“霸榜”到全球开源,AI的新思考!GOSIM HANGZHOU 2025圆满收官
一周AI丨我国拟立84项AI国标;OpenAI推出AI制作动画电影;英伟达发布超长上下文推理芯片;阿里开源下一代基础模型架构……
【AI】视频理解新标杆,快手多模态推理模型开源:128k上下文+0.1秒级视频定位+跨模态推理
微软开源1976年运行在8位微处理器上的汇编代码,比尔·盖茨曾参与开发
全新开源模型复现o3视觉推理,无需大量训练即可实现深度思考
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号