机器人控制不一定需要传感器,视觉训练是一条新捷径

电子技术设计 2025-08-01 17:19

从总体上来看,机器人的控制技术大体分为三个方向:最早的示教再现控制模式,通过精确的编程对机器人进行控制来完成重复作业;随后引入了传感器,用感知-反馈的控制方式让机器人去适应变化的环境;如今正迈向智能化的新模式,引入人工智能的自学习能力,通过与传感器的深度融合,使机器人在保证安全、高精度的同时具备自主决策和任务泛化的能力。

而机器人本身也在不断演变,传统机器人设计多为刚性,可以安装丰富的传感器,这在选择控制方式时相对比较容易,仅需要考虑刚性的移动和控制。但并不是所有的机器人都如此简单,伴随着材料科学的进步,越来越多的柔性材料被应用在机器人身上,不论是可以随意变形的柔性机器人,还是仿生机器人柔软的机械手,柔性材料的特性使得精确地控制变得困难。

一般来说,针对于柔性机器人,设计者多会选择增加更多的传感器,或者加固部分结构来实现更高精度的控制,但这会使柔性机器人丧失一定的灵活性,而现在已经有技术可以不需要传感器也能实现精确控制。这是麻省理工学院CSAIL团队的一项成果名为“神经雅可比场”(NJF),仅需要使用一个摄像头就能对机器人进行控制。

资讯配图

基于NJF的机械臂

NJF的核心是一个神经网络,该神经网络主要捕捉机器人身体形态中两个相互交织的方面:三维几何形状和对控制输入的敏感性,基于神经辐射场(NeRF)技术,通过将空间坐标映射到颜色和密度值,进而从图像重建3D场景。NJF则在此基础上进行了扩展,不仅学习机器人的形状,还学习雅可比场(一个可以预测机器人身体上任意一点如何响应运动指令的函数)。

训练模型时,会让机器人进行随机运动,同时用多个摄像头记录结果,训练过程无需人工监督,也无需事先了解机器人的结构,系统通过观察即可推断出控制信号和运动之间的关系。简单的理解一下,就是通过视觉数据,让机器人看到它自己的身体对不同的指令会做出什么样的反应,进而让机器人学会通过什么样的指令可以对自己的身体进行控制。训练完成后,机器人只需一个单目摄像头来观察自身、进行规划并做出响应,即可进行实时闭环控制,运行频率约为12赫兹。

资讯配图

NJF自学习过程

这个系统真正有趣的地方是,系统能够自学习,自行判断哪些电机控制机器人的哪些组件,而不需要人为去编程,这可以让设计人员去探索更多非比寻常的机器人,让创造力不再因为机器人的控制方式而受到限制。目前,该系统已被用在多种类型的机器人上以验证其实用性,例如气动软体机器人手、刚性Allegro手、3D打印机械臂,甚至没有嵌入式传感器的旋转平台,均取得了良好的效果。

当然,所有技术诞生之初都不是尽善尽美的,NJF还不能实现跨机器人的泛化,针对每个新的机器人都需要重新训练,并且缺乏力觉和触觉的感知能力,在一些场景中的应用会受到限制。但这个系统的优势也很明显,就是降低了机器人的控制门槛,不需要很多昂贵的传感器,也不需要很复杂的编程,只需要“拍拍视频”就能让机器人学会自我控制,这可以极大的降低机器人系统的软硬件成本,加快它们的市场化进程,未来还是十分值得期待的。

责编:Ricardo


声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
传感器 机器人
more
SLAM/无人驾驶研究提速器:开箱即用的高精度多传感器融合平台
人形机器人六维力传感器市占率70%以上,为智元、小米供货,「蓝点触控」完成近亿元B轮融资 | 36氪首发
2025年中国图像传感器行业深度研究报告:行业进入壁垒、竞争格局及战略咨询
人形机器人六维力传感器头部企业蓝点触控完成近亿元B轮融资
9.5亿美元!意法半导体拟收购恩智浦MEMS传感器业务
Chem Eng J:用于柔性传感器和生物电极的明胶基各向异性水凝胶
9.5亿美元!ST收购恩智浦MEMS传感器业务
超高采样率,超低串扰,国产六维力传感器走向高端化
“机器人泰斗”担任董事,国内机器人力控传感器领跑者融了近亿元!
比到最后,还是航凯微电的"高可用+高性价比"立体式三维触觉传感器让人没法拒绝?
Copyright © 2025 成都科技区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号