软体气动机器人以其优异的柔顺性和自适应能力，在高端制造、精密装配和人机协作等工业场景中展现出巨大潜力。然而，其传感系统的发展仍是一个核心瓶颈。
与结构明确、关节数有限的刚性机器人不同，软体机器人表面几乎每一个点的形变都会影响整体形态与功能，导致其状态空间维度大幅升高。再加上软材料本身具有的非线性与复杂力学行为，使得建模与控制更为困难。此外，高度可变形的结构也限制了传统刚性电路和电子元件的集成，而这些正是常规机器人传感系统的核心组成部分。
为应对这些难题，伊利诺伊大学的研究团队开发了一种基于视觉的软体机器人传感方案，并在一款名为PneuGelSight的创新气动软体手指上进行了验证。该手指内置摄像头与照明系统，在执行抓取任务的同时，能够同步实现高分辨率的本体感知与触觉感知，为软体机器人提供了一条新颖、易实现且可靠的传感路径。与触觉感知，为软体机器人提供了一条新颖、易实现且可靠的传感路径。
该成果以“PneuGelSight: Soft robotic vision-based proprioception and tactile sensing”发表在国际权威期刊《IJRR》上
▍PneuGelSight的结构设计与制造工艺
PneuGelSight是一种集成摄像头与内部照明的气动软体手指，能够在执行抓取任务时同步实现高精度的本体感知与触觉感知。其结构分为两部分：背面采用3D打印的波纹管形态，易于在气压驱动下伸展；内侧则由更厚、更硬的铸造硅胶板构成，不易伸展，从而在充气时促使手指向内弯曲，便于协同抓取物体。
PneuGelSight 的设计和传感管道
整个手指内侧均作为接触面，采用透明硅胶材质，外覆金属反射层以增强光学反射性能。摄像头被嵌入手指背面，借助中空结构设计，无论手指如何弯曲，均可清晰捕捉整个接触面的图像。接触面在图像中的变形与手指实际三维形态直接对应，为后续三维重建提供了基础。
软体机器人传感的光学结构由三个组件组成：嵌入式摄像头、照明系统以及位于接触点硅胶板顶部的柔软反射面。照明系统将光线引导到反射面上，反射面会根据接触面的表面法线将光线散射到各个方向。嵌入式摄像头面向反射面，捕捉光反射引起的颜色变化。这些光反射的变化用于计算表面法线，然后将其积分以重建物体表面的三维几何形状。
该机器人整体尺寸受人类手掌启发，长度为110毫米，横截面为直径55毫米的半圆形。制作过程中，团队采用SLA 3D打印技术制造模具，分三步铸造硅胶板：不透明硅胶用作侧面的光漫射器，透明硅胶则通过硅胶和固化剂以7:1和 14:1的比例混合，形成两种硬度等级。然后在柔软的传感表面上涂覆半镜面铝粉，最后再用硅胶层进行保护。
PneuGelSight
制造流程驱动主体由柔性硅胶3D打印而成。机器人的照明系统配置成独特的图案：6根绿色光纤、7根蓝色光纤、7根红色光纤和4根额外的蓝色光纤，按顺时针方向排列。机器人主干侧面设计了一些半圆柱形的突起，以限制光纤的方向。每根光纤都经过手动粘合并插入突起中。照明系统安装完成后，将嵌入式摄像头密封在摄像头孔中，并涂抹更多硅胶以保证气密性。
光学设计：靠仿真优化，不用反复试错
为提高感知性能，研究团队通过仿真优化了光学系统设计，重点调整光纤的颜色排列方式。传统触觉传感器的开发依赖大量试错，而PneuGelSight在软体结构变形下需兼顾感知精度与结构适应性，难度更高。为此，团队引入基于物理的渲染（PBR）技术，模拟不同颜色排列在多种弯曲与接触条件下的表现，并以接触区域的颜色方差作为设计评估指标。方差越高，代表系统对不同表面法线的区分能力越强，有助于提升重建精度。
尽管模拟图像与实际图像存在一定差异，但整体颜色分布与边缘失真趋势一致，使团队能够将模拟中得到的最优颜色排列迁移至实体传感器中。最终设计在多种弯曲场景和压痕测试中均表现稳定，并通过调整摄像头曝光参数进一步优化了色彩表现。
光学优化设计
▍PneuGelSight感知原理与实验验证
PneuGelSight的本体感知与触觉感知均以光学图像为基础，再通过算法将二维图像转化为三维信息。两者各有侧重又相互配合，赋予软体手指精准的交互能力。
本体感知：感知自身形态
本体感知聚焦自身形态：手指充气弯曲时，内侧表面形态改变，摄像头捕捉接触面轮廓等宏观图像特征，输入深度学习算法；算法解码特征后，重建手指三维高精度点云模型，类似机器人“通过内部影像构建自身形态”，为抓取调整提供依据。
本体感觉流程
实验选取了包括自然弯曲、前向、后向及侧向弯曲在内的五种典型变形场景，通过计算预测点云与真实点云之间的倒角距离评估重建精度。结果显示，各场景下倒角距离介于2.12至8.76毫米之间，平均值为5.35毫米，显示模型在不同变形状态下均能稳定重建。
高分辨率本体感知结果
研究还分析了点云密度对重建精度与实时性能的影响。在NVIDIA RTX 4070 GPU上测试，即使点云数量达到8192，推理时间仍低于0.05秒，满足实时控制需求。
触觉感知：识别物体表面
触觉感知针对物体表面特征：手指接触物体时，物体纹理压迫硅胶层，导致接触面法线微小改变；侧面射入的彩色光线反射路径与颜色混合模式随之变化，摄像头捕捉细微颜色变化；经专门算法处理，反向推算接触点法线，积分后重建物体接触区域高分辨率三维几何形状，实现纹理、轮廓感知，避免抓取失误或物体损伤。两者分工明确又协同，支撑软手指精准交互。
触觉感知网络概览
实验结果表明，该系统在不同弯曲角度下均能有效重建多种物体的表面特征，如牛油果、螺母、柠檬等，尤其对高度变化的纹理重建保真度较高。
为量化触觉性能，团队引入倒角距离与最大压痕深度误差两项指标，在多个压痕位置与压力水平下进行测试。结果显示，在传感器中心区域、中低压力条件下重建精度最高，倒角距离可达0.18毫米，深度误差低于0.2毫米。边界区域或高压条件下性能略有下降，但整体重建结果仍保持可靠。
触觉感知结果
此外，研究团队还对其触觉敏感度做了实验。结果显示，PneuGelSight还能感知极轻的力，最小能检测到 0.2N的力，差不多是拿起一张 A4 纸的力气。如果手指内部气压调高（比如 1.35 个大气压），需要的最小力会增加到 0.95N，但依然能分辨不同物体的接触差异。科学家还能通过调整硅胶硬度改变灵敏度：软硅胶适合摸精细物品，硬硅胶适合抓重物。
实际应用验证
为了让PneuGelSight的能力更具象化，研究团队进行了一系列演示实验：让搭载该传感器的软体夹爪去探索一个牛油果。
机械臂控制夹爪从多个不同方向接触和抓握牛油果。每次接触时，手指内部的摄像头拍摄图像，AI系统同步解析出手指的弯曲形态与牛油果的接触纹理。通过将多次触摸获得的局部形状与纹理信息进行“拼接”，系统最终成功构建出牛油果的三维模型及其表面特征，模拟了人类通过反复把玩以熟悉陌生物体的过程。
通过多次触摸估计物体形状和纹理的流程
实验结果显示，拼接生成的形状与真实牛油果高度吻合，表面凹凸纹理清晰可辨。尽管目前可感知区域主要覆盖牛油果的中段部分，但已足以判断其尺寸大小与表面光滑程度，展现出该技术在物体识别与交互任务中的实用价值。
论文链接：https://journals.sagepub.com/doi/full/10.1177/02783649251378153-02783649251378153
