一文详解3D视觉引导机器人系统

一简介

3D视觉引导机器人系统是一种集成了三维视觉和机器人技术的智能系统，它实现了对三维空间的感知、理解，并通过引导机器人，完成各种复杂任务。

其技术原理是：

通过3D相机等传感器获取场景的深度信息，生成点云数据，实现物体的三维重建。
运用算法对点云数据进行处理，识别物体种类、位置、姿态等关键信息。
根据视觉系统提供的信息，精确控制机器人执行抓取、搬运、装配等操作。

另外，与AI、机器学习等技术融合的3D视觉引导机器人系统，凭借其强大的功能，和极高的灵活性，被广泛的应用于各行各业，例如：

工业制造中，用于物料搬运、零件分拣、产品装配和质量检测等环节，提高生产效率和产品质量。
物流仓储中，实现货物的自动化分拣、搬运和存储，提升物流效率，降低人力成本。
医疗健康中，应用于手术导航、康复训练等，提高医疗水平和治疗效果。

二 2D？3D？

2.1 2D相机

2.1.1 工作原理

通过二维传感器阵列（如CMOS或CCD）一次性捕获整个图像。传感器上的每个像素同时记录光强度，将光信号转换为电信号，生成数字图像数据。图像信号处理器（ISP）对这些数据进行处理，最终输出可视化图像。市场上常用的2D相机有：海康、华睿、巴斯勒、大恒等。

2.1.2 分类

按传感器类型：分为CMOS相机和CCD相机。CMOS相机具有低功耗、高速读出、集成度高、成本较低等优点；CCD相机则具有高灵敏度、低噪声和更高的图像质量，但功耗较大且读出速度较慢。
按快门类型：分为全局快门相机和滚动快门相机。全局快门相机所有像素同时曝光，能捕捉高速运动物体而不产生图像失真；滚动快门相机逐行扫描曝光，通常更经济，适合非高速运动场景。
按成像色彩：分为彩色相机和黑白相机。彩色相机能捕捉红、绿、蓝三原色信息，输出彩色图像；黑白相机则只记录灰度信息，适用于对色彩不敏感的场景。
按芯片靶面：分为面阵相机和线阵相机。面阵相机一次性获取完整二维图像，使用更直接；线阵相机只有单行或几行感光像素，通过逐行扫描并拼接成完整图像，常用于需要高分辨率或连续扫描的应用。

通常，2D相机需要配套镜头、光源、光源控制器等一系列设备一起工作，形成一个2D视觉系统。2D相机广泛应用于表面检测、尺寸测量、字符识别等领域。例如，在工业自动化中，用于检测产品表面缺陷、测量零件尺寸等。

2.1.3 2D相机的劣势

缺乏深度信息：仅能捕捉物体的二维平面信息，无法获取深度数据，因此在需要三维测量的场景中受到限制。
易受光照影响：基于灰度或彩色图像的处理易受光照变化影响，可能导致测量精度下降。
难以处理复杂场景：在复杂或杂乱的环境中，2D相机可能难以有效区分前景和背景，影响识别和检测能力。


背景需要干净、物料之间不能堆叠	打光要稳定、物料前后位置必须固定

2.2 3D相机

3D相机是一种能够捕捉物体三维信息的相机，除了能记录长度和宽度，还能获取物体的深度信息，以实现三维重建、目标定位等功能。

2.2.1 工作原理

3D相机通过多种技术获取深度信息，主要技术包括：

结构光相机：发射经过特定编码的光投影在物体上，通过一定算法计算返回的编码图案的畸变来得到物体的位置和深度信息。

飞行时间（ToF）：通过红外发射器发射调制过的光脉冲，遇到物体反射后，用接收器接收反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离。

双目立体视觉：基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息。

2.2.2 分类

按技术原理：分为结构光相机、ToF相机、双目相机、线扫相机等。
按应用场景：分为工业级3D相机和消费级3D相机。工业级相机精度高、稳定性好，适用于工业检测、测量等领域；消费级相机成本较低，适用于家庭娱乐、虚拟现实等场景。

2.2.3 3D相机的优势

3D相机相比传统2D相机的优势主要体现在以下几个方面：

2.2.3.1 三维信息获取：

3D相机：能够提供物体的三维形状和尺寸信息，捕捉深度数据，这对于需要精确测量的应用场景至关重要。
2D相机：仅能提供二维图像，无法提供深度信息。

2.2.3.2 复杂场景处理能力：

3D相机：能够处理更复杂的场景，如识别和测量不规则形状的物体，以及在杂乱背景中识别目标。
2D相机：在处理复杂场景时可能受到限制，难以区分前景和背景。

2.2.3.3 抗干扰能力：

3D相机：对光照变化和表面反光的抗干扰能力更强，因为它们依赖于深度信息而非仅依赖于颜色和亮度。
2D相机：对光照变化和表面反光较为敏感，这可能影响图像质量和检测结果。

2.2.3.4 数据丰富性：

3D相机：提供的数据更为丰富，包括颜色、纹理、深度等多个维度的信息，另外例如物体平直度、表面角度和体积等这些都是2D相机无法提供的。
2D相机：提供的数据相对单一，主要基于二维图像。

2.2.4 苏州三迪斯维的两种3D相机:www.3dcver.com

结构光相机：KW-MINI/P/DCW/LCW。精度高，成像稳定。

双目相机：KW-KINGFINSHER。室内外都适用，适用于纹理丰富的场景。

2.3 总结

2D相机适用于平面检测和识别任务，成本较低，技术成熟。3D相机提供深度信息，适用于涉及空间变化，需要空间尺寸和形状检测的场景，随着技术进步，其应用越来越广泛。
2D视觉相较于3D视觉成本更低，在一些识别类检测中，2D视觉依然有强大的技术优势，且3D视觉不一定能够解决所有的问题。根据实际需求也可以选择将两者结合，组建一个更可靠、高效的机器视觉识别系统。

三 3D相关基础知识

3.1 机器人

3.1.1 工业机器人

工业机器人是广泛用于工业领域的多关节机械手或多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现各种工业加工制造功能。工业机器人被广泛应用于电子、物流、化工等各个工业领域之中。下图是最常见的两种形式。

3.1.2 协作机器人

协作机器人是一种专门设计用于在共享工作空间中与人类一起工作的机器人。它们的构建特点优先考虑安全性、灵活性和易用性。

3.1.3 工业和协作机器人的差异

3.1.3.1 定义与特点

工业机器人：主要用于执行重复性、高精度、高负载的任务，通常部署在汽车制造、铸造、家具制造等大规模生产场景，以提高生产效率和产品质量。
协作机器人：强调人机协作，设计上注重安全性，能够在与人类共同工作的环境中直接交互，广泛应用于医疗、3C电子、仓储物流等领域。

3.1.3.2 安全性

工业机器人：通常通过物理隔离（如安全围栏）来确保安全，避免与人类接触时发生意外。
协作机器人：配备多种安全传感器，能够实时感知周围环境，遇到人类时自动停止或减速，实现安全的人机协作。

3.1.3.3 灵活性与易用性

工业机器人：编程复杂，需要专业技术人员，适用于固定流程的大规模生产，灵活性较低。
协作机器人：支持拖拽示教等直观编程方式，易于上手，适合小批量、多品种的生产环境，具备高度的灵活性。

3.1.3.4 负载能力与精度

工业机器人：具备高负载能力，可处理重型任务，同时拥有出色的重复定位精度，适合精密操作。
协作机器人：负载能力相对较低，但近年来大负载协作机器人逐渐发展，能在保持精度的同时提升负载能力。

3.1.4 常见的机器人品牌

四大家族

FANUC发那科
Yaskawa安川
ABB
KUKA库卡

国产

埃斯顿Estun
华数
新松

协作机器人

遨博智能
节卡JAKA
大族机器人
ROKAE
艾利特

3.1.5 机器人基础知识

3.1.5.1 组成

工业机器人主要由 3 个部分组成：操作机（机械手本体）、控制器和示教器（示教盒或示教编程器）。
加上末端执行器（夹具）和气源等动力输入，组成了一个最小的工作站。

3.1.5.2 轴数

工业机器人的轴数，通常用“自由度”这一专业术语来解释。自由度指的是机器人能够独立运动的维度数量。例如，三轴机器人具有三个自由度，可以沿X、Y、Z轴自由运动，但无法倾斜或转动。而六轴机器人中的六轴，就是笛卡尔坐标系中的X Y Z轴，及绕X Y Z轴旋转的U V W轴。随着轴数的增加，机器人的灵活性也相应提高，能够完成更复杂的任务。

3.1.5.3 坐标系

机器人坐标是机器人中的一个重要概念，其用来描述机器人系统中的位置和姿态。在机器人操作中，准确的坐标系统是实现精确运动和定位的关键。
机器人坐标通常由三个主要元素组成：位置、姿态和参考坐标系。

“位置”指的是机器人末端执行器或工具相对于参考坐标系的空间位置，通常以三维坐标系来表示。
“姿态”则描述了机器人的末端执行器或工具在空间中的旋转方向和角度，常用欧拉角或四元数来表示。
“参考坐标系”则是确定坐标系原点和轴线的基准，可以是机器人本体、工作台或外部参考点。

不同类型的机器人会使用不同的坐标系来描述它们的运动，以下为常见的机器人坐标系类型：

基座坐标系（Base Coordinate System）：此为机器人坐标系的起始点，通常与机器人基座或底座的中心对应。所有其他坐标系都是相对于基座坐标系来定义的。

世界（大地）坐标系（World Coordinate System）：为相对于机器人工作环境中的固定参考点或参考物体来定义的坐标系。可以用来描述机器人与周围环境的相对位置关系。

工具坐标系（Tool Coordinate System）：为相对于机器人末端执行器（工具）来定义的坐标系。其原点通常位于末端执行器的中心，并且与基座坐标系的位置和方向有关。

工件坐标系（Work Object Coordinate System）：它的原点通常位于工作物体的中心或特定的参考点上。且其轴线和方向与工作物体的几何特征和要求密切相关。可以用它来描述工作物体在机器人操作中的位置、姿态和变换关系。

机器人坐标的正确定义和使用对于实现准确的运动和操作至关重要。通过正确地定义机器人坐标系，可以将机器人的运动与所需的位置和姿态进行精确匹配，使机器人能够在不同的任务和环境中进行准确的定位和操作，实现高效率和高质量的工作。

3.2 2D图、深度图、点云数据

如前面描述，3D相机采集的数据丰富，包含多个维度的数据。其中，最常见的数据就是2D图、深度图和点云图。以下图片展示的是使用跨维—KINGFINSHER相机拍照采集的数据。

3.2.1 基本概念

2D图：通常指的是二维图像，如照片或屏幕截图，它包含的是平面上的像素信息，没有深度信息。2D图存在视角问题，离得远的大物体和离得近的小物体，在2D图像上是无法区分的。

深度图：是一种特殊的2D图像，其中每个像素的值表示场景中对应点到相机的距离。深度图提供了场景的深度信息，但仍然是二维的。

点云数据：是由大量的点组成的三维数据集，每个点通常包含三维坐标（X, Y, Z）信息，可能还包含颜色、法向量等属性。点云数据能够详细描述物体的三维形状和结构，不存在视角问题。

3.2.2 相互关系

2D图与深度图：深度图可以看作是2D图的一种特殊形式，它记录了场景的深度信息，而不是颜色或亮度信息。深度图通常与2D图（如RGB图像）一起使用，以提供更丰富的场景理解。
深度图与点云数据：深度图可以通过相机内参转换为点云数据。转换过程中，每个像素的深度值结合其在图像中的位置（u, v）和相机的内参（如焦距、光心位置），可以计算出对应的三维点坐标（X, Y, Z）。
2D图与点云数据：2D图中的像素信息可以通过立体匹配、结构光等方法与点云数据关联起来，从而实现从二维图像到三维点云的转换。

3.3 图像坐标系和相机坐标系

3.3.1 图像坐标系

定义：图像坐标系是一个二维坐标系，用于描述图像平面上的点的位置。
原点：通常位于图像的左上角。
单位：像素（pixel）。

3.3.2 相机坐标系

定义：相机坐标系是一个三维坐标系，用于描述相机光心为原点的空间点的位置。
原点：位于相机的光心。
轴： Xc_Xc_ 和 Yc_Yc_ 轴通常平行于图像坐标系的x和y轴， Zc_Zc_ 轴为相机的光轴，指向相机的前方。

3.4 左手坐标系（简称左手系）与右手坐标系（简称右手系）

在3D视觉计算中，通常使用右手坐标系（需要使用右手定则来计算向量）。而在部分桁架机器人中，机器人的坐标系是左手系的，此时可以将Z轴乘以-1将其转换成右手系，计算完成后再乘以-1转回左手系。

3.5 内参、外参

3.5.1 内参——相机的“个性特征”

内参描述了相机自身的几何特征以及如何将三维点投影的相机坐标系的图像平面。它们与相机在世界中的位置无关，只与相机本身的构造有关。

3.5.2 外参——相机的“位置姿态”

外参描述了相机在三维世界中的位置和姿态。它们是相机坐标系相对于一个固定世界坐标系的变换关系。

3.5.3 总结

内参是相机的固有属性，出厂后就固定了。
当相机移动后，内参不变，但外参会改变。
手眼标定标的是外参。

3.6 手眼标定

计算相机和机器人的相互关系，将视觉识别到的相机坐标系下的目标，转换成机器人坐标系对应的坐标，引导机器人进行抓取。相机和机器人任一发生位置变动必须重新标定。

根据相机安装方式的不同，标定分为两种：

3.6.1 眼在手上（eye in hand）

定义：相机直接安装在机器人末端执行器上，与机械臂同步运动。
特点：

灵活性：相机随机械臂移动，可以灵活调整视角，适合精细操作。
视野限制：由于相机随机械臂移动，视野范围较小，需要频繁调整位置来跟踪目标。
控制复杂：相机和机械臂的运动紧密耦合，需要精确同步和控制。

适用场景：适用于需要高精度和灵活性的操作，如电路板组装、微小零件的抓取和放置等。

3.6.2 眼在手外（eye to hand）

定义：相机固定在机器人工作空间的外部，独立于机械臂运动。
特点：

视野广阔：相机固定不动，可以覆盖较大的工作区域，适合监控整个工作场景。
布局方便：相机位置固定，不需要随机械臂移动，安装和调整相对简单。
控制相对简单：相机和机械臂的运动相对独立，控制逻辑较为清晰。

适用场景：适用于需要大视野范围的操作，如汽车生产线装配、拆码垛识别等。

四通讯协议

在工业控制的复杂场景中，各种设备就像一个个独立的个体，它们各司其职，却又需要紧密协作。想象一下，如果不同设备之间没有统一的 “语言规则”，数据的交换就会陷入混乱，整个工业自动化系统将无法正常运转。设备通讯协议，就是这样一套统一的规则，它定义了数据编码、传输方式、错误校验等关键机制，确保工控机与 PLC、传感器、执行器等设备之间能够精准协作，堪称工业自动化的 “神经网络”。有了通讯协议，设备之间才能 “听懂” 彼此的信号，实现高效的数据交互，让工业生产流程得以顺畅运行。

工业机器人常用的通讯协议包括以下几种：