基于视觉引导的工业机器人无序抓取系统设计

王连庆，钱 莉

（上海工程技术大学 机械与汽车工程学院，上海 201620）

0 引言

随着科技的进步与发展，人们对自动化领域提出了无人工厂，高精度装配等理念，这些理念的核心作用就是降低人工参与度。而工业机器人[1]的出现，一定程度上满足了人们对自动化行业提出的要求。如今越来越多的工业机器人系统集成了视觉接口，利用视觉技术配合机械手实现目标物体的定位，分类，检测。机器视觉的核心就是将相机采集的图像进行处理，提取图像的特征信息[2]，来判断图像上层语义，进而替代人眼和人脑完成约定任务，甚至可以完成特殊环境下人眼无法完成的任务。除此之外视觉技术还运用在虚拟现实[3]，汽车导航[4]，瑕疵检测等领域。本文运用机械手与视觉技术的结合，将物料盒中的无序物料进行识别，定位，并引导机械手进行抓取，有序放入物料盒中。

1 系统的硬件组成与搭建

1）CCD相机：相机采用大华公司A3600MG18型号相机，使用千兆网卡与工控机通讯，安装在物料盒，来料盒上方，与机械人末端下方。

2）镜头：镜头采用日本COMPUTAR公司的25mm标准镜头。

3）计算机：采用研华公司的工控计算机，软件运行环境为Window10，Visual Studio 2017 C#，CPU：Intel i5-4800，RAM：12GB。

4）光源：光源采用上海愷威光电科技的LED环形光，此款源可以减少相机曝光时间，提高图像质量。

5）机器人：采用雅马哈YK500-600XGL四轴机械手。该机械手末端重复精度可达到0.005mm，编程简单，采用TCP/IP协议与工控机通讯。

机器人视觉引导无序抓取系统整体硬件的搭建如图1所示。

图1 机器人视觉引导无序抓取整体硬件的搭建

2 机器人视觉引导无序抓取系统的工作流程

本系统中3只相机分别安装在物料盒的上方，来料盒的上方，和机械手位置2的正下方，保持相机安装与工作台垂直。3只相机的目的是分别对物料盒放置物料的圆形凹槽，来料盒中的无序来料，和机械手末端圆形吸料吸嘴进行定位。工作流程的第一步是将3只相机与机械手做一次联合标定，将3只相机与机械手标定至同一坐标系下即将图像从像素坐标系转化到机械手基坐标系下。第二步将机械手运动至位置3，相机2采集图像，对图像进行处理，定位物料中心在机械手基坐标坐标系下的坐标，同时相机3采集图像，定位机械手圆形吸嘴中心在机械手基坐标下的坐标。将两坐标进行解算，解算出机械手需要运动的关节信息，通过网络协议传输至机械手控制端，机械手运动至位置2对物料进行吸取。第三步相机1进行拍照对物料盒放置物料的圆形凹槽中心进行定位，同时将机械手移动至位置3，利用相机3对机械手已吸取物料中心进行拍照定位，通过两定位坐标再次解算出机械手需要运动的关节信息。操作机械手运动至位置1圆形凹槽上方释放物料，完成机械手的搬运任务，往复工作直到物料盒为空。从而实现机械手无序抓取物料并有序放置的任务，具体工作流程如图2所示。

图2 视觉引导抓取系统工作流程

3 机器人视觉引导无序抓取系统定位技术解析

3.1 相机自身的标定

相机的针孔成像模型与小孔成像原理[5]类似，如图3所示，成像平面所呈的像为实际物体倒立的像，相机内部在做图像处理的时候会将图像进行倒立，放缩，使图像与实际物体一致。根据小孔成像原理我们可以把相机的成像效果等价与平面的成像效果。

图3 针孔成像原理

根据小孔成像原理我们可以把相机模型分为相机坐标系，图像坐标系，像素坐标系，世界坐标系，图像坐标系和像素坐标系在平面π1上，将平面π1放大后如图4所示，左上角O0定义为图像的像素坐标系原点，u和v分别为X和Y轴。点O为图像坐标系的原点，x和y分别为坐标系的X，Y轴。我们假设相机成像形状为矩形，每个像素在x轴与y轴的物理尺寸为dx与dy，单位为mm/px，假设在像素坐标系下存在一点（u，v），在图像坐标系下为（x，y），则有以下对应关系：

图4 图像坐标系

我们将式(1)转化为矩阵表达式有

相机坐标系如图3中OC-XCYCZC，其中XC，YC与图像坐标系中的X轴，Y轴同轴，ZC与成像平面垂直，OCC为光心到成像平面的距离即相机的焦距，假设距离为f，我们将相机坐标系下的一点p1（X，Y，Z）投影到图像坐标系中得到p2（x，y），则有对应关系

综合考虑式(2)和式(3)可以推出像素坐标系到相机坐标系的关系

世界坐标系如图3中OW-XWYWZW，在世界坐标系中有一点（XW，YW，ZW），在相机坐标系下有一点（X，Y，Z），我们将两坐标转化为齐次坐标就有对如下应关系：

MW为相机的外参，即相机坐标系到世界坐标系的转化关系。综合式(4)、式(5)我们可以得出以下公式，该公式表达了像素坐标系到世界坐标系的转化关系。即可以将实物从外部的三维世界转化为二维平面。

根据式(6)我们就可以通过相机拍摄不同位置的标定板，求解出相机的内参和外参。

3.2 机器人与相机之间的标定

在进行相机标定时，我们可以获得相机的内外参数，但是在进行视觉引导时已知这些参数是远远不够的，需要对机械手和相机之间进行标定，获得机械手基坐标系和像素坐标系之间的关系，才可进行视觉引导。

在此套系统中采用的Eye-on-Hand[7，8]的标定方式，Eye-on-Hand系统即眼在手外系统，将相机固定在某一位置，标定板固定在机械手末端，保持相机与标定片平面处于垂直状态，如图5所示。

图5 固定相机手眼关系

从上述转换关系我们可以得到以下等式

只要对该方程求解就可以获得手眼标定的结果。过于解上述方程需要足够多的位置移动，考虑到过拟合问题和误差较小两个问题，我们需要保证一个足够大的平面来进行标定。

3.3 基于灰度特征的模板匹配定位算法

图像的提取特征[9]和模板匹配[10]是机械手对目标物体定位最重要的步骤，对于目标图像我们可以提取它的几何特征，直方图信息[11]，灰度信息等作为匹配的特征要素。成功提取特征后还需要利用搜索匹配算法来实现模板与目标图像之间的匹配。模板匹配的运算时间直接决定整个系统的运行时间，因此我们在考虑准确性的同时还要尽量缩小算法的运算时间。

常用的匹配算法有提取灰度信息和几何特征。基于几何特征的匹配算法[12]是提取目标物体的外部轮廓，对轮廓进行对比匹配。基于灰度信息的匹配算法[13]是比较相同位置灰度的差值，选取差值最小处或者达到最小阈值则为成功匹配。基于灰度特征的匹配算法原理简单，也相对成熟。因此本系统优先采用的基于灰度特征的模板匹配算法。

我们采用模板图像与目标图像所有灰度值差值的平方和作为其相似性度量标准。设模板图像为W×H个像素，模板与目标图像评价函数如下：

将上述式(9)归一化后有：

T(m，n)和D(i+m，j+n)分别为模板图像在(m，n)坐标下的像素，目标图像在(i+m，i+n)坐标下的像素值，通过为每一个位置像素之差求平方和来评价模板图片与目标图片的相似度。评价函数的得分越低说明模板图片和目标图片的匹配程度越高。该方法设置阈值后，可以在目标图像中找个多个与模板相似的图片，符合本套系统的设计一致。

图6为模板图片，基于该模板特征提取灰度信息，在目标图片图7中绿色框内为目标图片与模板重合的区域，红色部分表示匹配上但是得分较低的区域。可以看出匹配准确性比较高，结果可以作为实际定位结果。

图6 模板图片

图7 目标图片

4 实验

我们利用雅马哈YK500-600XGL四轴机械手，海康600万相机，研华工控机对该系统进行验证。实验图如图11所示。

图11 实际验证硬件架设

首先确定机械手与上位机的通信方式，本次实验采取TCP/IP通讯方式，编写该系统上位机，上位机界面中包含了机器人标定点位，机器人试教点位，匹配图像显示界面等。其次确定机械手末端采用气动吸嘴，实现机械手对物料的抓取与释放。

进行实验前我们利用棋盘格对该系统进行相机内外参标定，手眼标定。在机械手进行抓取之前我们机械手吸嘴进行定位如图10所示，并对来料盒中的物料进行定位如图7所示，根据两定位结果反解出机械手运动的关节信息，摆动机械手到物料位置吸取物料，吸取料后再次对来料进行定位如图9所示，同时对料盒进行定位如图8所示，根据两定位信息解算出机械手应走的位置，将物料至于料盒中。其中对机械手吸嘴定位与再次对吸取物料定位是为了防止吸取物料时产生偏差（如图9所示）与放料误差的叠加导致放料失败，从而不能保证整个系统的稳定性。

图8 物料盒物料放置槽定位

图9 机器人吸取物料定位

图10 机器人吸嘴定位

我们用300片物料进行实验，实验结果如表1所示，由表可以看出该系统的准确性和稳定性可以达到98.6%，符合制定的要求。使用该套系统可以大大减少人力成本，提高产能，为企业减少成本。

5 结语

本文完成了基于机器视觉引导机械手对无序物料进行抓取系统的设计，并且在实际的实验测试中取得了较高的成功率，从而验证了该套系统的可靠性，同时验证了标定算法，定位算法的可靠性，引导抓取方案的实用性。机器视觉出现提高了自动化行业的效率和生产质量，使得产品更加稳定可靠，但是我国的视觉技术仍处于起步阶段，需要大量的专业人才共同努力，才能缩小和自动化强国技术人的差距。