基于视觉定位的机器人辅助锁螺丝技术研究

曾 锋 ，刘祚时，任崇轩，姜鸿雅

ZENG Feng1 ,LIU Zuo-shi1 ,REN Chong-xuan2,JIANG Hong-ya1

（1.江西理工大学 机电工程学院，赣州 341000；2.广东汇兴精工智造股份有限公司，东莞 523000）

0 引言

随着人工成本上升，对自动化程度的要求越来越高，机器人的应用逐渐广泛，机器视觉技术也发展的更加成熟，近年来，视觉定位技术已经成为机器人获取信息的主要手段，并且提高了机器人作业的自主判断的能力[1,2]，基于视觉定位技术的机器人已应用在各个方面，如Xiong J[3]提出的基于视觉定位技术的荔枝动态簇采摘机器人，对自然环境干扰下的荔枝动态簇进行了视觉定位研究，通过视觉系统计算出拾取点传输给机器人末端。Jin J[4]提出了一种基于视觉的机器人检测障碍物和控制机器人避障的方法。Ding W[5]提出了一种新的delta机器人视觉系统的标定技术，带视觉系统的Delta机器人可以自动控制末端执行器，准确地抓取输送带上的运动物体，建立图像特征空间与机器人工作空间之间的映射关系，形成机器人坐标、摄像机坐标、输送带坐标之间转换链的闭环链。在工业方面，如郑魁敬[6]提出的基于视觉定位的机器人上下料的系统集成技术，主要通过视觉定位技术实现机器人上下料；李金义[7]提出基于视觉定位的搬运系统技术，是对冲压件的原料进行搬运；还有王京[8]提出的基于视觉定位的焊接系统，通过视觉定位技术实现机器人对汽车零部件的焊接等等。

本文研究的是基于视觉定位的机器人辅助锁螺丝技术，将视觉定位、机器人、锁螺丝三者结合起来，实现锁螺丝工艺的自动化。

1 系统方案

根据锁螺丝的工艺流程，设计整体的工艺方案，可以分为机器人搬运物料系统、图像采集和处理系统、锁螺丝及输送机构系统以及集成控制系统。机器人搬运物料系统主要包括KUKA机器人、夹具、电磁阀、吸盘以及气路系统；锁螺丝机及输送机构系统包括振动盘、垫片和螺钉输送机构、以及锁螺丝机构；图像采集和处理系统包括MV-12MG-E工业相机、光源和工控机，以及图像处理VISIONGO软件。VISIONGO软件是上海视谷图像技术有限公司研发的面向终端客户的机器视觉平台软件。

集成控制系统是将PLC作为主控制器，连接锁螺丝机、机器人和工控机，进行相互之间的通讯。KUKA机器人KRC4控制器与工控机可以通过GENICAM协议，也支持Modbus通讯、DI/O通讯、串口通讯和网口通讯。

首先将摄像头安装在锁螺丝机构框架上，摄像头朝下固定，光源打开，通过KUKA机器人搬运物料至摄像头下方，传输信号给工控机，由摄像头对螺丝孔图像进行采集，将采集到的图像传输到工控机中，由软件进行图像的处理，将螺丝孔的中心坐标提取出来，经过转换后，发送至机器人，再由机器人根据接收到的中心坐标，将工件上的指定螺丝孔对准锁螺丝机正下方进行锁螺丝。

系统方案如图1所示。

图1 系统方案图

2 相机标定原理

相机的标定是为了建立相机成像的几何模型，获取相机的内参和外参的矩阵，假设相机拍摄的图片与三维空间物体存在一种简单的线性关系，可以通过相机拍摄的图片来还原空间中的物体[8]。通过相机拍摄对螺丝孔的图片，经过图片上的坐标来还原世界坐标系下螺丝孔的中心坐标。

建立如图2所示的坐标系，坐标系总共分为世界坐标系（XW，YW，ZW）、相机坐标系（XC，YC，ZC）、图像物理坐标系（X，Y）和像素坐标系（U，V）。

图2 三维坐标系

建立物体从世界坐标系到相机坐标系的关系：

其中，R为旋转矩阵，t为平移向量。

建立相机坐标系，从相机坐标系到图像坐标系，点M在相机坐标系中，点P在图像坐标系下：

图3 相机坐标系

由图3相机坐标系可知，f为P点在Z轴的坐标，根据相识三角形原理可得到：

将上式转化为齐次坐标表示形式为：

从图像坐标系到像素坐标系。像素坐标系原点在图像坐标系下的坐标为（u0，v0），每个像素点在图像坐标系X轴、Y轴的尺寸为dx、dy，像点在图像坐标系下的坐标为（XC，YC）：

化为齐次坐标表示形式为：

内参矩阵为：

由此可得到相机的内外参数，建立相机成像的几何模型，为得到螺丝孔的准确中心坐标建立了通道。

3 BLOB算法分析

BLOB算法是用来从背景中分离出目标，并测量任意形状目标物的形态参数，如轮廓、斑点数量、面积、中心坐标、宽度、高度、长宽比、角度和距离等[10]，通过BLOB算法，可以将工件表面的螺丝孔的准确位置找出来，确定螺丝孔的大小、形状、面积以及坐标。

在进行BLOB分析之前，必须对图像进行分割处理，就是把图像分割成为构成斑点和局部背景的像素集合，将每一像素指定为目标像素或背景像素，目标像素赋值为1，背景像素赋值为0，还有多种技术可以进行图像分割，如二元阈值、空间量化误差、软件二元阈值和像素加权等[11]。在图像被分割为目标像素和背景像素后，必须进行连通性分析，将目标图像聚合为目标图像或斑点的连接体。然后对每个目标进行特征量计算，包括面积、周长、质心坐标等特征，对图像进行特征提取。

在BLOB分析后，还有后期处理，将特征信息转换为实际坐标信息，再将像素坐标系转换为世界坐标系。BLOB分析的主要过程如图4所示。

图4 BLOB分析流程图

4 控制系统的设计

4.1 PLC与锁螺丝机及输送系统的控制设计

锁螺丝机及输送机构主要包括锁螺丝机、气缸、垫片和螺钉的输送机构以及振动盘，通过PLC来控制信号的输入输出，具体的输入输出表如表1所示。

表1 PLC与锁螺丝机及输送系统的信号表

4.2 PLC与机器人之间的通信设计

机器人与PLC可以通过以太网通讯，也可以通过I/O通讯来传递信号，以太网通讯是以字节为单位将数据存储在寄存器中进行传输，I/O是通过输入输出信号来进行通信。本文PLC与机器人通信点数较少，采用I/O通信。PLC与机器人之间的信号如表2所示。

表2 PLC与机器人的信号表

在PLC与机器人I/O连接中，通过中间继电器来进行隔离，PLC的Y输出信号连接中间继电器上，通过控制线圈的断开和吸合来控制机器人的信号输入；同样，机器人的输出信号也通过中间继电器将信号输入给PLC。

5 系统调试

首先将工控机与机器人的控制器进行连接，设置TCP/IP通讯，选择工控机作为客户端，在工控机视觉软件和控制器中互相输入对方的IP地址，在机器人控制器中打开TCP/IP端口，即完成工控机与机器人的通讯。

在VISIONGO软件中选择上升沿作为相机的触发方式，通过PLC发送上升沿脉冲信号进行触发相机，对图像进行采集处理，得到各项参数，并在软件界面中选择中心点坐标作为输出的对象。

通过VISIONGO软件中的BLOB分析来对图像进行处理分析，如图5所示为软件界面图：

图5 软件界面调试图

机器人可以得到转换后螺丝孔的中心坐标（x，y），如图6所示，对Z轴以及角度进行设置并保持不变。

图6 螺丝孔中心坐标

表3为螺丝孔中心坐标定位数据表，由X、Y坐标组成，将数据表中的中心点坐标传输给KUKA机器人控制器，由机器人根据坐标来调整姿态，准确的将工件搬运到锁螺丝孔的下方，图7为现场装配图。

表3 螺丝孔中心坐标数据表 单位（mm）

图7 现场装配图

6 结语

基于视觉定位的机器人辅助锁螺丝技术，是将视觉定位技术、机器人技术和锁螺丝技术三者结合起来，视觉定位为机器人提供了准确的坐标，通过机器人进行辅助锁螺丝，该技术为提高锁螺丝自动化程度、加快生产节拍以及减少人工成本具有重要的实际意义。