混合摄像机视觉伺服机器人研究与应用*

陈 丹， 石国良

(福州大学 电气工程与自动化学院，福建 福州 350108)

混合摄像机视觉伺服机器人研究与应用*

陈 丹， 石国良

(福州大学 电气工程与自动化学院，福建 福州 350108)

针对单目视觉机器人工件抓取与放置精度不高的问题，提出了基于位置的混合摄像机视觉伺服系统，采用Eye-in-hand和Eye-to-hand摄像机结合的模式,建立混合摄像机视觉机器人系统以实现工件的精确放置。Eye-in-hand摄像机实现对工件的定位和抓取，Eye-to-hand摄像机用于确定机械手爪中心轴线与工件中线的偏差,确保工件精确放置在期望位置。实验结果表明：该混合摄像机视觉伺服机器人系统能将工件准确放置在期望位置。

0 引 言

针对工业生产线上，工件的抓取与放置问题，国内外学者已经做了大量的探索与研究。对工件抓取、放置的视觉系统主要分三类：混合摄像机视觉系统、单目视觉系统、双目视觉系统。混合摄像机视觉伺服控制系统是用Eye-to-hand摄像机与Eye-in-hand摄像机协同工作，识别工件的位姿信息，完成运动工件的定位和抓取任务[1，2]。基于位置的单目视觉系统是通过标定的摄像机采集、处理图像，并反馈图像信息到机器人控制器中，完成工件的抓取任务[3～4]。双目视觉系统是通过两个摄像机同时采集图像，通过图像处理获得工件的三维信息，完成实时定位、抓取不同位置工件的任务[5]。在现代工业中，工件的定位、抓取普遍采用基于位置的单目视觉系统，尽管该系统能完成工件的抓取任务，但对工件的精确放置都存在较大偏差，其主要原因在于：1)机器人本体的结构及其运动精度;2)机器视觉系统中，摄像机标定，以及图像处理产生的误差。

基于上述情况，本文提出了基于位置的混合摄像机视觉伺服控制方法。机器人的混合摄像机视觉系统由Eye-in-hand摄像机和Eye-to-hand摄像机组成，Eye-in-hand摄像机用于确定工件的位姿，指导机器人的抓取运动，Eye-to-hand摄像机用于确定机械手爪中线和工件中线的偏差信息，补偿机器人的抓取偏差，从而达到机器人精确放置工件的目的。该方法充分考虑了工件抓取和放置过程的误差，且原理简单易懂，能够极大地提高机器人放置精度。

1 机器人在放置工件过程中产生误差原因分析

本实验是在四自由度固高GRB—400机器人系统中完成的，该机器人系统的机械臂对工件的定位和抓取是按工件中心对机械臂第3连杆中心抓取的，而工件中心与机械臂的第3根连杆的中心轴线并不重合，此外末端手爪与工件有一定的间隙，因此，在实际抓取工件时容易使工件位置移动，使机械手抓不到工件中间位置。图1是固高GRB—400机械手抓取工件的示意图。从图1的正面图可以看出：机械手在抓取工件的过程中，在左、右两个方向上(x轴方向)的误差主要取决于机械手运动精度，因此,在这个方向上可忽略工件与机械手中心的偏差。而从图1的侧面图(y轴方向)可以看出，手爪的中线和工件的中线是有偏差的，这个偏差是导致机械手无法精确放置工件的主要原因，因此，有必要计算机械手爪的中线与工件中线的偏差值，补偿在抓取过程中出现的偏差，实现精确放置。

图1 机械手和工件正面、侧面图Fig 1 Picture of front,side view of manipulator and workpiece

用游标卡尺测量如图1所示的机械手爪和工件的宽度分别为L1=9.98 mm，L2=35.15 mm。机械臂抓取工件的图像经图像处理后，可以得到机械手爪和工件的像素宽度分别为N1,N2。设M为像素当量，即

M=L/N

(1)

式中L为已知标准件的实际尺寸，N为对应标准件在图像上的像素欧式距离。因摄像机在采集图像过程中存在系统误差(包括摄像机畸变)，所以，参照文献[7]对摄像机系统误差进行补偿，由式(1)可得出公式

Li=M0×Ni+e

(2)

式中Li为第i个物体实际欧式距离，M0为当前图像像素当量，Ni为第i个物体在像平面的像素坐标欧氏距离，e为摄像机系统误差。小孔成像模型如图2所示。

图2 小孔成像图Fig 2 Picture of pinhole imaging

由于N1,N2,L1,L2已知，且N1≠N2,L1≠L2，将L1,N1,和L2,N2分别代入式(2)计算得

M0=(L2-L1)/(N2-N1)

(3)

e=L1-N1(L2-L1)/(N2-N1)

(4)

将式(3)、式(4)代入式(2)得

Li=[(L2-L1)/(N2-N1)](Ni-N1)+L1

(5)

将如图2所示的N3,N4代入式(5)可计算得机械手和工件中线到摄像机视场边缘的距离L3,L4，因此,工件中线与机械手爪中线实际偏差为

L0=L4-L3=(N4-N3)(L2-L1)/(N2-N1)

(6)

根据计算出的L0值调节机械手运动，当L0大于零时，机械手向y轴坐标为y-L0运动;当L0小于零时，机械手向y轴坐标为y+L0运动，由此可实现工件的精确放置。

2 混合摄像机视觉伺服控制结构

混合摄像机视觉伺服控制系统包括两个伺服控制环节，Eye-in-hand摄像机用于实现工件的定位与识别，通过标定的Eye-in-hand摄像机采集、处理图像，获得工件的位姿信息，反馈该信息到机器人控制器中，完成工件的抓取任务[7,8]。对于工件的精确放置，本文提出通过Eye-to-hand摄像机获取工件与机械手爪中线偏差，将偏差信号反馈到机器人控制器中，完成工件的精确放置。系统结构如图3所示。

图3 系统结构图Fig 3 Structure diagram of system

3 Eye-to-hand摄像机视觉伺服工作原理

用摄像机采集机械手抓取工件的图像，通过图像处理及图像测距算法，提取、计算中线偏差值，达到精确放置工件的目的。

3.1 机械手爪和工件图像的获取

为了在复杂背景中提取机械手爪和工件的图像，Eye-to-hand摄像机要在机械手开始工作前采集一帧背景图像，并在每次机械手放置工件前采集一帧机械手抓取工件的图像，如图4所示。

图4 Eye-to-hand摄像机采集图像Fig 4 Eye-to-hand camera capturing picture

3.2 机械手爪抓取工件的图像处理

对采集到的两幅图进行比较，通过背景减除法可以获得需要的前景图像。

背景减除算法，主要依赖于判断HIS颜色分量(H/I)差值低于某一阈值来去除背景图像[9]。减除过程分两步进行，第一步用亮度值I分量进行粗差分，初步消除背景图像；第二步用色度值H分量进行细差分，进一步消除背景图像。背景减除效果如图5所示。

图5 前景图Fig 5 Picture of foreground

通过背景减除算法去除了大部分背景图像后，再对图像进行预处理，包括灰度变化、感兴趣区域(ROI)提取、双边滤波、形态学滤波处理。首先对图像进行灰度处理和ROI提取，效果如图6(a)所示。其次对图像进行滤波处理，考虑到双边滤波器能去除噪声信号保留边缘信息，形态学开运算可以消除小物体平滑较大物体边缘，因此,采用双边滤波器和开运算对图像进行滤波，滤波效果如图6(b)所示。

图6 预处理效果图Fig 6 Effect image of preprocessing

预处理完成后，对图像进行二值分割、轮廓提取和最小包围矩形拟合。二值分割采用自适应阈值分割算法来完成，其效果如图7(a)所示。对二值分割后的图像提取轮廓，并计算各轮廓的面积、长度和圆形度来获取目标轮廓，再对目标轮廓应用最小包围矩形拟合，其效果如图7(b)所示。

图7 轮廓提取效果图Fig 7 Effect image of contour extraction

经图像处理后获得的机械手爪和工件包围矩形轮廓信息可以计算出机械手爪中线和工件中线到视场边缘的像素欧式距离，即如图2所示的N3和N4，再由公式(6)可计算出工件与机械手爪中线的偏差，最终完成工件的精确放置任务。

4 实验过程与结果分析

本实验是在VS2010环境下编写MFC控制平台程序来完成系统控制任务的，应用Matlab和OpenCV库函数分别完成相机的内、外参数标定和图像处理任务。

4.1 相机内、外参数标定

Eye-in-hand摄像机内部参数标定应用Matlab工具箱完成。Eye-in-hand摄像机单目视觉系统的手眼标定参考文献[11]完成，手眼参数标定矩阵Rhc和Thc如下

(7)

Thc=[-44.041 9 30.939 4 9.845 7]

(8)

深度值Zc=150 mm。

4.2 有、无Eye-to-hand摄像机放置偏差实验对比

为检测工件放置的精确程度，绘制了35.15 mm×35.15 mm的矩形框作为工件的期望放置位置，工件框外再绘制若干精度为0.5 mm的矩形格来检测工件放置位置偏差，工件框和精度测试格如图8所示。

图8 精度检测表格Fig 8 Forms of precision testing

用Eye-in-hand摄像机机器人系统的机械手运动到4个不同位置抓取工件并放置在期望矩形框内。为了检测该混合摄像机视觉伺服控制系统的精度，作者做了两个实验：第一个实验是基于Eye-in-hand摄像机的单目视觉伺服机器人的工件抓取与放置实验；第二个实验是混合摄像机视觉伺服机器人系统的工件抓取与放置实验。

4.2.1 基于Eye-in-hand摄像机的单目视觉机器人实验

先将机械手运动到Eye-in-hand摄像机能获取工件完整轮廓区域范围内，通过图像处理算法获得工件的位姿信息，抓取目标工件，放置到期望位置，记录实际工件位置与期望位置在X,Y轴方向上的偏差。无Eye-to-hand摄像机的偏差结果如表格1所示。其中，a+,a-,b+,b-分别表示在X,Y轴正、负4个方向上的偏差值小于0.5mm，a,b表示在4个方向上无偏差，A+,A-,B+,B-分别表示在X,Y轴的正、负4个方向上的偏差值大于0.5mm，小于1mm。M表示在X,Y轴的正、负4个方向上的偏差值大于1mm。

表1 基于Eye-in-hand摄像机的单目视觉机器人 系统工件放置偏差Tab 1 Placement deviation of workpiece by monocular vision robot system based on Eye-in-hand camera

4.2.2 基于混合摄像机的机器人视觉伺服系统实验

首先，工作前，Eye-to-hand摄相机获取一帧背景图像，Eye-in-hand摄像机的机械手运动到能获取工件完整轮廓区域范围内。通过图像处理算法获得工件的位姿信息，抓取目标工件，放到Eye-to-hand摄像机视野范围内，通过提出的处理算法获得机械手爪中线和工件中线差值，反馈该差值到机器人控制器中，调节机械手运动到期望位置，记录实际工件位置与期望位置X,Y轴方向上偏差结果如表2所示。其中对应字母意义同表1。

从以上两个实验的数据可以看出:由于机械手抓取工件，在X轴方向上中线偏差取决于机械手本身的运动精度，且机械手运动精度较高，因此,2组实验在X轴方向上偏差很小；从Y轴方向看，前者在1,3,4位置上抓取工件偏差大于0.5 mm的占100 %，在第2位置上抓取工件偏差大于0.5 mm的占87.5 %，后者在X,Y轴方向上偏差小于0.5 mm的占100 %。由此可见，混合摄像机视觉伺服机器人系统要比Eye-in-hand摄像机视觉伺服机器人系统的放置精度高。

5 结 论

本文是在Eye-in-hand摄像机机器人伺服系统抓取工件的基础上，附加Eye-to-hand摄像机控制系统，通过图像提取机械手中线与工件中线的偏差，计算补偿机械手的偏差，实验结果表明,工件放置位置精度得到了极大的提高。

表2 混合摄像机视觉伺服机器人系统的工件的放置偏差值Tab 2 Placement deviation of workpiece by hybrid cameras visual servo robot system

[1] Tsai Chiyi，Wong Chingchang，Yu Chiajun,et.al.A hybrid switched reactive-based vi-sual servo control of 5-DOF robot manipulators for pick-and-place tasks[J].IEEE Systems Journal,2015,9(1):119-130.

[2] Luo Ren C,Chou Shihche,Yang Xinyi.Hybrid eye-to-hand and eye-in-hand visual servo system for parallel robot conveyor object tracking and fetching[C]∥The 40th Annual Conference of IEEE IECON 2014,Industrial Electronics Society,2014:2558-2563．

[3] 王修岩,程婷婷.基于单目视觉的工业机器人智能抓取研究[J].机械设计与制造,2011(5):135-136.

[4] 翟敬梅,董鹏飞,张 铁.基于视觉引导的工业机器人定位抓取系统设计[J].机械设计与研究,2014,30(5):45-49.

[5] 朱代光.基于双目视觉的工件定位与抓取研究 [J].计算机测量与控制,2011,19(1):92-94.

[6] 田原螈,黄合成,谭庆昌.摄像机镜头畸变的研究[J].计算机工程与应用,2009,45(26):49-52.

[7] Huang Chaoxing,Chen Dan，Tang Xusheng.Implementation of workpiece recognition and location based on open CV[C]∥The 8th International Symposium on Computational Intelligence and Design,2015:228-232.

[8] 李 彬,罗 彪.机器视觉在物体位姿检测中的应用[J].传感器与微系统，2016,35(2):150-153.

[9] 吴 瑜,郭建东,刘乃琦.一种基于HIS模型的彩色图像背景减除快速算法[J].微计算应用,2005,26(3):306-308.

[10] Ma S D．A self-calibration technique for active vision system-s[J].IEEE Transactionsons on Robotics and Automation,1996,12(1):114- 120.

石国良，通讯作者，E—mall：476033434@qq.com。

Research and application of hybrid cameras visual servo robot*

CHEN Dan， SHI Guo-liang

(College of Electrical Engineering and Automation，Fuzhou University，Fuzhou 350108，China)

Aiming at problem of low precision of workpieces grasping and placing of monocular vision robot,propose hybrid cameras visual servo system based on position,mode combining Eye-in-hand and Eye-to-hand camera is used,establish hybrid cameras visual robot system to realize accurate placement of workpiece.Eye-in-hand camera is used to realize workpiece orientation and grasping.Eye-to-hand camera is used to evaluates pixel coordinates difference of center line between mechanical gripper and workpiece to ensure that the workpiece is placed in precise desire location.Experimental results show that this hybrid cameras visual servo robot can place workpiece in specified coordinates accurately.

robot； visual servo； midline extraction； accurate placing

10.13873/J.1000—9787(2016)07—0154—04

2016—05—10

国家自然科学基金青年科学基金资助项目(61304260)； 福建省自然科学基金资助项目(2013J01226)

机器人； 视觉伺服； 中线提取； 精确放置

TP 24

A

1000—9787(2016)07—0154—04

陈 丹(1977-)，女，福建永安人，博士，副教授,研究方向为网络机器人控制技术、预测控制、智能控制以及机器人视觉。