基于Kinect的典型零部件识别与定位*

张志佳， 魏 信，， 周自强， 钟 玲， 何 欣

(1. 沈阳工业大学 视觉检测技术研究所， 沈阳 110870； 2. 常熟理工学院 江苏省机电产品循环利用技术重点建设实验室， 江苏 常熟 215500)

基于Kinect的典型零部件识别与定位*

张志佳1， 魏 信1，2， 周自强2， 钟 玲1， 何 欣1

(1. 沈阳工业大学 视觉检测技术研究所， 沈阳 110870； 2. 常熟理工学院 江苏省机电产品循环利用技术重点建设实验室， 江苏 常熟 215500)

针对自动化拆卸的零部件识别与定位问题，提出了一种结合深度信息的典型零部件图像识别与定位方法.利用Kinect传感器获取彩色图像与深度图像，提取出两者之间的仿射变换矩阵，实现彩色图像的矫正；根据相关系数匹配法实现矫正后的彩色图像零部件识别；利用彩色图像与深度图像的对应关系对零部件进行定位.针对典型零部件，对Kinect传感器获取的图像进行仿真实验与处理，结果表明，该方法能对目标进行识别与定位，验证了方法的有效性.

Kinect传感器； 彩色图像； 深度图像； 仿射变换； 图像矫正； 相关系数法； 图像匹配； 典型零部件

近年来，机器视觉以其非接触式、较宽的光谱响应范围、定位、测量和缺陷检测的优势，在军事目标识别[1]、人脸识别[2]、指纹识别[3]、发票号码识别[4]、农作物质量检测[5]和医学图像检测[6]等领域得到了广泛的应用.

在自动化拆卸中，机器视觉是自动获取零部件特征信息和特征参数的一种较为可行的技术方法.对于一些高要求、高负荷的重复性和智能性的工作，比如细微缺陷检测和零部件测量，人眼很难持续、稳定地完成，机器视觉可以高效、高质量地完成检测任务.

在机器视觉中，图像采集设备大多制造工艺复杂，精确度高，价格昂贵.以Bumblebee2为例[7]，该相机价格昂贵，体积大.但是，微软Kinect相机的出现，因其简单、价廉、方便，在三维重构[8]、物体跟踪[9]和姿态识别[10]等领域被广泛应用.

目前，Kinect在零部件识别方面尚未有公开发表的文献.基于以上背景，本文深入研究了基于Kinect的零部件识别与定位方法，拓宽了Kinect的应用领域.

1 Kinect传感器

Kinect是微软在2010年正式推出的XBOX360体感周边外设.Kinect共有三个摄像头，其实物图如图1所示，中间的镜头是RGB彩色摄像头，左右两边的镜头分别是红外线发射器和红外线CMOS摄像机.Kinect在底部还配备了传动马达，在两侧内置了阵列麦克风系统，用于语音识别.Kinect系统关于RGB彩色摄像头和深度传感器输出的是640×480的彩色图像和深度图像.Kinect设备能获取其视野范围内目标的彩色图像和深度图像，如图2所示.

图1 Kinect传感器

图2 Kinect图像

2 零部件识别与定位

图2中，彩色图像比深度图像包含更多的图像细节，能满足识别一些结构复杂的零部件需求.但是彩色图像提取的只是图像中的坐标信息，而利用深度图像能提取零部件的三维空间信息，达到对零部件的识别与定位要求.基于以上特性，可以同时利用深度图像与彩色图像对零部件进行识别，并确定零部件所在的三维空间位置.

2.1 图像校正

Kinect设备所获取的深度图像与彩色图像里物体的大小不一致，深度图像里的人物偏大，如图2所示.本文提出了基于仿射变换的图像校正方法，通过图像校正，彩色图像与深度图像重合，对重合后的彩色图像进行识别，并实现对零部件的定位.

以一块规则的正方形黑色木板平面作为目标，利用Kinect对其进行扫描，获取深度图像与彩色图像，图3给出了Kinect扫描黑色木板示意图，图4给出了获取的深度图像与彩色图像.

图3 黑色木板扫描示意图

图4 Kinect图像示意图

(1)

联立六个方程解六个未知数，得到一个2×3的仿射变换矩阵，其表达式为

(2)

利用仿射变换矩阵R对彩色图像进行仿射变换，图5给出了变换后对比示意图.

图5 仿射变换后对比示意图

校正后彩色图像中A、B、C与深度图像中A、B、C位置重合.

2.2 零部件的图像识别

由图6可知，仿射变换后，彩色图像中的六角螺母图与深度图像一致.图像完成仿射变换后，将彩色图像转换为灰度图像，如图7所示.

图6 仿射变换

图7 灰度图像

(3)

(4)

图8为图像匹配示意图.搜索图S是480×640的图像，用m×n的模板图像T在搜索图S匹配最佳目标，可以利用相关系数法作为匹配测度，根据匹配相似度的大小来识别目标图像里的零部件.

图8 图像匹配示意图

2.3 零部件位姿计算

典型零部件的位姿是在空间坐标系下的坐标，即世界坐标，而由匹配算法得到的只是在图像中的坐标，难以定位.若想得到典型零部件的空间位姿，可以利用彩色图像与深度图像的对应关系求取，图9给出了零部件定位示意图.

图9 定位示意图

通过彩色图像提取出典型零部件中心点P坐标(u，v)，图像经过变换，彩色图像与深度图像重合，从深度图像里提取P点的深度值D，然后利用Kinect SDK工具包将零部件中心点P的二维图像坐标转换为相对于Kinect的三维坐标(xP，yP，zP)，从而对零部件起到定位的作用.

3 实验概况

为了验证本文方法的有效性，针对典型零部件的识别与定位，实验分别对DIN934标准中的M20、M22、M27、M30四种型号六角螺母和M6、M8、M10、M12四种型号方形螺母进行了实验，结果表明，本文方法均能准确识别并确定螺母所在的空间位置.

3.1 图像变换

为了计算Kinect提取的彩色图像与深度图像之间的变换矩阵，设计了一个实验板进行实验，如图10所示.获取的深度图和彩色图如图11所示.

图10 实验板

图11 深度图和彩色图

用Kinect深度摄像机和RGB彩色摄像机分别对图10所示的实验板进行拍摄，获取出对应图像里黑色正方形木板左上角，右上角和左下角三个点的坐标，如表1所示.

表1 典型零部件模型三个参数

对于表1的两组点，利用仿射变换求出2×3仿射变换矩阵，即

利用求出的仿射变换矩阵对RGB彩色图像进行仿射变换，使校正后的RGB彩色图与深度图重合，彩色图校正前后对比如图12所示.

图12 彩色图像校正

3.2 零部件识别

对Kinect提取的彩色图像进行仿射变换，然后将彩色图像转化为灰度图像，如图13a所示，用图13b所示的模板对其进行相关系数匹配来识别零部件.

图13 图像匹配

在相关系数匹配法识别中，首先当R′(x，y)最大时，图像上(x，y)的灰度值最大，如图14所示；然后对灰度值最大的点提取其轮廓，如图15所示；最后确定方形螺母在图像坐标里的位置，方形螺母中心所在的图像坐标为(312，107)，如图16所示.

图14 相关系数匹配法

图15 轮廓

图16 方形螺母识别

Kinect识别出的方形螺母中心所在的图像像素坐标为(312，107)，单位为像素，相应的深度值为1.035 m，可以用Kinect SDK开发工具包将图像像素坐标转化为三维坐标，提取出相对于Kinect中心所在的空间位置坐标为(-0.014，0.241，1.035)，单位为m.

4 结 论

本文提出了一种基于Kinect提取的深度图像和彩色图像进行目标识别及定位的方法.利用仿射变换实现了彩色图像与深度图像之间的几何矫正，结合彩色图像中目标的细节信息和深度图像中目标的深度信息对物体进行识别与定位.实验结果表明，本文提出的方法能够实现典型零部件的识别与定位.

[1]李开明，张群，罗迎，等.地面车辆目标识别研究综述 [J].电子学报，2014，42(3)：538-546.

(LI Kai-ming，ZHANG Qun，LUO Ying，et al.Review of ground vehicles recognition [J].Acta Electronica Sinica，2014，42(3)：538-546.)

[2]徐维清，严利民.基于视频的人脸识别系统研究 [J].工业控制计算机，2014，27(9)：90-93.

(XU Wei-qing，YAN Li-min.Research on face recognition system based on video [J].Industrial Control Computer，2014，27(9)：90-93.)

[3]杨霞，刘志伟，雷航.基于TrustZone的指纹识别安全技术研究与实现 [J].计算机科学，2016，43(7)：147-152.

(YANG Xia，LIU Zhi-wei，LEI Hang.Research and implementation of fingerprint identification security technology based on ARM TrustZone [J].Computer Science，2016，43(7)：147-152.)

[4]宫义山，王鹏.基于模板匹配的发票号码识别算法 [J].沈阳工业大学学报，2015，37(6)：673-678.

(GONG Yi-shan，WANG Peng.Identification algorithm for invoice number based on template matching [J].Journal of Shenyang University of Technology，2015，37(6)：673-678.)

[5]张亚静，Sakac Shibusawa，李民赞.基于机器视觉的番茄内部品质预测 [J].农业工程学报，2012，26(2)：366-370.

(ZHANG Ya-jing，Sakac Shibusawa，LI Min-zan.Prediction of tomato inner quality based on machine vision [J].Journal of Agricultural Engineering，2012，26(2)：366-370.)

[6]张辉，王耀南，吴成中，等.高速医药自动化生产线大输液视觉检测与识别技术 [J].控制理论与应用，2014，31(10)：1404-1413.

(ZHANG Hui，WANG Yao-nan，WU Cheng-zhong，et al.Vision detection and recognition for medical infusion automatic production lines [J].Control Theory & Application，2014，31(10)：1404-1413.)

[7]Beltran D，Basaez L.A comparison between active and passive 3D vision sensors：Bumblebee XB3 and microsoft Kinect [J].Advances in Intelligent Systems and Computing，2013，252：725-734.

[8]Um D，Ryu D，Kal M，et al.Multiple intensity diffe-rentiation for 3-D surface reconstruction with mono-vision infrared proximity array sensor [J].Sensors Journal IEEE，2011，11(12)：3352-3358.

[9]Zhuang J Y，Xu Y R，Wan L，et al.Target detection of an unmanned surface vehicle based on a radar image [J].Journal of Harbin Engineering University，2012，33(2)：129-135.

[10]Vermum K，Senapaty M，Sankhla A，et al.Gesture-based affective and cognitive states recognition using Kinect for effective feedback during E-learning [C]//2013 IEEE 5th International Conference on Technology for Education.Kharagpur，India，2013：107-110.

(责任编辑：钟 媛 英文审校：尹淑英)

Identification and location of typical components based on Kinect

ZHANG Zhi-jia1, WEI Xin1,2, ZHOU Zi-qiang2, ZHONG Ling1, HE Xin1

(1. Computer Vision Group, Shenyang University of Technology, Shenyang 110870, China; 2. Jiangsu Key Laboratory of Recycling and Reuse Technology for Mechanical and Electronic Products, Changshu Institute of Technology, Changshu 215500, China)

Aiming at the problem of component identification and location in automatic disassembly process, a typical component image identification and location method in combination with the depth information was proposed. The color image and depth image were acquired with the Kinect sensor, and the affine transformation matrix was extracted so as to realize the correction of color image. In addition, the component identification with the corrected color image was realized with the correlation coefficient matching method, and the components were located with the corresponding relationship between color and depth images. Aiming at the typical components, the simulation experiment and processing for the image obtained with the Kinect sensor were carried out. The results show that the proposed method can identify and locate the target. And the effectiveness of the method is verified.

Kinect sensor; color image; depth image; affine transformation; image rectification; correlation coefficient method; image matching; typical part

2016-11-21.

国家自然科学基金资助项目(61540069)； 江苏省机电产品循环利用技术重点建设实验室基金资助项目(KF1508).

张志佳(1974-)，男，河北晋州人，副教授，博士，主要从事机器视觉检测技术、图像处理与模式识别等方面的研究.

10.7688/j.issn.1000-1646.2017.03.11

TM 391.4

A

1000-1646(2017)03-0299-05

*本文已于2017-05-08 20∶25在中国知网优先数字出版. 网络出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20170508.2025.004.html