微电子封装位置在线实时图像识别算法研究

李长有，王文华，商静瑜，贾明明

河南理工大学机械与动力工程学院，河南焦作 454003

微电子封装位置在线实时图像识别算法研究

李长有，王文华，商静瑜，贾明明

河南理工大学机械与动力工程学院，河南焦作 454003

1 引言

随着计算机技术的飞速发展，机器视觉技术在自动化领域应用越来越普遍[1-9]。利用机器视觉来模仿人类视觉并进行信息提取、分析，最终实现检测、识别、控制等功能是微电子封装行业的发展趋势[10]。本研究利用机器视觉技术对FC-D30电路板的芯片封装位置进行识别，在能够正确识别封装位置的基础上，识别算法应简洁有效避免大量运算，充分发挥流水线作业的优势。

2 算法流程分析

FC-D30电路板封装位置识别算法流程图如图1所示。

图1 算法流程图

3 机器视觉硬件系统

本文的机器视觉硬件系统包括CCD摄像机、计算机、传送带平台、支架等。摄像设备采用ST130C-H型彩色工业数字摄像机，USB高速数字输出，可直接利用计算机接收数据，最大分辨率为1 280×960，计算机可编程控制其曝光时间、亮度、增益等参数。电路板彩色图像及芯片封装位置如图2所示。

图2 电路板彩色图像及芯片封装位置

4 图像灰度特征分析

4.1 图像灰度化算法研究

现在大部分图像都是RGB彩色模式，而在图像处理时为了更好地反应其形态特征及方便后续的识别、测量等，都需要将采集来的彩色图像转换为灰度图像[11]。灰度化算法主要有：线性变换法、非线性变换法[12]。单一分量法、平均值法、加权平均值法属于线性变换，其计算公式为：

式中，g为灰度图像中某个像素的灰度值，R、G、B分别为彩色图像中对应像素的红、绿、蓝分量，WR、WG、WB分别为红、绿、蓝分量的权值。平均值算法最为常用，取WR=WG=WB=1/3，利用平均值法灰度化如图3所示，图像对比度低，封装位置所在圆与背景灰度值相似度高，不利于图像分割等处理。

图3 平均值法灰度图

通过分析图像颜色特征得出：封装位置红色分量值较高，而背景绿色分量值较高。所以利用单一分量法取WR= 1、WG=0、WB=0，只提取R分量灰度化，同时单一分量法只考虑一种分量，只有赋值运算，运算速度快。R分量灰度图如图4所示，可较好地分辨出封装位置和背景。加权平均值法、非线性变换法有利于保持图像边缘信息但与单一分量法相比，较为复杂不利于实时性要求。

图4 R分量灰度图

4.2 图像灰度直方图分析

平均值法灰度直方图如图5所示，R分量灰度直方图如图6所示。由直方图对比分析得出：平均值法灰度化后的图像缩小了前景与背景的差别，降低了图像分辨率，不利于图像识别。R分量灰度直方图曲线双峰之间谷值明显，正确分割开了前景与背景，适合进行阈值分割等图像处理。

图5 平均值法灰度直方图

图6 R分量灰度直方图

4.3 迭代法阈值分割

从本质上看，阈值分割方法基本上可以分为六大类[13]：基于熵的方法、基于聚类的方法、基于直方图形态的方法、基于目标属性的方法、空间方法、和局部方法。利用迭代法求最佳分割阈值属于直方图形态法，其步骤如下：

（1）求出图像的最大灰度值和最小灰度值，分别记为Max和Min，令初始阈值(i=0)：Ti=(Max+Min)/2。

（2）根据阈值Ti将图像分割为前景和背景，分别求出两者的平均灰度值Z0和ZB。

（3）求出新的阈值：Ti+1=(Z0+ZB)/2。

（4）若Ti=Ti+1，则所得即为阈值；否则i=i+1转步骤（2）继续迭代计算。

由于灰度直方图峰、谷分布趋势基本一致，利用迭代法计算的最佳阈值可正确分割前景和背景，因此可利用所求阈值将图像二值化。经过阈值分割后的二值图像去除了大量背景信息，完整保留了前景中的封装位置。阈值分割后的二值图像如图6所示。

5 封装位置识别

5.1 图像平滑

图像平滑滤波的方法主要有空域法和频域法两大类[14]。中值滤波是一种常用的非线性空域平滑滤波法，它在消除干扰噪声的同时，能够较好地保持图像的细节，防止图像边缘部分变得模糊。设一个奇数像素窗口W，其中间位置的原灰度值为f(x,y)，平滑后窗口中心的新灰度值为g(x,y)，即

通过分析实验，最终选取二维的3×3模板作为中值滤波器，图像平滑步骤为：

（1）将二维的3×3模板在图中漫游，并将模板中心与某个像素位置重合；

（2）读取模板下各对应像素的灰度值；

（3）将模板对应像素灰度值从小到大排序；

（4）选取序列里排在中间的1个像素的灰度值；

（5）将这个中间值赋值给对应3×3模板中心位置的像素作为像素的灰度值。

图像平滑处理后的结果如图8所示，与图7对比可以看出，平滑后的图像基本已无小噪声区域和孔洞区域，所以平滑处理对后期的边缘提取工作是非常必要的。

图7 阈值分割后的二值图像

图8 图像平滑后的二值图像

5.2 边缘提取

如图8所示，二值图像边缘附近的亮度变化较大，所以可以把在邻域内灰度超过某个值的像素点当做边缘点。常用的边缘提取算子有Roberts、Sobel、Prewitt、Laplacian、Canny等[15]，其特点及提取二值图像边缘所用时间如表1所示。

表1 常用边缘提取算子的特点及提取边缘所用时间

由表1可知，Laplacian、Canny算子较为复杂，提取边缘所用时间较长，无法满足算法的实时性要求。Roberts、Sobel、Prewitt算子提取边缘所用时间相差不多，但Roberts算子检测到的结果出现了微量偏移，Prewitt算子有些细节边缘未检测到，所以两者并不适用。

在实际点胶封装过程中，图像获取过程的光照背景变化和干扰噪声比较小，并选取黑色传送带为背景。经过实验得出：Sobel算子可以快速、完整地提取到边缘轮廓。Sobel算子提取边缘后的图像如图9所示。

图9 Sobel算子提取边缘后的图像

5.3 Hough变换识别圆

在数字图像处理技术中，Hough变换广泛应用于对圆的识别，而且具有识别率高、抗噪性强、对不完整边缘具有鲁棒性等优点[16]。根据Hough变换原理，在极坐标的ρθ参数平面，通过Hough变换，将图像空间(x,y)对应到参数空间(a,b,r)。由于Hough变换计算量大，所用时间长，所以传统的Hough算法实时性较差。

当摄像机位置固定以后，电路板与摄像机的垂直距离恒定，采集到的图像大小也不变，因此可通过人工测量被检测圆直径r，将Hough变换累加器从三维降为二维。二维变换将在很大程度上减少计算量，提高识别速度，保证算法具有良好的实时性。Hough变换识别结果如图10所示，已准确识别出封装位置所在圆及圆心坐标。

图10 Hough变换识别圆结果图

5.4 确认识别结果

将Hough变换识别结果与原彩色图像进行叠加后的图像如图11所示。重叠图像表明：识别结果与实际封装位置吻合，定位误差仅有1个像素，满足实际点胶精度要求。可将识别出的圆心坐标按照指定协议发送给运动控制机构完成点胶封装的工作。

图11 识别结果与原彩色图像进行叠加

6 结论

综上所述，在保证FC-D30电路板印刷质量的前提下，运用机器视觉技术可以准确、快速、灵活地对微电子封装位置进行识别，满足微电子封装的准确性和流水线点胶的实时性。而且机器视觉技术为非接触式定位，避免了在微电子封装过程中可能对芯片造成的损伤，定位精度高，实时效果好，具有较强的理论价值和实际应用价值。

[1]Makky M，Soni P.Development of an automatic grading machine for oil palm Fresh Fruits Bunches（FFBs）based on machine vision[J].Computers and Electronics in Agriculture，2013，93：129-139.

[2]Zhang Chen，Zhang Jilin.On-line tool wear measurement for ball-end milling cutter based on machine vision[J].Computers in Industry，2013，64（6）：708-719.

[3]Omid M，Soltani M，Dehrouyeh M H，et al.An expert egg grading system based on machine vision and artificial intelligence techniques[J].Journal of Food Engineering，2013，118（1）：70-77.

[4]Tong Jun H，Li Jiang B，Jiang Huan Y.Machine vision techniques for the evaluation of seedling quality based on leaf area[J].Biosystems Engineering，2013，115（3）：369-379.

[5]Liu Yingjie，You Fucheng.Postmark date recognition based on machine vision[J].Physics Procedia，2012，33：819-826.

[6]Ataş M，Yardimci Y，Temizel A.A new approach to aflatoxin detection in chili pepper by machine vision[J].Computers and Electronics in Agriculture，2012，87：129-141.

[7]Zhang Wenchang，Mei Jiangping，Ding Yabin.Design and development of a high speed sorting system based on machine vision guiding[J].Physics Procedia，2012，25：1955-1965.

[8]Tian Yuanyuan，Liu Siyang，Tan Qingchang.Application of detecting part’s size online based on machine vision[J].Energy Procedia，2012，16：1948-1956.

[9]章炜.机器视觉技术发展及其工业应用[J].红外，2006，27（2）：11-17.

[10]孙道恒，高俊川，杜江，等.微电子封装点胶技术的研究进展[J].中国机械工程，2011，22（20）：2513-2519.

[11]张全法，杨海彬，任朝栋，等.彩色图像的快速高保真灰度化方法研究[J].郑州大学学报：理学版，2011，43（3）：66-69.

[12]刘庆祥，蒋天发.彩色与灰度图像间转换算法的研究[J].武汉理工大学学报：交通科学与工程版，2003，27（3）：344-346.

[13]谢勰，王辉，张雪锋.图像阈值分割技术中的部分和算法综述[J].西安邮电学院学报，2011，16（3）：1-5.

[14]安宁，林树忠，刘海华，等.图像处理方法研究及其应用[J].仪器仪表学报，2006，27（z1）：792-793.

[15]文婷，周激流，何坤.基于图像特征的边缘检测[J].计算机工程与应用，2011，47（12）：189-191.

[16]朱桂英，张瑞林.基于Hough变换的圆检测方法[J].计算机工程与设计，2008，29（6）：1462-1464.

LI Changyou,WANG Wenhua,SHANG Jingyu,JIA Mingming

School of Mechanical and Power Engineering,Henan Polytechnic University,Jiaozuo,Henan 454003,China

This paper proposes an online real-time image recognition algorithm for pipeline microelectronic dispensing package location.The color characteristics of the package location circle are analyzed.TheRcomponent is extracted to do image gray.Iterative method is used to do threshold segmentation of gray image in order to remove the complex background and obtain binary image.Median filter is used to smooth the binary image to eliminate the noise after segmentation.Sobel operator is used to obtain edge information.The center of circle which is to be identified in the edge information is found out through Hough transform. Then package location is identified.The experimental results show that,machine vision technology can position the microelectronic packaging location quickly and accurately,with a good theoretical and practical value.

machine vision;microelectronic packaging;image processing;Hough transform

提出一种针对流水线上微电子点胶封装位置的在线实时图像识别算法。通过对封装位置所在圆的颜色特征分析，提取R分量进行图像灰度化，采用迭代法对灰度图像进行阈值分割去除复杂背景得到二值图像，利用中值滤波法平滑二值图像消除分割后的噪声，运用Sobel算子提取边缘获得边缘信息，利用Hough变换找出边缘信息中待识别圆的中心位置，完成对封装位置的检测。实验结果表明，利用机器视觉技术可以快速、准确地对微电子封装位置进行定位，具有很好的理论和实际应用价值。

机器视觉；微电子封装；图像处理；Hough变换

A

TP273

10.3778/j.issn.1002-8331.1306-0265

LI Changyou,WANG Wenhua,SHANG Jingyu,et al.Detection algorithm research of online real-time microelectronics packaging position.Computer Engineering and Applications,2013,49（24）：149-151.

河南省重点科技攻关项目（No.0721002210033）；河南省教育厅科学技术研究项目（No.2009B460004）。

李长有（1964—），男，博士，教授，研究领域为机器视觉与自动化控制；王文华（1986—），男，硕士，研究领域为机器视觉与自动化控制；商静瑜（1987—），女，硕士，研究领域为特种加工与测控技术；贾明明（1987—），男，硕士，研究领域为测控技术与装备。E-mail：wwhgigi@163.com

2013-06-24

2013-09-11

1002-8331（2013）24-0149-03

CNKI出版日期：2013-10-11http://www.cnki.net/kcms/detail/11.2127.TP.20131011.1653.007.html