基于机器视觉的漆包线组装识别与电阻点焊定位系统

刘明 黄增好 曹彪 曾家铨 田然

摘要：为了解决漆包线电阻点焊过程中焊点难以精确定位，并由此产生虚焊、焊偏及漏焊等焊接质量问题，设计了一种基于机器视觉的漆包线组装识别与电阻点焊定位系统。分析漆包线点焊定位过程中的各种不良组装模式，研究识别与定位系统的图像处理算法，制订了定位策略及规则。首先利用模板匹配提取ROI，得到漆包线与焊盘所在区域图像;其次采用阈值分割、形态学处理、Laplacian算子等图像处理算法，识别并剔除定位过程中的不良组装模式;最后通过边缘提取并采用合适的算法得到最佳焊点位置。实验结果表明，定位系统能有效剔除不良模式，准确提取并输出最佳焊点位置坐标，识别与提取所需时间短，能够满足漆包线自动化点焊要求。

关键词：机器视觉;图像处理;边缘提取;定位;自动化

中图分类号：TG409      文献标志码：A         文章编号：1001-2003（2021）05-0007-06

DOI：10.7512/j.issn.1001-2303.2021.05.02

0    前言

漆包线作为家用电器和仪器仪表的基础元件和关键材料，被广泛应用在电子器件、家用电器及汽车产品中[1]。近年来，随着电子行业的蓬勃发展，漆包线与电子元器件的焊接成为电子制造业的一个关键性问题。由于漆包线与电子元器件尺寸微小，焊接工艺复杂，易造成焊接质量不稳定、零件熔毁、难以形成正常熔核等问题[2]，因此一般采用微型电阻焊。传统漆包线电阻点焊采用人工焊接，焊接效率低且焊接效果一致性较差，无法保证质量。

随着智能工厂与工业4.0的热潮，许多工厂生产线将漆包线点焊与运动控制系统结合组成自动化漆包线点焊系统。同时机器视觉技术也获得了快速发展，被越来越多地应用到电阻点焊中[3]。机器视觉技术具有非接触性、柔性大、信息量大、速度快、精准度高等优点[4]，可以很好地满足漆包线点焊定位的要求。文中提出的漆包线组装识别与电阻点焊定位方法，采用机器视觉检测系统进行图像采集，重点分析了漆包线与焊盘的各种不良相对位置模式，利用图像处理方法识别并剔除了定位过程中的不良模式，最后输出良好模式下最佳焊点位置坐标给运动控制系统，为漆包线自动化点焊提供必要條件。

1 系统设计

漆包线点焊机器视觉定位系统得主要功能是实现对焊前组装的漆包线与焊盘的相对位置模式的识别与最佳焊点位置的提取。系统识别与定位检测的对象为锡焊盘和聚氨酯漆包铜圆线，焊盘尺寸为0.9 mm×1.5 mm，漆包线线径为0.08 mm。漆包线与焊盘的不同模式如图1所示。

系统主要分为图像采集系统和图像处理系统，如图2所示。图像采集系统由工业相机、镜头、同轴光源及光电传感器组成。相机采用大恒MER-201-25GC-P面阵工业相机，镜头为维视AFT-ZL0930工业镜头。当产品运动到相机视野范围内，光电传感器产生触发信号，控制工业相机采集产品图像。

图像处理系统是识别与定位系统的核心部分。在接收到待处理的图像后，通过依次进行的模板匹配、阈值分割、形态学处理及Laplacian算子卷积等图像处理算法，识别在漆包线组装过程中可能出现的焊盘区域无漆包线、漆包线线偏、漆包线翘起、漆包线弯曲及漆包线倾斜等不良模式;在剔除不良模式后，通过对漆包线和焊盘的边缘轮廓特征提取与分析，并采用合适的算法得到最佳焊点位置坐标。将最佳焊点位置坐标传输到运动控制系统，控制机头运动到最佳焊点位置进行漆包线的自动化焊接。

2 组装缺陷识别与焊点定位

在漆包线人工点焊过程中，首先将漆包线在焊盘上进行组装，点焊操作人员用肉眼或借助放大镜寻找最佳焊点位置，根据经验进行焊接。在本系统中，用机器视觉系统代替人眼采集产品图像，经图像处理后，将最佳焊点位置坐标信息传输至运动控制系统，控制点焊机头运动到指定位置，完成焊接。

2.1 图像预处理

采集的原图像经灰度化、高斯滤波等图像预处理后，可进行模板匹配，提取感兴趣区域（Region of Interest，ROI）。

模板匹配算法是将滑动窗口在目标图像上遍历并计算相似度量，找到与模板图像最相似的区域[5]。文中采用基于形状的模板匹配。首先创建一个模板，为提高搜索效率，采用基于图像金字塔[6]的分层识别策略。

将模板定义为点集pi=（ri，ci）T及对应方向向量di=（ti，ui）T，方向向量由边缘滤波器计算，经仿射变换后得到pi'和di'。以同样的边缘滤波器为图像中每个点（r，c）T计算其方向向量er，c=（vr，c，wr，c）T。在图像中的某个特定点q=（r，c）T处，分别将仿射变换后模板中所有点的方向向量与图像中对应点的方向向量进行归一化，并计算它们点积的总和作为相似度量：

从图像金字塔的顶层开始，通过式（1）计算模板所在的所有可能位姿上的相似度量，大于阈值smin被认为是潜在位置，跟踪这些位置到图像金字塔的更低层，直到在最底层图像找到目标物体。

为确定阈值smin，对包含无漆包线、漆包线线偏、漆包线翘起、漆包线弯曲、漆包线倾斜及良好模式的60幅图像进行模板匹配。模板匹配过程中相似度量s在0.7～1.0范围内，如图3所示。

本系统中设置阈值smin为0.6，以保证模板匹配能适应绝大部分情况，且匹配结果良好。图4a为原始图像，图4b为经模板匹配后提取的ROI区域。

2.2 无漆包线

可用阈值分割法提取焊盘区域，根据区域数量M识别焊盘上是否存在漆包线。

阈值分割通过设定灰度值阈值，将图像前景与背景区域分开，形成二值图像，是目前应用最为广泛的图像分割算法[7]。

对比RGB图像中焊盘区域三通道平均灰度值G1（203，254，213）和漆包线区域三通道平均灰度值G2（212，245，127），发现Blue通道灰度值差异较大。对RGB图像进行通道变换，生成Red、Green、Blue三个单通道灰度图，在Blue通道灰度图中，焊盘与漆包线灰度值差异明显。可用Otsu法[8]在Blue通道灰度图中动态选取阈值。对于图像I （x，y），有：

式中 g为类间方差;ω0、ω1分别为前景区域和背景区域的像素点数占整幅图像的比例;μ0、μ1分别为前景和背景平均灰度值。遍历图像得到使类间方差g最大的阈值T，T即为所求的分割阈值。漆包线图像经阈值T分割及面积特征选择后的焊盘区域如图5所示，可通过区域数量M判断焊盘上有无漆包线：图5a区域数量为1，无漆包线;图5b区域数量为2，有漆包线。

2.3 线偏识别

在漆包线电阻点焊中，焊点不能过于偏离焊盘中心，否则不能形成完整熔核，或者熔核位于焊盘边缘，导致焊点抗拉强度降低。焊盘被漆包线分成两个区域，可用两区域面积之比来判断漆包线是否偏离焊盘中心。识别存在漆包线后，对焊盘区域按面积进行排序，取得最大区域面积S1与第二大区域面积S2，并计算面积之比S1/S2。若S1/S2大于阈值Ra，说明漆包线相对于焊盘中心位置偏移较大，产生线偏，否则可判定无线偏现象。本系统中设定阈值Ra=5，可较好地识别线偏模式。

2.4 翘起识别

在焊盘上组装的漆包线产生翘起时，机头下压后会导致漆包线受力不均偏离焊头，引起偏焊甚至漏焊等焊接质量问题。

用阈值分割提取漆包线区域图像，良好漆包线边缘明显，翘起漆包线边缘模糊。采用Laplacian算子对漆包线图像进行卷积运算可得到漆包线的边缘幅度，如图6所示，漆包线良好和翘起下的Laplacian边缘幅度差异明显。为寻求漆包线翘起程度与Laplacian边缘幅度的关系，对漆包线无翘起（0 mm）和漆包线翘起高度0.1 mm、0.2 mm、0.3 mm、0.5 mm、0.7 mm、0.9 mm、1.1 mm、1.3 mm、1.5 mm下进行10组实验，得到Laplacian边缘幅度方差D，计算平均值及标准误差，如图7所示。可以看出，在漆包线无翘起（0 mm）以及微小程度翘起（0.1～0.2 mm）时，方差值D均大于25，当漆包线翘起程度较大（0.3 mm以上）時，方差值D稳定在25以下。因此，本系统取阈值Rd=25判断漆包线有无翘起情况。

2.5 弯曲识别

组装的漆包线弯曲程度过大导致焊点受力不均，同样会造成焊点抗拉强度降低。

可利用霍夫变换[9]检测漆包线的直线度。霍夫变换过程中，一定数量的点处于一定的角度范围内被判定为一条直线。对漆包线骨架区域进行霍夫变换可得到直线数量n及所有直线之间最大角度θ。弯曲度由n和θ共同决定，且n=1时，漆包线为一条直线，弯曲度为0，因此定义弯曲度Cv：

若直线数量n≠1，在直线数量n小于3且直线间最大角度θ小于0.262 rad（即15°）时，弯曲度低，对焊点质量影响小，可被本系统接受，即弯曲度阈值Rc=0.288。当弯曲度Cv大于阈值Rc时，判定漆包线为弯曲状态。

2.6 倾斜识别

漆包线倾斜角度过大时，与焊头接触面积小于漆包线良好模式（见图8a），且由于点焊焊头的特殊斜面结构（见图8b），倾斜模式下形成的焊点畸形，焊点强度较低。因此，漆包线倾斜角不能过大，本系统取倾斜角阈值Rl =0.262 rad （即15°）。

为识别并剔除漆包线倾斜模式，在判定漆包线为直线或近似直线状态后，对2.5节中经霍夫变换所得的n条直线，分别求得各直线与垂直线的夹角，夹角平均值为α。若α大于倾斜角阈值Rl ，则判定漆包线为倾斜模式。

2.7 焊点定位

剔除不良模式后，得到良好模式下的漆包线与焊盘图像。为提取良好模式下的最佳焊点位置，需提取焊盘与漆包线的边缘轮廓。

Sobel算子原理简单，计算量小，对于水平和垂直方向上的边缘检测效果好[10]。可用Sobel算子提取焊盘边缘轮廓，如图9所示。

采取相同的方法可提取漆包线骨架。为提高边缘位置精度，可分别从焊盘和漆包线骨架提取亚像素边缘轮廓，如图10a所示。两边缘轮廓交点为C1、C2，取C1、C2中点为Q，过Q点作水平线，该水平线与漆包线交点即为最佳焊点位置，如图10b所示。最佳焊点位置提取算法保证了提取位置的准确性和有效性。由焊盘和漆包线的亚像素边缘求得的焊点位置精度高，符合生产要求。

2.8 识别与定位流程

提取最佳焊点位置坐标后，经过标定计算发送给运动控制系统，控制点焊机头进行精密点焊。程序流程如图11所示。

3 试验分析

为了验证文中机器视觉定位检测系统的准确性、实时性及稳定性，对漆包线焊前进行组装识别与定位检测试验。采集无漆包线、漆包线线偏、漆包线翘起、漆包线弯曲、漆包线倾斜与良好6种位置模式下的各40幅图像，经本系统的识别与定位检测，试验结果如表1所示。其中无漆包线、漆包线线偏以及漆包线翘起、良好4种模式均被正确识别出来;弯曲模式下正确识别数为39;倾斜模式下正确识别数量为38，总识别率为98.75%。

基于表1及图像数据进行分析，弯曲模式下的误判主要是由于霍夫变换中判定为同一条直线的点数设定过大，某些直线未能被提取，弯曲度Cv计算值变小，导致系统判定漆包线为未弯曲状态。倾斜模式误判主要原因是漆包线介于倾斜与未倾斜之间，且初始倾斜角阈值Rl设定过于严苛，可根据实际情况放宽阈值，重新设定合适的参数。

各种模式下识别与定位时间如图12所示，各模式识别所需时间短，波动范围小，识别与定位算法稳定。试验表明，定位检测系统能很好地剔除定位过程中的不良模式，识别良好模式并进行最佳焊点定位的平均时间为317.3 ms，满足漆包线点焊自动化产线的生产节拍。

4 结论

文中设计的基于机器视觉的漆包线点焊定位系统，可用于漆包線自动化点焊的焊前识别与定位。针对漆包线组装过程中可能出现的焊盘区域无漆包线、漆包线线偏、漆包线翘起、漆包线弯曲及漆包线倾斜等不良模式，采取相应的图像处理算法及识别策略，剔除不良模式后，对焊盘与漆包线进行边缘提取与分析，采用合适的算法得到最佳焊点位置坐标，可提高产品质量与合格率。本系统可提高企业的自动化水平，具有一定的生产价值。

参考文献：

李伟群，王力，李晓.漆包线行业现状及发展趋势分析[J].机电产品开发与创新，2002（2）：13-16.

杨景卫，曹彪.微型零件精密电阻点焊技术及其应用[J].焊接，2009（6）：43-47，75.

Zhang S，Zhang Y，Yang T，et al. Research on LED filament spot welding robot based on machine vision[C].//IEEE International Conference on Information & Automation. IEEE，2016.

Kipman Y，Mehta P，Johnson K. Machine-Vision-Based Analytical Tools for Digital Fabrication[C].//NIP & Digital Fabrication Conference. 2009.

Wanli Ouyang， Tombari F， Mattoccia S， et al. Performance Evaluation of Full Search Equivalent Pattern Matching Algorithms.. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（1）：127-43.

Steger C ， Ulrich M ， Wiedemann C . Machine Vision Algorithms and Applications[M]. 2007.

夏良正. 数字图像处理（第2版）[M]. 江苏：东南大学出版社，2006.

刘健庄，栗文青.灰度图象的二维Otsu自动阈值分割法[J].自动化学报，1993（1）：101-105.

王昱，赵正校，杨硕.基于直线边缘识别的图象区域定位算法[J].计算机工程，1999（9）：61-62，87.

靳鹏飞.一种改进的Sobel图像边缘检测算法[J].应用光学，2008（4）：625-628.