多工位硅胶圈缺陷在线视觉检测系统研究

毕德学，程威盛，郝孝其，丁彦玉

（天津市轻工与食品工程机械装备集成设计与在线监控重点实验室天津科技大学，天津 300222）

1 引言

随着制造业的发展，硅胶耳机圈作为硅橡胶行业中比较常见的工业产品，其种类和产量也日益增多。硅胶圈质地较软，遇到外力的挤压会使其变形不利于检测，且硅胶耳机套属于非平面的产品，不能从一个单一视角检测。对于硅胶圈的检测，在现今工厂生产中，人工拣选还是占了很大的比例［1］。人工检测工人需要通过工作时间来积累大量经验才能获得较高的检测准确率；检测过程在强光下进行，长时间工作，质检人员容易视觉疲劳导致检测准确率降低［2］。目前我国也有公司研究这种类型的橡胶圈缺陷检测系统，例如福州斯普泰克公司所制造的橡胶圈外观检测设备。但是硅胶圈的产品多工位检测还比较少，这里通过在硅胶圈行业内进行研究，通过从检测方式、算法编写、实验和测试等方面工作展开，逐步完成一个旋转盘式的多工位视觉检测在线剔除系统。

2 机电系统的搭建和组成

硅胶圈缺陷检测系统是由送料及剔除部分、视觉检测部分、机械传动部分、电气控制部分这四部分组成的复杂机电系统。其中送料部分是由振动旋转送料盘和直线振动送料器组成的延伸式送料系统，剔除收集部分有由缺陷产品剔除系统和良品尾料收集装置组成。

检测部分由高速工业相机、工业镜头、光纤对射传感器所组成。机械传动部分由高透明旋转平台、步进电机、减速传动装置和轴承支撑装置组成；电气控制部分由下位机PLC控制器、电气控制板构成。

检测分系统是由3个检测工位、一个上料工位、一个剔除工位和一个良品收集工位组成，如图1所示。3个检测工位通过各自不同的打光方式和采集设备，各工位进行工件各视角图像采集。

图1 检测剔除系统实物示意图Fig.1 Detection of Elimination System Schematic

2.1 明场图像环境采集工位

1号检测位通过将工业相机放置在正上方，垂直于检测旋转平台，借助下方的低角度环形光进行打光，得到明场工件检测图像，如图2所示。硅胶圈的图像不是一个理想平面，采用低角度环形光源对硅胶圈进行打光，效果就会改善由于工件表面复杂的凹凸性造成的光的不均匀性，粘料表现和本体显得就会非常的明显。

图2 一工位明场示意图和图像采集效果图Fig.2 Bright Field Lighting and Picture Acquisition

2.2 背光检测图像采集工位

一工位还需要对硅胶圈的外形轮廓进行检测，第二次的采集图像需要进行背光打光，使得轮廓特征变得明显。打光原理图和图像采集效果，如图3所示。

图3 一工位背光示意图和图像采集效果图Fig.3 Dark Field Lighting and Image Acquisition

2.3 内孔检测图像采集模块

2号工位和3号工位都采用内孔检测镜头对工件内孔的缺陷进行检测。内孔检测工位的镜头采用视场角为115°内孔检测镜头，这种超广角的检测镜头可以采集到内孔堵孔缺陷的图像，如图4所示。

图4 内孔检测工位打光和采集图像Fig.4 Blocking Hole Lighting and Image Acquisition

3 图像处理方法研究

3.1 缺陷种类分类

硅胶圈在经过上一步的模具热塑成型，经过裁剪机台的裁剪后，在出厂前需要将缺陷产品挑出并进行回收。现场实地研究后，将缺陷的种类规划为3种缺陷，分别是：外层毛边、表面粘料、内圈堵孔等缺陷。

通过实验测试，使用传统机器视觉方法和训练深度学习卷积神经网络来进行分类两种方法，进行对照试验通过结果选择算法（本实验以“大翅膀耳机套L”为检测产品，其他型号均为混料）。各工位功能和缺陷种类，如表1所示。

表1 产品缺陷种类对照表Tab.1 Product Defect Type Comparison Table

3.2 传统机器视觉算法研究

进行感兴趣区进行提取，通过阈值分割找出硅胶套本体区域。这里传统视觉检测算法针对毛边缺陷和堵孔缺陷算法进行介绍。借助灰度直方图，使用多阈值分割二值化，将图像进行分割。原始图像为（fx，y），为从背景中提取可感兴趣目标的一种直观方法就是，选择一个合适的灰度阈值T，达到将物体像素从背景中分离的效果。f(x，y) ＞T的任何点(x，y)称为感兴趣点，反之该点则被划分为背景点。单阈值分割后的图像g(x，y)表达式，如式1所示。

多阈值分割后的图像g(x，y)表达式，如式（2）所示。

其中，若f(x，y) ≤T1，则多阈值处理把点(x，y)划分为背景；若T1＜f(x，y)≤T2，则可划分为一类目标；若T2＜f(x，y)，则可划分为背景或者另一类目标。

全局阈值处理和局部阈值处理是阈值分割法的主要组成部分。二工位使用内孔监测镜头，对硅胶圈内孔堵孔、堵料进行检测。在使用阈值分割后将硅胶套本体提出后使用形态学将其分割出来［3］，如图5所示。

图5 一工位暗场阈值直方图和提取效果Fig.5 Gray Histogram and Defect Renderings

通过计算硅胶圈本体在相机像素坐标系下的像素个数NP，之后对硅胶圈对象进行闭运算和开运算，分别计算像素个数，开运算结果像素个数为NO，闭运算像素计算个数为NC。通过像素求差值来进行判断是否为毛边缺陷产品［4］，缺陷产品标志位为1，良品标志位为0。

公式如下所示：

p(n)为判断硅胶套对象是否为缺陷的标志位，通过对毛边的毛边缺陷大小进行统计，收集150个产品，绘制缺陷大小的折现图，并实现毛边缺陷的特征提取，缺陷大小最小为33pix，最大缺陷面积为756.016pix，平均毛边缺陷大小122.445pix，缺陷大小的阈值定在（30～800)pix［5］。毛边缺陷像素面积的统计折线图和缺陷提取效果，如图6所示。

图6 毛边缺陷像素大小统计图和特征提取图Fig.6 Burr Pixel Size Statistics and Extraction Renderings

对于堵孔缺陷，使用如上的阈值分割将硅胶圈本体提取出来。对于硅胶圈本体使用局部阈值提取堵孔区域并使用形态学提取堵孔缺陷，局部阈值的原理公式如下图所示：

通过模板大小n×n，来改变模板大小内的平均阈值，通过遍历像素单元，进行筛选，进行二值化。通过形态学计算大小，提取出堵孔的缺陷特征。提取效果，如图7所示。

图7 堵孔缺陷特征提取效果图Fig.7 Block Hole Defect Feature Extraction Effect Drawing

3.3 使用深度学习训练进行分类算法研究

深度学习使用的模型是VGG16［6］，VGG 是Oxford 的Visual Geometry Group 的组提出的，该模型采用连续的几个（3×3）的卷积核代替AlexNet中的较大卷积核（11×11，7×7，5×5）。对于给定的感受野，采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小。该模型经过多很多研究者的复现实验和测试改进，在分类任务中表现优异［7］。

3.3.1 模型的搭建

我们搭建模型的工具和环境，如表2所示。下表为这里使用的VGG16的网络结构，如表3所示。

表2 模型搭建工具和环境参数表Tab.2 Model Building Tools and Environment Tables

表3 VGG16网络结构表Tab.3 VGG16 Network Structure

3.3.2 模型的训练数量

硅胶圈的“堵孔缺陷”、“堵孔正常”、“毛边缺陷”、“毛边正常”、“粘料缺陷”、“粘料正常”进行6分类，训练的数据集，如表4所示（分别对应的编号为（0～5））：

表4 训练样本参数表Tab.4 Training Sample Parameter

训练集、验证集和测试集所占的大致比例分别为6：2：2。采集到的原始图像分辨率为（1920×1200）和（1280×960），降采样为（224×224）的图像大小。训练模型重要参数，如表5所示。

表5 训练重要参数表Tab.5 Training Important Parameters

训练过程中的误差和准确率，如图8所示。

图8 训练过程loss曲线和准确率曲线Fig.8 Loss and Accuracy in Training Process

通过训练，使用混淆矩阵将测试集的结果，如图9所示。

图9 测试集混淆矩阵Fig.9 Test Set Confusion Matrix

传统计算机图形法缺陷提取的准确率和使用CNN神经网络进行训练识别结果，如图10所示。

图10 两算法检测准确率对照图Fig.10 Comparison of Detection Accuracy of the Two Algorithms

如图10所示，通过使用传统检测方法和深度学习训练模型这两种不同的识别缺陷［8］的方法，在三种缺陷上，传统检测方法表现很稳定，检测准确率都能够维持在98%以上；反观通过深度学习训练模型的方法在小样本条件未获得理想的表现，表现在毛边和堵孔两种缺陷上尤其的明显，准确率不足50%。分析原因，通过深度学习训练模型方法受制于这里数据集的数量过小，无法从数据集中学习到特征信息。

3.4 小结

通过上述采用对三种缺陷的检测使用传统视觉检测方法和深度学习训练模型的方法作为对照实验，这里所受制于缺陷样本过少的情况下，深度学习训练模型的方法没有达到理想的训练结果。

4 软件控制系统的研究

QT 作为一种图像用户界面应用程序开发框架，可在win‐dows、Linux 等平台下运行。本系统的中控视觉系统使用的QT（MSVC）为编程语言来搭建的。通过在VS2015（Visual Studio）中进行开发，配置添加了Mysql、opencv、Pylon等库和软件完成中控软件的搭建［9］。

中控系统的UI 界面包括了六个部分：登录界面、功能选择窗口、实时生产界面、产品管理界面、传感器调试界面和报表回查界面。通过Basler 官方提供的相机SDK 对相机进行二次开发，实现相机触发并采集和调试界面中对相机参数的调整。

通过继承Qt 中的QThread 类完成了多线程设计模式的编写，使得中控系统的缺陷信息能够做到在线缺陷检测并剔除不良品的这一功能。

4.1 程序主体结构设计

软件控制系统必须要进行控制控制多工位的工业相机进行触发相机并采集到图像，各工位的相机需要并行采集图像，并行图像处理，将检测的工件结果信息进行汇总处理，之后发送给下位机进行剔除处理。程序中多线程功能是基于Qt 的多线程类QThread实现，实例化多个线程类。程序中包括了3个采集线程、3个图像处理线程。在这个数据入缓存区和出缓存区的过程中，因涉及到了对同一队列进行存取，所以要保证缓存区存取的线程安全和队列的安全性。解决这一问题我们利用互斥锁和信号量来控制队列的安全，如图11所示。

图11 进出队列示意图Fig.11 Diagram of Inward and Outward Queue

4.2 多工位循环剔除方法研究

在检测同一个硅胶圈的缺陷时，每个处理线程都会在本工位的检测中判断是否为缺陷产品。提出一种多工位循环剔除的方法。该方法借助“时间戳”来判断是否为同一个工件。检测系统的下半段也就是剔除的部分流程原理图，如图12所示。

图12 剔除原理图Fig.12 Elimination Schematic Diagram

“时间戳”就是当前的系统时刻时间，在剔除信号处理的线程中，循环获取当前时刻。通过相机视野下工件的位置结合标定的结果，获得检测工件位于相机视野中心的距离DL≈Dx，转盘运行的角速度为，线速度为，检测工件的缺陷标识为布尔变量DM，工位编号WLN记录检测图像的工位序号（从（1～3）），采集图像时的系统时刻GM。

将其的空间距离转到时间尺度上，通过在时间尺度上判断剔除的时刻。某一时刻在相机触发时，工件位于视野中的位置，如图13所示。

图13 工件视野下位置变化Fig.13 Position Changes in the Visual Field of the Product

各检测工位距离剔除工位相对于旋转检测平台的圆心坐标系下的弧长距离为L，工位之间的空间尺度关系，如图14所示。

图14 各工位间的空间维度Fig.14 Spatial Dimensions Between Stations

工件在某一工位检测时被拍照的那一瞬间距离提出工位的时间尺度上的距离为ET。

在缺陷处理线程，通过循环来记录当前的系统时刻CM。通过公式来计算该检测工件的剔除系统时刻ST。

满足的剔除条件判断（1代表剔除，0代表无动作）：

4.3 软件系统UI设计

通过Qt的UI模块进行搭建运行检测界面［10］，界面具有实时检测性、美观性和易操作性，方便调试和操作人员进行使用，如图15所示。

图15 检测界面Fig.15 Processing Interface

5 结论

这里对机器视觉在硅胶圈实时检测和剔除方面的应用进行了研究。通过对这里产品的缺陷通过传统的视觉检测对缺陷特征进行提取和对检测产品进行VGG卷积神经网络训练模型进行分类缺陷产品。综合检测结果，最终选择在小样本下选用传统视觉的方法作为视觉处理算法。产品剔除的综合准确率高达98%以上，系统具有可行性。