基于机器视觉的智能检测技术在制笔业中的应用

郭亨长，李丽

（上海晨光文具股份有限公司 中国轻工业制笔工程技术重点实验室，上海，201406）

0.引 言

传统的工业产品制造过程中，多数基于人工实现品质检验分拣、依赖人工视觉离线检测来完成。而机器视觉的目标就是使机器通过观察和学习，最终也会像人一样具有适应环境并自主学习的能力[1]。机器视觉作为智能制造技术的一个分支，主要通过处理分析图像或者多维数据来获取有用的信息，辅助智能制造系统进行判断或分类等。机器视觉的特点有检测精度高、快速、高效与非接触等，使用机器视觉可以提升制造业水平，并且机器视觉在检测领域可以发挥有利的作用[2]。近年来，机器视觉技术发展迅速，其非接触式测量的客观、可靠、无损伤及高精度等优点满足了现代制造业高效率生产的要求，可以用于测量、检测、识别、定位等实际的工业现场中[3][4][5]，并被推广于农业[6]、医药[7]、纺织[8]、电子制造[9]等领域。对于制笔和办公文体用品行业来说，机器视觉技术在国内尚未得到推广，质量检测、包装等工序仍以手工劳动为主，检测速度达不到大规模高速实时的要求。本文结合制笔工业的实际需要，通过开发基于机器视觉的笔头、笔芯、零配件和包装印刷智能检测技术，应用到制笔工业生产线各环节中。

1.机器视觉系统介绍

机器视觉系统通常包含硬件系统和软件系统两个组成部分。硬件系统主要包括光学系统、照明系统、机械系统、电气系统等。软件系统包含图像采集、图像处理、数据通信、人机交互等。一般机器视觉系统由工业相机、镜头、光源、光源控制器、图像采集卡、传感器、工控机、PLC控制结构组成[10][11]。具体的流程是由光源控制器控制光源，光源照射在待检测目标上，传感器触发光学成像系统对检测目标进行图像采集，图像采集卡会将采集到的图像传输至工控机，工控机对图像进行分析判断，并将判断结果（如分类、剔除、报警等）传送给PLC 控制系统。PLC 控制系统主要用于接收工控机判断的结果并执行分类、剔除、报警等动作。系统结构图如图1所示。

图1 系统结构图

2.笔头的智能检测技术

在金属笔头检测环节，笔头长度、球珠外露（露珠）、碗口质量是影响笔头质量的直接因素[12]。在工业生产中，检测标准要求笔头的检测误差小于5μm。传统的工业生产中采用人眼检测，必须依靠显微镜、千分尺等辅助仪器。经过计算，熟练检测工每分钟检测笔头不超过12 只，效率低于笔头加工机每分钟150 只以上的产量。

针对当前在笔头长度、露珠高度和碗口质量检测，开发了基于机器视觉的金属笔头智能检测系统，提高检测效率[13]。其软件模块主要包含图像采集与处理、目标检测及质量筛选三大模块，软件系统整体框架如图2所示。主要对图像采集速度与曝光时间、增益参数、相机安装空间、笔头检测所在的环节和设定的节拍等进行有针对性的调节与改造，利用机器视觉算法构建笔头自动检测视觉软件系统。并使系统能应用于工业中实际使用的电脑配置与系统，能与现场硬件设备进行通信连接使用。

图2 软件系统整体框架

针对笔头的露珠检测，通过计算机视觉进行的具体操作为：首先，通过工业相机进行图像采集，通过读取采集到的图片并输入智能图像处理系统做数字化处理，再由该系统对图像进行边缘检测。在边缘检测中采取的方式为，将边缘弧线用最小二乘法圆度拟合，得到平滑完整的曲线轮廓。接着对拟合后的曲线图形进行高度测量，最后以笔头质检标准作为露珠高度是否合格的评判依据。测试效果如图3所示，黑色阴影部分即笔头和露珠的外轮廓，而绿色线条即为经过机器视觉算法处理后拟合生成的线条，通过对线条的长度测量即可得知露珠露出的长度，最终判断是否合格,检测笔头速度可达每分钟120 只以上。

图3 露珠高度测试效果图

通过图像采集和数字化，进入图像处理系统进行滤波和增强等图像处理，去除噪声，增强对比度，得到可供计算机计算的图像模式和参数，然后进行Blob 分析。通过分析可以在采集并处理过的图像中获取感兴趣的碗口区域（即目标区域ROI），最后利用边缘检测算法Canny 算子提取亚像素级边缘，结合最小二乘法对图像进行边缘拟合，并利用差影法进行缺陷检测与判断，得到的最终笔头缺陷测试效果，如图4所示。图中右边为判断不合格的产品，可以在图中看到这套系统不仅能在结果中显示是否合格，还可以将被检测笔头的各个参数一一列出，并将图像中分析拟合出的边缘用圆滑线条表示。

图4 笔头缺陷测试效果图

进一步提升质量检测水平，将通过缺陷类别及特征库建立，采用深度学习、实时识别等人工智能技术，进行在线检测与准确判断。

3.笔芯的智能检测技术

3.1 透明笔芯油墨与尾塞油注入量检测技术

笔芯生产环节主要对油墨和密封油（尾塞油）注入量进行检测。油墨和尾塞油注入量都有严格长度控制，误差一般不能超过1mm。可以进行增加机器视觉检测装置，嵌入安装于圆珠笔笔芯生产流水线之上，匹配流水线使用的计算机系统，实现实时性的透明笔芯油墨、尾塞油检测。在接通剔除装置控制信号过后，实时剔除不合格产品，显著提高了检测效率。透明笔芯的油墨与尾塞油注入量检测技术算法流程如下图5所示。

图5 软件算法流程

在实际生产中，流水线上笔芯正常传输，架设两台工业相机，分别采集油墨和尾塞油图像进行灰度处理，设置阈值进行图像分割处理。通过阈值设置后进行图像切割处理，从而将油墨、尾塞油图像切割开。油墨、尾塞油测试效果如图6所示。

图6 笔芯油墨、尾塞油测试效果图

生产线基本参数主要包括链条运动速度、每次向前运送的笔芯数量及间距、节拍等。根据相机的像素、像元尺寸、视野范围、景深要求、镜头到笔尖的距离等调整与设置工位。在应用中利用软件程序对油墨、尾塞油进行检测，辅助以一定比例函数，可得到油墨、尾塞油注入量信息。经过机器视觉算法运算与判断，从而确保生产出的圆珠笔笔芯油墨与尾塞油注入量合格。该系统还可以通过对阈值切割的动态调整可实现对不同型号、不同规格的圆珠笔笔芯全兼容式检测。

3.2 非透明笔芯油墨与尾塞油注入量检测技术

非透明笔芯则不能从侧面直接检测墨水和尾塞油，而是通过光学定位笔芯尾端中心，再进行微距成像，通过油墨界面成像的模糊程度来估量油墨高度。如图7所示，成像过程可以看作是点扩展函数对景物进行卷积的过程[14]。通过逆向工程进行倒推的的可逆计算[15]，可以得出由卷积后的模糊边界推算出的景物的真实边界，进而估算笔芯尾塞油高度，但是这种方式计算量大、效果得不到保证。因此，本套机器视觉智能检测系统利用了对于成像系统来说，所获取的图像的清晰程度可以直接反应其离焦程度[16]的特征关联，通过计算笔芯尾端图像中心位置的像斑模糊程度来估算笔芯尾塞油在笔芯管中所处高度，成功地在避免了大量的计算的同时得到了满意的检测结果。

图7 景物边界成像原理图

智能图像处理系统首先通过使用灰度方差法、差的平方和法、结构相似性法和边缘梯度法对采集到的数据进行清晰度评估。经过实验与对比，最终得到灰度方差法和结构不满足单峰性，差的平方和法无偏性较差，而边缘梯度法的效果较好。如图8所示，图像可以完整并明显地表现出矩形区域中圆斑的模糊程度，最终根据此模糊程度判断出笔芯油墨高度是否合格，从而剔除掉油墨偏多或偏少的笔芯[17]。

图8 非透明笔芯油墨注入量测试效果图

4.划线检测技术

模拟人工划线检测笔芯书写质量，开发基于机器视觉的笔芯划线缺陷检测系统，同样包含图像采集与处理、目标检测及质量筛选三大模块。在生产线上的笔芯通过机械臂抓取，在纸带上进行自动划线，通过对笔芯书写划线拍摄并做形态学处理，根据特征值来判断笔芯的书写性能是否合格[18]。图像处理由于直接通过二值化得到的图像存在许多噪点以及不平整的边缘，系统就在这里作滤波和开运算进行优化，最终得到可用于应用算法的图像[19]。笔芯划线全检图像处理过程如图9所示。

图9 笔芯划线图像处理分析图

笔芯划线缺陷测试效果如图10所示。图中断墨的缺陷图可以明显看出经过图像处理得到的断墨的起点和终点，并用红色点标注出。而积墨图中可以明显看出经过计算机视觉图像处理后的划线积墨部分被蓝色圈出并标记。合格划线图无标注。

图10 笔芯划线缺陷测试效果图

5.零配件检测技术

市场上圆珠笔不同的外观和结构有数千种，其零配件种类比较多，形状各异，常见的检测包括尺寸、形状、结构、外观质量、注塑缺陷等内容。以晨光K35 中性笔握笔护套装配过程涉及的形状识别为例，开发了基于机器视觉的检测零配件方向识别技术，并将其应用于生产线上。通过采集大量正反样本图像并进行标记，基于Pytorch 机器学习框架提供的预训练卷积神经网络CNN 模型，利用多模型特征向量融合技术及迁移学习技术，构建二分类监督学习模型，对护套的正反方向进行判断。经过反复调参提高模型的泛化能力，最终通过对护套方向的准确判断从而向机械臂发送正确的行为指令。模型构建流程图如图11所示。

图11 机器视觉检测流程图

6.包装印刷检测技术

圆珠笔生产除了上述零配件装配，还需要进行贴标和包装。在实际生产中印刷机器、转印膜等诸多外界因素干扰，偶尔出现标签印刷瑕疵。因此针对标签印刷与贴合的问题，计算机视觉智能图像检测系统利用模版匹配的方式，可以实现除了检测漏印缺印、偏色、脏点墨点、拉边毛边、错位偏位等常规缺陷外，还可对文字数字错误、小数点、型号条形码等做精确检测。

基于Python 语言的强可读和完全开源特性，采用Python 作为开发语言，使用Anaconda 软件作为开发环境，利用深度学习图像特征提取方法以及监督学习多标签检测分类方法，实现此印刷检测技术。前期进行了大量图像采样，并基于百度EasyDL 进行图像打标签处理，分别对图像进行多标签标记；然后基于PIL 及OpenCV 强大的图像处理能力对图像进行灰度图转化，图像旋转，大小缩放，中心剪裁等图像增强，采用基于百度PaddleHub 的卷积神经网络图像分类模型对图像进行特征提取；继而利用基于Scikitlearn 的集成算法构建分类器，对提取出来的特征向量进行多标签分类模型训练。利用深度神经网络的前向传递及反向传播机制，借助百度AIStudio GPU 服务器进行模型finetune 训练，使模型对图像数据集进行拟合，并在图像测试集上进行预测结果验证，反复调参，增强模型泛化能力。最终实现对标签图案的缺陷检测，其流程如图12所示：

图12 包装印刷智能检测流程

7.总 结

综上所述，基于机器视觉的智能检测技术适合制笔工业生产过程的质量检测，所开发硬件和软件在笔头、笔芯、零配件和印刷包装等环节均成功得到应用。随着智能制造技术应用越来越广泛，在制笔行业中，相对传统的人工检测，基于机器视觉的智能检测一方面可以提高生产效率，降低企业成本，另一方面可以提升产品品质，为企业带来更大的品牌价值。新的智能技术与制造业的深度融合，正在引发影响深远的产业变革，形成新的生产方式、产业形态、商业模式和经济增长点[21]。