基于机器视觉的非透明笔芯尾塞油高度检测技术∗

胡东红 郭亨长 王香华 曹祥杨 陈 广

（1.湖北大学计算机与信息工程学院 武汉 430062）（2.上海晨光文具股份有限公司 上海 201406）

1 引言

制造业在国民经济发展中扮演了重要的角色［1］。从制笔行业来看，我国制笔工业的发展开始于建国初期，至今已走过六十多年的发展历程，大体经历了萌芽初期、调整改组、滞产短缺、高速发展四个阶段［2］。国内主流的制笔厂，年产笔芯在十亿支以上，尽管笔芯内灌注油墨和尾油的工艺已经十分发达，但是总有5%左右的笔芯油墨和尾油灌注量未达到要求。现实的问题是，市场每年对芯管材质完全不透明的笔芯需求大约有1亿支，对一个主流的制笔企业来说，每年大约需要生产3千万支不透明的笔芯，这其中大约有150万支笔芯存在油墨和尾油灌装不合格。

对于芯管材质透明、半透明的笔芯，可以采用笔芯侧面透光自动检测油墨和尾油高度。这种检测方式简便快捷，易于实现，成本低。但是对于完全不透明的笔芯，现在主要依靠熟练的技术工人，在强光照射下采用目测的方式，从笔芯尾部观察油墨和尾塞油高度，从而将不合格笔芯挑选出来。这种检测方式主要通过看点的颜色和大小来判断笔芯中油墨和尾塞油的高度是否合格，从而筛选出不合格笔芯。这种依赖人工的检测方式，极易引起视觉疲劳，并且存在看台能力低、劳动强度大、可靠性差、实时性差、效率低等问题，不能满足自动化生产的需要。因此，本文针对笔芯油墨高度检测提出一种基于机器视觉的笔芯油墨高度快速检测方法和装置。

2 笔芯油墨高度检测的机器视觉系统设计

检测装置主要组成部分包括工业相机、镜头、光源、触发器和工控机。其中，工业相机和触发器的选型是该检测装置的核心。由于要求检测精度高，而笔芯传送带的速度又很快，需要选择分辨率和帧率较高的工业相机。综合考虑成本及各项因素，最终选择了大恒图像型号为MER-131-210U3M的工业相机。这是一款采用CMOS感光器的数字相机，能采用外部触发的方式进行图像采集，通过USB-3.0数据接口传输图像数据。选择了基恩士的型号为PR-FB30N3的超小型放大器内置型光电传感器对流水线上的笔芯进行触发，为相机提供触发信号。

为了满足自动化检测的需求，需要在不影响现有笔芯流水生产线的运行的情况下，将图像采集装置与工业流水线生产结合起来。检测装置总体架构顶视图如图1所示，笔芯放置在流水线传送装置上，同轴光源和相机对准笔芯尾部，光源光线方向和相机光轴与笔芯轴线平行，传感器安装在相机镜头前的笔芯上方。传感器与工业相机相连，工业相机与工控机相连。

图1 笔芯尾塞油快速图像检测装置顶视图

将笔芯尾塞油灌装量合格的笔芯放置在流水线上，对准相机镜头，调节相机焦距，直到笔芯尾部中心图像清晰，保持当前焦距不变；然后开动流水线，让笔芯尾塞油灌装量合格的笔芯随流水线移动，从镜头前通过，触发传感器，相机和计算机在接收到传感器信号后，采集笔芯尾部图像，并作为标准图像存储在计算机内，采集的图像如图2所示。

图2 从笔芯尾部采集的图像

在实际生产过程中，流水线上笔芯从相机镜头前经过，笔芯触发传感器信号，传感器向相机和计算机发出信号，表示笔芯到达相机镜头前；相机和计算机在接收到该传感器信号后，相机拍摄图像，并传送给计算机；计算机将该笔芯尾部图像与标准笔芯尾部图像进行比对，从而判断该笔芯尾塞油灌装量是否合格。

3 基于离焦模糊的笔芯油墨高度检测

3.1 离焦测距

1987年，Penland首次提出利用离焦图像来估计深度的算法［3］，离焦测距逐渐被应用于视觉测量领域。Subbarao M和Gurumoorthy N改进了Pent⁃land的算法，通过扩展函数的参数关系来表示镜头与被测物体之间的关系，从而求出物体的深度［4］。Subbarao利用不同散焦程度图像的频谱来检测物体深度［5］。Klarquist和 Geisler提出了其他新的思路，算法的主要核心是在多张不同的散焦图像上，根据最大似然估计法求得物体的深度［6］。但是这些方法存在局限性，不能广泛应用于实际的工业生产检测当中。

图3表示的是一个边界景物经过光学成像系统成像之后，变得模糊的过程。成像过程可以看作是点扩展函数对景物进行卷积［7］。可以看出清晰的景物边界在卷积后，变得模糊。一般情况下，如果求出点扩展函数，就可以通过逆向工程，由卷积后的模糊边界推算出景物的真实边界。虽然可以通过手动对焦，多次拍摄不同尾塞油高度的笔芯图像来统计分析，进而利用卷积、去卷积或反卷积等逆向工程算法［8］来估算笔芯尾塞油高度，但是计算量大、效果得不到保证。但是，对于成像系统来说，所获取的图像的清晰程度可以直接反应其离焦程度［9］。可以通过计算笔芯尾端图像中心位置的像斑模糊程度来估算笔芯尾塞油在笔芯管中所处高度。

图3 景物边界经过成像后变模糊示意图

3.2 清晰度评价函数

图像清晰度评价函数一般被用在基于数字图像处理的自动调焦方法中，它通过图像清晰度评价函数来判断所拍摄的图像是否聚焦［10］，来达到自动调焦的目的。在本文中，通过检测中心圆斑的清晰度来反映其散焦的程度，从而达到笔芯管中油墨高度检测的目标。所以设计的清晰度评价函数是否准确有效决定着高度检测是否准确。一般而言，评价函数要具备良好的单峰性、无偏性、抗噪性、灵敏性［11］。下面将介绍几种常见的清晰度评价函数。

3.2.1 灰度变化函数

因为聚焦图像有着更多的灰度变化，所以对比散焦图像，它表现得更加清晰，所以通过计算图像的灰度变化，也能对图像清晰度做出评估。其中灰度方差函数通过计算图像的灰度方差来评价图像清晰度。可表示为

其中I为整个图像的平均灰度值。也可以通过累积图像相邻像素灰度值来估计图像清晰度。可表示为

3.2.2 梯度函数

图像梯度经常用于图像处理中检测图像边缘，聚焦图像的边缘比离焦图像更加锋利，所以会有更大的图像梯度值，因此也能作为评价图像清晰度的依据。其中平方梯度聚焦评价函数通过差分计算微分，将微分值平方来凸显梯度。可表示为

TenenGrad聚焦评价函数通过Sobel算子求取图像在水平和垂直方向的梯度［12］。表示为

其中 Gx(x，y)、Gy(x，y)分别是图像与Sobel算子的卷积。四邻域微分法通过拉普拉斯算子得到四邻域微分来表征图像清晰度［13］。可表示为

3.2.3 差的平方和

差的平方和（SSD）是一种最简单的对比计算方法，计算对应位置像素的差值来衡量图像的差异，可以表示为

SSD值越大，表示差异度越大。

3.2.4 峰值信噪比

峰值信噪比（PSNR）是最普遍、使用最为广泛的一种图像客观评价指标。它是一种全参考的图像评价指标，能够衡量图像失真程度和噪声水平，不考虑人眼对低频对比差异敏感的特性，只考虑对应像素点间的误差［14］。可以表示为

其中max表示是图像颜色的最大数值，一般灰度图像取255。MSE表示均方差，可以定义为

PSNR的单位是dB，数值越大表示失真越小。

3.2.5 结构相似性

结构相似性（SSIM）是用方程和均方差来计算两幅图像的相似程度［15］。设有X、Y两个图像，uX、uy分别表示两个图像各自的均值，σx、σy分别表示其方差，σxy表示它们的协方差，结构相似性分别从亮度、对比度、结构三个方面来衡量两个图像的相似程度，可以用下面三个式子表示：

其中c1、c2、c3是3个常数，用来避免分母为0的情k1、k2、b分别取0.01、0.03和255。

结构相似性表示为

它的取值范围为［0，1］，取值越大，图像越相似。

3.2.6 基于边缘梯度的清晰度检测

圆斑的中心像素点灰度值最大，然后灰度值以圆环的形式依次向外递减，即以中心点为出发点向任意方向发散的像素点灰度值呈单调递减的趋势。边缘保持滤波在滤除噪声的情况下，很大程度上保持了这种递减趋势，但是没有滤除的噪声导致的灰度下降也可能被认作边缘。

基于上述讨论，为了克服噪声影响并减少计算量，可以在每个发散方向上每隔几个像素点取一个像素，这样可以减少平坦区域的影响。由于每个方向可能会有多个灰度的阶跃变换，如果将所有像素点都计入考虑，那么将使得最终的灰度梯度值平坦化。通过观察图像，可以看到亮斑中间有个较为清晰的圆斑，呈现出明显的梯度变化。为了满足检测结果的单峰性要求，可以只计算出这个梯度下降。具体步骤如下：

1）对图像使用边缘保持滤波，滤除噪声的同时保持边缘梯度；

2）以中心点为圆心，按半径的方向等角度取多条路径。为了简化计算，降低孤立噪声的干扰，可以等间隔在路径上选取多个像素点，找出这些像素点中的灰度值连续下降点；

3）使用直线拟合的方法计算出连续下降点的斜率，以此来表示对应路径的梯度下降；

4）对所有路径的梯度下降排序，选择中间的几个做求和平均运算，以此来表示整个图像的清晰度。

4 不同油墨高度笔芯的检测试验

通过定位笔芯尾端中心，取得反映笔芯油墨高度的矩形区域，通过评估矩形区域中圆斑的模糊程度来估量油墨高度。如图4所示，分别为静态条件下测得的笔芯尾端中心图像，笔芯油墨高度依次下降1mm，其中第5张为标准油墨高度的笔芯图像。通过直接观察，可以看出油墨高度偏离标准高度越远，那么得到的图像越模糊。

对于以上实际采集的图像分别使用灰度方差法、差的平方和法、结构相似性法和边缘梯度法的归一化结果如图5所示。可以看出使用灰度方差法和结构不满足单峰性，差的平方和法无偏性较差，边缘梯度法的效果较好。通过设置合适的阈值，可以利用此方法和检测装置剔除掉油墨偏多或者偏少的笔芯。

图4 尾塞油高度位置为16mm～25mm时的笔芯尾端图像

图5 笔芯尾塞油图像清晰度评价结果

5 结语

自动化生产是制造业发展的一种趋势。随着制笔行业的快速发展，生产自动化程度的日益提高，机器视觉技术已受到越来越多的青睐，对于制笔行业来说，推进机器视觉技术在制笔加工检测中的应用，加速自动化发展也是势在必行。本文提出的笔芯油墨高度快速检测装置基于机器视觉技术，通过不同油墨高度的笔芯具有不同散焦模糊程度这一特征实现了不合格灌墨量笔芯的剔除。同传统的检测方法做对比，它具有非接触、精度高、效率高的优势，展现出了光学机器视觉技术在制笔行业加工检测领域中很好的应用前景。