基于机器视觉的玻璃纤维管纱毛羽检测

景军锋， 张星星

(西安工程大学 电子信息学院， 陕西 西安 710048)

玻璃纤维是一种无机非金属材料，有着较好的物理化学性能，在各个领域中有着广泛的应用[1]。玻璃纤维管纱是将玻璃纤维绕制在纱管上所形成的管状纱线体，是玻璃纤维纱线的一种包装运输形式，在工业生产中，需要对管纱退绕后使用。受到生产工艺以及工业环境的影响，制成后的管纱表面会不可避免地出现纤维断裂、凸出等情况，即产生毛羽，毛羽缺陷影响着管纱的外观和质量，是判定管纱级别的重要依据之一[2]。

目前，大部分企业仍然依靠人工进行管纱毛羽检测，随着科技的发展，机器视觉技术在工业品的检测中已经得到广泛的应用[3-4]。本文应用机器视觉技术设计了玻璃纤维管纱毛羽检测系统，利用线形光源、工业CMOS相机、电机等进行硬件平台的设计，实现图像采集。

管纱表面毛羽与纱线毛羽在外形上均为突出的毛刺，纱线毛羽为单根纱线上存在的毛羽，而管纱毛羽为管纱外层表面存在的毛羽，属于大面积毛羽抽样检测，但是二者的主要检测过程较为类似。国内外对于纱线毛羽检测的研究较多。利用阈值分割，形态学运算等区域提取方法进行纱线毛羽分割[5]，其分割效果不够理想。使用改进的多分辨率马尔科夫随机场模型[6]以及结合FCM(fuzzy-cluster method)和梯度分析[7]的方法，能够精确地分割出纱线条干，从而得到毛羽区域，但是其计算量较大，不能够满足实时检测需求。本文利用Blob分析法，通过阈值分割，边界追踪，霍夫(Hough)变换等操作以实现毛羽的快速准确分割。与纱线毛羽检测不同之处为管纱毛羽检测增加了毛羽分类环节，计算毛羽轮廓的矩特征以及区域特征，训练支持向量机分类器，对3种不同类型的毛羽进行分类。统计线法[5-6]常用于纱线毛羽长度统计，但是它对于部分倾斜或者弯曲的毛羽检测结果不够准确。因此，本文根据毛羽的最小外接矩形，来计算管纱毛羽长度，同时通过前后2帧图像中毛羽位置坐标差值进行毛羽数量统计，并将毛羽分类、毛羽长度测量、毛羽计数结果与人工检测结果进行了对比，与人工检测结果较为接近，有较好的工程应用价值。

1 系统硬件平台

管纱毛羽存在于管纱的斜面和垂直面，且斜面毛羽与垂直面毛羽检测过程相同，故以垂直面毛羽检测为例进行分析。通过对人工检测方式的研究，设计了管纱毛羽图像获取硬件平台，如图1所示。主要包括工业相机、光源、步进电动机、计算机等。为获取完整且清晰的毛羽图像，选用相机型号为Basler acA2500-14gc，感光芯片类型为CMOS，分辨率为2 590像素×1 942像素，镜头型号为Basler lens C125-0618-5 M，6 mm固定焦距，光圈范围为F1.8～F22，分辨率为500万像素。光源为OPT-LST82高均匀线形光源。相机采集管纱的切面图像，光源在管纱侧后方，使其刚好能够照亮管纱切面，同时将黑色背景板置于光源后方，增强毛羽与背景的对比度。通过上述硬件平台采集到的毛羽图像如图2所示。为满足实际的检测速度需要，提高检测效率，调节电动机转速，使得管纱旋转1周的时间为4 s，设置相机的AOI(area of interest)大小为2 160像素×240像素。为保证毛羽图像的完整性及连续性，使前后2帧图像均有重合部分，设置帧率为30帧/s。

1─黑色背景板；2─光源控制器；3─线形光源； 4─管纱；5─步进电动机；6─工业相机；7─计算机。图1 系统示意图Fig.1 System schematic

图2 毛羽图像Fig.2 Hairiness images. (a) End hairiness; (b) Loop hairiness; (c) Cross hairiness

2 毛羽检测

管纱毛羽检测的主要过程分为3个部分：毛羽提取、毛羽分类、毛羽统计。检测流程图如图3所示。

图3 毛羽检测流程图Fig.3 Flow chart of hairiness detection

2.1 毛羽提取

毛羽提取主要使用Blob分析法，Blob是指具有相似特征的连通区域，通过Blob分析，可以将目标与背景分离，得到目标ROI(region of interest)，从而对其进行后续处理[8]，结果如图4所示。

图4 毛羽提取图像Fig.4 Hairiness extraction image. (a) Original image; (b) Otsu threshold image; (c) Border following image; (d) Hough transform image; (e) Hairiness image

针对毛羽原始图像，首先进行均值滤波，然后使用大津法阈值二值化图像，再利用边界追踪法[9]提取图像中存在的边缘，可以看出，管纱的表面边缘近似于一条直线，故使用累计概率Hough变换[10]进行直线检测，直线以上为待处理区域，由于不同毛羽灰度值的差别以及背景板噪声的影响，利用局部动态阈值进行毛羽分割，得到毛羽后，设置面积阈值A，去除噪声点，最终得到满足条件的毛羽区域。

2.2 毛羽分类

在实际的工业环境中，不同类型的毛羽对管纱的质量和等级有不同程度的影响，常见的管纱毛羽主要为端毛羽、毛圈和毛夹3种，毛夹对管纱质量的影响程度最大，毛圈次之，端毛羽最小，其图像分别如图2所示。端毛羽为玻璃纤维纱线束中单根纱线断裂所形成的毛刺；毛圈是由于纱线束缠绕不均匀导致的单根纱线凸出；毛夹则为纱线束的大量损伤或断裂。因此，毛羽分类对于实际生产具有重要的指导意义。

对于不同类型的毛羽，其显著性差别在于轮廓形状，端毛羽轮廓多为直线形，毛圈多为圆弧形，而毛夹为复杂的不规则形状。不变矩特征能够有效地体现目标形状的几何特征，且具有旋转、平移、尺度不变性，在图像处理领域中有着广泛的应用[11-12]。对图像F，其特征的(m+n)阶几何矩Mmn定义为

(1)

式中：m，n=0，1，2，…；x为图像行坐标；y为图像列坐标。由式(1)可得其中心矩为

(2)

(3)

其中m+n>1，得到归一化中心矩对应的二阶矩为η02、η20、η11，三阶矩为η12、η21、η03、η30，根据二阶矩与三阶矩可得Hu不变矩[13]，其分别为T1～T7。

T1=η20+η02

(4)

(5)

T3=(η30-3η12)2+(3η21-η03)2

(6)

T4=(η30+η12)2+(η21+η03)2

(7)

(8)

T6=(η20-η02)[(η30+η12)2-(η21+η03)2]+

4η11(η30+η12)(η21+η03)

(9)

T7=(η30+η12)2-3(η21+η03)2(3η21-η03)·

(η30+η12)-3(η30+η12)2-(η21+η03)2·

(η30-3η12)(η21+η03)

(10)

通过式(4)～(10)，得到毛羽轮廓的7个Hu不变矩特征。同时，选取毛羽的高度与面积之比、凸度、圆度与Hu不变矩组成特征向量。以支持向量机为分类器，将毛羽图像的特征向量输入到支持向量机进行训练，利用离线训练的分类器进行毛羽在线分类。

2.3 毛羽统计

不同的玻璃纤维企业对管纱毛羽数量、类型和长度有着不同的等级划分标准。因此，需要统计管纱中不同类型的毛羽数量以及长度，以实现管纱的评级。

2.3.1 毛羽计数

在图像采集过程中，使前后2帧图像有所重叠，保证同一根毛羽连续出现在多帧图像中，由于管纱图像呈水平状态，故同一根毛羽的位置信息变化会保持在一定的范围内，根据毛羽的竖直方向坐标来统计毛羽数量，若前后2帧毛羽竖直方向坐标差值(差值的绝对值)小于阈值T，则认为前后2帧对应毛羽为同一根，即避免毛羽的重复计数。端毛羽坐标为其与管纱表面所在直线交点，毛圈和毛夹均为其与管纱表面直线相交部分的中点坐标。毛羽的计数过程为

1)依次读取图像，并进行毛羽提取，若无毛羽存在，则继续读取下一帧图像，直到出现毛羽，记录其对应的竖直方向坐标，并记录当前帧的毛羽数量为Si。

2)读取下一帧图像，记录毛羽数量为Si+1，当前毛羽总数为Si+Si+1。

此时，根据毛羽的相对位置可以分为2种情况：

①单帧图像中的毛羽之间的坐标差值(绝对值)均大于T1时，计算前后2帧毛羽坐标差值，若存在N个差值小于阈值T，则毛羽总数为Si+Si+1-N；

②单帧图像中的部分毛羽间的坐标差值小于阈值T1时，且小于阈值的差值个数为M。则将这M+1个毛羽视为1个毛夹，因为在阈值范围内，出现多根毛羽，则其为纱线束的断裂，将其判定为毛夹。此时毛羽总数为Si+Si+1-M，毛夹总数加1，其余毛羽按照情况①进行统计。

端毛羽和毛圈计数与上述过程相同，在毛夹计数中，与上述过程不同的是情况②，单帧图像中阈值范围内出现多根毛夹时，在实际的生产中，其表现为管纱表面出现大量纱线束断裂，使得管纱无法用于后续的生产应用，故直接判定管纱毛羽不合格，停止计数。

2.3.2 长度计算

在毛羽统计过程中，需要记录每一帧图像中毛羽的长度，毛羽重复出现在连续的多帧图像时，取其最大值作为最终长度。最小外接矩形法在尺寸测量中有着广泛的应用[14]。因此，选用最小外接矩形法进行毛羽长度测量。根据毛羽的轮廓点坐标，可以得到其最小外接矩形，如图5所示。

图5 轮廓最小外接矩形图Fig.5 Minimum bounding rectangle of contour. (a) End hairiness; (b) Loop hairiness; (c) Cross hairiness

对于毛圈和毛夹，以最小外接矩形的高作为其长度。而端毛羽利用最小旋转外接矩形的高得到其长度。通过最小外接矩形得到的是毛羽在图像中的像素个数，需要将其转换为实际的毛羽长度。

相机到管纱表面的工作距离，即物距为250 mm，视场大小为230 mm×175 mm，相机分辨率为2 590像素×1 942像素，故图像中单个像素对应的实际物理尺寸P为0.089 mm。假设图像中的像素个数为Y，则其对应的实际物理尺寸L为

L=YP

(11)

根据式(11)，可将最小外接矩形高度对应的像素个数转换为实际的物理长度。

在实际应用中，根据毛羽的长度值可以对毛羽进行筛选，对部分小于设定值L的毛羽忽略不计，因此，对于不同的生产标准，可以对L值进行相应的调整。

3 实验结果与分析

系统软件测试平台为Visual Studio 2015，利用OpenCV3.3进行算法验证，计算机配置为Intel core i5-4460，CPU为3.20 GHz。

参数设置：系统中可变参数为毛羽面积阈值A，毛羽坐标差值阈值T，毛羽相互之间坐标差值T1，毛羽长度值L。实验选取参数A为25像素，坐标差值T以及T1为15像素，毛羽长度下限L为3 mm。

从毛羽图像中提取出毛羽后，共截取900张毛羽小图像来训练支持向量机分类器，其中每类毛羽样本数量为300张，在离线状态下对训练样本进行特征提取，并将其特征向量输入支持向量机进行训练。离线训练完成后，对360帧图像中的416个毛羽进行实时在线分类测试，其统计结果如表1所示，平均分类准确率可达93%。部分准确分类结果如图6所示，部分错分类结果如图7所示。

表1 毛羽分类结果Tab.1 Classification results of hairiness

注：a1～a10为10种端毛羽分类结果图；b1～b10为10种毛圈分类结果图；c1～c10为10种毛夹分类结果图。图6 分类结果图Fig.6 Classification results. (a) End hairiness; (b) Loop hairiness; (c) Cross hairiness

注：a1～a3为3种端毛羽错分类为毛圈图像； b1～b3为3种毛圈错分类为端毛羽图像； c1～c3为3种亮度不均匀图像。图7 错分类图像Fig.7 Misclassification images. (a) Misclassified as loop hairiness; (b) Misclassified as end hairiness; (c) Uneven brightness

由表1和图7可以看出，错分类的毛羽图像主要是端毛羽和毛圈。由于生产工艺的影响，部分管纱表面静电作用较强，在管纱旋转过程中，部分较长的端毛羽会弯曲成圆弧状，导致其错分为毛圈，如图7(a)所示。图7(b)为由于相机固定在水平方向上，采集的图像中部分毛圈的起始点和终点在同一直线上，使得毛圈前后高度重合，导致其错分为端毛羽。图7(c)所示图像是在管纱的快速旋转过程中，由于毛羽与相机相对位置的变换，少量图像中毛羽亮度不均匀，从而导致分类错误。

随机选取管纱表面的10根毛羽进行人工长度测量，将其与最小外接矩形法测量的结果进行对比，如表2所示。

表2 毛羽长度测量结果Tab.2 Measure results of hairiness length

从表2可以看出，利用最小外接矩形法得到的管纱毛羽长度与人工检测结果的平均误差小于0.5 mm，充分说明最小外界矩形法在毛羽长度测量中是可行的。

最终选取10个管纱进行毛羽检测总体验证，每个管纱采集120张图像，对每帧图像都进行毛羽提取及分类，并进行毛羽计数，同时，统计单个管纱检测所用时间，其结果如表3所示。

表3 毛羽检测结果Tab.3 Detection results of hairiness

从表3中可以看出，系统的检测结果整体上与人工检测结果较为接近。对于2#，4#和7#管纱，系统所设计的方法检测结果均优于人工检测，原因在于人工检测时，会漏检部分较小的毛羽。对于8#管纱，是将1个毛圈错分类为毛羽。从检测时间上来看，该算法对于毛羽数量较少的管纱，检测时间较短，由于图像采集时间为4 s，因此，检测最短耗时为4 s，且总体上单个管纱的最长检测时间在10 s以内，而人工检测单个管纱平均时间约为120 s，因此利用该系统可实现管纱毛羽的高效、快速检测，能够满足实际的工业需要。

4 结束语

本文应用机器视觉技术设计了玻璃纤维管纱毛羽自动检测系统，通过毛羽提取、毛羽分类、毛羽数量及长度统计3个过程，对管纱表面出现的常见毛羽进行数据统计，根据统计数据能够剔除残次品，实现玻璃纤维管纱产品的自动快速分级。通过实验测试，该系统在与人工检测精度接近的情况下，可以显著缩短检测时间，实现管纱毛羽的快速、自动化检测，有较好的市场应用价值。

FZXB