基于语义分割的轴承缺陷检测系统研究

尹振汉 任亚飞 张宝池 张帅兵 石义彬

摘  要：为解决当前轴承质检人工成本高，效率低的问题，在对现有轴承缺陷检测算法方案进行研究后，提出了一种基于语义分割的实时在线轴承缺陷识别系统。在六面体黑室中配合高精度电动转台采集高质量轴承照片，利用小波SURE自适应阈值去噪法对图像进行预处理。选用语义分割的方法进行缺陷检测，在传统FCN算法的基础上，提出采用PSPNet分割算法，该算法可以融合更多的全局信息以解决误分割、漏分割的问题。并对模型进行不断评估，优化进程。经实验测得识别准确率高达97.75%，符合工业质检需求。

关键词：缺陷检测;语义分割;六面体黑室;小波阈值去噪;PSPNet

中图分类号：TP273+.4        文献标识码：A文章编号：2096-4706（2022）03-0145-04

Research on Bearing Defect Detection System Based on Semantic Segmentation

YIN Zhenhan， REN Yafei， ZHANG Baochi， ZHANG Shuaibing， SHI Yibin

（Luoyang Institute of Science and Technology， Luoyang  471023， China）

Abstract： In order to solve the problems of high labor cost and low efficiency of bearing quality inspection， after studying the existing bearing defect detection algorithm scheme， a real-time online bearing defect recognition system based on semantic segmentation is proposed. In the hexahedral black chamber， high quality bearing photos are collected with high-precision electric turntable， and the images are preprocessed by wavelet SURE adaptive threshold denoising method. The semantic segmentation method is selected for defect detection. Based on the traditional FCN algorithm， the PSPNet segmentation algorithm is proposed， which can fuse more global information to solve the problem of false segmentation and missing segmentation. The model is continuously evaluated to optimize the process. The experimental results show that the recognition accuracy is as high as 97.75%， which meets the needs of industrial quality inspection.

Keywords： defect detection; semantic segmentation; hexahedral black chamber; wavelet threshold denoising; PSPNet

0  引  言

轴承作为工业装置中常用的零部件，在机件与机件的相对运动中起到了举足轻重的作用。轴承套圈的制作工序复杂，包含锻造、退火、车削、淬火、回火、磨削等工序。近年来，随着高端制造的快速发展，对轴承产品质量的要求也大为提高。要求轴承套圈表面不能有凹坑、烧伤、裂纹、倒角等缺陷。因为缺陷的存在不仅影响到轴承外观，更重要的是，在一些高精度器械中，若缺陷严重，则可能导致精度不达标，影响与其他零件间的配合，使其性能大大下降，埋下安全隐患。经过实地调研发现，目前国内对于轴承的无损检测大多使用人工观察、磁粉检测、涡流探伤的方式。现场调研表明，人工檢测不但用工量大、效率低，而且由于长时间的工作容易出现漏检的情况。磁粉检测法虽然准确率较高，但是检测前需要对待检测件进行磁化，检测结束后还要进行去磁处理，检测效率相对较低，只适用于产品的抽样检测。而常用的涡流探伤检测技术，虽然是非接触式的，但是其检测速度较慢。且不适用于端面倒角大小边、过车缺陷的检测。因此，利用机器视觉技术研制出一套能实现在线、实时、准确的检测轴承套圈外观缺陷的非接触式自动化检测系统是企业迫切需要的。

在对现有轴承缺陷检测算法方案的研究中发现，识别方法主要有以下两种，一种是基于图像处理，另一种是基于机器学习。由于金属表面反光的问题，利用普通基于图像处理的算法检测的准确率受环境的影响较大，且对于语义复杂易混淆的图像识别效果有待提高。在基于机器学习的算法中，大多神经网络模型只关注局部的语义信息，而忽视全局信息导致识别准确率不高，无法满足企业实际的质检所要求的精度与鲁棒性。鉴于以上问题，在硬件方面，本文选择自主设计检测系统的机械结构，通过搭建六面体黑室来解决金属表面反光问题，利用高精度电动旋转台配合高清工业相机来拍摄轴承全方位照片，获得高质量数据集。软件方面，利用小波SURE自适应阈值去噪法对图像进行预处理。选用语义分割的方法来进行缺陷检测，在传统FCN算法的基础上采用PSPNet分割算法，可以融合更多的全局信息以解决误分割、漏分割的问题。通过对模型进行不断评估，优化进程，最终得到满足理想预期的识别效果。并在轴承厂中进行大量测试，得到系统检测轴承缺陷的准确率高达97.75%。在目前现有的识别算法的基础上有了很大的提高。

1  图像获取与预处理

1.1  机械结构设计

基于语义分割的轴承在线实时缺陷检测系统的机器结构，包括照明装置、工业相机、镜头、电动转盘、框架等，具体配置型号如表1所示。所述照明装置由相连的面板方灯、柔光布、黑色幕布组成，3个方灯并联位于正六面体的1、2、3面，灯面敷有柔光布解决因光源太强而出现的曝光和光线不均匀的问题，轴承放置于正六面体黑室最下方第6面的电动转盘上，通过第5面放置的工业相机对轴承进行拍照，其后第4面采用黑色遮光布做底面使图像更清晰。整個黑室以黑色遮光布为拍摄底面，周围附着方灯使光线充满整个黑室从而解决金属曲面反光问题。正六面体黑室外套遮光布避免外来阳光的干扰影响整体拍摄效果。结构示意图如图1所示。

1.2  图像采集

为了获得高质量图片，本文选用2 000万像素、最大帧率5.9 fps的海康MV-CE200-10GM工业相机，并与电动旋转转台配合获得轴承全方位的图像。Y200RA60电动转台采用紧密轴系，蜗轮，蜗杆传动模式，旋台基座采用高精度轴系来保障中心通孔与转台旋转中心的同轴度，转动稳定性高。在工业视觉图像处理软件Halcon19中读取的轴承图像，如图2所示。

1.3  小波去噪

在图像的采集、传输、接收和处理过程中，不可避免的会产生外部干扰和内部干扰。首先对带有噪声的信号进行小波变换，小波变换将傅立叶变换的基换成了有限长的会衰减的小波基。克服了短时傅立叶变换、窗口大小不随频率变化等缺点。选择合适的基本小波，使a（τ）在时域的支撑有限，而a（w）相对集中在频域，小波变换有能力表征时域频域的信号的局部特性，这有利于检测图像中奇异突出的信号，因此可以更有效地去除噪点。小波去噪公式为：

（1）

小波去噪的原理即将原二维图像数值信号，用分别在水平和垂直方向进行滤波的方法实现二维小波多尺度分解。经过伸缩和平移等功能提取各尺度的小波系数，将噪声所产生的小波系数清零，最后通过小波逆变换重构信号得到去噪后图像。原理流程图如图3所示。

本文采用小波阈值去噪的方法去除噪声，基本思想是将原始信号进行小波变换，得到的信号的小波系数远大于噪声的小波系数，通过选取合适的阈值，将高于此阈值的信号产生的小波系数保留，并消除低于此阈值的噪声产生的小波系数，再经过小波逆变换重构信号即可达到去噪的功能。其中阈值的选择直接影响去噪的效果。本文分别采用了VisuShink阈值、Minimax阈值、SURE阈值进行去噪实验，实验结果如图4所示。最后本文选择了SURE无偏估计的自适应阈值，该方法能在最小均方差上快速收敛。相比于其他几种阈值，其均方差最小，信噪比最大，去噪效果最显著。

2  分割网络设计

2.1  构建数据集

为了解决特定问题，更好的让Arduino指令与企业生产实际需求相结合，本文选择附近轴承厂的30个优质轴承和30个具有不同缺陷的轴承作为样本，在六面体黑室里，电动转台每转动90°，相机拍摄照片一次。得到总共240张照片作为基础数据集。为了避免数据集过少而造成分类过度拟合，模型鲁棒性低的问题。本文选择将原有基础数据集的照片通过[-30°，30°]范围内任意旋转的方式，进行数据集的扩充，最后将得到了880张图片。由于数据量较小，按照6：2：2的比例划分训练集、验证集和测试集。

2.2  语义分割模型

语义分割算法可以对图像进行像素级别上的分类，标注出图像中属于同一像素类别的对象，在图像分割和元素检测上有着很大的应用。为了避免FCN算法因为缺乏结合全局信息的能力而导致了增加了在复杂语境中错误分类的可能性。本文采用PSPNet（金字塔场景解析网络）作为语义分割模型，模型示意图如图5所示，它是在FCN的像素预测框架的基础上加入了全局均值池化操作和局部全局特征融合。模型首先经过预训练的模型和空洞卷积策略得到图像的特征图，然后将其映射到金字塔池化（SPP）模块中，为了表示不同区域关系，SPP模块分为四个尺度层级，池化内核覆盖了图像的全部、一半和小部分，将每个尺度的语境信息融合。最后将融合发展得到的全局特征与原始数据特征图连接建立起来，作为最终的金字塔池化全局特性。最后，由一个卷积图层生成最终的预测图。该模型最大的优点是其具备理解全局语境信息的能力，可以对不同区域的语境进行聚合。局部和全局的特征的结合可使最终的识别研究结果进行更加安全可靠。此外，在端到端学习中，能够同时训练和优化全局金字塔模块和局部FCN特征，大大降低了计算成本。对于轴承检测，场景解析可以将图片中的各种缺陷分门别类，并进行定位，准确率和实用价值高。

2.3  损失函数设计

本文在损失函数的设计上，考虑到由于所拍摄的轴承的照片中，有缺陷的照片占较小数量。为了解决正负样本不平衡的问题，常用的方法是在二值交叉熵损失函数前增加权重系数。表达公式为：

（2）

虽然可以通过改变权重系数来改变平衡正负样本的数量，但在实际拍摄的轴承照片中，大多的照片都是较明显可分的，而这些样本的损失很低，最终占据了损失函数的主导地位。而损失函数应该偏向那些易混淆的样本，像带有垂直纹理的划痕、外圈滚道粗磨痕、细小的凹坑等缺陷的轴承样本。基于以上问题，本文采用了RetinaNet提出的Focal Loss损失函数模型，通过添加调制因子的方式来降低易分模型所占据损失函数的主导地位，公式表示为：

（3）

式（2）解决了正负样本不平衡的问题，式（3）解决了样本难易划分问题。将两者结合就得到带权重系数的Focal损失函数，公式为：

（4）

Focal Loss是动态缩放的交叉熵损失函数，随着对正确分类的置信增加，缩放因子逐渐趋向与0，效果如图6所示。

3  实验结果与分析

3.1  C#交互界面设计

为了方便操作人员对系统的使用，本文选择采用Visual Studio（VS）和Halcon进行联合开发，将Halcon的程序以C#的形式导出，然后在VS里利用C#编写人机交互界面。该界面中的图形窗口中直接显示检测结果。并在文本框中顯示识别结果和单个识别耗时，若有缺陷则显示缺陷的类型。另外可以选择批量导入图片，自动识别模式。记录含有缺陷的轴承和无缺陷轴承的数量。并将含有缺陷的轴承照片进行记录并保存，完成对轴承的批量检测工作。清楚明了，易于操作，大大提升了质检效率。在交互界面上呈现的识别结果如图7所示。

3.2  测试结果及分析

为了进一步验证本方案的优越性和系统的稳定性，在处理器为11th GenIntel（R） Core （TM） i5-1135 G7 @2.40 GHz机带RAM为16 GB、64位Windows10操作系统的计算机上运行Visual Studio2017平台上系统程序，与附近的轴承厂合作分别在中午和晚上进行了大量的测试。

实验结果表明，通过自主设计的六面体黑室结构能够有效地解决外界光线的问题，基于PSPNet的语义分割算法识别的准确率较传统的卷积神经网络有了很大的提高。本文设计的轴承缺陷检测系统的平均识别成功率为97.75%。能够对轴承上的划痕、烧伤、凹坑、磕碰伤等常见缺陷进行准确识别。该方案可以满足企业对轴承缺陷进行实时在线检测的预期。

4  结  论

针对轴承缺陷检测问题，在对现有检测方案进行研究和实验分析后，本文选择自主搭建六面体黑室来解决金属表面容易出现的反光问题。利用小波SURE自适应阈值去噪法对输入图像进行预处理。在语义分割模型的选择方面，提出了能够理解全局语境信息的PSPNet网络模型作为识别方案，采用带权重系数的Focal损失函数来解决正负样本不平衡和样本难易划分的问题。经过大量的实验测试得出该系统与现有识别方案相比，在鲁棒性和准确率方面都有了很大的提升。其检测时间和准确率均能够满足轴承生产企业的质检需求。另外设计了智能化易于操作的人机交互界面，应用方便，可以极大地提升质检效率，具有很强的现实意义。

参考文献：

[1] 邓耀力.基于机器视觉的轮毂轴承缺陷检测方法研究 [J].中国设备工程，2019（13）：106-108.

[2] 左羽，陶倩，吴恋，等.基于卷积神经网络的植物图像分类方法研究 [J].物联网技术，2020，10（3）：72-75.

[3] 王嫣然，陈清亮，吴俊君.面向复杂环境的图像语义分割方法综述 [J].计算机科学，2019，46（9）：36-46.

[4] 梁格颖，王文琪，汪文，等.基于空洞卷积的语义图像分割算法研究 [J].信息通信，2019（6）：33-36.

[5] 杜柳青，余永维.磁瓦表面缺陷机器视觉检测与识别方法 [J].图学学报，2014，35（4）：590-594.

[6] 李超，孙俊.基于机器视觉方法的焊缝缺陷检测及分类算法 [J].计算机工程与应用，2018，54（6）：264-270.

[7] KRIZHEVSKY A，SUTSKEVER L，HINTON G E. ImageNet classification with deep convolutional neural networks [J].Communications of the ACM，2017，60（6）：84-90.

作者简介：尹振汉（2000—），男，汉族，河南信阳人，本科在读，研究方向：机器视觉。