基于图像增强与深度学习的钢轨表面缺陷检测

罗晖，徐广隆

基于图像增强与深度学习的钢轨表面缺陷检测

罗晖，徐广隆

(华东交通大学 信息工程学院，江西 南昌 330013)

相比传统的物理检测算法，基于机器视觉的检测算法具有检测速度快、操作便捷等诸多优点，但因受光照不均、相机失焦抖动、雨雪天气等外界因素的影响，导致检测精度降低。针对这一问题，提出一种基于图像增强与深度学习的钢轨表面缺陷视觉检测算法。首先，对图像进行Gabor滤波去噪，以减少噪声对缺陷检测的影响；然后，利用HSV空间变换方法增强缺陷图像的关键特征信息；最后，通过改进Faster R-CNN卷积神经网络，实现了多尺度钢轨表面缺陷的检测与识别。通过对所提出的检测算法进行对比实验，实验结果表明：裂纹、剥落、磨损三类缺陷的识别精度分别为91.87%，92.75%和91.52%，检测速度为每张图像0.265 s，优于已有的钢轨表面缺陷检测算法，能够很好地应用于实际项目中。

钢轨表面缺陷检测；机器视觉；目标检测；图像增强；卷积神经网络

随着铁路运输事业的不断发展，铁路运量不断增加，这对铁路安全运行提出了更高的要求。相关安全统计数据显示，引起列车事故的钢轨缺陷主要为轨头表面缺陷，约占所有事故原因的42.5%。因此，为保障列车的行车安全，对钢轨表面缺陷进行准确、动态的检测已成为铁路发展迫切需要解决的问题，并具有重要的实际应用价值及研究意义。目前，铁路相关部门主要采用物理性的检测方法对钢轨缺陷进行检测，检测方法包括：超声波检测、超声导波检测、涡流检测、漏磁检测等[1]。超声波检测和超声导波检测，需要使用耦合剂，且都存在检测盲区的问题；涡流检测，在检测平行于磁通线的裂纹时，会发生提离效应，造成漏检；漏磁检测，是基于电磁原理的一种非接触式检测方法，可用于检测钢轨表面近表面缺陷，但是检测速度比较慢。采用机器视觉的方法对钢轨表面缺陷进行检测，是一种非接触式的检测方式，而且能够在高达320 km/h行车速度条件下，保持较高的检测精度。Deutschl等[2]给出了基于机器视觉的钢轨表面缺陷实时检测方案；LI等[3−4]对轨头表面缺陷进行深入研究，进一步完善了基于机器视觉的钢轨表面缺陷实时检测方案；Kumar等[5−7]对钢轨缺陷图像特征进行分析，通过图像滤波的方式去除干扰因素，提高了表面缺陷的检测效果；孙次锁等[8]采用卷积神经网络对图像特征进行深度提取，进一步提高了表面缺陷的检测效果。虽然机器视觉的方法，极大地提高了检测精度和检测效率，但是还存在如下 问题：

1) 季节因素和光照条件变化，增加了缺陷检测的难度。

2) 钢轨表面状况不同，容易产生局部高光，增加了特征提取的难度。

3) 钢轨表面缺陷的特征中，可用于检测识别的信息较少，传统的基于边缘和纹理的检测方法效率不高。

针对以上问题，本文从基于Gabor滤波的去噪算法、基于HSV空间变化的图像特征增强算法、基于Faster R-CNN的缺陷多尺度检测网络设计3个方面进行设计与改进，提高了钢轨表面缺陷中，裂纹、剥落、磨损3种缺陷的检测精度，并保证了检测的速度。

1 基于Gabor滤波的图像去噪算法

采集获得的钢轨表面图像，包括轨板、扣件、周围环境杂物等，需要通过已有的图像分割算法进行钢轨轨面图像进行分割提取[9]。至此，便可以获取到初步的钢轨轨面图像。如图1(左)所示，为采集到的裂纹、剥落、磨损3种缺陷的样本图像。

图1 钢轨表面缺陷图像样本(去噪前后)

从图1可以非常直观的看到，图像中存在诸多噪声信号，这给缺陷的检测增加了难度。

为了进一步提高钢轨表面缺陷的识别准确度，需要对图像进行去噪处理。Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。它在提取目标的局部空间和频率域信息方面具有良好的特性。Gabor滤波器对于图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感,能够提供对光照变化良好的适应性，非常适合于对钢轨缺陷图像进行去噪[10]。式(1)为Gabor滤波器的数学表达式：

经过去噪处理之后图像，边缘更加显著。其中，表面剥落图像中的黑斑经由滤波之后，会有一定程度的缩小，可以通过式(1)中的S,d系数，即高斯窗口的调节变量进行调节，并保证缺陷的检测精度。

2 基于HSV空间变化的图像特征增强算法

HSV是一种直观的颜色模型，十分接近人类的视觉预期，其中H(Hue)代表色调、S(Saturation)代表饱和度，V(Value)代表明度，具体模型如图2所示。其中饱和度S，表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0%～100%，值越大，颜色越饱和。

文献[11]中将HSV空间变换用于钢轨图像的快速提取，受到该文献的启发，并结合滤波后钢轨图像的视觉特征进行分析，可以发现图像的色彩并不丰富，滤去色调和明度信息、保留饱和度信息后，最终得到的图像能够更加方便的提取到钢轨缺陷的特征，有利于检测速度的提高，转换公式如式(3)、式(4)所示。保留下S维度的信息之后，最终得到的钢轨表面图像如图3所示。

式中：max和min分别为原图像(,)处RGB色彩的最大值、最小值。

图2 HSV颜色模型

图3 钢轨表面缺陷图像样本(HSV变换后)

3 基于Faster R-CNN的缺陷多尺度检测网络设计

Faster R-CNN[12]卷积神经网络，不仅能实现对图像中的物体进行分类，而且能识别出物体的位置。孙次锁等[13]将Faster R-CNN应用于钢轨表面缺陷的检测，取得了出色的效果。本文基于以上研究，对Faster RCNN的损失函数和网络结构进行了调整，用来提取经过处理后的图像中的缺陷特征，实现了高精度的检测效果。

3.1 基于图像边缘锐化特征的回归损失函数改进

Faster R-CNN中使用的smooth1()作为回归损失函数reg。本文针对图像边缘锐化特征，在损失函数中增加了调节系数，如式(5)

其中，其他参数均与原文献保持一致，为新增的用来调节图像边缘锐化的超参数。

3.2 基于空洞卷积的缺陷特征提取卷积网络设计

钢轨表面缺陷复杂多样，单一的卷积模式无法根据缺陷的类别做精细的感受野划分，这是Faster R-CNN无法很好的适用于钢轨表面缺陷检测的一个方面，针对这一问题，本文引入空洞卷积，为裂纹、剥落、磨损3类缺陷设定并行卷积通道，分别设定不同的膨胀系数，来实现更加细粒度的特征提取。其感受野变化效果如图4所示。

图4 基于空洞卷积的缺陷特征提取卷积网络

此外，本文将原有的卷积神经网络进行了多分支重构，实现了多尺度的缺陷检测，提高了检测精度，总体结构如图5所示。

4 实验与分析

为了验证本文检测算法的有效性，本文首先确立了用于训练与检测的数据集和性能评价指标；然后将目前主流的多种基于深度学习的目标检测算法与本文提出的算法进行检测精度和检测精度的对比分析。实验环境为：64位Windows8系统，内存32G，CPU型号为i7-7800X，配备有RTX2080- 8G显卡。采用Early Stopping和Dropout方法防止过 拟和。

图5 调整后的多尺度Faster R-CNN网络结构

4.1 数据集与评价指标

为了验证本文检测算法的有效性，实验过程中采用具有代表性的钢轨数据集RSDDs[14]进行训练、验证和测试。由于数据集中包含Type-I和Type-II 2种尺度数据图像，并且数据的标注为缺陷分割标注，本文将其进行裁剪，并调整为200*300尺度的图像，共5 000张，然后通过平移、缩放以及生成对抗网络(GAN，Generative Adversarial Networks)[15]等方式进行数据集扩充，合计10 000张，并按照PASCAL VOC[16]数据集的格式进行了标注。随机选取80%作为训练集，剩余20%作为测试集进行网络训练，一共进行70 000次迭代训练，每次使用一张图片进行迭代，初始学习率设置为0.001，当迭代至20 000次时，将学习率衰减为0.000 1，然后继续迭代训练到70 000次为止。

检测指标包括准确率(Ac，表示算法能正确识别样本的比例)、灵敏度(true positive rate，TPR，表示表示算法正确识别目标样本的识别精度)、误识别率(false positive rate，FPR，表示算法错误识别目标样本与非目标样本的比例)，见式(6)。

式中：为正类判定为正类；为负类判定为正类；为正类判定为负类；为负类判定为负类。

4.2 算法性能分析

REN等[12]提出了 Faster R-CNN，在保证检测精度的前提下，极大地提高了检测的速度；DAI 等[17]基于Faster R-CNN框架提出的R-FCN，减少检测模型的计算量；LIN等[18]基于Faster R-CNN框架提出的FPN，提高了小尺度目标检测精度。Redmon等[19]采用不同尺度特征融合的方法，一定程度上提高了小目标的检测精度，但识别精确度缺仍然较低。

本文在多个目标检测算法(Faster R-CNN，R-FCN，FPN，YOLOv3)和基础网络(VGG16，ResNet101)之上，进行了神经网络训练测试实验，经过网络的训练调优，网络完成收敛后(如图6右图所示)，然后根据评价指标，对数据结果进行了统计，详细结果见表1。

表1中的数据表明，本文提出的检测算法，对于裂纹、剥落、磨损3种缺陷均达到了相对最高的Ac值。尽管在TPR，FPR指标方面，本文提出的检测的算法并未达到多种检测算法中的最佳，但是已与最佳检测算法的检测精度十分接近。

最终，将检测结果映射回原图像，效果如图6左图所示。

表1 表面缺陷检测效果

图6 钢轨表面缺陷检测效果(左)和损失函数值数变化趋势(右)

表2 钢轨表面缺陷检测速度比较

4.3 算法检测速度比较

表2列出了表1中各个检测算法的检测速度。对于一张尺度为200*300像素的钢轨图像，本文提出的检测速度为0.265 s。表2中，YOLO系列算法的检测速度较快，然而对比表1中的数据可知，其检测精度太低。本文提出的检测算法在保证高检测精度的同时保证了检测速度。

5 结论

1) 经由Gabor滤波去噪之后，缺陷特性更加显著，从一定程度上克服了图像采集过程中，外界因素的干扰。

2) 钢轨表面图像的色彩信息比较单一，通过HSV色彩空间的像素转化，可以提取出图像的饱和度信息，进而有效的表征出钢轨的缺陷位置，有利提升检测时的缺陷召回率。

3) 基于Faster R-CNN卷积神经网络模型，调整网络层数、卷积尺度、损失函数等，设计针对钢轨表面缺陷特征进行提取的专有检测结构，实现了对钢轨表面缺陷的高效准确检测，其中裂纹、剥落和磨损3种缺陷的识别精度分别达到91.87%，92.75%和91.52%。

[1] 田贵云, 高斌, 高运来, 等. 铁路钢轨缺陷伤损巡检与监测技术综述[J]. 仪器仪表学报, 2016, 37(8): 1763− 1780. TIAN Guiyun, GAO Bin, GAO Yunlai, et al. Review of railway rail defect non-destructive testing and monitoring [J]. Chinese Journal of Scientific Instrument, 2016, 37(8): 1763−1780.

[2] Deutschl E, Gasser C, Niel A, et al. Defect detection on rail surfaces by a vision based system[C]// IEEE Intelligent Vehicles Symposium, 2004. June 14-17, 2004, Parma, Italy. IEEE, 2004: 507−511.

[3] LI Qingyong, REN Shengwei. A visual detection system for rail surface defects[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1531−1542.

[4] LI Qingyong, REN Shengwei. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189−2199.

[5] Kumar A, PANG G K H. Defect detection in textured materials using Gabor filters[J]. IEEE Transactions on Industry Applications, 2002, 38(2): 425−440.

[6] Mandriota C, Nitti M, Ancona N, et al. Filter-based feature selection for rail defect detection[J]. Machine Vision and Applications, 2004, 15(4): 179−185.

[7] 王耀东, 朱力强, 史红梅, 等. 基于局部图像纹理计算的隧道裂缝视觉检测技术[J]. 铁道学报, 2018, 40(2): 82−90. WANG Yaodong, ZHU Liqiang, SHI Hongmei, et al. Vision detection of tunnel cracks based on local image texture calculation[J]. Journal of the China Railway Society, 2018, 40(2): 82−90.

[8] 孙次锁, 刘军, 秦勇, 等. 基于深度学习的钢轨伤损智能识别方法[J]. 中国铁道科学, 2018, 39(5): 51−57. SUN Cisuo, LIU Jun, QIN Yong, et al. Intelligent detection method for rail flaw based on deep learning[J]. China Railway Science, 2018, 39(5): 51−57.

[9] Vasuki Y, Holden E J, Kovesi P, et al. Semi-automatic mapping of geological structures using UAV-based photogrammetric data: an image analysis approach[J]. Computers & Geosciences, 2014, 69: 22−32.

[10] SHI Yan, YANG Xiaoyuan, GUO Yuhua. Translation invariant directional framelet transform combined with Gabor filters for image denoising[J]. IEEE Transactions on Image Processing, 2014, 23(1): 44−55.

[11] 顾桂梅, 李晓梅, 常海涛, 等. 基于HSV空间的钢轨表面区域快速提取算法[J]. 云南大学学报(自然科学版), 2019, 41(4): 707−717. GU Guimei, LI Xiaomei, CHANG Haitao, et al. Fast extraction agorithm for rail surface region based on HSV space[J]. Journal of Yunnan University (Natural Sciences Edition), 2019, 41(4): 707−717.

[12] REN Shaoqing, HE Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137− 1149.

[13] 孙次锁, 张玉华. 基于智能识别与周期检测的钢轨伤损自动预警方法研究[J]. 铁道学报, 2018, 40(11): 140− 146. SUN Cisuo, ZHANG Yuhua. Research on automatic early warning method for rail flaw based on intelligent identification and periodic detection[J]. Journal of the China Railway Society, 2018, 40(11): 140−146.

[14] GAN Jinrui, LI Qingyong, WANG Jianzhu, et al. A hierarchical extractor-based visual rail surface inspection system[J]. IEEE Sensors Journal, 2017, 17(23): 7935− 7944.

[15] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]// NIPS’14: Proceedings of the 27th International Conference on Neural Information Processing Systems – 2014, 2: 2672−2680.

[16] Everingham M, Eslami S M A, Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98−136.

[17] DAI Jifeng, LI Yi, HE Kaiming, et al. R-FCN: object detection via region-based fully convolutional networks [C]// NIPS’16: Proceedings of the 30th International Conference on Neural Information Processing Systems. 2016: 379−387.

[18] LIN T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017, Honolulu, HI, USA. IEEE, 2017: 936− 944.

[19] Redmon J, Farhadi A. YOLOv3: An incremental improvement[C]// 2018 IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2018: 2767−2773.

Rail surface defect detection based on image enhancement and deep learning

LUO Hui, XU Guanglong

(School of Information Engineering, East China Jiaotong University, Nanchang 330013, China)

Compared with traditional physical detection methods, computer-vision-based detection methods has many advantages such as its fast detection speed and convenient characteristics. However, due to the influence of external factors such as uneven illumination, out-of-focus of camera jitter, rain and snow weather, the detection accuracy was reduced. To solve this problem, this paper presents a visual detection algorithm for rail surface defects based on image enhancement and deep learning. Firstly, Gabor filtering was carried out to reduce the impact of noise on the defect detection effect. Then, the key feature information in the image was enhanced by HSV space transformation. Finally, Faster R-CNN convolutional neural network was improved to realize the detection and recognition of multiscale rail surface defects. The proposed algorithm was compared in detail. The experimental results indicate that the proposed algorithm can achieve high accuracy of crack, spalling and abrasion with 91.87%, 92.75% and 91.52%, high detect speed with 0.265s per image, substantially outperforming the state-of-the-art rail surface defect detection algorithms. The proposed method can be used for actual fault detection of freight train images.

rail surface defect detection; computer vision; object detection; image enhancement; convolutional neural network

U216.3

A

1672 − 7029(2021)03 − 0623 − 07

10.19713/j.cnki.43−1423/u.T20200388

2020−05−10

国家自然科学基金资助项目(61261040)

罗晖(1969−)，男，江西南昌人，教授，从事物联网、图像信号处理相关研究；E−mail：qq370201570@gmail.com

(编辑 涂鹏)