基于深度学习的无人机巡检图像销钉故障检测

(深圳供电局有限公司，广东 深圳 518000)

0 引言

针对我国能源资源分布与需求不平衡的问题，我国电力系统发展战略实施了“西电东送”、“南北互供”、“全国联网”三大工程。全国互联大电网具有长距离、跨区域的特点，需要用庞大的输电线路网络进行电能的输送。因此，输电线路是电力系统的重要组成部分，它担负着输送和分配电能的任务。

我国目前已形成华北、东北、华东、华中、西北和南方电网共6个跨省电网，110 kV以上输电线路[1]已达到近51.4万km。同时，输电线路网络由于常年暴露在自然环境中，很容易受到天气、鸟类等因素的影响。最常见的天气因素包括雷击、暴雨和高温。这种剧烈的环境条件，很大程度上会导致线路部件产生一定程度的形变，甚至破损。因此，定时对电力输电线路进行巡检，及时检测输电线路中部件出现的故障，从而保证电力系统高效稳定运行。当前主要的输电线路巡检模式主要有人工巡检、直升机巡检[2]和无人机巡检[3-5]，以及3种巡检模式相互组合协同进行。考虑到无人机巡检具有野外作业风险低、效率高的特点[6]，而且无人机携带方便、操作简单、反应迅速、起飞降落对环境的要求低等，无人机巡检逐渐成为主流的巡检方式并慢慢代替传统巡检。但是，无人机巡检会产生大量用于分析是否出现故障的图片，因此，一种可以代替人工判读的智能识别与检测算法用于检测输电线路部件故障具有非常重要的意义。

目前，针对输电线路中比较容易看见的部件故障检测算法已经取得了不错的效果。经典的输电线路部件故障检测算法主要是从目标的轮廓入手结合纹理特征进行检测识别。例如根据由直线和曲线片段组成的2AS相互关系判决均压环是否发生倾斜[7]。对于输电线，可以通过Freeman[8]链码准则判断是否发生断股故障[9]，也可以利用Hough变换算法检测输电线，并判断是否有异物悬挂在输电线上[10]。近年来，随着深度学习在图像识别与检测领域引起了人们的广泛关注。利用深度学习算法，针对无人机巡检图像中绝缘子[11-13]、防振锤[14-15]、均压环[16]和输电线[17]等部件故障检测的效果得到了显著地提升。然而针对输电线路中的细小部件故障，如销钉脱落，依旧是输电线路故障检测中的困难点。

架空输电线路中大量的设备部件是通过螺母-销钉进行连接或者固定。由于输电线路长期暴露在自然环境中，而销钉是一种金属器具，容易受到雨水侵蚀生锈，从而发生形变脱落。或是受鸟害影响，将其从螺母中抽离。一旦这一安全隐患未能及时处理，以至于固定点螺母发生松动，从而引起输电线路关键部件解体，以及杆塔的不牢固。本文采用了在图像检测领域效果优异的Faster R-CNN[18]算法并分析了不同的初始化网络，如VGG16[19]，ResNet-50[20]，ResNet-101[20]和ResNet-152[20]对销钉脱落这一故障进行定位识别的效果。除此之外，本文进一步对比Hough梯度圆检测+直线段检测(Line Segment Detector, LSD)[21]、聚合通道特征(Aggregate Channel Features, ACF)[22]+Adaboost[23]和Faster R-CNN三种算法在无人机巡检图像中销钉脱落故障检测性能。

1 销钉脱落检测研究

螺母-销钉是一种人造部件，具有严格的几何造型。图1是无人机巡检获得的螺母-销钉实例图，其中图1(a)为两张正常的螺母-销钉样图，图1(b)为销钉脱落的故障样图。

图1 螺母-销钉实例图

1.1 Faster R-CNN

近年来，基于深度学习技术的目标检测算法逐渐成为研究热点。经典的R-CNN[24]目标检测算法在2014年由Girshick等人提出，由于其检测精度与效率存在较大的提升空间，在这之后，先后提出了Fast R-CNN[25]和Faster R-CNN算法。其中Faster R-CNN算法已经成功应用于多个领域。

Faster R-CNN对无人机巡检图像中销钉脱落检测流程如图2所示。我们可以分为4个阶段，首先将图片输入到CNN模型中训练，随后用区域候选网络(Region Proposal Network, RPN)对提取后的特征图进行处理，寻找可能包含目标的区域，再用感兴趣区域池化(Region of interest Pooling, RoIP)处理，提取出与目标物相关的特征向量，最后再由卷积层和全连接层得到目标物边界框的坐标和分类结果。

图2 Faster R-CNN销钉故障检测过程

在第一阶段，从图2中可以看出，我们将任意尺寸的无人机巡检图像输入至卷积神经网络中，通过训练得到可被后续RPN网络和检测网络共享的特征图。不同的卷积神经网络模型结构并不相同，检测效果也不尽相同。本文分别采用VGG16，ResNet-50，ResNet-101和ResNet-152作为Faster R-CNN目标检测中的预训练CNN模块，用以提取输入图片的特征图(Feature map)。VGG16模型的网络结构包括有13个卷积层，13个激活层和4个池化层。而ResNet网络模型则由1个卷积层，1个池化层，和若干个残差模块组成。其中ResNet-50、ResNet-101、ResNet-152分别包含16、33、50个残差模块。

图3 RPN网络示意图

一般，螺母-销钉组件在无人机巡检获取的图片中只占很小的一个区域。如果对所有的区域都遍历一遍，并得到检测结果，势必会导致检测效率的下降以及增大了网络模型训练难度。为解决这一问题，Faster R-CNN抛弃了传统的滑动窗口的方法并提出通过RPN和检测网络共享特征图的方式来减少复杂计算所导致的时间消耗，其中RPN网络示意图如图3所示。先用512个3×3卷积核进一步集中特征信息，并分别输入边框分类器和边框回归器中。假设特征图中的某个目标区域生成了k个不同范围的候选框，那么边框分类器则输出每个目标候选框属于哪一种螺母-销钉状态或者是背景的概率。于是，总共有2k个输出。假设输电线路部件矩形框的位置由 (x,y,w,h) 来表示。其中矩形框的中心点坐标为(x,y)，w,h分别表示矩形框的宽和高。因此，边框回归网络有4k个输出。随后将得到的候选区域信息和特征图共同送入RoIP层中从而获得建议特征图并传递至检测网络中。检测网络包括有两个分支，分别为边框分类网络和边框回归网络。其中边框分类网络通过全连接层和Softmax分类器对螺母-销钉或背景做进一步判断，边框回归网络则通过全连接层从而获取更高进度的边框区域。

1.2 ACF+Adaboost

ACF是一种多特征融合算法。本文从6个不同方向的梯度直方图，3个LUV颜色通道和1个梯度幅值通道，共10个特征通道并使用快速特征金字塔[26]计算无人机巡检图像在不同尺度变化下的特征通道值。使用滑动窗口对特征通道进行遍历，计算其积分图的特征值之和并作为特征向量送入Adaboost分类器，通过非极大值抑制[27](Non-Maximum Suppression, NMS)得到螺母-销钉的检测框，判断销钉是否脱落。

1.3 Hough+LSD

对螺母-销钉的检测中，将螺母和销钉作为一个整体进行判定。考虑到螺母是一种类圆形部件，销钉的直线特征比较明显，在检测过程如图4所示，使用Hough梯度进行圆检测，而直线段检测有LSD算法完成。随后根据两者之间的位置关系判断销钉是否与螺母分离脱落。

图4 螺母尺寸背景下的销钉检测

2 数据集与模型训练

2.1 数据集准备

本文使用的数据集是由无人机巡检时获得的图像。本文针对输电线路销钉脱落故障检测这一任务，将数据集分为了3个部分，其中训练样本3600张，验证样本1 200张，测试样本1 200张，测试集中的1 200张样本都不存在于训练样本和验证样本中。其中，故障销钉和无故障销钉两个类别各占3个样本集的50%。

2.2 模型训练

本实验的计算机配置为Intel(R) Core(TM) i7-7820X 3.6 GHz CPU，TITAN Xp GPU，64 G 内存，采用Tensorflow深度学习框架，使用Faster R-CNN实现网络模型的训练，先后选取VGG16，ResNet-50，ResNet-101和ResNet-152预训练模型对前置ImageNet网络进行初始化。根据多次实验经验所得，本文在训练阶段设置学习率为0.001，反向梯度的动量为0.9，学习率衰减权重为0.1，批尺寸大小为256，NMS阈值为0.7，其前后候选框个数分别为12 000和2 000，交集并集比(Intersection over Union, IoU)大于0.7时为正样本，IoU小于0.3时为负样本。模型检测效果以平均准确率作为主要评判标准，检测用时为次要标准。

3 实验与结果分析

3.1 销钉故障检测过程

使用Faster R-CNN算法对销钉故障检测效果的测试过程，首先根据2.1节中的数据集划分方式，将测试集中1 200张图片(600张有销钉图片、600张无销钉图片)同时输入至2.2节中训练得到的检测模型。检测模型的卷积层分别对输入的每一个测试图片进行特征提取，提取出的特征图中包含有前景(螺母-销钉或单螺母)和背景的特征。随后检测网络中的区域候选层将特征图划分成若干个区域，并对每个区域生成不同尺寸的候选框，接着用一组全连接层对候选区域进行分类，判断是前景还是背景，再用另一组全连接层对不同尺寸的候选框进行回归选出能够较好的将前景包含在内的候选框。最后将筛选的结果与之前提取的特征图一同输入由全连接层(分类器与回归器)组成的检测网络中，其中回归器用于进一步锁定目标的边框位置，分类器用于判别是螺母-销钉和单螺母中的哪一类，从而完成销钉是否脱落的故障检测过程。

为保证实验结果的客观性，进行了多次重复实验。每次实验都对数据集随机划分为训练集、验证集和测试集。通过对实验结果进行平均得到以下结果。

3.2 不同模型检测效果对比

通过对2.2节中训练得到4种检测模型进行测试，并计算查准率(Precision, P)、查全率(Recall, R)和平均精度(Average Precision, AP)。

(1)

以故障销钉为例，查准率表示检测出的故障中，正确检测的比例；查全率表示所有故障中被检测出的比例；其中TP为挑选出的故障销钉中判断正确的数量，FP为判断错误的数量，FN为未被检测出的故障销钉的数量。根据实验结果绘制对应的Precision-Recall曲线，如图5所示。

图5 4种Faster R-CNN检测模型Precision-Recall曲线

根据Precision-Recall曲线，可计算每一分类的平均精度。平均精度是衡量模型在某一分类上检测性能，是对Precision-Recall曲线上11个点(当Recall≥0,0.1,…,1时Precision的最大值)的平均。在此基础上计算所有类别平均精度的均值，即均值平均精度(mean Average Precision, mAP)用以判断模型的整体性能。并将以上实验结果和检测时间汇总为表1所示。对于正常销钉的平均精度来说，ResNet-50模型的效果最好，其次是ResNet-152，再者是ResNet-101，最后是VGG16；对于故障销钉的平均精度来说，ResNet-50、ResNet-152和VGG16不相上下且不如ResNet-101模型的效果好；对于均值平均精度，ResNet-101模型的效果依旧优于其他3个模型；在检测时间的消耗上，随着模型复杂度的增加，VGG16、ResNet-50、ResNet-101和ResNet-152模型的用时也随之递增，其中ResNet-152模型的耗时近乎是VGG16模型的两倍。图6为ResNet-101模型的检测效果。

表1 4种Faster R-CNN模型检测结果

图6 销钉故障检测效果

通过对比不同模型的检测效果可以看出对于好的销钉的检测效果远超于对坏的销钉的检测效果。主要原因为输电线路网络中，除了螺母-销钉的加固部件外，还存在有单独的螺母零件，它与销钉脱落后的螺母相比，仅是否有销钉孔这一区别。由于拍摄角度、光线等因素的影响，存在一定的可能性将销钉脱落后的螺母与单独的螺母混淆，而螺母-销钉结构相对独特，以至于两者检测效果相差较大。总体效果而言，ResNet-101模型的表现明显优于其他模型，特别是在检测坏的销钉方面。越为复杂的深度模型，越依赖数据的丰富性。与整个庞大的输电线路系统相比，部件故障出现的情况十分稀少，对于销钉这类微小部件更是少见，数据量不足这是导致ResNet-152模型的效果不如ResNet-101模型的原因。

3.3 不同算法检测效果对比

根据3.1节的实验结果，选取最优模型ResNet-101模型与其他目标检测算法进行对比，实验结果如表2所示。根据表2的实验数据，不可否认传统目标检测算法在检测时间方面比深度学习方法要快。不过检测精度还是无法与Faster R-CNN算法比拟。以ACF+Adaboost算法为例，虽然销钉脱落故障的检测时间仅为Faster R-CNN算法的1/4，但其误检率较高，导致整体精度下降。而Hough+LSD算法的缺陷比较明显，由于销钉在无人机巡检图像中仅占一小部分，像素总数相对较少，同时图像中其他直线段特征存在干扰，以至于检测效果远低于Faster R-CNN算法。

表2 3种目标检测算法检测结果

4 结束语

实现无人机巡检图像中输电线路销钉脱落故障的自动检测，是保证输电系统安全稳定的重要前提。深度学习在无人机巡检图像检测任务中具有非常好的应用前景，本文在此基础上，研究不同Faster R-CNN网络模型对无人机巡检图像中销钉脱落故障检测效果的影响，同时本方法的准确率都优于经典图像检测算法。在实际应用中可以节省大量人力和时间成本，极大地提升巡检效率，及时处理输电线路系统中存在的安全隐患。

未来的工作中，将搜集更多的图片样本，扩大样本库建设，优化深度学习算法，提高识别准确率以及增加识别的关键部件种类，推动无人机全自动化巡检的研究进程。