基于改进Faster-RCNN的输电线路巡检图像检测

魏业文， 李梅， 解园琳， 戴北城

(1. 三峡大学电气与新能源学院，湖北 宜昌 443002；2. 湖北省输电线路工程技术研究中心(三峡大学)，湖北 宜昌 443002)

0 引言

输电线路是电力输送的载体，绝缘子、均压环等电气设备作为输电线路中的重要组成部分，主要起着支撑固定线路、改善电压分布、承受负荷压力等稳定线路的作用。然而输电线路设备在复杂的户外环境下时常遭到破坏，容易出现电气闪络、材料老化等情况[1—3]。输电线路上鸟巢等异物也可能降低设备的绝缘强度，导致线路跳闸等故障，进而引发停电事故[4—7]。因此，对输电线路设备及异物进行巡检识别是保证电网安全稳定运行的关键。

目前，我国普遍使用的输电线路巡检方式是无人机巡检，不受气候与地形限制，可多角度精准拍摄，具有较高的可靠性[8—9]。无人机巡检通过采集海量数据，由人工进行电力设备及设备缺陷的识别，但是人眼精力有限，排查时不但耗时耗力，且数据量大，容易出现错误的判断[10—11]，因此，实现自动识别图像中的电力设备及设备缺陷能极大地加快输电线路巡检的速度，提高故障切除的效率。

传统的目标识别方法主要通过对图像进行预处理，提取目标的轮廓特征来达到识别的目的。文献[12—13]通过图像分割、边缘检测提取电力设备特征信息进行识别，虽能够达到识别的目的，但是并未考虑多变的环境对图像识别的影响，而且识别响应时间较慢，无法满足现代电网发展的需求。而深度学习凭借优异的性能不断发展，为解决上述问题提供了思路[14]，其检测方法主要分为单阶法和双阶法2类。单阶法包括实时快速目标检测(you only look once，YOLO)法和单步多阶目标检测(single shot multibox detector，SSD)法等[15]，是基于回归的思想直接对目标进行识别与分类。双阶法包括区域卷积神经网络(region convolutional neural network，RCNN)、快速区域卷积神经网络(fast-region convolutional neural network，Fast-RCNN)以及更快速区域卷积神经网络(faster-region convolutional neural network，Faster-RCNN)等，是基于生成大量目标候选框进行特征提取实现检测[16—17]。文献[18]通过YOLO算法对多尺度多环境下的杆塔状态进行精准识别，但未能实现电力小部件的检测；文献[19]采用Faster-RCNN算法将隐患目标与背景通过泊松融合来输出合成样本，提升了识别物体的性能，但识别精度和识别速度还有待进一步优化。

上述研究方法虽取得了一定的成果，但其仅限于单一的目标识别，并不能全面地进行输电线路识别。而且随着电力数据的增长，算法的数据处理能力有限，识别速度和识别精度难以满足现场需求。为了能够在复杂环境下快速识别并精确定位输电线路设备及设备缺陷，文中基于Faster-RCNN深度学习算法，将轻量化卷积神经网络(zeiler and fergus net，ZFnet)作为预训练模型，并改变其网络参数以提取更多目标特征，增强网络训练能力。改进Faster-RCNN深度学习模型，在网络输出阶段增加精炼网络进行检测细化，实现目标的精确识别定位。实验结果表明，相较于传统算法，该方法有效提高了对输电线路目标的识别和定位精度，在输电线路安全运行方面可提供较高的可靠性。

1 基于Faster-RCNN的深度学习算法

1.1 Faster-RCNN算法框架

Faster-RCNN网络框架主要由2个子网组成，分别为区域提议网络(region proposal network，RPN)和Fast-RCNN检测网络[20—21]，如图1所示。RPN主要生成高质量的区域提议候选框，通过分类函数和边框回归函数判断并修正候选框，初步定位目标。输入的图像首先由卷积神经网络提取特征，RPN和Fast-RCNN检测网络共享该特征。进入2个子网后，RPN首先经过3×3卷积核卷积，再将卷积结果输入到2个1×1大小的卷积核分别进行运算。其中一个卷积核将特征图经Reshape处理转换格式后，由Softmax函数判断获取的锚框是否存在目标对象；另一个卷积核后接回归函数用以确定对象坐标。Fast-RCNN检测网络中的感兴趣区域(region of interst，ROI)，将卷积特征与提议候选框信息综合，提取出统一大小的提议特征块输入到全连接层[23—24]。再次利用分类函数计算提议特征块的类别，以及利用边框回归函数精确定位检测框的位置。

图1 Faster-RCNN的网络框架

1.2 RPN

RPN实质为一个卷积神经网络，以特征图上每个点为中心，采用滑动窗口方式遍历输入进来的特征图，并产生相应的锚点，同时在原图上映射出不同尺度(128，256，512)和不同比例(长宽比分别为1∶1，1∶2，2∶1)的锚点框[25—26]，可以使区域提议更准确。RPN结构见图2，由2个分支组成，其中分类层通过分类函数输出2k得分对目标进行分类，而回归层通过边框回归函数输出4k向量对目标进行坐标定位，去掉太小或超出边界的候选框并不断修正，最终输出可能包含目标的矩形候选框[27—28]。

图2 RPN结构

训练分类器和回归器使用的损失函数公式如下。

分类损失函数为：

(1)

回归损失函数为：

(2)

其中，

(3)

整个网络的损失函数为分类损失函数和回归损失函数之和，其表达式为：

(4)

式中：λ，Ncls，Nreg为运算系数。

2 改进Faster-RCNN算法

2.1 改进Faster-RCNN算法框架

在实际输电线路中，电力设备的大小和形状差异较大，例如绝缘子、均压环、线路导线等。由于目标对象的大小不同，为了包含小对象和较大的对象，传统Faster-RCNN给出的提议框都偏大。在这种情况下，系统不仅要处理物体区域本身的变化，还要处理外部区域的变化，检测效率低且产生误差。

为解决上述问题，在传统Faster-RCNN网络结构后面引入了一个精炼阶段，增加了2个细化步骤，分别为分类细化和回归细化。图3为改进Faster-RCNN算法流程。

图3 改进Faster-RCNN算法流程

细化步骤的结构与Faster-RCNN中的分类和回归步骤相似，但是在回归器之前添加了一个新的全连接层，用以整合网络有用的信息。分类细化步骤将卷积特征映射和Faster-RCNN运算中的ROI作为输入，重新进行分类和回归，给出的建议框比之前更接近目标对象，而且可以有效滤除背景造成的影响。回归细化步骤将ROI更精确地移向目标对象，并可在回归优化之后实现对目标对象周围多个边界框的合并，以提高目标对象位置坐标的准确率。

2.2 改进ZFnet模型

深度学习Faster-RCNN框架中卷积神经网络预训练模型的选择至关重要。考虑到检测的时效性以及检测的速度，选择轻量化的卷积神经网络模型ZFnet。ZFnet由5层卷积、3层池化和3层全连接层构成，是由AlexNet演变而来，将第一层的卷积核大小由11×11简化为7×7，并缩短步长为2。ZFnet结构简洁，运行速率快，为了满足在线路巡检中目标识别检测中的高实时性要求，选择ZFnet模型进行预训练。考虑到不同层的卷积核大小对系统特征提取的细节不同以及参数不一致问题，对ZFnet模型进行微调，网络模型如图4所示。将第一层卷积核大小由7×7改为5×5，增加线路设备目标提取的特征；再将第五层卷积核大小由3×3改为4×4，减小训练模型的参数，缓解网络发生过拟合现象。同时，将池化层卷积核大小由3×3改为2×2，更加细致地进行了特征筛选，丰富了图像的信息提取，抗干扰能力加强，模型更加泛化。

图4 改进ZFnet模型结构

2.3 网络训练

改进Faster-RCNN算法通过2个阶段进行训练：Faster-RCNN训练阶段和精炼网络训练阶段。

2.3.1 Faster-RCNN训练阶段

对改进后的ZFnet模型进行预训练，分别初始化RPN和Fast-RCNN，利用反向传播算法对其特征层和卷积层的权重进行调节优化。再利用训练好的子网络Fast-RCNN初始化RPN，以达到卷积特征的共享，然后再次进行网络调优。在训练过程中，利用交并比函数(intersection over union，IOU)对生成的锚点框标定正负标签。锚点框与真实标注框重叠率在0.6以上或者重叠率最大的区域标记为正标签(包含目标)；锚点框与真实标注框重叠率在

0.3以下标记为负标签(不包含目标，为背景)；剩下的[0.3，0.6]区间不予考虑，不用于最终训练。

2.3.2 精炼网络训练阶段

在精炼阶段，Faster-RCNN的输出区域被作为精炼网络的输入。使用抖动技术对ROI进行训练，在训练分类器的同时训练回归器。在ROI周围随机采样几个边界框后送入精炼阶段,然后学习位置的变化，在测试中提高定位精度。给定一个宽度为w0，高度为h0，以坐标(x0，y0)为中心的ROI，对以(x1，y1)为中心的样本边界框按如下方式进行采样：

(5)

式中：Δx，Δy，Δs为在[-r/k，r/k]中均匀分布的随机数；r=min(w0，h0)；k为常数。

通过对精炼阶段的分类器和回归器进行训练，使所有边界框都能更好地选中目标对象。网络训练过程如图5所示。

图5 网络训练过程

3 仿真性能测试

为验证所提改进Faster-RCNN算法的智能识别检测性能，对绝缘子、均压环等电力部件以及缺陷(鸟巢)进行识别检测实验。

3.1 实验环境

文中在64位Windows10操作系统下实验，处理器为Intel(R) Core(TM) i3-3240 CPU，在Anaconda3+Tensorflow框架下完成。构建数据集，样本图像由安装在湖北某地区的试点监控设备拍摄，共600张。为了避免数据集太少导致训练过程产生较大误差，将原始样本进行旋转、剪切、变换比例以及添加噪声等处理以增强数据。将数据增强后的1 800张样本以6∶3∶1的比例分别作为训练集、测试集和验证集。其中训练集1 080张样本中包含绝缘子、均压环、鸟巢样本各868张，751张，624张。

3.2 数据分析

3.2.1 损失函数

损失函数作为目标检测识别的一个重要评价指标，能直观地反映模型的优劣程度，即损失函数值L收敛越快，则模型表现越优。实验中设置学习率为0.001，迭代次数为10 000，动量为0.9，权重衰减为0.000 5。为了验证文中模型的效果，引入Alexnet，与Faster-RCNN+ZFnet模型和改进Faster-RCNN+改进ZFnet模型进行对比，损失函数曲线L见图6。在初始阶段，3种模型的L都迅速下降，其中改进Faster-RCNN+改进ZFnet模型下降速度最快，损失函数曲线迅速达到收敛。而Faster-RCNN+ZFnet模型和Faster-RCNN+Alexnet模型经过震荡逐渐下降。随着迭代次数的增加，最终3种模型均收敛趋于稳定。相比之下，改进Faster-RCNN+改进ZFnet模型损失函数曲线下降速度最快，波动幅度较小，提前达到收敛，整体性能优于其他2种模型。

图6 3种模型的损失函数曲线

3.2.2 识别效果

由于Alexnet损失函数收敛情况不如ZFnet，故选用基于ZFnet的Faster-RCNN模型作进一步识别对比。图7和图8为模型识别效果。

图7 2种算法识别效果对比

图8 杆塔鸟巢识别

图7中Faster-RCNN+ZFnet模型能较好地识别出线路的绝缘子和均压环，但对画面中较远距离及较小尺寸的部件(远处角落的防振锤)没有识别能力，且对双串绝缘子的识别存在漏检的情况，对遮挡的部件检测效果不佳。改进Faster-RCNN+改进ZFnet模型由于其网络精炼再分类，可提取到目标更多的特征和细节，不仅能检测到线路中较远距离的电力部件，而且对线路中绝缘子和均压环的检测精度相较于Faster-RCNN+ZFnet模型有一定提升，对遮挡的双串绝缘子也有较好的识别效果。

杆塔异物多样，如鸟巢、蜂窝等，形态各异严重影响输电线路巡检识别的效果。图8(a)、(b)为Faster-RCNN+ZFnet模型的鸟巢识别效果，图8(c)、(d)为改进Faster-RCNN+改进ZFnet模型的鸟巢识别效果。Faster-RCNN+ZFnet模型能识别出杆塔上的鸟巢，但由于受到较多信息干扰其检测框相对偏大，且在图8(b)中误将缠绕在一起的电线识别为鸟巢。而改进Faster-RCNN+改进ZFnet模型可针对鸟巢特征进行训练，能够在复杂的背景下保持较好的识别率。与Faster-RCNN+ZFnet模型相比，改进后的模型在鸟巢的识别精度上有较大的提高。

比较Faster-RCNN+ZFnet与改进Faster-RCNN+改进ZFnet模型的性能，从测试集中选取存在绝缘子、均压环和鸟巢的样本各100张，从识别比例(识别出目标的图片与测试图片总数的比率)、速率以及误报率(错误识别目标的图片与测试图片总数的比率)3个方面进行分析，结果如表1和表2所示。

表1 Faster-RCNN+ZFnet算法识别效果

表2 改进Faster-RCNN+改进ZFnet算法识别效果

分析可知，对于像绝缘子、均压环等大目标，2种算法都能精确检测，识别比例在90%以上。绝缘子易被遮挡，改进型算法虽耗费一定的时间，但在识别比例上与传统型算法不相上下，且对遮挡的目标有较好的识别效果。改进型算法总体识别比例更高且误报率低于10%，优于传统算法。对于像鸟

巢等特征不突出的目标，传统型算法误报率达到13%且时间消耗多，改进型算法相较之下仍能保持快速准确识别，在目标的精准识别上更具优势。

3.2.3 准确率

准确率可作为模型的另一个评价指标，用Aprecision来表示，计算如下：

(6)

式中：NTP为所测图片中实际包含电力设备及缺陷等目标并被正确识别的图片数量；NFP为实际没有这些目标但是被错误识别的图片数量。

图9为基于不同网络(Alexnet和ZFnet)以及改进后的模型总体目标识别准确率对比。随着迭代次数的增加，5种模型的目标识别准确率都逐渐提高。由于改进Faster-RCNN+改进ZFnet算法网络层数略多于其他4种模型，故网络表达能力更强，学习效果更优，能更快达到较高的识别准确率97.1%；改进Faster-RCNN+ZFnet模型的识别准确率为96.5%；Faster-RCNN+改进ZFnet模型的识别准确率为95.7%；传统模型Faster-RCNN+ZFnet经过波动后最终准确率达到95.2%；Faster-RCNN+Alexnet模型准确率达到93.5%。

图9 5种模型的目标识别准确率对比

经大量的实验验证，文中算法可准确定位出绝大部分的绝缘子、均压环以及鸟巢等目标，但在某些特殊情况下也可能出现错误的检测结果，如图10所示。在图10中的不同复杂背景下，改进Faster-RCNN+改进ZFnet模型均能够较好地识别出目标。但图10(a)中，改进后的模型误将道路指示牌识别为绝缘子，其原因主要是道路指示牌与绝缘子有相似的纹理特征；图10(b)中，改进后的模型漏检右上方角落中被遮挡的绝缘子，原因是该绝缘子所处位置较远且被周围的钢材大面积遮挡，导致模型获取的目标特征不足。

图10 算法失效的识别结果

3.2.4 平均准确率均值

表3对比了图像识别法、SSD、YOLO和2种Faster-RCNN算法的平均准确率均值和识别速率，其中平均准确率均值用Emap表示。由表3可知，图像识别法耗时最久，每张识别时间超过了1 s。而深度学习算法YOLO、SSD、Faster-RCNN的响应时间均在1 s内，且平均准确率均值均在75%以上。这是由于图像识别法不能很好地滤除复杂环境背景的噪声，无法准确识别形态各异的目标。相较于SSD和YOLO，在识别速率相差不大的情况下，2种Faster-RCNN的平均准确率均值均达到90%以上，优于SSD和YOLO。另外比较传统Faster-RCNN+ZFnet和改进Faster-RCNN+改进ZFnet 2种算法，改进后的算法为了加强对目标的特征提取，虽识别速率略低于传统模型，但是其平均准确率均值精度达到93.5%，高出传统模型1.7%。改进Faster-RCNN+改进ZFnet的网络程度更深，提取特征更多、精炼阶段对其进一步分类回归学习，总体表现更优异，性能更可靠。

表3 不同方法识别性能对比

4 结语

文中提出一种输电线路巡检目标图像检测方法，采用改进Faster-RCNN深度学习算法实现对电力设备以及杆塔异物(鸟巢)的识别。通过改变预训练模型ZFnet的卷积核大小，一方面来获取更多的图像特征细节，另一方面减小参数，加快调优；再由改进Faster-RCNN深度学习算法进行目标识别；最后由分类细化和回归细化网络实现目标精准的分类和定位。通过对比不同网络模型以及不同识别算法，验证了改进后的深度学习模型Faster-RCNN具有明显的优势，对目标的检测时间和检测精度都有所提高，响应时间在1 s以内，识别精度达到了93.5%。所提方法能更好地满足输电线路智能巡检的要求。