基于轻量级深度卷积神经网络的绝缘子检测

刘欣宇, 缪希仁， 庄胜斌， 江灏， 陈静

(福州大学电气工程与自动化学院， 福建 福州 350108)

0 引言

输电线路巡检是电力部门的日常工作， 绝缘子的状态巡视是其中的重点项目， 若能在无人机巡检图像中自动定位并识别出绝缘子， 利用机载智能检测终端完成初步的图像筛选， 则可以极大地缓解线路运检维护人员的工作压力和强度， 并为后续绝缘子智能诊断技术的研究奠定基础[1-2]. 然而， 输电线路覆盖范围广泛， 沿途地貌多样， 无人机航拍条件复杂， 增加了绝缘子的检测难度[3].

现有的绝缘子检测方法大多需人工设计合适的特征提取器来获得航拍的图像特征， 用于区分前景与背景. 根据所提取图像特征的不同， 绝缘子的人工特征可以分为颜色特征、 形状特征和纹理特征[4]3类.

基于颜色特征方面， Reddy等[5]将原图转换到Lab色彩空间， 对此色彩空间上的颜色特征进行K-means聚类， 然后应用自适应神经模糊推理系统(adaptive network-based fuzzy inference system, ANFIS)检测出11 kV配电网的绝缘子所在图像区域. 在此基础上， Reddy等[6]进一步采用支持向量机SVM替换ANFIS作为特征分类器， 提高了检测精度. 但此类基于颜色特征的方法对于绝缘子与背景的颜色区分度要求较高， 在实际复杂背景下检测效果并不理想.

基于形状特征和纹理特征的方法更能适应背景的变化， 其鲁棒性更高. Oberweger等[7]提出一个基于椭圆描述算子的检测算法， 利用高斯差模型提取角点， 用K邻近算法聚类所提取到的角点， 最后用椭圆描述算子判断属于绝缘子的角点. Zhao等[8]提出一种基于多角度检测和二进制形状先验知识的绝缘子检测算法， 在灰度图中提取形状特征进行基于先验知识的分类. 彭向阳等[9]提出了基于梯度直方图特征的绝缘子检测算法， 自动提取和定位可见光图像中的绝缘子. Wu等[10-11]利用半局部算子提取图像的半局部纹理分布， 并利用全局最优活动轮廓分割出绝缘子. 王万国等[12]融合颜色、 形状和纹理特征检测绝缘子， 提取出图像中的平行线段及利用局部二值模式和颜色连通域分析来检测绝缘子所在区域.

然而， 上述方法均依赖手工设计特征， 一方面， 人工特征提取对图像预处理的要求极高； 另一方面， 精细的特征提高了精度， 但牺牲了检测速度. 因此， 特征提取器的设计需要权衡检测速度与检测精度之间的矛盾， 特别是面对海量的巡线图像时， 高效率的检测方法才能保证日常巡线工作的时效性， 以保障电力系统的安全可靠. 针对上述问题， 本研究面向航拍巡线图像， 提出一种基于轻量级深度卷积神经网络(convolutional neural network， CNN)的绝缘子快速检测方法， 利用可在无人机板载系统运行的轻量级卷积神经网络代替人工设计的特征提取器， 实现高效率的图像特征提取. 同时， 使用深度目标检测网络 (single shot multibox detector, SSD)处理所提取特征， 快速检测出航拍图像中的绝缘子.

1 绝缘子检测原理

图1 绝缘子检测算法原理图

针对目前绝缘子检测速度慢和鲁棒性低的问题， 提出基于轻量级深度卷积神经网络的绝缘子快速检测算法. 方法原理如图1所示， 在离线训练阶段中， 将历史巡线影像作为原始数据库， 通过数据预处理获得训练数据集和测试数据集； 将训练数据集输入构建好的SSD网络中进行训练， 形成基础模型并进行固化操作， 以获得检测模型. 在检测阶段， 将待检测数据直接输入训练好的检测模型中， 即可迅速得到绝缘子的检测结果.

1.1 数据预处理

图2 数据预处理流程图

数据预处理的流程如图2所示. 首先对图像加以旋转、 裁剪处理， 然后在图像中标注出绝缘子的种类名称和所在位置并以XML文档格式保存. 标注完成后， 将图像库随机抽出部分数据(包括图像与对应的标签)作为训练图像集用于模型训练， 剩下的另一部分作为测试图像集用于验证检测结果. 最终， 将上述两个图像集转换为用于高效计算的TFRecord文件格式.

1.2 深度目标检测网络(SSD)

SSD旨在解决现有实时目标检测框架中速度和精度之间的权衡问题[13]. 与之前算法相比， SSD用卷积层替换全连接层， 实现任意尺寸的图片输入， 特别适用于目前无人机巡线尚未统一像素尺寸的情况[14]. SSD网络结构如图3所示. 基础网络用于提取输入图像的特征， 辅助网络采用3×3的小卷积核挖掘更深层的特征且在6个特征图上生成了一系列固定尺寸的边界框， 利用这些特征计算出绝缘子坐标框的位置偏移量以及相应的置信度， 在此基础上， 采用非极大值抑制(non-maximum suppression， NMS) 生成最终的检测结果.

基础网络用于提取高质量图像特征. 本研究采用轻量级网络MobileNet作为基础网络， 网络中的可分离卷积缩减了网络参数和计算量[15]， 其示意图如图4所示. Depthwise卷积由M个3×3×1的卷积核构成， 其中M是输入数据的深度； Pointwise卷积由N个1×1×M的卷积核构成， 其中N是输出数据的深度. 输入在两种卷积操作后， 还需分别进行批次归一化(batch normalization， BN)正则化操作[16]和ReLU激活函数层的处理.

图3 SSD网络结构图

图4 可分离卷积示意图

MobileNet的网络结构参数如表1所示. 第一层采用3×3的标准卷积核以及32的深度以提取图像的浅层特征， 后续13层采用3×3的可分离卷积核， 以小尺寸卷积核的堆叠来代替传统网络中的大尺寸卷积核， 同时利用步长为2的卷积层代替池化层， 此举放缓了网络的下采样进程并提取出表达能力更强的深层特征. 其中， 在可分离卷积层2、 4、 6、 13进行下采样并加深卷积层的深度， 以提取不同尺寸特征图的深度图像信息.

表1 基础网络MobileNet的模型参数

SSD模型在基础网络之后增加了额外的辅助网络用以生成绝缘子检测器， 预测绝缘子目标位置和类别. 辅助网络有以下3个关键.

1) 辅助网络是在基础网络后增加的一系列卷积层. 这些卷积层在尺寸上递减， 形成多范围感受野的特征图， 以预测多尺度的目标物体. 如图3所示， 浅层特征图尺寸较大， 但是其感受野较小； 而深层特征图的特性则反之. 这种特性使得网络有能力对输入图片进行多尺寸的深度特征提取， 提高绝缘子在尺寸较小情况下的识别准确率.

2) 每个特征图都对应一系列默认边界框. 近年提出的区域提议网络(region proposal network， RPN)利用区域提议的方法进行辅助定位[17-18]， 与常规的后端找框方法不同， SSD在一开始就定义了一系列固定的默认边界框， 这些边界框拥有不同的横纵比和比例系数. 假设有F(本研究F=6)个用于预测目标的特征图， 其中， 每个特征图的默认框比例系数依据如下公式生成

(1)

(2)

式中：N是匹配的默认框个数；Lconf是置信度损失；Lloc是位置损失；β为位置损失的权重系数；x为输入数据；c为置信度；l和g分别代表预测框和真实框. 其中，Lconf采用背景类和目标类置信度之间的Softmax损失， 计算方式如下

(4)

(5)

(6)

(7)

输入图像经过SSD模型计算后生成若干预测框， 这些预测框可能存在相互包含或交叉的情况， 因此需要利用非极大值抑制算法过滤掉多余的检测结果. 非极大值抑制算法的核心是搜索局部极大值， 抑制非极大值元素， 通过框与框之间的交叠率来完成聚类划分， 移除交叠率较高的预测框. 具体流程如下： 首先计算网络输出的每个预测框的置信度， 滤除置信度低于0.01的边界框； 计算剩下的每个预测框面积并按置信度大小进行排序； 选定置信度最高的预测框， 然后计算这个选定框与周围预测框的交叠率， 移除大于设定IoU阈值的预测框.

2 实验结果分析

研究的原始数据集图片以山丘和树林为主要背景， 绝缘子的种类包括瓷质绝缘子和复合绝缘子， 所有图片数据都来自实际的电网无人机巡线. 原图像素尺寸为4 000 px×3 000 px， 经过图像预处理后的尺寸都小于1 000 px×1 000 px. 瓷质绝缘子与复合绝缘子总共400张图片， 随机抽取出3/4作为训练集， 余下1/4作为测试集. 其中， 训练集包含瓷质绝缘子图片137张， 人工标注的瓷质绝缘子个数为144个； 包含复合绝缘子图片163张， 人工标注的复合绝缘子个数为179个. 测试集包含瓷质绝缘子图片40张， 标注41个； 包含复合绝缘子图片60张， 标注61个.

2.1 模型训练过程

训练过程中的主要参数设置如下： 默认框的横纵比ar∈{1， 2， 3， 1/2， 1/3}； 模型的参数更新方式为均方根误差优化(RMSProp)， 其初始化的学习速率为0.004， 动量系数为0.9， 训练批次大小为24； NMS阶段中的置信度阈值为0.01， IoU阈值为0.6； 训练迭代次数为3万次. 算法使用TensorFlow深度学习框架[19], 在一台服务器上实现， 服务器的环境是Ubuntu 16.04.3 LTS， Intel Core i7-6850@3.60 GHz 12 CPUs， NVIDIA GeForce GT 1080 Ti GPUs搭配8.0版本的CUDA和6.0 版本的cuDNN， 内存共32 GB.

图5 平均准确率随训练步数变化曲线

离线训练过程如图5所示， 一个训练步数代表模型参数整体更新一次， 每步训练的平均时间为0.41 s. 由图5可见， 在模型训练1万步后， 两类绝缘子在测试集上的平均准确率已达到80%附近， 并随着步数增加而稳步上升， 2万步后趋向平稳. 训练后的基础模型占用内存空间为98.5 MB， 经过固化操作后， 模型大小仅有22.7 MB， 满足嵌入式移植的要求.

2.2 瓷质绝缘子检测效果

研究对500 kV线路瓷质绝缘子进行实验， 从测试集检测出瓷质绝缘子42个， 其中39个正确识别， 3个误识别， 2个漏检. 部分结果如图6所示， 红色框为人工标注的真实框， 绿色框为结果框. 瓷质绝缘子由白与红的绝缘子片构成， 与天空背景的区分度较低， 但本研究提出的检测方法能较好地完成检测任务. 同时可以看出图中的绝缘子都有着不同角度的倾斜， 而且绝缘子并非都处于图像的正中心. 在这种情况下， 本方法检测出的检测框依然十分贴合真实框， 具有较高的交叠率.

图6 500 kV线路瓷质绝缘子检测结果

2.3 复合绝缘子检测效果

在220 kV线路复合绝缘子的实验中， 算法从测试集中检测出复合绝缘子57个， 其中52个正确识别， 5个误识别， 9个漏检， 部分结果如图7所示. 由于复合绝缘子的绝缘子片是褐色的， 而且形状上较为细窄， 导致绝缘子无论在简单背景还是复杂背景中的区分度都很低， 特别容易受到颜色相近的铁塔部件的干扰. 然而， 在这种检测难度较高的情况下， 本方法依然能够准确检测出横、 竖不同角度的复合绝缘子.

图7 220 kV线路复合绝缘子检测结果

2.4 检测结果定量分析

图8 准确率-召回率曲线图

本研究采用3个常见评价指标, 即准确率(P)、 召回率(R)以及平均准确率(PA)[20]， 定量评估所提出算法的检测精度. 结果如下： 瓷质绝缘子的检测准确率为92.85%， 召回率为95.12%； 复合绝缘子的检测准确率为91.22%， 召回率为85.24%. 本方法的P-R曲线如图8所示， 随着召回率逐渐上升， 准确率一直保持在较高数值， 当召回率接近90%时有小幅度下降， 在召回率接近100%的极端情况下才急剧下降. 两类绝缘子的P-R曲线都呈现右上凸，PA分别为： 瓷质绝缘子96.29%， 复合绝缘子90.85%， 代表本方法在准确率和召回率上有一个很好的平衡， 检测精度性能出色. 此外， 采用每秒检测帧数(F·s-1)作为算法速度的评价指标. 本方法在裁剪后的图片(1 000 px×1 000 px)上的平均检测速度为43 F·s-1； 在原图(4 000 px×3 000 px)上依然能达到35 F·s-1； 在720 P和1 080 P的视频上分别取得43 F·s-1和39 F·s-1的速度， 满足实时检测的速度要求. 方法的整体性能总结于表2. 表中TP表示绝缘子被正确识别的个数； FP表示绝缘子被误检的个数； FN表示绝缘子被漏检的个数.

表2 绝缘子检测算法整体性能

为了测试SSD模型中默认框比例系数的影响， 选取6种不同的系数组合进行实验， 结果如表3所示. 算法在smin=0.20，smax=0.95时取得最好效果. 当smin减小， 网络浅层的默认框尺寸减小， 瓷质绝缘子的检测精度出现较大幅度下降， 复合绝缘子的检测精度略微下降； 当smax减小， 深层的默认框尺寸缩小， 两种类别的检测精度均出现了较明显的下滑. 这表明复合绝缘子的检测更依赖网络深层默认框的图像特征， 瓷质绝缘子的检测对浅层与深层默认框均较为敏感. 但当系数继续增大时， 精度并没有进一步提升， 说明默认框的尺寸与最终的检测精度有密切关系， 一个合适的系数可以更好地拟合待检测物体的尺寸， 使更多的默认框能贴合图像中的绝缘子目标， 有助于网络学习到绝缘子的图像特征.

表3 默认框比例系数分析

表4 深度学习算法对比

为验证所提算法的优势， 额外测试两个常用的深度目标检测算法Faster R-CNN[18]及R-FCN[21]， 实验配置与本文算法一致， 测试结果如表4所示. 得益于区域提议网络的使用， Faster R-CNN和R-FCN均取得了较高的精度， 其中R-FCN在复合绝缘子上获得了最高精度， 这是由于R-FCN在网络结构中引入了全卷积网络， 达成更多的网络参数和特征共享， 强化了对复合绝缘子的特征表达能力. 但由于区域提议网络需要较大的计算资源， 两种对比算法的计算速度远远慢于本文所提算法. 本文算法的平均精度高于Faster R-CNN， 近似于R-FCN， 检测速度是其他两种算法的5倍以上， 更加符合巡线的实时检测需求.

3 结语

针对航拍巡线图像中的绝缘子检测， 建立基于轻量级深度卷积神经网络的目标检测模型. 该检测模型无需人工设计特征提取器， 依靠卷积神经网络CNN提取特征、 处理特征， 形成端到端的检测网络， 并且拥有多类目标检测、 任意尺寸输入的功能. 采用MobileNet作为目标检测算法的基础网络， 实现了绝缘子的高速高精度检测. 实验表明， 对500 kV线路上的瓷质绝缘子和220 kV线路上的复合绝缘子的检测精度分别达到了96.29%与90.85%， 平均检测速度达到43 F·s-1， 能够满足绝缘子实时检测的要求. 后续研究围绕嵌入式算法移植以及更多类别部件的检测与故障诊断展开， 逐步提升电力巡线系统的智能化水平.