基于AI技术的无人机机载前端智能图像识别

耿 山,吕建中

(国网河北省电力有限公司邯郸供电分公司,河北 邯郸 056035)

0 引言

近年来,我国电力工程建设不断加快,电网建设规模超越了美国,位居世界第一。输电线路传统人工巡检方式工作量大、劳动强度高、巡线效率低。无人机巡检因其智能、高效、省时等优势在输电线路巡检中广泛应用[14]。

无人机巡检关键核心技术之一是巡检图像的识别,其对无人机拍摄的图像进行分析判断,得到线路安全状态结果。传统的输电线路巡检图像识别技术算法,在对图像进行灰度、二值化等技术处理后,将图像解析成二维空间上黑白两种颜色的分布函数。利用理论计算结合实际经验给出规定的安全阈值,通过模型计算结果是否超出阈值来判断线路是否存在异常[59]。随着AI技术的飞速发展,如何将AI技术引入到无人机机载前端图像智能识别中已成为诸多学者研究的热点[10-12]。

对于输电线路巡检图像的识别,线路状态判断准确高效的AI模型是智能识别技术的关键。本文提出了一种应用于无人机机载前端的智能识别技术,通过Tensorfl ow平台建立卷积神经网络模型,基于卷积神经网络进行相应的学习与训练,分别对试验测试的影响、不同算法的影响及不同模型的实际训练测试结果进行分析研究,实现巡检图像的内容智能识别、智能故障判断与报警。

1 机载前端图像智能识别流程

本文研究机载前端智能识别技术主要用于建设无人机自主智能精细化巡检,硬件为经纬M210V2(RTK V2)无人机。无人机图像智能识别流程如图1所示,步骤①、②、③将拍摄的黑白照片变成单一黑白颜色的照片,照片数据以像素点为基础,每个像素点的值为0(黑色)或255(白色),形成的图像数据通过前端模型识别后(第④步)传出识别结果,并直接将识别结果存储于机载存储设备中,与原始彩色图像比对(步骤⑤)形成最终框选结果,用于前端实时显示监控(步骤⑦)。

图1 无人机识别流程

在无人机图像智能识别流程中关键环节为步骤④前端智能识别模型,模型的输入参数为预处理后的无人机拍摄图像,输出结果为不同设备是否故障的判断结果,在机载前端的模型参数是智能识别结果是否合理的关键。本文模型来源于卷积神经网络训练,结果保存在无人机机载前端,既保证了人工智能识别技术在前端图像识别中的合理应用,又适应了无人机前端系统体积小,高效优化的特点,避免在无人机机载前端进行大量复杂的计算,降低对无人机前端系统的系统要求,提高系统稳定性,降低能耗。

2 基于改进VGG-16卷积神经网络的无人机图像识别

2.1 图像识别卷积神经网络结构

卷积神经网络可减少参数数量,利用像素之间的位置信息,使每个像素与其周围图像联系紧密,具有更多的网络层数,表达能力更强,主要包括以下几个结构[13- 14]。

输入层:输入图像的基本信息,即图像的像素与色彩维度。

卷积层:即核心层,主要起到滤波器、卷积作用。通过权值共享特性,降低参数数量,防止由于参数过多而造成过拟合。

激活函数:向网络中加入非线性因素,加强网络的表示能力,解决非线性模型问题。

池化层:对输入的特征图进行压缩,简化网络计算复杂度,提取主要特征。

全连接层:建立一个以卷积层与池化层处理后的数据为输入的全连接神经网络。

2.2 适应无人机图像识别的VGG-16网络设计

VGG是由simonyan和Zisser man提出卷积神经网络模型,为一个16层的深度卷积神经网络模型[15]。为适应本文无人机拍摄得到的线路图像,对模型进行适应性改进,卷积神经网络的具体结构设计与输入图像的大小、卷积层的选取、池化大小的选取等因素有关。针对本文无人机图像的识别,以VGG-16网络为基础进行适应性改良,提出了3种不同的神经网络算法,见表1。

表1 3种不同神经网络结构参数

对于算法各参数的提出,考虑无人机拍摄图像的特点和对线路设备识别的需求,设计了较低的输入图像像素,可以降低神经网络的整体层数,减少训练时间和样本需求量。同时,对池化和激活层数的设计进行了改进,在单一单元中分布了至少3个以上的卷积,将池化组合重复,提高了训练精度。

3 实际应用测试

通过颜色空间转换、图像的阈值分割、形态学处理以及连通域标记,将设备、杆塔、导线、绝缘子串从原图像中提取出来,通过最小二乘法拟合绝缘子串所在直线并建立数学模型。

对于不同类型设备分别挑选3.5万张图像作为样本训练和测试,验证基于AI技术对无人机巡检图像识别方面的效果。图2给出了部分典型识别结果。

图2 典型识别结果

3.1 试验重复次数对结果的影响

随机抽取一定数量的图像作为训练样本组,对不同模型应用不同的算法进行训练,将模型识别结果与实际标注结果进行对比,得到不同模型不同算法的识别准确度。

单次试验保证不同算法的训练样本和验证样本相同。在此基础上,进行多组单次试验进行结果平均,以消除随机选择样本与验证图像选择的随机性对算法识别准确度的影响。

选定样本组图像25 000张,验证组图像为5 000张时,不同算法随机试验的平均准确度,随试验次数的增加结果如图3所示。初期,随机试验次数较少时,平均结果呈现不规则的波动,随着试验次数的增加,不同算法的平均准确度逐渐趋于稳定,当进行20次试验取平均值时,波动已经很小,即模型和算法已达到识别准确度均值。

在不同的算法中,绝缘子串模型的识别准确度波动最大,因为其结构和不同工况下故障图像的复杂性,增加了识别的难度。稳定性方面,曲线波动越小,代表每次随机试验的结果越平均,模型识别较稳定。算法稳定性排名依次为算法2、算法3、算法1。

3.2 不同算法的识别结果对比

上述试验次数结果中绝缘子串的稳定性最好,但从图3(b)、图3(c)对比算法2、算法3的准确度可知,算法3准确度更高。为了更直观的对比不同算法准确度,表2列出了不同算法的20次识别准确度结果。

图3 随机试验次数对试验结果的影响

表2 不同算法网络结构识别准确度

结果表明,对应不同特性的图像,3种算法的识别准确度略有不同,算法1采用了低像素图像的输入,其识别准确度最低。同时,由于采用了低像素处理,随意复制绝缘子串的图像,造成了识别度的明显下降。算法2与算法3均采用了高像素输入,但池化的大小选取不同,使得其卷积神经网络的层数与深度亦不同。虽然算法3的稳定性稍差于算法2,但算法3的值在各种图像类别的识别中要好于其他2种算法,故可采用算法3的卷积神经网络模型进行后续模型训练。

3.3 算法3绝缘子串模型ROC曲线特征

根据实际应用结果,选择算法3的结果绘制绝缘子串识别模型的接收器操作特性曲线(简称“ROC曲线”)。ROC曲线定义以下4种情况。

(1)真阳性(TP):检测有绝缘子串,且实际有绝缘子串;正确肯定匹配的数目;

(2)假阳性(FP):检测有绝缘子串,但实际无绝缘子串;误报,给出的匹配不正确;

(3)真阴性(T N):检测无绝缘子串,且实际无绝缘子串;正确拒绝非匹配的数目;

(4)假阴性(FN):检测无绝缘子串,但实际有绝缘子串;漏报,没有正确找到匹配的数目。

以假阳性率RFP=FP/(FP+TN)为横坐标,真阳性率RTP=TP/(TP+FN)为纵坐标,统计模型测试得到的识别结果及其返回的判断概率,统计得到不同概率时的RFP与RTP值,绘制得到ROC曲线如图4。结果表明,ROC曲线的线下面积代表了AUC值,AUC值越接进1代表模型预测越好,越有价值,算法3的绝缘子串识别模型的AUC值为0.84,模型预测良好。特殊值选择特定的可信度阈值0.75,模型的预测准确度达到0.954。

图4 算法3的绝缘子串模型ROC曲线特征

3.4 不同模型训练量结果对比

神经网络模型训练样本量对模型的识别准确度结果影响很大,不同的模型训练量,重复20次随机试验得到的最终识别结果见图5。

图5 4种不同模型测试准确度随训练样本数变化对比

对于设备模型的测试准确度随着训练演变数量的增加而增加,当训练样本数量较小时,测试准确度会随着样本数量的增加而大幅增加,但当训练样本数量从25 000增加到30 000时,测试准确度从0.92增加到0.96,增加的效果已经不明显。结合无人机巡检的常规识别准确情况,取25 000作为设备识别模型的基准训练样本数,既保证了模型准确性,又减少了训练成本。

4 结论

无人机前端图像识别作为输电线路无人机巡检的关键技术之一,决定着线路故障判断的准确率。本文基于人工智能算法中的卷积神经网络构建了设备识别、杆塔检测、导线检测、绝缘子串检测4个不同的人工智能模型,用于无人机前端图像识别的不同功能。通过实际模型样本训练学习、测试集测试证明了采用的128万像素输入,池化值为2的模型具有更高的识别准确度,识别准确度稳定所需的训练量从小到大依次为导线、杆塔、设备、绝缘子串,选取25 000个样本对本文模型进行训练,得到的模型参数用于实际无人机图像判别,判断准确度均可达到0.91以上。