基于全景成像的斜拉桥拉索表面缺陷检测研究

杨增祥,陈 琳,陈 悦

(国网浙江省电力有限公司台州供电公司 台州市 318000)

0 引言

我国地域辽阔、地形复杂、水系密布、桥梁众多,斜拉桥因跨度大、承载力强、造型优美,在我国道路交通中发挥着重要作用。拉索作为斜拉桥重要组成部分和主要受力构件[1],长期暴露于自然环境、经受日晒风吹雨淋。同时,拉索在周期和非周期载荷作用下产生复杂动态形变,建设在江河湖泊或海上的斜拉桥,拉索表面易受潮湿环境腐蚀,导致外部聚乙烯(PE)保护套形成翘皮、孔洞、缝隙等缺陷[2-3],如果不及时检测和修复,将引起内部钢丝束腐蚀,甚至生锈断裂,严重威胁斜拉桥安全[4]。

目前拉索表面缺陷检测主要采用两种人工方法:一是检测人员在地面通过望远镜远距离观察拉索表面,判断是否存在缺陷,容易漏检;二是检测人员搭升降机或吊篮,肉眼检查拉索表面状况,效率低、安全性差[5]。因此,拉索表面缺陷自动化检测水平亟待提高。其中,利用拉索机器人搭载视频采集设备获取拉索表面图像,采用图像处理技术实现拉索表面缺陷自动检测是普遍认可的技术方案。

在拉索表面缺陷检测方面,王建林等[6]研究了拉索表面缺陷分割方法,通过Lab颜色空间预处理获得图像背景掩膜,完成图像分割,效率高、结果准确,但依赖图像二值化结果,仅适用于前景与后景灰度变化大的场合。乔湘洋等[7]通过改进加权平均的权重系数,并与灰度相似函数相乘得到空间邻近函数,避免图像畸变。采用自适应窗口去除噪声,对缺陷边缘平滑处理进而提取缺陷,算法简单,准确率高。

传统图像处理难以区分特征相似缺陷,易受光照影响,鲁棒性差、检测精度低。随着深度学习技术的发展,其检测精度、速度和可靠性大幅提高[8]。许多学者利用深度学习方法检测斜拉桥拉索表面缺陷。

余朝阳[9]将Faster R-CNN深度学习模型用于拉索表面缺陷检测,相对于传统图像处理,检测速度提高了3倍。但Faster R-CNN为典型的两阶段模型,精度高但处理速度慢、耗时长。李运堂等[10]在常规YOLOV3模型的基础上,在特征提取网络中引入SPP结构,丰富不同尺度缺陷信息;利用CIOU作为损失函数,提高预测框精度,改进后的网络精度更高,速度更快。

文章利用与拉索表面材质相近的PVC管模拟拉索表面,在管材上构造孔洞、损伤、缝隙三种常见缺陷,搭建数据集,利用YOLOX网络实现缺陷检测,具有速度快、精度高、鲁棒性好等优点。

1 YOLOX网络

YOLOX网络由主干特征提取网络CSPDarknet、加强特征提取网络PAFPN、分类回归器YOLO Head组成。在图像输入部分,YOLOX采用Mosaic和MixUp进行数据增强,Mosaic通过随机裁剪、缩放、排布等方式拼接图像,大幅提高小目标的检测精度。

在主干特征提取网络CSPDarknet中,Focus结构采用单像素间隔取值,堆叠四个特征层信息,将输入图像通道数扩充4倍。dark2、dark3、dark4、dark5均包含CBS和CSP结构。CBS由卷积层(Conv)、归一层(BN)和SiLU激活函数组成,实现卷积标准化操作。CSP将输入图像主干部分通过残差块进行堆叠,另一部分经过卷积后与主干部分继续堆叠并卷积化处理。dark5在CBS和CSP之间增加了SPP结构,SPP将输入信息经过CBS处理后一部分通过5×5、9×9、13×13最大池化核处理,与未经处理的输入信息堆叠后再进行CBS操作。SPP可最大程度提升CSPDarknet的感受野,从而学习更完善的拉索表面缺陷特征。CSPDarknet最后输出三个有效特征层,分别为Y1、Y2和Y3。

加强特征提取网络采用PAFPN结构。其中,Y1、Y2、Y3三个特征层经过上采样、下采样、堆叠、CBS,CSP提取特征完成特征融合,分别输出至三个分类回归器YOLO Head。相对于其它YOLO算法,YOLOX的YOLO Head采用解耦头(Decoupled Head)对预测分支进行解耦,从而提高网络收敛速度。

在解耦过程中,YOLO Head首先对PAFPN输出的每个特征层进行CBS操作,将通道数减少至256;然后,添加两个并行分支,分别用于分类和回归,每个分支进行两次CBS操作进行降维;同时,YOLOX采用无锚框(Anchor free)检测器,减少参数量,提高检测速度。

2 数据集搭建

利用拉索爬升装置搭载四个均匀分布的摄像头沿拉索爬行,获取拉索表面全景图像,由于摄像头拍摄角度以及镜头存在广角,无法规避拉索周围背景,如图1所示。

图1 环境背景示意图

环境背景影响缺陷检测准确性,导致误检、漏检,并且降低检测精度。因此,需通过图像预处理去除背景。由于摄像头与拉索表面距离相同,拉索表面区域在整个图像中的坐标固定,环境背景出现在图像左右两侧,运用图像掩膜去除环境背景。

按帧提取采集的视频数据获得图像,得到2000张随机包含孔洞、损伤、缝隙三种不同缺陷图像数据集,并利用LabelImg标注数据集,将缺陷类型、坐标等信息保存在xml文件中。

3 实验

3.1 评价指标

利用精度P、召回率R、平均精确率AP、F1分数和均精确度mAP五个指标评价缺陷检测结果。

目前，关于生物炭对土壤理化性质的研究，大多属于定性分析生物炭对土壤相关参数的影响，很少从定量方面研究生物炭施加于参数变化的关系。因此本文研究施加生物炭后的土壤水分特征曲线，通过在土壤中添加不同含量的生物炭，利用离心机测定其土壤水分特征曲线，定量描述土壤水分特征曲线在不同生物炭施加条件下的变化情况，对比分析得出生物炭对土壤水分特征曲线的影响规律。

(1)精度P:所有缺陷结果中正确的比例

P=TP/(TP+FP)

(1)

式中:TP为属于该类型缺陷且被正确检测为该类型的数量,FP为属于其它类型缺陷但被错误检测为该类型的数量。

(2)召回率R:检测正确的缺陷占所有检测结果比例

R=TP/(TP+FN)

(2)

式中:FN为属于该类型缺陷但被检测为其它类型的数量。

(3)F1分数:精度P和召回率R的调和平均数

F1=2P·R/(P+R)

(3)

(4)平均精确率AP:P-R曲线面积

AP=F(P,R)

(4)

(5)均精确度mAP:所有缺陷类型AP的平均值

(5)

式中:N为缺陷类型数。

3.2 网络训练

将已标注的2000张数据集按照9:1划分为训练集和测试集,载入YOLOX网络,利用GPU进行训练。训练采用SGD优化器,共训练300个世代(Epoch)。计算机硬件环境:CPU为Intel i7 9700k;GPU为NVIDIA GEFORCE 1660,显存6G;内存32G。软件环境:Pycharm编译器,Python3.6,Pytorch1.2。网络训练参数如表1所示。

表1 网络训练参数

其中,Batch_size为单次训练所使用的样本;Init_lr为学习率;Weight_decay为权值衰减系数;Epoch为训练世代。

网络损失值随训练世代增加变化如图2所示。可以看出,前50个训练世代损失值快速减小,表明网络能够较好地适应数据集特征;随后损失值开始缓慢降低,在250个训练世代左右收敛至0.35,表明YOLOX网络训练过程有效。

图2 损失值变化曲线

3.3 网络测试对比

将YOLOX与YOLOV3、YOLOV4在测试集上进行对比实验,结果如图3所示。其中,类圆形表示孔洞,贯穿拉索表面;细长条形表示缝隙,贯穿拉索表面。图3中,YOLOV3和YOLOV4不仅出现漏检、检测框定位不准确问题,而且YOLOV3在缝隙缺陷处存在重复检测,YOLOVX能够完整的识别出所有缺陷且缺陷分类准确。所有对比实验中,YOLOX检测结果均优于YOLOV3和YOLOV4,能够达到拉索表面缺陷自动化实时检测要求。

图3 检测结果对比

以mAP和帧率FPS作为评价指标定量分析YOLOX性能,FPS表征视频检测速度。将YOLOX与YOLOV3、YOLOV4以及Faster R-CNN进行对比实验,结果如表2所示。

表2 网络对比结果

结果表明,Faster R-CNN准确率与YOLOX相近,但Faster R-CNN属于两阶段检测模型,结构复杂、耗时长,检测速度远低于其它网络。YOLO系列属于单阶段目标检测模型,检测速度快高、效率高。

YOLOX准确率和检测速度均优于YOLOV3,虽然YOLOV4检测速度较YOLOX快,但其准确率较低。因此,YOLOX综合性能最优。

4 结语

文章利用全景成像实现斜拉桥拉索表面缺陷检测,包括主干特征提取网络CSPDarknet、加强特征提取网络PAFPN和分类回归器YOLO Head。利用同拉索表面材质相近的PVC管构造的损伤、缝隙、孔洞三种常见表面缺陷,通过拉索爬升装置搭载摄像头获取拉索表面全景图像,采用掩膜法去除环境背景,搭建数据集。将数据集载入YOLOX网络进行训练测试,并与YOLOV3、YOLOV4、Faster R-CNN等主流目标检测方法进行对比实验。实验结果表明:YOLOX的mAP和FPS分别为92.77%和18,综合实验效果最佳,满足拉索表面缺陷检测工作需求。