改进的Faster-RCNN算法在聚乙烯管接头内部缺陷检测中的应用

彭伊娟 王振超 张秋菊

(1 江南大学机械工程学院 无锡 214122)

(2 罗森博格(无锡)管道技术有限公司 无锡 214161)

0 引言

管道运输多用于液体和气体物资的长距离输送，在聚乙烯(Polyethylene,PE)管道的热熔对接过程中，受到工艺、设备、环境等因素的不良影响，易在热熔接头处产生各种各样的缺陷(如气孔、夹杂、裂纹等)。这些缺陷容易导致熔接接头质量不佳而发生泄漏和破坏，是整个PE 管道中最薄弱的地方，极大地影响着PE 管道的安全使用。这就需要对管道接头内部缺陷进行有效的检测，及时发现存在的安全隐患。目前，PE管道热熔接头的无损检测方法主要有X 射线检测[1]、红外热成像检测和超声检测(衍射时差法和超声相控阵)等[2]。超声检测是近年来较为有效的无损检测方法。传统的超声波检测受到PE 管表面多次反射回波信号的干扰，并且由于PE 材料具有声波衰减性，PE 热熔接头缺陷识别很难实现，而超声相控阵检测技术能够实现声束偏转以及声束集中，所以能够很好地克服这一困难[3]。

不同种类的缺陷具有不同的失效形式，因此在对PE 管道热熔接头进行超声相控阵检测时，需要根据超声相控阵图谱识别出缺陷的种类。采用人工形式对超声相控阵检测图像中的缺陷评定往往存在误差且效率不高，随着计算机技术的发展，传统的图像处理方法被广泛使用。费学智等[4]通过分析目标缺陷轨迹和缺陷自身的面积来综合判断是否为真实缺陷。Rostami等[5]对PE 管电熔接头超声图谱的数字格式采用形态学技术重新构建图像来补充缺失信息，从而实现目标特征分区，但未能实现特征缺陷的识别。然而上述采用图像处理的方法对含有多种缺陷的PE 管道热熔接头未能进行有效识别。

近年来随着深度学习的迅速发展，基于深度学习的目标检测方法在效率和精度上相较于传统的图像检测方法都有很大提升，逐渐成为国内外学者的研究热点。这部分研究主要集中在两个方面，一方面是采用特征提取加浅层神经网络的方法对检测数据进行分类，另一方面是采用深度学习方法，输入数据主要是人工提取的特征值，近年逐渐发展到自动提取特征[6]。

在浅层神经网络方面，盛雄[7]采用BP 神经网络实现对PE 管电熔接头缺陷图像检测特征区域的准确分类以及缺陷识别。Sambath等[8]对检测到的回波离散小波变换表示缺陷特征向量，并利用BP神经网络进行分类。在深度学习方面，要追溯到2014 年，Girshick等[9]将卷积神经网络(Convolutional neural networks,CNN)[10]与目标检测结合，提出R-CNN 算法。2015 年，Song等[11]将R-CNN和SPPNet 进一步提高，提出Fast-RCNN 算法，在相同的网络配置下同时实现区域的特征提取、分类和边界框回归。2017 年，Ren等[12]将Fast-RCNN与区域候选网络(Region proposal network,RPN)相结合，提出Faster-RCNN 算法，实现端到端的接近实时的检测，提高检测速度与精度。

在超声缺陷检测领域也有不少学者采用深度学习方法进行缺陷识别。Meng等[13]用小波变换系数来学习每个信号的有效表示，使用深度神经网络进行炭纤维缺陷检测。万陶磊等[14]提取超声信号的无量纲参数和小波包能量系数组成多维特征向量，然后利用BP 神经网络进行缺陷检测。张重远等[15]采用基于相似矩阵的盲源分离方法对超声检测信号进行预处理，使用CNN 进行信号识别。

目前为止，多数研究者都是采用信号处理方法来提取特征从而提高缺陷识别准确率，然后采用BP 神经网络来进行缺陷分类。本文直接将超声相控阵采集的超声D 扫图作为输入，针对超声D 扫视图中缺陷小且密集的状况，以Faster-RCNN网络为基础，采用不同的骨干网络结构对缺陷进行检测，并对Faster-RCNN网络进行优化，实现检测能力的提升。

1 Faster-RCNN网络介绍

Faster-RCNN 目标检测模型提出了与RCNN、SPPNet、Fast-RCNN 不一样的RPN 网络模型，该模型突破了Fast-RCNN 在时间上的性能瓶颈。其网络结构图如图1所示。

图1 Faster-RCNN 网络结构图Fig.1 Structure diagram of Faster-RCNN network

由图1 可知，Faster-RCNN 可以分为4 个主要内容：

(1) 骨干网络(Backbone)。Faster-RCNN 首先使用一组基础的卷积、激活、池化层用来提取图像的特征图。

(2) 区域候选网络(RPN)。输入特征图，使用RPN层生成候选框，进行是否含有物体的二分类。

(3) 感兴趣区域池化(ROI pooling)。将各个不同尺寸的特征图通过ROI pooling 层缩放到同样大小的特征图。

(4) 分类以及回归(Classification and regression)。将大小一致的特征图送到全连接层，进行目标的分类并且完成边界框回归，获得检测框最终的精确位置。

Faster-RCNN 加入了RPN 层来产生候选框，PRN 层可以和检测网络共享卷积层，并且可以在每个位置同时预测目标边界和objectness 得分，实现了端到端的检测，提升了模型精度。然而Faster-RCNN 也存在着一些问题：Faster-RCNN网络具有大量的参数，需要花费大量的时间，容易出现过拟合，此外在卷积过程中小目标容易丢失，导致对小缺陷的识别效果不佳。

2 改进的Faster-RCNN网络

超声相控阵检测出的热熔接头内部D 扫视图缺陷相较于寻常目标识别对象，面积小且密集。本文提出了一种基于轻量级卷积注意力模块(Convolutional block attention module,CBAM)的Faster-RCNN算法应用于超声相控阵PE 管道热熔接头内部缺陷检测，将深度残差网络(ResNet50)与特征金字塔(Feature pyramid network,FPN)集成形成骨干网络，引入通道注意力模块和空间注意力模块提高网络对超声相控阵D 扫图小缺陷的学习能力。

2.1 CBAM

CBAM 是一个作用于前馈CNN 的注意力模块，它结合了通道和空间两种注意力模块，相比于只关注通道的SE 注意力机制有更好的效果。CBAM以一个中间特征映射F ∈RC×H×W作为输入，该模块将根据通道维数ωc ∈R1×1×C和空间维数MS ∈R1×H×W来推断注意力图，然后将注意力图与输入特征图相乘，自适应细化特征[16]，计算公式见式(1)：

式(1)中：⊗表示元素级乘法，F′′是最终特征输出。图2显示了每个注意力模块的计算进度。

图2 CBAM 模块的结构Fig.2 Structure of CBAM model

通道注意力模块关注输入图片中有意义的特征信息[17]，如图2(a)所示。首先将输入的特征图经过两个并行的最大池化层和平均池化层，将特征图从C×H ×W变为C×1×1 的大小。然后经过两层的神经网络共享全连接层，第一层神经元个数为C/r(r为减少率)，第二层神经元个数为C，激活函数为ReLU。将MLP 输出特征进行element-wise加和操作，再通过一个sigmoid 激活函数生成最终的通道注意力特征图，即MC，计算公式见式(2)。最后，将MC和输入特征图F相乘生成空间注意力模块的输入特征F′，见式(1)。

式(2)中，W0∈RC/r×C，W1∈RC×C/r，σ表示sigmoid激活函数。

空间注意图是根据特征间的空间关系生成的，空间注意模块主要关注特征信息的位置[18]，是对通道注意力的补充，如图2(b)所示。首先，在通道轴上应用平均池化与最大池化来生成两个特征图，FSavg和FSmax，将两个特征图进行通道拼接，生成有效的特征描述符，通过卷积层将描述符简化为一个通道。然后使用sigmoid 函数将其激活，生成空间注意图，计算公式见式(3)。最后空间注意力图乘以输入特征图，得到最终的注意力特征图F′′，见式(1)。

式(3)中：σ表示sigmoid 激活函数，f7×7表示卷积核为7×7的卷积。

CBAM 补充了由通道注意力聚焦的语义信息和由空间注意力聚焦的位置信息，本文将CBAM加入到骨干网络中，来关注深层网络中PE 管接头超声相控阵D 扫图小缺陷的特征信息，提升对小缺陷的检测性能。

2.2 骨干网络

本文将ResNet50 与FPN 相融合形成骨干网络。ResNet50 通过构建残差块可以解决深度网络退化问题。如图3 所示，其中x表示残差模块的输入，当特征图输入到特征提取网络中，通过1×1的卷积核进行降维、3×3 的卷积核进行特征提取、1×1 的卷积核进行升维，最后得到256 维度的特征图。而残差模块在输入和输出之间建立了直接连接，F(x)表示残差模块的拟合功能，输出结果为H(x)=F(x) +x。如果某一层的梯度消失，则该层的输出等于该层的输入，从而形成一个恒等映射，不会影响后续网络的学习，这样在加深网络的同时准确率也不会降低。

图3 ResNet50 残差结构Fig.3 Residual structure of ResNet50

原始Faster-RCNN是自底向上卷积，使用最后一层特征图进行预测，这是因为最高层的特征具有最丰富的语义信息。这对于大目标的检测很有效，但是对于小缺陷来说，当进行卷积、激活、池化到最后一层，实际上语义信息已经没有了，导致小缺陷容易检测不到或者效果不佳。由于PE 管热熔接头内部超声相控阵D 扫视图缺陷特征都比较小，加入低层特征图信息能更好地识别出小缺陷，本研究在残差网络中加入FPN[19]。FPN 模型通将低分辨率、高语义信息的高层特征和高低语义信息的特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息，且每一层都独立预测，从而提升对小缺陷的检测效果。其核心思想包括3部分：一个自底向上的线路、一个自顶向下的线路、横向连接。ResNet50+FPN网络模型如图4所示。

图4 FPN 与ResNet50 网络结构图Fig.4 Structure diagram of FPN and ResNet50 network

由ResNet50+FPN 网络结构图可知，FPN 取ResNet50 的输出特征图作为输入，对C5使用1×1的卷积进行降为处理，再经过3×3的卷积处理输出P5，C5 上采样后与经过降维处理过的C4 相加，再经3×3 卷积处理，得到P4，以此类推，从而生成了不同尺度的特征图，这样用于检测的特征图就包含了多个阶段的特征。然后将FPN 生成的多层特征图P2–P5 传入RPN 层生成候选框，此时需要将候选框映射到相应的特征图从而进行接下来的ROI pooling操作[20]，具体映射方式见式(4)。

式(4)中：k0是映射到w×h=224×224的ROI目标级别，设置为4，w和h是ROI区域的长和宽，224是ImageNet数据集的预训练图像大小，k值应该做取整处理，即所使用的特征层。

本文将CBAM 和ResNet50+FPN 组合在一起，形成了一种改进的骨干网络模型。考虑到随着CNN 的加深，PE 管接头内部超声相控阵D 扫图小缺陷信息出现丢失的现象，在ResNet50 和FPN之间设置了两个注意模块，来关注深层网络中PE管接头超声相控阵小缺陷的特征信息，实现更优的检测性能。然后，将特征信息输入到FPN 中，进一步融合深层和浅层的特征信息，使它们得到充分研究。最后将FPN 生成的多层特征图输入到RPN 层完成是否包含目标的二分类问题，本文使用的骨干网络结构如图5 所示，其中C 表示高效通道注意模块，S表示空间注意模块。

图5 CBAM+ResNet50+FPN 网络结构Fig.5 Structure diagram of CBAM+ResNet50+FPN network

3 实验与结果分析

3.1 实验环境与实验数据

由于目前国内在超声相控阵热熔接头焊缝缺陷领域没有公开响应的权威大型数据集，本研究采用友联公司MagicScan-UX 超声相控阵模块，并搭配5L32-0.6×10 超声相控阵探头以及横波楔块(N55S) 作为超声相控阵无损检测设备，进行PE 管道热熔对接接头内部进行图像采集。根据上海市2017 年颁布的DB31/T1058–2017《燃气用聚乙烯(PE)管道焊接接头相控阵超声检测》[21]，PE 管道热熔接头内部缺陷系统地分为孔洞、裂纹、熔合面夹杂3 种，本文采集了含有孔洞缺陷、裂纹缺陷、融合面夹杂缺陷的超声相控阵D 扫检测图并对数据集进行扩充，共2450 张，这些缺陷均采用人工预制，如图6所示，可以看出PE管接头内部缺陷特征图都比较小。孔洞缺陷检测图如图6(a)所示，接头检测区域中存在一个明显的反射信号且边缘较为圆润呈圆形或者椭圆状，热熔对接接头可能存在孔洞缺陷。裂纹的检测图如图6(b)所示，接头检测区域中存在两个明显的反射信号且在同一垂直线上，接头局部区域可能存在缝隙。熔合面夹杂缺陷如图6(c)所示，接头检测区域内反射信号较弱，并且边缘比较模糊，接头疑似存在外来夹杂物[22]。此外使用Labelimg 对图像进行标记，以遵循PASCAL VOC数据集的格式，训练集、验证集和测试集的数量比为7:1:2。

图6 不同种类焊缝缺陷图Fig.6 Different types of weld defects

试验平台windows10，CUDA11.3，处理器为Intel i9-10900X，显卡为NVIDIA GeForce RTX 2080Ti，使用python 语言与pytorch 深度学习框架作为开发环境。

3.2 改进网络的目标检测结果

本文采用了目标检测中常用的COCO 数据集的评价指标，如式(5)～(7)所示：

其中：精确度P指模型预测为正的样本中实际也为正的PE 管接头内部缺陷样本占被预测为正的缺陷样本的比例，用来衡量检测系统的查准率；召回率R指实际为正的PE 管接头内部缺陷样本中被预测为正的样本所占实际为正的缺陷样本的比例，用来衡量检测系统的查全率；AP是P-R曲线下的面积，AP 值越大，检测性能越好，mAP 是多个类别AP 的平均值；TP代表被模型预测为正的超声相控阵PE管接头内部缺陷正样本的数量；FP代表被模型预测为正的超声相控阵PE 管接头内部缺陷负样本的数量；FN代表被模型预测为负的超声相控阵PE 管接头内部缺陷负样本的数量。COCO评价指标及其意义如表1所示。

表1 COCO 目标检测评价指标及其意义Table 1 Evaluation indexes of COCO target detection and its meaning

本文将SSD 网络框架和Faster-RCNN 网络框架用于模型训练和测试，使用VGG16、ResNet50、ResNet50+FPN、ACBM+ResNet50+FPN 作为骨干网络模型，依次对超声相控阵D 扫图PE 管道热熔对接接头内部缺陷样本进行训练对比。初始学习率设为0.01，动量值为0.9，训练轮数(epochs)设为50。实验结果和比较如表2 所示，AP 值的变化曲线如图7所示。

表2 不同网络模型的实验结果比较Table 2 Comparison of experimental results of different network models

图7 AP 值变化曲线Fig.7 Change curves of AP value

由表2可知，对于超声相控阵PE管热熔接头缺陷检测，SSD 网络中缺陷数据集的mAP 为70.3%，而对于小缺陷检测，APS仅为49.2%。相比之下，使用VGG16 骨干网络的传统Faster-RCNN，mAP为77.5%，APS达到56.1%。与SSD 网络的结果相比，传统Faster-RCNN 网络的mAP 和APS分别增长7.3%和6.9%，证明Faster-RCNN 网络比SSD网络更适合超声相控阵D 扫图PE 管接头缺陷检测。ResNet50的mAP 值为79.9%，略高于VGG16网络。ResNet50+FPN作为骨干网络具有更强的特征学习能力，mAP 为85.6%，比单独使用ResNet50骨干网络提高了5.7%，对于小缺陷，APS增加了3.2%，检测能力明显提高。改进后的Faster-RCNN算法是将CBAM 和ResNet+FPN 相结合组成的最终骨干网络，mAP 达到90.5%，相比ResNet+FPN骨干网络提高了4.9%，同时小缺陷的检测性能提升了4.2%。实验结果表明，改进后的Faster-RCNN网络对小缺陷的关注度更高，检测能力更强，整体检测性能较好。

图8 显示了超声相控阵D 扫图PE 管热熔接头缺陷检测结果的P-R曲线，召回率R为横坐标，精确度P为纵坐标，曲线和轴包围的区域为AP 值，区域越大，检测性能越好，图中红色曲线表示CBAM和ResNet+FPN 相结合骨干网络的P-R曲线。从图8 中可以看出，改进的Faster-RCNN 网络模型在检测方面取得了较好的效果。图9 显示了4 种骨干网络的训练损失比较曲线。可以看出改进的Faster-RCNN 网络具有更快的训练收敛速度和更少的损失。

图8 P-R 曲线图Fig.8 P-R curves

图9 不同网络模型训练损失曲线图Fig.9 Training loss value of different network model

VGG16、ResNet50、ResNet50+FPN、ACBM+ResNet50+FPN 骨干网络识别效果如图10～13所示。可以看出，VGG16作为骨干网络时，裂纹缺陷未能有效提取，出现了漏检和误判现象；ResNet50相较于VGG16 骨干网络效果有所提升，但仍然出现了漏检和误判现象；ResNet50+FPN 相较于ResNet50网络漏检现象减少，但是对平面状缺陷如裂纹出现了误判现象；ACBM+ResNet50+FPN 作为骨干网络，相比VGG16、ResNet50和ResNet50+FPN 对各种缺陷的提取效果都有提升，预测框的位置更加准确，且误判和漏检现象较少。

图10 VGG16 识别效果图Fig.10 Recognition renderings of VGG16

图11 ResNet50 识别效果图Fig.11 Recognition renderings of ResNet50

图12 ResNet50+FPN 识别效果图Fig.12 Recognition renderings of ResNet50+FPN

4 结论

本文将基于注意力机制的Faster-RCNN 网络应用于超声相控阵D 扫图PE 管热熔对接接头缺陷检测。以ResNet50+FPN 为骨干网络，通过应用轻量级通道注意力机制和空间注意力机制，显著增强了神经网络对小缺陷的学习能力。试验结果表明，改进的Faster-RCNN网络框架相较于SSD网络框架更适合应用于超声相控阵D扫图PE 管接头内部缺陷检测。与现有的目标检测模型相比，改进的Faster-RCNN 网络具有更好的检测能力和更少的训练损失，同时对小缺陷的检测能力有了显著提高。在后续的研究中，将收集更多的PE 管接头内部缺陷超声相控阵数据图，并使用更多不同的网络方法，提高对超声相控阵PE管道接头内部缺陷的识别。