基于计算机视觉的螺栓缺陷智能检测技术研究与应用

卢佳祁 姚志东 刘业森 王罡

摘要：随着计算机视觉与机器学习技术的发展，自动化检测技术在建筑工程检测领域挥着重要的作用。采用无人设备进行图像数据采集，然后用机器学习对图像数据进行分析，成为当前智能检测技术的通用方法。深度学习作为主要的机器学习方法，因其鲁棒性较高而普遍应用在图像分析中。本文首先通过显著性检测方法选取待检测螺栓感兴趣区域，再使用ResNet-18卷积神经网络对感兴趣区域进行螺栓缺陷的识别与分类。并以某钢结构桥梁上的螺栓为例，利用该方法对无人机采集的螺栓外观图像进行了识别。结果表明，该方法可有效识别螺栓缺陷与类别，识别准确率高。

关键词：计算机视觉;高强螺栓;深度学习;显著性检测;缺陷检测

引言

钢结构螺栓连接在加工制作和安装方面具有明显的优越性，在国内外钢框架结构中被大量采用，尤其是桥梁等大型钢结构设施的主要连接方式之一[1]。随着我国钢结构桥梁建设的高速发展，高强螺栓的应用越来越广泛。但随着桥梁的运行，螺栓联接结构长期承受振动、冲击和疲劳，导致螺栓出现松动甚至脱落，影响整个结构的安全。因此，螺栓状态的实时检测，具有重要的工程意义。当前螺栓外观检测方式，主要依靠人工现场以手持数码相机或手持裂缝观测仪人工操作为主。随着技术的发展，也逐渐采用辅助机械伸展臂搭载摄像头采集图像进行人机交互分析的检测手段[2]，但其深度、广度及自动化水平普遍不高。随着我国钢结构桥梁施工工艺的发展，建筑规模逐年增大，结构上所使用的螺栓也随之增加。如港珠澳大桥，全桥总长55公里，使用高强螺栓80多万套，而且分布在桥体结构的各个角落，传统的人工检测方式已无法应对海量螺栓的外观检测，而且检测过程中对安全性及时效性要求较高。因此，螺栓外观检测亟待需要采用智能化的检测技术，与目标精确定位、图像矫正、高精度识别等先进技术深入融合，提高检测技术自动化水平。

近几年，随着无人机技术的发展，搭载摄像设备的无人机在地图测绘、建筑安全检测、资源调查、交通规划等各领域都有重要的应用，该技术也可以同样适用于钢结构桥梁螺栓外观检测上，通过对无人机采集的螺栓影像数据的分析、识别、判断，感知被检测螺栓的状态，进而做出应对措施。因此，对采集的图像数据的分析、判断和识别，是基于无人机的螺栓检测中重要的技术。

深度学习是当前图像识别的主流技术，该方法通过大量的图像样本，提取、学习图像特征，并进行识别，从而判断被检测目标图像样本的类别和状态[3]。

本文将深度学习算法引入到螺栓的智能检测中。首先采用图像显著性检测方法[4]检测待识别的感兴趣区域，在使用ResNet-18[5]卷积神经网络判断待检测螺栓是否存在缺陷已经缺陷的类别，该方法可以对无人机传输回来的影像数据进行快速、有效的识别和判断，从而对螺栓外观状态进行判定，辅助工作人员做出应对措施，经计算，识别准确率较高，可以满足螺栓日常安全检测需要。

1 方法和流程

首先通过无人机对螺栓样本进行采集，并对采集回来的图像样本进行自动清洗、甄别、矫正和裁剪，并进行分类和标注，得到学习样本库。识别时，首先使用显著性检测法提取待识别螺栓的感兴趣区域，并将感兴趣区域图像输入到分类卷积神经网络中进行分析判断。具体的流程图如图1所示：

1.1 学习样本集构建

本文选取某座钢结构桥梁作为目标，利用无人机对桥梁上各部位的螺栓进行拍照，样本采集。

图像样本经过以上算法处理后，再以被标识出来的螺栓为中心，将该图像样本自动裁剪成64×64分辨率大小的单一螺栓样本，并对其类别逐一标注，作为训练正样本。

由于受采集对象限制，脱落、缺失、锈蚀的螺栓样本数据严重缺失，为了保证样本库的多样性，本文多渠道收集螺栓样本，获取了脱落、缺失、锈蚀的螺栓样本图片，经过同样的数据处理方法，裁剪成64×64分辨率大小的单一螺栓样本，并对其状态逐一标注，作为训练负样本，并对采集到的样本通过放大、缩小、颜色空间变换、旋转、翻转等操作，对数据进行扩充，以提高后续模型的泛化性能。

1.2 感兴趣区域检测

采用显著性检测法对螺栓待检测感兴趣区域进行提取，显著性检测算法与目标检测算法不同，显著性检测算法，是无差别地检测图中有边界且显著的目标区域。这类模型旨在预测人眼的显著目标观察方式，显著性检测算法是很多计算机视觉任务的第一步，将显著性区域作为感兴趣区域，并针对这些显著性区域进行进一步判断和预测。显著性检测算法通常检测速度较快，深度学习的图像分类算法，可以只在显著性区域上运行，以缩小检测范围，加快检测速度，提高检测精度。这里选择文献[15]的方法进行显著性感兴趣区域检测，该算法先计算出一批的建议框，这些建议框为待检测螺栓可能存在的区域，再通过非极大值抑制剔除多余的建议框。无论螺栓连接节点是否存在缺陷，都会在螺栓节点板上留下明顯痕迹，因此可以通过显著性检测法提取出来。实现该算法时可以通过调用OpenCV的saliency.ObjectnessBING_ create（）模块实现。

1.3 螺栓缺陷分类模型

许多不同结构的知名卷积神经网络可以用于特征提取，如AlexNet、MobileNets、GoogleNet。其中，ResNet-18的模型效率强且易于优化。ResNet-18有17个卷积层和8个跳跃连接，然后是一个全局平均池化层、一个全连接层和一个Sigmoid层。该网络的输入大小为64×64×3，使用ImageNet[6]进行预训练，有利于提高模型的识别精度。

2 计算案例

本文以某钢结构桥梁上的高强螺栓为例，通过无人机进行螺栓样本采集，经过数据标准化处理，形成螺栓样本库，再利用本文介绍的方法，进行识别和判定。该钢结构桥梁为某跨河铁路桥，形式为铆接钢桁梁桥，采用具备定位复拍功能的大疆M300无人机进行图像数据采集，采集到130张清晰的螺栓图像。

将无人机所采集的原始图像样本进行数据标准化处理，前景突出，目标清晰，然后利用本文的感兴趣区域提取法，可以自动识别出影像中螺栓的形状和位置，并用红框标识出来，如图3所示。在此基础上，自动处理成64×64分辨率的学习样本，形成待检测样本。

但是在图像的前处理过程中，对于部分图像样本在定位和识别时出现了误差较大的情况，如图4所示：（a）图中，受图像采集时光线的影响，拍摄的图像样本中，螺栓的影子明显，对螺栓形状的判断造成了干扰;（b）图中，拍摄角度是仰角拍摄，图像采集设备没有正对螺栓，导致螺栓影像发生变形和偏移，而且影像样本背景复杂，不仅识别出了螺栓，还识别出图背景中的相似的形状。这些因素都导致了样本图片中，螺栓的误标识。因此，在利用无人机进行图像样本采集时，需要对巡航路线、拍照时间、拍照角度等等提前规划，采集高质量的螺栓样本图片，以减少图像样本中螺栓形状的误判，提高识别准确率。

学习样本构建好以后，利用本文的识别方法，对无人机新采集的螺栓图像样本进行了识别，识别率如表1所示，识别结果如图5、图6所示。

如表1所示，本方法对于外观正常的螺栓识别率较高达到了91.34%，对脱落螺栓和偏移螺栓的识别，准确率分别为82.16%和87.56%，而对于锈蚀螺栓的识别准确率较低，仅为78.14%。

图7是对各外观螺栓的正确的识别结果，图8是误识别的螺栓样本。分析造成误识别的主要原因是，螺栓的锈蚀负样本非常少，对于新采集的表面锈蚀的螺栓样本，因此，可通过多补充螺栓负样本，扩充学习样本库，增加样本库的多样性的方式，提高螺栓识别的准确性。样本越丰富，越多样化，模型越智能，识别的准确性越高。

3 结论

本文提出的识别方法，可以很好的完成识别的任务。而且本方法对新样本识别速度快，在0.1s之内就可以完成新样本的处理、裁剪及识别，对无人机嵌入系统的性能要求不高，可实时传送识别结果，可作为螺栓外观日常检测方法。

图像样本的拍摄质量，直接影响最终的识别结果，无人机拍摄时的光照条件、拍摄角度、拍摄位置等因素都会影响图像样本中螺栓形状的定位和判断。因此，在利用无人机进行图像样本采集时，需要对巡航路线、拍照时间、拍照角度等提前规划，采集高质量的螺栓样本图片，減少图像样本中螺栓形状的误判，提高螺栓样本的识别率。

从识别结果可以看出，本算法对于样本数量相对较多的螺栓，识别准确率较高，本文采集到的正常状态的螺栓样本数最多，因此其识别准确率最高。由于当前钢结构桥梁的日常维护工作较好，脱落、偏移以及锈蚀的螺栓样本较少，学习样本库中负样本相对缺乏，其中锈蚀螺栓学习样本个数最少，因此对其表面纹理识别的误差较大，对于锈蚀等螺栓的识别准确率最低。可通过多方采集的方式，补充负样本，充实、完善学习样本库，提高螺栓识别的准确率。

参考文献

[1]陶晓燕，沈家华，史志强.我国钢桥高强度螺栓连接的发展历程及展望[J].铁道建筑，2017，57（9）：1-4.

[2]钟继卫，王波，王翔，等.桥梁智能检测技术研究与应用[J].桥梁建设，2019，49（S1）：1-6.

[3]Qi Yang et al.Deep convolutional neural networks for rice grain yield estimation at the ripening stage using UAV-based remotely sensed images[J].Field Crops Research，2019，235：142-153.

[4]Ming-Ming Cheng，Yun Liu，Wen-Yan Lin，Ziming Zhang，Paul L.Rosin，Philip H.S.Torr.BING：Binarized normed gradients for objectness estimation at 300fps[J].Computational Visual Media，2019，5（1）.

[5]He K，Zhang X，Ren S，et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016：770-778.

[6]J.Deng，W.Dong，R.Socher，L.Li，L.Kai，F.-F.Li，ImageNet：A large-scale hierarchical image database，in：2009 IEEE Conference on Computer Vision and Pattern Recognition，2009.

*深圳市科技计划项目（JSGG20201102173802006）