基于改进YOLOv3的铁路落石检测方法研究与实现

刘孜学 王富斌 虞 凯

(中铁二院工程集团有限责任公司， 成都 610031)

由于我国山区、丘陵地带居多，众多主干及战略通道都分布其中，铁路选线不可避免的需要穿越这些地带。这些地带的地质情况多数不良，使得地质灾害发生的几率大大增加，其中由地灾引发的铁路沿线山体滑坡、泥石流塌方造成的线路损毁，以及边坡崩塌落石侵入铁路限界将严重危及列车运行安全。

近年来，我国铁路建设及运营管理更加注重在科技创新的引领下推动铁路高质量发展，也对铁路安全保障提出更高层次的要求。2020年施行的国家行业标准TB 10671-2019《高速铁路安全防护设计规范》中明确提出“异物侵限系统监测对象根据需要可包括山体滑坡、泥石流、危岩落石等[1]”。2021年12月，国家铁路局印发的《“十四五”铁路科技创新规划》中在安全保障领域将“研发高海拔恶劣地质环境条件下铁路主动安全保障与防灾救援系统”列为重点工程。

当前，业内针对铁路危岩落石监测已开展了长期研究与试验[2-3]。杨小军[4]等采用光纤光栅振动传感技术研制的铁路沿线崩塌落石监测报警系统在重庆某铁路线进行了现场试验，监测报警系统可对冲击到铁路界限内大于 4 000 J的能量(相当于80 kg落石从5 m高度落下)进行监测报警。夏洪峰[5]提出了采用红外激光轨面扫描技术和振动波检测技术相融合的危岩落石灾害监测系统,并在宜万铁路桥隧相连防洪点开展试验应用。徐成伟[6]等提出了一种结合雷达扫描与视频智能分析技术进行综合报警评判的铁路崩塌落石自动监测报警系统，提高了报警准确率，该系统在大(同)西(安)高速铁路进行了试点运行及试验。综上，当前对铁路危岩落石的自动化监测技术主要分为接触式与非接触式，其中接触式监测方法主要为电网和光纤光栅监测技术；非接触式则主要采用：视频图像分析、雷达、超声和红外线等监测方法及技术手段。

通过调研分析已有上道应用试验的各类铁路沿线崩塌落石监测系统，各种系统在应用中均存在不足，面临的挑战和问题主要归结为监测报警系统的误报、漏报及时效性，其中误报率难以降低的根本原因在于铁路沿线环境的复杂性。各类监测系统对侵限落石的检测方法成为了制约系统性能指标的关键因素。接触式监测系统在检测判断落石时可以优化降低误判率，但无法检测区分异物，不能检测落石大小等。非接触式监测系统特别是采用视频和雷达检测技术可区分异物，对落石的检测精度更高，并能获取落石大小及位置信息。

随着近年来人工智能技术的不断发展，视觉图像检测方法也得到了质的提升。徐岩[7]等开展了基于Faster RCNN网络模型的铁路异物侵限检测算法研究，通过对铁路异物侵限视频数据集上进行测试，该算法对于人、车及部分动物的综合检测精确度达到了97.81%。刘林芽[8]提出基于YOLOv3算法的落石检测方法，对岩石样本进行测试，结果表明YOLOv3算法具有检测速度快、效率高等特点，但是作者未在真实铁路边坡落石场景下检测YOLOv3算法性能，距离实际工程应用还有一段距离。鉴于此，本文为满足实际工程需要，采集大量铁路落石样本，开展基于YOLOv3算法的落石检测方法研究，并根据铁路边坡落石检测特点，对YOLOv3网络架构等进行改进，以提升铁路沿线边坡落石的检测实时性和精确度。

1 数据样本

本文采用YOLOV3算法解决铁路场景下落石的检测与识别问题，因此需要大规模样本训练深度神经网络，生成落石检测模型。为了获得更好的训练结果，采集足够多的样本数据是先决条件之一。

首先采用现场实景拍摄的方式获取了大量铁路真实场景下的崩塌落石样本，同时利用网络爬虫方便快捷地获取了少量落石图片，对所有图片进行下采样处理，将分辨率调整到500×375，形成了规模为948张铁路场景下的目标数据集。然后为满足卷积神经网络的训练要求，采用图像增强的方式对样本集进行扩充，样本库规模从948张扩充为 8 532张图片。图像数据增强的方式包括水平翻转、垂直翻转、旋转、加噪声、亮度调整、调整RGB通道值等方法。最后，借助labelimg软件完成了样本库的标注以及格式转换，在标注时根据落石的尺寸、分布情况将样本名称标签分为两类：落石(stone)和落石群(stones)。

2 算法比选

2.1 算法选择

目前而言，基于深度学习的图像识别算法分为2个方向。一是基于候选区域的图像识别算法，又称为两阶段(Two-stage)算法，主要以RCNN、Fast RCNN、Faster RCNN为主，以及在此基础上的改进算法。这类算法在第一阶段首先产生候选区域(Region Proposal)，包含了检测目标的大致位置信息；第二阶段对产生的所有候选区域进行分类和再次位置精修。二是基于回归的图像识别算法，又称为一阶段(One-stage)算法，比较典型的算法有YOLO系列、SSD。这类检测算法不需要产生候选区域，可以通过一个阶段直接产生目标的类别概率和位置坐标值。一般情况下，Two-stage算法在准确度上有优势，而One-stage算法在速度上有优势[9]。本文在铁路落石检测应用中，选取具有代表性的Faster RCNN和YOLOv3算法进行比选。

2.2 测试对比

本文的实验测试环境在Ubuntu16.04系统进行，python 版本为3.5，所使用的处理器是Intel(R)Xeon(R)Gold 5115 CPU，10核20线程，主频2.4 GHz，内存32 G，显卡采用NVIDIA Quadro P5000，显存为16 G。

Faster RCNN和YOLOv3两种算法在测试集上对目标的检测准确度和检测速度对比如表1、表2所示，YOLOv3算法对目标的平均检测准确度(mAP)为71.14%，略低于Faster RCNN算法(mAP=76.26%)，但是在检测速率方面，YOLOv3算法明显比Faster RCNN 算法快。综上所述，考虑到在实际工程中更看重检测系统的实时性能，因此本文选取YOLOv3算法检测铁路落石。但是YOLOv3算法对铁路落石和落石群的检测准确度较低，究其原因有三：落石数据集规模小，不能涵盖各种形状、光线、环境下的落石；数据集中的落石尺寸比较小，占像素面积小，导致难以检测到；原始YOLOv3算法网络结构对铁路杂乱复杂的环境难以适用。因此还需要对YOLOv3进行改进，提高对stone和stones的检测率。

表1 检测准确度对比表(%)

表2 检测速率对比表

3 落石检测

3.1 改进YOLOv3模型

YOLOv3算法引入FPN(Feature Pyramid Networks)网络，通过上采样和融合不同层的特征，利用低层特征的高分辨率和高层特征的高语义信息，在3个不同尺度的特征图上检测物体。由于铁路落石在形态、尺寸、外观等方面千差万别，并考虑到背景环境变化多样，因此本文通过改进YOLOv3模型，原有的3个尺度扩展为4个，同时分配准确的锚点框，以此来提高落石和落石群的检测准确度，提升算法对铁路复杂环境的适应能力。本文提出的改进YOLOv3网络结构如图1所示。

图1 改进YOLOv3网络结构图

3.2 试验测试

本文对改进前后YOLOv3算法的各项性能指标进行对比分析。在测试之前，对落石和落石群两类样本进行了扩充。

(1)loss曲线对比

改进前后YOLOv3算法的网络训练过程中损失变化曲线对比如图2所示，改进后YOLOv3算法的损失曲线收敛速度比原始YOLOv3快，而且更加平滑。

图2 改进前后YOLOv3算法损失值变化曲线图

(2)检测准确度对比

改进前后YOLOv3算法的P-R曲线如图3、图4所示，相比于原始YOLOv3的 P-R曲线，改进后YOLOv3算法的检测准确度提升明显。

图3 原始YOLOv3的 P-R曲线图

图4 改进后YOLOv3算法损失值变化曲线图

原始YOLOv3和改进YOLOv3两种算法在测试集上对落石和落石群的检测准确度对比如表3所示。原始YOLOv3算法的平均检测准确度(mAP)为71.14%，改进YOLOv3算法的平均检测准确度(mAP)提升为89.09%，效果明显。

表3 检测准确度对比表(%)

(3)实际场景检测结果

本文将算法用于实际场景中检测，检测结果较为准确，如图5所示。

图5 铁路落石检测结果图

4 结论

为满足铁路落石检测的实际工程需要，收集了8 532张铁路真实场景下的崩塌落石样本，并对深度学习目标检测算法进行了深入研究与训练测试。本文首先选取Faster RCNN和YOLOv3算法进行了平行对比实验，实验结果显示YOLOv3算法较Faster RCNN算法检测精度相似，但是检测速度更快，更能满足铁路沿线危岩落石检测的实际应用要求，因此本文选取YOLOv3算法进行铁路落石检测研究。但是YOLOv3算法对落石群(stones)的检测准确度较低，因此本文提出一种基于YOLOv3框架的铁路落石实时检测改进算法，以YOLOv3为基础网络结构，通过增加多尺度检测，利用更多的图片信息等方法来改进检测效果。通过对改进前后YOLOv3算法在测试集上的检测准确度进行对比，改进YOLOv3算法的平均检测准确度由原来的71.14%提升为89.09%。综上所述，本文提出的基于改进YOLOv3算法的铁路落石检测方法在将来实际工程中具有较大的应用潜能。