YOLO V4模型在含硫井站火焰和烟雾检测中的应用

向 伟，龚云洋，李华昌

（中国石化西南油气分公司采气三厂，四川 德阳 618000）

1 引言

中国石化西南油气分公司含硫气井每年能生产30亿方天然气，同时大量的H2S伴随着天然气被携带出来，H2S具有腐蚀性、有毒性、易燃性等特点，严重影响井站管线、设备、人员的安全。含硫天然气在生产过程中难免会遇到设备故障、违规操作等意外事件发生，一旦引起火灾事故，将会造成不可估计的损失，含硫井站的安全需要高度重视。

目前大多数天然气生产井站都是采用固定式的火焰探测器、烟雾探测器、气体检测仪等火灾报警器来预防火灾发生，火灾报警器主要是将明火、火焰热辐射、烟雾浓度、可燃气体浓度等特征参量作为火灾预警的判断依据，通常火灾报警器的位置固定，井站生产空间大，现场设备高低起伏，环境复杂，火焰、烟雾侦察能力有限，这些特征参量还易受温度、湿度和气流变化影响，对火灾报警器的预警造成影响。如果含硫井站发生火灾、爆炸，空气中的可燃气体、有毒气体出现，现场环境将非常危险，不仅会给救援工作带来极大困难，还会对消防救援人员的生命安全造成极大威胁，所以含硫井站的火灾预警和救援侦察是一个迫切需要解决的问题。

目前，在火灾预警领域，有研究人员通过传统图像处理特征提取的方法来对烟雾和火焰进行检测［1］，文献［2］采用烟雾增强颜色变换MSER（Maximally Stable Extremal Regions）检测方法对烟雾进行检测，文献［3］采用LBP特征组合SVM分类器来对森林中的烟雾和火焰进行检测，但传统的图像处理和机器学习的火焰、烟雾检测方法不能反应出火焰、烟雾本质，手工提取的特征易受到现场复杂环境干扰，影响火焰、烟雾检测准确率。深度学习目标检测模型是计算机视觉领域的杰出代表，对图像不仅有强大的特征提取能力，还能降低复杂环境对模型检测效果的影响，在物体的检测和识别上有突出的效果［4］。文献［5］采用深度学习Faster RCNN［6］目标检测模型对火焰和烟雾进行检测，但Faster R-CNN目标检测模型属于基于候选区域的目标检测算法，该算法检测速度较慢，应用在巡检机器人上不能实时检测。其次，从石油炼化厂、采气井场、集气站、增压站、储液站等站场火灾现场收集到的火焰和烟雾样本较少，不足以训练出较好的深度学习目标检测模型。

针对以上问题，这里选择检测速度快、能在移动端实时检测的基于回归的深度学习YOLO V4目标检测模型进行实验，首先，将YOLO V4模型对公开的火焰、烟雾数据集进行训练；接着，将训练得到的模型采用迁移学习的训练方法对数量较少的井站火焰、烟雾数据集进行训练；最后，经迁移学习训练后的YOLO V4目标检测模型对井站火焰、烟雾的检测精度均值（mAP）高达99.62%，有更好的井站火焰、烟雾检测效果，配合巡检机器人进行火焰和烟雾检测将具有检测精度高、反应速度快、实时性好、检测范围广等优点，应用在含硫井站将具有更好的火灾预警和救援侦察能力。

2 相关理论基础

2.1 YOLO V4目标检测算法

YOLO V4［7］（You Only Look Once）是2020年提出的一种基于回归的深度学习目标检测模型，YOLO V4目标检测模型主要有2部分创新点：

（1）YOLO V4目标检测模型采用CSPDarknet53网络作为特征提取网络，CSPDarknet53网络部分所示，如图1所示。

CSPDarknet53 网络第一层卷积操作后采用Mish 函数代替LeakyReLU进行激活，解决LeakyReLU激活可能导致梯度消失的问题，Mish激活后输出的特征信息将有更好的稳定性。

CSPDarknet53网络经过第一层卷积操作后采用不同数量堆叠的Resblock_body模块进行特征提取，CSPDarknet53网络在原Resblock_body模块中增加残差连接，将浅层特征和深层特征相融合，使Resblock_body模块提取到更加多样的图像特征信息。

（2）YOLO V4网络增加SPP和PANet两组特征金字塔结构来强化CSPDarknet53网络提取到的特征，如图1中SPP和PANet部分所示。

SPP 是金字塔池化（Spatial Pyramid Pooling）结构，经CSPDarknet53网络提取得到的特征通过卷积操作后进入SPP金字塔池化结构，SPP采用1*1、5*5、9*9、13*13这4个不同大小的池化核进行最大池化处理，将提取到的不同大小图像特征组合后作为Cons1目标检测输出。

PANet 特征金字塔结构是一种特征反复提取的结构，先将SPP 提取后13*13大小的深层图像特征分别与CSPDarknet53网络输出的26*26和52*52大小浅层特征相融合，使输出的图像特征更加丰富。接着将丰富的图像特征经多次卷积特征提取后分作两部分，一部分作为Cons2和Cons3目标检测特征直接输出，使Cons2和Cons3能获得更加丰富的特征信息，保证YOLO V4模型目标检测效果；另一部分Cons2和Cons3输出特征将与Cons1特征相融合，使Cons1能获得丰富的全局特征信息，加强YOLO V4模型目标检测效果。YOLO V4模型融合多层特征，在3个不同尺寸的特征图上进行目标检测，可以一次性对多个目标进行检测，具有较高的检测精度和较快的检测速度。

2.2 迁移学习

获得一个深度学习目标检测模型通常需要从头开始训练，并且需要大量样本和时间来保证网络模型训练质量。迁移学习是一种特别的模型训练方法，迁移学习可以学到多个不同模型的共同特征，浅层卷积网络提取到图像形状、颜色等低级语义特征，深层卷积层提取到更为抽象复杂的深层特征，不同任务中其决定作用的是网络最后的卷积层和全连接层，因此对于训练新的模型，只需要将网络模型前面卷积层冻结，对最后几层网络进行重新训练，将已训练好的模型参数迁移到新的样本上进行再次训练，从而获得新的模型。所以我们利用迁移学习，能在石油炼化厂、采气井场、集气站、增压站、储液站等站场火灾样本数量较少的情况下训练出较好的模型，并且只需对模型最后几层进行训练，不仅降低模型训练所需的样本数量，节约大量训练时间，还能保证模型训练质量。

3 实验过程和结果分析

3.1 实验平台

实验巡检机器人平台，如图2所示。巡检机器人平台主要由履带式车体、气体传感器安装箱、控制箱和机械臂等部件组成。气体传感器安装箱内有气体检测装置，负责检测周围易燃气体的浓度。

机械臂上有云台和消防水枪架，云台上有防爆监控摄像机组，防爆监控摄像机组负责对周围环境进行监控，将实时检测到的火灾隐患及时反馈给控制箱。控制箱内有准确连接的数据处理模块和通信模块，负责分析和处理气体传感器和防爆摄像机组返回的实时信息并采取相应措施。该巡检机器人适用于完成石油炼化厂、采气井场、集气站、增压站、储液站等站场日常的巡检任务，消除安全隐患；还能在发生火灾时代替救援人员进入火灾现场，对现场进行救援巡检任务。

3.2 实验数据收集

采用迁移学习对模型进行训练，两个模型训练的样本相似度越高，模型训练的效果就越好，所以收集2个较为相似的数据集进行训练，第一部分数据是公开的火焰和烟雾数据集，用于YOLO V4模型先进行训练，第二部分数据是收集的样本数量较少的石油炼化厂、采气井场、集气站、增压站、储液站等站场等火灾数据集，用于YOLO V4模型进行迁移学习训练。

第一部分数据集从Bilkent大学公开的火灾火焰视频库中的6段火灾现场视频中进行截取，也从楼房火灾和森林火灾等不同类型火灾现场视频中截取火焰样本，以增强深度学习样本的多样性，提高检测精度，最终一共收集到不同类型的火灾现场火焰样本共12000张。第二部分数据集是从油炼化厂、采气井场、集气站、增压站、储液站等站场火灾现场视频中截取的火焰数据集，一共收集到504张现场火焰样本，然后将504张样本增强处理，进行不同角度旋转、颜色变化和添加噪音处理，增强后一共得到2000张样本，接着用labelImage进行标注，实验目标是检测火焰（fire）和烟雾（smoke）。

3.3 实验训练

采用tensorflow 框架在python3.7 环境下进行训练，先用YOLO V4模型对第一部分数据集进行训练，随机选用11000张作为训练集，其余1000张作为测试集，基础学习率0.001，动量大小为0.9，训练批次大小为8，权重衰减系数为0.0005，一共训练30000次得到权重文件。接着采用迁移学习对油炼化厂、采气井场、集气站、增压站、储液站等站场火灾现场火焰和烟雾样本进行迁移学习训练，选用1800张作为训练集，其余200张作为测试集，基础学习率0.1，动量大小为0.9，批次大小为8，训练584次自动停止。采用平均精度均值mAP（mean Average Precision）和交并比IOU（Intersection Over Union）作为评价准则，模型的mAP值越高，代表模型的检测效果越好。将IOU阈值设为0.5，得到模型的训练时间和平均精度均值mAP对比，如表1所示。

表1 YOLO V4模型训练结果对比Tab.1 Comparison of YOLO V4 Model Training Results

从表1可以知道，第一次采用第一部分12000张样本进行普通训练，训练时间是31.5h，测试得到模型的平均检测精度均值是94.36%，具有较好的火焰和烟雾检测精度，但模型训练的时间较长。第二次采用第二部分样本进行迁移学习训练，训练时间是0.8h，训练所需的时间大幅缩小，测试得到模型的平均检测精度均值是99.62%，具有突出的火焰和烟雾检测精度，对火焰和烟雾精度进行测试，得到火焰精度和烟雾精度，如图3所示。

图3 模型测试结果Fig.3 Model Test Results

得到模型对火焰（fire）的检测精度（AP）为100%，表示模型对井站火焰的检测精度是100%；对烟雾（smoke）的检测精度（AP）为99.24%，保留2位数后为99%，表示模型对井站烟雾的检测精度是99%。YOLO V4目标检测模型对火焰和烟雾检测的平均精度均值（mAP）是99.62%，具有较好的火焰和烟雾检测效果，运用迁移学习训练后的YOLO V4目标检测模型对火灾现场图像的测试情况，如图4所示。

图4 火灾现场图像测试Fig.4 Fire Scene Image Test

图4（a）和图4（b）分别是YOLO V4 目标检测模型对现场火苗、烟雾的检测效果图，YOLO V4目标检测模型能准确检测出现场的烟雾和火苗，检测出的烟雾的得分值分别是1.00、0.94，检测出的火苗的得分值分别是0.99、0.91，都具有较高的得分值，有较好的火焰、烟雾检测能力。图4（c）是火灾现场的检测图，YOLO V4模型能降低复杂火灾现场对火灾检测效果影响，迁移学习训练后的YOLO V4模型能准确检测出现场的火焰和烟雾，检测结果均有较高得分值，应用在含硫井站将不仅有较好的火焰、烟雾检测能力，还能协助和代替消防救援人员在地形复杂、环境恶劣的危险火灾现场进行火灾隐患检测和救援侦察工作，避免了易燃、有毒气体和高温环境对救援人员生命安全的威胁，巡检机器人结合计算机视觉技术的火焰、烟雾检测方法能为石油炼化厂、采气井场、集气站、增压站、储液站等站场的火灾预警和救援侦察提供一种新思路。

4 结论

针对火灾预警器、传统火焰、烟雾检测算法易受井站复杂环境影响，且含硫井站人工巡检存在一定风险，这里提出一种将巡检机器人与计算机视觉技术相结合的含硫井站火焰和烟雾检测方法。先将能在移动端进行实时检测的YOLO V4目标检测模型对公开火焰、烟雾数据集进行训练，接着将训练好的模型采用迁移学习方法对数量较少的井站火焰、烟雾数据集进行训练，最终得到对井站火焰、烟雾检测精度均值（mAP）高达到99.62%的YOLO V4目标检测模型，相比火灾预警器、传统火焰、烟雾检测算法，YOLO V4模型能降低复杂环境对检测结果的影响，将有更好的火焰、烟雾实时检测能力，结合巡检机器人能为含硫井站、无人值守井站火灾预警和救援侦察提供一种新的方法。