基于图像的井下人员安全防护检测系统设计

朱桂莹  许菁茹  孔佳怡  李梓锐

摘  要：设计了基于图像的井下人员安全防护检测系统，基于矿井内摄像头采集到的图像，通过多种图像增强算法进行预处理，并利用轻量级神经网络YOLOv5检测采集到的图像中作业人员是否佩戴口罩和安全帽等装备，最后把结果展示在监管系统上。通过实时展现检测结果并对违规现象进行报警，该系统可以实现矿井下对人员装备佩戴情况的半自动监管，从而提高井下作业的安全性的同时降低成本。

关键词：YOLOv5；Retinex；图像增强；矿井；安全防护；图像识别

中图分类号：TP391.4  文献标识码：A  文章编号：2096-4706（2023）24-0121-05

Design of Safety Protection Detection System for Underground Personnel Based on Images

HUANG Haocheng， ZHU Guiying， XU Jingru， KONG Jiayi， LI Zirui

（China University of Mining and Technology-Beijing， Beijing  100083， China）

Abstract： This paper designs a safety protection detection system for underground personnel based on images. Based on the images captured by cameras in the mines， it preprocesses by various image enhancement algorithms， and uses the lightweight neural network YOLOv5 to detect whether the operators wear masks and safety hats in the captured images， finally displays the results on the regulatory system. By displaying detection results in real-time and alarm to the violations， the system can achieve semi-automatic supervision of personnel equipment wearing situation under the mine， so as to enhance the safety of underground operations while reducing cost.

Keywords： YOLOv5; Retinex; image enhancement; mine; safety protection; image identification

0  引  言

我國是一个煤炭储量丰富的国家，其中的90%左右都是在井下开采中获得。井下地形环境复杂，通风条件较差，常见的危险有生产性粉尘和大量碎石。前者长期吸入会使井下人员患上呼吸系统疾病；后者会带来高空物体坠落伤害。因此，为了保障井下人员的安全，必须对佩戴安全帽和防尘口罩等防护用品进行检测与监督，以避免潜在的安全隐患。目前井下对于佩戴防护用具的监控一般是基于红外传感的监控系统，存在着需要人工判识、不能实现监控无死角以及会被其他热源干扰等不足[1]。为了提高矿井管理质量，可以利用计算机图像处理技术进行自动化检测管理[2]。相比于雾霾环境，目前国内外在其他恶劣环境下的图像清晰化算法研究成果较少，而对于粉尘环境图像，对其清晰化处理以提高识别效果是井下识别需要解决的问题[3]。目前在图像处理方面常用的方法是图像增强，可以通过灰度变换增强、直方图均衡化和Retinex理论等方法来实现。针对粉尘环境图像处理与实时监测结果展示的需求，对采集的粉尘环境下的图像进行处理并识别，选择轻量级神经网络YOLOv5实时监测井下人员的违规佩戴行为，将作为本系统的设计思路。

1  系统总体设计方案

井下人员安全防护检测系统以光学图像技术为基础，通过图像增强技术，使监管人员能直接通过井下图像对作业人员实时监测，并借助深度神经网络进行辅助识别。其框架如图1所示。图像采集系统主要由嵌入式系统组成，负责采集图像源并将其传给图像处理系统；图像处理系统由图像识别和图像预处理两个模块组成，二者根据监管系统中监测员给出的方法和参数，处理和识别图像源中的人员佩戴装备信息，若识别到违规佩戴现象则向监管系统发出报警信号。

由此可见，图像处理系统是整个系统的核心组件，实现图像识别模块和图像预处理模块是实现系统的关键。

2  图像预处理

2.1  矿井下图像特点

矿井下环境错综复杂[4]，光照条件因位置不同而不同。直接由光学镜头采集的图片往往存在以下问题：

1）照明不均。矿井下主要采用的是矿灯照明。这种照明会使得照明区域较为明亮而周围未照明区域亮度极低。由于相机动态范围有限，极易导致图像产生过曝现象或阴影细节丢失，从而损失大量有效信息。

2）粉尘影响。矿井作业环境相对含有较多的粉尘颗粒物，这些颗粒物会将对物体反射光产生反射和折射作用，进而导致采集图像中物体的模糊现象。

3）光晕现象。过强的光线会导致产生光晕现象，进而丢失光晕部分的细节。

4）色域较窄。井下环境总体而言较为黑暗，难以区分颜色之间的差别。

2.2  需求分析

矿井下图像处理存在诸多困难，针对该问题，设计的系统应满足如下需求：

1）存在多样的预处理方式。不同的预处理方式有处理速度快慢、效果好坏、适用范围等区别，需要用户针对对应的场景在可视化界面方便地切换。

2）方法参数设置。图像增强算法需要针对具体场景调整参数以获得最好的观感，这要求提供的可视化界面能够较为方便地调整方法参数。

2.3  系统设计

基于上述分析，预处理系统设计如图2所示。在数据流传入图像处理系统后，图像预处理模块首先根据监测员提供的参数开始处理信息。模块首先调用Request类创建实例，通过传入数据流文件位置，方法和参数从基类Preprocess里选择子类进行应答，将处理好的图像传向图像识别模块。

模块设计上采用了树状继承的类关系，结构简洁的同时兼顾了模块可持续开发的特点。用户可在模块下继承其他类进一步完善或自定义需要的方法和类，有利于贴合实际场景。

现今模块支持的预处理方法主要有：直方图均衡化，自适应直方图均衡化，灰度变换增强和基于Retinex理论的单尺度和多尺度算法。

2.3.1  直方图均衡化

直方图均衡化是一种用于图像处理的技术，旨在通过拉伸图像的灰度级分布以提高对比度和可视性。直方图均衡化是一个经典的图像增强算法，无须传入任何参数，运算速度快且算法简单，在该系统中主要用于需要较高帧率的实时监测时使用。但增强图像的灰度级会减少，因为相似概率的灰度级在均衡化后可能会被合并为同一级别。此外，当输入图像的直方图存在密集部分时，增强后的图像对比度可能会过度增强。

2.3.2  自适应直方图均衡化

自适应直方图均衡化算法与普通直方图均衡算法的不同之处在于，它通过计算图像局部直方图并重新分布亮度来改变对比度[5]，由于矿井下光照条件较差，该方法适用于改善局部对比度和提高图像细节。自适应直方图均衡化算法存在过度放大相同区域噪音的问题。

该方法的参数是领域大小，小领域可增强对比度，大领域则降低对比度。

2.3.3  线性缩放灰度变换增强

灰度变换增强是指通过对图像的像素值进行转换，以改善矿井内图像光照条件差的情况，可以用于提高圖像的对比度、亮度、色彩饱和度等方面。本方法将单通道图像中每个像素的灰度级从一个范围映射到另一个范围，这种映射可以是线性或非线性的。本系统使用的方法是最简单的灰度变换，是一种线性缩放，将原始图像中的像素值按比例缩放到一定的范围内，该范围可以由监测者调节，以便达到更高的识别率。

2.3.4  单尺度Retinex

SSR（Single Scale Retinex）算法是一种基于光学理论Retinex的图像增强算法。理论推测，观测者接收到的图像可以分解为入射光和物体反射率。三者有以下关系：

由上式可知，若能得到物体反射率，即可准确复原物体本身的反射情况，即还原物体本身的颜色。Retinex理论提出者认为，可以用观测者接收到的图像和一个高斯核的卷积来近似估计[6]。因此，可通过输入图像和卷积核大小，即可得到物体本身的图像。该算法适合去除图像中的雾气或尘土，在提取特征方面也有独特优势。

2.3.5  多尺度Retinex

由于不同图像的特征尺度各不相同，以及同一图像内局部与局部之间的特征差异，不同的特征尺度可以得到不同的照度估计。因此，MSR（Multi Scales Retinex）算法将使用不同特征尺度得到的图像进行加权平均后输出，即可得到一张更加符合实际物体本身的图像[7]。该算法对去雾场景有较好的增强效果。

3  基于YOLOv5的图像识别

3.1  YOLOv5卷积神经网络训练模型

YOLO是目前流行的目标检测模型之一，该模型采用预定义预测区域的方法来完成目标检测。YOLO网络将输入的图片划分成大小为32×32的网格，安全帽和口罩的中心位置落入某个网格中，则由该网格负责检测目标。相比其他算法，YOLO的多尺度预测算法能够更有效地检测目标。

本文是基于YOLOv5卷积神经网络的框架模型，对矿井画面中的安全帽及口罩进行分析检测。从YOLOv5的性能和精度两个方面考虑，相对于YOLOv4做了以下四个方面的优化：1）在输入端采用Mosaic的数据增强方式，对4张图片进行随机缩放、剪裁、排布的操作，增强数据集的多样性，提高识别小目标的能力。2）在基准网络中采用CSPnet结构和Focus结构相结合的机制，增强CNN的学习能力。3）在Neck网络中采用FPN结构以及PAN结构，可以进一步提升特征的多样性及鲁棒性，在目标检测过程中起到辅助作用。4）在输出层采用CIOU_Loss做边框的损失函数，进一步提升算法的检测精度[8]。

YOLOv5卷积神经网络结构如图3所示。

3.2  实验流程及结果分析

3.2.1  训练环境及数据集

本次实验是基于PyTorch 1.8.0框架，环境为Python

3.8，CUDA版本为11.8，GPU为GeForce RTX 3050 Ti，操作系统环境为Windows 10。

本文收集了5 188张安全帽佩戴图像和6 480张口罩佩戴图像作为深度学习的数据集。收集的数据集中包含了多角度、多环境、多对象，具有不同遮挡程度的图像。并使用LabelImg对图像进行数据标注，如图4所示。将整个数据集按训练集、验证集、测试集按照0.7：0.2：0.1的比例进行随机划分，数据集划分如表1所示。

由于直接进入矿井下拍摄施工人员佩戴安全帽及口罩的图片存在极大困难，导致我们不易获取矿井下的数据集。真实矿井下环境恶劣、光线昏暗，并存在大量粉尘漂浮，所以本文对数据集进行人工加噪处理来初步还原矿井下恶劣环境，进而评估YOLOv5训练模型的可行性。

高斯噪声可以表示矿井下粉尘漂浮导致图片清晰度较低的现象，在训练期间将高斯噪声添加到原始数据集中可以驱使模型学习对输入数据集中的轻微改变具有鲁棒性的特征，因此当测试图像与训练数据有所不同时，YOLOv5模型也能正确识别出待检测目标。所以本文选用高斯噪声对数据集进行人工加噪处理，下面分别对高斯噪声的两个重要参数进行分析。

从高斯噪声的强度考虑，强度越大，加噪过后的数据集分辨率越低。本文分别对数据集加入10%、20%、30%、40%的高斯噪声后发现加入10%高斯噪声的图片相对于原始图片变化微弱，且30%、40%高斯噪声的图片失真较为严重，均无法准确模拟井下真实环境，而20%的高斯噪声模拟井下真实环境的效果最优。

从高斯噪声的方差角度考虑，方差值越大，高斯噪声的取值越分散。选取方差值为0.001和0.01的高斯噪声，对比结果后可知方差为0.01的高斯噪声信号波动程度较低，数据集的加噪结果变化较小，因此选用方差为0.01的高斯噪声。

综上本文选取方差为0.01的20%高斯噪声对安全帽数据集和口罩数据集进行人工加噪处理，如图5所示。

3.2.3  模型训练及测试

本文选用YOLOv5中的YOLOv5s作为基础模型，YOLOv5s检测结果准确率高、体积小，且保持了YOLO系列算法检测速度快的特性，十分适用于矿井下安全帽和口罩的检测。本文通过设置批次大小、迭代次数等配置参数，使得YOLOv5s网络对模型进行有效训练。部分重要参数设定如表2所示。

3.2.4  实验结果

通过上述实验过程，YOLOv5算法对原始数据集以及加噪数据集进行训练后，得到了较好的图片检测结果，具体识别图像如图6所示。

根据图6可见本实验中对于简单环境下的多目标图像具有优秀的识别效果，识别精度处于较高水平。根据图7可见本实验中对于加噪的多目标图像具有较好的识别效果，但识别精度稍低。

3.2.5  实验分析

精确YOLOv5目标检测模型评估主要依赖于两个性能指标：平均准确率AP和平均精度均值mAP。AP是评估某一个类别检测效果好坏的标准，其根据不同的置信度和IoU阈值，可以得到相应的准确率和召回率，进而通过计算P-R曲线下的面积得出AP值，AP值越接近于1，分类器性能越好。mAP指标用于评价多标签图像分类任务，mAP值越高，表示该目标检测模型在所用数据集上的检测效果越好。该指标的计算使用精确度和召回率的概念[9]。用公式表示如下：

由表3可以得出，YOLOv5在加入20%高斯噪声后的安全帽检测任务中精确度、召回率、mAP@50依次下降1%、0.2%、0.1%；口罩检测任务中精确度、召回率、mAP@50依次下降1%、0.2%、0.2%。可见YOLOv5在加噪处理后的检测任务中虽然精度、召回率和mAP@50都有所下降，但该模型仍具有良好的识别精度。本文所研究的安全帽和口罩佩戴检测方法，能够较好地满足矿井下的检测需求，在多目标以及存在干扰项的复杂环境下，均能够进行有效识别[10]。

4  结  论

针对矿井下人员监管问题，本文设计了一套基于图像的井下人员安全防护检测系统。该系统包含预处理模块和识别模块，能够提高图片清晰度并较为准确地识别出人员佩戴装备信息，通过与监控系统结合，可以实现有效的安全监管，并降低监管成本。尽管该系统提供了多种图像预处理方式，但仍需要监管人员具备一定经验调整方法参数以获得更好的效果。由于更加合适的图像去雾算法不断涌现，未来还有较大改进空间，例如增加适应性更强的预处理算法，以更好地服务于矿工的安全和生产。

参考文献：

[1] 游青山，冉霞.基于机器视觉的矿井作业人员行为监测及违章识别系统 [J].自动化与信息工程，2021，42（4）：20-24.

[2] 杨鹏飞，宋春林.基于智能图像处理的矿井监测系统 [J].信息技术与信息化，2017（10）：38-43.

[3] 刘翰林.基于改进室内图像复原算法的智能降尘系统 [D].阜新：辽宁工程技术大学，2022.

[4] 刘晓阳，乔通，乔智.基于双边滤波和Retinex算法的矿井图像增强方法 [J].工矿自动化，2017，43（2）：49-54.

[5] 吕侃徽，张大兴.基于自适应直方图均衡化耦合拉普拉斯变换的红外图像增强算法 [J].光学技术，2021，47（6）：747-753.

[6] LAND E H.The Retinex Theory of Color Vision [J].Scientific American，1977，237：108-128.

[7] 吳海丽.基于多尺度Retinex的受云雾影响可见光图像增强研究 [J].激光杂志，2023，44（4）：185-189.

[8] 李自强，任磊，刘莉，等.基于YOLOv5算法的施工现场不安全状态智能检测 [J].土木建筑工程信息技术，2023，15（3）：20-26.

[9] 张又元，杨桂芹，刁广超，等.改进YOLOv5适应安全帽佩戴与口罩佩戴检测应用的算法 [J/OL].Journal of Measurement Science and Instrumentation：1-13（2023-03-02）.http：//kns.cnki.net/kcms/detail/14.1357.TH.20230301.1358.002.html.

[10] 石永恒，杨超宇.基于深度学习的矿井下作业人员安全帽佩戴检测 [J].绥化学院学报，2021，41（9）：148-152.

作者简介：黄浩诚（2002—），男，汉族，江西赣州人，本科在读，研究方向：信息工程；朱桂莹（2002—），女，汉族，黑龙江哈尔滨人，本科在读，研究方向：信息工程；许菁茹（2003—）女，汉族，湖北武汉人，本科在读，研究方向：信息工程；孔佳怡（2002—），女，汉族，河南南阳人，本科在读，研究方向：信息工程；李梓锐（2002—），男，汉族，安徽淮北人，本科在读，研究方向：信息工程。