液压支架护帮板工作状态智能识别

张键，丰继林，袁静，周涵，刘祖阳

摘  要： 液压支架护帮板的打开和闭合是煤矿井下的主要作业之一。为了自动识别监控视频中每个护帮板的工作状态，需研究液压支架护帮板工作状态智能识别算法。结合深度学习和计算机视觉的算法，可采用融合幅度信息的光流直方图（Histograms of Oriented Optical Flow，HOF）提取运动特征。实验结果表明：算法的准确率达到88.69%、精确率达到79.08%、召回率达到76.16%、F1_score值达到76.53%，fps值达到18帧/s，验证了该算法的可行性和有效性。

关键词： 液压支架护帮板; 光流直方图; 运动识别; 计算机视觉; 煤矿作业

中图分类号：TP391.41          文献标识码：A     文章编号：1006-8228（2022）06-23-04

Detection algorithm for working state of hydraulic support guard plate

Zhang Jian， Feng Jilin， Yuan Jing， Zhou Han， Liu Zuyang

（Institute of Disaster Prevention， Langfang， Hebei 062541， China）

Abstract： The opening and closing of the hydraulic support guard plate is one of the main operations in coal mines. In order to automatically identify the working state of each plate in the monitoring video， an intelligent recognition algorithm is studied. Combining deep learning and computer vision algorithms， motion features are extracted using Histograms of Oriented Optical Flow （HOF） fused with amplitude information. The experimental results show that the accuracy rate reaches 88.69%， the precision rate reaches 79.08%， the recall rate reaches 76.16%， the F1 score value reaches 76.53%， and the fps value reaches 18 frames/s， which verifies the feasibility and effectiveness of the algorithm.

Key words： hydraulic support guard plate; Histograms of Oriented Optical Flow; motion recognition; computer vision; coal mine operations

0 引言

為实现煤矿生产无人化，以最大程度的保障人员生产安全，越来越多的矿井安装了大量摄像头用于远程监管煤矿生产活动、规范生产行为，其中液压支架护帮板是保障煤矿生产安全的重要手段之一，其主要功能是防止煤壁片帮，对其工作状态进行实时监控是减少事故率的关键。图1为液压支架的结构简图，而本文识别的主要区域为图1中的装置1：护帮装置的护帮板。

目前，国内外基于液压支架护帮板运动状态非接触式智能识别的研究也主要集中在图像处理和计算机视觉领域。比如，满溢桥[1]联合图像增强技术和护帮板位姿解算模型设计了一套识别算法，该算法监测护帮板图像误差较小，但是邻架护帮板的运动会影响其识别性能，而且需要大量的破坏性实验进行验证，因此，该算法距离实际应用尚且有一定差距。王渊[2]等人结合除雾算法与机器视觉技术，提出一种新的识别算法：采用图像处理技术测量图像中护帮板收回角度，以此来识别液压支架护帮板的工作状态。但上述方法均需要摄像头的拍摄角度满足一定要求。而煤矿井下的监控摄像头的安装角度却是多种多样，这将导致上述算法的识别性能稳定性差。

针对上述问题，本文提出一种基于计算机视觉的液压支架护帮板工作状态智能识别算法，创新点主要体现在以下两个方面：

⑴ 结合深度学习和计算机视觉技术，提出适应多角度拍摄场景的一套识别算法，该算法能实时地识别不同拍摄角度下的多个护帮板的工作状态;

⑵ 在判断护帮板工作状态环节，提出了融合幅度信息的光流直方图。由于灰尘运动、手电光亮快速晃动会对识别效果产生不利影响，且灰尘运动、手电光亮晃动和防护板运动的幅度存在明显差异，本文在传统光流直方图的基础上融入了运动幅度信息减少灰尘运动、手电光亮对识别效果的影响。

1 算法整体流程

护帮板工作状态识别算法主要分为两个部分：护帮板定位算法和工作状态识别算法。如图2所示，护帮板定位算法部分主要流程为：通过暗通道除雾算法降低灰尘影响，再采用YOLO-V3[3]定位护帮板区域;工作状态识别算法主要流程为：对护帮板区域进行低通滤波预处理，计算该区域的光流图，并提取融合幅度信息的光流直方图作为运动特征，最后用XGBoost来分类融合幅度信息的光流直方图的运动特征。

2 护帮板定位算法

为了降低灰尘和雾气对护帮板工作状态检测的影响，首先采用暗通道算法[4]对图像进行增强处理，再采用YOLO-V3算法定位护帮板的图像区域。YOLO-V3算法是目前流行的目标检测框架，该算法可以检测不同尺寸的目标，特征提取效果更好[5]，能够较为准确地定位护帮板的位置，有助于进一步提取护帮板区域的运动特征。

3 护帮板工作状态识别算法

护帮板工作状态识别算法主要包括图像预处理、运动特征提取和运动特征分类。

⑴ 图像预处理：为了降低图像中的光照变化对运动特征提取的影响，采用低通滤波算法对图像进行降噪处理。

⑵ 运动特征提取：采用Farneback算法[6]提取图像中护帮板位置的稠密光流图，再利用幅度信息改进传统的光流直方图（Histograms of Oriented Optical Flow，HOF）[7]并将其作为运动特征。

光流直方图是常用的运动特征，对稠密光流图进行加权统计得到：通常将光流向量映射到12个方向，得到12个特征，但该特征更关注运动的方向信息而忽略了运动幅度信息。在实际的监控视频场景中，灰尘的运动、手电光的快速运动等，严重影响护帮板工作状态的识别，仅靠光流方向很难准确的实现运动特征分类。通过光流图像分析发现，灰尘运动的幅度较弱，手電光的运动幅度较大，而防护板的运动幅度介于二者中间。由此可以发现不同物体的运动具有不同的幅度信息。基于此，提出融合幅度信息的光流直方图，其改进方案如下。

若某一像素点为P，对应的光流为（x，y），则所映射的方向具体可以用以下方式计算：

[θ=tan-1yx]   ⑴

其中[θ]是求出的角度，当角度落在范围：

[2（b-1）πB≤θ≤2bπB]

s.t.[ 1≤b≤B]  ⑵

当光流幅值[d=（x2+y2）12]

[（h-1）（Dmax-Dmin）H≤d≤h（Dmax-Dmin）H]

s.t.[ 0≤h≤H]  ⑶

其中：H为量化后的幅度信息的数量，d作用到光流直方图第h个的bin中，最后两者归一化直方图[7]。b为HOF特征第b个维度，B为光流场方向个数;式⑶中[Dmax，Dmin]分别为幅值最大值最小值。根据式⑴、式⑵可计算该区域光流方向的直方图，根据式⑹可计算该区域光流幅度的直方图，再按照图3中的融合幅度信息的HOF计算过程可计算出融合幅度信息的光流直方图。融合幅度信息的光流直方图如图3所示。

⑶ 运动特征分类：XGBoost属于集成学习算法，由多个互相关联的基学习器共同决策[8]，在分类问题上表现优秀，可用于处理大规模数据[9，10]。XGBoost包含一个迭代残差树的集合，利用梯度提升算法不断减少已生成的决策树的损失，每棵树都在学习其前面所有树的残差，最后将每棵树预测的结果相加作为样本的最终结果[11，12]。

4 实验环境和分析

4.1 实验环境

为验证本文算法的实用性和有效性，本文采用的数据来源于Marco公司提供的矿下监控视频，本文实验环境为：海康DS-2cd3t56wd，Intel Xeon CPU E5-2680 V4 2.40GHz，64内存NVIDIA TITAN V。

4.2 实验数据

本文采用的数据来源于Marco公司提供的矿下监控视频，矿井中的摄像头一般安装在护帮板对面的正上方，每隔3-5个护帮板安装一个摄像头，摄像头旋转时可以拍摄到7-8个护帮板。图4为视频原始图像，其中图4（a）、图4（b）分别为同一视频场景下摄像头发生旋转拍摄的不同角度的图像。用于YOLO-V3模型训练的数据集累计248774张图片，训练集与测试集比例为8：2，用于XGBoost型训练的数据集累计4659张图片，训练集与测试集比例为8：2。

4.3 实验方案

本实验分为护帮板定位算法和护帮板工作状态识别算法两部分。YOLO-V3检测三类：大护帮板，小护帮板，非护帮板，表1为YOLO-V3模型和XGBoost模型训练参数。本实验以准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1_score、识别速度（fps）作为评价指标。对照实验：低通滤波和改进光流直方图的特征提取方法识别护帮板工作状态的效果。

4.4 实验结果

根据4.3里的评价指标，实验结果如表2所示，本文对检测方案中的均值滤波和改进的光流直方图进行了对比试验。从实验一和实验二的对比可以看出，对图像进行均值滤波预处理后，传统光流直方图提取特征的效果都有所提升。由实验三、实验四对比可以看出，采用均值滤波处视频图像加上改进光流直方图特征提取方法的算法，无论是在准确率、精确率、召回率还是F1_score，都有极大的提高，只在检测速度（fps）上有所下降。

4.5 实验结论

依据上述对比实验可以得出，将视频图像进行低通滤波预处理，再采用改进的光流直方图提取护帮板运动特征，可以在一定程度上克服矿井下灰尘运动和光线变化的影响，区分更多的运动信息，算法在摄像头发生旋转的情况下也可以达到较好的检测效果。

5 结束语

针对煤矿场景下液压支架护帮板传统接触式检测难题，本文基于计算机视觉技术，提出液压支架护帮板工作状态智能识别算法。该算法分别通过除雾算法和低通滤波得到较高质量的图像，结合YOLO-V3算法得到的护帮板位置信息进行光流计算，并针对传统的光流直方图加入了运动幅度信息提取特征，丰富了护帮板运动特征信息。实验表明融合幅度信息的光流直方图算法方案在各项实验指标上都有较好表现，可作为液压支架护帮板状态智能检测的手段。

参考文献（References）：

[1] 满溢桥.液压支架护帮板与采煤机滚筒截割干涉监测技术研究[D].徐州：中国矿业大学，2019

[2] 王渊，李红卫，郭卫，等.基于图像识别的液压支架护帮板收回状态监测方法[J].工矿自动化，2019，45（    2）：47-53

[3] Redmon J，Farhadi A.YOLOv3：an increamental improve-ment[J]. IEEE Conference on Computer Vision and Pattern Recognition，2018：89-95

[4] HE K M，SUNJ，TANGXO.Guided Image Filtering[J].IEEE Transactions on Software Engineering，2013，35（6）：1397-1409

[5] 施辉，陈先桥，杨英.改进YOLO v3的安全帽佩戴检测方法[J].计算机工程与应用，2019，55（11）：213-220

[6] 周伟.基于光流法的目标提取与跟踪算法研究[D].赣州：江西理工大学，2017

[7] 刘闯.基于计算机视觉的人体行为识别方法[D].南京：南京邮电大学，2019

[8] PAN B Y. Application of XGBoost algorithm in hourly PM2.5 concentration prediction[J].IOP Conference Series：Earth and Environmental Science，2018，113（1）：1-7

[9] 武康康，周鹏，陆叶，等.基于小批量梯度下降法的 FIR 滤波器[J].广西师范大学学报（自然科学版）1-14[2021-05-17]

[10] SUKHPREET D，ABDULLAH N，ROBERT A. Effective intrusion detection system using XGBoost[J].Information，2018，9（7）：149-173

[11] LI W，YIN Y B，QUAN X W，et al. Gene expression value prediction based on XGBoost algorithm[J]. Frontiers in Genetics，2019，10：1-7

[12] 凌毓，张金区，李乡儒，李慧.基于XGBoost的单脉冲信号识别研究[J].天文研究與技术：1-15[2021-06-25]