露天矿山视频智能后处理系统设计与应用

马永亮，张博洋，雷 军

露天矿山视频智能后处理系统设计与应用

马永亮1，张博洋2，雷 军2

(1.江西铜业集团公司城门山铜矿，江西 九江市 332100；2.北锐人工智能科技有限公司，湖南 长沙 410131)

通过分析现有矿山视频监控系统应用中存在的问题，提出建设视频智能后处理系统，对设定的异常事件进行自动识别和告警，并提出系统建设的设备组成、层次架构和应用功能，对系统融合进入矿山生产管控系统的闭环管理提出具体解决方案，各特定异常事件自动识别的算法在铜矿山现场的识别率和应用效果显著。

露天矿山;视频智能后处理;深度学习;闭环管理;边缘检测

0 引 言

随着视频监控技术水平的不断完善和硬件成本的逐步降低，目前各露天矿山都建立起较为完备的视频监控系统，基本覆盖生产过程的主要区域并具备高清晰显示能力，但是在实际应用中，依然存在以下几点问题：

（1）监控值班人员难以持续集中注意力，无法及时有效察觉安全威胁；

（2）图像无法全部显示，一般采取将重点区域投放大屏或通用巡视的方式；

（3）数据分析困难，监控录像不能有效分类存储，导致后续数据分析工作非常耗时[1-2]。

深度学习技术的发展使得计算机图像的识别能力得到极大提高，目前在人脸识别、行人追踪、姿态识别、物体识别等方面得到了较为成熟的应用，将深度学习在图像识别领域的应用与露天矿山视频监控系统相结合，建设视频监控智能后处理系统是对上述问题的有效解决手段[3]。

本文在原有露天矿山视频监控系统的基础上，通过搭建分布式视频处理服务器集群接入监控网络，获取网络高清摄像头视频流，训练专用识别模型进行在线分析，对违反安全规程的人员、关键生产设备异常状态告警和进出卡口的人员车辆进行记录，并将告警结果输入闭环管控流程，以实现对影响矿区生产安全事件的快速处理和响应。

1 系统架构和功能设计

1.1 系统组成

露天矿山视频智能后处理系统主要由各视频分析服务器和存储转发服务器组成，如图1所示，所有设备均通过网络连接，前端连接网络监控摄像头，后端连接矿生产管理中心。

视频分析服务器集群由多个视频分析服务器通过网络连接组成，可采用集中式和分布式两种形式，每个服务器连接若干数量的网络摄像头，并部署有视频采集模块和相应的算法模块，对输入的视频图像进行分析，发现异常情况时生成事件记录，同时产生截图和视频片段。

视频分析服务器应具备较快的视频图像分析处理能力。在满足实时视频图像分析处理要求的同时，需要能够同时分析和处理更多路输入视频。因此，视频分析服务器需要配置若干块GPU显卡以支持需要大规模数据计算的视频图像处理，还需要配置较强的CPU，具有较好的多线程并发能力和较高的主频。除此之外，较快的硬盘和网络数据交换速度也是视频分析服务器需要具备的能力[4]。

存储转发服务器由数据库和视频智能后处理管理系统组成，负责存储视频分析服务器推送的事件以及相应的图片和视频片段，并将生成的事件通过视频智能后处理管理系统推送给用户和矿生产管理中心，用户通过浏览器使用用户名和密码登陆管理系统，同时通过托盘小程序接收事件提醒。

各服务器以及服务器与用户和矿生产管理中心的网络连接均采用宽带连接，矿山主干网络带宽应在万兆级，二级单位网络带宽应在千兆级，视频分析服务器和存储转发服务器接入视频监控专网，同时存储转发服务器通过主交换机与办公网络连接。

图1 视频智能后处理系统组成

1.2 系统架构

系统采用分层架构，共分为4层，如图2所示，分别是连接层、基础层、算法层、应用层[5-6]。

图2 视频智能后处理系统架构

1.3 系统功能

（1）算法识别内容及性能参数。安全帽识别算法和外来人员识别算法是在人体识别算法基础上实现的，安全帽识别算法的主要识别内容是在采矿场和选矿厂的工作区内，对出现的未按安全规定佩戴安全帽的人员进行识别，减小意外事件对人的伤害；外来人员识别算法主要应用在排土场等生产工作区，对出现的未穿戴矿山制式工作服的人员进行识别，避免附近村民在生产工作区因捡拾矿石而导致安全生产隐患。

皮带停止和偏移算法是对运送矿石皮带的实时监视，当皮带停止或发生明显偏移时，及时提醒，避免因意外导致的生产终止或设备损坏；人员和车辆检测是在进出矿区的卡口处，对进出矿区的人员车辆进行识别记录。

各个算法的性能参数如表1所示。

（2）报警策略。报警在策略选择上分两种：提示和告警（见表2）。提示是无明显风险但需要记录的事件发生时采取的动作，主要用于事后梳理、查询；告警是存在风险且有可能导致危险发生时采取的动作，主要用于事前警示、预防风险。告警可根据需要设定不同的级别，采取不同的响应措施。

表2 报警策略对比

1.4 闭环管理流程

针对需要告警的异常情况，需要采用闭环管理的方式确保告警得到了响应，闭环管理的流程如图3所示。

图3 闭环管理流程

整个闭环管理涉及到两个循环，一个循环在视频智能后处理系统内部，另一个循环在视频智能后处理系统与矿生产管控中心之间。前者包含需要处置异常的相应业务部门，是闭环管理的“行动”过程；后者加入矿生产管控中心，是闭环管理的“监督”过程。

在异常事件出现后，首先对异常进行识别，生成告警事件，告警事件中含有是否已被响应的信息，一方面根据告警信息的性质和发生地点匹配相应的责任单位，另一方面将告警事件发送至矿管理中心；如果责任单位来响应，则持续性的发送告警信息，同时矿管理系统在判断事件未被响应时，则通过管理系统通知责任单位；如果责任单位已响应，则上报至矿管理系统，管理闭环，从而实现了视频智能后处理系统和矿管控系统的有机融合。

2 关键识别算法

2.1 基于深度学习的目标检测与图像分类算法

深度学习技术是近十年来人工智能领域取得的最重要的突破之一，在计算机视觉、图像与视频分析、语音识别、自然语言处理等诸多领域取得了巨大成功。本项目采用深度学习技术来解决安全帽识别、外来人员识别车辆识别等应用需求，基本思路是：采用基于深度学习的目标检测方法对视频中出现的人体、安全帽、车辆等目标进行检测，采用基于深度学习的图像分类方法进一步对人体图像进行分类，判断是否穿着制服，从而识别其是否为外来人员[7]。

对于是否为外来人员的判别，本项目采用基于深度学习的图像分类方法对人体图像进行是否穿着制服的分类。本项目设计了用于分类的卷积神经网络，该网络由若干卷积层、池化层交替堆叠而成，网络最后几层为全连接层，最后一层全连接层有两个节点，即分别表示穿着制服和未穿制服的两种类别。采集穿着制服和未穿制服的人体图像作为数据集训练该分类网络。

2.2 皮带运行状况识别算法

对于皮带运行状况的监测包括皮带上有矿石时停止运行的识别以及皮带上无矿石仍然运行的识别。本项目提出的皮带运行状况识别算法分为两个部分：皮带上有无矿石的识别与皮带是否运行的识别。通过对这两个模块识别的结果进行组合，就可以完成对皮带运行状况的监测。

2.3 皮带偏移识别算法

皮带运行过程中，所传送矿石重心位置的变化可能会引起皮带运动的偏移。本项目通过摄像头获取皮带在转轮附近运转的实时视频，采用智能视频图像处理方法对皮带偏移进行识别。通过研究皮带偏移在视频成像中呈现的规律，可以发现皮带偏移最为显著和最易为识别的特征是皮带边缘的运动变化。因此，本项目研发的皮带偏移识别算法基本思路是：在转轮附近选定包含皮带边缘的子区域，在该子区域内进行皮带边缘直线的检测，实时监测皮带边缘直线的变化，当皮带边缘直线的变化大于一定阈值时则认为皮带运动发生了偏移。

3 应用案例

江西铜业集团城门山铜矿于2018年进行数字化矿山一期建设，更新了原有的矿区监控网络，组成了以采矿场、选矿厂和综治保卫为视频汇聚节点，以数字高清网络摄像头、硬盘录像机、视频宽带专网为基础的高清数字化视频监控网络，基本覆盖矿区的关键区域。

由于更新后监控网络拥有接近200个摄像头，仅依靠人工监视的方法显得力不从心，同时人员也难以保持长时间的注意力集中，因此亟需自动化的监控告警方式促使监控网络发挥效能。经过对矿山的监控需求分析，共确定了5类自动监控识别行为：生产区未佩戴安全帽、外来人员进入矿区、皮带运行停止和偏移、卡口人员出入和卡口车辆出入。

3.1 测试结果

（1）测试内容和方式。测试针对每个特定的场景选择摄像头，在不同的时间段截取视频，通过人工计数事件触发数和系统自动识别事件触发数进行比对，其中，各功能选取的摄像头数目和总时长如表3所示，由于摄像头夜视效果有限，因此仅随机选取日间光线较好的时间段进行测试。

（2）性能测试结果。经过测试，结果见表4。

表3 各功能测试摄像头数目和时长

表4 系统测试结果

测试结果显示，系统的识别率均在85%以上，具有良好的应用效果。

3.2 存在问题

（1）暗光线条件下识别率不高。由于矿山安装的网络高清摄像头仅部分具备简单的红外夜视功能，在光线较暗的情况下存在观察距离近、图像不清晰和无色彩等问题，由于矿区不具备大范围补光的条件，因此导致在夜间暗光线条件下对异常事件难以识别。

（2）室外环境下光线变化对识别的影响。针对外来人员的识别需要利用人员衣着颜色特征，因此在室外条件下，随着时段不同，阳光的照射角度和亮度会使得人员衣着颜色在视觉上发生变化，以江铜集团的工作服为例，在正午阳光条件好的情况下工作服呈深蓝色，在晨昏光线较弱时工作服呈蓝黑色。此外，当周围背景反光较强时衣着的颜色也会变深，这些都是影响系统识别的不确定因素。

4 结 论

随着网络摄像头、硬盘录像机等硬件设备价格的不断降低以及视频监控系统在矿山的广泛应用，海量监控需求与监控人力不足的矛盾日益突出，对于自动化智能化的实现监控视频特定目标和事件识别显得尤为重要。

近年来，随着深度学习为代表的人工智能技术迅速发展，计算机视觉在行业的应用不断落地，为实现监控视频的智能后处理系统建设提供了可能。在矿山应用该系统并与生产管理流程相结合，具备以下3点优势：一是充分利用了现有的基础设施，在成本投入不大的情况下实现较好的效果；二是与生产管理和控制软件形成闭环，缩短了中间由人来反应的时间，提高了效率；三是释放了人力，在提高监控效果的同时降低了成本[8]。

随着技术的不断进步，计算机视觉与行业紧密结合的趋势越来越明显，随着该项技术在矿山领域的应用逐步深入，将会在国家节能减排、产业升级、智能制造、降本增效等方面发挥越来越显著的 作用。

[1] 黄凯奇,陈晓棠,康运锋,谭铁牛.智能视频监控技术综述[J].计算机学报,2015,38(6):1093-1118.

[2] 吴 群,王 田,王汉武,赖永炫,钟必能,陈永红.现代智能视频监控研究综述[J].计算机应用研究,2016,33(6):1601-1606.

[3] 黄铁军,郑 锦,李 波,傅慧源,马华东,薛向阳,姜育刚,于俊清.多媒体技术研究:2013——面向智能视频监控的视觉感知与处理[J].中国图象图形学报,2014,19(11):1539-1562.

[4] 高 云,胡 平.流媒体技术在矿山远程视频监控系统中的应用[J].金属矿山,2010,39(9):107-110.

[5] 张立亚.矿山智能视频分析与预警系统研究[J].工矿自动化,2017, 43(11):16-20.

[6] 王 琨,杨青松,张 民,邓 帅,王晓鹏.视频监控系统在矿山生产中的应用[J].信息技术,2013,(30):29-30.

[7] 马钰锡,谭 励,董 旭,于重重.面向智能监控的行为识别[J].中国图象图形学报,2019,24(2):282-290.

[8] 杜素忠,张宇鹏.数字视频监控系统在海外矿山的应用研究[J].冶金自动化,2018,42(5):7-11.

(2019-07-29)

马永亮(1983—)，男，四川西昌人，本科，工程师，主要从事电气自动化、矿山智能化、信息化管理工作，Email: 215634493@qq.com。