基于行为识别的铜冶炼智能安全监控系统

程彤 侯开虎

摘  要： 近年来国内生产事故频发，尤其是冶金等高危行业的生产安全事故总是伴随着严重的人员伤亡和财产损失，而很多事故都是因工作人员的不规范行为所致。本文针对铜冶炼行业在生产过程中存在的不规范行为，例如违规越界、未佩戴防毒面具、违规吸烟等，采用计算机视觉中的行为识别技术和入侵侦测技术开发了一款基于行为识别的铜冶炼智能安全监控系统。该系统通过目标检测、特征提取、行为分类、行为识别等技术对不规范行为进行识别，并在系统中实现及时警报提醒的功能。该系统的应用能有效的提高对不规范行为的识别和警示，从而实现减少该类事故的发生。

关键词： 行为识别;目标检测;LSTM;入侵侦测

中图分类号： TP391    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2019.08.023

本文著录格式：程彤，侯开虎. 基于行为识别的铜冶炼智能安全监控系统[J]. 软件，2019，40（8）：98101

【Abstract】： In recent years， domestic production accidents have occurred frequently， especially in production safety accidents in high-risk industries such as metallurgy， which are always accompanied by serious casualties and property losses， and many accidents are caused by irregular behavior of workers. In this paper， the irregular behavior of the copper smelting industry in the production process， such as violation of regulations across the border， no wearing gas masks， illegal smoking， etc.， using behavior recognition technology and intrusion detection technology in computer vision to develop a behavior-based copper Smelting intelligent safety monitoring system. The system identifies non-standard behaviors through target detection， feature extraction， behavior classification， behavior recognition and other technologies， and realizes the function of timely alarm reminding in the system. The application of the system can effectively improve the identification and warning of irregular behaviors， thereby reducing the occurrence of such accidents.

【Key words】： Behavior rcognition; Target dtection; LSTM; Intrusion dtection

0  引言

近年来国内安全生产领域事故频发，尤其是冶金、化工等行业的生产安全事故总是伴随着大量的人员伤亡，给生产人员的人身安全造成极大威胁，而且也必然会给企业或者政府造成严重经济损失。调查发现，很多事故的主要原因之一便是操作人员的不规范行为而导致的，如果对不规范行为进行识别并及时提醒制止可有效降低事故的发生率。但传统监控技术的主要功能是用于人工值守监视或者在事故之后提供一定的证据。由于人类存在视觉疲劳的生理现象，无法保持长时间注意力集中，所以仅通过人工监视对规避安全生产事故的作用非常有限。

目前计算机视觉技术得到了广泛地应用与发展，具有智能识别功能的智能视频监控系统已经逐步应用在在交通和公共安全等领域，在很大程度上解决了人工值守效率低下的问题。智能视频监控系统技术能够基本实现人脸检测、危险区域检测、行为识别等功能，并实现了在多个领域中的初步应用。Messing等[2]人把关键点运动历史的特征用于动作识别，该特征在包含复杂动作的高精度视频上发挥出较大的优势。Liu等[3]人用菲德勒嵌入的方法将旋转图像和局部时空立方体嵌套到同一空间中。近期，微软剑桥研究院的Shotton等人提出从一幅深度图像中快速准确地预测人体关节3D时空位置的方法，具有姿态、形体以及衣着不变性等优势。Laptev等[3]将图像处理领域广泛使用的2D Harris检测算子扩展到三维时空域，提出适合视频数据的3D Harris时空兴趣点探测算子。Ji等[4]将神经网络（CNN）扩展到三维，提出3D CNN用于行为识别，通过三维（3D）卷积在三维视频数据中同时编码空间信息和时间信息。Tran等[5]对三维卷积神经网络做了进一步的加深和改进，促进了其在行为识别领域的发展。IBM公司还另外独立自主的开发了一个智能视频监控系统，并成功投放到市场中开始使用，這个系统很好的利用了便捷的网络资源，它能通过网络将前端监控设备拍摄到的视频实时传递到监控终端进行处理和分析，一旦发现了场景中有异常情况就会自动发出警报提醒。中科院自动化研究所已经在相关研究领域取得了非常大的进展，自动化研究所的生物识别与安全技术研究中心已研究开发了智能视频监控系统。该系统的主要功能包括人和车辆的多目标检测、跟踪和分类;运动目标异常行为的识别;人体异常动作识别;监控视频中的人脸跟踪与识别;异常的物体遗留与丢失检测;人群和交通的流量评估、车辆计数和拥堵的报警等等。

当前研究中关于目标检测以及跟踪的方法有很多种，即使攻克了视频监控系统中的部分难点，但是更多更具深度的困难问题依然等待着我们去探索解决，例如特殊天气状态下（如下雨天、雾霾天）的系统适用性问题、光照强度自适应问题等等。国内的大部分视频监控的探讨要落后于国外，还做不到把理论应用到实际中，大都滞留在对理论的分析阶段，在应用这一层次上还不够完善，已有并且完善的大数量的视频系统还不多见。此外，目前智能监控系统的研究和应用主要是针对于公共安防领域，但生产安全领域应用的较少，因此在这一领域的研究及应用前景比较广阔。

1  系统实现关键技术

1.1  运动目标检测技术

本系统的开发采用OpenCV中提供的混合高斯模型来完成运动目标的检测与跟踪。高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。因此其能够在铜冶炼厂的复杂背景条件中检测运动目标。GMM对视频中图像序列每个像素点构建K个高斯分布。K的值一般取3～5。经过验证在铜冶炼厂条件与环境中取K的值等于3为宜。用K个高斯分布值加权求和描述视频场景。高斯模型主要是由方差和均值这两个参数确定，对均值和方差的学习采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。由于此处是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。 用于表示每个点的像素值，此外K个高斯函数用于代表其概率密度函数，具体如公式（1）所示。

1.2  LSTM技术

LSTM技术的基本思想是用LSTM对帧的卷积最后一层的激活在时间轴上进行整合。因为全连接层后的高层特征进行池化已经丢失了空间特征在时间轴上的信息，所以没有用CNN全连接层后的最后特征进行融合。相对于基于CNN扩展网络的识别方法，其可以对CNN特征进行更长时间的融合，不对处理的帧数加以上限，从而能对更长时长的视频进行表达。此外，基于CNN扩展网络的识别方法没有考虑同一次进网络的帧的前后顺序，而基于LSTM的识别技术通过引入记忆单元，可以有效地表达帧的先后顺序。

1.3  入侵侦测技术

在铜冶炼厂的复杂生产环境中，在某些环节或工艺进程中部分区域存在较大安全隐患，因此进行相应生产时禁止有人员进入限定区域。如果工作人员违规进入该区域需要进行及时警报，及时提醒工作人员退出限定区域。在此需要用到入侵侦测技术，将安全警示线作为X轴建立一个坐标系，利用坐标投影的方式将运动检测点在原始图像中的坐标投影到该坐标系钟中，图1为坐标投影示意图。

由公式（3）中计算出来的 的正负号即可判断运动检测点即工作人员是否越过了安全警示线，如果越过即代表违规进入了限定区域，系统需要及时发出警报，并提醒违规工作人员尽快退出。

2  系统需求分析

通过对铜冶炼生产的整体流程及各主要生产车间的调研了解，基于文献资料对该系统进行需求分析，该系统主要实现的功能包括行为识别的功能、监控视频管理的功能、系统设置的功能。

2.1  行为识别功能

冶金行业的生产流程较长且复杂，包括众多关键环节，涉及炼铁、炼钢、轧钢、焦化、烧结、煤气[1]等。许多生产环节都具有高危风险，其中涉及人员、设备故障、操作异常等众多原因。因此，在整个生产过程中都一直伴随着不同程度的危险。参考《冶金行业较大危险因素辨识与防范指导手册》中常见的若干危险因素，其中可以通过视频对工作人员操作进行监控的方面包括：

（1）进入有毒有害气体容易聚集的场所时需要佩戴防毒面具;

（2）某些生产环节开始时，严禁人员出现在具有潜在危险的限定区域。例如烧结环节中，严禁人员在取料机的行进轨道上行走或停留;

（3）工作人员可能因中毒等因素导致意外倒地，如果未被及时发现会致使错失抢救。

（4）在易燃易爆气体浓度较高的区域严禁吸烟，否则容易导致爆炸。

本文所研究的系统需要针对以上易导致事故发生的因素进行智能监控，对生产过程中所出现的不规范行为或者危险事件进行及时识别，并做出相应的提醒和警报，以避免不必要的人员伤亡和经济损失。系统除了实现行为识别的功能外，还需满足监控信息管理的功能、系统设置的功能。

2.2  监控视频管理的功能

监控视频管理是对生产过程中采集到的视频信息进行统一管理，涉及实时监控信息、历史监控信息、监控设备管理等。实现对实时监控信息的储存和查看，对历史监控信息的查询和调阅，同时可对多个生产区域的监控设备进行管理，包括对每台设备实现参数设置的功能。

2.3  系统设置的功能

系统设置功能包括对车间、人员、设备的信息及权限进行管理，其中最主要的部分是实现对每台监控设备的参数进行设置，以适应不同的生产环境和应用场景。此外，预警等级設置功能需实现对预警类型、预警的时间段、预警的灵敏度准确设置的功能。

3  系统架构设计

因为冶炼厂生产环境复杂，且监视频视野较为广阔，需要检测的运动人体目标较小，因此大大增加了目标检测的难度。此外还应考虑运动目标被其他物体遮挡或者干扰的因素，所以在选取目标检测的方法时需要考虑多个方面。本文选用开源的OpenCV进行行为识别，这是一款完全免费的计算机视觉库，其在运动目标检测及跟踪方面提供了很多函数。

3.1  基于ASP.NET MVC的系统框架

ASP.NET MVC 是Windows系统下面的Web研发框架，其通过把项目分成Model、View和Controller，使得复杂项目更加容易维护，减少项目之间的耦合。ASP.NET MVC的特色优势就是把输入逻辑，业务逻辑和显示逻辑这三个任务分离，易于测试和默认支持测试驱动开发。铜冶炼智能安全监控系统采用B/S架构进行开发，便于多车间、多人员进行监控管理。

3.2  系统的功能架构

基于行为识别的铜冶炼智能安全监控系统包含监控视频管理、异常行为识别、系统设置三大模块，其中异常行为识别是系统的核心模块，其涉及入侵（越界）侦测、佩戴防毒面具识别、违规吸烟识别等功能，具体的系统功能架构如图2所示。

4  系统实现

铜冶炼厂的生产流程较长、工艺复杂，涉及多个车间及部门，因此具有需要多部门、多人员同时进行监控管理的特点。为了便于管理此系统采用B/S模式，并基于ASP.NET MVC的web框架进行开发。系统前端是在Visual Studio 2017的环境下编写实现，用户登录后即可访问主界面，主界面涵盖了监控视频管理、异常行为识别、系统设置等模块。对于异常行为的识别是基于开源的计算机视觉库OpenCV进行实现，由于OpenCV提供了Python语言的接口，故后端的入侵侦测、佩戴防毒面具检测、违规吸烟等行为识别算法采用Python语言编写实现。此外系统还实现了对历史监控视频的管理，包括对历史监控视频信息的查询和浏览等功能。

4.1  运动目标检测

运动目标检测是行为识别的基础，利用OpenCV提供的BackgroundSubtractor做视频图像的背景分割，并且完成对运动目标的检测。系统实现过程中采用K-Nearest（KNN）背景分割器，其中用BackgroundSubtractorKNN来实现运动目标检测核心代码如下：

fgmask = bs.apply（frame）

th = cv2.threshold（fgmask.copy（）， 244， 255， cv2.THRESH_BINARY）[1]

dilated = cv2.dilate（th， cv2.getStructuring-Element（cv2.MORPH_ELLIPSE， （3，3））， iterations = 2）

image， contours， hier = cv2.findContours （dilated， cv2.RETR_EXTERNAL， cv2.CHAIN_APPROX_ SIMPLE）

for c in contours：

if cv2.contourArea（c） > 1600：

continue

（x，y，w，h） = cv2.boundingRect（c）

cv2.rectangle（frame， （x，y）， （x+w， y+h）， （255， 255， 0）， 2）

用BackgroundSubtractorKNN来实现运动目标检测的具体效果如图3所示。

4.2  对佩戴防毒面具的识别

在部分生产环节进程中会产生有毒有害气体，而有些区域极易导致有毒有害气体聚集造成人员中毒事件，因此工作人員进入有毒有害气体容易聚集的场所时必须要佩戴防毒面具。对于是否按要求佩戴了防毒面具需要在进入该区域之前就完成识别，因此可以将识别系统与门禁系统集成，只有工作人员身份信息的权限符合并且系统识别到该人员已经佩戴防毒面具，门禁系统方可允许工作人员进入该区域。

5  结语

基于行为识别的铜冶炼智能安全监控系统的开发是企业实现安全生产监控信息化、智能化的一个重要环节，本文研究实现了对多个违规行为的识别，包括佩戴防毒面具的识别、违规进入限定区域的识别、意外倒地的识别、违规吸烟的识别等。从效果来看系统基本实现了设计预期，同时也存在一定的不足。例如在烧结布料过程中，工作人员需要用铁锹接落下的混合料时必须侧身站立，否则会面临较多隐患，对此行为的监控识别目前还未能实现。此外对于物体违规放置的识别本文也为涉及到，这些领域有待进一步研究。总体而言，本系统的研究为铜冶炼厂实现安全生产监控智能化提供了一种思路，具有一定的借鉴意义。

参考文献

[1] 张孟豪. 钢铁企业绿色生产行为的影响因素及其作用机理研究[D]. 中国矿业大学， 2016.

[2] 李波. 视频序列中运动目标检测与跟踪算法的研究[D]. 北京交通大学， 2012.

[3] 毛志强， 马翠红， 崔金龙， 王毅. 基于时空双流卷积与LSTM的人体动作识别[J]. 软件， 2018， （09）： 9-12.

[4] 邢晓红. 基于视频的人的异常行为识别方法研究[D]. 沈阳航空航天大学， 2017.

[5] 让智能交通系统更智慧， 计算机视觉在交通领域五大应用方向[J]. 软件， 2018， （07）： 224-225.

[6] Mark T.Hoske， 辛磊夫. 基于机器视觉的检测系统[J]. 软件， 2007， （01）： 31-34.

[7] 韩敏捷. 基于深度学习的动作识别方法研究[D]. 南京理工大学， 2017.

[8] 徐海燕. 复杂环境下行为识别特征提取方法研究[D]. 东南大学， 2016.

[9] 顾菘. 视频目标的跟踪与分割的理论和方法研究[D]. 电子科技大学， 2016.

[10] 裴利沈. 视频中人体行为识别若干问题研究[D]. 电子科技大学， 2016.

[11] 张明杰. 基于视觉的目标跟踪与行为识别方法研究[D]. 西北大学， 2015.

[12] 黄凯奇， 陈晓棠， 康运锋， 谭铁牛. 智能视频监控技术综述[J]. 计算机学报， 2015， （06）： 1093-1118.

[13] 刘高文. 基于隐马尔可夫模型的视觉行为分析和异常检测研究[D]. 南京理工大学， 2008.