基于改进深度信念网络的校园烟雾检测

王晓薇, 张笑语, 孙 可, 殷守林

(沈阳师范大学 软件学院, 沈阳 110034)

0 引 言

当今自然界所面临的灾难性毁灭事件之一是野火造成的。因此,在早期检测到这类野火对于防止由野火引起的灾害是至关重要的,从而防止全球变暖、拯救人类生命和他们的财产不受破坏。文献[1-3]研究的重点是检测火势,但从最近几年开始,由于烟雾是火灾的早期迹象,因此它已经转移到早期的烟雾检测上。因此,检测烟雾比检测火焰要更能警示人们。检测火灾和烟雾有很多不同的方法,这借助于计算机视觉技术,这种技术是在摄像机或在烟雾和火灾报警的帮助下使用非光学传感器。火灾和烟雾报警器是光学烟雾检测器,这些容器包括发光二极管(LED)、光电池和用于烟雾颗粒入口的底座开口。在这种情况下,光束在LED和光电池之间不断地发射,这显示了报警内部的完整电路的指示。当发生火灾时,烟雾从警报的底座开口进入,并中断电路,这被认为是触发警报的一个条件。利用这些警报器进行火灾和烟雾检测总是能给出准确的结果,但也存在许多缺点。首先,它们的区间仅限于一个房间或一个大厅,因此不适合检测野火烟雾;其次,当一些碳粒子到达传感器时,烟雾和火焰警报器工作正常,只有警报才会触发。因此,在森林、丘陵等广泛的环境区域安装警报器是不可行的。

而在基于视觉的烟雾检测中,该技术可以通过从监控摄像机中获取图像来实现对烟雾进行实时检测。安装在山顶或一些移动塔上的监控摄像头可以覆盖几公里,以便在早期阶段检测到烟雾。使用这种设置的另一个优点是,与基于传感器的检测系统相比,安装起来更便宜、更容易。

近几十年来,人们提出了多种基于视频的烟雾检测方法。因为烟雾具有非常清晰的特征,可以区别于其他物体,例如它的颜色、纹理和运动状态。比如文献[5-9]采用RGB颜色模型和HSV的颜色空间来找出每个帧的烟雾特征。文献[10-16]利用相关的均匀局部二值模式(ULBP)和YCbCr颜色空间,结合基于显着性的烟雾检测算法,来进行烟雾检测。

因此,采用各种基于运动的模型、基于颜色的模型及基于空间和时间特征的模型来确定烟雾的特征。

在本文中,提出的方法主要集中利用烟雾的3个主要特征,即运动、纹理和烟雾的颜色。背景减法算法用于高运动区域的提取。在该区域上,发现基于颜色的特征有2个不同的颜色子空间。文献[4]利用HSV颜色空间,不仅提取了烟雾的纹理,而且提取了烟雾的强度和颜色。文中创新点是采用DBN进行分类,使用局部二进制方法同时检测纹理和烟雾强度。目前,深度信念网络很少被用于烟雾检测。

1 本文提出的方法

提出的方法包括以下主要步骤:

1) 通过使用背景减除算法来确定移动目标区域。

2) 烟雾颜色检测,这部分主要通过融合RGB颜色空间和YCbCr颜色空间,确定在高运动区域存在的烟雾颜色像素。

3) 对于前景目标区域,计算出局部二进制特征,主要是为烟雾提供纹理和强度特征。

4) 最后,采用DBN用于烟雾和非烟雾像素的分类。

所提出的方法如图1所示。

图1 提出的方法Fig.1 The proposed method

1.1 移动目标检测

背景减除算法采用帧差分方法[17]用于计算高运动区域。使用背景减法算法的关键是,运动是烟雾的一种特殊特征,不同于其他类似的物体,如云和雾,它们在纹理和外观上可能是相似的。因此,背景减法结合了重要属性。该算法背后的方法是通过计算当前帧和参考帧之间的差异来检测运动对象。在该方法中,估计了当前图像帧在In-1和参考图像帧之间的绝对差,用于递归计算背景图像Bn-1,即

Bn+1=|In+1-In|

(1)

其中n是帧的总数。该运动判定算法不足以决定烟雾的存在,因此还考虑了烟雾的颜色和纹理等其他性质。

1.2 颜色检测

以RGB命名的加性颜色模型之一,构成了范围广泛的真颜色(红色、蓝色和绿色)的组合。在显示器、移动电话等各种电子系统中,图像的表示描述了RGB颜色模型的使用。RGB颜色模型的有效性随着光谱含量的增加而增强。尽管RGB颜色模型是最流行的颜色模型之一,并且在许多应用中使用,但是高冗余性和相关性是与它们相关联的问题。在这里,相关性一词是指对亮度信息的强调,从而显着地降低编码效率。YCbCr是另一种与人类视觉系统密切相关的颜色模型。这里,亮度和色度灵敏度被等同地指定,并且YCbCr模型的该属性被认为是与其他颜色模型相比增加的优点。YCbCr颜色模型的3个组分分别是以Y、CB和Cr为代表的亮度、色度-蓝色和色度-红色。而组分亮度是众所周知的,色度-蓝色和色度-红色分别区分了与亮度的蓝色和红色的差异。

在提出的方法中,将2种不同颜色模型的特性结合起来,以从不同颜色空间的不同方法获得强烈的烟雾特征。通过观察视频中的许多潜在帧,得到了RGB空间中方程(2)、(3)和(4)所表示的条件:

其中τ是阈值。在实验中,设置τ的值为20。用上述方程来找出烟雾的颜色。因此,通过各种实验,发现阈值为20时更有效地检测到了烟雾的灰白色。在此之后,根据方程(2)、(3)和(4)提取了颜色的特征。

确定烟雾颜色特征的详细步骤如下:

1) 对于移动目标区域,根据方程(2)、(3)和(4)找到相应的红色、绿色和蓝色值,即RGB颜色空间值。

2) 在相同的条件下,利用RGB到YCbCr颜色空间的转换,计算烟雾的亮度和色度值。

3) 通过将RGB和YCbCr颜色空间值除以255,将RGB和YCbCr颜色空间的值归一化到[0,1]。

4) 将RGB颜色和YCbCr颜色空间值合并成一个特征矩阵。

1.3 基于局部极值共生模式的纹理强度检测

为了提取图像中的显著特征,计算机视觉中著名的方法之一是纹理分析。水面上的涟漪、烟雾、飘动的旗子等就是一些纹理的例子。本文利用局部二进制特征,确定烟雾的纹理和HSV颜色空间,该空间利用图像的强度、颜色和亮度。利用局部极值模式提取局部方向信息,借助灰度共生矩阵,计算特征值。

在LBPS中,中心像素值及其参考邻域值根据强度进行比较,而在局部极值模式中,边缘信息是在不同方向和局部二进制模式下提取的。像素值在0、45、90和135中与中心像素值进行比较,如果比较像素位于与中心像素比较大或小于的方向,则赋值1。如果比较像素具有相对性质的值,即一个像素小于中心像素,而另一个像素大于中心像素,则赋值0。局部极值模式计算如下:

(5)

式(7)用于计算局部极值模式(LEPs),公式(8)计算LEPs的直方图,φ代表局部极值模式的角度。

1.4 基于深度信念网络的烟雾检测

文献[14]给出的DBN是高连接概率生成模型,具有大量的隐藏层,它们之间具有很强的相关性。这个意义上的概念是基于逐层的贪婪算法,这种算法是以无监督的方式学习的。DBN背后的基本思想是一种对数线性马尔可夫随机场(MRF),称为受限玻尔兹曼机(RBM),它将每一层内层视为RBM。RBM具有隐藏和可见的连接。在RBMS中,用能量函数E(v,h;θ)描述联合分布P(v,h;θ),其中v是可见单元,h是隐单元,θ是给定的模型参数。联合参数在方程(9)中有数学描述。

(9)

(10)

对于RBM,基于伯努利函数(可见)和伯努利函数(隐藏)的能量由以下公式计算:

(11)

其中ai和bj是偏差,vi和hj是可见和隐藏单元,wij对应于vi和hj之间的对称交互项。可以以数学方式计算条件概率:

其中σ(X)=1/(1+exp(X)),同样,基于高斯-伯努利方程的RBM计算能量如下:

(14)

并且上述条件概率变为

图2 包含2个RBM层的DBN分类器Fig.2 DBN classifier with two RBM layers

2 实验分析

为了说明提出算法的有效性,该方法已在不同来源的公开数据集上进行实验。在训练和测试阶段,从17个视频中选择了10 000个帧,其中10个是含烟视频,7个是非烟视频。从含有烟雾的视频中提取了5 000帧,并从非烟雾视频中提取了5 000帧。因为数据集由10 000帧组成,烟雾和非烟雾类的分布是相等的。其中,70%的帧用于训练,而其余的帧用于测试。训练和测试的选择标准必须是连续的,以便保留帧内的时间信息,作为特征进行提取。然后将这些帧序列裁剪并标记为烟雾和非烟雾。取7 000帧用于训练,3 000帧用于测试。含有烟雾的视频有不同类型的烟雾,从非常浓密的烟雾(如野火中的烟雾)到非常轻的烟雾(如室内或室外烟雾)。非烟视频的背景与含烟视频相似。视频的帧速率为30 Hz,而每个输入帧的大小为320×240pixel。

根据图像等级评估(即烟雾和非烟雾图像分类精度)来评估精度。由于没有标准的烟雾检测数据集,将结果与2个同类别的不同分类器——Artifificial Neural Network(ANN)和带有DBNs的自动编码器进行了比较,数据集中的不同分类器的结果如表1、2、3,分别对应于Epoch值1、20和50。结果表明,对于100个隐单元和时间值为50的,基于DBN分类的分类精度为99.51%。

表1 Epoch值为1的不同分类器的结果比较Table 1 Comparison of results of different classifiers with Epoch value of 1

表2 Epoch值为20不同分类器的结果比较Table 2 Comparison of results of different classifiers with Epoch value of 20

表3 Epoch值为50的不同分类器的结果的比较Table 3 Comparison of results of different classifiers with Epoch value of 50

表4 Epoch值为50的极具挑战性的无烟数据集方法的评价Table 4 Evaluation of a challenging smokeless dataset method with an Epoch value of 50

2.1 极具挑战性的无烟数据集方法评价

在这一节中,对所提出的方法在极具挑战性的无烟数据集上进行了评价。这些无烟的视频非常类似于含有烟雾的视频,视频包括雾、蒸汽、沙尘暴和云。在这种情况下,也遵循与前几节所述的训练和测试相同的程序。本节的结果如表4所示。此数据集中评价的结果表明,2种形式具有相同的颜色、纹理和运动,由于该方法不能在蒸汽和烟雾之间判别,因此精度降低。在其他情况下,例如雾、云和沙尘暴,该方法也表现得很好。这是因为烟雾的另一种特性,它总是处于运动状态。

2.2 野火烟和近距离烟雾检测的精度对比

在这个场景中,使用了5个野火烟雾视频和7个非烟雾视频。在野火烟雾视频中,增加5 000帧,并从非烟雾视频中提取5 000帧。连续取出这些帧,以便可以从先前帧获取关于高运动区域的时间信息。然后将这些帧序列剪切并标记为有烟雾和无烟。因此,本方法共使用10 000帧,其中7 000帧用于训练,3 000帧用于测试。同样,对于近距离不受控制的烟雾,也遵循同样的程序。结果如表5和表6所示。

表5 Epoch值为50的野火烟雾检测精度评价Table 5 Evaluation of detection accuracy of wild fire smoke with Epoch value of 50

表6 Epoch值为50的近距离烟雾检测精度评价Table 6 Evaluation of detection accuracy of close range smoke with Epoch value of 50

3 结 论

本文提出了一种基于DBN区域的烟雾检测系统。烟雾的3个重要特征,即颜色、运动和纹理,用来检测烟雾的疑似区域。该方法还可以扩展到火焰检测,并且具有足够的鲁棒性。与其他烟雾检测技术相比,所提出的技术有很高的精确检测效率。