基于神经网络与加权融合的火灾火焰识别研究

靳琪琳，段锁林

常州大学 信息科学与工程学院，江苏 常州 213164

基于神经网络与加权融合的火灾火焰识别研究

靳琪琳，段锁林

常州大学 信息科学与工程学院，江苏 常州 213164

1 引言

火灾对人类危害巨大，若能在火灾发生初期就进行识别报警，则可以减少各种损失。目前许多火灾探测系统都是采用传统感温、感光等传感器进行探测，这种系统有很多缺点，误报率较高，并且这些探测设备容易受周围环境干扰，从而给火灾探测带来了一定的难度。目前，在图像型火灾火焰识别方面的研究也比较多，包括颜色、运动和火焰的几何形状。如Phillips利用像素的颜色和时间变化[1]；Chen利用运动的区域检测火焰区域的频率[2]；Fastcom研究中FFT被用于检测火焰的边界区域；Toreyin等人用小波变换和高斯混合模型对火焰的颜色变化和闪烁特征进行分析[3]。在这些研究中，通常只关注于火焰的一种或两种特征，如Philips关注颜色特征，Chen关注频率特征，Fastcom关注形状特征，Toreyin等人关注颜色特征和频率两个特征，由于没有判断火焰主要静态和动态特征，在更换了环境和背景以后导致误判率高。

本文在室内背景环境下，将几种火灾特征进行融合，采用逐级判断和分析，提出一种多特征融合算法。结果表明，相对于分析单一的火焰特征，能够有效地提高火灾识别的准确率。

2 常规火灾火焰识别与判决分析

2.1 运动区域分割判决

在室内火灾发生的早期阶段，由于火焰是从无到有发展的过程，故这个阶段的火焰图像有着明显的运动变化特征，提取出这样的运动特征信息才能很好地将火灾图像与其他干扰区分开来。

本文采用相邻帧差法[4]获取运动目标，原因是该算法只涉及加减运算，处理速度快，实时性好。图像序列的连续两帧中所有对应的位置像素点，如果差值大于一定的阈值，就认为对应位置有运动目标存在。

相邻帧差法对场景光线的变化不太敏感，受目标阴影影响不大，对于动态环境有较强适应性。同时由于CCD摄像头固定在房间的一个位置，可以避免此方法因运动引起的背景运动，以及因背景运动造成差分图像中存在较多的伪运动像素的现象。

动态区域提取出来后，再通过硬阈值分割法[5]将图像二值化，排除其他无关色彩物体运动的干扰。

本文在Matlab环境下对摄像头的视频流进行分析和处理，判决运动区域流程如图1所示。

图1 数据判断流程图

本文采用Ostu自适应阈值算法[5]，获取运动阈值，实验结果如图2所示。

图2 目标为室内火焰实验结果

通过实验，运动区域的白色点阈值设为T并取值为0，即当差值大于T时，默认有满足亮点条件的运动变化。如下式所示：

其中，y表示判决结果，1表示需要继续下一步判决，0表示无满足条件的运动变化，不需继续判决。

此判决可以快速地提取运动区域的高亮部分，大大较少了后面的运算量。但此判决结论不能确定是火灾火焰运动。

2.2 火焰的彩色颜色特征判决

提取出满足条件的运动区域后，需要将此运动变化区域原图的RGB色彩空间转换到HIS色彩空间进行颜色特征判决。

提取出运动区域的彩色图实验结果，如图3所示。

图3 提取运动变化区域彩色图

HIS空间与RGB空间存在一定的转换关系。将色调H、饱和度S和亮度I标准化，使得

[6]中可知，火焰的H、S、I值，如表1所示。

表1 火焰色度与亮度

本文采用了HIS阈值H(32°，52°)，S(35，74)，I(250，255)，采集实验结果如图4所示。

图4 HIS阈值提取的火灾火焰

如图4，当火焰的HIS颜色特征信息点数大于阈值Q时，可以进行一级报警。但当其他物体颜色也在此阈值范围内时，会存在误判。因此，存在相近颜色干扰时，单独采用该判决的误判率较高，需要结合其他方法补偿或消除这种干扰的影响。

2.3 火灾火焰圆形度和尖锋判决

（1）自然光和日光灯亮度信息与火灾特征类似，但通过对各个标记区域的面积和圆形度的计算，选取圆形度阈值将干扰区域滤波掉，即可将其与火焰区分开。圆形度计算公式如下：

图5为详细处理流程序列。

通过多次火焰圆形度获取实验，本设计中选择火灾火焰圆形度阈值范围为：M（0.46，1）。

（2）尖角的计算：首先利用图象分割和边缘增强技术把原始图像转换为数字图像，然后对图中各部分进行识别和计算。

图5 计算圆形度流程图

对火焰尖角来说，特征点首先是它的顶点，尖角的顶点可能有多个点，因此特征点也就为几个。详细的算法流程参见文献[7]，实验结果如图6，火灾火焰图像具有一定数量的尖角。

图6 火灾火焰图像序列

数据实验取自每一序列的连续四帧图像，提取数据时遵循的前提是该目标的变化特征满足面积连续增大判据，如火灾火焰、照明灯和电筒。实验数据见表2。

表2 火焰及其他干扰下的尖角数目统计

通过表2实验数据，火灾火焰的尖角数目呈现不规则变化规律，同时数量比普通固定光源多。本文将阈值定为3，可以较好地剔除一般常见的干扰情况。

此判决可以快速检测到常规火焰，减少了误报率，但相似形状和圆形度的高亮运动物体仍然不容易区分。

2.4 火焰频率特征判决

火焰在燃烧过程中会按某种频率闪烁，这种闪烁表现在数字图像中就是火焰图像的灰度级直方图随时间的变化规律，这个特性体现了一帧图像的像素点在不同灰度级上的分布随时间的变化。通过计算直方图的变化率，可以得到目标模式的闪烁频率[8]。观察目标模式闪烁频率所在的范围，就可以很好地确定是否存在火灾现象。实验数据见表3。

表3 火灾火焰及干扰模式的闪烁频率统计

从表3可以看出，火灾火焰的闪烁主频段只出现在8～12 Hz之间。火焰的最大频率不会随着房间的形状和尺寸而有大小的差异，环境变化对其影响不十分明显。但距离较远的火灾火焰闪烁频率不太明显，同时不同燃烧物的闪烁频率存在差异，实验表明煤的火焰闪烁频率比油的闪烁频率低。因此，闪烁频率作为一种判决依据是有用的，但不能作为唯一的判决条件。

通过以上分析，可以得出以下结论：单独采用某一种火灾火焰识别判决，由于背景环境的复杂多变，或存在相似形状运动物等，其误判率较高。

为了克服这个弊端，本文采用神经网络和多特征加权融合算法对火灾火焰进行最终判决。

3 神经网络与加权融合算法结合判决

本文基于前述四种火灾火焰识别判别特征，采用神经网络与卡尔曼加权融合算法相结合进行火灾火焰判断，以消除单独一种特征判决所产生的误判率高，受干扰影响大等问题。

首先采集室内环境的火灾火焰数据样本，通过对样本数据进行训练获得四种火灾火焰特征的权值和阈值，进行归一化处理获得最终权值，然后利用卡尔曼融合算法获得最终判决结果。

设满足HIS颜色空间的取值范围的个数为O1，CCD摄像头的采集图像相素为160×120，O1的取值空间为[0，19 200]；运动图像的最大圆形度为O2，取值范围为[0，1]；运动图像的尖角数为O3，取值范围为[0，100]；当前图像帧的闪烁频率为O4，因采样周期为25帧/s，取值范围为[0，25]。

取样本数据是在实验室环境下，火焰强度一般，为模拟火灾环境，燃烧物为多个蜡烛和纸张，视频判断距离在4 m左右，背景环境为实验室课桌等杂物；软件环境为Pentium®2.13 GHz，1.92 GB DDR2的内存，Windows XP Professional，用Matlab编程。详细采集数据如表4所示。

表4 200组实验数据采集样表

如表4，真实结果为M与N取同或，然后取各个特征与是否有火灾火焰的真实结果两组值，通过线性神经网络和自适应阈值算法[8]获得四种特征的阈值，再通过RBF神经网络训练后，获得对应的归一化后的K(i)特征隶属度。

设O1的范围为F1(a，19 200)，O2的阈值范围为F2(b，1)， O3的阈值范围为F3(c，100)，O4的阈值范围为F4(d，e)。其中以闪烁频率O4作为输入，真实结果作为输出，通过线性神经网络训练获得其阈值，O1、O2和O3由Ostu自适应阈值算法[8]获得，各自特征的实验误判率为e(i)，设：

其中，k(i)为特征隶属度函数，y∈[0，1]为最终判决值，F(i)为对应特征的阈值范围，即y越接近1，发生的可能性越大。为了确定y的取值，需要在F特征阈值和公式（3）的基础上继续进行，实验次数为50，判决的结果如表5所示。

表5 不同火焰特征单独判断结果

通过表5可以计算输入神经网络的初始权值为（0.23 0.21 0.27 0.29），y的初始阈值取0.62，因火灾火焰信号是一组非线性信号，采集大量实验次数和准确率数据获得权值基础数据，通过RBF神经网络的学习，得到最终权值(k1，k2，k3，k4)。本文隐含层的个数是预先设定的，采用四个隐含层符合要求，但火灾火焰的特征样本信息个数可以根据PCA（主成分分析）原理进行调整，如本文没有采用火灾火焰燃烧初期的面积增大和扩散特征，就因为它在最终判决中影响因子较少，同时对未来发现重要的火灾火焰特征也可以进行扩展。RBF神经网络由三层组成，结构如图7所示。

图7 径向基神经网络图

因径向基函数的重要特性是当输入信号靠近基函数的中央范围时，隐层节点将产生出较大的输出，由此知RBF网络具有局部逼近能力。本文选用最常用的高斯函数作为R(i)(x)的基函数。

其中，x是n维输入向量；ci是第i个基函数的中心，与x具有相同维数的向量；σi是第i个感知的变量；m是感知单元的个数。

为检验本文算法的优越性，将传统算法与本文算法比较，如表6所示。

表6 本文算法与其他相关算法比较

由于本实验是在实验室环境下进行测试和运行的，在其他环境下，具体阈值和参数需要重新进行样本采集和神经网络的学习，确定更合适多特征的权值和y阈值。

4 结论

本文在分析火焰静态与动态特征的基础上，基于实验室的室内环境，应用了一种神经网络和加权融合算法相结合的火焰识别算法。通过实验表明，该算法具有处理速度快和较高的识别能力，进一步提高了火焰识别的准确性。但系统仍存在误报，可以从以下几方面改进：

（1）因在室内相对封闭的环境下，燃烧初期通常会产生大量烟雾信息，可以在系统中加入传统感烟传感器，有望进一步减少误报率。

（2）本文获取的特征信息还比较有限，未来若发现更重要的火灾火焰特征信息，可适当引入进来。

（3）本文只是火灾火焰视频监控中的一部分，在实际的实施过程中需要根据环境进行调整。

参考文献：

[1]Phillips W，Shah M，Lobo N V.Flame recognition in video[C]// Proceedings of the 5th IEEE Workshop on Applications of Computer Vision，2000.

[2]Chen T H，Yin Y H，Huang S F，et al.The smoke detection for early fire-alarming systembased on video processing[C]// Proceedings of the IEEE International Conference on Intelligent Information Hiding and Multimedia Signal Processing，2006.

[3]Töreyin B U，Dedeoğlu Y，Güdükbay U，et al.Computer vision based method for real-time fire and flame detection[J].Pattern Recognition Letters，2006，27（1）.

[4]王佳.基于数字图像处理的火灾火焰检测算法研究[D].西安：西安工业大学，2008.

[5]曹哲.基于视频图像的火焰识别和背景干扰滤除算法[D].西安：西安电子科技大学，2009.

[6]Horng W，Peng J，Chen C.A new image-based real-time flame detection method using color analysis[C]//Proceedings of the IEEE Conference on Networking，Sensing and Control，2005：100-105.

[7]周军盈，杜啸晓.图像识别技术在火灾探测中的应用[J].消防科学与技术，2007（4）：417-420.

[8]张进华，庄健.一种基于视频多特征融合的火焰识别算法[J].西安交通大学学报，2006，40（7）.

[9]吴铮，孙立.基于隐马尔可夫模型的火焰检测[J].计算机工程，2008，34（20）.

[10]陈娟.基于多特征融合的视频火焰探测方法研究[D].合肥：中国科学技术大学，2009.

JIN Qilin,DUAN Suolin

School of Information Science and Engineering,Changzhou University,Changzhou,Jiangsu 213164,China

For the indoor environment as the application background，this paper designs the feature fusion flame detection algorithm with static and dynamic flame features，which gives the quick decision to the fire flame.Firstly，the paper makes the motion detection to the video image，extracts the color feature，and creates a new color criterion in HIS space，then gets round and peak number of fire flame area.Finally，it researches on the characteristics of the flame flicker，taking all these features as neural network input，and ultimately uses of weighted fusion algorithm to determine whether it is the fire flame.

motion detection;flame detection;threshold estimation;feature fusion

以室内环境为应用背景，结合火灾火焰的静态和动态特征，采用了一种神经网络与加权融合的火灾火焰识别算法，对室内火灾火焰进行实时快速判决。对视频图像进行可疑运动检测，再对颜色特征进行提取，在HIS颜色空间中建立新的颜色判据，然后获取圆形度和尖峰数；研究了火焰频闪特性，将这些特征信息作为神经网络的输入端，最终利用加权融合的算法，判定区域是否为火焰。

运动检测；火焰识别；阈值分割；特征融合

A

TP391.41

10.3778/j.issn.1002-8331.1111-0038

JIN Qilin,DUAN Suolin.Research of fire detection algorithm based on neural network and weighted fusion.Computer Engineering and Applications,2013,49（13）：156-159.

常州市科技计划项目（No.CJ20110023）。

靳琪琳，男，硕士生，主要研究方向为机器视觉和信息化；段锁林，男，教授，硕士生导师。E-mail：jinqilin@126.com

2011-11-07

2012-02-02

1002-8331（2013）13-0156-04

CNKI出版日期：2012-04-25http://www.cnki.net/kcms/detail/11.2127.TP.20120425.1723.094.html