基于时空局部二值模式的火灾视频识别

张 彤， 王 倩，2， 范九伦， 刘 颖，2

(1.西安邮电大学 通信与信息工程学院， 陕西 西安 710121； 2.公安部电子信息现场勘验应用技术重点实验室， 陕西 西安 710121)

基于时空局部二值模式的火灾视频识别

张 彤1， 王 倩1，2， 范九伦1， 刘 颖1，2

(1.西安邮电大学 通信与信息工程学院， 陕西 西安 710121； 2.公安部电子信息现场勘验应用技术重点实验室， 陕西 西安 710121)

为了获得较高识别率，引入时空局部二值模式，用以识别火灾视频。先以时空局部二值模式提取视频中的表观特征和运动特征后，再利用支持向量机对多种场景的火灾视频进行分类识别。针对白天火灾、夜晚火灾、室内火灾、室外火灾、森林火灾五种场景进行测试实验，结果显示，对夜晚火灾视频和室外火灾视频识别率可达到100%，对白天火灾、室内火灾、森林火灾视频的识别率分别为94.117 6%、95.238 1%、94.444 4%,这表明所提方法有效，其识别率不易受场景光照条件或复杂背景影响，具有鲁棒性。

时空局部二值模式；火灾视频；支持向量机；分类识别

常用的火灾检测识别方法主要分为两类：一是基于传感器原理的火灾探测器检测方法，二是基于视频图像处理技术[1-2]的火灾识别方法。感烟、感光等基于传感器原理的火灾探测器一般只能适用于密闭空间，而且在大空间场景中，无法迅速收集火灾发出的烟温变化信息，难以满足早期探测的要求。基于视频图像处理技术的火灾识别方法可以弥补这些不足，但是普通的图像或视频的识别方法大都只考虑了火焰的静态特征，例如颜色信息和轮廓形状[3-5]。当被检测图像或视频序列中含有颜色或轮廓与火相似的物体时，很容易发生误报。

提取疑似火焰区域轮廓的傅里叶变换系数，以此系数作为火焰轮廓形状特征来进行识别[6]，该方法识别率较高，但由于傅里叶变换系数的时窗尺寸难以选择，并且对环境的要求也相对较高，所以适用范围非常有限。通过时域小波变换和空间域小波变换来分析火焰的闪动情况及火焰内部颜色变化情况，以达到识别火灾的目的[7],该方法简单，但很容易发生误判。

火焰是一种典型的动态纹理，可以看作是二维空间的火焰静态纹理在三维时空域的扩展。自然界中普遍存在的一些现象，包括飘动的烟、流动的水以及移动的人群等等，都属于动态纹理,它们的共同特征是具有不确定的时空性[8]。动态纹理序列也可以被看作是一个具有统计特性的多维随机信号，其变化在时间和空间上会呈现出某些规律性[9]。特征提取的主要目的是表征火焰的不确定时空纹理特性，时空局部二值模式(Volume Local Binary Pattern, VLBP)[10]是将局部二值模式(Local Binary Patten, LBP)[11]的思想扩展在时空域上，针对融合动态纹理时间域和空间域特性提出的，能够有效提取视频中的表观特征和运动特征，对灰度尺度变化、旋转、平移具有一定的鲁棒性。

为了更好的提高各种场景下的火灾识别率，本文拟采用基于VLBP特征提取算法与支持向量机(Support Vector Machine, SVM)相结合的方法来实现对火灾视频的分类识别。利用VLBP算法表征视频中的火焰动态纹理，并使用SVM分类器进行分类识别。

1 火焰动态纹理特征提取

1.1 数据预处理

由于视频中所包含的信息量较大，为了降低整个算法的复杂度，需要对视频进行预处理。VLBP具有良好的抗干扰能力，可以不用对其进行目标追踪、分割等一系列常规视频图像处理的环节,就可以达到较好的实验效果。在预处理部分，主要对视频帧序列进行图像标准化处理。

步骤1 将视频转化为视频帧序列，每一个视频帧序列单独的存放在一个文件夹下。

步骤2 将存在颠倒问题的视频调整为正确方向。

步骤3 将彩色帧序列转换成灰度帧序列，完成灰度归一化处理。

步骤4 使用双线性插值法[12]将视频帧序列的大小统一为160×110，完成尺寸归一化处理。

1.2 特征提取方法

特征提取是火灾识别中的关键环节，有效的特征是火灾识别的前提。

VLBP算法是对视频序列中每一帧图像的每个像素点进行特征提取。VLBP的立体邻域由3帧组成，每一帧的帧内中心点的邻域点数为4个，对于VLBP来说，邻域点的总数为5+4+5=14个[11]。若直接对视频序列提取VLBP特征，特征维数将会很大，不仅运算量大，且对后期的数据处理会有一定的影响，因此采用旋转不变VLBP特征。

设3帧体积中心c在当前帧所处时间点tc的像素灰度值为gtc,c，则前后2帧中心像素灰度值分别为gtc-L,c，gtc+L,c。其中L表示时间间隔。计算3帧中邻域点与中心点的差值，将大于或等于0的标记为1，小于0的标记为0，则动态纹理的一个局部邻域组成一个动态纹理序列

V=v(s(gtc-L,c-gtc,c),s(gtc-L,0-gtc,c),…,s(gtc-L,P-1-gtc,c),s(gtc,0-gtc,c),…,s(gtc,P-1-gtc,c),s(gtc+L,0-gtc,c),…,s(gtc+L,P-1-gtc,c),s(gtc+L,c-gtc,c)),

其中

于是VLBP的特征值可以表示为

其中q表示对应像素点的位置编号,2q为权重，P表示邻域点数，R表示邻域半径。对于每一帧的LBP特征可表示为

其中

t=tc-L, tc, tc+L。

VLBP算法是将火焰纹理建模成一个三维的立体模型，考虑的是其三维各个像素间的运动关系。火焰燃烧时是有方向性的，在视频中难免发生旋转，因此采用旋转不变VLBP特征[11]

其中ror(x,i)是将二进制数x按位向右移动i位，rol(x,i)是将二进制数x按位向左移动i位。旋转不变VLBP特征计算方法的实质就是同步的旋转彼此独立的3帧，将取得的最小值作为最终旋转不变VLBP的值。

2 SVM训练与识别

SVM的基本思想是构建一个两类问题的最优分类器，使这两类问题尽量无错误的分开，且类间间距最大[13-14]。

对于两类线性可分的情况，SVM的作用就是寻找最优分类面[15]。设输入向量(x1,y1),(x2,y2),…,(xi,yi)为训练样本，其中xi∈n为n维训练样本，yi∈{+1,-1}表示训练样本xi的类别。对最优分类面

ωxi+b=0

进行归一化可得

yi(ωxi+b)-1≥0 (i=1,2,…,n)。

最终的判别函数为

按以下步骤，对火灾进行SVM分类。

步骤1 提取火灾视频序列和非火灾视频序列的旋转不变VLBP特征。

步骤2 将训练样本带入最终判别函数，可得SVM分类器α*,b*的解。

步骤3 将α*,b*带入原判别函数，即可对输入的测试样本进行分类识别。

3 实验结果

实验所用视频数据中，火灾视频数据共27段，非火灾视频数据35段。视频数据来源如表1所示。视频大小均为160×110。图1为火焰和非火焰视频帧序列样本。

表1 视频数据来源

(a) 火灾视频帧序列

(b) 非火灾视频帧序列

基于VLBP算法的火灾识别实验流程如图2所示。实验均在Matlab(R2012a)仿真平台下完成。实验选取RBF函数作为SVM分类器核函数。为了使分类器具有较好的分类性能，使用交叉验证 (K-fold Cross Validation，K-CV)法得到分类模型参数。该方法的原理是[18]：将原始数据平均分成K份，选取其中一份作为测试数据，剩余K-1份作为训练数据进行训练，如此循环K遍，使每一份都做一次测试数据，得到K个模型。取这K个模型最终测试结果的平均值作为该K-CV分类器的性能指标。表2表示K取不同值时的识别率，其中c为惩罚因子，g为RBF核参数因子。

表2 不同K下的识别率

惩罚因子c的作用为在确定的数据子空间中调节学习机器的置信区间的范围。不同的数据子空间，最优惩罚因子c的数值一般不同。核函数参数因子g即为线性分类面的最大VC维[19]，它表示的是样本数据子空间分布的复杂程度。由表2数据可知，当K=3时，分类识别效果最好。因此选K=3，此时向训练好的分类器中输入测试视频序列，表3表示各种情况下的识别率。

图2 基于VLBP算法的火灾识别实验流程

对于白天火灾，一共有12段相应视频，选取其中5段作为测试样本，其它作为训练样本，由表3结果可知，该算法取得了良好的效果，火灾视频都被正确检测到，只有一段非火灾视频被识别为火灾视频。与白天火灾的识别方法一样，用于室内火灾，室外火灾，夜晚火灾和林火的测试样本分别为2段、10段、7段、4段。表3的结果表示，该方法对于室外火灾和夜晚火灾的效果显著，均可达100%，这也说明该方法对外界环境具有很好抗干扰能力，且对手动拍摄引起的微小抖动和光照的变化不敏感。

表3 火灾视频识别结果

针对林火部分，识别效果没有以上四种情况稳定。林火视频共7段，随机从各类火灾样本中选取15段作为训练样本，4段林火样本作为测试样本，测试结果显示，有一段训练样本，如图3(a)所示，对测试结果影响较大，将其标记为A段。含有A段的4段林火测试结果如表4所示。

表4 含有A段的4段林火样本测试结果

如果将训练样本中对结果影响较大的A段随机换成另一段火灾视频，如图3(b)所示，则误报全部为0。若将测试样本的段数换为3段，将训练样本的段数增加至4段，识别率可得到大幅提高。结果如表5所示。

(a) 训练样本中对测试结果影响较大的视频截图

(b) 随机选取的一段训练样本视频截图

表5 不含A段的3段林火样本测试结果

由表3、表4和表5可知，对于除林火以外的四种情况，该方法均可得到较高和较稳定的识别率。对于林火，识别率不稳定主要是由于目前还没有专用的火灾测试数据库，关于林火的视频非常少，不能对其进行充分的训练。根据表4和表5可知，当增加一段到训练样本后，林火的识别率得到了很大提升，如果有更多的关于林火的训练样本，相信可以取得非常好的效果。因此在训练样本并不多的情况下，会有一些影响到识别率。

4 结语

将动态纹理的思想引入到火灾视频的分类识别当中，结合VLBP特征提取与SVM训练识别并实施判决的检测机制，可很好地实现火灾分类识别。实验结果表明，这种方法对不同场景下的火灾视频识别率高，均可达到94%以上，特别是对于室外火灾和夜晚火灾，识别率可达到100%，但对于林火，识别结果跟选取的训练样本的个数有关，在数据资源不充分的情况下，识别率没有前几种情况高。

[1] 许志杰,王晶,刘颖,等. 计算机视觉核心技术现状与展望[J].西安邮电学院学报，2012, 17(6):1-8.

[2] 刘颖,范九伦.基于内容的图像视频检索综述[J].西安邮电学院学报，2012,17(2): 1-8.

[3] Phillips W III, Shah M, Lobo N V. Flame recognition in video[J].Pattern Recognition Letters,2002,23(1/2/3):319-327.

[4] Celik T, Demirel H, Ozkaramanli H, et al. Fire detection using statistical color model in video sequences[J].Journal of Visual Communication and Image Representation,2007,18(2):176-185.

[5] Hideaki Y, Junichi Y. Fire flame detection algorithm using a color camera[C]//Proceeding of International Symposium on Micromechatronics and Human Science.Nagoya:IEEE,1999:255-260.

[6] Liu Chebin, Ahujia N. Vision based fire detection[C]//Proceedings of IEEE International Conference on Pattern Recognition. Toyota:IEEE,2004:134-137.

[7] Toreyin B, Dedeoglu Y, Gudukbay U, et al. Real-time fire and flame detection in video[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. PA Philadelphia:IEEE,2005:669-672.

[8] Nelson R C, Polana R. Qualitative recognition of motion using temporal texture[J].CVGIP: Image Understand,1992, 56(1): 78-89.

[9] 卢宗庆.运动图像分析中的光流计算方法研究[D].西安：西安电子科技大学，2007：5-36.

[10] Zhao Guoying, Pietikainen M. Dynamic texture recognition using local binary patterns with an application to facial expressions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007，29(6): 915-928.

[11] Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray scale and rotation invariant texture analysis with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002,24(7):971-987. [12] 李玲.基于视频图像的火灾识别研究[D].广州：华南理工大学，2012:9-15.

[13] Shao Xuhui, Cherkassky V, William L. Measuring the VC-Dimension Using Optimized Experimental Design[J].Neural Computation， 2000,12(8): 1969-1986.

[14] Chen Xiujuan, Li Yong, Harrison R. et al. Type-2 fuzzy logic based classifier fusion for support vector machines[J].Applied Soft Computing,2008,8(3):1222-1231.

[15] 张正荣,李荣刚.基于支持向量机的火灾探测技术[J].微型机与应用，2010,29(24):70-72．

[16] 孙刚.基于SVM的入侵检测系统研究[D].北京：北京邮电大学，2007:28-33.

[17] 李盼池,许少华.支持向量在模式识别中的核函数特性分析[J].计算机工程与设计，2005,26(2):302-304.

[18] Zhang Yumin.Comparative analysis of different cross-validation bandwidth selectors in kernel regression estimators[C]//Proceeding of 2013 International Conference on Machine Learning and Cybernetics.Tianjin: IEEE,2013:502-509.

[19] 邓乃扬,田英杰.数据挖掘中的新方法:支持向量机[M].北京: 科学出版社，2004：17-56.

[责任编辑:瑞金]

Fire video recognition based on volume local binary pattern

ZHANG Tong1, WANG Qian1,2, FAN Jiulun1, LIU Ying1,2

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. China National Lab of the Ministry of Public Security-Electronic Information Processing Techniques in Criminal Investigation Applications, Xi’an 710121, China)

In order to get higher recognition rate for fire video, an approach based on Volume Local Binary Pattern (VLBP) is proposed. Firstly, the features of fire video are modeled with VLBP by combining appearance and motion. Secondly, Support Vector Machine (SVM) is used to classify the fire video under various scenes. Test experiments results for five scenes of daytime fire, nighttime fire, indoor fire, outdoor fire and forest fire show that the recognition rate for nighttime fire and outdoor fire can reach 100%, and the recognition rate of daytime fire, indoor fire, forest fire are 94.117 6%, 95.238 1%, 94.444 4%, respectively. It shows that the proposed algorithm can be used to classify fire video and also the recognition rate will not be influenced by the changes of the light condition and the complex background. This shows that the algorithm is robust.

volume local binary patterns, fire video, support vector machine, recognition

2014-11-03

国家自然科学基金资助项目(61202183，61340040)；陕西省国际科技合作计划资助项目(2013KW04-05)

张彤(1989-)，女，硕士研究生，研究方向为视频图像识别。E-mail: Tracy_0603@163.com 王倩(1983-),女，博士，讲师，从事模式识别与图像处理研究。E-mail：xinrzhsh24@163.com

10.13682/j.issn.2095-6533.2015.03.013

TP391.4

A

2095-6533(2015)03-0076-05