采用聚合Gabor核和局部二元模式的烟雾识别方法

袁非牛，李 钢，夏 雪，章 琳，4，周 宇

1(江西财经大学 信息管理学院，南昌 330032)2(上海师范大学 信息与机电工程学院，上海 201418)3(宜春学院 数计学院，江西 宜春 336000)4(江西科技师范大学 数学与计算机科学学院，南昌 330038)

1 引 言

火灾是一种时空跨度较大的多发性灾害，严重威胁着人民群众的生命财产安全.快速且准确地探测出火灾并实现火灾的早期预警已成为火灾预警领域的关注重点.利用视频图像处理的方法来检测烟雾是一种有效的火灾预警技术.随着图像处理技术的进步和市场进程的加快，基于图像的烟雾检测识别技术得到了蓬勃发展，但仍存在较高的误报率和错误率，需要人工干预才能做出最终决策等不足.

烟雾检测识别通常使用的烟雾特征可分为静态特征(纹理、色彩、形状不规则性等)和动态特征(飘动性以及频率等)[1].烟雾的纹理特征在烟雾检测识别中承担着重要作用，已有许多学者提出了基于纹理特征的烟雾检测方法.文献[2]提出了一种基于局部二值模式(LBP)和局部二值模式方差(LBPV)金字塔多尺度特征的烟雾检测算法.文献[3]基于图像分离的方法提出了一种融合图像的烟雾检测方法.文献[4]提出了一种基于图像熵的烟雾识别方法.文献[5]提出一种提取LBP编码丢失的空间信息的新的烟雾纹理提取LBP算子，在此基础上，文献[6]进一步融入LBP编码丢失的量值信息和高阶信息，形成一种新的算子.文献[7]提出了一种基于背景动态更新和暗通道先验的烟雾检测算法.为获得更好的烟雾检测识别效果，这些方法都提取并融合了图像的多种特征，但这些方法都没有考虑图像光照、天气对烟雾检测的影响.

Gabor小波对光照不敏感，具有空间局部性、方向性与多尺度特性，且在图像处理和模式识别等领域得到了广泛应用，如人脸识别[8，9]、图像检索[10，11]、图像去噪[12]等方面，为在烟雾识别中利用Gabor小波提供了很好的参考.

针对烟雾识别存在易受图像光照、天气影响[1]，以及存在高误报率和高错误率的问题，本文提出了一种基于Gabor变换的特征提取方法(局部聚合Gabor二值模式，LAGBP).该方法通过计算聚合Gabor核来减少传统Gabor核的数量，做到减少Gabor特征图数量，提高Gabor变换计算的效率；同时在生成LBP特征时，利用Gabor核的复数幅值和实部正负等信息，并串联3种LBP映射模式的直方图，以增强LBP特征的表达能力，提高图像分类的效果.最后利用支持向量机(SVM)进行烟雾图像分类，实现烟雾识别，并通过3组实验验证本文方法的可行性和有效性.

2 基于LAGBP的烟雾识别框架

局部Gabor二值模式(LGBP)通常是在幅值域的Gabor特征图上提取LBP[13，14]，目前已经得到广泛应用.以8个方向、5个尺度的Gabor核为例，LGBP需生成40幅Gabor特征图，且要计算40幅Gabor特征图的LBP特征，计算量远大于只用LBP特征的情形.为此，本文提出LAGBP特征提取模型，其烟雾识别框图如图1所示，具体处理步骤如下：

P1：分组聚合；P2：卷积;P3：局部二值编码；P4：计算3种映射模式的直方图；P5：串联3种LBP模式直方图，即生成LBP串联模式特征(简称3CM模式特征)；P6：串联所有3CM模式直方图；P7：分类识别.

图1 基于LAGBP的烟雾识别框图
Fig.1 Processing framework of smoke recognition based on LAGBP

1)生成聚合Gabor核.在传统Gabor核的基础上，按Gabor核的方向、尺度、全部等3种方式分组，然后用聚合函数对所有分组内的Gabor核进行聚合运算，生成聚合Gabor核.以8个方向、5个尺度的Gabor核为例，按Gabor核的方向、尺度、全部等方式分别可分成8、5、1个组，共可生成14个聚合Gabor核，减少了65%的核数.

2)生成聚合Gabor特征图.利用聚合Gabor核对每幅原图像进行卷积，生成14幅聚合Gabor特征图.

3)生成编码图.在3×3窗口下，利用局部二值编码函数对原图像和聚合Gabor特征图进行编码，生成编码图.

4)生成LBP直方图.采用LBP的3种映射模式(RI，U2和RIU2)，分别计算每个编码图的3种模式的直方图.

5)生成3CM模式直方图.串联每幅编码图的3种模式的直方图，生成105维的LBP串联模式直方图(简称为3CM模式直方图).

6)生成LAGBP特征.将原图像和所有Gabor特征图生成的3CM模式直方图进行串联，生成LAGBP特征.

7)烟雾识别.采用SVM对LAGBP特征进行训练和分类，最终实现基于LAGBP的烟雾识别.

3 聚合Gabor核

3.1 Gabor过滤器的核函数

Gabor函数是由Gabor首先定义[15]，而后由Daugman将一维Gabor域扩展到二维域[16].由于Gabor滤波器函数的包络和约束条件不同，导致Gabor函数在具体使用时具有多样性.本文采用对称的高斯包络，Gabor核函数描述如下：

(1)

其中，x，y是给定图像的坐标位置；u表示给定的Nu个不同方向，通常取Nu=8，即u∈{0，1，2，3，4，5，6，7}；φu通常取为u(π/Nu)；v表示给定的Nv个不同尺度，通常取Nv=5，即v∈{0，1，2，3，4}；kv通常取为2-(2+v)/2π；σ决定Gabor滤波器的带宽，此处取σ=π/2；j为虚数符号.

根据式(1)，Gabor核函数可得到Nu×Nv种复数响应值.进一步，可分别计算得到Gabor函数的实部响应Greal和幅值响应Gmag，表达式如下：

(2)

其中，real(.)、imag(.)分别为取复数实部、复数虚部函数.

3.2 Gabor过滤器的聚合核

在利用传统Gabor核对图像卷积处理时，将生成Nu×Nv幅Gabor特征图.为了减少Gabor特征图的数量，提高Gabor特征图生成和后期特征提取的效率，本文提出了聚合Gabor核的概念：首先按Gabor核(含有Nu×Nv个核)的方向、尺度、全部等3种方式分组，然后用聚合函数对所有分组内的Gabor核进行聚合运算，生成3个聚合Gabor核子集，最后合并所有聚合Gabor核子集得到Nu+Nv+1个聚合的Gabor核.

聚合函数通常是选择平均值函数，生成聚合Gabor核子集的表达式如下：

(3)

为提高特征的表达能力，本文在Gabor幅值响应的基础上使用了加权平均法，代替平均值函数.使用加权平均法生成聚合Gabor核子集的表达式如下：

(4)

其中，wO(u，i)、wS(v，i)和wA(i，j)为权值函数，表达式如下：

(5)

根据式(4)，GOWM、GSWM和GAWM等3个公式分别生成Nu、Nv和1个聚合Gabor核.以8个方向和5个尺度传统Gabor核为例，图2列出了所有新生成的聚合Gabor核，第一行为同方向聚合核(由GOWM公式生成)，第二行为同尺度聚合核(由GSMW公式生成)，第三行为40个传统Gabor核聚合在一起生成的聚合核(由GAWM公式生成).

图2 聚合Gabor核Fig.2 Aggregated Gabor kernels

4 基于聚合Gabor核的局部二值模式

LBP是一种高效的纹理描述算子，具有无参数、计算简单、鉴别能力强等优点.Ojala等人首先提出[17]，已得到广泛运用，并发展出了许多的变种.

原始LBP方法对灰度图像进行特征提取时，在3×3的正方形窗口中进行LBP算子的计算表达式如下：

(6)

其中，gc为窗口中心像素的灰度值；gi(i=0，…，7)为与中心像素相邻的8个像素的灰度值；s(x)为二值化函数，即

(7)

其中，x是窗口中心像素与邻域像素灰度值的差值.

原始LBP特征提取多用于灰度图像，像素灰度值是不小于0的，而聚合Gabor特征图的像素值为Gabor响应输出值，存在正负值，反应了正负两个方向上的响应输出.为更好地利用Gabor特征图的正负方向信息，本文提出了一种新的局部二值编码方法，采用一个自定义比较函数代替传统的二值化函数，新的LBP算子的计算表达式如下：

(8)

其中，fuser(x，y)为自定义比较函数，即

(9)

其中，x和y分别是窗口中邻域像素值和中心像素值.

根据式(8)和式(9)，容易发现，当中心像素值大于等于0时，新编码方法(自定义比较函数)与原始方法(二值化函数)结果一样，只有当中心像素值小于0时，两种方法编码结果才不同.图3分别给出了不同点的3×3窗口上分别利用两种方法进行局部二值编码的示意图.

图3 局部二值编码的示意图Fig.3 Schematic diagram of local binary coding

得到编码图后，进一步可生成LBP特征向量.为降低LBP特征向量的维度，Ojala等人提出了LBP的3种映射模式(RI、U2和RIU2)[18]，可分别将LBP特征向量从256维分别降到36、59和10维.为了提高LBP特征的表达能力，本文将3种映射模式串联生成105维的LBP串联模式(简称3CM映射模式).

5 实验结果及分析

5.1 实验说明

5.1.1 实验数据库

实验采用一个公开的烟雾数据库，含有烟雾图像和非烟雾图像[19]，也有彩色和灰色图像，且图像大小不一，可通过网址1下载.该数据库包含4个数据集，各数据集中包含的烟雾和非烟雾图像数量如表1所示.图4列出了数据库中部分图像样本.为便于与其他方法[5,6,20-28]的实验结果进行比较，本文将数据库中所有图像转换为灰度图像，并缩放为48×48的分辨率.

5.1.2 实验分组

本文做了3组烟雾识别实验，实验1通过比较LGBP(本文采用Gabor核的实部响应)和LAGBP特征不同情况下的效果来阐述本文LAGBP特征提取方法的演进过程，实验2是与传统机器学习方法比较，实验3是与深度学习方法比较.

表1 4个数据集的图像数量Table 1 Number of images in four image sets

5.1.3 实验评估标准

为更好地与其他方法结果进行比较，本文实验用到检测率(DR)、误报率(FAR)、错误率(ERR)和准确率(AR)四种指标，各指标的表达式如下：

(10)

实验1和实验2只采用传统的学习方法，期望的实验结果是保证较高DR的同时具有较低的FAR和ERR.为方便与深度学习的方法比较，实验3采用了与文献[20]一样的指标(AR、DR和FAR)，期望的实验结果是具有较高的AR和DR，较低的FAR.

5.2 实验1：LAGBP超参数比较与分析

实验1以Set1为训练数据集，Set2、Set3和Set4为测试数据集.为便于描述，本文将实验结果分成4组分别进行比较，如表2所示.表2中加粗的数值表示每组数据中对应指标的最优结果.

图4 数据库中部分图像样本Fig.4 Some sample images from four sets

表2 LGBP与LAGBP不同情况下的实验结果Table 2 Experimental results of LGBPs and LAGBPs in the evolutionary process

表2的实验结果分析显示：

1)为提高LGBP方法的效果和效率，本文首先采用了平均聚合的LAGBP方法，以降低特征向量的维数，提高效率.该部分实验所得数据为表2中的第1组数据.

第1组数据分别列出了LGBP和LAGBP(平均)两种方法的RIU2、U2和RI等模式的实验结果，即传统Gabor核与平均聚合Gabor核在RIU2、U2和RI等模式下的结果.分别比较LGBP(RIU2)和LAGBP(平均，RIU2)、LGBP(U2)和LAGBP(平均，U2)、LGBP(RI)和LAGBP(平均，RI)，发现LGBP方法3种模式的结果都要好于LAGBP(平均)方法.其中，LGBP(U2)方法的“最优指标值的数量”最大(为8)，即该组数据中LGBP(U2)的效果最好.这表明使用平均聚合方法能够降低Gabor核的数量，减少特征向量的维数，但其效果并没有改善.

2)为改善LAGBP(平均)的效果，本文采用了将RIU2、U2和RI模式的直方图串联成3CM模式，以增加特征向量的维数，提高烟雾识别的效果.表2中第2组数据列出了该部分实验结果.

在第2组数据中，列出了LGBP的U2、3CM模式和LAGBP(平均)的RIU2、U2、RI、3CM模式的实验结果.分别比较LGBP(3CM)与LGBP(U2)、LAGBP(平均，3CM)与LAGBP(平均，RIU2)、LAGBP(平均，3CM)与LAGBP(平均，U2)、LAGBP(平均，3CM)与LAGBP(平均，RI)，发现3CM模式的LGBP和LAGBP(平均)两种方法的效果比RIU2、U2、RI模式都有所提高.但是比较LGBP(3CM)与LAGBP(平均，3CM)，发现使用3CM模式的LGBP要优于LAGBP(平均)，且有本组最大的“最优指标值的数量”(为5).这表明使用3CM模式增加了特征向量维数的同时，也改善了特征向量的识别效果.

3)为改善LAGBP(平均，3CM)的效果，本文提出采用加权平均聚合代替平均聚合，并利用Gabor核的幅值响应计算权值.实验所得数据为表2中的第3组数据.

第3组数据列出了LGBP(3CM)、LAGBP(平均，3CM)、LAGBP(加权平均，3CM)等方法的实验结果.分别比较LGBP(3CM)与LAGBP(平均，3CM)、LGBP(3CM)与LAGBP(加权平均，3CM)，发现LGBP(3CM)优于另两种LAGBP方法，具有本组最大的“最优指标值的数量”(为6).比较LAGBP(平均，3CM)与LAGBP(加权平均，3CM)，发现在Set2上的实验结果完全一样，而在Set3和Set4上的比较结果刚好相反，难于分出优劣.这表明在3CM模式下，平均聚合和加权平均聚合LAGBP的结果各有优势，优劣难于区分.

4)为进一步改善LAGBP的效果，本文又提出了一个自定义比较函数，通过利用Gabor特征图的正负方向信息进行局部二值编码，代替传统的二值化函数.实验所得数据为表2中的第4组数据.

第4组数据列出了3CM模式的LGBP(二值化函数)、LGBP(自定义比较函数)、LAGBP(平均，自定义比较函数)、LAGBP(加权平均，自定义比较函数)等方法的实验结果.分别两两比较这4种方法，发现LAGBP(加权平均，自定义比较函数)的效果最好，具有本组最大的“最优指标值的数量”(为5)，LAGBP(平均，自定义比较函数)方法最差，LGBP(自定义比较函数)要优于LGBP(二值化函数).这表明在3CM模式下，自定义比较函数在一定程度上要优于二值化函数，且使用自定义比较函数和加权平均聚合Gabor核的LAGBP的效果最优.

通过以上比较分析显示，LAGBP(加权平均，3CM，自定义比较函数)方法不仅降低了Gabor核数量，提高了特征提取的效率，还改善了烟雾识别的效果.

5.3 实验2：LAGBP和传统方法比较与分析

实验2与实验1采用相同的数据集设置，以Set1为训练数据集，Set2、Set3和Set4为测试数据集.实验2选择了当前较为流行的传统方法与LAGBP(加权平均，3CM，自定义比较函数)方法比较，有HLTPMC[6]、HLTPMC+LPP[6]、SOHLBP[5]、LBP[21]、CLBP[22]、LTrP[23]、PLBP[24]和LDP4[25]，其中LBP、CLBP、LTrP、PLBP和LDP4都分别采用了U2、RI和RIU2等3种映射模式的特征.为便于描述，将LAGBP(加权平均，3CM，自定义比较函数)方法简称为本文方法.

表3列出了实验2中本文方法和其他传统学习方法的实验结果，其中加粗的数值表示其他传统方法在对应指标上优于本文方法.

表3 本文方法和传统方法的实验结果Table 3 Experimental results of traditional methods and our method

表3的实验结果分析显示：

1)根据表3中9个指标的数据显示，HLTPMC+LPP(RIU2)、HLTPMC(RIU2)、SOHLBP、LBP(RI)、CLBP(U2)、LTrP(RIU2)、PLBP(U2)、PLBP(RI)、LDP4(U2)和LDP4(RI)等10种方法不存在优于本文方法的指标值，表明本文方法完全胜于这10种传统方法.LBP(U2)、LBP(RIU2)、CLBP(RI)、CLBP(RIU2)、PLBP(RIU2)和LDP4(RIU2)等6种方法只在3个DR指标上存在优于本文方法的情况，而FAR和ERR两种指标上完成差于本文方法，表明本文方法优于这6种传统方法.LTrP(U2)和LTrP(RI)两种方法只在3个FAR指标上存在优于本文方法的情况，而DR和ERR两种指标上完成差于本文方法，表明本文方法也优于这两种传统方法.另外，本文方法在3个数据集上都具有最低的ERR.

2)表3中的“特征向量维数”显示，本文方法具有第2多的向量维数(1575维)，但在训练数据时，所需的支持向量数最小，仅为163.

5.4 实验3：LAGBP和深度方法比较与分析

实验3采用了与文献[20]同样的配置，取样本数最多的Set3为训练数据集，取样本数最少的两个数据集Set1和Set2为测试数据集，Set4为深度学习的验证数据集，在实验3中没有用到.参与比较的深度学习方法有DNCNN[20]、AlexNet[26]、ZF-Net[27]和VGG16[28].其中，DNCNN方法是专门针对本文烟雾库而设计的深度学习方法，AlexNet、ZF-Net和VGG16是3种经典的深度学习方法.由于本文烟雾库的图像大小都不能直接用于AlexNet、ZF-Net和VGG16等3种方法，在文献[20]的实验中，都将烟雾图像大小分别缩放为227×227、224×224和224×224.为便于描述，也将LAGBP(加权平均，3CM，自定义比较函数)方法简称为本文方法.

表4列出了本文方法和4种深度学习方法的实验结果，这4种深度学习方法的实验结果均来自文献[20]，其中加粗的数值表示深度学习方法在对应指标上优于本文方法.

表4 本文方法和深度学习方法的实验结果Table 4 Experimental results of deep learning methods and our method

表4的实验结果分析显示：根据Set1上的实验结果显示，4种深度学习方法都有两个指标值优于本文方法，表明本文方法在Set1上要逊于深度学习方法.但是，在Set2上，本文方法在3个指标上都是最优，表明在Set2上本文方法完胜深度学习方法.从整体6个指标上看，对于每种深度学习方法，本文方法都有4个指标不逊于它们，表明本文方法在整体上要略胜于深度学习方法.

深度学习是当前智能识别、数据挖掘等领域最重要的研究方向，通过组合低层特征，形成更加抽象的高层特征，有利于提升识别率[29].理论上，深度学习方法通常都能抽取到比传统学习方法更全面的特征信息，效果应该优于传统方法，而在此出现本文方法优于深度学习方法的情况，可能是用于训练的样本数量过小，不能充分发挥深度学习应有的学习能力.

上述3组实验的结果分析表明，本文提出的LAGBP(加权平均，3CM，自定义比较函数)方法能够较好地表达烟雾特征，能很好地适用于烟雾图像.

6 结 论

本文针对烟雾识别存在高误报率和高错误率的问题，提出了一种新的Gabor变换域的LBP特征提取方法(局部聚合Gabor二值模式，LAGBP).该方法大大减少了Gabor特征图的数量，提高了Gabor变换计算的效率；同时利用Gabor核的复数幅值和实部正负方向等信息，并串联3种LBP映射模式的直方图，增强了LBP特征的表达能力，提高了图像分类的效果.为验证本文方法可行性和有效性，分别与18种传统方法和4种深度学习方法进行了对比实验.实验结果验证了本文方法比其他方法要出色，具有很好的烟雾识别能力，能够很好地适用于烟雾图像.下一步的研究将考虑利用深度学习的方法进一步提高烟雾检测的准确率和检测率，同时降低误报率和高错误率.