一种基于HOG-LBP的高效车辆检测方法

杨先凤,杨 燕

(西南石油大学计算机科学学院,成都610500)

一种基于HOG-LBP的高效车辆检测方法

杨先凤,杨 燕

(西南石油大学计算机科学学院,成都610500)

针对形状特征在车辆检测中存在的误检现象,在分析误检原因的基础上,提出一种融合形状和纹理特征的车辆检测方法。对检测窗口中划分的胞元进行方向梯度直方图特征和统一化局部二进制模式算子的求解,统计检测窗口中各胞元的特征情况,在形成浏览窗口的形状和纹理特征过程中,采用主成分分析解决特征的高维度和冗余问题,结合支持向量机进行特征训练和检测实验。实验结果证明,该方法有效兼顾车辆图像的形状和纹理两方面的特征,在不影响检测速度的同时,明显降低了车辆检测的误检率,在时效和精度两方面都取得较好的效果。

车辆检测;误检;方向梯度直方图;局部二进制模式;主成分分析;支持向量机

1 概述

车辆检测主要用于车辆识别和交通安全等领域,现在已经引起了众多学者广泛的研究[1],对于车辆的静态检测,目前主要利用基于形状特征的检测方法,例如,文献[2]采用一种对局部特征进行统计的方法在车辆检测中取得了较好效果,文献[3]采用Haar特征联合AdaBoost分类器实现了车辆的检测和识别。然而,由于检测环境的复杂性和环境光线等因素的影响,类似的形状特征检测方法仍然存在误检和漏检几率较高的问题。因此,在一些目标检测中,部分学者为了克服单一形状特征表达能力的不足,提出采用联合特征解决单一特征存在的问题。文献[4]结合方向梯度直方图(Histogram of Oriented Gradient,HOG)和Haar特征实现了对猫头部的有效检测。文献[5]采用Haar和局部二进制模式(Local Binary Pattern,LBP)特征进行了行人的面部和头部检测,取得了一定的成果。文献[6]结合AdaBoost算法,利用HOG-LBP特征对海鸟进行了特征分析,并利用支持向量机(Support Vector Machine,SVM)进行了分类实验。文献[7]主要针对遮挡情况下的检测问题,采用行人的HOG-LBP特征的同时,利用检测窗口的分块类别标注分析判别遮挡情况,最后采用SVM[8]进行训练和检测。文献[9]在文献[7]研究的基础上采用基于HOG和LBP特征的联合直方图完成了行人检测分析。

基于以上众多学者研究成果的启发以及实际车辆检测中误检问题的分析,本文将HOG-LBP特征应用于车辆检测,兼顾基于形状和纹理两方面的特征进行检测。

2 HOG特征及其误检分析

方向梯度直方图是文献[10]提出的一种检测方法,其核心思想就是通过对目标区域的梯度方向分布统计来描述目标物的外形结构。在HOG计算过程中,首先对图像进行Gamma空间和颜色空间标准化,统一转化为灰度图像,其Gamma标准化如下:

I(x,y)=I(x,y)Gamma (1)

当进行平方根标准化时可以取Gamma=1/2。接着选取(-1,0,1)的Sobel模板加上高斯模糊获取水平和垂直方向的梯度,并以此计算出梯度幅值和方向。然后将图像划分为一定尺度的可以沿横纵方向滑动的描述块,在描述块中划分等大小的胞元,最后对各胞元的梯度投影到一定方向上进行直方图统计,形成每个胞元的梯度方向直方图,进而统计并归一化得出每个描述块的梯度直方图向量[11],称为HOG描述符。最后把所有描述块的直方图向量连接起来形成图像的HOG特征描述符。其中,检测窗口包含的特征维数由描述块和胞元参数决定,假设一个块包含a个胞元,每个胞元投影方向数目为b,所以一个块含有ab个梯度直方图,又因为一个窗口包含c个块,所以一个窗口包含abc个梯度直方图。

在目标检测领域,HOG特征由于其对目标形状的良好刻画而获得了广泛应用,但仍然存在较多的错误检测。图1(a)是车辆检测中出现错误检测的原始图像,对其进行 HOG特征可视化,如图1(b)所示,再完成逆变换并将其可视化,如图1(c)所示。可以看出,该逆变可以获取和车辆图像极其接近的图像,因此,当利用该HOG特征对该图像进行检测时,就会错误地将其判定为车辆图像,因为该原始图像HOG特征与车辆图像HOG特征是极其相似的,这也是HOG本身存在的表达局限性决定的。通过实验分析同样可以得出,当不断扩大特征维数或者采用更好的学习算法时,该原始图像仍然会被错误地检测为车辆,误检情况仍然无法得以有效改善。

图1 HOG特征及其逆变换

3 HOG-LBP特征提取

由上一节中的误检分析可以看出,由于HOG算子在形状表达时本身存在的局限性,使其对于目标描述的区分能力有限,因此造成许多误检目标。考虑到局部二进制模型[12]具有较好的局部纹理表达能力和单调灰度不变性,本文利用与LBP相似的局部圆形邻域算子表达目标纹理特征[13],记该局部圆形邻域算子为LCNP,R,P表示邻域P;R表示邻域半径,对于不在像素中心位置的邻域点,通过双线性插值确定其值,如图2所示。图2表示P=8,R=1的邻域,为了计算圆环左上角空心圆点f7的值需要用其周围的4个像素点进行插值,首先分别计算点1和点2的水平差值,点1的计算如下:

同理计算点2的值:

竖直线性插值计算点3的值:

图2 P=8,R=1邻域及其插值计算

对于一个分块区域来说,标准的LBP算子获取的二进制模式数目较多,实际位于该分块区域中的像素数目较少,从而使区域特征失去统计意义,因此,本文采用统一化LBP算子进行纹理特征分析。如上所述,由于实际计算得出的HOG和LBP特征向量都存在高维冗余特性,不仅减缓了检测和训练速度,而且部分冗余信息甚至会降低检测精度。PCA方法[14]的实现简单高效,更为重要的是其降维后的特征向量仍然具有优秀的描述能力,因此,本文采用PCA对HOG和LBP特征向量进行降维。PCA降维的基本原理是通过对原来的样本空间进行一个空间变换,求得一个投影矩阵,使得原来坐标投影到一个新的、维度更低的且相互正交的空间上,便可以将高维特征的维数下降到指定的维数。假设一个由n个训练样本组成的训练样本矩阵为:

其中,向量xi为第i个图像的特征列向量,且各列向量的平均值u如下:

其中,A=(d1,d2,…,dn);di为第i维特征向量与u的差值矢量。

采用奇异值分解(SVD)定理,通过求解AAT的特征值和特征向量来获得协方差矩阵c的特征值和特征向量。求出AAT的特征值λi及其正交归一化特征向量vi,根据特征值的贡献率选取前p个最大的特征向量及其对应的特征向量,贡献率表示如下:

则协方差矩阵c可以表示为:

求出原协方差矩阵的特征向量:

则投影矩阵为w=(h1,h2,…,hp),将每一维特征向量与u的差值矢量投影到一个新的特征空间:

得出降维后的训练集为:

将待检测的特征向量t与u的差值矢量也可以投影到新的特征空间,得到其特征向量表示为:

最后,将降维后的HOG特征向量yHOG和LBP特征向量yLBP共同作为样本训练的特征向量,而zHOG和zLBP作为待检测窗口的检测特征向量。结合各特征提取过程,该方法的描述如图3所示。

图3 HOG-LBP框架流程

4 实验分析

实验中,为了证明本文方法的有效性,以支持向量机(SVM)作为实验训练和分类工具,使用UIUC车辆库作为实验对象进行训练和检测实验。

4.1 实验步骤及结果分析

实验主要包括特征学习阶段和车辆检测阶段,其主要实验步骤如下:

(1)选定正负样本:在车辆库中,选取102×42窗口大小的图片作为训练的源正样本。选取102× 42大小的无车辆图像的随机图像作为训练的源负样本,本实验源正样本选取600个,源负样本选取1 000个进行学习。

(2)提取HOG和LBP特征。参考文献[10]中的HOG参数选取评估分析,实验过程中取描述块大小为18×18,胞元大小为6×6,描述块横纵移动间隔为6,投影方向为18,对检测窗口进行HOG计算,较其他参数设置将获取最优的检测效果。对一个102×42的检测窗口,按照上节描述,可以将其划分为75块,采用 HOG特征描述后可以得到12 150维特征向量。与此同时,参考文献[7]对LBP参数选取的对比分析,选取邻域半径为1的8邻域对每个胞元进行LBP计算,结合上述描述块和胞元等参数,可以获取11 800维LBP特征向量。

(3)按照上节所述的PCA算法,并采纳99%的贡献率对步骤(2)中的高维特征向量进行降维处理,获取训练样本的HOG-LBP特征空间。

(4)将提取出来的HOG-LBP特征采用线性核函数的SVM中训练,生成基本分类器,采用基本分类器对所有源负样本进行扫面检测,将其中检测错误的子图像归为困难负样本,将之前的正样本和负样本与困难样本一起对基本分类器进行二次训练得到初始分类器,最后将训练结果保存以供下一阶段的检测。

(5)设置检测窗口浏览图像,对于每一个尺度和位置的检测窗口,其PCA降维后的HOG-LBP特征向量被计算,利用学习阶段所训练完成的分类器将所获特征向量进行分类,将目标区域用矩形标出,其实验结果如图4所示。从图4可以明显看出,在背景复杂和有遮挡情况下,本文采用的检测方法都可以取得较为明显的检测效果,达到了预期的检测性能。

图4 部分检测结果

为了进一步验证本文方法的有效性,在不考虑贡献率情况下,实验中通过PCA降维维度分析了检测率和检测速度2个指标。实验结合正负样本的总检测精度,研究了检测率和检测时效同检测维度的变化关系,其变化关系如图5所示。

如图5所示,当检测维数低于600维时,虽然检测的耗时较少,但是由于降维深度过大,有贡献的特征维数减少,在降维减少冗余的同时,另造成了部分重要特征信息的丢失,引起特征表达的不足,检测正确率降低,正如图5(a)中,当维数低于600维时,检测率随着维数的增加会出现一个较大的递增过程。当维数高于1 000维时,由于特征信息中逐渐增多了混叠和冗余,检测时效的消耗有所增加,而且检测精度降低,正如图5中,当维数高于1 000维时精度曲线呈降势,时效曲线呈升势。当检测维度在500～800维时,可以达到较好的检测效果,而所需的时间虽然较500维以下维度有所增加,但是其增加总幅度介于60 ms以内,所以当特征维度在这一范围内时可以达到理想的检测效果,其中当检测维度取600时,检测精度可以达到最佳的98.22%,而所需检测时间214 ms,满足检测精度和时效要求。

图5 检测率和检测时间对特征维度的影响

4.2 性能对比分析

实验首先采用文献[10]的单一HOG特征检测方法进行实验,然后采用文献[4]的HOG-LBP特征方法进行检测,部分比较结果如图6所示。第1列表示采用HOG-LBP特征的部分检测结果,第2列表示采用本文所用方法的部分检测结果。

图6 PCA降维前后检测结果

表1则表示采用HOG、HOG-LBP以及本文方法对500个不包含车辆的负样本进行检测的误检几率对比,以及500个包含车辆的正样本的漏检率对比。

表1 3种方法检测精度对比 %

从图6可以看出,虽然车辆得以正确检测,但是由于HOG-LBP特征存在大量的冗余信息,当利用分类器对测试样本的特征进行检测时,这些特征向量冗余信息会导致特征向量的描述能力降低,从而产生图6第2行所示的错误检测。表1分析可以得出,基于HOG-LBP特征方法较HOG方法显著提高了车辆检测的检测精度,而本文在HOG-LBP基础上进行降维处理后的检测效果较其他2种方法在性能方面都有明显提升,与图5结合可以进一步证明本文所采用的方法在车辆检测中取得了理想效果和准确度。

在配置Intel i3,4 MB内存,Window 7(32)的计算机上,采用本文提出的方法在最佳维度600维时实现了检测速度测试,并统计了3种方法对分类器训练时间和200张源图像检测的平均检测时间,其对比结果如表2所示。

表2 3种方法的检测时间对比 ms

从表2分析得出,本文方法在检测精度和时效上超越了较单一的HOG检测方法,而与HOG-LBP方法相比,只要本文方法降维处理满足最佳维度区间,在检测时效和精度上同样优于HOG-LBP检测方法。

5 结束语

本文首先对HOG目标检测存在的错误检测进行了分析,进而提出了一种在HOG特征基础上的快速高精度车辆检测方法,在准确获取HOG特征的基础上,将LBP特征成功融入其中组成新的特征描述向量,并采用主成分分析法(PCA)对高维度和带冗余的特征向量完成了降维操作,最后将降维后的特征向量采用支持向量机(SVM)进行训练并完成车辆的检测。实验结果证明,在HOG特征基础上采用HOG-LBP特征可以有效降低HOG特征检测的误检和漏检率,而在此基础上采用PCA对特征向量的降维处理,进一步提高了检测效率,以及过多冗余信息引起的误检率。下一步将研究把本文提出的方法应用到实际环境下的车辆检测中。

[1] Sun Zehang,BebisG,MillerR.On-road Vehicle Detection:A Review[J].Pattern Analysis and Machine Intelligence,2006,28(5):694-711.

[2] Wang R C C,Lien J J J.Automatic Vehicle Detection Using Local Features——A Statistical Approach[J]. IEEE Transactions on Intelligent Transportation Systems,2008,9(1):83-96.

[3] 王国德,张培林,任国全,等.融合LBP和GLCM的纹理特征提取方法[J].计算机工程,2012,38(11): 199-201.

[4] Zhang Weiwei,Sun Jian,Tang Xiaoou.CatHead Detection——How to Effectively Exploit Shape and Texture Features[C]//Proc.of the 10th European Conference on Computer Vision.Marseille,France: [s.n.],2008:802-816.

[5] Corvee E,Bremond F.Haar Like and LBP Based Features for Face,Head and People Detection in Video Sequences[C]//Proc.of International Workshop on Behaviour Analysis and Video Understanding.[S.l.]: IEEE Press,2011.

[6] Chunmei Q,Patrick D.Automatic Nesting Seabird Detection Based on Boosted HOG-LBP Descriptors [C]//Proc.of IEEE International Conference on Image Processing.[S.l.]:IEEE Press,1999:3577-3580.

[7] Wang Xiaoyu,Han T X.An HOG-LBP Human Detector with Partial Occlusion Handling[C]//Proc.of the 12th IEEE International Conference on Computer Vision. [S.l.]:IEEE Press,2009:32-39.

[8] Cortes C,Vapnik V.Support-vector Networks[J]. Machine Learning,1995,20(3):273-297.

[9] 黄 炎,范赐恩.联合梯度直方图和局部二值模式特征的人体检测[J].光学精密工程,2013,21(4): 1047-1052.

[10] Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection [C]//Proc. of International Conference on Computer Vision&Pattern Recognition. Montbonnot,France:[s.n.],2005:886-893.

[11] Ahonen T,Hadid A,Pietikainen M.Face Description with LocalBinary Patterns:Application to Face Recognition[J].Pattern Analysis and Machine Intelligence,2006,28(12):2037-2041.

[12] Jolliffe I.Principal Component Analysis[M].[S.l.]: Wiley Online Library,2005.

[13] 文学志,方 巍.一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J].电子学报,2011,39(5): 1121-1126.

[14] 李 林,吴 跃.一种基于HOG-PCA的高效图像分类方法[J].计算机应用研究,2013,30(11):3476-3479.

编辑 顾逸斐

A Method of Efficient Vehicle Detection Based on HOG-LBP

YANG Xian-feng,YANG Yan
(Institute of Computer Science,Southwest Petroleum University,Chengdu 610500,China)

According to the feature erroneous inspection that consists in vehicle detection,this paper proposes a vehicle detection method based on the fusion shape and texture characteristics in analysis of the error reason.It calculates the Histogram of Oriented Gradient(HOG)feature and the unified Local Binary Pattern(LBP)operator for all cell in detection window,solves the problem of high dimension characteristic and redundancy by Principal Component Analysis (PCA)in the browser window and texture characteristics-forming process.Combined with the Support Vector Machine (SVM),it does the feature training and test experiment.Experimental results show that this method juggles both sides of the shape and texture characteristics in vehicle image effectively,significantly reduces the error probability of the vehicle detection when meets the detection speed,gets good effect both in efficiency and accuracy.

vehicle detection;erroneous inspection;Histogram of Oriented Gradient(HOG);Local Binary Pattern (LBP);Principal Component Analysis(PCA);Support Vector Machine(SVM)

1000-3428(2014)09-0210-05

A

TP39

10.3969/j.issn.1000-3428.2014.09.042

四川省应用基础研究计划基金资助项目(2011JY0060)。

杨先凤(1974-),女,教授,主研方向:智能识别,数字图像处理,数据库技术;杨 燕,硕士研究生。

2013-09-27

2013-11-01E-mail:xianfeng730@163.com