红外视频图像的行人检测算法

王 姮,游斌相,刘桂华,张 进

(1.西南科技大学信息工程学院，四川 绵阳 621010;2.国网重庆市电力公司电力科学研究院,重庆 401123)

红外视频图像的行人检测算法

王 姮1,游斌相1,刘桂华1,张 进2

(1.西南科技大学信息工程学院，四川 绵阳 621010;2.国网重庆市电力公司电力科学研究院,重庆 401123)

在光照不足、对比度较低的夜晚，红外辐射成像技术具有较好的成像效果。一个鲁棒性好、可靠性强的红外环境行人检测方法，对拓展红外成像技术的应用具有重要意义。对此，提出了一套高效可行的红外环境下行人检测方案。首先，使用高斯混合模型进行图像分割，获取前景区域。高斯混合模型具有对运动敏感的特征，在运动目标检测过程中不仅可以实时更新背景，而且还能有效地消除阴影区域。然后，提取方向梯度直方图(HOG)特征。HOG是在图像的局部方格单元上操作的，所以它对图像几何、光学的形变都能保持很好的不变性；HOG可以允许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。最后，使用Adaboost算法进行分类识别。试验结果表明，该方法在红外环境下的行人识别率高达99%，能较好地满足应用需求。

行人检测； 高斯混合； 运动目标检测； 方向梯度直方图； Adaboost算法； 二分类； 识别率

0 引言

红外图像虽然分辨率较低，但其具有不受环境影响的优点，在夜间也可检测并分割出诸如行人等目标温度高于环境温度的前景目标。其在安全监控、自动驾驶以及军事等领域有着广泛的应用，在安全监控报警领域的应用尤为广泛；但是目前大多报警装置仍使用触发报警模式，误报率较高。

近年来，国内外已有不少关于红外环境下的行人检测[1-3]方法。Lin等[4]使用背景帧差法分割前景移动目标，提取几个轮廓特征点并计算相关系数，最后用神经网络进行分类。Lakshmi等[5]利用行人特征分割出感兴趣区域后，采用曲波变换来获取特征数据，最后使用支持向量机(support vector machine，SVM)对这些数据作分类处理。王路杰[6]在针对红外图像行人检测算法中，利用不同区间的亮度直方图(different bins histogram of intensity，DBHOI)和亮度直方图(histogram of intensity，HOI)作为行人特征描述子，然后采用Adaboost的分类方法对描述子进行分类检测。芮挺等[7]采用多层网络构建深度卷积神经网络实现对行人的检测。杨阳等[8]利用直方图统计显著性映射算法获取红外图像的显著图，统计关注点的分布，然后确定分割阈值，并结合先验概率构建基于形状的级联模版树，最后在分割图像上根据匹配值确定行人的位置。

虽然各个模型在人形检测上都有不错的表现，但大多是以牺牲计算时间为代价。本文以混合高斯作分割，然后提取方向梯度直方图(histogram of oriented gradient，HOG) 特征，最后使用Adaboost进行分类。

1 系统检测流程

红外环境下的行人检测总体流程如下：①获取红外图像；②对原始红外图像进行滤波处理；③进行图像前景分割；④对分割出来的区域进行特征提取；⑤对提取出来的特征进行分类识别，判别其是否是行人。

本文利用高斯混合背景建模进行分割，然后提取HOG特征，最后使用Adaboost分类器来检测行人。从相机获得图像后，首先通过混合高斯模型检测运动目标，然后计算运动目标区域的HOG特征。使用Adaboost分类器对获得的HOG特征进行分类。若分类器分类结果是行人，则生成检测日志；若分类器结果不是行人，则获取下一帧图像进行处理。

1.1 图像分割

图像分割就是把图像分成若干个特定的、具有独特性质的区域。同时图像分割也是一种基本的计算机视觉技术，是运动分析和运动跟踪的基础。

图像分割算法有很多种，Jeon等[9]首先连续取十帧图像构建出一个背景图像，然后将获取的新图像与背景图像相减，从而获得前景图像。Lin等采用帧间差分法进行图像的分割[4]。Zhao等[10]利用轮廓显著图作分割。Wang等[11]使用高斯混合背景建模来分离前景和背景。背景消除法与帧间差分法类似，适用于背景较为固定不变的场景，多用于室内。轮廓显著图需要对轮廓进行多次计算，运算量较其他方法大得多。高斯混合模型利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景，鲁棒性强且适用范围广。

1.2 高斯混合模型

在高斯混合背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点，可将其值在序列图像中的变化看作不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律。在马义德等[12]的研究中，在模型学习方面,均值与方差采用了不同的学习率。其中，均值更新采用自适应的学习率,方差的学习率取固定值，引入权值均值概念；结合权值进行像素点的前景和背景分类，并利用了背景图像消除阴影。较传统方法而言，该方法具有更好的学习能力。

高斯模型由均值和方差这两个参数完全决定,对均值和方差的学习,采取不同的学习机制,将直接影响模型的稳定性、精确性和收敛性。文献[12]采用式(1)对均值更新：

(1)

方差的更新方程为：

(2)

式中：ρσ=0.002为学习率。

该学习机制使均值收敛快而准，方差收敛相对较快、比较平稳。

虽然高斯混合能有效地消除阴影区域，但其对运动比较敏感的特性也会对结果造成干扰。特别是在夏天，环境温度较高，若遇大风引起某些背景移动的情况，背景很容易被误认为是前景。所以后期的特征提取和分类识别是很有必要的。

1.3 特征提取

在提取出红外图像的热点区域后，必须进一步确认热点区域是否为行人。这就需要对每个区域进行描述，获得该区域的特征向量，并使用分类器来分类。为了便于后续的统一计算，且考虑到红外图像分辨率较低的情况，先将提取出来的目标前景区域缩放至64×128像素，再提取HOG特征。HOG是目前用于人形描述最常用的特征方法之一。

HOG特征计算首先对图像作灰度化处理，接着使用式(3)作归一化处理。其目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪声的干扰。

P(x,y)=I(x,y)γ

(3)

式中：I(x,y)为当前像素值；P(x,y)为归一化后的像素值。

根据式(4)～式(7)，计算每个像素点的梯度，可有效地捕获轮廓信息，同时进一步弱化光照的干扰。

Gx(x,y)=P(x+1,y)-P(x-1,y)

(4)

Gy(x,y)=P(x,y+1)-P(x,y-1)

(5)

(6)

(7)

式中：Gx(x,y)、Gy(x,y)、G(x,y)和α(x,y)分别为像素点(x,y)的水平方向梯度、垂直方向梯度以及梯度幅值和梯度方向。

接下来，将图像划分成若干个小细胞，统计每个细胞的梯度直方图，可获得每个细胞的特征描述。然后将多个细胞构成一个块，把块内每个细胞的特征描述串联到一起，即可获得该块的特征描述。最后将图像内所有块的特征表述串联起来即可得到整幅图像的HOG特征。

1.4 Adaboost算法

分类是识别系统中极为重要的一环，分类的好坏直接关系到整个识别系统的好坏。Adaboost是目前最好的二分类算法之一，最早由Freund等提出[13]。其核心思想是针对同一个训练集训练不同的弱分类器，然后把这些弱分类器集合起来，构成一个强分类器。Adaboost使用各种方法构建子分类器，并给各子分类器分配一个适当的权值，最后将其总和作为一个完整的分类器。Adaboost分类器构造简单、精确度高。其数学表达式一般为：

(8)

式中：αt为每个弱分类器对应的权重值；ht为弱分类器；T为迭代次数。

Adaboost迭代算法大致可分为初始化权重、弱分类器的训练以及强分类器的合成3个步骤。首先初始化训练数据的权值分布。如果有N个样本，则每一个训练样本最开始时都被赋予相同的权重1/N，接着训练弱分类器。在具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权重就被降低；否则，它的权重就得到提高。权重更新后的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。最后，将各个训练得到的弱分类器组合成强分类器。

2 试验结果分析

在获取原始红外图像后，首先对其进行灰度化处理，然后使用高斯混合背景建模的方法提取出前景移动目标，接着计算提取出来的目标区域的HOG特征向量，最后使用Adaboost来分类。采用高斯混合背景建模，运动目标提取前后的对比图如图1所示。

图1 运动目标提取前后对比图

在使用Adaboost分类前，首先需要对分类器进行训练。试验中的样本库均为实际采样。其中负样本主要有水杯、窗帘飘动等其他干扰产生的噪声图片；正样本有正常行走、跑动、正面、侧面、半身等各种情况的图片。

样本学习数量越大，训练出来的分类效果也越好。通过试验，比较了多种特征与分类算法，其结果如图2所示。

图2 行人识别率结果曲线

在使用Adaboost作为分类器的情况下，低样本时，识别率随着训练样本数量的增加而增高。当样本数量大于1 500时，识别率增加缓慢。同样，在使用SVM作为分类器的情况下，低样本时识别率随着训练样本数量增加而增高；当样本数量大于2 000时，识别率基本保持稳定。从试验过程和试验结果来看，使用本文方法来检测红外环境下的行人效果更好。

3 结束语

对基于红外环境的行人检测技术进行了研究，并提出了一种基于高斯混合模型、Adaboost算法的行人检测方法。试验表明，该方法对于红外环境下的行人检测具有良好的效果，识别率高达99.1%，证明了此方法的可行性和优越性。

[1] QI B,JOHN V,LIU Z,et al. Pedestrian detection from thermal images:a sparse representation based approach[J]. Infrared Physics & Technology,2016,76(2):157-167.

[2] LENAE K,MAUROVIE I,PETROVIE I.Moving objects detection using a thermal camera and IMU on a vehicle[C]//International Conference on Electrical Drives and Power Electronics. IEEE,2015.

[3] TEUTSCH M,MUELLER T,HUBER M,et al. Low resolution person detection with a moving thermal infrared camera by hot spot classification[C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society,2014:209-216.

[4] LIN C F,CHEN C S,HWANG W J,et al. Novel outline features for pedestrian detection system with thermal images[J]. Pattern Recognition,2015,48(11):3440-3450.

[5] LAKSHMI A,FAHEEMA A G J,DEODHARE D. Pedestrian detection in thermal images:an automated scale based region extraction with curvelet space validation[J]. Infrared Physics & Technology,2016,76(3):421-438.

[6] 王路杰. 基于红外图像的行人检测算法研究[D]. 杭州：杭州电子科技大学,2015.

[7] 芮挺,费建超,周遊,等. 基于深度卷积神经网络的行人检测[J]. 计算机工程与应用,2016,52(13):162-166.

[8] 杨阳,杨静宇. 基于显著性分割的红外行人检测[J]. 南京理工大学学报(自然科学版),2013,37(2):51-56.

[9] JEON E S,KIM J H,HONG H G.Human detection based on the generation of a background image and fuzzy system by using a thermal camera[J]. Sensors,2016,16(4):453.

[10]ZHAO X,HE Z,ZHANG S,et al. Robust pedestrian detection in thermal infrared imagery using a shape distribution histogram feature and modified sparse representation classification[J]. Pattern Recognition,2014,48(6):1947-1960.

[11]WANG J T,CHEN D B,CHEN H Y,et al. On pedestrian detection and tracking in infrared videos[J]. Pattern Recognition Letters,2012,33(6):775-785.

[12]马义德,朱望飞,安世霞,等. 改进的基于高斯混合模型的运动目标检测方法[J]. 计算机应用,2007,27(10):2544-2546.

[13]FREUND Y,SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting[C]//European Conference on Computational Learning Theory,1995:119-139.

Algorithm of Pedestrian Detection in Thermal Images

WANG Heng1,YOU Binxiang1,LIU Guihua1,ZHANG Jin2
(1.College of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China； 2.National Electricity Science Research Institute of Chongqing Electric Power Company,Chongqing 401123,China)

Infrared radiation imaging technology could reach a good imaging effect even in low illumination and contrast of night. A good robustness and reliability of the pedestrian detection method has a important significance on extending the application of infrared imaging technology. So,this paper puts forward a set of effective and feasible solutions of the pedestrian detection in infrared environment. Firstly,using gaussian mixture model for image segmentation to obtain the foreground area.Gaussian mixture model is sensitive to the motion object. It not only can update the background in real-time,but also can effectively eliminate the shadow area during moving object detection.And then,extracting the HOG feature.The HOG operates is on the local grid cells of the image,so it maintains good invariance for the geometrical and optical deformations of the image. Besides,the HOG allows pedestrians to have subtle body movements that can be ignored without affecting the detection results.Finally,using Adaboost to make classification. Experimental results show that this method recognition rate is as high as 99% in the infrared environment,and it can satisfy the market needs.

Pedestrian detection; Gaussian mixture model; Moving object detection; Histograms of oriented gradients(HOG); Adaboost; Two classification; Recognition efficiency

四川省重点实验室开放基金资助项目(13zxtk0504)、西南科技大学校创新团队基金资助项目(14tdtk01)

王姮(1971—)，女，硕士，教授，主要从事机器人技术及应用、自动化技术的研究。E-mail：wh839@qq.com。 游斌相(通信作者)，男，在读硕士研究生，主要从事机器视觉、模式识别技术的研究。E-mail：744710304@qq.com。

TH86;TP391.4

A

10.16086/j.cnki.issn1000-0380.201707021

修改稿收到日期:2017-01-07