基于Adaboost和STC的实时人脸跟踪

王佐成，吴艳平，薛丽霞

(1.中国电子科技集团公司第三十八研究所， 合肥 230088；2.安徽四创电子股份有限公司， 合肥 230088；3.合肥工业大学 计算机与信息学院， 合肥 230009)



基于Adaboost和STC的实时人脸跟踪

王佐成1，吴艳平2，薛丽霞3

(1.中国电子科技集团公司第三十八研究所， 合肥 230088；2.安徽四创电子股份有限公司， 合肥 230088；3.合肥工业大学 计算机与信息学院， 合肥 230009)

针对公共重点区域的智能监视问题，研究了时空语义模型(STC)跟踪技术。针对STC不能实现自动跟踪，提出利用Adaboost进行人脸检测、然后利用STC进行跟踪的实时人脸跟踪技术。首先利用Adaboost算法进行人脸检测，而后通过贝叶斯框架建立检测到的人脸区域与周围内容的时空关系，计算出人脸区域的置信图和似然概率最大的位置并作为跟踪结果。实验结果表明：该方法实现简单，具有较好的实时性与鲁棒性,可以作为实时人脸跟踪的有效方法。

智能监视；Adaboost；STC；人脸跟踪

人脸识别技术由于采集方式友好、用途广泛，在过去的四十多年中一直是人工智能领域的热点研究课题。而人脸检测与人脸跟踪技术作为人脸识别系统的先决条件，有着十分重要的作用和研究意义。同时人脸检测与跟踪也不仅仅局限于人脸识别的范畴，在图片视频检索、视频监控、人脸表情分析等方面有着广泛的应用前景。人脸检测与跟踪的研究已成为计算机视觉与模式识别领域的研究热点之一[1]。

基于STC(spatio-temporal context)学习模型的方法[2]通过贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模，得到目标和其周围语义区域间低级特征的统计相关性，将跟踪问题转化为目标位置置信图的计算问题，最大化似然函数后获得目标位置。该方法采用快速傅里叶变换实现时空模型的快速学习和目标的检测，有着较好的实时性和抗遮挡能力[3]。

由于STC不能主动跟踪，必须依赖于手动选取目标，本文首先利用Adaboost进行人脸检测，选取跟踪的人脸，后利用STC进行跟踪。通过真实视频数据实验验证，表明该算法处理速度快，且具有较高的准确度。

1 Adaboost人脸检测算法

AdaBoost算法[4-9]是一种基于学习的特征训练级联分类器算法。该方法采用类Haar特征来表示人脸。Haar型特征是Viola[4]等提出的一种简单矩形特征，因类似于Haar小波而得名，最初的特征库包括3种类型5种形式的特征，3种类型分别为2-矩形特征、3-矩形特征、4-矩形特征。矩形特征的特征值等于原图像在白色区域的所有像素值之和减去黑色区域的所有像素值之和。由于计算特征值时须对其覆盖的矩形范围内的像素进行灰度值统计，这样会导致重复计算像素值，效率会降低，因此，应用积分图解决该问题[8]。

对于图像内一点A(x,y)，定义其积分图为：

(1)

其中i(x′,y′)为点(x′,y′)处的灰度像素值。点的积分图的物理意义表示为该点与图像原点所形成的矩形内各像素的值之和，但是计算方法并非对各个像素值累加，而是根据迭代的方法快速计算，如图1所示，可得：

(2)

图1 积分图说明

利用基于AdaBoost的学习算法[9-10]，从一个较大的特征集中选择一些关键的特征，产生若干个高效的分类器，再用级联的方法将这些分类器合成为一个更复杂的分类器。分类器训练过程中根据训练结果改变样本权重，其中判断正确的赋予较小的权重，下次训练时给予较少的关注。判断错误的赋予较大的权重，下次训练时给予较多的关注。然后将赋予新权值的数据集从下层分类器进行训练，选取若干弱分类器构成强分类器，最后将训练得到的强分类器级联起来，形成最终的分类器。

2 时空语义(STC)学习算法

在视觉跟踪中，包含目标的局部场景在连续帧之间存在着较强的时空关系，充分利用此关系将有助于目标的准确跟踪[10-14]，其中，目标和它附近一定区域范围内的背景共同组成了局部语义区域。在遮挡情况下，对于局部区域来说，只是一部分发生了变化，背景以及遮挡部分与背景之间的相对位置并未发生明显改变，利用这一点，局部上下文就可以在下一帧中预测到目标出现的位置。该方法利用时空语义区域信息能够处理局部遮挡。具体算法如下[4]：

跟踪问题可转化为计算目标置信图c(x)，

(3)

其中:x∈R2是目标位置;o表示当前帧的目标。

假设在当前帧中已经获得目标中心的坐标x*。语义特征集合被定义为

(4)

式中：I(z)表示z处的图像灰度；Ωc(x*)表示位置x*的近邻。

联合概率密度为P(x,c(z)|o)。目标位置似然函数可计算如下：

(5)

条件概率P(x,c(z)|o)表示目标位置和它的语义信息，定义为：

(6)

其中hsc(x-z)表示目标及其空间语义之间的空间关系。

P(c(z)|o)是语义的先验概率，表示局部语义的外观。

(7)

其中：I(z)是点z处的图像灰度；a是归一化常量；σ是尺度参数。

目标位置的置信图定义为：

(8)

其中:b为归一化常量;α为尺度参数;β为形状参数。

结合式(8)中的置信图函数和语义先验模型，可以得到学习空间语义模型：

(9)

其中F-1表示傅里叶逆变换。

3 基于Adaboost和STC的实时人脸检测及跟踪

图2 算法流程

3.1 Harr特征及人脸分类器训练

在进行人脸检测之前，需要进行人脸分类器的训练。Adaboost人脸分类器选取的部分haar特征如图3所示。

图3 人脸haar特征

1)选择合适的正样本集和负样本集(正样本集是指待检目标样本，负样本集指其它任意图片)，通常数量比例为1∶4左右，并对正样本进行归一化处理。本文选取的正样本个数为300个，负样本个数为1 300个，统一归一化为20×20大小。图4、5所示为训练分类器所需的部分正样本和负样本。

图4 部分人脸库样本

图5 部分非人脸库样本

2) 根据样本和选择的Haar特征，对样本中包含的所有Haar特征确定最优阈值。并选择分类效果最好的一个特征作为第一个弱分类器，并根据判断结果，改变样本权重。

3) 利用改变权重后的样本继续对Haar特征进行训练，选择。重复步骤2)，训练弱分类器。

4) 根据最大误检率(55%)和最小检测率(96%)来进行强分类器的训练。

5) 将这些训练好的强分类器组成级联分类器。

6) 利用级联分类器对待检测的样本进行人脸检测。

城市发展是循序渐进的，走可持续发展的路线，滨海新区着力打造“天津智港”“生态城”等新的城市发展功能更符合国际化的城市发展定位，优越的城市文化和先进的城市功能将会吸引更多的国际交流与合作。

图6 Adaboost分类器与检测流程

3.2 时空模型更新

启动跟踪时即启动人脸检测，选取根据 Adaboost 算法检测到的人脸所在的矩形位置区域为。

(10)

(11)

其中ct+1(x)可由式(12)得到。

(12)

时空语义模型按下式更新：

(13)

4 实验与分析

本实验运行环境为：Intel E5-2600u 2.5 GHz， 内存为2×8 GB的服务器上，使用 VC++ 编写程序进行实验。

本方法可以用摄像头或视频文件作为输入。实验取目前监控摄像头捕获的视频进行测试来验证算法的可行性。图7为监控视频的跟踪结果。图7(a)为某安检区域的监控视频(共238帧)中的第1帧、第22帧、第99帧、第135帧、第172帧、第230帧。算法首先在第1帧中利用Adaboost算法进行人脸检测，对检测到的人脸进行时空语义建模。而后利用STC进行人脸跟踪。在第172帧到230帧之间，运动目标发生侧移，跟踪误差稍许增高。图7(b)为普通道路区域的监控视频(共59帧)中的第1帧、第12帧、第26帧、第37帧、第48帧、第59帧。通过这些帧数的直观跟踪结果说明，该算法可行，可作为后续人脸识别的基础。

图7 基于Adaboost和STC的监控视频人脸跟踪

为了验证算法的抗遮挡能力，本文取跟踪领域主流的camshift算法与之比较，同时特地在视频中进行类肤色干扰如手的干扰等。输入视频为720P摄像机拍摄产生的视频。图9、10给出了同一个视频采用两种方法跟踪的结果。该组视频从左到右分别对应第35帧、第82帧、第101帧、第135帧、第149帧的分析结果。视频在第82帧的时候，出现过被跟踪人脸被手遮挡的现象，如图9所示，采用STC，仍能够很好的进行跟踪。如图10所示，采用Camshift算法，则因类肤色干扰，导致跟踪框漂移。通过该实验说明了STC算法对遮挡具有很好的鲁棒性。

图8 视频序列中心误差曲线

图9 Adaboost+STC跟踪结果

图10 Adaboost+Camshift跟踪结果

本文选取平安城市监控摄像机以及实验环境下监控摄像机拍摄的多组1080P视频数据进行实验，选取TLD与Camshift算法与本文算法进行比较，得出的实验数据如表1所示。从表1中可以看出本系统具有更好的实时性与鲁棒性。

表1 本文方法与其他跟踪算法对比

5 结束语

本文提出了一种基于人脸检测和STC算法的人脸跟踪技术。对于摄像头或者视频文件输入，首先利用Adaboost算法进行人脸检测，而后通过贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模，得到目标和其周围语义区域间低级特征的统计相关性，将跟踪问题转化为目标位置置信图的计算问题，计算最大化似然函数后获得目标位置，进而完成人脸跟踪。试验结果表明：该算法具有较高的实时性与鲁棒性，可在摄像机或视频流中采集和跟踪人脸，更好的服务于人脸识别和视频浓缩摘要。在平安城市轨迹追踪、银行身份识别、机场安检、支付认证等方面具有较好的应用前景。

[1] 佘九华，王敬东，李鹏.基于Camshift的人脸跟踪算法[J].计算机技术与发展，2008，18(9):12-15.

[2] ZHANG K H,ZHANG L,YANG M H,et al.Fast Visual Tracking via Dense Spatio-temporal Context Learning[M].New York:Springer International Publishing,2014:127-141.

[3] 黄井强.机载视频运动目标跟踪研究[D].合肥：合肥工业大学，2014.

[4] VIOLA P,JONES M.Rapid Object Detection Using a Boosted Cascade of Simple Features[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition,2001(1):511-518.

[5] 王丽.基于视频的人脸检测与跟踪系统的研究[D].重庆：重庆大学，2008.

[6] 赵万鹏.基于Adaboost算法的数字识别技术的研究与应用[D].成都：中国科学院成都计算机应用研究所,2006.

[7] 孔凡芝.基于Adaboost和支持向量机的人脸识别系统研究[D].哈尔滨：哈尔滨工程大学,2005.

[8] 佘九华.人脸动态检测与实时跟踪系统的设计[D].南京：南京航空航天大学,2008.

[9] LEI Y,DING X,WANG S.Adaboost tracker embedded in adaptive particle filtering[C]//International Conference on Pattern Recognition.2006:939-943.

[10]DIVVALA S K,HOIEM D,HAYS J H,et al.An empirical study of context in object detection[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2009:1271-1278.

[11]GRABNER H,MATAS J,Van GOOL L,et al.Tracking the invisible:Learning where the object might be[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2010:1285-1292.

[12]DINH T B.Exploring supporters and distracters in unconstrained environments[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2011:1177-1184.

[13]WEN Longyin,CAI Zhaowei,LEI Zhen,et al.online spatio-temporal structural context learning for visual tracking[C]//12th European Conference on Computer Vision.2012:716-729.

[14]TORRALBA A.Contextual priming for object detection[J].International Journal of Computer Vision,2003,53(2):169-191.

(责任编辑 杨黎丽)

Real-Time Face Tracking Based on Adaboost and STC

WANG Zuocheng1, WU Yanping2, XUE Lixia3

(1.The 38thResearch Institute of China Electronics Technology Group Corporation,Hefei 230088, China; 2.Anhui Sun Create electronic CO., LTD., Hefei 230088, China;3.School of Computer and Information, Hefei University of Technology, Hefei 230009, China)

The spatio-temporal context (STC) tracking method is investigated aiming at the problem of intelligent monitoring in public focus areas. The new method firstly uses Adaboost algorithm for face detection and then tracking the face real-time by STC is proposed because that STC can’t track faces real-time and automatically. First of all, Adaboost algorithm is used for face detection. Then the spatiotemporal relationship between the detected face region and its surrounding contents is established by the Bayesian framework to calculate the confidence map of the detected face region and the maximum position of likelihood function as a tracking result.Experiment results shows that this method is a simple, real-time and robust method, and it is an effective way for real-time face tracking.

intelligent monitoring; Adaboost; STC; face tracking

2017-03-08

中央高校基本科研业务费专项资金资助项目(JZ2014HGBZ0059)

王佐成(1973—)，男，四川巴中人，博士，高级工程师，主要从事视频图像，软件工程研究，E-mail：cswangzc@163.com；吴艳平(1986—)，女，安徽枞阳人，硕士，主要从事视频图像研究；薛丽霞(1976—)，女，四川西昌人，博士，副教授，主要从事视频图像研究。

王佐成,吴艳平，薛丽霞.基于Adaboost和STC的实时人脸跟踪[J].重庆理工大学学报(自然科学)，2017(7):169-175.

format：WANG Zuocheng, WU Yanping, XUE Lixia.Real-Time Face Tracking Based on Adaboost and STC[J].Journal of Chongqing University of Technology(Natural Science)，2017(7):169-175.

10.3969/j.issn.1674-8425(z).2017.07.027

TP391

A

1674-8425(2017)07-0169-07