基于智能视觉的动态人脸跟踪

郝俊寿，丁艳会

（1.内蒙古电子信息职业技术学院 教务处，内蒙古 呼和浩特010070；2.内蒙古电子信息职业技术学院 数字媒体与艺术系，内蒙古 呼和浩特010070）

基于智能视觉的动态人脸跟踪

郝俊寿1，丁艳会2

（1.内蒙古电子信息职业技术学院 教务处，内蒙古 呼和浩特010070；2.内蒙古电子信息职业技术学院 数字媒体与艺术系，内蒙古 呼和浩特010070）

传统方法中对动态人脸识别采用的是单演局部主方向编码识别，通过分块子模式的加权融合进行人脸特征提取，因为人脸表情和姿态变化会导致识别结果出现误差。在智能视觉模式下，提出一种基于信息熵子模式主成分分析的动态人脸跟踪识别方法。基于特征状态空间重构方法，将人脸图像分成大小相等的子模块，对子模块进行信息熵特征提取，采用主成分分析方法进行人脸特征分类。仿真结果表明，采用该算法进行动态人脸跟踪识别，能有效实现人脸表情动态跟踪，人脸识别性能较好、精度较高，性能优于传统算法。

人脸识别；智能视觉；主成分分析；信息熵

0 引言

随着计算机智能视觉及图像处理技术的发展，基于智能视觉的图像处理技术广泛应用于模式识别、故障诊断和目标检测等领域。人脸识别作为图像处理技术的一个重要分支，融合了数字图像处理、模式识别、认知科学、人工智能等相关知识，通过人脸识别实现动态人脸跟踪，在生物特征鉴别、视频检测以及公安、民政、银行以及保险公司的办公处理等领域都具有极其重要的应用价值。把动态人脸跟踪识别技术同纹识别、虹膜检测技术有机结合起来，将在国家和公共安全保卫、刑事侦查和身份认定等领域发挥着不可替代的作用。因此，研究基于智能视觉的动态人脸跟踪识别技术具有重要意义，相关算法研究受到了专家的重视[1]。

人脸是人类最主要的形象特征，在表征人体的身份和个体信息中发挥着重要的价值和作用，人脸识别和动态跟踪算法的基础在于对人脸图像的动态分割和特征提取，获得图像目标的独特性和显著性特征，实现人脸的自动识别。传统方法中，基于智能视觉的动态人脸识别和跟踪算法主要有基于Gabor，LBP特征提取的人脸识别算法，基于小波分析的人脸识别动态跟踪算法与LBP编码的人脸分块识别算法等[2]，其中，文献[3]提出一种基于人脸图像为单样本特征分解和矢量空间重构

的人脸识别动态跟踪算法，提取人脸的姿态动作特性，利用特征值作为各个主分量加权实现人脸动态跟踪，该算法存在计算量大、特征维数较高的问题；文献[4]提出一种基于积分投影和PCA组合的人脸识别算法，采用全局特征提取构建虚拟人脸样本状态空间，提高了识别精度，但该算法对光照变化下的人脸动态跟踪效果不好。近年来，基于面部表情的人脸识别算法得到了广泛应用，其中文献[5]采用面部表情边缘Fisher分析的人脸动态跟踪算法，当每个人只有一张训练样本时，对特征向量的估计精度不高。文献[6]中采用半监督学习算法进行动态人脸识别，采用单演局部主方向编码识别方法，通过分块子模式的加权融合进行人脸特征提取，因为人脸表情和姿态变化会导致识别结果出现误差[7⁃10]。针对上述问题，本文提出一种基于信息熵子模式主成分分析的动态人脸跟踪识别方法。基于特征状态空间重构方法，将人脸图像分成大小相等的子模块，对子模块进行信息熵特征提取，采用主成分分析方法进行人脸特征分类，计算两个特征空间流形之间的距离，提高跟踪精度。仿真实验进行了性能验证，表明了本文算法在提高人脸识别精度和实现智能视觉动态人脸跟踪方面的优越性能。

1 人脸特征状态空间及子模块构建

1.1 基于智能视觉的动态人脸识别的特征状态空间重构

对动态的人脸样本进行跟踪，首先是进行人脸特征提取和识别，本文采用信息熵子模式主成分分析人脸动态跟踪方法，整体流程图如图1所示。

图1 信息熵子模式主成分分析人脸动态跟踪整体流程图

基于信息熵子模式主成分分析的人脸动态跟踪分三个步骤：

（1）获取动态人脸样本图像信息，本文的动态人脸样本图像来自于人脸数据库；

（2）进行人脸图像样本离散化处理和归一化幅值分析，提取信息熵特征，进行均匀子模式分块；

（3）对归一化处理的数据进行统计分析，建立信息熵子模式统计模型。

合成图像的纹理逐步逼近目标图像，实现对人脸特征的形状建模。在此利用形状及纹理信息分别建立统计形状和统计纹理模型，首先选择一组合适的训练集，将人脸图像分割成若干模块，用手动标记训练方法将人脸图像数据库中的K张动态人脸图像进行分类，每张人脸图像分割成大小相等的L=pq块，分割过程如图2所示。

图2 人脸图像子模块分割

假设X={x1,x2,…,xN}为单样本人脸样本集，其中xi为第i个人脸图像像素大小为m×n的人脸图像，1≤i≤N，N为训练样本中的人数。在邻居像素集中，将每张人脸图像xi分成t块均匀大小为a×b的子模块，。每个子模块的维度是MN/L，待识别的动态人脸图像表示为：

其中j=1,2,…,L。定义第j个子模块的散度矩阵Sj为：

式中：ϕj=[ϕj1,ϕj2,…,ϕjM′]；λj是尺度平移平面矩阵上的前M′个特征值。由此实现了基于智能视觉的动态人脸识别的特征状态空间重构，为进行人脸识别提供特征基础。

1.2 人脸子模块的三角剖分及轮廓特征提取

在上述实现基于智能视觉的动态人脸识别的特征状态空间重构的基础上，进行人脸特征提取，实现基于智能视觉的动态人脸跟踪，假设第i张人脸样本的动态调频矢量为：

在有光照、表情的变化时，将人脸图像的遮挡区域进行线性统计分析，人脸图像第j个分块的基准形状网格向量为：

对每个表观样本通过己经标记好的形状测试人脸样本的三角剖分特征值为：

最后，通过统一框架下的纹理映射，用最近邻方法对归一化后的纹理进行PCA，即：

其中：A0(x)为训练集中的图像纹理集合；I(W(x;p))为三角剖的人脸图像纹理特征，由此实现人脸子模块的三角剖分及轮廓特征提取，以数据库中的Delaunay图像为例，得到三角剖分及轮廓特征提取示意图如图3所示。

图3 人脸图像的三角剖分及轮廓特征提取示意图

2 信息熵子模式主成分分析的提出及算法改进实现

2.1 信息熵子模式主成分分析

在上述进行了人脸子模块的三角剖分及轮廓特征提取的基础上，采用单演局部主方向编码识别方法进行人脸动态跟踪识别，通过分块子模式的加权融合进行人脸特征提取。因为人脸表情和姿态变化会导致识别结果出现误差，为了克服传统方法的弊端，本文在智能视觉模式下，提出一种基于信息熵子模式主成分分析的动态人脸跟踪识别方法。给出信息熵子模式主成分分析算法的设计，描述如下：利用Shannon熵作为信息熵，对于一个人脸图像随机特征变量序列[x1,x2,…,xn]，子模块能够反映人脸面部特征信息，实现准确识别的概率为[p(x1),p(x2),…,p(xn)]；对于人脸图像，图像的信息熵表示了该图像的信息量，因此人脸面部特征的随机变量序列的信息熵为：

对于一个M×N大小的二维人脸图像I，将图像划分为互不重叠的特征窗，得到图像的信息熵主成分集为S，pi表示第i个主成分集出现的特征概率，每一个密集的特征窗的信息熵可以定义为：

对于上述信息熵特征提取结果，通过检测灰度图区域间边缘梯度，得到相邻像素间灰度级差异为：

式中：rect(t)=1,|t|≤1/2表示特征采样间隔；K为训练集中第i个人的灰度值；j为序列长度；T为人脸目标的尺寸大小。代入t0的定义式，得：

式中：f0表示人脸特征分类的中心频率；bm为尺度平移；a为像素点幅值。

对人脸图像的信息熵进行主成分特征提取，主成分特征分为外部特征区域和内部特征区域，得到人脸图像信息熵的主成分分析边缘聚类函数为：

2.2 基于智能视觉的动态人脸跟踪算法实现

根据人脸图像的信息熵子模式主成分分析结果，将人脸图像分成大小相等的子模块，对子模块进行信息熵特征提取，采用主成分分析方法进行人脸特征分类，实现人脸识别，算法的实现过程描述为：人脸图像的像素大小为M×N，通过图像属性特征分解方法计算各个子模块的信息熵特征点，每幅图像标记v个特征点构成形状S，得：

利用目标人脸图像的边缘模糊变化特性，对人脸图像的信息熵特征进行一阶泰勒展开得到：

其中：A0(W(x;0))是目标对象与其他背景图像的差分信息；A0为初始像素幅值；Δp为局部均值；I(W(x;p))为空间频率。

对人脸跟踪识别的过程可以转换为对上式求解极值，这是一个最小二乘问题，采用求导的方式获得在最小极值下变量的取值，得到变量Δp的表达式为：

其中H为Hessian矩阵：

通过上述方法实现了人脸识别，本文方法对人脸图像进行子模块分割，可以着重突出人脸图像中比较具有特征性的部位，例如人的眼睛、鼻子、嘴等，通过计算两个特征点空间流形之间的距离，可以提高跟踪精度。

3 仿真实验与结果分析

为了验证本文算法在实现动态人脸跟踪中的性能，进行仿真实验。仿真实验的硬件环境为：Windows XP，32位双处理器，内存2.60 GHz，2 GB缓存。仿真软件为：Matlab 7。实验采用EURECOM Kinect人脸数据集和Texas 3DFR数据集作为动态人脸跟踪识别的训练集和测试集，EURECOM Kinect人脸数据集包含35个人，他们的人脸姿态和面部表情各异，分别包括自然、微笑、遮眼、遮嘴、张嘴等面部特征，实验中，信息熵子模式主成分分析参数设置为：λmin=4,u=0.64,σ=2.0。根据上述仿真环境的设定，进行基于智能视觉的动态人脸跟踪识别，采用本文算法利用信息熵子模式主成分分析建模，得到动态人脸跟踪结果如图4所示。

图4 EURECOM Kinect人脸数据集表情动态跟踪

从图4可见，采用本文算法能有效实现人脸表情动态跟踪，人脸识别性能较好，在不同分块方式、区域大小下分析人脸识别率，得到的结果如图5所示，从图5可见，采用本文方法将人脸图像分成大小相等的子模块，对子模块进行信息熵特征提取，在3×3，5×5，7×7分块方式下具有较高的识别率，展示了优越的性能。

为了对比算法性能，通过定量分析，得到不同方法对不同人脸图像识别的相似性对比，见表1。分析表1中的结果可见，采用本文算法，不同人脸图像识别准确度较高，能准确实现对动态人脸的跟踪识别。

图5 不同子模块划分下的人脸识别率对比

表1 不同方法对不同人脸图像识别相似性对比

4 结语

人脸识别作为图像处理技术的一个重要分支，融合了数字图像处理、模式识别、认知科学、人工智能等相关知识，通过人脸识别实现动态人脸跟踪在身份认定等领域发挥着不可替代的作用。

本文提出一种基于信息熵子模式主成分分析的动态人脸跟踪识别方法。基于特征状态空间重构方法，将人脸图像分成大小相等的子模块，对子模块进行信息熵特征提取，采用主成分分析方法进行人脸特征分类。仿真结果表明，采用本文算法进行动态人脸跟踪识别，能有效实现人脸表情动态跟踪，人脸识别性能较好，精度较高。

[1]杜辉.基于小波变换的彩色图像中快速人脸检测算法[J].科技通报，2012，28（12）：89⁃90.

[2]张建明，房芳，陈立，等.基于优选LBP与加权SVM的年龄估计[J].计算机应用研究，2010，27（1）：389⁃392.

[3]赵海英，杨一帆，徐正光.基于多角度LBP特征的三维人脸性别分类[J].自动化学报，2012，38（9）：1544⁃1549.

[4]王晓云，苑玮琦，郭金玉.低分辨率人耳图像识别算法研究[J].计算机应用研究，2010，27（11）：4329⁃4334.

[5]叶长明，蒋建国，詹曙.不同姿态人脸深度图识别的研究[J].电子测量与仪器学报，2011，25（10）：870⁃878.

[6]杨扬，曹其新，朱笑笑，等.面向机器人手眼协调抓取的三维建模算法[J].机器人，2013，35（2）：151⁃155.

[7]刘伟锋，李树娟，王延江.人脸表情的LBP特征分析[J].计算机工程与应用，2011，47（2）：149⁃152.

[8]谢佩，吴小俊.基于Shearlet变换和均匀局部二值模式特征的协作表示人脸识别算法[J].计算机应用，2015，35（7）：2056⁃2061.

[9]LIAN H C，LU B L.Multi⁃view gender classification using lo⁃cal binary patterns and support vector machines[M]//Advances in Neural Networks⁃ISNN.Berlin：Springer Berlin Heidelberg，2006：202⁃209.

[10]SANDBACH G，ZAFEIRIOU S，PANTIC M.Local normal bina⁃ry patterns for 3D facial action unit detection[C]//Proceedings of 2012 the 19th IEEE International Conference on Image Processing.Orlando：IEEE，2012：1813⁃1816.

[11]周全，魏昕，陈建新，等.一种基于稠密SIFT特征对齐的稀疏表达人脸识别算法[J].电子与信息学报，2015，37（8）：1913⁃1919.

Dynamic face tracking based on intelligent vision

HAO Junshou1，DING Yanhui2
（1.Office of Teaching Affairs，Inner Mongolia Electronic Information Vocational Technical College，Hohhot 010070，China；2.Department of Digital Media and Art，Inner Mongolia Electronic Information Vocational Technical College，Hohhot 010070，China）

The face recognition and dynamic monitoring are realized by dynamic face tracking.The coding recognition method of monogenic local principal direction is adopted to recognize the dynamic face in traditional method.Because the facial expres⁃sion and pose variation can cause error existed in recognition result in the process of facial feature extraction by means of weight fusion to the block sub⁃mode.a recognition method of dynamic face tracking based on principal component analysis of comentro⁃py sub⁃mode is proposed in the mode of intelligent vision.Based on the method of feature state space reconstruction，the face image is divided into sub⁃modules with equal size，and then the comentropy feature is extracted from sub⁃modules，finally the principal component analysis method is used to classify the face features.The simulation results show that using this algorithm to track and recognize the dynamic face can effectively realize dynamic tracking of facial expression，and this algorithm has exel⁃lent face recognition performance and high precision.The performance of the algorithm is better than that of traditional algorithm.

face recognition；intelligent vision；principal component analysis；comentropy

TN911⁃34；TP391

A

1004⁃373X（2015）24⁃0012⁃04

10.16652/j.issn.1004⁃373x.2015.24.004

郝俊寿（1974—），男，山西宁武人，讲师，工学硕士。主要研究方向为计算机应用技术。

丁艳会（1976—），女，黑龙江哈尔滨人，讲师，工学硕士。主要研究方向为计算机应用技术。

2015⁃06⁃25

自治区教育厅课题（NJSC14338）