基于改进主动表观模型算法的人脸特征定位

黄 飞，谭守标

HUANG Fei,TAN Shoubiao

安徽大学 电子信息工程学院，合肥230601

College of Electrical and Information Engineering,Anhui University,Hefei 230601,China

1 引言

人脸特征点定位[1-3]一直就是人脸图像处理中至关重要的部分。主动表观模型（AAM）是人脸特征点提取领域的经典算法之一。AAM 算法最早由F T Cootes等人于1998 年提出[4]，AAM 拟合是一个非线性优化问题，难以快速有效地求解。直到卡纳基梅隆大学的Sion Baker等人提出了反向组合算法[5]，它有效地减小了迭代过程中的计算量，大大提高了AAM 算法的拟合速度。

AAM 算法的拟合效率与模型的初始位置有着密切的关系，初始参数的好坏会直接影响AAM 算法的实际应用。初始位置参数包括坐标平移、缩放、旋转和深度旋转以及内部特征点的形状参数。基于Adaboost 的人脸检测方法自从被提出，就广泛应用于AAM 算法的初始位置确定[6-7]，但是这种方法只能提供大致的位置，初始形状参数的估计并没有达到最优。

本文将局部纹理模型应用到AAM 初始形状参数的优化，充分利用局部纹理模型对单个特征点定位的快速精确性[4]，同时使用全局纹理信息加以约束，并在形状参数最优化的基础上对AAM 匹配模板进行升级。在得到最优化的初始参数和升级的匹配模板后，利用反向组合AAM 算法做最终的特征点定位。

2 初始形状参数的最优化

本文在基于Adaboost算法人脸检测[8-9]的基础上，将特征点局部纹理模型和AAM 全局纹理约束应用到初始形状参数的优化，保证AAM 算法在匹配时有最优的初始形状参数以提高AAM 算法的匹配精度。

2.1 局部纹理模型简介

局部纹理模型是在ASM（Active Shape Models）算法[10-11]中提出来的针对每个特征点建立的一种模型。模型训练时以特征点为中心，在法线方向上取一定范围内的像素点组成该特征点的局部特征向量，那么对于N个样本就由N个这样的局部特征向量。对这些特征向量进行归一化，并计算该特征点的平均特征向量及协方差矩阵。在匹配过程中，采取当前关键点的局部特征向量，利用训练得到的平均特征向量和协方差矩阵计算特征点的最佳位置。局部纹理模型对特征点定位时具有速度快，低噪声情况下精度高的优点，但在噪声较大的情况下，局部纹理模型定位时容易陷入局部极小。

2.2 局部纹理模型收敛和全局纹理模型收敛法则分析

局部纹理模型是针对ASM 算法提出来的，在一次迭代过程中，对于初始形状sinit，对每个特征点做局部纹理模型处理，得到的一个目标形状sinit+ds，目的就是保持初始形状sinit形变程度不过分的情况下尽量接近sinit+ds；先对sinit进行刚体变换，将sinit向sinit+ds对齐，可以计算到平移量dxc，缩放量dz，旋转角度dθ[4]。但是这实际上还是刚体变换，得到的还是初始平均形状。理论上应该对开始的初始形状做一个形状变化：

其中是平均形状，P是特征矩阵，b是形状参数。在新形状的基础上再去做刚性变换。利用公式（1）求得形状参数b：

在计算到形状参数b后确定新的形状并作为下一次迭代的初始形状，整个迭代过程的收敛条件是：

其中i为迭代次数，ξ为设定的阈值。

这种方法一定会收敛，这是由算法的收敛函数决定，但是很明显的缺点是收敛函数过于简单，而且从本质上说收敛只是针对形状参数而言，并且形状参数收敛并不等同于对应的形状也收敛，原因是纹理信息利用得太少，这是ASM 算法的主要缺点。AAM 算法正是为了克服这个缺点提出来的，AAM 算法利用的当前形状中的所有纹理信息，并利用这些信息来更新形状参[5]。AAM 算法的收敛法则是：

局部纹理模型对单个特征点定位比较准确，但可能由于噪声陷入局部极小值，AAM 对于整体形状有很好的定位效果，但对每个特征点定位精度不够。

2.3 局部纹理模型应用于AAM 初始参数优化

由于局部纹理模型只是利用了关键点法线方向上的纹理信息[12]，在搜索过程中易受噪声影响而陷入局部极小问题。对于当前形状s，对每个特征点进行局部纹理模型匹配之后形状变为s+ds，其中ds=(dX1,dX2,…，dXn)。显然，经过局部纹理模型处理后特征点之间的整体形状约束消失了，每个特征点都是独立的，要将局部纹理模型应用到AAM 初始形状参数优化去，首先要解决局部纹理模型可能带来的局部极小问题。通过2.2 节分析可知，局部极小问题的发生主要是由于特征点之间的约束被削弱，错误的特征点在刚性变换的时候强制将整体形状拉偏而导致的，AAM 全局纹理模型能有效地加强特征点之间的形状约束关系，AAM 算法在匹配过程中始终使用全局纹理差来作为参数更新的动力：

其中H是Hessian 矩阵，SDk(x) 是最快下降图，ΔA(x)是全局纹理差。结合局部纹理模型对单个特征点定位的精确性和全局纹理模型对整体形状的约束来抑制局部极小情况的发生。

为了将局部纹理模型和AAM 全局纹理约束有效结合起来，需要将经局部纹理模型处理过的形状投影到AAM 形状模型坐标系中。

设初始形状为平均形状s0，Adaboost 算法确定的相似变换参数为q，则当前形状为：

其中N(…;q) 是整体相似变换，W(…;p) 是形状变化。对每个特征点进行局部纹理模型搜索，得到变形的形状s+ds，将s+ds投影到AAM 形状模型坐标系中，目标函数为：

该过程与ASM 匹配过程相同，是一个反复迭代的过程，求出参数增Δp,Δq，更新参数p←p+Δp,q←q+Δq，此时s+ds已成功投影到AAM 形状模型坐标系中。s+ds在AAM 形状模型坐标系中的近似表达式为：

其中s0是AAM 形状模型的平均形状，si是形状模型的特征向量。

解决了变形后的形状向AAM 形状模型坐标投影的问题，下面说明如何将局部纹理模型应用到AAM 初始形状参数的估计中：

（1）采用Adaboost算法确定初始形状sinit=+Pb，并提取当前纹理A(x)，计算与AAM平均纹理的差ΔAinit(x)。

（2）对sinit用局部纹理模型进行搜索，得到变形形状sinit+ds，将sinit+ds利用公式（6）（7）投影到AAM 形状模型中，确定参数p，q。利用公式（5）计算新的形状，并在新形状下提取纹理差ΔA(x)。若‖ΔA(x) ‖＜‖ ΔAinit(x) ‖则接受此次局部纹理模型更新的参数，否则认为参数已经达到最优并退出。

（3）计算参数增量：

其中H是AAM 模型平局纹理模型的Hessian 矩阵，SDk是相应的最快下降图像。更新参数并计算最新形状s，将sinit←s，ΔAinit(x)←ΔA(x)，重复步骤（2），（3）直至收敛。这里收敛的准则是纹理差ΔA(x)不再减小，在每次迭代过程中通过局部纹理得到一个局部收敛的变形的形状，再通过全局纹理模型将变形后的形状投影到训练的形状模型之下，所以最终的初始形状优化过程是全局收敛的。这个初始参数优化的过程一定是收敛的，在迭代的过程中最坏的情况是平均形状对应的纹理差最小，只要纹理差在减小就一定会收敛于一个形状参数向量，原理类似于AAM 迭代收敛，如果是在迭代过程中陷入了局部极小收敛，就直接采用平均形状作为初始形状。

上述过程将局部纹理模型和AAM 全局纹理约束有效结合到一起，利用局部纹理模型对形状参数做优化，从而在整体上使得初始参数的估计达到最优。

由于本文算法提出了参数优化的过程，会在时间效率上比AAM 算法要低。原始AAM 算法在使用Adaboost算法确定初始形状之后直接利用纹理差来迭代更新参数直到收敛。现在要在Adaboost 确定初始形状之后做一个优化过程，增加的时间体现在局部纹理模型匹配和利用纹理差更新参数的过程。

3 AAM 匹配模板的改进

3.1 AAM 匹配模板改进的原理

AAM 算法的拟合过程采用的是基于反向组合算法的L-K 算法[13-14]，L-K 算法的目标函数为：

其中W(x;p)是仿射变换，T(x)是固定的匹配模板。从式（9）可知，L-K 算法要求待匹配图像和模板之间只有大小、位置和扭曲的差异[13]，而基于反向组合算法的AAM 拟合过程中，假设待匹配图像平均形状下的真实纹理信息为Aface(x)，那么最精确的匹配模板T(x)应该满足（10）、（11）两式：

即最终的纹理参数使得匹配模板和待匹配图像在纹理细节上差异最小。

但是由于纹理模型参数λ在每次迭代过程中都要更新，这就导致模板的梯度，Hessian 矩阵，最快下降图像都需要重新计算，这样会带来巨大的计算量，降低了算法的时间效率。故反向组合AAM 算法采用张量空间投影的方法[15]，将匹配模板固定为平均纹理向量A0(x)，这样就可以在匹配之前，提前计算必要的参数量，从而大大提高了时间效率。

由公式（10）可知，如果在匹配前对纹理参数做一个初始值λ0的估计，使得模板的在纹理细节上与待匹配图像更加接近，那么在匹配过程中会提高最终的特征点匹配精度。分析反向组合AAM 算法的匹配过程可知，纹理信息提取的准确与否与形状的精确定位成正比关系。所以，利用上一章中对初始形状参数最优估计的结果，在待匹配图像上提取纹理信息并投影到AAM 纹理模型坐标下，即更新后的匹配模板为：

因为初始形状的位置要比平均形状好，所以升级后的模板比平均纹理模板在纹理细节上更接近待匹配图像。

3.2 AAM 匹配模板改进的流程

针对上述问题，本文在初始形状参数最优化的基础上对AAM 匹配模板进行升级改进。在2.3 节介绍方法的基础上，确定最优化的初始形状参数p0，q0，利用公式（5）可以确定形状s，从当前形状s中提取纹理信息并仿射到平均形状s0中，得到纹理向量A(x)，将该纹理向量投影到AAM 纹理模型中，计算对应的纹理参数：

根据初始纹理参数计算新的纹理模板：

Hessian 矩阵的计算公式如下：

改进前的模板为平均纹理模板，改进后的模板包含了待匹配图像纹理的细节信息，这样更符合L-K 的算法要求。

4 算法的整体流程

综合前面两章的内容，现将本文改进算法的整体流程描述如下：

（1）采用Adaboost 算法确定AAM 形状模型的初始位置，计算并记录当前形状下的纹理差ΔA(x)。

（2）对当前形状应用局部纹理形状并用AAM 全局纹理进行约束，利用公式（8）、（5）对形状参数进行更新，计算新形状，计算纹理差，迭代此过程直到纹理差ΔA(x)不再减小，如果在迭代过程中始终是平均纹理差最小，那么就以平均形状作为初始形状。

（3）在得到最优化的形状参数p，q，根据公式（15）～（17）来计算新的匹配模板以及相关量。

（4）在优化的形状参数和更新后的纹理模板下，采用反向组合算法AAM 做最后的人脸特征定位。

5 实验结果

实验选用IMM 人脸数据库，该数据库有40 人6 个不同的角度的样本图像，每幅图像标定58 个特征点。本文采用120 幅图像作为训练样本集，其余的图像用于测试。

实验主要对反向组合AAM 算法和本文改进的算法以及现有改进的PAAM[16]算法在特征点定位精度上和时间效率上做出比较。实验采用经过算法定位的特征点坐标和样本手动标定的特征点坐标的差值作为误差标准，误差计算函数为：

其中N是每个样本的特征点数目，(xi，yi)是算法定位的特征点坐标，(xi0，yi0)是手动标定的特征点坐标。为了对三种算法有更直观的比较，进一步计算本文算法相对其余两种算法的整体匹配精度：

其中EAAM代表传统反向AAM算法或是PAAM算法的平均误差，E′AAM代表本文算法的平均误差。实验记录了三种算法对IMM 人脸库中测试图片的特征点定位误差和时间效率，并做出三种算法的时间效率分布和误差值分布（正面、左侧、右侧）的散点图。记录如图1～图4所示。

图1 三种算法的时间效率比较散点图

图2 三种算法的正面人脸误差比较散点图

图3 三种算法的左侧45°误差比较散点图

图4 三种算法的右侧45°误差比较散点图

图1 为三种算法的时间效率比较（单位为秒），图2、3、4 为不同噪声下三种算法的定位误差比较图（单位为像素），对于图1 中的第3 和第16 幅检测图是拟合失败的结果，拟合失败如图5 所示。

图5 本文算法拟合失败的图例

从测试样本中选取8 幅图像的实验数据记录特征定位误差得到表1 以及时间效率比较得到表2。

表1 三种算法特征定位误差比较

表2 三种算法时间效率比较s

从表1 计算三种算法的平均误差依次为，AAM：8.45，PAAM：6.30，本文算法：5.04。

从表2 计算三种算法的平均时间依次为，AAM：11.71，PAAM：11.32，本文算法：14.07。从实验数据可知，改进后的算法在特征点定位精度上要比传统反向组合AAM 算法高出约40%左右，比改进的PAAM 算法高出约20%左右，在时间效率上，改进的算法比反向组合AAM 算法降低约20%。实验还记录了反向组合算法、PAAM 算法和本文算法对四张同一个人不同角度和表情的人脸拟合图（如图6 所示）以及四个不同人的人脸拟合的结果（如图7 所示）。

图6 三种算法人脸拟合结果

图7 不同人的三种算法人脸拟合结果

实验部分的最后为了充分比较本算法和其他的结合ASM 和AAM 的算法，本文选取的最新的算法文献[17]所示。通过分析，该算法是在拟合的前部分时间使用ASM 算，在拟合的后部分使用AAM 算法那，与该算法比较，本文算法的除了有效地融合ASM 和AAM 算法之外还再此基础上对匹配模板进行了升级。比较该文献最终的实验结果[17]，该算法比AAM 算法误差减小4%，本文算法比AAM 算法误差减小20%。

6 结束语

本文在深入分析AAM 算法的基础上，提出了将局部纹理模型应用于AAM 初始参数的最优化。在分析L-K 算法的基础上，提出了对AAM 匹配模板进行升级的改进。本文将二者有效结合起来，从理论和实验结果可以证明，改进后的算法在人脸特征点定位精度上有很大提高。但由于局部纹理模型的加入，使得改进算法在时间效率上比反向AAM 算法低，今后的工作可以考虑如何在保证高时间效率的同时也保证高定位精度；另外，不同角度的多模板AAM 算法也是下一步重点的研究内容。

[1] 陈章乐，蔡茂国，刘凡秀.一种结合肤色及类人脸特征的人脸检测[J].计算机工程与应用，2013，49（3）：194-197.

[2] Wang C Y，Qu M J，Bi H Z，et al.Facial feature detection algorithm based on main characteristics of eyes[J].Applied Mechanics and Materials，2013，303：1402-1405.

[3] Fan B，Yang X，Zhou X，et al.A coarse to fine facial key landmark points locating algorithm based on Active Shape Model[C]//Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology-Volume 03.IEEE Computer Society，2012：39-43.

[4] Edwards G J，Taylor C J，Cootes T F.Interpreting face images using active appearance models[C]//Third IEEE International Conference on Automatic Face and Gesture Recognition.IEEE，1998：300-305.

[5] Iain M，Simon B.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[6] Ma S，Du T.Improved Adaboost Face Detection[C]//2010 International Conference on Measuring Technology and Mechatronics Automation（ICMTMA）.IEEE，2010，2：434-437.

[7] Suo C G，Zhang W B，Sun G.Face gabor feature selection based on Adaboost[J].Advanced Materials Research，2013，694：1906-1909.

[8] Qian X，Yan Tang Y，Yan Z，et al.ISABoost：A weak classifier inner structure adjusting based adaboost algorithm—ISABoost based application in scene categorization[J].Neurocomputing，2012，103：104-113.

[9] 黄兴，王小涛，陆丽华.一种快速高效的人脸检测方法[J].计算机工程与应用，2013，49（3）：198-201.

[10] Cootes T F，Taylor C J，Cooper D H，et al.Active shape models-their training and application[J].Computer Vision and Image Understanding，1995，61（1）：38-59.

[11] Wu J，Mei L.A face recognition algorithm based on ASM and Gabor features of key points[C]//2012 International Conference on Graphic and Image Processing.International Society for Optics and Photonics，2013.

[12] Elshoura S M，Megherbi D B.Secure high capacity fullgray-scale-level multi-image information hiding and secret image authentication scheme via Tchebichef moments [J].Signal Processing：Image Communication，2013，28（5）：531-552.

[13] Baker S，Matthews I.Lucas-kanade 20 years on：A unifying framework[J].International Journal of Computer Vision，2004，56（3）：221-255.

[14] Antink C H，Singh T，Singla P，et al.Advanced Lucas Kanada optical flow for deformable image registration[J].Journal of Critical Care，2012，27（3）.

[15] 张培，吴亚锋.AAM 反向合成匹配算法及其性能分析[J].计算机工程与应用，2007，43（18）：47-50.

[16] Kim D，Kim J，Cho S，et al.Progressive AAM based robust face alignment[C]//Proc of World Academy of Science，Engineering and Technology，2007，21：488-492.

[17] 王智.基于AAM 和ASM 的面部特征点提取研究[J].电子设计工程，2013，21（10）：169-170.