面向彩色图像的人脸特征点定位算法研究

安高翔

摘要：人脸特征点定位技术为人脸图像处理与分析提供重要几何信息，是计算机视觉、图像分析和模式识别领域经典课题之一。以主动外观模型（AAM）为代表的传统面部特征定位算法易受人脸姿态和表情变化等影响，很难得到理想效果。以传统特征点定位模型为出发点，引入稀疏矩阵表示人脸特征基底，将K-SVD算法更新稀疏矩阵应用于高斯-牛顿形变部件模型（GN-DPM）的基底表示中，对传统形变部件模型进行改进。在此基础上，更新新模型的拟合优化算法，以提高传统形变部件模型的精确度。实验结果表明，采用该方法进行人脸特征点定位比现有的快速主动外观模型（Fast-AAM）具有更低的误差率。

关键词：人脸特征点定位；K-SVD；形变部件模型；稀疏表示

DOI：10.11907/rjdk.173132

中图分类号：TP312

文献标识码：A文章编号：1672-7800（2018）007-0103-05

Abstract：Facialfeaturepointlocalizationtechnologyprovidesimportantgeometricinformationfortheprocessingandanalysisoffacialimages，anditisoneoftheclassictopicsincomputervision，imageanalysisandpatternrecognition.Thetraditionalfacialfeaturelocalizationalgorithm，representedbytheactiveappearancemodel（AAM），iseasilyaffectedbythechangesoffaceposturesandfacialexpressions，anditisdifficulttoobtaintheidealeffects.Inthispaper，thetraditionalfeaturepointlocalizationmodelistakenasthestartingpoint，andsparsematrixisintroducedtorepresentthefeaturebaseoftheface.ThesparsematrixofK-SVDalgorithmisappliedtothebaserepresentationofGaussNewtondeformablecomponentmodel（GN-DPM），andthetraditionaldeformablecomponentmodelisimproved.Onthisbasis，thefittingoptimizationalgorithmofthenewmodelisupdatedtoimprovetheaccuracyofthetraditionaldeformablecomponentmodel.Theexperimentalresultsshowthatthemethodhaslowererrorratethantheexistingfastactiveappearancemodel（Fast-AAM）forfacialfeaturepointlocation.

KeyWords：facialfeaturepointlocation；K-SVD；deformablecomponentmodel；sparserepresentation

0引言

人臉特征点检测技术是计算机视觉、图像分析和模式识别领域经典课题之一，在公共安全、信息安全等领域具有很好的应用前景，同时也是人脸素描、人脸美化等应用方向的基础性技术。传统基于彩色图像的人脸特征点检测方法包括主动形状模型（ActiveShapeModel，ASM）[1]、主动外观模型（ActiveAppearanceModel，AAM）[2]、约束局部模型（ConstrainedLocalModel，CLM）[3]。这3个模型可以统称为形变模型（deformablemodels），形变模型是一种通过力（或能量）驱动轮廓曲线进行形变的方法，利用形变模型实现人脸特征点检测一直受到广泛关注和研究。主动形状模型将对齐后的训练图像的人脸特征点坐标进行线性组合，通过主成分分析算法（PrincipalComponentAnalysis，PCA）学习得到统计形状模型，使用局部纹理特征对测试图像进行搜索确定特征点位置，结合统计形状模型进行约束，逐步迭代更新以期匹配到测试图像的人脸特征点位置。而主动外观模型则在主动形状模型的基础上引进全局纹理模型，对测试图像的纹理变化进行约束。约束局部模型通过在特征点附近搜索确定每个特征点的位置，并结合形状拟合对位置进行校正，约束局部模型与主动形状模型的不同在于局部模型在特征点附近搜索获得的响应曲面会用于总体形状模型优化。传统的人脸特征点检测模型易受人脸姿态和表情变化等影响，尤其在光照条件不同、姿态变化大的环境中，其检测精度大大降低。因此本文采用稀疏表示和字典学习方法，与传统的人脸特征点检测模型结合，提出改进的彩色图像人脸特征点检测方法，以提高复杂环境下人脸特征点检测精度。

1研究现状

人脸特征定位方法依据特征的类型可以分为基于灰度信息的方法[4-5]、基于几何形状的方法、基于小波和小波包的方法等。基于几何形状的方法包含基于主动曲线的方法、基于可变形模板匹配的方法等。基于可变形模板的人脸特征点定位是最常用的方法，近年来，基于可变形模板进行特征点定位的改进模型、优化算法不断被提出，本文把基于可变形模板的方法分离出来，进行系统描述。

Cootes等[1]于1995年提出主动形状模型（ActiveShapeModel，ASM）。它是在参数活动轮廓模型，又称蛇模型（Snake模型）[6]基础上充分利用目标类图像的先验知识和全局形状统计模型来约束局部纹理的匹配，从而既快又好地确定标志点。主动形状模型对训练集中大量所描述的外形实例进行统计，建立反映目标外形变化规律的外形统计模型和反映灰度分布规律的局部灰度模型。在搜索过程中，首先利用训练得到的局部灰度模型进行搜索，之后利用形状模型对搜索到的形状进行近似表达，同时判断其合理性，对不合理的形状进行调整以保证外形在统计意义上的合理性。通过循环迭代，得到理想的匹配结果。但是该模型仅利用了对象的边缘信息，而不考虑形状内部的复杂纹理，容易陷入局部最优解，因此准确性不高，而且内部解释对象的参数众多，复杂且低效。

Cootes等[2]于1998年提出主动外观模型（或主动表现模型ActiveAppearanceModel，AAM），该模型在主动形状模型的基础上，放弃了特征点的局部纹理，使用图像的内部灰度纹理信息驱动形状变量的移动改变，加入全局纹理信息，利用形状和纹理联合统计（表观）模型参数进行优化使得模型与输入达到最佳匹配。其不仅建立了反映外形变化的形状统计模型，同时建立了反映全局纹理变化的模型，以充分利用全局的纹理信息。结合形状模型及纹理模型建立外观模型。外观模型去除了形状和纹理之间的相关性，可以准确地生成外形及纹理变化的目标图像。在主动外观模型搜索过程中，利用训练得到的图像灰度差值与表观参数变化的线性关系，不断变化表观模型参数、二维几何位置和尺度等参数，直至得到理想的匹配效果。主动外观模型是用于人脸特征点定位的典型模型。

近年来，关于主动外观模型的改进模型非常多。主动外观模型拟合方法假定误差图像与模型参数的增量之间满足一种简单的线性关系，该线性关系可以通过回归的方法或其它数值方法计算得到，但实际上这种假设并不准确，Matthews等[7]举出反例，而且利用这种差值线性不断更新模型参数，每次迭代都产生新的纹理，使算法计算速度大大降低。针对这些缺点，Matthews等[8]提出基于Lucas-Kanade算法的主动外观模型反向合成匹配算法，其参数更新方法也在原有简单叠加的基础上使用了新的更新策略，具有更高的计算精度和效率。针对主动外观模型拟合问题，Tzimiropoulos[9]提出Gauss-Newton优化方法进行拟合。在纹理描述方面，Jiao等[10]用Gabor小波代替灰度模型；Zhang[11]在纹理学习中引入基于RealAdaboosr分类器的鉴别学习并且取得了很好的成果；Asthana[12]将模型中的以像素值为基础的纹理信息改为以局部分类器训练出的响应图为基础的纹理信息模型。

2基于稀疏字典学习形变部件模型的人脸特征点定位

本文采用的基于稀疏字典学习的形变部件模型整体框架如图1所示。模型分为训练和拟合两部分。

2.1基于稀疏字典学习的形变部件模型訓练

形变模型是一种由形状和外观构成的用以描述人脸的稳定模型，它的模型参数分别控制形状和外观的变化。高斯-牛顿形变部件模型（GN-DPM）是形变部件模型的一种，与常见形变模型约束局部模型不同的是，它是通过使用高效、稳定的高斯-牛顿优化算法，联合训练基于部件的外观模型和全局形状模型。在高斯-牛顿形变部件模型中，将每个训练图像Ii的u个标记点坐标Ii=[xi，1，yi，1，...，xi，u，yi，u]提取出来，构成一个矩阵，再对矩阵进行普氏对齐分析，搭建全局形状模型。

将每个训练图像Ii扭曲到参考坐标系中，然后在每个标记点周围提取Np=Ns×Ns像素大小的图像块，最后将所有块连接成一个N=uNp的向量，完成外观模型的搭建。

由于人脸图像的形状模型和外观模型具有高度相似和冗余特性，且都分布在高维空间中的低维稀疏子空间中，因此，不同于传统的高斯-牛顿形变部件模型将形状和外观矩阵进行主成份分析分解，本文采用字典学习来分别表示形状模型和外观模型。字典学习可以表示为以下式子：

3实验结果与分析

为了更好地说明基于稀疏字典学习的形变部件模型的人脸特征点定位效果，与现有的人脸特征点定位算法在LFPW和Helen数据集上进行实验对比，通过计算测试结果与真实结果的点对点误差及人脸特征点定位效果图说明算法的可行性与鲁棒性。点对点误差计算公式如式（12）所示：

LFPW数据集的整体特征点定位误差率比较如图2所示，基于稀疏字典学习的形变部件模型的整体特征点定位误差在1%～7%，基于Fast-AAM[13]的整体特征点定位误差在2%～9%，基于GN-DPM[9]的整体特征点定位误差大部分在1%～8%，基于Par-CLR[14]的整体特征点定位误差大部分在1%～5%。但是，GN-DPM和Par-CLR方法仅是检测人脸49个五官特征点，并未检测人脸外部轮廓点，且对于个别图像，GN-DPM方法和Par-CLR方法的特征点误差极大，可能发生完全偏离人脸的情况。因此，本方法在同时检测人脸外部轮廓和内部五官特征点的情况下，仍具有一定优势。

此外，本算法在带有姿态、表情、光照、遮挡等因素变化的人脸图像上也能较好地实现面部特征定位，如图3、图4、图5，说明基于稀疏字典学习的形变部件模型在人脸特征点定位上具有很好的鲁棒性和准确性。

4结语

形变模型用于人脸特征点定位的研究长期以来一直受到广泛关注。本文引入稀疏矩阵表示人脸特征基底，改进传统形变部件模型的基底表示。此外，更新模型的匹配优化算法，以提高传统形变部件模型的精确度。通过在LFPW和Helen数据集上的实验表明，采用该方法进行人脸特征点定位具有很好的鲁棒性和准确性。

参考文献：

[1]COOTESTF，TAYLORCJ.Activeshapemodels[C].ProceedingofBritishMachineVisionConference，1995：266-275.

[2]COOTESTF，EDWARDSGJ，TAYLORCJ.Activeappearancemodels[M].ComputerVision—ECCV′98.Berlin：SpringerBerlinHeidelberg，1998：484-498.

[3]CRISTINACCED，COOTESTF.Featuredetectionandtrackingwithconstrainedlocalmodels[C].BritishMachineVisionConference，2006，41：929-938.

[4]KANADET.Computerrecognitionofhumanfaces[M].Basel：BirkhuserPress，1977.

[5]BRUNELLIR，POGGIOT.Facerecognition：featuresversustemplates[J].IEEETransaction.PatternAnalysisandMachineIntelligence，1993，15（10）：1042-1052.

[6]LEET.Activecontourmodels[D].Corvallis：OregonStateUniversity，2005.

[7]BAKERS，MATTHEWSI.Lucas-kanade20yearson：aunifiyingframework[J].InternationalJournalofComputerVision，2004，56（3）：221-255.

[8]MATTHEWSI，BAKERS.Activeappearancemodelsrevisited[M].Maryland：KluwerAcademicPublishers，2004.

[9]TZIMIROPOULOSG，PANTICM.Gauss-Newtondeformablepartmodelsforfacealignmentin-the-wild[C].IEEEConferenceonComputerVisionandPatternRecognition，2014：1851-1858.

[10]JIAOF，LISZ，SHUMHY，etal.Facealignmentusingstatisticalmodelsandwaveletfeatures[C].ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Minneapolis，2007：1-8.

[11]ZHANGL，AIH.Multi-viewactiveshapemodelwithrobustparameterestimation[C].18thInternationalConferenceonPatternRecognition，2006：469-468.

[12]ASTHANAA，ZAFEIRIOUSS，TZIMIROPOULOSG，etal.Frompixelstoresponsemaps：discriminativeimagefilteringforfacealignmentinthewild[J].IEEETransactionsonPatternAnalysis&MachineIntelligence;，2015，37（6）：1312-1320.

[13]TZIMIROPOULOSG，PANTICM.OptimizationproblemsforfastAAMfittingin-the-Wild[C].IEEEInternationalConferenceonComputerVision，2014：593-600.

[14]ASTHANAA，ZAFEIRIOUSS，CHENGS，etal.Incrementalfacealignmentinthewild[C].IEEEComputerVisionandPatternRecognition，2014：1859-1866.

（責任编辑：江艳）