基于自适应人脸切割的三维人脸识别算法

邓　星　达飞鹏　杨乔生

(东南大学自动化学院,南京210096)(东南大学复杂工程系统测量与控制教育部重点实验室,南京210096)

基于自适应人脸切割的三维人脸识别算法

邓星达飞鹏杨乔生

(东南大学自动化学院,南京210096)(东南大学复杂工程系统测量与控制教育部重点实验室,南京210096)

摘要:为克服表情变化对人脸识别的影响,提出了一种基于自适应人脸切割的三维人脸识别算法．首先,采用一种自动预处理技术来去除离群点、填补孔洞和归一化姿态,以提高三维人脸数据的质量;其次,通过简化meshSIFT特征的规范化方向并加入形状直径函数描述符,讨论了方向分配和特征描述符的设计问题,改进了meshSIFT特征;最后,通过运用字典构造、压缩与自适应区域切割稀疏分类,提出了一种基于多任务稀疏表示分类最小残差和的自适应人脸切割算法．FRGC v2.0人脸数据库上的实验分析结果表明,所提算法对三维人脸识别具有较高的识别率．

关键词:三维人脸识别;自动预处理技术;改进的meshSIFT特征;自适应人脸切割;多任务稀疏表示分类

三维人脸形状本质上是一个非刚性自由曲面,表情的变化会导致曲面局部产生非刚性形变,特别是包含嘴部区域的下半张人脸,这将影响基于形状匹配的三维人脸识别算法的性能．因此,研究表情鲁棒的三维人脸识别方法具有重要的理论和实际意义[1]．根据处理表情变化的方式,可将三维人脸识别方法分为以下3类:① 利用人脸中对表情不敏感的刚性区域进行匹配．Lü等[2]去掉嘴巴等非刚性区域,对刚性和非刚性区域采用特征融合,同时使用带权重的稀疏表示分类器进行决策级融合．此类方法的缺点在于,难于找到所有表情变化下都稳定的区域．② 通过对带有不同表情形变的人脸进行学习,建立人脸曲面的统计模型．Al-Osaimi等[3]通过对库集中每个有表情人脸和无表情人脸的形状残差进行学习,建立了表情形变模型,然后利用测试人脸与库集人脸的形状残差向表情形变模型进行投影,去除形状残差中的表情成分,并利用去除表情后的中性人脸的形状残差进行识别．此类方法的不足之处在于,当系统中需要对许多不同表情进行处理时,计算量巨大且变形过程缺乏足够的理论依据．③ 将三维人脸看作一个刚性物体,认为表情变化引起的人脸曲面形变近似于等距变换[4],但人脸表情下等距不变的假设实际并不总是成立的．

针对以上问题,本文提出了一种自适应人脸切割的全自动三维人脸识别方法,以克服表情变化对人脸识别的影响．利用人脸自动预处理技术、改进的meshSIFT特征和基于稀疏表示分类残差和的自适应人脸切割方法,提升表情变化下算法的识别率．

1人脸预处理

本文采用FRGC v2.0人脸数据库[5],该数据库包含466个不同个体组成的具有不同表情的4 007幅三维人脸模型．原始三维人脸模型不仅包含诸多孔洞和离群值,还包括颈部、耳朵和肩膀等干扰部分,这将影响人脸识别．因此,本文采用自动预处理技术,对原始三维人脸进行预处理．

1.1离群点平滑及孔洞填补

1.2鼻尖点检测及人脸切割

首先,根据形状指数特征确定鼻尖点候选区域;然后,由几何特征区域获取更为准确的候选区域,从而获得较精确的鼻尖点．令点p的最大、最小主曲率分别为kmax(p)和kmin(p),其形状指数为

(1)

p=(x,y,z)∈F→

p′=(SF(p)x,SF(p)y,SF(p)z)∈F′

(2)

maxS2nt(p)

(3)

s.t.p∈R2nt

S2nt(p) ⊂S1nt(p)

若pnt=(xnt,ynt,znt)∈F←max(S1nt(p)),则pnt即为定位的鼻尖点．以鼻尖点pnt为球心、r=90 mm为半径作球,球内区域即为切割的人脸区域．

1.3姿态归一化

对切割后的人脸进行主成分分析,得到最大、最小特征值及其相应的特征向量．以鼻尖点pnt为坐标原点,最大、最小特征值对应的特征向量分别为Y轴和Z轴,建立新的右手姿势坐标系．每幅人脸在新坐标系中都有一个正面姿态,每个三维点云都有唯一的坐标(x,y,z)．

2改进的meshSIFT特征

提取有效不变的特征是三维人脸识别的关键．Smeets等[6]把SIFT特征推广到三维人脸网格上,取得了较高的识别率,该特征即为meshSIFT特征,但是其对表情的鲁棒性有待改善．为此,本文提出了改进的meshSIFT特征．

2.1关键点提取

与meshSIFT特征相似,首先构建一个包含平滑处理过的输入网格尺度空间:

Ms=M s=0^Gσs⊗M s>0{

(4)

图1　平滑处理后的三维人脸

(5)

选择在尺度s下的极值点作为局部特征位置．极值点所在的尺度σs即为每个关键点的尺度．图2(a)和(b)分别展示了中性表情和惊讶表情下同一人脸的极值点分布．

图2　不同表情下同一人脸的极值点分布

2.2方向分配

为了获得一个方向不变的描述符,为每个关键点分配一个规范方向．利用关键点所在的表面法线构建局部参考系,使得领域内的点不受面部表情影响．为得到一个尺度不变的描述符,仅考虑每个关键点周围半径为9σs的球形区域内的顶点(见图3)．利用文献[7]方法计算相邻区域内每个顶点的法向量,并采用三角域快速匹配算法计算得到各自关键点的测地距离．如图4所示,将邻域内所有计算得到的法向量投影到包含关键点的网格切平面上．这些被投影的法向量集中在由360个直条组成的加权直方图内．每个直方图的条目由关键点的测地距离的高斯权重组成,其宽度σ与指定尺度σs成比例,即σ=4.5σs．为使规范方向具有更好的鲁棒性,通过3次高斯滤波卷积平滑,获得最终的直方图,其最高峰即被选作规范方向．

图3　极值点邻域

图4　方向分配

原始meshSIFT特征中,选取直方图最高峰及达到最高峰80%以上的值对应的方向作为规范方向,导致一个关键点可能对应多个规范方向,需当作多个关键点进行处理,由此产生了多个特征描述符．实际上大多数关键点都有多个规范方向,这样不仅增加了描述符的计算量,还会影响算法的识别性能．为此,本文简化了规范方向,仅选取直方图最高峰所在方向为规范方向,一个关键点只对应一个规范方向,减少了特征描述符,提高了计算效率．

2.3特征描述符

图5给出了不同拓扑和几何变化下点的SDF值．图中,红色部分表示具有较大的SDF值．图5(a)～(c)展示了中性、大笑和惊讶3种不同表情下人脸1的SDF值分布．图5(d)展示了中性表情下人脸2的SDF值分布．由图可知,三维人脸模型的SDF特征在不同表情下仍然具有良好的表征性．把每个直方图标准化后串成一个直方图特征向量fk={Psw,1,Paw,1,Pdw,1,…,Psw,9,Paw,9,Pdw,9}T,w=1,2,…,W,其中Psw,t,Paw,t和Pdw,t(t=1,2,…,9)分别表示第w个特征点在区域t中的形状指数直方图、倾斜角度直方图和SDF直方图．对每个关键点计算一个特征描述符,再把W个特征点的描述符级联成一个特征向量f={f1,f2,…,fW}．

图5　不同拓扑下三维人脸模型的SDF值分布

3基于自适应人脸切割的稀疏分类

Liao等[9]提出了多个关键点描述符的稀疏表示分类,Zhang等[8]将其应用于三维人脸识别中,认为稀疏表示最小残差和对应的结果即为测试对象的识别结果．然而通过本文实验发现,有些大表情待测人脸的最小残差和对应的测试结果并不属于正确结果．故本文对最小残差和进行了后续处理,在Zhang等[8]提出的3DMKDSRC算法的基础上,添加了自适应切割人脸区域的步骤,使得带有大表情的人脸识别率有所提高．

3.1字典构造

由改进的meshSIFT特征计算得到库里每个三维人脸样本的局部描述符,串联这些描述符构成库字典．假设库中有C个对象,其中每个对象包含唯一的三维人脸模型,每个对象c包含Q个关键点(即派生描述符)．对于每个对象c构建字典Dc,即

Dc={Sc,1,Sc,2,…,Sc,Q}∈Rm×Q

(6)

式中,m为描述符的维度;Sc,Q为对象c在第Q个关键点的特征．

将式(6)中的Dc(c=1,2,…,C)级联为D,则

D={D1,D2,…,DC}∈Rm×K

(7)

式中,K为库里描述符的总数．待测人脸中的所有关键点描述符都可以表示为字典D中各项的稀疏线性组合．

3.2多任务稀疏表示

给定一个含有n个3D关键点描述符的待测人脸Y,即

Y={y1,y2,…,yn}

(8)

多任务稀疏表示问题等同于如下的优化问题:

s.t.Y=DX

(9)

式中,X={x1,x2,…,xn}为稀疏稀疏矩阵;‖·‖1表示向量的l1-范数．式(9)是一个多任务问题,相当于要处理n个l1-最小化问题,对于每个待测人脸的描述符yi有

s.t.yi=Dxi

i=1,2,…,n

(10)

利用Homotopy算法求解式(10)．通常情况下,如果待测人脸包含在库里,其局部描述符的系数向量分布相对稀疏．本文采用3DMKDSRC算法来确定输入的待测人脸的身份,即

(11)

式中，δc(·)为一个只选择与c类对应的系数的函数．

3.3字典压缩与稀疏准则

(12)

3.4自适应区域切割的稀疏分类

通过测试发现,绝大多数中性表情人脸的最小残差和都在4以内,而大表情的最小残差和都大于4,故认为最小残差和大于4时所对应的人脸为带有大表情的人脸．而大表情一般表现为大笑、惊讶等,其共同特点为嘴部周围区域发生较大形变．若通过3DMKDSRC算法测得待测人脸的最小残差和大于4,则对该待测人脸进行切割,去除嘴部周围区域的关键点特征描述符．切割完成后,利用3DMKDSRC算法重新识别切割后的待测人脸．由此便可有效去除部分影响识别的特征描述符,提高了带有大表情人脸的识别率．图6给出了人脸微笑表情和惊讶表情的自适应区域切割前后极值点分布．

4实验结果与分析

为了测试本文算法的性能,在FRGCv2.0人脸数据库上进行了2种身份识别实验:① 实验1.将466个不同个体的中性人脸组成库集,剩下的所有人脸构成测试集.② 实验2.库集同实验1,测试集采用Berretti等[10]从FRGCv2.0人脸数据库中手动选择的816个嘴巴张开的大表情三维人脸．采用以下3种方法进行实验:① 基于meshSIFT[6]特征和自适应切割的多个关键点描述子的稀疏分类[8]方法;② 基于简化规范方向后的meshSIFT特征和自适应切割的多个关键点描述子的稀疏分类方法;③ 基于增加了SDF特征并简化规范方向后的meshSIFT特征和自适应切割的多个关键点描述子的稀疏分类方法．相应的实验结果见表1．

图6　自适应区域切割前后人脸的极值点分布

表1　不同方法在2组实验中的识别率　%

由表1可知,方法2的识别率略低于方法1．但是,方法2简化了规范方向,使得描述符更加简洁,故其所需的识别时间仅为方法1的1/2．SDF是一个有效的特征,在实验1和实验2中,方法3的识别率都高于方法1和方法2．这3种方法在实验1中的识别率相比于实验2分别降低了2.1%,2.2%和1.9%．文献[10]方法和文献[11]方法在实验2中的识别率分别比实验1低2.4%和4.0%．而本文方法(方法3)在实验1和实验2中的识别率都高于文献[10]方法和文献[11]方法,特别是在实验2中,其识别率较文献[10] 方法高3.6%,较文献[11]方法高1.8%．由此表明,本文所提出的基于自适应区域切割的多任务稀疏分类方法具有较好的鲁棒性和较高的识别精度．

5结语

本文提出了一种基于自适应人脸切割的三维人脸识别算法．首先,采用一种自动预处理技术来提高三维人脸数据的质量;其次,简化了meshSIFT的规范化方向,同时加入了形状直径函数描述符,提出了改进的meshSIFT特征;最后,提出了基于多任务稀疏表示分类最小残差和的自适应人脸切割算法．实验结果表明,所提算法对三维人脸识别具有较高的识别率．

参考文献 (References)

[1]PatilH,KothariA,BhurchandiK. 3-Dfacerecognition:Features,databases,algorithmsandchallenges[J]. Artificial Intelligence Review, 2015, 44(3): 393-441.

[2]LüSW,DaFP,DengX.A3Dfacerecognitionmethodusingregion-basedextendedlocalbinarypattern[C]//IEEE International Conference on Image Processing.Quebec,Canada, 2015: 3635-3639.

[3]Al-OsaimiF,BennamounM,MianA.Anexpressiondeformationapproachtonon-rigid3Dfacerecognition[J]. International Journal of Computer Vision, 2009, 81(3): 302-316.DOI:10.1007/s11263-008-0174-0.

[4]BronsteinAM,BronsteinMM,KimmelR.Three-dimensionalfacerecognition[J]. International Journal of Computer Vision, 2005, 64(1): 5-30.DOI:10.1007/s11263-005-1085-y.

[5]PhillipsPJ,FlynnPJ,ScruggsT,etal.Overviewofthefacerecognitiongrandchallenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.SanDiego,CA,USA, 2005: 947-954.

[6]SmeetsD,KeustermansJ,VandermeulenD,etal.meshSIFT:Localsurfacefeaturesfor3Dfacerecognitionunderexpressionvariationsandpartialdata[J]. Computer Vision and Image Understanding, 2013, 117(2): 158-169.DOI:10.1016/j.cviu.2012.10.002.

[7]ShapiraL,ShamirA,Cohen-OrD.Consistentmeshpartitioningandskeletonisationusingtheshapediameterfunction[J]. The Visual Computer, 2008, 24(4): 249-259.DOI:10.1007/s00371-007-0197-5.

[8]ZhangL,DingZ,LiH,etal. 3Dfacerecognitionbasedonmultiplekeypointdescriptorsandsparserepresentation[J]. PLoS One, 2014, 9(6):e100120.DOI:10.1371/journal.pone.0100120.

[9]LiaoS,JainAK,LiSZ.Partialfacerecognition:Alignment-freeapproach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(5): 1193-1205.DOI:10.1109/TPAMI.2012.191.

[10]BerrettiS,BimboAD,PalaP. 3Dfacerecognitionusingisogeodesicstripes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2162-2177.DOI:10.1109/TPAMI.2010.43.

[11]LeiY,BennamounM,El-SallamAA.Astructuredtemplatebased3Dfacerecognitionapproach[C]//Proceedings of the 27th Conference on Image and Vision Computing.Dunedin,NewZealand：ACM, 2012:61-66.

3D face recognition algorithm based on adaptive face cutting

Deng XingDa FeipengYang Qiaosheng

(School of Automation, Southeast University, Nanjing 210096, China)(Key Laboratory of Measurement and Control of Complex Systems of Engineering of Ministry of Education, Southeast University, Nanjing 210096, China)

Abstract:In order to overcome the effects of expression variation on face recognition, a three-dimensional (3D) face recognition algorithm based on adaptive face cutting is proposed. First, an automatic preprocessing technique is used to remove the outliers, fill the holes and normalize the pose to improve the quality of 3D facial data. Secondly, by simplifying the canonical orientation of the mesh scale invariant feature transform (meshSIFT) as well as jointing the shape diameter function (SDF) descriptor, the direction assignment and the feature descriptor are discussed and the meshSIFT is improved. Finally, by using the dictionary calculation, compression and adaptive region cutting sparse classification, an adaptive face cutting algorithm based on the minimum residual sum associated to the multitask sparse representation classification is proposed. The experimental results on the FRGC v2.0 face database indicate that the proposed algorithm has a high recognition rate for 3D face recognition.

Key words:three-dimensional face recognition; automatic preprocessing technology; improved mesh scale invariant feature transform(meshSIFT); adaptive face cutting; multi-task sparse representation classification

doi:10.3969/j.issn.1001-0505.2016.02.006

收稿日期:2015-08-05.

作者简介:邓星(1987—), 女, 博士生; 达飞鹏(联系人), 男, 博士, 教授, 博士生导师, dafp@seu.edu.cn.

基金项目:国家自然科学基金资助项目(51175081, 51475092, 61405034)、教育部博士点基金资助项目(20130092110027).

中图分类号:TP391

文献标志码:A

文章编号:1001-0505(2016)02-0260-05

引用本文: 邓星,达飞鹏,杨乔生.基于自适应人脸切割的三维人脸识别算法[J].东南大学学报(自然科学版),2016,46(2):260-264. DOI:10.3969/j.issn.1001-0505.2016.02.006.