基于稀疏表示与特征融合的人脸识别方法

木立生 吕迎春

摘 要： 针对人脸识别在有遮挡、表情、光照的变化或受到噪声污染时鲁棒性变差问题，提出一种基于稀疏表示与特征融合的人脸识别算法。首先采用低秩恢复算法得到训练样本和测试样本的干净人脸图像，提取干净人脸图像的LBP，HOG，Gabor三种特征向量;然后对部分训练样本进行SRC分类测试，根据SRC的识别结果与分类残差定义一个损失函数，再利用正则化最小二乘法计算出使损失函数最小的权重向量;最后根据该权重向量重构规则化残差进行分类。在ORL，Extended Yale B和AR数据库上进行实验，结果表明，该算法优于利用单一特征识别的方法，并且对光照、噪声、遮挡等因素产生的影响有较好的泛化性能。

关键词： 人脸识别; 稀疏表示; 低秩恢复; 特征融合; 鲁棒性; 泛化性能

中图分类号： TN911.73?34; TP391.41 文献标识码： A 文章编号： 1004?373X（2018）09?0083?04

Abstract： Since the robustness of face recognition becomes worse due to the changes of sheltering， expression and illumination， or noise pollution， a face recognition algorithm based on sparse representation and feature fusion is proposed. The low?rank recovery algorithm is used to get the clean face images of training samples and test samples， and their feature vectors （LBP， HOG， Gabor） are extracted. The SRC classification test was performed for some training samples. A loss function is defined according to the recognition result and classification residual of the SRC. The regularization least?square method is used to calculate the weight vector with minimum loss function， according to which the regularization residual is reconstructed for classification. The experiment of the method was performed on ORL， Extended Yale B and AR databases. The results show that the algorithm is superior to the single feature recognition method， and has better generalization performance on the influence of illumination， noise and sheltering.

Keywords： face recognition; sparse representation; low?rank recovery; feature fusion; robustness; generalization performance

0 引 言

随着压缩感知编码理论的提出，基于稀疏编码[1]模型（SRC）的人脸识别技术引起国内外众多研究者的广泛关注[2?5]。在SRC中，测试图像被编码为训练样本的稀疏线性组合，再通过求解[l1]范数最优化问题得出其最稀疏解，该方法在实际应用中取得了良好的效果。但是SRC中误差矩阵为单位阵，对样本中误差和噪声的描述并不准确。文献[6]提出一种低秩矩阵恢复算法（LR），该方法将样本图像分解为低秩部分和稀疏误差部分，该算法得到的误差图像对样本中的误差和噪声可以准确描述。文献[7]改进了LR算法，提出一种新的低秩恢复算法（LRR），该算法在LR算法的基礎上还可以解决样本来自不同子空间的问题。

但是当人脸面部图像受到表情、姿态、光照及噪声污染等多种因素影响时，仅采用单一特征进行人脸识别，误识率较高，因此很多学者开始将多种特征融合用于人脸识别。文献[8]首先通过小波变换与改进的模块二维主成分分析（M2DPCA）方法抽取特征，再进行加权最大散度差鉴别分析（WMSD）得到最终的特征向量，该方法避免了矩阵的奇异值分解。文献[9]提出使用特征值加权余弦（EWC）距离方法融合NSCTLBP和Gabor特征的人脸识别方法，提高了识别准确率。文献[10]提出使用多核学习方法将局部和全局特征进行融合，所提方法能够更好地解决小样本问题。

为了进一步提高人脸识别在复杂环境下的识别准确率，本文引入低秩恢复算法来分离样本误差矩阵，并提出一种基于稀疏表示的多特征融合方法。在不同的人脸库上进行广泛实验来评估所提方法的性能，结果表明，本文方法优于仅利用单一特征识别的方法，并且对光照、噪声、遮挡等是鲁棒的。

1 理论与算法

1.1 稀疏表示分类

稀疏表示分类（SRC）算法包括字典构造、稀疏表示、[l1]范数优化和最小残差计算四大部分。其核心思想是：将测试样本表示为全部训练样本的线性组合，寻求对测试样本最稀疏的表示。

2 多特征融合算法

基于稀疏表示与特征融合的人脸识别方法主要包含低秩恢复、特征提取、局部SRC分类、权重向量计算和最终残差计算五大部分，整体算法流程图见图1。

2.1 局部分类识别

训练阶段，首先采用低秩恢复算法对训练样本集和测试样本集求得干净的人脸图像集[D]和干净的测试图像集[y;]然后，提取干净训练样本图像集[D]的LBP，HOG，Gabor三种特征，因各特征向量维数过高，导致计算量过大，因此使用主成分分析法（PCA）对各特征进行降维处理得到不同维数的特征向量;再对降维后的各单一类型特征向量進行SRC分类识别，得出各个不同特征对应的局部分类结果和分类残差，根据所有局部分类结果和分类残差计算权重向量[W。]

2.2 权重向量计算

2.3 最终分类识别

识别阶段，首先采用低秩恢复算法对测试样本集求得干净的测试图像集[y;]然后提取干净图像集[y]的三种不同类型特征，同样进行PCA降维处理得到不同维数的特征向量。假设共有[T]个识别类别和[v]个局部分类器。对于每个测试样本，在每个局部分类器下都可以获取[T]个残差，记为

具体的算法步骤如下：

1） 输入：训练样本矩阵[A]，测试样本矩阵[B];

2） 采用低秩恢复算法对训练样本集求得干净的人脸图像集[D，]同样对测试样本图像求得对应的低秩图像向量[y;]

3） 训练阶段，对干净人脸图像集[D]分别进行LBP，HOG，Gabor特征变换，并降维得到三种特征向量矩阵;

4） 从训练样本中随机选取[t]个样本做SRC局部分类测试，构造损失函数[L（S）];

5） 利用正则化最小二乘法求出能使损失函数[L（S）]降到最小的特征权重向量[W;]

6） 识别阶段，对干净测试样本向量[y]分别进行LBP，HOG，Gabor特征变换，并降维得到三种特征向量矩阵;

7） 结合权重向量[W]重构规则化残差[Ri];

8） 输出：[i=argminiRi]。

3 实验与分析

为了评估本文提出的多特征融合算法的性能，本文在多个人脸数据库上进行了实验，共分为4个部分：光照、表情变化实验，在AR和Extended Yale B人脸库上进行;姿态偏转实验，在ORL人脸库上进行;伪装实验，在AR人脸库上进行;噪声变化实验，在Extended Yale B人脸库上进行。通过与单特征+SRC识别算法进行比较，验证了本文算法的性能。

3.1 光照、表情变化实验

1） AR人脸库实验

AR人脸数据库包含1 400张含不同光照、表情变化的面部图像，共100类，每类14张。选取每类样本的前7幅图像共700张作为训练样本，其余的作为测试样本。由于提取的特征向量维度较大，对其进行PCA降维后再进行SRC识别，分别对四种算法在不同特征维数下的识别率进行比较，结果见表1。

2） Extended Yale B人脸库实验

Extended Yale B人脸数据库包含多表情、多光照的2 414幅人脸图像，包含38类，每类64幅。根据光照方向与强度的不同，将Yale B人脸图像库分为5个集合，集合1为每类人脸7幅正面光照下的图像，共266张。集合2和集合3分别包括每类人脸12幅轻度至中度光照变化的图像。集合4包括每类人脸14张剧烈光照条件下的图像，共532张。集合5包括每类人脸19张剧烈光照条件变化下的图像，共722张。本实验分别选取集合1、集合3和集合4作为训练样本集，选取集合2作为测试样本集，分别比较不同光照变化下本文算法与其他几种算法的识别率，结果见表2。

由表1，表2可看出，本文算法在不同光照、表情变化下都取得了最好的识别效果，随着光照条件的恶化，其他三种单特征算法的识别率都下降得很快，但本文算法在剧烈光照变化时，仍能保持73.42%的识别率。

3.2 姿态偏转实验

ORL人脸库包括40个志愿者的400幅面部图像，包含姿态偏转、表情变化等不同条件下的人脸图像。选取每类人脸的前5幅作为训练样本，其余的作为测试样本。分别对每种算法在特征维数为100，200，300时进行实验并比较识别率，结果见表3。由表3可以发现，在不同特征维数下，本文算法的识别率比其他三种单特征分类算法的识别率平均要高8%。

3.3 伪装实验

实验选取AR人脸库中的50个男性和50个女性共100个目标，选取每个目标的8张不同表情变化图像共800张作为训练样本集，每个目标再分别选取两张墨镜伪装和两张围巾伪装共400张图像作为测试集，部分伪装图像如图2所示。不同维数下，各个算法在AR人脸库伪装实验的识别率见表4。可以看出木文算法在有伪装情况下识别率远高于其他三种识别方法。

3.4 噪声变化实验

本实验主要比较人脸图像在受到噪声影响的情况下算法的识别性能。以分组的方式将Yale B人脸库分为5个集合，本实验中将集合1与集合3共722张图像作为训练样本集，集合2共456幅图像作为测试样本，对集合2添加20%～60%的椒盐噪声。图3为Yale B人脸库中的一幅图像添加不同程度噪声的示例。图4为对测试样本添加不同比例噪声时各算法识别率比较。

由图4可以看出，本文算法在样本受到噪声污染程度不断增加时，识别率下降较慢，在污染比例达到60%时，仍达到73.5%的识别率。三种单特征识别算法中，Gabor特征抗噪能力最强，LBP特征最弱。