线性判别分析特征提取稀疏表示人脸识别方法

张　勇， 党兰学

(河南大学 图像处理与模式识别研究所，河南 开封 475004)

线性判别分析特征提取稀疏表示人脸识别方法

张勇， 党兰学*

(河南大学 图像处理与模式识别研究所，河南 开封 475004)

摘要：针对稀疏表示分类(SRC)算法采取随机脸法提取的数据特征判别力较弱问题，提出一种线性判别分析特征提取稀疏表示人脸识别方法.该方法首先采用线性判别分析算法求解最优判别投影子空间，然后把训练样本投影到该子空间以提取相应的数据特征，并用训练样本的数据特征做字典来表示测试样本数据特征.更进一步来说就是，通过提取出测试样本稀疏特征的向量，和测试样本的数据特征进行比对找出其联系和差别并表示出比对后的残差.最后根据构造的残差找出样本的类别来实现其识别目的.通过在Extend Yale B和CMU PIE人脸数据库上一系列的测试，证明该方法具有很好的识别效果.

关键词：LDA；稀疏表示；特征提取；人脸识别

0引言

稀疏表示是在给定的字典里可以用少数的原子让一个信号表示为线性组合.目前国内外学者对稀疏表示给予了很大的关注.一系列的研究也表明，人类视觉系统的原理和稀疏表示模型有很大程度上的一致性[1].因此稀疏表示在图像去噪[2]、图像恢复[3-4]、图像理解[5]等方面的应用很多.2009年稀疏表示被John Wright等人应用到了人脸识别领域，然后提出基于稀疏表示分类器(SRC)的人脸识别方法[6].该方法在人脸识别领域取得了较好的识别效果.然而，SRC采取随机脸法提取的训练样本数据特征判别力较弱，从而降低了SRC的性能[7].

为了解决这一问题，笔者提出一种基于线性判别分析(LDA)特征提取的稀疏表示分类人脸识别方法.由于LDA可以寻找一组将高维样本投影到低维空间的最佳的判别投影向量，并能使投影后的样本类内离散度最小，类间离散度最大[8-9].因此，样本数据投影到该向量空间后，可以使其数据特征的判别力更强，进而提高SRC的识别性能.

1线性判别分析和稀疏表示分类器概述

1.1线性判别分析概述

现在假设训练样本的种类为k个，然后再假设每个训练样本的像素点为y，用dij∈d×1表示第i类第j个训练样本图像，用Di=[di1,di2,…,dini]∈d×ni表示第i类训练样本，则训练样本全部可表示为D=[D1,D2,…,Dk]∈d×n，其中ni.那么训练样本的不同类之间距离Sb和同一类之间的类内距离Sw可以定义为

(1)

(2)

LDA寻找一个最佳判别投影向量，使投影后的样本类内离散度最小，类间离散度最大.其目标函数为

(3)

求解特征值问题

SbW=SwWΛ，

(4)

可得最优投影矩阵W.

由于Sb和Sw为对称半正定阵，如果Sw是非奇异，则对(Sw)-1Sb进行特征值分解，从而得到式(4)对应的特征向量和特征值.求解线性判别分析投影矩阵的算法如算法1所示.

算法1求解LDA投影矩阵W算法.

①输入：训练样本矩阵D∈d×n；

②由式(1)和(2)计算出类间离散度矩阵Sb和类内离散度矩阵Sw；

③通过式(4)求出其特征以及它所对应的特征向量;

④求出投影矩阵W即前d个特征值所对应的特征向量.

1.2稀疏表示分类

假设训练样本共有k类，第i类(i=1,2,…,k)训练样本矩阵为Di=[di1,di2,…,dini]∈d×ni，同时，第i类训练样本的个数为ni.那么全部的训练样本则可用来D=[D1,D2,…,Dk]∈d×n表示，n为所有训练样本的总数，即n=∑ini.用训练样本矩阵D看做一个大集合，则测试样本y可以用集合中的原子表示为线性组合即y=Dx.同时，与测试样本同类的可以完全线性表示测试样本y.也就是说，只要训练样本的量足够大，y在集合D中的表示很明显就是稀疏的.与此同时，如果y的稀疏表示系数向量x越是稀疏，那么对测试样本的分类或者区分会越明显.

同时若想求解y=Dx的最稀疏解可以通过l1范数最优化问题求解，即

(5)

到目前为止，众多学者提出了许多关于l1范数最优化问题的算法.最被常用的算法的有GPSR[10]、Homotopy[11]、FIST[12]、和l1_ls[13]等.

(6)

基于重建误差，SRC给出分类规则如下：

label(y)=argminiri(y),

(7)

式中:label(y)表示测试样本y的类别标签.稀疏表示分类算法具体步骤如算法2所示.

算法2：稀疏表示分类算法

2.对训练样本D采用随机脸法特征提取，并进行归一化；

3.求解l1最优化问题

4.计算类关联重建误差

5.输出：测试样本y的类别标签：

label(y)=argminiri(y).

2基于线性判别分析特征提取的稀疏表示分类算法

虽然SRC算法采取随机脸法提取样本数据特征能够取得较好的识别效果，然而本研究发现，在SRC算法字典设计的过程中，采用LDA进行特征提取可以使样本数据特征的判别力更强，从而提高SRC的性能.

假设D=[D1,D2,…,Dk]∈d×n为训练样本集，其中Di=[di1,di2,…,dini]∈d×ni为第i类训练样本构成的矩阵，dij表示第i类第j个训练样本.首先用LDA 算法求取投影矩阵W，然后采用该投影矩阵对训练样本进行特征提取，得到相对应的数据特征矩阵

Dp=WTD.

(8)

与原始数据D相比，数据Dp的类内间距变得更小，而类间距离变得相对更大.同样，给定任一测试样本y，用投影矩阵W可提取其数据特征yp=WTy.用Dp作字典稀疏表示测试样本数据特征yp，其目标函数为

(9)

(10)

基于重建误差，给出分类规则

label(y)=argminiri(yp),

(11)

式中:label(y)表示测试样本y的类别标签.基于LDA特征提取的SRC算法如算法3所示.

算法3：基于LDA特征提取的SRC算法

②采用LDA算法求取投影矩阵W；

③采用投影矩阵W对训练样本和测试样本进行特征提取

Dp=WTD，yp=WTy;

④把Dp作为字典最稀疏表示yp

⑤计算yp类关联重建误差

⑥输出：测试样本y的类别标签

label(y)=argminiri(yp).

3人脸识别实验

为了验证本方法的有效性，笔者在Extend Yale B和CMU PIE两个人脸数据库上，分别采用随机脸法特征提取SRC(随机脸+SRC)、PCA特征提取SRC(PCA+SRC)和LDA特征提取SRC(LDA+SRC)进行人脸识别实验.实验时，笔者随机从每人的所有人脸图像中抽取k幅图像构成训练样本集，剩余图像构成测试样本集.为了得到更为精确的实验效果，对每个训练样本数k都同样进行5次独立实验，最终结果为5次实验的平均值.需要说明的是，在本文里的3种方法都采用l1_ls方法求解l1范数的最优化问题.

3.1Extend Yale B数据库上实验效果

在YaleB数据库[14]中共有38个人的2 414张图像.同时，每张图像的灰度级为256，其中分辨率为243×320.这个数据库中的人脸图像因为表情、光照、以及拍摄角度的不同存在很多不同变化.我们在实验前，会对YaleB 数据库中的图像进行以眼睛为中心点的剪切和对齐处理，并将其大小缩放为32×32像素.

在YaleB数据库上，测试样本为从图库中随机抽出的，分别为8张、12张和16张，其余的为训练样本.在图1给出了3种SRC算法在YaleB数据库上随特征维数变化的识别率曲线比较.同时表1给出了3种SRC算法在YaleB数据库上的最高识别率还有其对应特征维数的比较.

从图1可以看出，LDA+SRC方法的识别率曲线总是高于其他两种方法，这说明在Extended Yale B数据库上，不同抽样情况下和维度下，LDA+SRC总优于其他两种方法.同时，从表1可以看出，LDA+SRC方法的最高识别率在不同抽样情况下总是高于其他两种方法.

注：括号中的数字代表该识别率所对应的特征维数.

3.2CMU PIE数据库上的实验效果

在CMU PIE数据库[15]中有68个人的13种姿态，43种光照变化和4种表情的共41 368张图像.而我们的人脸识别实验选择的是在姿态C27子集上进行.CMP PIE C27子集中有68个人的3 329张图像同时每人大约49张图像.在实验前将图像以眼睛为中心缩放为64×64像素.

在CMU PIE C27子集上，构造3个训练样本，即从每个人的图像中抽取8张、10张和12张，与此同时剩下的则为测试样本用来进行人脸识别的实验.图2给出了3种SRC算法在CMU PIE C27子集上随特征维数变化的识别率曲线的比较.表2给出了3种SRC算法在CMU PIE C27子集上的最高识别率还有其相对应特征维数的比较.

从图2可以看出，LDA+SRC方法的识别率曲线仍然高于其他两种方法，这说明在CMU PIE数据库上，不同抽样情况下和维度下，LDA+SRC总优于其他两种方法.另外，从表2可以看出，LDA+SRC方法的最高识别率在不同抽样情况下

同样高于其他两种方法.

注：括号中的数字代表该识别率所对应的特征维数.

4结论

提出一种基于线性判别分析特征提取稀疏表示人脸识别方法.首先采用线性判别分析特征方法提取人脸图像中的判别特征，然后采用稀疏表示分类进行人脸识别.与随机脸+SRC和PCA+SRC相比，笔者提出的人脸识别方法具有更高的识别率，究其原因在于：①线性判别分析方法提取的样本数据特征类内距离最小，类间距离最大，即提取的样本数据特征判别力更强; ②采用训练样本的线性判别分析数据特征作字典能更好地表示测试样本数据特征，从而使得SRC的识别性能更佳.在YaleB和CMU PIE人脸数据库上的实验结果表明，笔者提出的人脸识别方法是有效的.

参考文献：

[1]VINJE W E, GALLANT J L. Sparse coding and decorrelation in primary visual cortex during natural vision [J]. Science, 2000, 287(5456): 1273-1276.

[2]ELAD M, AHARON M. Image denoising via sparse and redundant representations over learned dictionaries [J]. IEEE Trans. Image Processing, 2006, 15(12): 3369-3745.

[3]MAIRAL J, ELAD M, SAPIRO G. Sparse representation for color image restoration [J].IEEE Trans. Image Processing, 2008, 17(1): 53-69.

[4]MAIRAL J, BACH F, PONCE J, et al. Nonlocal sparse models for image restoration [C]//Proc. ICCV, 2009: 2272-2279.

[5]WANG C, YAN S, ZHANG L, et al. Multi-Label Sparse coding for automatic image annotation [C]//Proc. IEEE Conf. CVPR, 2009: 1643-1650.

[6]WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation [J]. IEEE Trans. Pattern Anal. Mach. Intel., 2009, 31(2):210-227.

[7]杜海顺,张旭东,金勇,等.基于Gabor低秩恢复稀疏表示分类的人脸识别方法[J]. 电子学报, 2014, 42(12): 2386-2393.

[8]TURK M A, PENTLAND A P. Face recognition using eigenfaces[J]. Computer Vision and Pattern Recognition, 1991,3(1):71-86.

[9]左哲民，张阿妞，李芬兰.基于优化的LDA算法人脸识别研究[J].电子与信息学报，2007,29(9):2047-2049.

[10]FIGUEIREDO M, NOWAK R, WRIGHT S. Gradient projection for sparse reconstruction: Application to compressed sensing and other inverse problems [J]. IEEE Journal of Selected Topics in Signal Processing, 2007, 1(4):586-597.

[11]MALIOUTOY D, CETIn M, WILLSKY. Homotopy continuation for sparse signal representation[C]//Proc. ICASSP, 2005.

[12]BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm for linear in-verse problems[J]. SIAM Journal on Imaging Sciences, 2009(2) :183-202.

[13]KIM S J, KOH K, LUSTIG M, et al. A method for large-scale l1-regularized least squares [J]. IEEE Journal on Selected Topics in Signal Processing,2007,1 (4):606-617.

[14]GEORGHIADES A S, BELHUMEUR N, KRIEGMAN D J, et al. From few to many: illumination cone models for face recognition under variable lighting and pose [J]. IEEE Trans. Pattern Anal. Mach. Intelligence, 2001, 23(6):643-660.

[15]SIM T, BAKER S, BSAT M. The CMU pose, illumination, and expression database [J]. IEEE Trans. Pattern Anal. Mach. Intell., 2003, 25(12):1615-1618.

Sparse Representation-based Face Recognition Method by LDA Feature Extraction

ZHANG Yong， DANG Lan-xue*

(Institute of Image Processing and Pattern Recognition, Henan University， Kaifeng 475004，China)

Abstract:To solve the problem that the features extracted by randomfaces method have weak discriminative ability in sparse representation-based classification (SRC), a sparse representation-based face recognition method by linear discriminant analysis (LDA) feature extraction was proposed. Firstly, LDA is used to solve the optimal discriminative projective subspace, and then the training samples are projected onto the subspace to extract the features of the training samples. Using the features of the trainings samples as the dictionary, the features of the test sample can be sparsely represent as linear combination of the atoms of the dictionary. Furthermore, using the sparse coefficients associated with the special class, this method approximates the features of the test sample and calculates the reconstruction error between the features of the test sample with its approximation associated with the special class. Based on the reconstruction error associated with special class, the test sample can be classified accurately. Experimental results on Extend Yale B and CMU PIE face databases show that face recognition method proposed in this paper has a good performance.

Key words:LDA; sparse representation; feature extraction; face recognition

中图分类号：TP391

文献标志码：A

doi:10.3969/j.issn.1671-6833.2015.02.021

文章编号:1671-6833(2015)02-0094-05

作者简介：张勇(1979-)，男，河南大学工程师，硕士,研究领域为图像处理与模式识别，E-mail:henuzy@126.com．通信作者：党兰学(1980-)，男，河南大学讲师，博士，研究方向为智能算法设计及应用，E-mail:danglx@foxmail.com．

基金项目：国家自然科学基金资助项目(61374134)

收稿日期:2014-12-10；

修订日期：2015-02-01