基于双向二维直接线性判别分析的人脸表情识别

郑秋梅，吕兴会，时公喜

基于双向二维直接线性判别分析的人脸表情识别

郑秋梅，吕兴会，时公喜

（中国石油大学计算机与通信工程学院，山东东营 257061）

提出基于双向二维直接线性判别分析的人脸表情识别新算法。新算法从水平和垂直两个方向对图像矩阵执行直接线性判别分析，从二维图像中提取图像协方差矩阵，降低特征维数，减少表示图像时所需要的系数及其存储空间。另外，不使用奇异值分解方法，便可得到图像协方差矩阵的特征向量，能够精确地估计图像协方差矩阵。在JAFFE人脸表情数据库中的试验结果表明，所提算法具有较高的识别率。

计算机应用;图像识别;人脸表情识别;直接线性判别分析;双向二维直接线性判别分析

人脸表情识别涉及的领域非常广泛，包括图像分析［1－4］、模式识别、计算机视觉、人工智能、人机交互等。特征提取是人脸表情识别中的一个关键问题。目前应用于表情识别的特征主要包括几何特征、频率域特征、统计特征以及序列特征等，其中频率域特征中的Gabor特征反映了信号在局部时间和局部频带上的频谱信息，能够增强图像的低层特征。Zheng等［5］提出基于分布估计算法选择具有最大判别力的Gabor核的尺度和方向的特征提取算法，降低了特征维数。线性判别分析算法（linear discriminant analysis，LDA）是统计特征中提取特征和降维的算法，但存在高维的协方差矩阵计算复杂度高的问题及因奇异值分解导致的“小样本”问题［6］。后来，Yu等［7］提出直接线性判别分析算法（direct LDA，DLDA），对其进行改进。但是，传统的LDA与DLDA算法都是基于一维图像向量才能进行特征提取。Li等提出基于二维图像矩阵的二维线性判别分析算法［8－9］（two dimensional LDA，2DLDA），减小由小样本问题造成的奇异矩阵的可能性。Dong Uk Cho等［10－11］提出了二维直接线性判别分析算法（two dimensional direct LDA，2DDLDA），不使用奇异值分解便可得到图像协方差矩阵的特征向量，精确地估计图像协方差矩阵。Yang等［12－14］提出了双向二维线性判别分析算法（two directional two dimensional LDA，（2D）2LDA），从水平和垂直两个方向进行维数压缩，使得特征数目大大减少。针对2DDLDA在表示图像时需要较多的系数，需要更多的存储空间，分类计算所需时间较长的问题，结合（2D）2LDA能从水平和垂直两个方向对图像进行降维的优点，笔者提出双向二维直接线性判别分析算法（two directional two dimensional direct LDA，（2D）2DLDA），并用于人脸表情识别。

1 （2D）2DLDA算法

对于一个图像矩阵来说，对其列向量进行压缩相当于图像在水平方向上的降维，对其行向量进行压缩相当于图像在垂直方向上的降维。所以，对于直接针对图像矩阵进行操作的双向二维直接线性判别分析算法，可以分别从水平和垂直两个方向进行处理。水平方向的处理称之为2DDLDA算法，垂直方向的称之为Alternate 2DDLDA算法。

1.1 2DDLDA算法

设在训练集中有C个样本类别ω1，ω2，…，ωC，每类有样本Ni个，所有训练样本总数为M。矩阵（m×n的图像矩阵）代表第i类的第j个训练样本图像，所有训练样本的平均图像是，第i类的平均图像是（i=1，2，…，C）。得到训练样本的类间离散度矩阵Gb和类内离散度矩阵Gw为

试图找一个矩阵来对角化Gb和Gw，即AGwAT=I，AGbAT=Λ，其中Λ为按降序排列的对角矩阵，其元素依次为Gb的特征值。

Gb的零空间含有的判别信息不多，而Gw的零空间含有更多的判别信息，因此2DDLDA算法的关键就是去掉Gb的零空间而保留Gw的零空间。可以通过先对角化Gb然后对角化Gw实现。

具体算法描述如下:

（1）求矩阵V来对角化Gb，使得VTGbV=Λ。其中VTV=I，I是一个单位阵。Λ为按降序排列的对角矩阵，其元素依次为Gb的特征值。V是n×n的矩阵，其每一列都是对应Gb的特征值的特征向量。

（2）记Y是V的前l列组成的矩阵，YTGbY=Db。其中Db是Λ的l×l的主子矩阵，是Λ前l个对角元素形成的对角矩阵。

（3）记Z=YD1/2b，单位化Gb，Z是n×l的矩阵。

（4）找特征矩阵U来对角化ZTGwZ。UTZTGwZU=Dw。其中UTU=I，Dw在对角线上可能含有零元素。把Dw对角线元素以递增的顺序排序，选择前d个特征值及其对应的特征向量，把大的特征值对应的特征向量舍弃，保留小的特征值对应的特征向量，特别是接近0的特征值对应的特征向量。

（5）最后水平方向的最优投影矩阵X为n×d的矩阵，即X=ZUD－1/2w。

1.2 Alternate 2DDLDA算法

训练样本的类间离散度矩阵和类内离散度矩阵定义如下:

与2DDLDA相似，找一个矩阵先对角化Hb然后对角化Hw。

具体算法如下:

（1）求矩阵V来对角化Hb，使得VTHbV=Λ。

（2）Y是V的前l列形成的矩阵，YTHbY=Db。其中Db是Λ的l×l的主子矩阵，是Λ前l个对角元素形成的对角矩阵。

（4）找特征矩阵U来对角化ZTHwZ。UTZTHwZU=Dw。其中Dw在对角线上可能含有零元素。把Dw对角线元素以递增的顺序排序，选择前q个特征值及其对应的特征向量，把大的特征值对应的特征向量舍弃，保留小的特征值对应的特征向量，特别是0特征值对应的特征向量。

（5）垂直方向的最优投影矩阵W为m×q的矩阵，即W=ZUD－1/2w。

1.3 （2D）2 DLDA

水平和垂直方向的投影变换矩阵X和W确定以后，就可以对图像进行双向二维直接线性判别分析。

（2D）2DLDA算法的线性变换表达式如下:

给定一幅人脸图像A，在X和W上投影，进行特征提取，令Y=WTAX可以求得图像A的特征矩阵Y（q×d维的矩阵）。

任意两幅不同图像矩阵投影后的矩阵Yi和Yj的距离定义为

式中，Yi－Yj表示Yi和Yj间的欧氏距离。

假设训练样本为Z1，Z2，…，ZM，每个样本属于给定的类ωk，测试样本为Z，如果

2 试验结果分析

试验采用日本ART媒体信息科学试验室Lyons博士提供的JAFFE表情库图像，此数据库包含了10名日本年轻女性的213幅表情图像，每人有7种表情（愉快、恐惧、愤怒、惊奇、悲伤、厌恶和中性），每种表情有3到4张样本。对每个人来说，这些图像没有光照、头部角度、穿戴和发型的影响，便于运算处理。库中图像的原始尺寸为256×256像素，256级灰度。

试验中，把213幅图像分成训练集和测试集，在每个人的各种表情中取一幅表情图像作为测试样本，剩下来的作为训练样本。这样测试集包含70幅图像，训练集中含143幅图像。在提取特征前，先对图像进行预处理，包括人眼定位、灰度均衡化和尺度归一化，将所有图像都归一化为128×128像素大小。图1列出了一个样本的原始图像及预处理后的图像。

图1 原始图像和预处理后的图像Fig.1 Original image and its reprocessed image

首先对训练样本采用（2D）2DLDA算法进行特征提取，然后采用最近邻分类器对所提取的特征进行分类。为验证本文所提出方法的有效性，在Intel （R）Core（TM）2 Duo CPU机器上进行试验。将本文方法与2DLDA，2DDLDA，（2D）2LDA算法进行比较，表1中列出了采用这4种算法进行表情识别的最高识别率、单个样本识别时间以及特征维数的比较。从表1可以看出，本文算法最高识别率为87.14%，均高于2DLDA，2DDLDA和（2D）2LDA算法，特征维数、单个样本的识别时间均低于2DLDA，2DDLDA。

表1 不同算法的特征向量维数、识别率和识别时间的比较Table 1 Com parison of recognition rates，dimensions of featu re vector and running time

图2为不同识别算法的识别率随水平方向投影矩阵列数的变化趋势。当水平方向的投影矩阵的列数d=30时，2DDLDA得到了最高识别率85.71%，（2D）2DLDA得到最高识别率87.14%;当d=15时，2DLDA取得了最高识别率82.86%;当d=25时，（2D）2LDA取得了最高识别率82.86%。

图2 不同算法的识别率随水平方向投影矩阵列数的变化趋势Fig.2 Recognition accuracy trends w ith varying columns of horizontal direction projection matrix

（2D）2DLDA算法在水平方向投影矩阵的列数固定时，识别率随着垂直方向投影矩阵列数的变化而变化。通过图2看出，无论水平方向的投影矩阵的列数是多少，总能够找出某一列数的垂直方向的投影矩阵，使其识别率高于2DDLDA算法。

从图2中也看出，从整体趋势上看，（2D）2DLDA和2DDLDA的识别率均高于（2D）2LDA和2DLDA，体现了直接线性判别分析提取的特征含有更多判别信息的优点。

3 结束语

提出了基于双向二维直接线性判别分析的人脸表情识别算法，对图像矩阵进行水平和垂直两个方向的降维处理，大幅减少了特征数目;同时，利用直接线性判别分析，能够精确地估计协方差矩阵的特征向量，提取的特征含有更多的判别信息，有利于提高识别率。

本文提出的算法还存在一些问题:①识别率不是很高，没有达到理想的效果;②本文目前的试验只是在小型的标准的人脸表情数据库上进行的，对更大型数据库的识别效果有待进一步验证。因此，进一步要研究和解决的问题就是提高算法的识别率和在大型数据库中验证算法的有效性。

［1］郑秋梅，李新安，杨发科.基于形态膨胀操作的小波图像压缩编码算法［J］.中国石油大学学报:自然科学版，2007，31（6）:117－119.

ZHENG Qiu－mei，LIXin－an，YANG Fa－ke.Wavelet image compression coding algorithm based on amorphological operater［J］.Journal of China University of Petroleum （Edition of Natural Science），2007，31（6）:117－119.

［2］郑秋梅，杨发科，蒋晓红.一种基于关系的小波域水印算法［J］.中国石油大学学报:自然科学版，2009，33 （2）:164－168.

ZHENG Qiu－mei，YANG Fa－ke，JIANG Xiao－hong.A digital watermarking algorithm based opon relationship in wavelet transform domain［J］.Journal of China University of Petroleum（Edition of Natural Science），2009，33（2）: 164－168.

［3］ZHENGQiu－mei，WANGHong－xia.Image retrieval algorithm based on vector transferring and clustering［J］. Journal of Computational Information Systems，2009，5 （2）:1009－1016.

［4］ZHENG Qiu－mei，SHIGong－xi，LÜXing－hui.A robust digitalwatermarking scheme based on integer wavelet using compound encryption［C］//Proceedings of2009 4th International Conference on Computer Science＆Education，Nanning，China，July 25－28，2009.Piscataway，NJ，USA:IEEE，2009:716－719.

［5］ZHENG Qiu－mei，LÜXing－hui，SHI Gong－xi.EDA－based optimal Gabor Kernel's scale and orientation selection for facial expression recognition［C］//Proceedings of 2009 4th International Conference on Computer Science＆Education，Nanning，China，July 25－28，2009.Piscataway，NJ，USA:IEEE，2009:113－117.

［6］CHEN L，LIAO H M，KO M，et al.A new LDA－based face recognition system which can solve the small sample size problem［J］.Pattern Recognition，2000，33:1713－1726.

［7］YU Hua，YANG Jie.A direct LDA algorithm for high－dimensional data－with application to face recognition［J］. Pattern Recognition，2001，34:2067－2070.

［8］LIMing，YUAN Bao－zong.2D－LDA:A statistical linear discriminant analysis for imagematrix［J］.Pattern Recognition Letters，2005，26:527－532.

［9］XIONG Huilin，SWAMY M N S.Two－dimensional FLD for face recognition［J］.Pattern Recognition，2005，38: 1121－1124.

［10］CHO D U，CHANG U D，KIM B H，et al.2D direct LDA algorithm for face recognition［C］//Proc Fourth Int Conf Software Eng Res（2006），Seattle，WA，Aug9－11，2006.Piscataway，NJ，USA:IEEE，2006:245－248.

［11］CHO D U，CHANG U D，KIM B H，et al.2D Direct LDA for efficient face recognition［J］.ICIC 2006，LNCIS 345:566－571.

［12］YANG Jian，ZHANGDavid，YONG Xu，etal.Two－dimensional discriminant transform for face recognition［J］.Pattern Recognition，2005，38:1125－1129.

［13］NAGABHUSHAN P，GURU D S，SHEKAR B H. （2D）2FLD:An efficientapproach for appearance based object recognition［J］.Neurocomputing，2006，69:934－940.

［14］INOUE Kohei，URAHAMA Kiichi.Non－iterative twodimensional linear discriminant analysis［C］//The18th International Conference on Pattern Recognition（ICPR' 06）Hongkong，August 20－24，2006.Washington，DC:IEEE Computer Society，2006:540－543.

Two directional two dimensional direct linear discrim inant analysis for facial expression recognition

ZHENG Qiu－mei，LÜXing－hui，SHIGong－xi

（College of Computer and Communication Engineering in China University of Petroleum，Dongying 257061，China）

A novel algorithm for facial expression recognition of two directional two dimensional direct linear discriminantanalysis（（2D）2DLDA）algorithm was proposed.DLDA algorithm works in the row direction and the column direction of image to directly extract the image scattermatrix from 2D image.Thismethod reduces the dimensions of feature vector，and the coefficients and memory for image representation.The experimental results on JAFFE database show that the proposed algorithm can achieve high recognition rate.

computer applications;image recognition;facial expression recognition;direct linear discriminant analysis （DLDA）;two directional two dimensional direct LDA

TP 391.4

A

10.3969/j.issn.1673－5005.2010.05.033

1673－5005（2010）05－0179－04

2009－09－20

国家“863”高技术研究发展计划项目（2007AA09Z301）;山东省自然科学基金项目（Y2007G21）

郑秋梅（1964－），女（汉族），山东高密人，教授，硕士，硕士生导师，主要从事图像处理方面的研究工作。

（编辑 修荣荣）