改进的LBP算子和稀疏表达分类在人脸表情识别上的应用

赵栋杰

（江苏科技大学 计算机科学与工程学院，江苏 镇江212003）

改进的LBP算子和稀疏表达分类在人脸表情识别上的应用

赵栋杰

（江苏科技大学 计算机科学与工程学院，江苏 镇江212003）

在人脸表情识别中，基于局部二值模式（LBP）算子算法与传统的特征提取算法相比具有特征提取准确、精细、光照不变性等优点，但也有直方图维数高、判别能力差、具有冗余信息等缺点。本文提出一种C-LBP算法通过加入中心点到算法中进行特特征提取，能够更有效的提取特征数据。再结合使用稀疏表达分类器实现对特征进行分类和识别。经实验结果表明，与传统LBP算法对比，文中算法用于人脸表情的识别的识别率得到大幅度提高。

LBP；C-LBP；特征提取；稀疏表达；分类器

人脸表情是人类情感信息传播与人际关系协调的重要方式。人脸表情识别在人际交流以及交互中作用非常的重要，多被应用到机器视觉、智能控制、模式识别等领域，它根据人的表情不同做出不同的判断，更好地满足人类生活需求。在表情识别技术中，如何提取和选择有效的人脸描述特征是研究的关键内容。表情识别主要由人脸表情识别的特征提取和稀疏表示分类器的选择两个部分组成。

特征提取在人脸表情识别中有着相当重要的作用，提取出来的特征也影响着整个识别系统的正确率，目前普遍为大家所用的包括整体法、局部法、光流法、模型法和几何法，整体法和局部法主要用于静态图像特征提取，光流法、模型法和几何法主要用于动态图像特征的提取。其中在整体法中较为熟知的提取算法有PCA特征［1］、LDA特征［2］和ICA特征［3］；局部法中比较经典的算法有LBP算子法和Gabor小波法［4］。Gabor小波在提取目标的局部空间和频率域信息方面具有良好的特性，然而，该算法需要计算不同尺度和方向的小波核函数，提取出的高维特征向量对整个算法造成冗余。相比而言，传统的LBP算子法是一种简单，有效的纹理分类的特征提取算法，在纹理分析方面有着广泛的应用，近几年在人脸识别领域取得了巨大的发展。从传统的LBP算子法到MB_LBP算子法再到后来的完整LBP算子法［5］，每一次的改进都在人脸识别领域取得了较大的成功。例如，LBP算子法到MB_LBP算子法的改进，相比原始LBP算法整幅图片进行编码，MB-LBP特征首先将特提取特征的图像分区域，在某一块区域中再等分成9块，再以每一小块的平均灰度值替代原始LBP特征算法的3x3模式中的临域点灰度值，之后将平均值和中心块像素值相比，得到MP-LBP特征码。文中首先采用MB-LBP算法进行特征提取，再利用C-LBP算法把中心像素考虑了进去并赋予最高的权值，提高了特征判别力和特征的有效性。

1 基于改进LBP算子的特征提取

1.1 LBP算子

局部二值模式（Local Binary Pattern，LBP）特征是一种描述纹理特征的强有力的方法，可对图像中局部邻近区域的纹理信息进行度量和提取。原始的LBP算子为图像的每个像素定义了一个以该像素为中心的3×3的窗口，然后计算图像中每个像素与其局部邻域点在灰度上的二值关系，再对二值关系按一定规则加权编码形成像素的LBP值，最后把所有区域的LBP直方图组合成序列作为图像的特征描述。如图1所示，每个像素需要和其邻域点像素的灰度值比较大小，大的置1，小的置0，这样图像中每个像素点都得到一个二进制数，将此二进制数转换为十进制数则为像素点的LBP码，把每幅图像中所有像素点的LBP码所构成的直方图作为该图像的LBP特征。

图1 LBP计算示意图

其中，N、R分别表示该像素点的临域点个数、半径（所谓半径就是以中心像素点作为圆心，连接临域点所做的圆的半径），tn为周围像素灰度值，tc是中心像素点，函数s（x）定义如下：

LBP算子对整幅图像进行编码得到LBP编码图像如图2所示，将LBP特征用于人脸识别，典型的方法是将人脸图像进行分块，对于每个小块进行提取LBP特征直方图，最后形成表示人脸的LBP特征直方图，可表示为:

其中图1中3×3模式LBP码是8位的二进制数，则LBP码的数量为n=256（28）。

图2 图像KA_HA1和对应的LBP编码图像

但是，LBP算子在人脸表情识别有一些不足点，主要有以下几个方面：1）LBP算子仅考虑了周围像素并没有考虑全局的灰度分布；2）产生的直方图维数过大，一幅图像的特征维数过高会造成信息冗余并消耗大量的计算时间；3）传统LBP没有将中心像素点加入计算，在某些特定情况下，中心像素点要比近邻点提供更重要的信息。

1.2 改进的LBP算子

由于传统LBP算子的不足之处就是特征维数较大，文中对LBP算子进行了改进，首先将特提取特征的图像分区域，以某一分成9块子区域为例，再以每一小块的平均灰度值替代原始LBP特征算法的3×3模式中的临域点灰度值，再把中心像素加入到LBP算子中计算，即C-LBP算子。

图3 MB-LBP特征提取方式

对于图3，整体的区域分为9个小子区域，每个子区域有6个像素点，将6个像素点的平均灰度值作为3×3模式中的临域点灰度值，对于均值化后的3×3模式如图4所示。

图4 均值化后的3×3模式

改进后的公式为：

其中，ta=（t0+t1+…+t7+tc）/9。tn为周围像素灰度值，tc是中心像素点，函数s（x）定义如下：

其中M为阈值常数。我们首先使用MB-LBP提取特征，该方法不再基于单个像素，而是将特征计算扩展到任意大小的“子块区域”。“子块区域”的大小决定了捕获的特征结构的大小，选取不同大小的“子块”尺度，得到不同尺度的描述特征，增强了特征描述性。使用“子块区域”的灰度平均值进行特征计算，增加了像素与像素之间的相关性，从而削弱了噪声对特征计算的干扰。而后对处理后的方阵进行C-LBP特征提出，这样做的原因在于传统的LBP算子将中心像素点tc一直被置为0，然而，在大多数情况下中心像素点要比其近邻点提供更重要的信息，因此我们要把tc考虑进来，并给予它最高权值。

2 稀疏表示分类

2.1 稀疏表示原理

稀疏表示理论是基于压缩感知理论［6-7］提出的。其理论依据是只要信号是可压缩的或者在某个变换域是稀疏的，便可以用一个与变换基不相关的观测矩阵将所得高维信号投影到低维空间，这样便能够将LBP编码特征组成的高维度直方图序列降维来方便分类。

2.2 稀疏表示分类器

假设矩阵A=［A1，A2，…，AN］为表情库中的一组训练样本集，我们也可以称之为字典，N为库中包含的N种表情，Ai=［vi，1，vi，2，…，vi，m］∈Ru×m，Ai为第i类的训练样本集，vi，m表示第 i类中第m个样本。

此时，一幅测试图像y可表示为所有训练样本的线性组合，即

其中，x=［0，0，…，0…αk，1，αk，2，…0，…，0］∈Ru；由稀疏理论可知，为了能得到方程y=Ax的最稀疏的解，即所求的系数向量x包含的非零向量应尽量少就越可以判断出测试样本y所属的类别。因此我们可以通过求解如下最优化问题来计算x

其中‖g‖0表示l0范数，表示一个矢量中非零系数的个数。然而由于X解的不确定性，该稀疏系数求解问题属于非凸最优化问题，是一个N-P难题。不过根据文献［8］，只要满足一定条件，最小化l0最小范数的NP难题可以转换为最小化l1范数问题来进行求解，即：

问题（8）属于可求解的凸优化问题，已有许多成熟的求解算法，最常用的l1快速求解算法包括L1-homotopy算法［9-11］、OMP算法［12］、ALM算法、L1-magic范数算法，这些算法已经能近似求出此问题的解法并且得到了很好的识别效果。我们选用稀疏表示来识别图像，一般称为稀疏表示识别［13］（Sparse-based Representation Classification，SRC），通俗来说就是把库中的不同对象放在训练集中，对于某个未识别的图像进行分类的时候，可以利用训练集中的每个样本来线性组合表示这个未知类的对象。稀疏表示分类人脸识别算法的流程图如图5所示。

图5 SRC人脸识别算法的流程图

综上，以下给出基于稀疏表达的分类器算法:

1）利用改进的LBP算法来提取测试图像的LBP特征编码值。

2）输入N类A=［A1，A2，…，AN］训练样本构成特征矩阵。测试样本向量为y∈Ru，并且归一化矩阵A的每一列。

3）利用L1-homotopy算法求解l1范数最小化问题：

4）计算残差ri（y）=‖y-AX‖2的最小值作为识别依据。

5）输出类别identity（y）=arg minxri（y）。

3 实验结果与分析

文中利用经典Jaffe人脸数据库［14］人脸数据库进行仿真实验。Jaffe数据库中有7种表情（生气、厌恶、恐惧、高兴、悲伤、普通以及惊奇），每一种表情有2到4张图片，包含10位不同女性的图片，共有213张人脸图片。以下图6为Jaffe人脸数据库中部分7种表情从左到右分别是：愤怒、厌恶、惊恐、高兴、中性、悲伤、惊讶。

对于Jaffe数据库，由于此数据库每种表情至少有29副图像，因此从每类选取29张来进行实验。每次实验，每类随机选取15副作为训练集，共105张；余下的每种表情14张分别作为测试集。降维统一采用PCA降维，最后利用稀疏表达分类器进行人脸表情的识别和分类。实验结果如表1所示。

图6 Jaffe人脸表情库中部分人脸图像

表1 各种方法的表情识别率对比

由表1可看出文中提出的算法相比较传统LBP特征有了明显的提高，平均识别率高出了传统LBP+SRC算法10个多百分点，高出SRC算法接近30个百分点；传统LBP特征与本文算法都比只用稀疏表达分类器得到的识别效果好，也由此说明了LBP这种特征提取方法的确是有效果的，有些表情比较容易识别如高兴厌恶等，有些表情如恐惧难以识别，可见每一类表情的识别率都不相同。通过分别对Jaffe人脸数据库实验可以看出，通过MB-LBP提取局部区域的特征值，再利用本文的C-LBP算法对图像进行特征提取，并通过稀疏表达分类器学习分类识别，比传统LBP算法效果提高了10%以上的识别率（达到了80%以上），并且有效的减少了特征值维数（信息冗余），处理效率也得到了提高。

4 结束语

文中基于传统LBP算子的编码直方图序列维数高和局部判别能力不强的缺点，对LBP特征算子进行了改进，首先采用MB-LBP算法对其优化改进，再利用C-LBP算法对其进行特征提取获取特征值，利用稀疏表达的分类器对提取的表情特征进行人脸表情识别，最后进行了相关的仿真实验。实验结果表明，改进LBP+SRC算法组合的识别率高于传统LBP+SRC算法组合以及单独的SRC算法。但是此实验结果只是基于Jaffe数据库中的7种表情识别，我们知道人脸表情是复杂变化的，单一的在这个表情库中得出的结论还是不够的，我们不能简单就把人脸表情划为文中的这七类，再加上遮挡，光照，角度等问题，对表情的识别会有很大的影响，以后还需要对人脸复杂的变化的表情研究，以求实现能应对复杂变化的表情识别。

［1］CHEN Juan-juan，ZHAO Zheng，SUN Han，et al.Facial expression recognition based on PCA reconstruction［C］//2010 5th Inter-national Conference on Computer Science and Education（ICCSE），2010:195-198．

［2］David M Blei，Andrew Y Ng，Michael I jordan.Latent Dirichletallocation［J］.Journal of Machine Learning Research，2009（3）:993-1022.

［3］周书仁，梁昔明，杨秋芬，等.基于PSO与ICA的表情特征提取［J］.计算机应用，2007（11）：224-245.

［4］LIXiao-li，RUAN Qiu-qi，RUAN Cheng-xiong.Facial expression recognition with local Gaborfilters［C］//2010 IEEE 10thInter-national Conference on Signal Processing（ICSP2010），2010:334-339.

［5］GUO Zhen-hua，Zhang L，Zhang D.A completed modeling of localbinary pattern operator for texture classification［J］.IEEE Transactionson Image Processing，2010，19（6）：1657-1663.

［6］Chaiyasit Tanchotsrinon，Suphakant phimoltares，saranya Maneeroj.Facial expression recognition using graph-based features and artificial neural networks［C］//2011 IEEE International Conference on Imaging Systems and Techniques（IST），2011:331-334.

［7］Erdos L，Ramirez J，Schlein B，et al.Bulk universality for wigner hermitian matrices with subexponential decay［J］. Mathematical Research Letters，2010，17（4）:667-674.

［8］DonohoDL.Compressedsensing［J］.IEEE Transactions on Information Theory，2006，52（4）:1289-1306.

［9］Emmanuel Candes，Justin Romberg.L1-magic:Recovery of sparse signals via convex programming［R］//Caltech，2005.

［10］Tony Cai T，Lie Wang.Orthogonal matching pursuit for sparse signal recovery with noise［J］.IEEE Transactions on Information Theory，2011，57（7）:4680-4688.

［11］Osborne M R，Turlach B A.A homotopy algorithm for the quantile regression lasso and related piecewise linear problems［C］//JounalofComputionaland GraphicalStatistics，2010.

［12］刘亚峰，刘昱，段继忠，等.基于DSP的OMP算法实现及音频信号处理［J］.电声技术，2012（2）：37-39.

［13］Xu Y，David Zhang，Jian Yang，et al.A two-phase test sample sparse representation method for use with face recognition［C］//IEEE Transactions on Circuits and Systems for Video Technology，2011:1255-1262.

［14］Lyons M，Akamatsu S.Coding facial expressionswith Gabor Wavelets［C］//Proceedings of the Third IEEE International Conference on Automatic Face and Gesture recognition，2014:200-205.

Facial expression recognition based on improved LBP operator and sparse representation

ZHAO Dong-jie
（School of Computer Science and Engineering，Jiangsu University of Science and Technology，Zhenjiang 212003，China）

In facialexpression recognition，the algorithm LBPwhich based on localbinary pattern has the following advantages，such as the accuration of characteristics extraction，fine and illumination invariant comparing to the traditional feature extraction algorithm，but it also has disadvantages such as high dimension histogram，poor discriminant abilitys，much redundant information and so on.The C-LBP operator algorithm that presented in the paper extracts the feature datamore efficiently by adding the central point to the algorithm for feature extraction.And using the algorithm made the classification and recognition of characteristics which using sparse expression classifier come true.The experimental results show that，compared with the traditional LBPalgorithm，the recognition rate of facialexpression recognition isgreatly improved.

LBP；C-LBP；feature extraction；sparse expression；classifier

TN0

A

1674－6236（2016）20-0174-04

2015-10-20 稿件编号：201510124

赵栋杰（1990—），男，江苏丹阳人，硕士。研究方向：人脸识别。