基于改进LTP算子和稀疏表示的人脸表情识别

李立赛，应自炉



基于改进LTP算子和稀疏表示的人脸表情识别

李立赛，应自炉

（五邑大学 信息工程学院，广东 江门 529020）

为了提高实际应用中的人脸表情识别率，本文提出了改进局部三值模式算法（ILTP），并结合稀疏表达分类器（SRC）组成新的算法应用于人脸表情识别. 该算法首先利用ILTP算法对人脸表情图像进行特征提取，然后将得到的图像顶层特征数据和图像底层特征数据作为SRC的输入，从而完成人脸表情分类. 基于JAFFE数据的实验结果表明：改进算法的人脸表情识别率达70.48%，具有较高的可行性.

表情识别；纹理特征；改进局部三值模式算法；稀疏表达分类器

随着人工智能和模式识别技术的快速发展，生物识别技术已经成为人机交互研究的重要领域之一. 表情作为一种特殊的生物特征，是人与人之间交流与互动的重要手段，也是了解他人主观心理状态的客观指标. 近几十年来，人脸表情识别在不同的领域获得了很多成果，如人机交互、智能监控、身份验证、行为科学等. 但由于年龄、肤色、性别、发型等差异和眼镜等饰物的遮掩，人脸表情识别技术仍然是一个极富挑战性的研究课题.

人脸表情识别的特征提取算法和分类器优劣对识别效果有着重要的影响. 最常见的特征提取算法和识别算法有主成分分析法[1]、Gabor小波法[2]、基于特征点的跟踪方法[3]、局部二值量化、局部相位量化等. 被广泛应用的识别算法有SVM、AdaBoost、SRC（Sparse Representation-based Classification）和人工神经网络等. 这些算法都不断被研究者们改进和应用[4]，使得人脸表情识别取得了很多成果. 本文提出的改进局部三值模式算法（Improved Local Ternary Patterns，ILTP）是在局部三值模式（Local Ternary Patterns，LTP）[5]的基础上获得的，局部三值模式是局部二值模式（Local Binary Pattern，LBP）的一种优化算法. 虽然LTP在图像均匀的区域比LBP具有更强的区分能力和对噪声、光源变化的强鲁棒性等特点，但是，其在图像的多尺度变化和局部遮挡问题的处理上还有一些不足，容易因图像特征不易提取而导致识别率较低. 考虑到这些不足，本文希望对LTP做进一步的优化，并将其应用于人脸表情识别.

1 ILTP特征描述算子

1.1 基本LTP特征描述算法

局部三值模型是由Tan[6]提出的，该算法是对局部二值模型的一种改进与泛化. LTP算法[7]引入了阈值区间，即将LBP算子以中心值为阈值变为以中心值的区间为阈值. 邻域值在中心值区间内编码值将为0；邻域值比中心值区间大编码将为1；邻域值比中心值区间小编码将为. 其具体编码规则如式（1）所示：

图1 基本LTP编码示意图

通过LTP编码可以得到三值编码，如图1中得到的LTP编码为1100（-1）（-1）00. 为了降低编码的复杂度，编码时往往会将三值模式转换为2个二值模式，然后分别统计直方图信息. 如100（-1）（-1）00将会被分为顶层模式（11000000）和底层模式（00001100）这2种二值模式，如图2所示.

图2 LTP拆分编码

1.2 ILTP特征描述算法

尽管在图像均匀区域LTP算子用于人脸表情识别比LBP具有更强的判别能力，但LTP仍然存在不足. 其一是产生的直方图维数过大；其二是LTP在图像的多尺度变化和局部遮挡等问题的处理上还有一定局限. 同时，传统LTP算子在编码的过程中只是简单将中心像素点值与邻域值进行比较，丢失了一些局部结构信息. 针对LTP算子的缺点，编码过程中将会给中心像素和邻域值分配不同的权重以得到新的值，并将获得的新的值用于后期编码，从而得到ILTP算子，如图3所示.

图3 ILTP编码过程中中心值的确定

图4 ILTP编码图像

2 稀疏表达分类器

近年来，SRC作为一种新的识别算法不断被应用到表情识别中并且取得了不错的效果[8-9]. 只要信号是可压缩的或在某个变换域是稀疏的，就可以运用一个与变换基不相关的观测矩阵将所得高维信号投影到低维空间，并通过求解一个优化问题从少量投影中重构原始信号. SRC的基本思想为，假设有类的幅训练样本，可将其重构排列为，其中，，为图像大小. 那么，的每一个列向量就是第类对应的训练样本. 假设有足够的测试样本，那么一个属于类的测试样本可用训练样本线性表达为

3 基于ILTP和SRC的人脸表情识别

本文提出的人脸表情识别方法是基于ILTP和SRC，即利用ILTP算法对训练样本和测试样本分别进行处理得到表情特征数据，将这些数据作为SRC的输入，从而得到识别结果. 本实验在JAFFE（Japanese Female Facial Expression）数据库中进行. 该库中包含10个人7种表情（生气、厌恶、害怕、伤心、高兴、吃惊、中性）的共210张人脸表情图像，其中，每种表情含3幅图像.

4）输出步骤3）的结果.

图5 基本LTP+SRC算法识别率与ILTP+SRC算法识别率对比图

图6 ILTP+SRC算法分别拆分（顶层模式，底层模式）后的识别效果对比图

图7 ILTP+SRC算法和特征融合算法识别效果对比图

4 总语

人脸表情分类的准确性很大程度上依赖于所提取特征的有效性，因而表情特征的高效提取与应用是提高表情识别率的一个关键步骤. 本文在基本算法的基础上得到了算法，并通过实验与相关分析证明了改进算法的有效性. 改进了在人脸表情识别算法上的不足，提出了与融合的算法，使得识别率提高到70.48%. 由于该识别率是在一个特定的条件下获得的（即JAFFE数据库下非相关人脸的表示识别率），其普遍性和实用性还有待在后期的工作实验中加以证明，如何提高其在实际运用中的时效性和识别率还有待在后期实验中不断的改进.

[1] RAHULAMATHAVAN Y, PHAN R C W, CHAMBERS J A, et al. Facial expression recognition in the encrypted domain based on local fisher discriminant analysis [J]. IEEE Transactions on Affective Computing, 2013, 4(1): 83-92.

[2] 张娟，詹永照，毛启容，等. 基于Gabor小波和稀疏表示的人脸表情识别[J]. 计算机工程，2012, 38(6): 207-209.

[3] LI Yongqiang, WANG Shangfei, ZHAO Yongping, et al. Simultaneous facial feature tracking and facial expression recognition [J]. IEEE Trans Image Process, 2013, 22(7): 2559-2573.

[4] 徐杜功，丁召，刘桥. 基于稀疏表示和改进的LBP算子的人脸表情识别[J]. 计算机应用与软件，2013, 30(4): 246-248.

[5] 宋克臣，颜云辉，陈文辉，等. 局部二值模式方法研究与展望[J]. 自动化学报，2013, 39(6): 730-744.

[6] TAN X, TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [C]//Proc of Analysis and Modeling of Faces and Gestures. [S.I.]: Springer, 2007: 168-182.

[7] SATPATHY A, JIANG Xudong, ENG Howlung. LBP-based edge-texture features for object recognition [J]. IEEE Trans Image Process, 2014, 23(5): 1953-1964.

[8] ZHI Ruicong, RUAN Qiuqi, WANG Zhifei. Facial expression recognition via sparse representation [J]. IEICE TRANSACTIONS on Information and Systems, 2012, E95-D(9): 2347-2350.

[9] WANG Jing, SU Guangda, XIONG Ying, et al. Sparse representation for face recognition based on constraint sampling and face alignment [J]. Tsinghua Science and Technology, 2013, 18(1): 62-67.

[责任编辑：韦 韬]

Facial Expression Recognition Based on Improved LTP and Sparse Representation

LILi-sai, YINGZi-Lu

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

In order to improve the facial expression recognition rate in practical application, an improved local ternary patterns (ILTP) algorithm was proposed on the basis of the local ternary patterns (LTP) algorithm，and was combined with sparse representation-based classifier (SRC) to form a new algorithm to be applied to human facial expression recognition. Then facial expression features are extracted by ILTP algorithm, and the features are treated as the input of the SRC to complete facial expressions recognition. Experimental results based on JAFFE database prove that the new algorithm can get a facial expression recognition rate of 70.48% and is highly feasible.

facial expression recognition; texture features; ILTP; SRC

1006-7302（2015）02-0049-06

TP 391.41

A

2014-09-25

国家自然科学基金资助项目（61072127，61372193）；广东省自然科学基金资助项目（S2011010001085，1052902001000002）

李立赛（1989—），女，湖北天门人，在读硕士生，主要研究方向为人脸表情识别；应自炉，教授，博士，硕士生导师，通信作者，主要研究方向为信号与信息处理、通信与信息系统.