基于Fisher特征选择的微表情识别

张延良 卢 冰 蒋涵笑 洪晓鹏 赵国英 张伟涛

1(河南理工大学物理与电子信息学院 河南 焦作 454150)2(西安交通大学电子与信息工程学院 陕西 西安 710049)3(奥卢大学机器视觉和信号分析研究中心 芬兰 奥卢 FI-90014)4(西安电子科技大学电子工程学院 陕西 西安 710071)

0 引 言

在日常的人际交流和沟通过程中，面部表情是传递情感的重要途径。除了日常所见的普通面部表情，还有种试图隐藏内心真实情感却又不由自主流露出的不易被察觉的微表情。微表情是无法伪装和无法控制的自发式表情[1-3]。心理学家们普遍认为微表情是测谎的重要线索，可以在国家安全[4]、案件侦破[5]、婚姻关系预测[6]、交流谈判[7]等邻域发挥很大的作用。

微表情最显著的特点就是持续时间短、强度弱，往往难以有效识别。普通人捕捉和识别微表情准确率较低，美国学者Ekman开发了辅助微表情识别训练工具METT[8]来训练对微表情的检测和识别。但是，经过该工具训练的专业人士，识别准确率也仅为47%[9]。因此，运用计算机视觉技术实现微表情的识别成为情感计算领域的一个重要研究课题。

视频序列中微表情特征提取算法的研究很多。在微表情识别的最初工作中,运用局部二值模式(Local Binary Pattern,LBP)[10]的一种拓展描述算子三正交平面局部二值模式(Local Binary Pattern on Three Orthogonal Plane，LBP-TOP)[11]来编码局部像素的时空共生模式。对LBP模式加以改进，又出现了时空完备局部量化描述子[12]、六交点局部二值描述子[13]、时空局部二值模式积分图描述子[14]、时空中心化二值描述子[15]等微表情特征提取方法。后续又出现了不采用LBP的时空特征描述子，如三正交平面方向梯度直方图描述子(Histograms of Oriented Gradients on Three Orthogonal Plane，HOG-TOP)、三正交平面图像梯度直方图描述子(Histograms of Image Gradient Orientation on Three Orthogonal Plane，HIGO-TOP)等用于微表情的识别。此外，文献[16-17]对跨库微表情识别的问题进行了研究；文献[18]将长短时记忆循环神经网络和卷积神经网络等深度学习方法结合应用于微表情识别。

研究发现，时空特征描述子提取到的特征向量维数过高，使微表情分类的计算复杂度大，处理时间长。更重要的是，微表情的发生只与脸部的部分区域紧密相关，这种高维的特征向量里包含与微表情发生无关的分量，这是现有方法识别率不高的重要原因。本文用Fisher特征选择算法来对原始特征向量进行降维、筛选处理。先将同类特征向量筛选出来，计算类内类间散度矩阵，再利用类内类间散度矩阵计算特征向量的权重，最后将权重按照由大到小的顺序排列，选择较大权重对应的特征分量。在CASMEII和SMIC两个数据集上LBP-TOP、HOG-TOP及HIGO-TOP特征的实验结果表明了其有效性。

1 时空模式的特征提取方法

特征提取是计算机视觉技术自动识别微表情的重要步骤，其中LBP-TOP、HOG-TOP、HIGO-TOP特征描述子已广泛应用于微表情识别。

1.1 均匀LBP-TOP描述子

为对动态纹理进行分析，Zhao等[11]提出LBP-TOP描述子，它是原始LBP静态纹理描述子在时空域的延伸。该描述子广泛应用于面部表情的识别，近几年，在微表情识别方面也取得了较好的效果。

一个视频序列可以看成二维的静态图像(XY平面)沿着时间轴T堆叠而成的一个立方体。该立方体的XT和YT平面的纹理提供了图像随时间动态变化的信息。图1为提取视频序列LBP-TOP特征的大致过程。分别抽取视频帧序列的三个正交平面XY、XT及YT的LBP纹理特征，将得到的特征串联起来就构成了LBP-TOP特征向量。该描述子既考虑了微表情图像的局部纹理信息，又对微表情随时间变化的情况进行了描述。

图1 提取LBP-TOP特征的示意图[11]

为了更好地表征微表情的动态局部纹理信息，需要将视频帧沿X轴、Y轴及T轴方向分割为若干个立方块。然后提取每个分块的LBP-TOP特征。按这种方法，在每个分块提取到的特征向量维数为3×2p，其中p为邻域点个数。考虑到LBP各模式的出现频率，在研究中广泛采用的是均匀LBP-TOP描述子[19]，每个分块特征向量的维数为3[p(p-1)+3]。

1.2 HOG-TOP和HIGO-TOP描述子

HOG利用局部图像梯度方向直方图提取人体的外形和运动特征[20]。研究表明，HOG算子也适用于人脸微表情识别。

给定一幅静态图像I，可以由卷积算子得到水平和垂直方向的导数Ix和Iy。具体来说Ix=I*KT,Iy=I*K。其中K=[-1 0 1]T,*表示卷积运算。对于图像中的每一个像素点，其局部梯度方向θ和梯度幅值m为:

(1)

(2)

梯度方向θ∈[-π,π]。对θ进行量化，假设量化等级数为B,量化等级为β={1,2,…,B}。量化函数为Q:[-π,π]→β。这样，各分块区域ψ的梯度方向直方图可通过一个函数g:β→R计算得到，该函数定义为:

(3)

式中：b∈β。δ(i,j)定义为：

(4)

可根据同一个分块内的每一像素梯度计算结果，通过加权投票的方法得到该块的量化梯度方向。

HIGO算子是HOG的一种变形。HIGO采用更为简单的投票机制来计算各个分块的直方图，具体函数如下：

(5)

不同于HOG，HIGO算子忽略了梯度幅值对直方图的影响，因此对光照和对比度变化不敏感。

为了描述视频序列的动态纹理特征，需要将HOG和HIGO描述子推广到时空模式。分别计算三个正交平面XY、XT、YT的HOG和HIGO特征向量，再将三个平面的特征向量串联起来就构成HOG-TOP、HIGO-TOP特征描述子。

2 Fisher特征选择

运用上述三种特征描述子来进行面部图像分块特征的提取，当面部空间分块个数为k时，每一分块的胞元数为q，提取的LBP-TOP、HOG-TOP和HIGO-TOP特征向量维数分别是3k[p(p-1)+3]、3kq和3kq。这种高维的特征向量在分类微表情时，计算复杂，处理时间较长，而且特征向量中还包含与微表情发生无关的分量，进而影响分类的准确率，因此考虑用Fisher算法对特征向量进行降维处理和有效的筛选。

Fisher准则是一种有效的有监督特征选择方法[21-23]。其目的是从高维特征空间中筛选出鉴别能力强的低维特征，基本思想是在低维特征空间里，相同类别的样本尽可能密集，不同类别的样本距离尽可能远。

假设有分属于c个类别的N个样本：

X=[χ1,χ2,…,χN]=[X1,X2,…,Xc]

其中第i类的样本集合记为：

(6)

因此，类内散度矩阵为:

(7)

类间散度矩阵为:

(8)

则Fisher判据定义为:

JFisher=diag(Sb./Sw)

(9)

式中:“./”是矩阵的对应元素相除；函数diag()是取矩阵对角线上的元素组成一向量。JFisher中的元素为对应特征分量的权重，数值越大说明对应特征分量的类别区分度越高。选择最大的q个权重对应的特征分量组成特征子集，这就是Fisher特征选择的过程。

3 实 验

实验测试了特征描述子LBP-TOP、HOG-TOP、HIGO-TOP、不同参数分块、Fisher特征选择算法以及SVM不同核函数对微表情识别准确率的影响。实验环境为Windows 7操作系统、4 GB内存，编程环境为MATLAB 2016a。

3.1 数据集

为了更好地验证Fisher特征选择方法的性能，在两个微表情数据集上进行了实验，分别是中国科学院心理研究所建立的CASMEII和芬兰奥卢大学建立的SMIC。在CASMEII[24]中，分别让26个参与者观看不同类型的短片进行情感诱发，并采用一定的机制使其尽可能压抑自己的情感表露，通过200 fps的高速相机拍摄的247个微表情视频序列，标定了5种微表情类别，CASMEII数据集类别及样本分布如表1所示。SMIC[25-26]是通过对16个参与者采用类似的情感诱导机制，拍摄到了164个微表情视频序列，标定了3种微表情类别，其中正面情绪70个，负面情绪43个，惊讶51个。

表1 CASMEII微表情数据集类别及样本分布

微表情的发生时间非常短暂(大约1/25～1/3 s)，若用一个标准速度的相机来拍摄微表情，有些微表情只能维持4～5 帧，采集到的微表情序列太短将会限制特征的提取。为了解决这一难题，Li等[27]用时间插值模型(Temporal Interpolation Model，TIM)预处理微表情视频序列为相同长度，结果表明采用TIM10模型来预处理微表情视频序列，用时少、效果好。因此本文采用TIM10来预处理相关数据集。

3.2 实验步骤

(2) 对原始特征向量分别采用Fisher算法选取有效成分，实现降维，得到Fisher特征选择向量。

(3) 在CASMEII和SMIC数据集中，分别用原始特征向量与Fisher特征选择向量对支持向量机分类器进行训练。支持向量机的内核函数分别选择卡方核(Chi-Square Kernel,CSK)、直方图交叉核(Histogram Intersection Kernel,HIK)。

(4) 采用“留一交叉验证”的方式，分别计算两类特征向量的识别率。即每次选择一位受试者的所有视频序列作为测试样本，其余m个受试者的所有视频序列作为训练样本，共重复m+1次实验，计算这m+1次的平均分类识别率。

实验流程如图2所示，其中Fisher特征选择模块用虚线框。当不进行特征选择，直接用原始特征向量进行微表情识别实验时，不采用该模块。采用该模块时，是对原始特征向量进行特征选择后再进行微表情识别，以此对比Fisher特征选择对微表情识别性能的影响。

图2 实验流程示意图

3.3 结果分析

表2和表3为原特征向量和Fisher选择出的特征向量维数、分类所需时间以及该维数下微表情识别的准确率。其中：n代表原特征向量的维数；f代表Fisher选择后的特征向量维数；T、Acc分别代表在该特征向量下分类所需时间(单位：s)和分类识别率。

表2 原特征向量和Fisher特征向量的维数、运算时间以及直方图交叉核、卡方核分类准确率对比(CASMEII)

续表2

表3 原特征向量和Fisher特征向量的维数、时间以及直方图交叉核、卡方核分类准确率对比(SMIC)

可以看出，在各种情况下，经过Fisher选择后特征向量的维数、分类所需时间较原特征向量均有大幅度的下降，而识别准确率得以显著提高。在CASMEII和SMIC数据集中，经过Fisher特征选择的特征向量，最高的识别率分别为75.71%和75%，而在其他参数相同的情况下，原方法的识别率为46.96%和51.22%，识别率分别提高了61.22%和46.43%(计算公式为：(Fisher识别率-原方法识别率)/原方法识别率)；原特征向量的维数分别是19 116和12 744，采用的Fisher特征向量的维数分别是800和600，是原特征向量维数的4.18%和4.7%；原特征向量分类时间分别是760.49 s和129.27 s，Fisher方法分类所需时间分别为32.50 s和2.08 s，是原特征向量分类所需时间的4.27%和1.61%。

动作幅度小是造成微表情识别难度大的重要原因。文献[27]在MATLAB环境下，在提取LBP-TOP、HOG-TOP、HIGO-TOP三种描述子之前先进行动作放大的实验。该方法在CASMEII和SMIC上的最好性能分别是67.21%和68.29%，本文在同样实验环境下，没有进行动作放大，采用同样的三种特征描述子，Fisher特征选择后再进行微表情识别，其最佳性能的识别率较文献[27]在两个实验数据集上分别提高了12.65%和9.83%。

为了进一步从总体和平均的角度分析Fisher特征选择方法的性能，对比了同一数据集、同一特征描述子、同一分类核函数的在各种分块参数情况下，Fisher方法与原方法的平均性能。表4为Fisher特征向量维数占原特征向量维数的平均比例，表5为Fisher方法分类所需时间占原特征向量分类时间的平均比例，表6为Fisher方法较原方法平均分类识别率的提高值。

表4 Fisher特征向量维数占原特征向量平均比例 %

表5 Fisher特征向量分类所需时间占原特征向量分类时间的平均比例 %

表6 Fisher特征较原特征平均分类识别率提高比例 %

可以看出，在CASMEII和SMIC数据集中，采用Fisher方法对由LBP-TOP、HOG-TOP及HIGO-TOP提取到的特征分别进行特征选择，再运用SVM分类器进行训练和微表情识别，在卡方核、直方图交叉核两种情况下，向量维数和运算时间较原方法均有大幅度的下降，而平均识别率提高显著。

综上，无论从表2-表6所列出的各参数情况下的运行实例，还是从总体和平均的角度，均表明了Fisher特征选择方法能大幅度提高微表情分类的准确率并且简化分类运算复杂度和运行时间。

4 结 语

微表情是一个人试图压抑自己的真实情感，在无意识下产生的自发式表情，能够在测谎、心理诊断、侦查等方面发挥巨大的作用。微表情具有时间短、强度弱的特点，且发生只牵连到脸部的部分区域。针对现有常用的微表情特征描述子提取特征向量维数大、运行时间久的缺点，本文运用Fisher特征选择方法，对原特征向量进行降维。首先用Fisher算法对LBP-TOP、HOG-TOP、HIGO-TOP提取的原特征向量择优选择，再用SVM分类器的两种核函数(卡方核、直方图交叉核)进行“留一交叉验证”方法的微表情分类实验。实验表明：本文算法简单有效，在微表情CASMEII和SMIC数据集下，经Fisher选择后，特征向量的识别率最高分别达到75.71%和75%，较原特征向量识别率提高了61.22%和46.43%；同时，在两种数据集下，Fisher选择出的特征向量维数只是原特征向量维数的4.18%和4.71%，分类所需时间只是原方法的4.27%和1.61%。今后的工作重点是寻找微表情类别与特定面部区域的联系，以进一步提高微表情识别的准确率。