基于偏最小二乘回归的性别识别

薛佳辰，冯 钧，雷 震，李子青

（1.河海大学 计算机与信息学院，江苏 南京210000；2.中国科学院自动化研究所模式识别国家重点实验室，北京100190）

0 引 言

随着生物识别技术在监控、人机交互、人口统计等方面的广泛应用，性别识别［1］作为其重要分支近年来已经成为一个研究热点，国内外的很多学者都对其进行了研究。

早期的大多数研究主要集中于解决单一受控场景下的人脸图像的性别识别［2－4］。这些人脸图像一般没有光照、表情、姿态等变化，在这种环境下，性别识别取得了较好的效果。但由于自然场景远比受控场景复杂，这就要求性别识别系统对于光照、表情、姿态等影响具有很好的鲁棒性，同时满足简单高效的计算要求以及较好的泛化能力。高伟等人［5］使用概率提升树 （probabilistic boosting tree）进行

性别估计，并研究了种族对于性别估计的影响。Shan C.等［6］先用Adaboost挑选局部二元模式 （LBP）特征，然后使用非线性的SVM进行性别识别。

为了解决自然场景下的性别识别问题，本文提出了一种基于PLS模型［7－9］的性别识别方法。由于PLS是一种线性回归模型，因此符合计算简单高效的要求。在特征抽取阶段，本文使用MB－LBP［10］算子来提取图像的特征，并提出一种新的特征算子 MBV－LBP作为 MB－LBP的补充。通过实验证明了这种基于PLS的新方法既可以取得较好的实验结果，同时又提高了泛化能力。

1 人脸图像的特征提取

和其它模式识别问题一样，性别识别可以分为特征提取和分类识别两个阶段。通常情况下，特征提取是识别任务的前提，对于最终的识别效果影响很大。

局部二元模式 （local binary pattern，LBP［11］）作为一种典型的描述图像局部纹理特征的算子，在人脸识别领域发挥了重要的作用。虽然LBP算子对单调的灰度变化具有不变性，但由于这种特征的局部化特点，使其易受噪声的影响而不够稳定，同时缺乏对整体信息的描述能力。S.Liao等人［10］对LBP进行了改进，提出了一种新的特征描述算子MB－LBP。在原始的LBP算子中，相邻的单个像素灰度值被用来与中心灰度值进行比较进而获得编码。在MB－LBP算子中，进行比较的是子区域的平均值，它有效地提取了人脸的宏观纹理结构特征，提高了对光照、表情等影响的鲁棒性。

实验证明MB－LBP是一种有效的提取图像纹理特征的算子。然而，局部区域的平均值操作只反应了图像的一阶特性，忽略了包含丰富信息的高阶特性。因此，本文提出了一种新的特征算子 MBV－LBP （multi－scale block variance local binary patterns），提取图像的高阶信息纹理特征。与MB－LBP算子不同，在 MBV－LBP算子中，进行比较并且编码的是子区域的方差值，由于方差能很好地描述数据的波动关系，因此 MBV－LBP算子能有效表示出子区域之间的变化差异，从原始的人脸图像中提取出更细微的纹理结构信息。通过把包含一阶信息的MB－LBP和包含高阶信息的MBV－LBP结合起来，我们可以提取出更加完备的特征。这对于随后的性别识别任务是非常有利的。图1简单展示了MB－LBP和 MBV－LBP算子的编码过程，对于 MB－LBP算子，是将子区域0－8的平均值进行比较编码；对于MBVLBP算子，则是将子区域0－8的方差进行比较编码。

图1 MB－LBP和MBV－LBP编码过程

此外考虑到计算的简单高效性，MB－LBP特征的提取过程借助积分图进行加速，同样，MBV－LBP的运算过程也可以通过积分图进行加速，参考式 （1），和传统的积分图操作不同的是，它是先对图像灰度值进行平方，然后再构造积分图式中：u——子区域的平均值，n——子区域中的像素点个数。

图2中显示了分别通过 MB－LBP和 MBV－LBP算子提取的特征图像。可以看出，MB－LBP算子抽取了宏观的轮廓特征，忽略了一些纹理的细节，而MBV－LBP则着重于提取细节纹理特征，两者结合可以提供更加完备的特征信息。

图2 MB－LBP、MBV－LBP特征

2 基于偏最小二乘回归的性别识别

偏最小二乘法 （PLS）通过探寻自变量X和应变量Y之间的相关关系进行回归建模。经过几十年的研究，在理论和应用方面都取得了迅速发展。

PLS方法研究的焦点是通过提取自变量X和因变量Y的隐含成分 （latent component），也时常称为因子，分别对X和Y进行分解，并通过使因子之间的协方差最大来保证隐含成分之间的相关性。其核心假设是，认为观测到的数据是由少量隐含成分 （不是直接观察或者测量到的变量）驱动的系统或进程产生的。其默认假设是：①来自自变量X的隐含成分可以很好的预测因变量Y的值；②X和Y的隐含成分矩阵T和U之间存在一个线性约束关系，也就是U＝TD＋H。因此，PLS方法研究的关键点也就是如何得到这些因子。

基于偏最小二乘回归的性别建模：偏最小二乘法已经成功应用到了工程技术、生物医学等领域的分析预测、多元回归分析和建模中，这里，第一次将PLS应用到性别识别领域，用PLS模型来探寻特征集X和性别标签集Y之间的内在关系。假设矩阵X表示特征集，其中每一列xi对应一个样本特征，矩阵Y表示性别标签集，在这里的特定应用下，矩阵Y实际上是一个一维向量，其中每一维yi是xi对应的性别。这样，X和Y分别是 （n×N）、（n×1）的零均值矩阵。PLS将X和Y分解成如下的形式

其中，T和U是大小为 （n×p）的提取出来的p个隐含成分所构成的矩阵，P和Q分别是大小为 （N×p）和 （1×p）的系数矩阵，E和F分别是大小为 （n×N）和 （n×1）的残差矩阵。PLS的求解方法可以参考非线性迭代的最小二乘算法 （NIPALS），在这个算法中每一次迭代都求得一个基础向量w和c，从而把X和Y投影到一个一维空间，得到X和Y的一个相关成分，使得得分向量t和u （分别是T和U的列向量）之间的协方差最大

也就等价于

显然，可以把求解w的问题转化成求解如下式子的最大特征值问题

其它的变量参数可以根据NIPALS算法中的相互关系求解得到。PLS采用了贪婪策略求得每一次迭代中的一个基础向量，然后把X和Y投影到一个低维空间。由于U＝TD＋H，其中，D是一个 （p×p）的对角矩阵，H是残差矩阵。于是可以得到

其中，CT＝DQT是 （p×1）的回归系数矩阵，F＊＝HQT＋F是残差矩阵。把X和Y投影到隐含空间后，就可以找到（N×1）的回归矩阵B使得

其中，B ＝ XTU（TTXXTU）－1TTY

从式 （9）可以发现，PLS模型只使用到了p个隐含变量，一般情况下p＜＜N。并且，PLS模型同时完成了特征降维和性别识别两大任务，这在实际应用中是非常高效的。

3 实验与讨论

本文选择两个数据库进行实验，一个是公开的人脸数据库LFW［12］，另一个是从互联网上采集的人脸图像组成的Web数据库。这两个数据库中的人脸图像都是在真实环境下采集，包含着复杂的表情、光照、姿势变化。图3中随机的列出了两个数据库中的一些人脸样例。从样例图像中可以发现，Web库中的图像比LFW库中的图像更复杂更难处理，这与最后实验中的识别率也是一致的。

3.1 对PLS模型的分析

在进行测试之前，先分析训练得到的PLS模型，图4中展示了通过PLS模型学习得到的最具有性别辨识力的人脸区域。从图中可以看出，这些区域集中在眼睛和嘴附近以及脸庞周围，这与人眼的视觉观察是一致的，因为这些区域携带了较强的性别信息，例如通过是否有胡子就可以很容易辨别出来是男性还是女性。

图3 LFW库和Web库中的示例图像

图4 对训练得到的PLS模型的视

3.2 实验方法

首先手动的对人脸图像进行性别的标识，过滤掉有争议的或者人眼辨识模糊的图片，最后共得到LFW库的图像12836张、Web库的图像15749张，所有的图像均分割且归一化到142×120像素大小。

在提 取 MB－LBP特征和 MBV－LBP特征 时，由 于S.Liao等［10］已经证实了中小尺度的特征能获得更好的判别能力，本文在MB－LBP和 MBV－LBP中使用的尺度为3×3，9×9，15×15，21×21，27×27，33×33 （注意，尺度为3×3的MB－LBP特征实际上就是原始的LBP特征）。然后，把人脸图像分成20×20的42个子块，提取每块的直方图特征并串接起来组成最后的特征。

为了测试算法的有效性和泛化能力，本文设计了两类实验。第一类，训练集和测试集来自同一个数据库，使用5倍交叉验证得到平均结果。第二类，训练集和测试集来自不同的数据库，来测试方法的泛化能力。

3.3 实验结果

本文将PLS与一些经典的识别方法进行比较，如Adaboost，AdaSVM （Adaboost＋SVM），PCA＋LDA。对于Adaboost方法，选取700个特征组合成最终的分类器。对于AdaSVM，由Adaboost选出来的700个特征进一步通过基于RBF核的SVM分类器来进行分类学习。对于PCA＋LDA，主成分保留了原始能量的95%。具体的实验结果可以参看以下表格。

在第一类实验中，采用5倍交叉验证的策略。表1和表2分别是在LFW库和Web库上的实验结果。从中可以看出，把MB－LBP和MBV－LBP特征融合起来可以提高性别识别的准确率。对于分类方法之间的比较，PLS模型明显优于Adaboost、AdaSVM以及PCA＋LDA的方法，通过对MB－LBP和MBV－LBP特征融合，PLS可以在两个库上分别得到95.49%和88.34%的最高识别率。在第二类实验中，训练集和测试集来自不同数据库，实验结果已在表3、表4中列出。从实验数据来看，PLS模型较之于其它分类方法依然取得了最好的结果，另外，与使用单一的特征算子相比，MB－LBP和 MBV－LBP的融合可以得到更好的效果。

表1 LFW库上的实验结果

表2 Web库上的实验结果

表3 在Web库上训练、LFW库上测试的实验结果

表4 在LFW库上训练、Web库上测试的实验结果

通过上述实验，可以得出两个结论：①MB－LBP和MBV－LBP特征算子的融合明显比单独的特征算子描述能力强，能取得更好的性别识别效果，证明了 MBV－LBP与MB－LBP之间的互补性。②在分类方法中，PLS仅使用了不高于30维的隐含变量便取得了较好的识别效果，相比Adaboost使用700维特征，明显地提高了计算效率。图5显示了使用不同个数的隐含因子得到的识别率，跨库实验也证明了PLS模型的泛化能力也很好。

4 结束语

图5 不同数量隐含因子下PLS模型的识别率

本文就自然场景中人脸图像的性别识别提出了一种基于偏最小二乘回归 （PLS）的识别方法，并提出了一种新的特征算子MBV－LBP。

首先对人脸提取 MB－LBP特征和 MBV－LBP特征，然后通过PLS对特征和性别之间的隐含关系进行建模，最后在LFW库和Web库上进行了性别识别的实验。实验结果表明基于MB－LBP和 MBV－LBP的特征融合能够提供更加完备的描述信息，PLS也比目前流行的性别识别算法更有优越性，泛化能力更好。

［1］XU Ziyi.Gender recognition based on face images ［D］.Shanghai：Shanghai Jiaotong University，2009 （in Chinese）.［许孜奕.基于人脸的性别识别 ［D］.上海：上海交通大学，2009.］

［2］Bekios－Calfa J，Buenaposada J M，Baumela L.Revisiting linear discriminant techniques in gender recognition ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （4）：858－864.

［3］Alexandre L A.Gender recognition：A multiscale decision fusion approach ［J］.Pattern Recognition Letters，2010，31（11）：1422－1427.

［4］Ullah I，Hussain M，Muhammad G，et al.Gender recognition from face images with local WLD descriptor ［C］／／19th International Conference on Systems，Signals and Image Processing.IEEE，2012：417－420.

［5］Gao W，Ai H.Face gender classification on consumer images in a multiethnic environment ［M］.Advances in Biometrics.Springer Berlin Heidelberg，2009：169－178.

［6］Shan C.Learning local binary patterns for gender classification on real－world face images ［J］.Pattern Recognition Letters，2012，33 （4）：431－437.

［7］Kruger U，Xie L.Partial least squares ［J］.Statistical Monitoring of Complex Multivariate Processes：With Applications in Industrial Process Control，2012：375－409.

［8］Cleophas T J，Zwinderman A H.Partial least squares ［M］.Machine Learning in Medicine.Springer Netherlands，2013：197－213.

［9］Abdi H.Partial least squares regression and projection on latent structure regression（PLS Regression）［J］.Wiley Interdisciplinary Reviews：Computational Statistics，2010，2 （1）：97－106.

［10］Liao S，Zhu X，Lei Z，et al.Learning multi－scale block local binary patterns for face recognition ［C］／／Proceedings of the 7th International Conference on Advances in Biometrics，2007：828－837.

［11］Doshi N，Schaefer G.A comparative analysis of local binary pattern texture classification ［C］／／Visual Communications and Image Processing.IEEE，2012：1－6.

［12］Huang G，Ramesh M，Berg T，et al.Labeled faces in the wild：A database for studying face recognition in unconstrained environments ［C］／／Workshop on Faces in ‘Real－Life’Images：Detection，Alignment，and Recognition，2008.