复杂场景下多姿态人脸知识蒸馏识别方法

孙兰兰

(桐城师范高等专科学校，安徽 桐城 231400)

人的面部表情是人类视觉中最普遍信息传达方式，在人与人接触过程中起着至关重要的作用。人脸的唯一性，使得人脸识别技术成为当前应用最广泛的识别方式。然而，对于复杂背景下的多姿态人脸识别还存在很大困难。在实际应用过程中，一方面，利用有效的面部特征表达是实现人脸识别关键，在有限运算资源条件下，要实现有效面部特征描述，必须能够快速地提取出面部特征关键点。另一方面，在云部署中，有效的人脸识别就是表示期望人脸特征维度尽量小，以达到快速匹配与检索的目的。由于特征表达的质量和维度对实际应用的精度和速度都有很大影响，所以有效的面部特征描述对于人脸识别是至关重要的。目前人脸姿态识别方法主要分为两种，第一种是基于双路循环生成对抗网络识别方法，该方法通过对人脸正面和侧面角度分析，能够进行多姿态人脸识别[1]；第二种是基于深度学习识别方法，该方法通过构建卷积神经网络，根据检测到的人脸关键点位置判断人脸姿态，结合损失函数提取当前人脸特征，获取人脸识别结果[2]。然而，上述两种方法通常参量大、计算量大，无法部署在有限资源移动设备上。为了解决这个问题，提出了复杂场景下多姿态人脸知识蒸馏识别方法。

1 复杂场景下多姿态人脸知识蒸馏模型构建

构建知识蒸馏模型，分析多姿态人脸特征，通过对复杂场景下多姿态属性分类处理，能够为人脸识别提供数据支持。

1.1 人脸多姿态样本分类

通过对预设数量人脸多姿态采样图像进行检测，能够得到人脸在复杂场景下旋转角度值，即偏航角、俯仰角、翻滚角。同时，将人脸图像、属性标识、人脸身份信息标注集成到标签源数据中。通过增强随机信号，获得了一个预输入的网络数据[3]。把数据分成若干个批次，每个批次包含n个样本。选取初始分类网络，通过将人脸多姿态采样数据作为输入样本，根据三个角的区间输出结果，依次训练输入样本，可获得分类结果。

1.2 知识蒸馏损失函数构建

根据不同角度下人脸多姿态特征，计算特征归一层与目标分类层之间的距离，并构建知识蒸馏损失函数，公式可描述为式(1)。

(1)

式(1)中，H表示分类网络所对应的人脸多姿态样本经过统一处理后的通道数；Tl表示第l层所输出图像经过统一尺寸后的特征位置[4]。

根据分类层次中各个分支全连接层的输出结果，对偏航角方向、俯仰角方向、翻滚角方向相对应的人脸姿态角间隔进行分类处理。根据各角度区间分类概率，求出相应于各方向的角连续值，并构建角度回归损失如式(2)所示。

(2)

公式(2)中，θ1、θ2、θ3分别表示偏航角、俯仰角、翻滚角；Lθ1、Lθ2、Lθ3分别表示三个角的损失值；Uθ1、Uθ2、Uθ3分别表示三个角在连接层中的输出值；Kθ1、Kθ2、Kθ3分别表示三个角在分类层的属性；Cθ1、Cθ2、Cθ3分别表示三个角预测值；C1、C2、C3分别表示三个角的实际值[5-6]。将偏航角、俯仰角、翻滚角数值输入到目标分类层次中，并将被划分的各个角间隔区间概率作为输出，分析知识蒸馏损失结果。

1.3 人脸知识蒸馏模型构建

根据角间隔区间概率输出结果，结合各个角度所在方向造成的蒸馏损失，以此为依据构建人脸知识蒸馏模型，如图1所示。

由图1可知，在残差网络中分析特征蒸馏关键点，将三个角所对应的分支依次连接到全连接层中，分析三个角度方向上的损失值，将该数值作为模型输入进行人脸识别[7]。

图1 人脸知识蒸馏模型

2 基于知识蒸馏的复杂场景下多姿态人脸识别

结合复杂场景下构建的多姿态人脸知识蒸馏模型，使用三维地标检测方法提取人脸关键点。结合径向基函数重构人脸模型，获取三维人脸曲面，计算偏航角方向、俯仰角方向、翻滚角方向的人脸姿态参数，使用不同蒸馏点损失自适应调整方案，识别多姿态人脸。

2.1 基于三维地标检测的人脸关键点提取

三维地标指的是三维人脸上的关键点，三维人脸表情识别技术是利用地标追踪技术对人脸进行动态分析的方法，采用一组八个具有稀疏解剖标志的人脸模型进行特征提取，该模型如图2所示。

图2 解剖标志稀疏人脸模型

由图2可知，该模型连接的关键点包括右眼外角、右眼内角、左眼内角、左眼外角、鼻尖、右上角、左上角、下巴尖、额头、嘴巴[8-10]。基于此，三维地标形状矢量可表示为式(3)。

(3)

式(3)中，xx,1,xx,2,…,xx,10分别表示10个关键点的三维坐标。充分考虑复杂场景下多姿态人脸变换，使用最小化三维欧式相似变换方法计算不同关键点三维坐标之间的距离，公式可表示为式(4)。

(4)

式(4)中，aj表示地标的平均形状，指的是所有实例形状的平均值[11]。由于这是一个迭代处理过程，平均形状在每个迭代过程中都对齐当前平均形状。每个平均形状是从具有不同目标正面面部扫描手动注释训练集合中统计出来的[12]。

2.2 关键点融合

使用径向基函数方法重构人脸模型时，假设归一层与分类层两个层次的人脸面部曲面为q1、q2，对应的影响因子分别为λ1、λ2，影响因子如式(5)。

(5)

式(5)中，n1、n2分别表示两层特征数；d1、d2分别表示两层特征点距离[13]。融合两层人脸面部轮廓曲线交界点，形成一个新的轮廓曲面，该曲面即为重构曲面[14]。重新计算融合后两个层次的交界位置，缩小误差，尽量保证各个点位全部融合，由此形成了一个特定的三维人脸曲面。

2.3 人脸多姿态参数计算

根据形成的特定三维人脸曲面，计算每一个自由度上的变化，结合偏航角方向、俯仰角方向、翻滚角方向计算结果获取人脸当前姿态参数。

2.3.1 偏航角方向人脸姿态参数计算

将人脸放置在三维坐标系中，人脸相对于Z轴偏离程度即为偏航角大小，以人脸内眼点或外眼点为关键点，根据式(6)计算偏航角值。

(6)

式(6)中，xa、xb分别为两个关键点的横坐标；ya、yb分别为两个关键点的纵坐标。

2.3.2 俯仰角方向人脸姿态参数计算

将人脸放置在三维坐标系中，人脸相对于Y轴偏离程度即为俯仰角大小，以人脸内眼点和外眼点为关键点，根据式(7)计算俯仰角值。

(7)

式(7)中，s1表示相机的焦距；s2表示中心投影到眼睛的距离；s3表示眼睛到平面图像的距离；xa表示内眼点横坐标。

2.3.3 翻滚角方向人脸姿态参数计算

将人脸放置在三维坐标系中，人脸相对于X轴偏离程度即为翻滚角大小，以鼻子点的位置为关键点，根据式(8)计算翻滚角值。

(8)

式(8)中，f0表示鼻子点实际在三维坐标系中的数值；f1表示翻滚角方向下的投影值。

通过上述计算的三个旋转角度，获取人脸在多姿态下的参数。

2.4 多姿态人脸识别

结合计算的偏航角、俯仰角、翻滚角值，调整不同蒸馏点在不同训练阶段的蒸馏损失，在预处理过程中，采用广义行列积分法分别对左眼、右眼、鼻子、嘴巴等部位进行横向积分(或方差)投影[15]。自适应阶梯型蒸馏损失是一个全局控制性损失，令G={G1,…,Gi}为i个需要调控的蒸馏点集合，则蒸馏损失可表示为式(9)。

L1=ϑ1ω1G1+ϑ2ω2G2+…+ϑiωiGi

(9)

式(9)中，ωi表示第i个损失所对应的Gi权重；ϑi表示对应Gi的阀门，控制蒸馏点是否参与到总的训练过程中，对应阀门的设计如式(10)所示。

(10)

式(10)中，Pi表示蒸馏点损失参与训练的概率。将人脸分类与蒸馏调控下的多个蒸馏点联合训练，通过训练得到的结果进行人脸识别。如果左眼、右眼以及鼻子的蒸馏点数大于设定的阈值，那么保存当前参与训练的参数。根据保存的参数进行融合处理，能够得到人脸识别结果。

3 实验

3.1 实验数据来源

选取某所学校发布的BU3DFE静态数据库，包含150个研究对象、3000个脸部表情，BU3DFE数据库可供不同研究领域使用。目前，在该资料库中18～65岁的妇女有86人，男性有64人，其中有高加索人、黑人、东亚人、中东亚人、印度人、西班牙人和拉丁人。每个样本执行了六个表情，分别是无表情、高兴、伤心、生气、怀疑、惊讶，如图3所示。

图3 六种表情

由图3可知，每个样本有25个三维表达模型，数据库中总共包含有3000个三维表情模型，以及3000个两视图的纹理图像。

六种表情的嘴巴特征参数，如表1所示。

表1 六种表情的嘴巴特征参数

根据表1中数据，判定所研究方法识别精度。

3.2 实验结果与分析

为了验证复杂场景下多姿态人脸知识蒸馏识别方法应用合理性，将该研究方法与双路循环、深度学习识别方法的人脸姿态特征参数识别结果进行对比分析，如表2所示。

表2 三种方法人脸姿势特征参数 mm

使用双路循环识别方法在表2高兴、生气表情人脸姿态数据中，出现了与表1实际参数相差较大的情况。对于该情况下的表情识别结果如图4所示。

图4 双路循环生成对抗网络识别方法的表情识别结果

使用基于深度学习的轻量级和多姿态识别方法在表2高兴、生气、怀疑表情人脸姿态数据中，出现了与表1实际参数相差较大的情况。对于该情况下的表情识别结果如图5所示。

图5 深度学习识别方法的表情识别结果

使用多姿态人脸知识蒸馏识别方法在表2惊讶表情人脸姿态数据中，出现了与表1实际参数最大误差为2mm的情况，对于该情况下的表情识别结果如图6所示。

图6 多姿态人脸知识蒸馏识别结果

由图6可知，该情况并不影响表情识别结果，能够得到与图3所示一样的人脸识别结果。

结语

提出的复杂场景下多姿态人脸知识蒸馏识别方法，使用了特征融合方式，在多姿态人脸识别过程中实现了多姿态特征角度的融合。再结合知识蒸馏模型进行人脸识别的思路具有一定普适性，可提高识别精度。该方法要求对三维人脸重建时进行人工标定，使计算机自动检测成为了今后研究重点。其次，对姿态参数估算耗时较长，如何改进算法也是后续亟需解决的问题。