基于InceptionV3和特征融合的人脸活体检测

杨瑞杰，郑贵林

基于InceptionV3和特征融合的人脸活体检测

杨瑞杰*，郑贵林

（武汉大学 电气与自动化学院，武汉 430072）（ ∗ 通信作者电子邮箱2323309093@qq.com）

针对身份验证中经常出现的照片欺诈问题，提出了一种基于InceptionV3和特征融合的人脸活体检测模型——InceptionV3_FF。首先，在ImageNet数据集上预训练InceptionV3模型；其次，从InceptionV3模型的不同层得到图像的浅层、中层和深层特征；然后，将不同的特征进行融合得到最终的特征；最后，使用全连接层对特征进行分类，从而实现端到端的训练。InceptionV3_FF模型在NUAA数据集和自制的STAR数据集上进行仿真实验，实验结果表明，InceptionV3_FF模型在NUAA数据集和STAR数据集上分别取得了99.96%和98.85%的准确率，高于InceptionV3迁移学习和迁移微调模型；而与非线性扩散卷积神经网络（ND-CNN）、扩散核（DK）、异构内核卷积神经网络（HK-CNN）等模型相比，InceptionV3_FF模型在NUAA数据集上的准确率更高，具备一定的优越性。InceptionV3_FF模型对数据集中随机抽取的单张图片进行识别时，仅需4 ms。InceptionV3_FF模型和OpenCV结合构成的活体检测系统可以对真假人脸进行识别。

活体检测；特征融合；人脸识别；ImageNet数据集；NUAA数据集；迁移学习

0 引言

人脸欺诈问题是图像识别领域的重要研究课题，也是人脸识别应用中重要的一环，按照其欺诈方式的不同可以分为照片欺诈［1-2］、视频欺诈［3-4］和3D人脸欺诈［5-6］，本文主要研究的是照片欺诈。

人脸活体检测模型大致可以分为传统的活体检测模型和基于深度学习的活体检测模型两大类。Kim等［7］选取685 nm和850 nm两个红外光波段，将波段下采集的人脸图像投影到二维空间进行真假人脸分类。Boulkenafet等［2］重点研究了亮度和颜色，利用颜色和纹理的联合信息进行识别，取得了很好的结果。但是，传统的模型依赖于手工设计特征，特征代表性不强，很难分辨高清图片和真实人脸之间的细微差别。基于此，更多的研究者将目光转向了深度学习。

Atoum等［8］利用卷积神经网络提取图片特征，将人脸深度图作为真假人脸的分类依据，进行真假人脸识别。Liu等［9］提出利用时间和空间信息作为辅助信息得到的识别模型的准确率超过了以局部二值模式（Local Binary Pattern， LBP）［10］为代表的传统图像分类模型。Tang等［11］提出使用卷积神经网络（Convolutional Neural Network， CNN）从人脸图像中提取不同的特征（时间特征、颜色特征、局部特征）并进行特征融合，利用融合后的特征进行活体检测分类。

为应对小样本数据集的问题，Lucena等［12］提出采用迁移学习的方式将VGG16（Visual Genometer Group）迁移过来，修改分类层，得到的模型结果也不错。邓雄等［13］迁移MobileNetV2模型从RGB、HSV、局部二值模式（LBP）三种图像中提取特征进行融合，在SiW数据集上取得了较低的错误率。

之后，更多的学者开始探索使用不同的特征进行融合，来更好地分类图像。栾晓等［14］提出的模型因为融合了深度图上的深度信息、光流图上的动态信息以及残差噪声图上的二次成像噪声信息，在NUAA等数据集上取得了不错的结果。Tronci等［15］提出了融合纹理信息和运动信息的活体检测模型。Yan等［16］提出将非刚性运动、人脸背景一致性、图像条纹效应三种特征融合后进行活体检测模型。Wang等［17］融合深度信息和纹理信息进行人脸活体检测。蔡佩等［18］提出了基于CNN和亮度均衡的人脸活体检测模型。封筠等［19］使用融合后的DQ_CoALBP（Different Quantization Co-occurrence of Adjacent Local Binary Pattern）和局部相位量化（Local Phase Quantization， LPQ）算子进行特征提取并用支持向量机（Support Vector Machine，SVM）进行人脸欺诈判别。Li等［20］设计了融合边缘检测的双目立体网络进行活体检测。

基于深度学习的算法可以有效弥补传统算法的不足。但是大部分的研究都是专注于如何更好地提取图像的深层特征，或者融合不同的深度特征进行分类，而关于如何融合图像的浅层、中层和深层特征的研究较少；所以，本文提出一种基于InceptionV3［21］和特征融合的人脸活体检测模型InceptionV3_FF（InceptionV3 and Feature Fusion），该模型从预训练的IncepionV3模型的不同层中得到图像的浅层、中层和深层特征，并将所有特征进行融合，最后使用softmax全连接层进行分类。

1 数据集

1.1　数据集

本文所使用的数据集是NUAA数据集和STAR数据集。NUAA数据集是通过电脑摄像头捕获得到的。真实人脸图像是在不同的位置不同的光照条件下收集的15个受访者在受到限制条件下（不随意的头部运动和眨眼，使得尽可能与虚假图像相像）的图像。虚假图像是先使用相机捕获面部图像，再将其打印在尺寸为6.8 cm×10.2 cm、8.9 cm×12.7 cm的相纸（使用传统照片打印方法）和70张GSM A4纸张（使用彩色HP打印机），最后使用网络摄像头重新捕获这3类获得的。

STAR数据集的真实人脸图像是从互联网上下载的照片、海报、证件照等。虚假人脸图像是通过手机拍摄的在不同光照条件下的杂志、电脑屏幕上的照片。真假数据集涉及的人物只有部分重合，类间差异比较大。

将NUAA数据集和STAR数据集中的图像按照6∶2∶2的比例划分为训练集、验证集和测试集。表1中的数字代表的是划分后的图像的数量。

表1数据集的划分

Tab.1　Dataset partitioning

1.2　预处理

NUAA数据集和STAR数据集都属于小样本数据集，为了提高数据集的复杂度，对数据集中的图像进行数据增强，具体的图像增强的参数如表2所示。

表2数据增强参数

Tab.2　Data augmentation parameters

2 InceptionV3_FF模型

2.1　迁移学习

迁移学习［22］的核心思想是找出问题之间的相似性，完成迁移。迁移学习可以有效解决深度学习应用时所遇到的数据集小、训练平台配置低、模型训练时间长的问题。迁移学习的具体方法是将在源域训练好的数据、模型或特征迁移到目标域上使用。迁移学习可以分为基于实例的迁移学习、基于特征的迁移学习、基于关系的迁移学习和基于模型的迁移学习这四种。

本文所使用的迁移方式是基于模型的迁移，是将在源域训练好的模型的结构和参数迁移到目标域的一种迁移方法。具体表现为将在ImageNet数据集上预训练好的模型InceptionV3保存后，迁移到NUAA数据集和STAR数据集进行使用。ImageNet数据集有14 197 122幅图像，数据集大、质量高，可以训练出很深的卷积神经网络结构，在图像分类领域应用广泛。

2.2　InceptionV3模型

InceptionV3模型是由谷歌团队搭建的，取得了2014年ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比赛的冠军。InceptionV3深度为159，共23 903 010个参数，大小为92 MB。InceptionV1模型的贡献是在模型中加入了1×1的卷积核，起到了降低特征图厚度的作用。InceptionV2模型的贡献是加入了BN（Batch Normalization）层，使每一层的输出都规范化到一个N（0，1）的高斯，并且使用2个3×3的卷积核替代Inception模块中的5×5卷积核，既降低了参数数量，也加快了计算。InceptionV3模型的贡献是拆分网络，使得网络深度进一步增加，也增加了网络的非线性。

InceptionV3的模型展开后共有312层，结构如图1所示。图1中Much层代表多层网络结构（多个卷积层、池化层、激活层）。第1个Much代表模型的1～39层，第2个Much代表模型的41～163层，第3个Much代表模型的164～310层。Mixed0、Mixed5、Mixed10代表的是模型的层名。

图1　InceptionV3的结构

根据Zeiler等［23］的研究可知，1～2次卷积可以得到图像的颜色、边缘等浅层特征，3次卷积可以得到图像的纹理特征，5次左右可以得到图像具有辨别性的关键特征，卷积次数越多，得到的图像特征相对就越深、分类效果越好，所以取Mixed0层的输出作为浅层特征，取Mixed5层的输出作为中层特征，取Mixed10层的输出作为深层特征。然后，将得到的浅层、中层、深层特征进行融合，得到最终的特征输入全连接层进行分类。

2.3　InceptionV3_FF模型

本文提出的InceptionV3_FF（InceptionV3 and Feaure Fusion）模型共有10层，深度为6，模型结构如图2所示。Pooling代表的是全局平均池化（GlobalAveragePooling2D）。

图2　InceptionV3_FF的结构

从图2中可以看出，InceptionV3_FF模型由三部分组成：输入层、特征提取层和分类层。输入层输入的是图像预处理后的图像。特征提取层由Model1、Model2、Model3三部分组成。Model1代表的是图1的Model1，指的是迁移的InceptionV3模型的0～40层的网络模型；Model2代表的是图1的Model2，指的是迁移的InceptionV3模型的0～164层的网络模型；Model3代表的是图1的Model3，指的是迁移的InceptionV3模型的0～310层的网络模型。ReLU（Rectified Liner Unit）层指的是激活函数为ReLU的全连接层，Softmax层指的是激活函数为Softmax的全连接层，用于分类。

InceptionV3_FF模型的Model1提取的是图像的浅层特征，Model2提取的是图像的中层特征，Model3提取的是图像的深层特征。InceptionV3_FF模型进行训练时学习率（learning rate）设为0.005，采用accuray作为模型的评价指标，模型训练200次，每一批次有20幅图像。

3 实验与结果分析

3.1　InceptionV3_FF模型结果（NUAA数据集）

InceptionV3_FF模型的结构如图2所示，模型采取随机梯度下降法（Stochastic Gradient Descent， SGD）进行训练，学习率是0.005，动量是0.9，loss采取categorical_crossentropy，每批次数据有20个，训练200 epoch，每个epoch训练100次。

InceptionV3_FF模型在NUAA数据集上训练200个epoch后，训练集和验证集的准确率变化曲线如图3所示。取最后10个epoch的平均值作为最终的值，故训练集的准确率为99.81%，验证集的准确率为99.96%。加载模型对测试集中的数据进行测试，测试集的准确率为99.96%。

从图3中可以看出，模型训练50个epoch左右就达到了一定的准确率，随着训练步数的增加，模型的准确率逐渐趋于稳定。实验结果表明，InceptionV3_FF模型在NUAA数据集上的训练测试结果波动较小，准确率很高。

图3　InceptionV3_FF模型准确率（NUAA数据集）

图4是InceptionV3_FF模型在NUAA数据集上训练时训练集和验证集的损失函数变化。图4的损失函数变化表明，模型的准确率虽然很高，但是并没有出现过拟合现象。

图4　InceptionV3_FF模型损失函数（NUAA数据集）

3.2　InceptionV3_FF模型结果（STAR数据集）

将InceptionV3_FF模型按照同样的超参数设置，在STAR数据集上训练200 epoch，得到的模型的结果如图5所示，训练集准确率为99.8%，验证集准确率为98.9%，测试集的结果为98.85%。InceptionV3_FF模型在STAR数据集上也能够得到较好的结果。

图5　InceptionV3_FF模型准确率（STAR数据集）

图6是InceptionV3_FF模型在STAR数据集上训练时训练集和验证集的损失函数变化。图6的损失函数变化表明，模型在STAR数据集上没有出现过拟合现象。

图6　InceptionV3_FF模型损失函数（STAR数据集）

InceptionV3_FF模型在两种数据集上都取得了很好的效果，表明了InceptionV3_FF模型结构的有效性。为了进一步验证算法的优越性，将InceptionV3_FF模型与InceptionV3_T模型（迁移）和InceptionV3_TL模型（迁移+微调）进行对比分析。

3.3　InceptionV3_FF模型与迁移学习模型对比

将在ImageNet预训练好的InceptionV3模型去除分类层后迁移到新数据集上，加上新的分类层后得到新的模型。只训练分类层得到的是InceptionV3_T模型；训练分类层，并微调特征提取层得到的是InceptionV3_TL模型。将3个算法模型在NUAA数据集和STAR数据集中的测试结果进行对比，对比结果如表3所示，其中AUC（Area Under Curve）为ROC曲线下的面积。

表33种模型的测试结果对比

Tab.3　Comparison of test results of three models

从表3中可以看出：1）无论是在NUAA数据集中还是在STAR数据集中，InceptionV3_FF模型的准确率都要高于InceptionV3_T和InceptionV3_TL；2）三种模型在NUAA数据集上取得的结果都要优于STAR数据集上的结果。

3.4　InceptionV3_FF模型与其他模型对比

将本文提出的InceptionV3_FF模型与其他文献模型进行对比，对比结果如表4所示。Alotaibi等［24］提出了基于非线性扩散核深度卷积神经网络（Nonlinear Diffusion-CNN， ND-CNN）的模型。非线性扩散的作用是通过快速扩散输入图像，帮助区分假图像和真实图像，深度卷积神经网络用来提取最重要的特征，从而实现更好的分类。Yu等［25］提出的扩散核（Diffusion Kernel， DK）模型是通过广义多核学习方法融合扩散核（DK）特征和深度特征进行分类。蔡祥云［26］提出了基于局部感受野的极限学习机（Extreme Learning Machine-Local Receptive Field， ELM-LRF）模型。该模型的特点在于随机生成输入权重，然后采用正则化最小二乘法解析计算出输出权重。陈路燕［27］使用ResNet50的网络架构提取图像的深度特征，之后引入压缩-激励模块SE（Squeeze and Excitation）协助特征分类。卢鑫［28］提出的异构内核卷积神经网络（Heterogeneous Kernel-CNN， HK-CNN）模型是通过重新构造卷积神经网络的卷积核来完成活体检测。曲啸枫［29］提出的基于纹理特征融合的模型，融合了局部二值模式（LBP）、灰度分布统计（Gray Statistics， GS）、灰度共生矩阵（Gray Level Co-occurrence Matrix， GLCM）在时空域上的纹理特征和对偶树复小波变换（Dual-Tree Complex Wavelet Transform， DT-CWT）动态纹理特征在频率域上的信息，在NUAA数据集上取得了较高的准确率。李新豆等［30］提出的模型使用两个支持向量机（Support Vector Machine， SVM）进行分类：一个支持向量的输入特征是使用LBP提取的扩散速度特征，另一个则是图像的模糊特征和色彩纹理特征。

从表4中可以看出，本文模型InceptionV3_FF通过InceptionV3模型提取图像的浅层、中层和深层特征进行融合分类，在NUAA数据集上取得了较高的准确率。相较于其他模型，本文模型具有一定的优越性。

表4不同模型的准确率结果对比 单位：%

Tab.4　Accuracy results comparison of different models unit：%

4 本文模型识别结果

InceptionV3_FF模型的图像识别实验，主要分为两步：单张图片的识别和基于OpenCV的识别系统。对单张图片进行识别时，平均单次识别仅需要4 ms。InceptionV3_FF模型与OpenCV相结合，构成了活体检测系统，证明本文的模型具备实际应用的价值。InceptionV3_FF模型是在NUAA数据集上训练得到的。

4.1　单张图片的检测结果

本文的InceptionV3_FF模型对从NUAA数据集中随机抽取的图片进行检测，检测结果如图7所示。图7（a）是从数据集随机抽取的一张真实人脸图像，图7（b）是模型对图7（a）进行识别后的结果，图7（c）是从数据集中随机抽取的一张虚假人脸图像，图7（d）是模型对图7（c）进行识别后的结果。

图7　图片识别结果

InceptionV3_FF模型对于随机抽取的图片均能正确识别分类。识别单张图片平均需要4 ms，识别效率较高。

4.2　基于OpenCV的活体检测系统

利用OpenCV来进行人脸活体检测的实时识别，分为两个步骤：检测到人脸并画框，识别人脸真假。检测人脸所使用的是Haar Cascade算法。

Haar分类器由Haar特征提取、离散强分类器、强分类级联器组成，核心思想是提取人脸的Haar特征，使用积分图对特征进行快速计算，然后挑选出少量关键特征，送入由强分类器组成的级联分类器进行迭代训练。采用OpenCV中的Haar Cascade算法检测到图像中的人脸后，使用本文得到的InceptionV3_FF模型对摄像头采集到的人脸图像进行识别。

检测的数据共分为两类：一类是由三名志愿者提供的真实人脸，识别结果如图8所示；一类是由三名志愿者手持本人照片的图像，识别结果如图9所示。模型的识别结果标注在人脸框的左上角。spoof和true分别是虚假人脸和真实人脸的标签。窗口的标题是Live Face Detection。

图8　真实人脸识别结果

图9　真实和虚假人脸识别结果

从图8、9中可以看出，InceptionV3_FF模型对于真假人脸均能正确识别。

5 结语

针对身份验证中经常出现的照片欺诈问题，现有的研究很少有关于图像的浅层、中层和深层特征融合的现状，本文提出了一种基于InceptionV3和特征融合的人脸活体检测模型——InceptionV3_FF。所提InceptionV3_FF模型在 STAR数据集上取得了98.85%的准确率，在NUAA数据集上取得了99.96%的准确率。将InceptionV3_FF算法与迁移学习和迁移微调的模型相比，实验结果表明，InceptionV3_FF模型的准确率更高。将InceptionV3_FF模型在NUAA数据集上的结果与ND-CNN、DK、HK-CNN、ELM-LRF等7种模型对比，对比结果表明本文模型的准确率更高。本文使用InceptionV3_FF模型对随机抽取的图片进行识别，识别结果无误，单次识别仅需4 ms；且使用OpenCV和本文模型结合搭建一个活体检测系统，对三种人脸图像进行识别，识别结果无误。本文模型具备应用的条件，只是模型参数较多，若需要应用到移动端，需要进行一定的模型压缩。

[1] BOULKENAFET Z， KOMULAINE J， HADID A. Face anti-spoofing based on color texture analysis［C］// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway： IEEE， 2015： 2636-2640.

[2] BOULKENAFET Z， KOMULAINEN J， HADID A. Face spoofing detection using colour texture analysis［J］. IEEE Transactions on Information Forensics and Security， 2016， 11（8）：1818-1830.

[3] LI X B， KOMULAINEN J， ZHAO G Y， et al. Generalized face anti-spoofing by detecting pulse from face videos［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 4244-4249.

[4] CHINGOVSKA I， ERDOGMUS N， ANJOS A， et al. Face recognition systems under spoofing attacks ［M］// BOURLAI T. Face Recognition Across the Imaging Spectrum. Cham： Springer， 2016：165-194.

[5] LIU S Q， LAN X Y， YUEN P C. Remote photoplethysmography correspondence feature for 3D mask face presentation attack detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11220. Cham： Springer， 2018：577-594.

[6] COSTA-PAZO A， BHATTACHARJEE S， VAZQUEZ-FERNANDEZ E， et al. The replay-mobile face presentation-attack database［C］// Proceedings of the 2016 International Conference of the Biometrics Special Interest Group. Piscataway： IEEE， 2016：1-7.

[7] KIM Y， NA J， YOON S， et al. Masked fake face detection using radiance measurements［J］. Journal of the Optical Society of America A， 2009， 26（4）：760-766.

[8] ATOUM Y， LIU Y J， JOURABLOO A， et al. Face anti-spoofing using patch and depth-based CNNs［C］// Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2017： 319-328.

[9] LIU Y J， JOURABLOO A， LIU X M. Learning deep models for face anti-spoofing： binary or auxiliary supervision［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 389-398.

[10] DE FREITAS PEREIRA T， ANJOS A， DE MARTINO J M， et al.based countermeasure against face spoofing attacks［C］// Proceedings of the 2012 Asian Conference on Computer Vision， LNCS 7728. Berlin： Springer， 2013：121-132.

[11] TANG Y， WANG X， JIA X， et al. Fusing multiple deep features for face anti-spoofing［C］// Proceedings of the 2018 Chinese Conference on Biometric Recognition， LNCS 10996. Cham： Springer， 2018： 321-330.

[12] LUCENA O， JUNIOR A， MOIA V， et al. Transfer learning using convolutional neural networks for face anti-spoofing［C］// Proceedings of the 2017 International Conference on Image Analysis and Recognition， LNCS 10317. Cham： Springer， 2017： 27-34.

[13] 邓雄，王洪春. 基于深度学习和特征融合的人脸活体检测算法［J］. 计算机应用， 2020， 40（4）：1009-1015.（DENG X， WANG H C. Face liveness detection algorithm based on deep learning and feature fusion［J］. Journal of Computer Applications， 2020， 40（4）：1009-1015.）

[14] 栾晓，李晓双. 基于多特征融合的人脸活体检测算法［J］. 计算机科学， 2021， 48（11A）：409-415.（LUAN X， LI X S. Face anti-spoofing algorithm based on multi-feature fusion［J］. Computer Science， 2021， 48（11A）：409-415.）

[15] TRONCI R， MUNTONI D， FADDA G， et al. Fusion of multiple clues for photo-attack detection in face recognition systems［C］// Proceedings of the 2011 International Joint Conference on Biometrics. Piscataway： IEEE， 2011：1-6.

[16] YAN J J， ZHANG Z W， LEI Z， et al. Face liveness detection by exploring multiple scenic clues［C］// Proceedings of the 12th International Conference on Control Automation Robotics and Vision. Piscataway： IEEE， 2012： 188-193.

[17] WANG Y， NIAN F D， LI T， et al. Robust face anti-spoofing with depth information［J］. Journal of Visual Communication and Image Representation， 2017， 49： 332-337.

[18] CAI P， QUAN H M. Face anti-spoofing algorithm combined with CNN and brightness equalization［J］. Journal of Central South University， 2021， 28（1）：194-204.

[19] 封筠，董祉怡，刘甜甜，等. 融合DQ_CoALBP和LPQ算子的人脸活体检测［J/OL］. 计算机工程与应用. （2021-04-19） ［2021-05-10］.http：//kns.cnki.net/kcms/detail/11.2127.TP.20210419.1401.045.html.（FENG J， DONG Z Y， LIU T T， et al. Face anti-spoofing liveness detection based on combining DQ_CoALBP with LPQ descriptors［J/OL］. Computer Engineering and Applications. （2021-04-19） ［2021-05-10］.http：//kns.cnki.net/kcms/detail/11.2127.TP.20210419.1401.045.html.）

[20] LI C Y， LI R， SUN J H. CNN face live detection algorithm based on binocular camera［J］. Journal of Physics： Conference Series， 2021， 1881（2）： No.022015.

[21] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.

[22] PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359.

[23] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8689. Cham： Springer， 2014： 818-833.

[24] ALOTAIBI A， MAHMOOD A. Deep face liveness detection based on nonlinear diffusion using convolution neural network［J］. Signal， Image and Video Processing， 2017， 11（4）： 713-720.

[25] YU C Y， JIA Y D. Anisotropic diffusion-based kernel matrix model for face liveness detection［EB/OL］. （2017-07-10） ［2021-05-22］.https：//arxiv.org/pdf/1707.02692.pdf.

[26] 蔡祥云. 人脸识别中的活体检测及应用研究［D］. 兰州：兰州交通大学， 2020：34-48.（CAI X Y. Research on spoofing detection and application in face recognition［D］. Lanzhou： Lanzhou Jiaotong University， 2020：34-48.）

[27] 陈路燕. 人脸识别中的活体检测算法研究［D］. 北京：北京邮电大学， 2020：23-38.（CHEN L Y. Research on face anti-spoofing algorithm in face recognition［D］. Beijing： Beijing University of Posts and Telecommunications， 2020：23-38.）

[28] 卢鑫. 基于改进卷积神经网络的人脸活体检测研究［D］. 鞍山：辽宁科技大学， 2020：39-48.（LU X. Research of face liveness detection based on improved convolutional neural network［D］. Anshan： University of Science and Technology Liaoning， 2020：39-48.）

[29] 曲啸枫. 基于多特征融合的活体人脸检测算法研究及应用［D］. 济南：济南大学， 2019：21-28.（QU X F. Research and application of face liveness detection based on multi-feature fusion［D］. Jinan： University of Jinan， 2019：21-28.）

[30] 李新豆，高陈强，周风顺，等. 基于图像扩散速度模型和纹理信息的人脸活体检测［J］. 计算机科学， 2020， 47（2）：112-117.（LI X D， GAO C Q， ZHOU F S， et al. Face liveness detection based on image diffusion speed model and texture information［J］. Computer Science， 2020， 47（2）：112-117.）

YANG Ruijie， born in 1996， M. S. candidate. Her research interests include image recognition， object detection.

ZHENG Guilin， born in 1963， Ph. D.， professor. His research interests include smart home， internet of things， computer vision.

Face liveness detection based on InceptionV3 and feature fusion

YANG Ruijie*， ZHENG Guilin

（，，430072，）

Aiming at the photo spoofing problem that often occurs in identity verification， a face liveness detection model based on InceptionV3 and feature fusion， called InceptionV3 and Feature Fusion （InceptionV3_FF）， was proposed. Firstly， the InceptionV3 model was pretrained on ImageNet dataset. Secondly， the shallow， middle， and deep features of the image were obtained from different layers of the InceptionV3 model. Thirdly， different features were fused to obtain the final features. Finally， the fully connected layer was used to classify the features to achieve end-to-end training. The InceptionV3_FF model was simulated on NUAA dataset and self-made STAR dataset. Experimental results show that the proposed InceptionV3_FF model achieves the accuracy of 99.96% and 98.85% on NUAA dataset and STAR dataset respectively， which are higher than those of the InceptionV3 transfer learning and transfer fine-tuning models. Compared with Nonlinear Diffusion-CNN （ND-CNN）， Diffusion Kernel （DK）， Heterogeneous Kernel-Convolutional Neural Network （HK-CNN） and other models， the InceptionV3_FF model has higher accuracy on NUAA dataset and has certain advantages. When the InceptionV3_FF model recognizes a single image randomly selected from the dataset， it only takes 4 ms. The face liveness detection system consisted of the InceptionV3_FF model and OpenCV can identify real and fake faces.

liveness detection; feature fusion; face recognition; ImageNet dataset; NUAA dataset; transfer learning

TP183

A

1001-9081（2022）07-2037-06

10.11772/j.issn.1001-9081.2021050814

2021⁃05⁃18；

2022⁃02⁃23；

2022⁃02⁃25。

杨瑞杰（1996—），女，河南开封人，硕士研究生，主要研究方向：图像识别、目标检测； 郑贵林（1963—），男，湖北武汉人，教授，博士，主要研究方向：智能家居、物联网、计算机视觉。