基于边框及亮度特征的人脸反欺骗研究

李明进， 白景文

（电子科技大学成都学院 微电子技术系，成都611731）

0 引 言

随着人脸识别［1］广泛应用于各个场所，如超市人脸消费机、小区人脸门禁系统等，随之而来的安全性问题开始逐渐被大家重视，其中一项则是人脸非活体与活体［2-3］的辨别。近年来，关于非活体检测方面的研究主要集中在：基于微观纹理，基于动态信息，基于多光谱和基于多特征融合的方法。现在融合方案做得比较好的是采用多传感器融合技术，使用红外对管进行用户距离判别与图像传感器用深度学习算法进行二分类来判断是否存在欺诈。多特征多方法的融合固然能取得较高的准确率，但是由于耗时，对设备要求高，缺乏推广性。而基于动态信息的非活体检测方法，要求目标人像进行一些面部动作，如眨眼、点头等等。这类方法明显的缺点是需要用户必须花时间做一些相应的动作。基于微观纹理的分析是以静态图像为分析对象，例如基于二进制统计残差特征进行分辨活体人脸［4］与基于图像色彩纹理的人脸活体检测算法研究［5］，以上两种方法是计算活体与需要被检测的人脸都进行提取，由差值来进行判断。此类方法因为需要监控的变量和影响结果质量的因素繁多，涉及到被检测人像的光亮、素材质量、人脸纹理、素材图片色彩质量，以及该人脸的标准活体等，在实现上受判断因素影响较大。

为了简化以及减少影响因素同时提高普遍适用性，本文基于非活体人脸的背景边框与光亮特征两种特性，对识别非活体的依据进行研究。本文的主要工作包括：①基于LSD设计出一个具有较好鲁棒性的矩形边框检测算法，用于检测非活体人脸的背景边框，如手机框、身份证、照片等矩形框，并且能在有遮挡、光亮噪声等情况下均能识别。②通过实验对于一个固定的场所，给出人脸区域光亮的特征。③使用手机框、身份证、照片作为实验素材，验证融合矩形边框检测和光亮特征的人脸非活体检测算法，分析优势与不足。

1 矩形框提取

1.1 LSD算法提取线段

LSD［6］算法是一种线段检测算法，具有速度快、精度高（达到亚像素级）。LSD 算法运用两个重要概念gradient（梯度）和level-lines（水平线）。创建单位向量场由每个像素点计算得到的角度组成，给定一个范围值τ，满足τ并且像素点具有相同角度的归为对应的连通域，并生成对应的待定域，每个待定域实质是一条待定的线段。当一个由待定域越细长时，那么就更有可能是直线段，使用一个矩形覆盖该待定域，计算矩形的主要方向与覆盖待定域水平角度的差值。若满足τ，则归类这些像素点，由这些值得到这个区域的NFA值，由NFA值判断是否线段；如果小于1，那么这个矩形可以被认为是一条线段。

1.2 线段特征提取

本文将上述提取的线段进行矩形特征［7］提取，分为两大类：边线特征［8］提取；角点特征［9］提取。

边线特征提取是为了应对矩形被某些物体遮挡的情况或者残缺矩形的情况，矩形的边是断裂的，或者是不连续的线段，普通的方法是不能把这些断裂的线段识别为矩形的一条边，但是这些线段共同的特点是θ和ρ相近，所以针对以上描述，把边类特征细化为：同一水平位置线段可组合为一条线段，左右方向延伸的线段。同理，线段与线段能形成的90°夹角的整合为角点特征。

1.2.1 同一水平直线位置的直线特征提取

判断直线之间的位置关系主要使用极坐标的ρ和θ，ρ代表直线到原点的距离，θ 代表该距离向量的方向。在进行位置判断之前，首先定义一个距离阈值ρ阈和一个角度阈值θ阈。根据在同一直线上两线段的ρ和θ相等的原理，对每条线段的ρ 和θ 进行筛选，当满足：

记直线A和直线B为同一水平位置特征（见图1）。

图1 A，B，C为同一水平位置特征

1.2.2 组合关系的特征提取

为了避免噪声造成轮廓断裂的影响，对同一水平直线进行再提取新的特征关系，方法是判断两直线端点距离：

式中：str1与end1分别为直线A 的始端点和尾端点；str2与end2分别为直线B的始端点和尾端点。比较所有Gap，将最小的Gap 值列为两直线的最小距离Gapmin，然后确定一个直线距离阈值Gap阈，当满足

记直线A和B为可组合直线（见图2）。

图2 A，B为可组合线段关系

1.2.3 同一水平直线的左右延伸特征提取

为了方便对矩形的有效边进行最大延伸检测，对直线之间的左右位置关系进行处理，在同一水平直线的基础上进行新的特征提取，具体流程如图3 所示。

图3 线段左右延伸关系提取流程

根据上述流程分别确定两条直线相互的左右关系和包含关系，如图4 和图5 所示。

图4 直线B为直线A的右延伸直线

图5 直线A包含直线B

1.2.4 角点基本特征提取

（1）确定角点基本特征的方法是判断两线段端点距离，两条线段间端点距离最小记为Gapmin，给定一个距离阈值Gap阈，当满足：

则认为这两条线段满足本文提出的角点特征的要求，之后得该夹角的角点数据，称为该夹角的角点Pt角。

（2）角点的线段位置属性提取。依据角的两条线段之间关系对位置属性进行分类：有交点夹角，无交点夹角，延长一条线段后有交点夹角。

具体流程如图6 所示。角点的属性类型如图7所示。

1.2.5 角点方向特征提取

为了明确矩形线段检索顺序，同时也为了保证找到矩形的完整和可靠性，把角点特征细分为4 类，即一个矩形的4 个不同位置的4 类顶角，在这之后依据矩形4 个顶角之间固有的关系，实现提出的聚类特征矩形检测算法。

图6 角点线段位置属性提取流程

图7 角点属性详解

角点方向特征提取流程如图8 所示。

图8 方向角提取流程

1.3 基于线段特征进行矩形框检测

先从轮廓线段中任取一条直线作为起始线段，跟踪与起始线段成左上角点特征的线段标号。确认矩形左上角之后，对新标记的线段跟踪与其成右上角特征的线段标号，并确认矩形右上角。之后依次是右下角，左下角，最后记录4 个角的位置，并将其顺时针依次连接，得到矩形。详细流程如图9、10 所示。

1.4 线段特征库说明

提取直线相应特征后创建一个总库用于记录所得到所有直线对应的所有特征，而每一条直线与其余直线的相应特征建立一个子库存放于总库中。如果该直线与另一条直线满足之前相应的边角特征，那么就在该直线的总特征库中的相应子特征库中记录另一条直线标号。相应地，另一条直线的总特征库中的相应子特征库也记录该直线的标号。

某直线总特征库：①边类特征库。同一水平直线特征库，左可组合直线特征库，右可组合特征库，包含直线特征库。②角点特征库。左上角特征库，右上角特征库，右下角特征库，左下角特征库。

图9 基于线段特征的矩形检测

图10 每层循环详细流程

2 深度学习人像位置及光亮特征提取

2.1 深度学习人像位置提取

本文利用基于深度学习［10-11］、目标检测算法［12］进行人像位置提取。2014 年，Girshick 等设计了R-CNN框架，使目标检测取得巨大突破。流程大致可分为：首先使用Selective search 算法从输入的图像中提取region proposal；其次为使CNN 有标准的输入需要将region proposal 的大小进行归一化；然后使用AlexNet提取特征；最后利用多个SVM进行分类［12］，同时使用线性回归微调定位框。但是该方法在对region proposal特征提取阶段计算量大且速度慢，而且训练步骤繁多。之后为了使算法更准确并且速度更快，相继有人提出了SPP-Net、Fast R-CNN［13］、RPN特征提取深层网络的Faster R-CNN［14］和对于Faster R-CNN 的改进算法［15］。

本文使用CNN模型实现对目标图片进行人脸检测后，对检测出的人脸的位置进行记录，方便与之后矩形框位置进行对比。

2.2 光亮特征提取

为了更准确地辨别活体与非活体，预先通过训练获取的环境亮度在每个时间段的光亮特征曲线，以及包括人脸在每个时间段出现在摄像头不同位置的亮度特征。当需要进行辨别非活体时，对目标人脸进行亮度值提取后与该时间段场所对应的亮度值进对比，若亮度值差异达到设定的阈值，则认为是非活体。

3 人脸反欺骗的检测流程

人脸反欺骗检测的整体流程如图11 所示，当使用身份证、打印照片检测结果为非活体时，表明反欺骗检测成功。

图11 人脸反欺骗的检测流程

4 实验结果分析

图12 为手持身份证人像面实验素材，手指对身份证有所遮挡。图13 为人手持人像照片实验素材。对实验素材进行LSD 轮廓提取得到的结果如图14、15所示。之后对照片中的矩形框和人像位置进行提取得到的结果如图16、17 所示。

实验素材1 由于得到的矩形框与人像位置结果图的情况为矩形框包含人像，所以可以由此得出这张人脸为非活体。实验素材2 由于矩形框内的人脸被该矩形框完全包含，所以认为该人脸为非活体，而照片外的人脸并没有被矩形框完全包含，所以该人脸被认为活体。由上述结果可以得出，该方法有效解决了矩形框断裂和矩形框遮挡带来的不良影响，更快速、有效地对人脸的活体与非活体做出判断。

图12 实验素材1

图13 实验素材2

图14 实验素材1的LSD结果

图15 实验素材2的LSD结果

图16 实验素材1矩形框与人像位置结果

图17 实验素材2矩形框与人像位置结果

5 结 语

现有的人脸识别易遭到各式各样的攻击，给系统的活体识别带来挑战。如何增强检测精度、缩短耗时、增加鲁棒性能、提高泛化能力成为目前的人脸识别系统的研究热点。本文介绍了一种基于边框和人脸亮度特征的人脸非活体检测的研究方法，重点是基于矩形框检测，人像位置以及人像光亮特征的差异，提出了一种可以作为非活体检测依据的研究方法，该方法表现出了对纸张攻击，屏幕攻击有很强的反欺骗性，并且耗时短，可普遍应用。实验中对身份证照片、打印照片等进行测试，结果表明，矩形框检、人像位置、光亮特征都拥有较高的检测精度，并且矩形框检测能有效避免噪声、矩形框不完整等不良因素带来的误检与漏检。该研究可以作为常用场合非活体检测的依据或方法。后续工作将对无边框图像和面具攻击进行反欺骗研究。