基于双目摄像机的人脸活体检测的研究

邱晨鹏

(四川大学计算机学院，成都 610065）

0 引言

随着人脸识别技术飞速发展，如今这项技术被广泛应用到多种领域，如学生公寓门禁系统、机场人证合一核查系统、支付宝实名认证系统、以及移动终端的解锁系统等。但是由于人脸识别系统无法判别人脸图像是否为活体，因而很容易受到假冒攻击[1]，常见的攻击方式有照片攻击、视频攻击、三维人脸模型攻击。其中，照片和视频因伪造代价小，容易实施，成为最常见的攻击方式。为了识破这些伪造攻击手段，基于人脸的活体检测技术应运而生。针对不同的攻击方式，国内外学者研究出许多不同的活体检测方法。Macicj Smiatacz提出基于人脸转动时的面部光流分析法[2],通过分析人脸转动时产生的光流特征判别活体，视频与照片；由于伪造人脸在成像系统的二次成像会丢失纹理细节，A.K.Jain、Rangding Wang等提出基于傅里叶频谱与纹理分析法[3]，通过分析活体人脸与视频、照片人脸的傅里叶频谱以及纹理特征的差异区分活体与非活体；由于真实人脸是具有生命特征的运动活体，存在眨眼、微动等活体特征，Maatta和Deng Gang等提出了通过眨眼检测区分活体与人脸照片；由于真实人脸可根据指令作出相应的动作，K.Kollreder、Boutellaa E等人提出人机交互的方式，通过检测指定的动作指令特征来判别被检测者是否为活体。在上述方法中，基于特征检测的方式依赖于特征的提取，当场景中的光照条件变化剧烈时，提取特征效果将会很差，从而影响活体检测的结果；基于人机交互的方式，需要用户长时间的配合，因而效率较低。本文提出基于近红外与可将光双目摄像机的人脸活体检测方法，利用双目摄像机捕获近红外人脸图像与可见光人脸图像，采用dlib人脸检测方法对摄像机捕获到的图像进行人脸检测，结合红外图像与可见光图像各自的特性以及双目视觉原理进行活体检测，实验室结果证明本方法具有优异的表现，算法的鲁棒性较高。

1 人脸识别模块

双目摄像机装置介绍：红外摄像头1，用于采集用户的红外光二维图像；可将光摄像头2，用于采集用户的可见光二维图像；红外发光模组3，用于发射主动探照红外光，采用3个红外LED灯布置呈“品”字型分布，安装在红外摄像头与可见光摄像头中间，三者呈“一”字型分布；

人脸检测方法：采用dlib人脸检测方法，检测摄像头捕获的人脸图像，并得到对应的人脸矩形框和人脸轮廓的68个特征点；

硬件配置：处理器：Intel Core i5-6400，双目摄像头：Dual Web Camera Module；

软件配置：操作系统：Windows 10；集成开发环境：Visual Studio 2013；依赖库：dlib、OpenCV300。

2 活体检测判别模块

联合近红外与可将光摄像头装置，依据近红外与可见光摄像头的成像特性，对于不同的攻击进行有效的抵御。

2.1 红外摄像机成像特性

近红外光谱区波段为780-1100nm，对于光滑表面的物体例如镜面、油纸面、近红外波段无反射信息，因此获取到的图像中的镜面区域无任何信息，则无法检测出人脸，从而可以防止视频攻击，图1显示了照片在双目摄像机中的成像，左侧为近红外成像图，右侧为可将光成像图。

图1

2.2 色彩判别模块

图2、图3依次显示彩色照片图像，灰度照片图像，真实人脸图像

图2 可见光摄像机捕获图像

图3 红外摄像机捕获图像

此模块是针对灰度图像的，灰度照片在可见光摄像机下成像的色彩单一。HSV（Hue-Saturation-Value）颜色空间是均匀的颜色空间[9]，由于人眼的视觉系统对颜色的感知与HSV颜色空间相近，这里我们采用HSV颜色空间进行判别。HSV颜色空间中，V分量与图像的彩色信息无关，H分量与S分量主要表现出人对色彩的感知，则HSV颜色空间能够很好的描述图像的颜色特征。利用可见光相机捕获人脸图像，将RGB颜色模型转换为HSV（色相、饱和度、色调）颜色模型。

RGB颜色空间转换为HSV颜色空间：

单位为度（°）。

鉴于灰度照片跟真实人脸图像的色彩与饱和度存在很大差异，提取可见光人脸图像的HSV颜色模型信息，得到H分量与S分量,设置参数Val=S/H，设置灰度照片阈值，通过比较输入的单帧可见光人脸图像与阈值比较，进而判别是否为灰度照片。

阈值的确定：采集500张灰度人脸照片，通过实验计算得出灰度人脸照片的Val的典型值为0.5，而真实人脸的Val典型值为8。通过实验数据对比可得出，灰度人脸照片的Val值与真实人脸的Val值差异非常明显，根据实验数据设置灰度照片判别阈值为2。

若Vph为0，则判别为灰度人脸照片，反之，则进入下一个判别方法。

通过实验，对作者采集的50张灰度人脸照片（包含10张素描图像）进行实验，实验结果为灰度照片的通过率为0，分析可得此模块可以完全防止灰度人脸照片的欺骗。

2.3 尺度判别模块

通常情况下，人为伪造的人脸照片的尺寸与真实的人脸尺寸大小差异很大，比如大头贴，一寸或者二寸的证件照，真实人脸尺度普遍要比伪造人脸照片的尺寸大，利用此信息可以防止低劣的伪造方式，作为一个筛选的条件。

对于双目摄像机前人脸的尺寸的大小计算，基于双目立体视觉三维测量原理。类比人类的双眼，人对眼前的物体的立体感来源于物体在人双眼中成像的视差，通过双目产生的视差，人可以感知实体的三维信息以及到实体的距离信息。图5表示的是经过极线校正后的视差原理图，ol和or分别表示左右相机的光心位置，两个坐标系是分别以左右相机的光心为坐标原点建立，ol与or的连线T为基线，表示两相机光心之间的距离，显然它是一个定值，xl与xr分别表示实体点p在两相机中的成像，视差表示为：

Z表示实体点p到基线的距离，即深度，f为相机的焦距。由数学上三角形的相似关系可得出视差d与深度Z的数学关系表达式：

因此可得视差与深度成反比关系。

图4

图5

图5表示了视差与深度的关系，可知物体距离相机越远，物体在两相机中成像的视差越小，类比视差原理将其应用到人脸尺度计算。

首先，利用提取红外图像与可见光图像的人脸矩形框，采用人脸矩形框的面积作为度量人脸尺寸的单位，分别计算红外图像中人脸矩形框面积和可见光图像中的人脸矩形框的面积，由于两个摄像机光源的差异，人脸轮廓在两个镜头下的成像大小有细微的差异，并且本文中使用的dlib人脸检测对异源人脸图像的检测结果中发现，红外图像中的人脸矩形框面积要小于可将光图像中的人脸矩形框面积，为了保证实验结果的正确性，取红外图像人脸矩形框面积与可见光图像人脸矩形框面积的平均值作为人脸面积值。根据视差原理，被检测者距离设备的距离会改变图像中人脸的大小以及人脸在图像中的位置，当被检测者距离设备的距离较近时，两相机获取的图像中人脸的面积会较大，视差较大，反之，图像中的人脸矩形框面积较小，视差较小。如图6、7所示。

图6

图7

由此可得人脸矩形框的面积大小与视差成正比关系。计算红外图像人脸矩形框面与可将光图像人脸矩形框面积的平均值S，选取红外图像人脸矩形框的中心像素坐标xl(il,jl)，以及可将光图像人脸矩形框的中心像素坐标xr(ir,jr)，根据上述原理和本文所用设备，视差可近似表示为：

将面积平均值S与视差dlen的比值k作为人脸尺寸系数，则人脸尺寸系数k表示为：

由上式可以得在一定的距离范围内，被检测者的人脸尺寸系数是一定的，不会随着距离设备的距离的变化而变化。

阈值的确定：为了提高实验结果的正确性，选取20个脸型大小有差异的真实人脸，并采集真实人脸图像，通过实验室计算得出真实人脸的人脸尺寸系数的范围为1000～3000，真实人脸尺寸系数的典型值为2000，为保证实验室结果正确性，本文阈值k采用1000。

若Kval=0，则判别当前检测到为非真实人脸。通过对100张大小同的人脸照片进行实验，实验室结果表明，对于人脸尺寸系数明显不同于真实人脸尺寸系数的伪造照片，本方法可较准确的容易的抵御。

3 实验结果与分析

本次实验采用20张彩色一寸照片，20张彩色二寸照片，20段视频，50张黑白照片，以及10张素描照片（含人脸），进行测试，测试结果如表1所示：通过实验，对本算法进行实验，结果表示为对于视频人脸的攻击，100%正确抵御，对于一寸与二寸的彩色照片，100%正确抵御，对于素描照片，100%正确抵御，对于50张黑白人脸照片，48次正确抵御。

表1

本文采用近红外与可将光双目摄像机，联合近红外摄像机与可将光的成像特性以及双目视觉原理，提出了采用色彩以及人脸尺寸判别方法，对视频以及照片对脸识别系统的攻击的防御，实验结果表明，该方法的有效性。当然，方法中存在不足，在色彩判别方法，对于黑人的照片会存在误判的情况，需要后续继续研究。