二维及三维多模人脸数据库构建

傅泽华 龚 勋 李天瑞

(西南交通大学信息科学与技术学院,成都,611756)

二维及三维多模人脸数据库构建

傅泽华 龚 勋 李天瑞

(西南交通大学信息科学与技术学院,成都,611756)

基于图像的二维人脸识别技术日趋成熟，但仍受光照、姿态和表情等变化的影响。利用三维人脸模型提高人脸识别性能并将其应用于实际成为近几年学术界的研究趋势。本文提出了SWJTU-MF多模人脸数据库(SWJTU multimodal face database， SWJTU-MF Database)，包含200个中性表情中国人的4种人脸样本数据，包括可见光图像、二维视频序列、三维人脸(高精度)和立体视频序列。本文首先分类介绍现有的三维人脸识别算法，然后概述相关的多模人脸数据库，接着提出SWJTU-MF多模人脸数据库，并说明数据库的采集装置、采集环境、采集过程及数据内容，随后简要展示数据标准化过程。最后讨论本数据库面向的应用研究,并给出SWJTU-MF建议的评测协议。

三维人脸；人脸识别；人脸重建；视频序列；立体视频序列

引 言

图1 3D人脸识别研究现状Fig.1 Research status of 3D face recognition

随着消费型三维人脸设备的逐步发展，设备的采集精度不断提升，这使得基于三维模型的人脸识别成为可能。三维信息是自动人脸识别中克服姿态、光照等因素的关键技术，是人脸识别发展的一个趋势，也是解决人脸识别根本难题的一个手段。根据测试集(Probe)的不同，三维人脸识别方案大概可以分成两类，如图1所示。(1) 测试集为二维图像。基于这种方案，可以利用原型集中的三维人脸合成不同姿态的二维人脸，与测试集中的人脸图像进行匹配[1]。还可以利用当前获取的一张或多张二维图像重建三维人脸，并与原型集中的人脸进行匹配[2-4]。另一种思路是学习三维人脸与二维人脸之间的对应关系，直接进行匹配。比如用局部主成分分析(Partial principal component analysis，PPCA)进行匹配[5]，或者用典型关联分析(Canonical correlation analysis,CCA)匹配[6-9]。(2) 测试集为三维人脸。基于这种方案，可以考虑先将原型集与测试集三维人脸对齐，再进行匹配。对齐方法可以将三维人脸分别对齐参照模型(Morphable model)[10]，也可以用迭代最近点(Iterative closest point algorithm)等算法进行直接匹配[11-12]。另一种策略是从三维人脸中提取特征向量再进行匹配，如文献[13]利用尺度不变特征变换(Scale invariant feature transform,SIFT)算法提取三维人脸特征，文献[14]结合三维人脸的纹理信息与三维点云信息，采用基于曲波的方法得到特征向量。第1个多模人脸数据库BT-David[15]发布于1997年，包含了35个人分别在5个非约束光照的不同场景下的演讲录像以及对应音频，该数据库主要用于自动语音识别和人脸识别。随后一个类似规模的数据库M2VTS数据库发布了[16]，旨在用于多模态人脸识别研究。鉴于前两个数据库皆存在规模过小，采用的数据存储技术太老且数据质量较差等缺点，Kieron Messer的研究小组在1999年建立了XM2VTS数据库[17]，该数据库包含了395个人在不同姿态下的高分辨率人脸图像、高精度演讲录像及其对应的音频，其中393个人还包含1个三维模型。该数据库数据规模大、人脸数据类型较多，但是需要收费且价格昂贵，令不少研究人员望而却步。美国国家标准与技术局(National institute of standard and technology，NIST)在2005年组织了FRGC2005评测活动，并建立了FRGC数据库[18](目前已发布第2个版本)，该数据库被设计用来研究人脸识别中如何利用多模人脸数据提高识别效率，数据规模极大，包含466人的50 000个数据，包括主动、被动采集的二维静态人脸图像以及三维人脸图像，但没有采集视频序列且人脸的姿态较少。而同年发布的IV2多模生物数据库[19]主要用于多模态生物识别，在人脸数据方面较FRGC数据库多了低分辨率的二维静态人脸以及视频序列。文献[20]为研究不同类型人脸生物特征之间的关系，首次提出异质人脸生物特征识别(Heterogeneous face biometrics)，并建立了异质人脸生物特征识别数据库[21](HFB face database)，该数据库包括了100个人的二维人脸图像、近红外图像和三维人脸数据，其不足之处在于库中的人脸数据都是静态采集的，没有包含动态人脸数据。类似数据库还有PolyU-NIRFD[22]。另外还有一些多模人脸数据库在红外图像、二维可见光图像的基础上，加入采集距离的变化，如NFRAD[23]，SWIR[24]和LDHF database[25]。表1将常用的多模人脸数据库进行了对比，可以发现现有的多模人脸数据库皆包含了三维人脸(高精度)与二维可见光图像。面对当前的研究趋势，缺少1个既包含三维高、低精度人脸数据，又包含二维高、低精度人脸数据的人脸数据库，而本文提出的SWJTU多模人脸数据库(SWJTU multimodal face database， SWJTU-MFDB)正好填补了这个空缺。表1中n/m表示数据库设计有m人，目前发布版本包括n个人。“2D高”指二维高精度图像。“2D低”指低精度的监控摄像机拍摄的二维视频/图像。“3D高”指用高精度3D采集设备采集的3D人脸模型。“RGB-D”指用快速、低精度采集设备采集的序列帧(包括低质量图像与对应的深度图)。表1中的“√”指当前数据集包含该类数据，“—”表示不包含；“是否免费”项中“Y”(Yes)表示当前数据集可免费获取用以学术研究，“N”(No)则反之。

表1 多模人脸数据库对比

本文提出并建立一个多模人脸数据库SWJTU-MFDB用于人脸研究。该数据库主要包含了二维高精度人脸图像、二维人脸视频序列、三维高精度人脸模型和立体人脸视频序列(Kinect采集的低精度RGB-D序列)，主要用于研究各种实际场景中遇到的人脸识别与建模问题。本数据库主要包括了200个中性表情的中国人的多模人脸样本数据。对于每个采集对象，采集了3张二维高精度人脸图像，11张二维人脸视频序列帧，1～2个三维高精度人脸模型以及5～11个立体人脸视频序列帧。相较于XM2VTSDB，IV2 DB等目前较为全面的多模人脸数据库，本文提出的SWJTU-MFDB只多了一项立体人脸视频序列数据，但在此基础上可进行的研究更为广泛。直观地来看，这一项数据的增加可以增加以下3种不同的人脸识别策略研究：(1) 二维高精度人脸图像对立体人脸视频序列的识别研究；(2) 二维人脸视频序列对立体人脸视频的序列识别；(3) 三维高精度人脸对立体人脸视频序列的识别研究。这些研究将推动实用性三维人脸识别的发展。众所周知，利用传统的硬件设备(如激光扫描仪、结构光等)虽然具有较高的精度，但设备造价高、不灵活且采集速度慢，因此将三维高精度人脸模型作为测试集显然不现实。而类Kinect的设备正处于蓬勃发展阶段，这类设备采集不需要用户配合、采集速度快(Kinect可以达到30帧/s)且采集精度越来越高，这正是将三维人脸识别推向实际应用的核心需求。

1 SWJTU-MFDB简介

由于三维采集设备对头发等深色部位的扫描效果比较差，且本数据库所面向的人脸研究仅对人的面部区域感兴趣，因此在数据采集前，统一要求采集对象(不论男女)整理仪容、将遮盖面部的头发挽起。此外，还要求采集对象不能化妆、不戴任何饰物(眼镜除外)。

1.1 数据获取

(1) 二维高精度人脸

采集二维高精度人脸数据时使用了型号为NEX-F3的索尼数码相机。相机被固定在可调节高度的三脚架上且采集背景为白色，如图2所示。采集使用了3 568×3 568的高分辨率，这是为了保证人脸区域大于600×800 DPI。采集时，要求采集对象坐在相机正前方。为了保证采集的人脸区域在图像中央，会手动调整三脚架的高度。对于每一个被采集者，采集3张不同姿态的二维静态人脸图像，如图3所示。姿态分别为正面(0°)、向左侧30°和向右侧30°。

图2 采集设备与场景示意图Fig.2 Acquisition device and environment

图3 二维高精度人脸数据Fig.3 2D high resolution face data

(2) 二维人脸视频序列

二维人脸视频序列通过Axis 215摄像头获取。为了模拟真实的监控场景，摄像头被安置在距地面2.5 m的墙上，采集场景如图2(b)所示，转椅被放置在摄像头的正前方，距墙3 m。采集过程中，采集对象被要求坐在正对摄像头的转椅上，并录制一段监控视频。录制时，采集对象需直视正前方，从左到右匀速转动180°。为了模拟真实监控录像中人脸的旋转角度变化，从监控录像中手动筛出若干不同角度的监控帧。对于每个采集对象的监控录像，首先从旋转角度(Yaw Rotation)-90°～90°之间，每隔20°取一张，筛选出10张图像，再筛出一张正常姿态(Yaw Rotation为0°)下的人脸图像1张，共11张图像。采集的数据如图4所示。

(3) 三维高精度模型

高精度三维人脸数据通过基于结构光的Wisesoft三维人脸数据测量仪获取。采集背景采用一块黑色的幕布，以避免其他物体信息对拍摄造成干扰，如图2(c)所示。采集时，采集对象需坐在测量仪器正前方，鼻尖距离测量仪器前面板约90～110 cm。如图2(c)所示，采集用的座椅可升降，以保证采集时采集者的头部在仪器的中部。采集过程约2～3 s，在这期间，采集对象需静止不动并维持中性表情，眼睛直视前方。一次采集完成即可获取被采集者头部的几何信息和彩色纹理信息。大多数采集对象采集了1张三维人脸。而对于戴眼镜者，则需要采集两张，分别在戴眼镜与不戴眼镜状态下采集， 采集图像如图5所示。

图4 二维人脸视频序列数据Fig.4 2D face data from video sequences

(4) 立体人脸视频序列

立体人脸视频序列数据主要通过Microsoft Kinect v2采集，如图2(d)所示，Kinect被水平固定在一个三脚架上。采集过程中，采集者被要求站在Kinect正前方2.5 m处，在5 s内尽可能慢地、匀速地面向Kinect径直走1.5 m，随后站定以便于采集另一组Kinect数据。与采集二维高精度人脸图像时一样，为了使有效区域(脸部)尽可能地在Kinect镜头范围内，根据采集对象的不同身高会手动调整三脚架的高度。另外，为便于进行Kinect数据采集，基于Open-NI2[29]Library开发了一个Kinect人脸采集系统。该系统按预先定义好的数据结构自动捕获、处理并存储人脸帧数据。对于每一个被采集者，采集5～10帧连续立体人脸图像，另包含一张参考帧，采集图像如图6所示。与采集三维高精度人脸一样，对于戴眼镜的采集对象，会在戴眼镜与不戴眼镜状态下分别采集。采集完成后，手动剔除行走中产生的模糊帧。

图5 三维高精度静态人脸数据 图6 立体人脸视频序列数据 Fig.5 High resolution 3D face data Fig.6 3D face data from estereo video sequences

1.2 数据内容

SWJTU-MF DB包含以下内容：(1) 原始数据，如表2所示。包括二维高精度人脸图像、二维人脸视频序列、三维高精度人脸和立体人脸视频序列。(2) 所有人脸数据都提供手动标定的二维特征点坐标，特征点描述如图7所示。其中三维人脸模型的特征点坐标可从对应的二维纹理图映射得到。(3) 归一化后的二维高精度人脸图像和二维人脸视频序列。(4) 裁剪后的三维高精度人脸。

表2 原始数据内容说明

图7 特征点示意图Fig.7 Description of feature points

2 数据标准化

(1) 人脸数据预处理。本数据库人脸数据的预处理主要包括标点和人脸裁剪。对于数据库中所有二维人脸图片，手动标出如图7所示的5个特征点。随后再由对应的二维纹理图映射得到三维人脸模型的特征点坐标。在二维人脸视频序列图像中，当人脸旋转角度过大时，会遮挡住一部分特征点，只对旋转角度在-50°～+50°之间的人脸图像标定特征点。如图5,6所示，三维点云模型包含了大量除头部以外的其他数据。在使用之前，需要对其进行人脸裁剪。对于高精度三维人脸模型，以鼻尖为圆心，用适当半径的圆球对其进行裁剪。对于立体人脸视频序列中的低精度三维人脸模型，为了方便后续的标准化处理，采用主动形状模型[30](Active shape model，ASM)在二维纹理图上定位人脸的76个特征点，再根据人脸轮廓的特征点信息进行人脸区域裁剪。

(2) 二维高精度人脸。归一化时，以两瞳孔的距离和方向轴作为基准进行水平旋转与横向尺度缩放，并将人脸区域裁剪到相同大小。

(3) 二维人脸视频序列。由于旋转角度大于+50°或者小于-50°的人脸图片特征点不全，因此只归一化旋转角度在-50°～+50°之间的人脸图像，归一化方法同1.2节。

(4) 三维高精度人脸。对于高精度三维人脸，采用基于平面模板的稠密对应方法[31]对其进行标准化。

(5) 立体人脸视频序列。由于人脸的个性差异，直接由Kinect获取的三维人脸数据存在很大差别[32]，低精度三维人脸的顶点数不同，且不能一一对应。为了建立一个操作性强的Kinect低精度人脸库，要对配合姿态下的Kinect人脸数据进行标准化处理，实现低精度三维人脸的稠密对应。鉴于本文提出的数据库同时具有相对应的高三维人脸数据与低精度三维人脸数据(立体视频序列帧)，采用文献[33]中提出的针对Kinect数据的基于可变模板的三维人脸标准化方法。如图8所示，首先根据低精度三维人脸的顶点数，确定二维模板大小；然后采用高精度三维人脸数据库生成二维平均模板，生成过程中用Delaunay算法对高精度三维人脸柱面展开图的平均图进行特征区域划分，从而得到二维平均模板。最后用基于高精度数据生成的模板重采样算法，自动实现低精度三维人脸顶点的一一对应。其中q为模板的缩放倍数，qw,qh指w,h缩放q倍后的大小。

图8 二维可变模板生成流程图Fig.8 Flow chart of 2D dynamic template acquisition

3 SWJTU-MFDB面向的应用研究与测试协议

3.1 应用研究

本数据库主要可应用于多模态/混合人脸识别、三维人脸重建分析、姿态分析和人脸特征点定位等。其中可着重解决以下两个问题：(1) 随着三维人脸技术的发展，采用三维人脸模型来解决人脸识别中的光照、姿态和表情问题已经成为趋势。然而业界就三维高精度人脸识别较传统的二维高精度人脸识别是否真的性能更好这个问题一直争论不断[18]。本数据库同时包含了三维高精度人脸模型与二维高精度人脸图像，可以解决上述问题。(2) 三维高精度设备价格昂贵、采集时需要固定姿态且采集速度慢，在现实应用中实用性较低。而目前逐渐流行的类Kinect的RGB-D采集设备虽然廉价，但采集数据的精度较差。因此，通过低精度三维人脸重建高精度三维人脸有重要意义。当前已有一些基于低精度重建高精度人脸的算法[28,34]，但重建效果只能靠主观判断，并没有统一的评价标准。而本数据库同时包含了三维高精度人脸模型和Kinect采集的低精度三维人脸模型，通过本数据库可以建立统一的三维重建评价体系，并探索和解决通过廉价设备采集的低精度三维人脸是否能够重建出高精度三维人脸。

3.2 测试协议

3.2.1 2-3维识别

基于SWJTU-MFDB可以进行二维对三维的人脸识别。这里设计2种方案进行识别。

(1) 纯三维对比。即通过一张或多张照片重建三维人脸，再按一定的匹配策略与已知三维人脸库中的模型进行比较识别。

(2) 根据获取的人脸二维图像，计算出人脸的姿态偏转角度，然后把已知三维人脸库中的模型按同样姿态偏转角度投影到二维平面上，并将得到的二维图像与待检测二维人脸图像按一定的匹配策略进行二维特征的比较识别。根据两种不同方案的特点，将数据集划分成3个集合，分别为训练集合(Trainingset)、原型图像集合(Gallery)和测试集合(Probesets)，集合划分结果如表3所示。

3.2.2 建模精度评价

在三维人脸重建完成后，通常需要对建模精度进行评价,建议两种方法，(1)对重建后的人脸模型进行识别，识别率越高则建模精度越高，实验数据集划分参见表3的方案1。(2) 原始三维人脸与重建后人脸中,顶点数较多的向顶点数较少的对齐，然后进行精度分析，实验时采用交叉验证[26]的方法。

表3 2D-3D识别数据集合划分

Tab.3 Set partitioning of 2D-3D recognition data

方案1方案2Gallery三维高精度人脸,每人1幅,共200幅。三维高精度人脸,每人1幅,共200幅。Trainingsets从人脸库中随机选取60人的可见光人脸图像,每人选取1幅正面图像,1～2幅侧面图像。从人脸库中随机选取60人的二维监控人脸图像,每人11幅(姿态变化)。Probesets除去训练集以外余下的140人的可见光人脸图像,每人选取1幅正面图像,1～2幅侧面图像。除去训练集以外余下140人的二维监控人脸图像,每人11幅(姿态变化)。

4 结 论

本文介绍了多模人脸数据库SWJTU-MFDB，首先总结了当前的三维人脸识别现状，具体分析了现有的人脸数据库，接着介绍了数据采集的环境与所使用的设备，然后罗列了SWJTU多模人脸数据库的具体内容，最后着重介绍了Kinect采集的低精度三维人脸数据的预处理过程。与现有的人脸数据库相比，本数据库具有以下特点：(1) 同时包含二维与三维人脸数据，便于研究如何解决不同姿态、不同光照条件下的人脸识别问题以及三维重建问题。(2) 不但采集了高精度人脸数据，还采集了对应的低精度人脸数据。(3) 包括了不同姿态下的二维人脸数据与不同距离下(疏密、精度不同)采集的三维人脸数据，便于研究各种实际场景中遇到的人脸识别、建模问题。该数据库提供的多模人脸数据，丰富了现有的人脸数据库，为人脸识别与重建领域的进一步研究提供了一套标准的测试数据集。

致谢 在此，我们向对本文的工作给予支持和建议的西南交通大学四川省云计算与智能技术高校重点实验室的老师和同学表示感谢。

[1] Lu X, Colbry D, Jain A K. Three-dimensional model based face recognition[C]∥Pattern Recognition, International Conference on IEEE Computer Society.[S.l.]:IEEE, 2004:362-366.

[2] Blanz V, Vetter T. Face recognition based on fitting a 3d morphable model[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(9):1063-1074.

[3] Hu Y, Jiang D, Yan S, et al. Automatic 3D reconstruction for face recognition[C]∥Sixth IEEE International Conference on Automatic Face and Gesture Recognition.[S.l.]: IEEE, 2004: 843-848.

[4] Moeini A, Moeini H, Faez K. Expression-invariant face recognition via 3D face reconstruction using gabor filter bank from a 2D single image[C]∥22nd International Conference on Pattern Recognition (ICPR)IEEE Computer Society.[S.l.]:IEEE,2014:4708-4713.

[5] Rama A, Tarres F, Onofrio D, et al. Mixed 2D-3D information for pose estimation and face recognition[C]∥Acoustics, 2006 IEEE International Conference on Speech and Signal Processing．[S.l]:IEEE,2006:2.

[6] Huang D, Ardabilian M, Wang Y, et al. Asymmetric 3D/2D face recognition based on LBP facial representation and canonical correlation analysis[C]∥16th IEEE International Conference on Image Processing (ICIP)．[S.l]:IEEE, 2009: 3325-3328.

[7] Huang D, Ardabilian M, Wang Y, et al. Automatic asymmetric 3D-2D face recognition[C]∥ 20th International Conference on Pattern Recognition (ICPR).[S.l]:IEEE,2010:1225-1228.

[8] Huang D, Ardabilian M, Wang Y, et al. Oriented gradient maps based automatic asymmetric 3D-2D face recognition[C]∥5th IAPR International Conference on Biometrics (ICB).[S.l]:IEEE,2012:125-131.

[9] Yang W, Yi D, Lei Z, et al. 2D-3D face matching using CCA[C]∥ 8th IEEE International Conference on Automatic Face & Gesture Recognition．[S.l]:IEEE, 2008: 1-6.

[10]Ansari A, Abdel-Mottaleb M. 3D face modeling using two views and a generic face model with application to 3D face recognition[C]∥IEEE Conference on Advanced Video and Signal Based Surveillance.[S.l]:IEEE,2003:37-44.

[11]Cook J, Chandran V, Sridharan S, et al. Face recognition from 3d data using iterative closest point algorithm and Gaussian mixture models[C]∥2nd International Symposium on 3D Data Processing, Visualization and Transmission.[S.l]:IEEE, 2004:502-509.

[12]Mohammadzade H, Hatzinakos D. Iterative closest normal point for 3D face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(2):381-397.

[13]Quy N H, Quoc N H, Anh N T L, et al. 3D human face recognition using Sift descriptors of face′s feature regions[M]．Switzerland: Springer International Publishing, 2015:117-126.

[14]Elaiwat S, Bennamoun M, Boussaid F, et al. A curvelet-based approach for textured 3D face recognition[J]. Pattern Recognition,2015,48(4):1235-1246.

[15]Chibelushi C C, Gandon S, Mason J S, et al. Design issues for a digital integrated audio-visual database[C]∥IEE Colloquium on Integrated Audio-Visual Processing for Recognition, Synthesis and Communication. [S.l]:IET, 1996:7.

[16]Pigeon S, Vandendorpe L. The M2VTS multimodal face database (release 1.00)[C]∥Audio-and Video-Based Biometric Person Authentication. Berlin,Heidelberg:Springer,1997:403-409.

[17]Messer K, Matas J, Kittler J, et al. XM2VTSDB:The extended M2VTS database[C]∥2nd International Conference on Audio and Video-based Biometric Person Authentication.Washington D C,USA:[s.n.],1999:965-966.

[18]Phillips P J, Flynn P J, Scruggs T, et al. Overview of the face recognition grand challenge[C]∥2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2005).Arlington,VA,VSA:2005:947-954.

[19]Petrovska-Delacrétaz D, Lelandais S, Colineau J, et al. The IV 2 multimodal biometric database (including Iris, 2D, 3D, stereoscopic, and talking face data), and the IV 2-2007 evaluation campaign[C]∥ 2nd IEEE International Conference on Biometrics:Theory, Applications and Systems．Arlington,VA,USA:IEEE,2008:1-7.

[20]Li S Z. Heterogeneous face biometrics[M].US:Springer,2009:700-702.

[21]Li S Z, Lei Z, Ao M. The HFB face database for heterogeneous face biometrics research[C]∥2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops(CVPR Workshops 2009)．[S.l]:IEEE,2009:1-8.

[22]Zhang B, Zhang L, Zhang D, et al. Directional binary code with application to PolyU near-infrared face database[J]. Pattern Recognition Letters,2010,31(14):2337-2344.

[23]Maeng H, Choi H C, Park U, et al. NFRAD:Near-infrared face recognition at a distance[C]∥2011 International Joint Conference on Biometrics (IJCB)．[S.l]:IEEE,2011:1-7.

[24]Bourlai T, Cukic B. Multi-spectral face recognition:Identification of people in difficult environments[C]∥2012 IEEE International Conference on Intelligence and Security Informatics (ISI)．[S.l]:IEEE,2012:196-201.

[25]Kang D, Han H, Jain A K, et al. Nighttime face recognition at large standoff:Cross-distance and cross-spectral matching[J]. Pattern Recognition,2014,47(12):3750-3766.

[26]Toderici G, Evangelopoulos G, Fang T, et al. UHDB11 database for 3D-2D face recognition[C]∥Pacific-Rim Symposium on Image and Video Technology 2013. Berlin, Heidelberg: Springer, 2013: 73-86.

[27]Bagdanov A D, Del B A, et al. Florence faces: A dataset supporting 2d/3d face recognition[C]∥2012 5th International Symposium on Communications Control and Signal Processing (ISCCSP). Rome, Italy:IEEE, 2012:1-6.

[28]Berretti S, Del Bimbo A, Pala P. Superfaces:A super-resolution model for 3D faces[C]∥Computer Vision-ECCV 2012. Workshops and Demonstrations. Berlin, Heidelberg：Springer，2012:73-82.

[29]Apple.InC. OpenGL[EB/OL]. https:∥www.opengl.org/. 2015-05-20.

[30]Cootes T F, Taylor C J, Cooper D H, et al. Active shape models-their training and application[J]. Computer Vision and Image Understanding,1995,61(1):38-59.

[31]龚勋, 王国胤. 基于特征点的三维人脸形变模型[J]. 软件学报,2009,20(3):724-733.

Gong Xun, Wang Guoying. 3D face deformable model based on feature points[J]. Journal of Software,2009,20(3):724-733.

[32]胡永利, 尹宝才, 程世铨, 等. 创建中国人三维人脸库关键技术研究[J]. 计算机研究与发展,2005,42(4):622-628.

Hu Yongli, Yin Baocai, Cheng Shiquan, et al. Research on key technology in construction of a Chinese 3D face database[J]. Journal of Computer Research and Development,2005,42(4):622-628.

[33]傅泽华, 龚勋. 基于可变模板的Kinect三维人脸标准化[J]. 机械, 2014,41(S):343-348.

Fu Zehua, Gong Xun. Kinect 3D face standardization based on resizable templates[J]. Machinery,2014,41(S):343-348.

[34]Hernandez M, Choi J, Medioni G. Laser scan quality 3-d face modeling using a low-cost depth camera[C]∥Proceedings of the 20th European Signal Processing Conference (EUSIPCO)．[S.l]:IEEE,2012:1995-1999.

Although 2D-based face recognition technology becomes more and more mature, recognition results are still affected by light, posture, facial expressions and other changes. It is a trend to improve the performance of face recognition by 3D face model as well as to apply 3D face recognition in practice. To tackle these problems, SWJTU multimodal face database which contains face data from 200 Chinese people with neutral expression is proposed. The database includes visible light images, video sequences, 3D face models (high resolution) and stereo video sequences. Here, we describe the apparatuses, environments and procedure of the data collection and present the normalization procedure of the database. Finally, database applications are discussed and then several evaluation protocols for SWJTU multimodal face database are presented to measure face recognition and reconstruction performance.

3D face; face recognition; face reconstruction; video sequences; stereo video sequences

国家自然科学基金(61202191)资助项目;计算智能重庆市重点实验室开放基金(CQ-LCI-2013-06)资助项目。

2015-06-05；

2016-06-30

TP391.41

A

傅泽华(1990-)，女，硕士研究生，研究方向：三维人脸重建，机器视觉,E-mail:mata_fu@163.com。

龚勋(1980-)，男，副教授，研究方向：图像处理，模式识别，人工智能。

李天瑞(1969-)，男，教授，研究方向：数据挖掘、粗糙集、粒计算和云计算。

2D & 3D Multi-modal Face Database

Fu Zehua, Gong Xun, Li Tianrui

(School of Information Science and Technology, Southwest Jiaotong University, Chengdu, 611756, China)