基于多算法融合的静态人像比对平台的探究

刘敏

摘要：伴随着经济社会发展而产生的庞大流动人口，特定人员的排查问题日趋复杂和多样，人像比对技术已成为维护国家安全和社会稳定的重要手段。针对目前人像比对技术的实际应用现状，提出一种多算法融合的模型，将多个算法模型统一到一个展示系统，更好地为用户提供技术服务支撑。探索了基于算法模型融合的人像比对平台的总体架构以及主要功能模块。

关键词：算法融合;人像比对

一、引言

随着社会经济的高速发展以及城镇化进程的加快，庞大的流动人口中特定人员的排查，成为目前社会面临的重要课题。人脸识别系统已成为维护社会稳定与国家安全的重要工具和手段。但是，面对治安防控、反恐维稳、社会管理等形势的发展要求，目前视频监控系统在监控点位的覆盖率和专业性等方面还有很大差距，从海量的视频资源中查找特定人员，费时费力，亟需一套比对效率强、业务功能丰富的人像比对分析系统。[1]

二、人像比对技术现状分析

随着深度学习、计算机视觉等技术推进人像比对技术的不断发展进步，实时人像采集和匹配识别的准确性也越来越高。人像比对技术存在自然性、非接触性、非强制性、并发性等优势特点，大量平安城市的建设及社会高清监控的普及，为人像比对平台的应用提供了大量的数据采集来源，使得人像比对技术得以不断发展，但也存在平台建设瓶颈。选择哪一款人像比对算法成为信息化建设部门必须面对的一个问题。目前常用的选择依据主要有：

考察案例：实地考察和调研各个算法的建设应用情况，可以很好的屏蔽掉部分算法的夸大宣传，但是考察时间一般较短，往往不能全面的体验实际性能和实战效果;

产品PK测试：让多个算法模型同时参与pk测试，可以直观的体验各算法模型的优劣，而且随着测试时间增加对模型的体验也会越深，不过这种选型方式的时间周期会很长，而且投入大量的人力和物力，并且存在测试样本小的缺陷，与实际应用存在较大差距;

建设多套人像比对系统：将较好的几种算法模型同时部署到应用系统中，让用户根据使用习惯和实际使用效果自己选择合适的算法。这样做的缺点一是建设成本较高，而且会人为的造成数据壁垒，不能统一管理和统一展示，也不能直观的进行优劣比较。[2]

不管采用哪种选型方式，都有相应的不足之处，所以将多个不同算法模型融合成为必然所趋。

三、人像多算法融合模型系统的提出

人像多算法融合模型系统将多个算法模型统一到一个展示系统，既解决了不同算法软件不能统一界面登录的问题，也解决了不同算法模型特征数据和人脸数据不能共享比对的问题;人像多算法融合模型系统同时可以将各算法的使用结果通过积分模型进行展示和统计，为人像比对平台的持续性建设提供更可靠的数据支撑，同时解决调研周期时间长的问题;人像多算法融合模型系统可以多级分别独自应用，实现流程和业务数据管理的一致性和應用的协同、结果的统一展示。另外，人像多算法融合模型可以实现统一规划、多级部署的架构，可以将人像比对平台纳入统一建设规范，避免重复建设现象。[3]

相比单一的算法模型，多算法模型具备以下优势：

（一）支持在同一个平台中同时部署多个人像比对算法模型，而且多个算法模型之间业务流程和数据是统一的，可以很好解决同一平台多个算法模型同时部署时的数据孤岛现象。

（二）支持对各个算法模型进行结果积分或费用统计，有利于算法模型的技术改进，以及对用户进行技术培训，同时对长期规划提供科学、严谨的数据依据和支撑。

（三）对人像比对平台建设有“统筹规划、统一管理”的效果，避免分别建设造成人物数据割裂，有利于大数据的整合和研判应用。

（四）多算法融合模式对其余算法模型的有利影响。多算法融合模型不再同时提供单一的算法模型，可保证积分模型的公正性，各个不同的算法模型软件统一搭建在多算法模型系统管理的计算资源群中，力图使各算法模型的建设硬件环境一致，保证各个算法模型能够在同一环境下使用。

综上所述，多算法融合模型可以对各算法模型使用结果进行数据统计，这既有利于了解各算法模型的优缺点，从而对算法进行有针对性的优化改良，也能让信息化建设部门对算法模型的引进更加理性和科学，更好地为用户提供技术服务支撑。

四、基于算法模型融合的人像比对平台的探究和路径

基于多种算法模型相融合的静态人像比对平台的现实路径就是，提供集成人像比对算法模型的接口，支持第三方算法模型的接入，通过高效并行的多算法模型调度机制，实现高效的人像检测和识别比对，快速识别辨别特定人员真实身份，把过去人工排查海量的视频图像资源比对需求变成现实，从而有效的为视频侦查、治安管理等工作提供实践上的有效帮助和解决方法。

系统平台的设计和研究总体遵循以下原则：先进性和实用性原则、标准化和资源共享原则、智能性和高效性、高可靠性和稳定性原则。人像比对平台的建设以“高精度识别、高性能处理、统一标准服务、突出实战、加强资源共享”为原则，强化顶层设计和规划，提供技术先进、性能可靠、信息安全、易用性强的综合人像比对应用系统，满足新形势下的公共安全领域的应用。

（一）总体架构设计

1.从应用层面，人像比对平台分为原始数据层、大数据层、云服务层和应用层。

原始数据层是整个系统的数据支撑层，为人像比对平台提供基础数据，包括各类基础人员库以及其他采集来的图像资源;

大数据层是系统建设的个人信息库、人员分类库等用于比对服务的各类库;

云服务层提供多算法比对等服务，为系统提供对外的统一接口服务;

应用层最终向用户提供基于多算法模型架构的各种业务功能，包括人像比对服务、人像比对门户等。

2.从逻辑层面，人像比对平台分为系统支撑层、数据通信层、业务逻辑层和应用展示层。

系统支撑层主要是JDK、数据库等系统应用软件;

数据通信层进行人员图片的采集、分析和存储;

业务逻辑层针对人员图片进行特征值获取和比对的算法服务;

应用展示层最终向用户提供基于多引擎架构的各种业务功能。

（二）主要功能模块

1.人员基础库

（1）个人全要素库

要建立统一的个人全要素库，实现不同类别人员的建档，同时关联个人其他信息，实现人员的多维度管理。其作用是为用户提供“静态比对”等功能提供个人基础特征数据信息。

人员全要素库的内容应包括：人员身份信息、户籍信息、居住信息、虚拟身份信息（QQ、微信号等）、手机信息（手机号、IMEI、IMSI、MAC等）、拥有的车辆信息、人员分类信息、人脸照片与人脸特征库。

（2）人脸数据与人脸基础特征库

人脸数据与人脸基础特征库的内容应包括：身份证件照片、视频监控抓取照片、其他来源照片等。

（3）人员通行库

人员通行数据库的内容应包括：人证核验检查站照片、机场安检人证核验照片、车辆卡口人脸照片、人员卡口人脸照片、视频监控人脸照片等，并应支持时间、地点、人脸照片三要素的互相关联。

2.人员档案管理

支持新增人员信息，支持批量导入人口信息;

手工录入：个别人员信息;

文件导入：中小规模人员信息，支持CSV/EXCEL文件格式;

数据库同步：大规模数据导入，支持oracle及oracle的dump文件。

3.人员详细信息

人员档案库关联人员身份信息、户籍信息、图片信息、出行信息、住宿信息、通讯信息等。

人员信息：关联人员身份信息、户籍信息等。

出行信息：购票实名制的落实使获取到的出行信息更准确，利用价值更高。

通讯信息：通过（IMEI/IMSI）基站/伪基站信息，可关联到手机号码并获取机主信息及其通讯信息。

图片信息：人员档案建立过程中可不断完善人员图片信息，支持抓拍图、自拍照、证件照等相片信息的管理及查询比对。

4.身份核查

将目标人员图片在设置的人像比对参数下，依据多引擎调度系统中已添加的算法库，与系统中已经建立的目标人脸库进行比对。比对结果能够按照一定的条件进行展示，且能够查询结果中人员的详细信息，并对目标人员执行命中操作。

（1）人员比对

系统提供多样化的比对方式，支持单选或多选要比对的人员库。

①两张照片或者一组照片是否为同一人的判定

1：1模式：两张照片互相比对，给出相似度;

1：1：1…模式：一组照片比对，给出聚类，相似的分为一组;

②单张照片身份识别

1：N模式：支持证件照、抓拍照、手机照、自拍照

③批量比对

M：N模式：批量导入人像照片进行比对，同一人比对为多个1：N的结果按照相似度从高到底排序;非同一人比对分为M个1：N，M个1：1，M个人员预警。

④不明身份人员入库比对

不明身份人员和大库比对以确认身份;

⑤不明身份人员内部比对（串并比对）

不明身份人员和不明身份人员库比对;不明身份人员和布控人员库人员比对。

（2）人员详细信息查询

系统支持对比对结果列表中的人员进行人口信息一鍵查询，可关联到该人员的身份信息、户籍信息、通讯信息以及各种照片信息，提升工作效率，简化工作流程。

（3）手机客户端应用

系统支持手机现场拍照回传到平台进行比对核查，并返回结果给手机客户端。可通过网络传输到系统人员库做比对，迅速查明人员真实身份。

5.多算法管理模块。

支持管理系统中接入的算法引擎，并能够进行修改、升级和删除操作，并对系统中的算法使用情况进行查询、统计、积分、纠错等，对统计结果以图表的方式进行展示且能够对统计详情表进行导出。

（三）技术线路

第一步，多算法模型人像比对系统从基础数据源同步初始数据，然后对数据进行清洗并建立对应的人员库并对外提供标准、统一的规范接口。

第二步，各算法模型按照标准的接口从系统管理的人员库进行特征提取库的建库工作，并把相应的特征数据同步到多算法模型调度系统，由系统统一管理。

第三步，用户基于多算法模型系统的页面进行多算法模型的人员查询比对、身份核查等应用。

1.与第三方算法工具的对接

人脸多算法静态比对系统提供基础库及接口协议给第三方比对算法，第三方比对算法按照人像多算法调度系统的接口进行调用，最终实现多算法工具的协同工作。多算法静态比对系统通过多算法调度实现人脸的身份核查，包括1：1，1：N，M：N，多算法模型调度管理，战果统计等功能。[4]

2.与特定数据资源库的数据对接

人脸多算法静态比对系统可以和各特定资源库通过相关接口标准及规范进行数据交互，包含人员相关库、日志审计系统、Pgis系统等。通过从特定数据资源库中获取人员照片及个人信息，进行相关建模、分析、比对、碰撞、研判等工作。[5]例如，通过获取常住地在当地的本地特定人员人像照片及信息，可导入特定应用库，实现人员的实时比对，通过导入特定数据资源库，实现不明人员身份的快速确认。

3.提供接口给第三方系统对接

系统支持提供接口供第三方系统使用，比如提供身份核验的接口，第三方可通过系统的接口获取直接查到某人的身份。同时针对不同的第三方业务系统可提供相应的接口，满足不同业务系统的应用需求，有效避免人像比对系统的重复建设。

五、结束语

目前基于人像比对系统的研究和应用已取得一定的成果。本研究是在已有技术的基础上进行了新的探究，是原有算法的升级和优化，是继承和创新相结合。充分考虑了目前成熟的算法平台功能，提出了多种算法模型相融合的新架构和技术路线。

参考文献：

[1]邓攀.公安智能视频系统的研究与实现[D].黑龙江大学，2017.

[2]叶统生.浅谈人脸大数据多算法融合技术[J].通讯世界，2018（04）：87-88.

[3]李仁杰，曾鹏，张龙.多人脸识别算法和大数据融合技术在公共安全领域的应用研究[C]//.2019年全国公共安全通信学术研讨会优秀论文集.，2019：305-308.

[4]廖恒锋.反视频侦查行为识别及应对研究[D].中国人民公安大学，2021.DOI：10.27634/d.cnki.gzrgu.2021.000255.

[5]陈威.基于大数据分析的治安情报研判系统的开发[D].武汉邮电科学研究院，2019.DOI：10.27386/d.cnki.gwyky.2019.000025.

基金项目：2021年度广西高校中青年教师科研基础能力提升项目“基于多算法融合的静态人像比对系统研究”（项目编号：2021KY0886）;

2017年度公安部应用创新计划项目“三维人像辨认系统”（项目编号：2017YYCXGXQT025）。