基于卷积神经网络的车辆尾部放大号牌检测算法研究

赵 凯，张 森，李 杰，尤冬海

（1.铁道警察学院 图像与网络侦查系，河南 郑州450053；2.公安部交通管理科学研究所，江苏 无锡214151）

随着我国经济高速发展，机动车保有量持续快速增长。据公安部统计，截至2017 年年底，全国机动车保有量达3.10 亿辆，其中汽车达2.17 亿辆，按类型分，载客汽车保有量达1.85 亿辆，载货汽车保有量达2341万辆，增速均达到历史新高。随之而来的道路安全形势越来越严峻，为保证道路安全，杜绝重特大事故发生，必须对中型和重型载客、货汽车严格管理。依据《中华人民共和国道路交通安全法实施条例》第十三条要求，重型、中型载货汽车及其挂车、拖拉机及其挂车的车身或者车厢后部应当喷涂放大的号牌，字样应当端正并保持清晰。如未按照以上要求的，将依法处以警告或者20 元以上200 元以下罚款。但在现场执法过程中，由于放大号牌在车辆尾部，发现时车辆已经快速驶离，管理、取证和处罚难度较大。随着公安系统的天网工程建设逐步完善，道路监控设备覆盖越来越广，利用电子卡口监控设备，对车辆尾部喷涂放大号牌违章进行非现场执法，可有效实现，并达到依法取证、有效查处的目的。

本文提出一种基于卷积神经网络的车辆尾部喷涂放大号牌检测算法，首先采用窗口检测器网络对车辆尾部图像进行检测，得到可能的目标窗口，然后采用改进的AlexNet 网络模型进行分类，对车辆车尾放大号牌检测分类，算法针对不同车型进行了测试分析。经过实验测试，提出的算法模型分类效果和泛化能力较好，检测效果满足实践要求。

一、研究现状

深度学习是通过建立和模拟人脑的学习分析问题的神经网络，对数据进行解释，为人们提供精确的识别和预测能力。目前深度学习逐渐广泛应用于图像分类、人脸识别、语音识别、自然语言处理等领域。特别在图像分类领域，从2010 年开始，ImageNet大规模视觉识别挑战赛（ILSVRC，ImageNet Large Scale Visual Recognition Challenge）每年举行一次，在2012年，基于深度学习的AlexNet[1]网络赢得了冠军，把2010年接近30%的误差率下降至15.4%，大幅提高了机器视觉的识别率。

对图像中物体进行分类主要是研究图像的特征描述。当前的车辆特征提取主要有传统的人工经验算法提取和深度学习算法提取。传统的人工经验算法的模型简单，但是对图像的旋转、光线强度和图像尺寸大小要求严格，并且算法的鲁棒性较差。相较于传统的人工经验算法，深度学习算法采用层级连接的方式，对输入图像信号进行非线性建模，从而获得图像更本质性的表现特征，完全是数据驱动的“端到端”的学习，不依赖于人工设计的特征提取模型，能解决车辆在复杂自然场景下，位置不同、角度不同等所带来的分类难题，并具有很好的鲁棒性[2]。现在用于车辆放大号牌的自动分类检测的研究较少，在复杂道路场景下，车尾图像参数不统一、车辆的放大号牌不规范，采用人工经验算法提取的特征进行分类检测的效果很差。

二、卷积神经网络

卷积神经网络（CNN[3]，Convolutional Neural Networks）是一种前馈人工神经网络，与普通的神经网络相似，是由可学习的权重和偏置常量的神经元组成。卷积神经网络有很多层组成[4]，其典型结构由输入层、隐藏层和输出层组成，其中隐藏层包含卷积层、池化层和全连接层。

图1为经典的AlexNet网络模型，它是Hinton和他的学生Alex 在参加ImageNet 大规模视觉识别挑战赛时提出的卷积神经网络模型。该模型深度为8层，其中卷积层5 层，全连接层3 层，参数约60 MB个，具有约650K 个神经元，使用ReLU 函数作为激活函数，使用了Dropout技术，在最后采用Softmax输出概率值，按照概率的大小并设置门限来进行图像分类。

三、基于深度学习的车尾放大号牌检测的网络模型

车辆尾部放大号牌检测网络模型是一个判断车辆尾部有无放大号牌的分类检测网络模型，实现该功能的流程如图2 所示。在通常道路应用环境中，需要首先使用窗口检测网络对图像进行车辆检测[5]，检测为车辆尾部图像后，接着对车辆类型进行分类，放大号牌只对中型和重型载客、货车有要求，对分类后的车辆尾部图片进行放大号牌的检测。本文主要研究放大号牌的检测网络模型。

图1 经典AlexNet网络模型框架

图2 车辆尾部放大号牌检测流程

目前进行图像分类的网络算法有AlexNet 的8层，VGGNet[6]的19 层，GoogleNet[7]的22 层，甚至还有ResNet[8]的200 层，理论上层数越多分类效果越好，但效率也会降低。本文研究的车辆尾部放大号牌是二分类问题，类别较少，在注重效果的同时，需要更快的速度。因此，受AlexNet 网络模型启发，本文构建了如图3 的网络模型。该网络模型共有6层，其中4个卷积层和2个全连接层，去掉了原网络中LRN（Local Response Normalization）层，使 用ReLU 函数作为激活函数，为防止训练数据过拟合，保留了全连接层的使用Dropout技术，但是去掉了最后一个全连接层，为了减少模型参数，同时将原来较大的卷积核使用较小的核来实现。

该算法首先获取分类后的车辆图像信息，为了统一数据格式，将图像大小转换为256*256，并使用三通道（RGB）彩色图片输入到网络中，然后经过4个卷积层和2个全连接层。第1、2个卷积层使用5*5的卷积核，可以减小参数并加快训练、检测速度，第3、4个卷积层使用3*3的卷积核，所有卷积层均使用ReLU 函数作为激活函数，在全连接层中，为提高算法的泛化能力保留了Dropout技术，去掉最后一层全连接层，模型最后使用Softmax回归进行概率分类。

四、实验结果与分析

为判断网络模型的可行性和通用性，算法模型验证时，分为按车型分类的验证和不按车型分类的验证，然后分析检测准确率，期望得到适合各种车型的网络模型。按车型分类验证时，把车型分为重型货车、大客车和中型客货车三类，将三类车辆图像集分别进行训练测试，然后得到模型的检测准确率，从而判断模型的可行性。不按车型分类验证时，将三类车型样本集混合打乱，进行训练，然后对三类车型分别测试，得到模型的检测准确率，从而分析模型的通用性。

（一）实验数据集

实验数据集来源于某地高速路车辆图像信息，由于负样本较难获取，故实验未使用大量的数据。实验数据集中，重型货车图片1000 张，其中无喷涂样本500 张；大客车图片1000 张，其中无喷涂样本500 张；中型客货车图片1000 张，其中无喷涂样本500 张。实验测试集中，三类车型样本各250 张，其中无喷涂样本各125张。

（二）网络训练和数据分析

本实验使用的环境是Ubuntu 16.04，使用单个NVIDIA的Tesla系列P4的GPU，是基于Caffe的深度神经网络平台。训练时初始学习率为10-3，动量为0.9，权重衰减量为0.05，块大小为32，正则化系数为10-3。

为验证所提出的算法的可行性和有效性，针对三种不同车型，分别使用经典AlexNet 和本文改进AlexNet 网络模型进行了验证对比。表1～4，在不同的场景下，给出了两个算法的检测速率、召回率和准确率。

图3 放大号牌检测网络模型

表1 重型货车的经典AlexNet和改进AlexNet算法的比较

表2 大型客车的经典AlexNet和改进AlexNet算法的比较

表3 中型客货车的经典AlexNet和改进AlexNet算法的比较

表4 混合车型的经典AlexNet和改进AlexNet算法的比较

经典AlexNet 和本文改进AlexNet 算法，在车辆放大号牌检测中检测准确率均超过83%，说明算法模型可行。分析数据发现，重型货车由于车辆外观整洁度较差，放大号牌部分不清晰，导致检测准备率较低；大型客车负样本中，小部分车尾部车窗部分粘贴有广告信息，导致检测出错；中型客货车，外观整洁，车尾无干扰因素，故检测准确率较高。

在算法效果上，本文从检测速率、召回率和准确率方面进行分析。在检测速率方面，经典AlexNet每秒检测4.6张图片，改进的AlexNet可检测每秒6.3张。改进的AlexNet 网络结构比经典AlexNet 的少1个卷积层和一个全连接层，因此改进的AlexNet 检测速率较快。在召回率方面，在二分类的应用场景下，由于两者的网络结构和采用的技术类似，两者的召回率基本一样，改进的AlexNet删减了LRN层，得到的召回率相对略高。在准确率方面，改进的AlexNet网络，车辆的二分类场景中，选用2层5*5的卷积核和2 层3*3 的卷积核更为合适，并且每个卷积层中具有池化层，算法的特征获取更好，且算法的泛化能力更强，因此改进的AlexNet 检测准确率更高。

五、结论

本文提出了一种基于卷积神经网络的车辆尾部放大号牌检测方法，设计了基于改进的AlexNet网络模型的放大号牌的检测分类算法，并通过不同车型场景对算法的可行性进行验证，然后通过混合车型数据集对算法进行通用性和有效性验证。实验证明，提出的算法模型速率具备较好的泛化能力，算法效率和准确率能够满足实践要求。但算法在部分型号车尾玻璃窗粘贴大幅面广告场景下，准确率有一定的下降，这将是算法改进的一个方向。