基于卷积神经网络的双行车牌识别系统

朱文和

摘 要：目前，车牌识别发挥在众多应用程序和许多技术已经提出。但是，他们中的大多数可以仅适用于单行车牌。在实际应用程序方案，也有现有的许多多行车牌。传统方法需要对双行车牌的原始输入图像。这是一个非常复杂场景中的难题。为了解决这个问题，我们建议一个端到端的神经网络为两个单行和双行车牌识别。是的原始输入车牌图像的分段。我们查看这些整个图像作为一个单位在要素映射后直接深度卷积神经网络。大量的实验表明我们的方法是有效的。

关键词：深度学习 卷积神经网络 车牌识别

Dual-line License Plate Recognition System based on Convolutional Neural Network

Zhu Wenhe

Abstract：Currently， license plate recognition plays a role in numerous applications and many technologies have been proposed. However， most of them can only be applied to single-line license plates. In the actual application program， there are also many existing multi-line license plates. The traditional method requires the original input image of the double-row license plate. This is a difficult problem in an extraordinarily complex scenario. To solve this problem， we propose an end-to-end neural network to recognize two single-line and double-line license plates， that is， the segmentation of the original input license plate image. We view these entire images as a unit and directly deep convolutional neural network after feature mapping. Many experiments show that our method is effective.

Key words：deep learning， convolutional neural network， license plate recognition

1 引言

随着深度学习和人工智能技术的发展，车牌识别技术也发展迅猛。自动车牌识别在众多应用中起重要作用，如无人值守的停车场、自动收费等。由于车辆的不同属性和功能，法律和不同国家的法规对车牌管理。

目前大多数车牌识别方法只关注单行车牌识别任务[1][2]，通过分割并得到字符，然后对字符进行分类，或通过端到端神经网络。这些方法可以在单行车牌上有很好的效果。但是，只有少数方法会考虑双行车牌。这些方法需要分段输入双行车牌。具体来说，他们需要分割车牌的每个字符并正确识别。每个字符分割和识别精度会影响最终结果。

本文的主要贡献是提出一种新型神经网络模型，其网络架构专为识别双行车牌而设计的。我们把每个整个图像输入到深度卷积神经网络得到特征图。然后，对获取的特征图进行重新组织。对于所有单行和双行车牌，每个特征图都表示为序列样要素的地图。双向长期短期记忆[3]用于获取要素贴图以计算序列标签。由组装这些序列标签信息，我们可以得到最终车牌识别结果。建议的神经网络可以应用到许多车牌基于识别的系统，因为它可以培训和测试非常方便。广泛的实验结果证明我们提出的方法取得了显著成就与当前最先进的方法相比，改进。

2 算法设计与实现

2.1 算法设计

（1）特征提取

我们使用卷积神经网络对图片进行特征提取。我们设计网络结构的目标是，输出的特征映射是一个高度为2的矩阵。这就为后续进一步特征重组，做好了铺垫。

（2）特征重组

根据双行车牌的特点，我们提出将特征映射上下分开，然后重新水平组合。这就符合双行车牌的特征分布。

（3）序列标签预测

在卷积神经网络后要建立深度双向递归神经网络，作为循环层。循环层有能力从左到右处理特征映射。通过结合上下文信息，当前帧的处理与先前的记忆、遗忘结果结合，当前信息被处理以进行预测，并且结果传递到下一帧进行记忆门和忘记门处理。在我们的任务中，字符序列识别具有从左到右的时序特征。对于双行车牌，整个特征映射识别通过数据重组也具有时序特征。

单向RNN的问题是当时刻t被分类时，只有可以使用t之前的信息，但是有時也可能需要使用未来时间的信息。双向RNN模型试图解决这个问题。双向RNN在任何时候都保持两个隐藏层。一个隐藏层用于传输从左到右的信息和另一个隐藏层则传输从右到左的信息。许多文章和实验表明，双向循环网络在语音等领域有更好的表现。因此，我们使用双向LSTM网络预测卷积神经网络后的时序。

2.2 算法实现

本文提出一种双行车牌识别方法，在本文中，直接将待识别车牌图片的车牌特征作为一个整体进行输入，无需对车牌的每个字符进行分割、识别，相比于传统方法对字符进行单独识别，可节约工作量，提高工作效率。同时，相比于传统的识别方法需对每个字符都单独识别，一个字符错误会导致整个车牌识别错误，使得车牌识别率不高，而本文将整个车牌放入网络一起训练，精度较高，可提高识别结果的精度。

本文的双行车牌识别方法可以是由服务器实现的。具体包括：

（1）获取待识别车牌图片，采用预设特征提取模型对所述待识别车牌图片进行特征提取，得到车牌特征矩阵。

在本文中，先获取待识别车牌图片，然后将待识别车牌图片输入至预设特征提取模型中，可得到车牌特征矩阵。其中，预设特征提取模型的类型可选为卷积神经网络模型，该卷积神经网络模型包括1个输入层（Input），7个卷积层（Conv）和4个池化层（Pool），各层结构的维度和配置参数如下表1，其中，维度分别表示通道数x高x宽，配置参数中的K、S、P分别表示卷积核大小、步长和padding的数目。其中，输入层用于接收待识别车牌图片，卷积层用于根据卷积核提取待识别车牌图片的图像特征矩阵;池化层用于提取出每个图像特征矩阵中最能代表图像局部特征的图像特征值。

在经过特征提取之后，所得到的车牌特征矩阵的维度为512x2x12，即为一个高度为2的矩阵。

（2）按预设规则对所述车牌特征矩阵进行特征重组，得到目标车牌特征;

在得到车牌特征矩阵之后，按预设规则对该车牌特征矩阵进行特征重组，得到目标车牌特征。具体的，根据双行车牌的特点，可将特征矩阵进行上下对半拆分，然后重新水平组合，重组后的矩阵维度为512x1x24，即重组得到高度为1的矩阵。

（3）将所述目标车牌特征输入至预设深度双向递归神经网络中，得到车牌识别结果。

在得到目标车牌特征之后，将目标车牌特征输入至预设深度双向递归神经网络中，得到车牌识别结果。其中，预设深度双向递归神经网络可选地为双向长短期记忆网络（Bi-directional Long Short-Term Memory，Bi-LSTM）。可以理解，现有的Bi-LSTM有能力从左到右处理特征信息，通过上下文信息，当前帧的处理结果与之前记忆和忘记结果融合，从而能够进行预测，并且能够将结构传递给后续的帧。而本文中的字符序列识别具有从左到右的时序特征，而双行车牌在重新组合后也是一个字符序列，因此可以采用双向递归神经网络进行车牌字符识别。

需要说明的是，单向的递归神经网络（Recurrent Neural Network，RNN）的问题在于只可以使用t时刻之前的信息，但是有时可能还需要使用将来的信息。而双向RNN模型可以解决这个问题。双向RNN在任何时候都保持两个隐藏层，一个隐藏层用于传输从左到右的信息，并使用另一个隐藏层对于从右到左的传播信息进行记录。因此，相比于采用单向的递归神经网络，本算法可以提高识别结果的准确性。

（4）通过CTC对车牌识别结果进行处理，得到最终的车牌信息。

最后，通过CTC对车牌识别结果进行处理，以进行字符对齐操作，得到最终的车牌信息其中，CTC（Connectionist Temporal Classifier，联接时间分类器）[5]，主要用于解决输入特征与输出标签的对齐问题。

进一步地，在对待识别图像进行特征提取之前，还可以先对待识别车牌图片进行预处理，其中，预处理包括但不限于灰度处理、裁剪处理等，以使得處理后的待识别车牌图片符合模型图片的输入要求。

3 实验

为了验证模型的有效性，我们测试了其公共数据集的性能。我们评估我们的方法SYSU-ITS[6]数据集。它包括总共1402图像、958 个单行车牌图像和84张双行车牌图像。每个图像都包含只有一个车牌，每个车牌字符成像清晰，无粘附，轻好，均匀，车牌图像垂直倾斜角度和水平倾斜角度很小（可忽略）。

本文提出的算法在SYSU-ITS公开数据集实验结果取得了很好的成绩。单行车牌的识别精度为98.7%，双行车牌的识别精度为96.4%。均超过了其他四种方法，如图1所示。

4 结论

本文提出一种端到端的双行车牌识别神经网络。实验结果表面本文提出的方法的有效性。

参考文献：

[1]Chang S L， Chen L S， Chung Y C， et al. Automatic license plate recognition[J]. IEEE transactions on intelligent transportation systems，2004，5（1）：42-53.

[2]Gou C，Wang K，Yao Y，et al. Vehicle license plate recognition based on extremal regions and restricted Boltzmann machines[J]. IEEE Transactions on Intelligent Transportation Systems，2016，17（4）：1096-1107.

[3]Messina R， Louradour J. Segmentation-free handwritten Chinese text recognition with LSTM-RNN[C]//Document Analysis and Recognition（ICDAR），2015 13th International Conference on. IEEE，2015： 171-175.

[4]Schuster M，Paliwal K K. Bidirectional recurrent neural networks[J].IEEE Transactions on Signal Processing，1997，45（11）：2673-2681.

[5]Graves A，Gomez F. Connectionist temporal classification：labelling unsegmented sequence data with recurrent neural networks[C]//International Conference on Machine Learning. ACM，2006：369-376.

[6]http：//www.openits.cn/openData4/569.jhtml.