基于对抗网络的车牌数据生成与识别

黄锦涛

摘 要 为提高深度学习技术在不同环境中的识别率，本文利用四种生成式对抗网络生成不同环境的数据，包括模糊和拍摄角度不理想等情形，最后采用卷积神经网络识别生成数据。实验表明：四种网络中循环生成对抗网络生成的数据效果最好，并且平均识别率达到85%，表明生成对抗网络模型生成的数据可以用于训练识别复杂环境下的深度模型，达到了扩充数据的目的。

关键词 生成式对抗网络;数据增强;车牌识别

前言

车牌识别技术已经在日常环境中的应用日益成熟，但是当天灾人祸来临国家抢险救灾时，需要在恶劣复杂的环境下识别救援车辆，根据救援内容对人员和车辆进行调度。所以快速识别车牌对于时间就是生命的救援现场有着重要意义。由于环境的复杂与恶劣性，传统的识别方法无法有效应用于救灾现场的车辆识别，所以如何实现复杂环境下的车牌识别成为一个亟待解决的问题。

传统车牌识别方法采用特征提取的方法，对图像先预处理后再经神经网络进行识别。Li提出了一种无须分割使用深度卷积神经网络和LSTM进行车牌识别的级联框架[1]。Gao运用深度神经网络用于特征提取[2]。为满足深度学习所需的复杂环境数据集，传统的扩充数据方法除了人工收集外，还有向原始图像中添加噪声、畸变和模糊处理，但是图像的生成质量却无法达到深度学习训练所需的要求，所以本文采用生成对抗网络扩充数据。

1方法

生成对抗网络（GAN）通过对抗训练得到生成模型与判别模型，它可以通过以类标签为条件生成对应的图像[3]。GAN主要是由生成器网络和判别器网络两部分网络构成，通过两个网络的博弈，让生成器网络最终能够学习到输入数据的分布然后输出数据。生成器网络接受一个随机噪声并生成数据，判别器网络通过对输入的真实数据和由生成的假数据进行判断。通过两个网络的互相博弈，最终使整个网络达到纳什均衡。当判别器无法判别真假数据时，此时生成器的输出接近真实数据。

2实验结果

2.1 实验环境与数据

本文的实验环境为：CPU-2.21GHz，RAM-16GB，显卡GTX-1070，Tensorflow框架，版本1，12.0和Pycharm编译环境。将不同的环境下10，000张车牌数据处理成150 * 150像素的RGB图像，然后数据进行裁剪，最终将其转换为TF记录格式，划分为30个TF记录文件。

2.2 生成图像实验细节

在10000张车牌上训练GAN，DCGAB、WGAN和CycleGAN模型。原始GAN模型的学习率设为0.0001，每个轮次结束后保存模型，并在200个轮次后停止训练。训练DCGAN模型时设置学习率为0.0001，betel為0.5，批量大小为256，保存每个轮次结束后的模型，并在30轮次后停止训练。输出尺寸设置为64，生成器的每层网络结构的输出分别为：64*64， 32*32， 16*16， 8*8，4*4，判别器中的卷积层的输出分别为：32*32， 16*16， 8*8， 4*4。训练WGAN的模型时，dieter设置为0.7，每次梯度更新之后将判别器的参数调整到[-0.01，0.01]。WGAN的学习率为0.0005，批量大小为256。生成器中每层网络的输出特征数量为512，256，128，32，判别器中每层网络特征数量分别为64，128，256，512。设置CycleGAN模型的基础学习率为0.0002，设置为10.0，betel设置为0.6，设置轮次为300，在每100步后保存训练模型与训练日志。实验最后获得20000张车牌数据。

图1展示部分实验结果，可直观看出CycleGAN网络模型生成的数据更接近真实数据，WGAN模型和DCGAN模型产生的效果次之，原始GAN模型经常遇到模型崩溃导致难以训练的问题，难以生成理想图像。

2.3 生成图像识别

将通过CycleGAN网络模型生成的20000张车牌数据按其70%划分为训练集，30%作为测试集。本文利用可以识别车牌的卷积神经网络模型识别数据，测试生成图像数据的识别准确率。

从图2结果可以看出识别网络在训练集和验证集上随着迭代次数增加识别错误率降级，识别的正确率逐渐上升，平均识别率达到85%，这表明生成对抗网络模型生成的数据可以用于深度卷积神经网络的测试集，用于训练识别复杂环境下的深度模型，达到了扩充数据的目的。

3结束语

本文对复杂环境下的车牌扩充数据方法和可行性进行了分析研究，针对深度学习识别车牌缺乏复杂环境下车牌数据的问题，利用GAN，DCGAN，WGAN和CycleGAN网络进行车牌数据增强，验证了几种对抗生成网络的性能并测试了生成数据的识别准确率。通过实验发现CycleGAN扩充数据效果最好，WGAN模型产生的效果次之，DCGAN模型和原始GAN模型经常遇到模型难以训练和崩溃的问题，无法生成理想图像。而且扩充数据的平均识别率都能达到85%，这表明生成对抗网络模型生成的数据可以用于深度卷积神经网络的测试集，用于训练识别复杂环境下的深度模型，达到了扩充数据的目的。本文尚存一些改进的地方，如没有尝试更多复杂优化的对抗网络模型的数据增强方法和模型评价标准，接下来将在这方面做更深入研究并考虑将文本表示和图像样式之间的映射应用于车牌数据的生成问题。

参考文献

[1] H. Li.C. Shen. Reading car license plates using deep convolutional neural networks and lstms [J]. arXiv preprint arXiv.2016：1601.

[2] Gao Q.Wang X.Xie G. License Plate Recognition Based On Prior Knowledge[C].Automation and Logistics， 2007 IEEE International Conference on. IEEE， 2007：2964-2968.

[3] Reed S.Akata Z.Yan X.et al. Generative Adversarial Text to Image Synthesis[J]. In Proceedings of International Conference on Machine Learning.2016.（3）：177.

[4] Radford A.Metz L.Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J].Computer Science.2015.1（1）：1-19 .

[5] T. Salimans.I. Goodfellow.W. Zaremba.et al.Improved techniques for training gans[J].In Advances in Neural Information Processing Systems.2016.（1）：2226-2234.