基于CNN多标签分类的林区车牌识别研究

丁键 朱洪前

摘  要：林区一直是智能化设施比较薄弱的地区，我国林区每年都会发生大量偷盗现象，不法分子为了金钱利益盗伐木材、偷猎野生动物，该现象暴露出林区存在治安防护不足的问题。为加强林区的治安防护，并針对常有大雾、灰尘飞扬等复杂环境，提出了基于CNN多标签分类的林区车牌识别方法。此方法相比传统方法免除了车牌字符分割的误差累积，能够克服大雾、灰尘、光线较暗等复杂环境影响，文章提出的方法在林区环境下车牌识别率达到81.57%。

关键词：多标签分类;林区环境;车牌识别

中图分类号：TP391.41;U495      文献标识码：A 文章编号：2096-4706（2020）12-0084-04

Abstract：The forest region has always been the area with weak intelligent facilities. Every year，a large number of thefts occur in Chinas forest region. Illegal elements illegally cut timber and poach wild animals for money interests，which exposed the problem of insufficient security protection in forest areas. In order to strengthen the protection of public security in forest areas，and in view of the complex environment such as fog and dust，a vehicle license plate recognition method based on CNN multi-label classification was proposed. Compared with the traditional method，this method avoids the error accumulation of license plate character segmentation and can overcome the complex environmental influences such as fog，dust and dark light. The license plate recognition rate of the proposed method in forest environment is 81.57%.

Keywords：multi-label classification;forest environment;license plate recognition

0  引  言

目前，工业是机器视觉应用比重最大的领域，相对于人工视觉检测，机器视觉检测拥有效率高、精度高、检测效果稳定、方便信息集成等优势。随着人工智能技术实现质的突破，以及中国5G技术的领先研发，机器视觉算法的运算能力和实际应用的效率将大幅度提升，万物互联模式下，机器视觉应用的领域将被全面推广，而这一切的飞速发展都离不开一线科研人员的努力。机器视觉技术应用于林业领域在未来将成为必然的趋势。

林区每年都会出现大量的偷盗现象。为了金钱交易，不法分子盗伐木材、捕杀贩卖野生动物，而公安系统有时还会接到涉林案件，不法分子利用林区的智能化管理比较薄弱，车辆的出入管理不完善，监控还不够智能化这些特点，钻了不少空子。2003年非典的爆发就是野生果子狸携带的病毒引起的，2020年1月新型冠状病毒在武汉爆发，席卷全国，中华菊头蝠所带的原生病毒与新冠病毒有90%以上的一致性。因此加强对野生动物的监管，增强林区车牌识别系统的研究迫在眉睫，全方位监控并识别进出车辆车牌号，这将大大提高林区防盗伐的能力，在疫情防控方面也能够追本溯源，迅速掌握病毒的源头。

林区环境复杂，常有大雾、泥土灰尘、树木引起的光线昏暗等影响车牌识别的因素[1]。针对林区的复杂环境给车牌识别带来的影响，中南林业科技大学朱洪前老师团队发起了林区环境下车牌识别研究项目，对此本文基于以上项目进行了基于卷积神经网络（Convolution Neural Networks，CNN）多标签分类的林区车牌识别研究。

本文的整体结构如下：第一部分介绍制作林区车牌数据集，第二部分介绍林区车牌识别模型的效果，第三部分介绍传统车牌识别方法的效果，第四部分为两种方法效果的对比结论。

1  制作林区车牌数据集

图1为精选的林区车牌图片样本。

结合项目要求，自行建立一个林区车牌数据集。训练集里面一共有3 300张220×70像素的车牌图片，均为程序生成的虚拟车牌。中国的车牌一直是7个字符，包含了31个省份、24个大写字母（去除O和I）以及10个数字。为了更真实的模拟实际车牌，车牌的背景为林区环境，且增加了畸变、倾斜、色差、明暗等噪声[2]。

验证集一共100张图片，全部为人工采集制作，统一大小为220×70像素。训练集和验证集统一采用7位数字标签进行标注，因有65类中文、英文、数字字符，故有65个数字标签。标签对应如下：

{"京"： 0，"沪"： 1，"津"： 2，"渝"： 3，"冀"： 4，"晋"： 5，"蒙"： 6，"辽"： 7，"吉"： 8，"黑"： 9，"苏"： 10，"浙"： 11，"皖"： 12，"闽"： 13，"赣"： 14，"鲁"： 15，"豫"： 16，"鄂"： 17，"湘"： 18，"粤"： 19，"桂"： 20，"琼"： 21，"川"： 22，"贵"： 23，"云"： 24，"藏"： 25，"陕"： 26，"甘"： 27，"青"： 28，"宁"： 29，"新"： 30，"0"： 31，"1"： 32，"2"： 33，"3"： 34，"4"： 35，"5"： 36，"6"： 37，"7"： 38，"8"： 39，"9"： 40，"A"： 41，"B"： 42，"C"： 43，"D"： 44，"E"： 45，"F"： 46，"G"： 47，"H"： 48，"J"： 49，"K"： 50，"L"： 51，"M"： 52，"N"： 53，"P"： 54，"Q"： 55，"R"： 56，"S"： 57，"T"： 58，"U"： 59，"V"： 60，"W"： 61，"X"： 62，"Y"： 63，"Z"： 64}

在制作数据集时，首先将图片进行灰度化处理，然后将图片转换成数组形式。为了便于计算机进行计算，需要将图片数据进行归一化处理。每个图片的标签转换成one-hot编码形式，从而每个图片的标签数据是7行65列的数组。

2  林区车牌识别模型介绍

2.1  网络结构

本文的车牌识别网络模型主要是由可以提取若干特征的卷积层、池化层、全连接层，最后接以Softmax函数激活输出来组成。整个网络模型可以进行端到端的训练[3]，避免了字符分割带来的误差影响。

林区车牌识别模型的目标是为了提取车牌图片中每个字符的特征，进而识别出每个字符。将整个车牌图片看作一图多标签问题，避开了字符切割。整个模型原理图如图2所示，将车牌图片数据输入卷积神经网络，经过特征提取后，经由7×65个全连接层，输出为车牌数字标签，转化后得到最终的车牌号码。

2.2  损失函数和训练方法

在训练时，最终选定的Loss函数是categorical_crossentropy（交叉熵损失函数），此函数的引入，克服了均方差损失函数（MSE）因Sigmoid函数性质导致权重w和偏置b更新缓慢的问题。

交叉熵是用来评估当前模型训练得到的概率分布和真实分布的差异情况，描述的是实际输出概率和期望输出概率的差值，交叉熵的值越小，实际输出与期望输出就越近。

训练过程中，选择Adam优化器，学习率设为随机，整个网络一共训练6轮，每个batch_size设为64。对每一张图片都进行了批标准化和灰度化处理，shape大小为220×70元素的数组。

2.3  实验

整个网络模型是用TensorFlow框架实现，计算过程实现了GPU加速。实验电脑的配置显卡为NVIDIA GeForce GT 740M，显存为2 GB。

2.4  实验结果

由于本实验的数据集是自行建立的，所以这里并没有和其他的算法性能做对比。在自制的林区车牌数据上的车牌识别率达到了81.57%。验证集上得到的实验结果如表1和图3所示。

3  传统车牌识别方法

传统的车牌识别方法，需要将检测到的车牌进行仿射变换以实现车牌的图像矫正，然后将矫正后的车牌图像进行字符分割，最后使用模板匹配法或者ANN方法，实现字符识别得到车牌号，其流程图如图4、图5所示。

在此过程中，图像矫正和字符分割都会不可避免造成二次误差，尤其在字符分割时，所调节的阈值只能在一定范围内准确的分割字符，超出范围则造成误差，分割过多或过少，直接影响了字符识别的效果，在光线较暗、大雾、灰尘等复杂环境下分割出的字符表现较差[4]，如表2所示。

4  结  论

本文提出了基于CNN多标签分类的林区车牌识别研究，实现了弱监督的思想（即只标注车牌的内容信息），以往车牌识别任务中，数据集标注的难度大，人力成本高，通过弱监督，大大降低了車牌标注的难度。虽然，训练集上准确率比测试集高出许多，出现了过拟合现象，需要针对网络模型改进、调参，但是可以看到，基于CNN的多标签分类识别模型应用于林区车牌识别具有很好的表现力，相比较传统车牌识别方法，CNN特征提取能力完全可以克服林区复杂环境对车牌识别的影响。后期将逐步优化模型，提升准确率，为林区环境下的车牌识别做出积极贡献。

参考文献：

[1] 文章岩.雾霾环境下车牌定位 [J].时代汽车，2019（12）：18-20.

[2] 邓嘉诚，黄贺声，杨林，等.车辆牌照识别技术现状 [J].现代信息科技，2019，3（16）：78-83.

[3] SILVA S M，JUNG C R. License Plate Detection and Recognition in Unconstrained Scenarios [C]//European Conference on Computer Vision.Cham：Springer，2018：593-609.

[4] 曹正凤，李少丁，王栋梁，等.基于深度学习的端到端车牌检测识别系统 [J].中国交通信息化，2018（9）：88-91.

作者简介：丁键（1995—），男，汉族，江苏盐城人，硕士，研究方向：机器视觉;通讯作者：朱洪前（1974—），男，汉族，湖南双峰人，副教授，博士，研究方向：机器视觉。