基于金字塔变换和形态学的车牌定位算法研究

刘金阳， 凌 翔， 许 超

（合肥工业大学 交通运输工程学院，安徽 合肥 230009）

车辆牌照识别（license plate recognition，LPR）主要应用于智能交通系统，是智能交通领域的重要研究课题之一。车牌定位、字符分割和字符识别是车牌识别系统的3项主要技术，而车牌定位是其中的关键环节［1］，定位准确度和精确性直接影响后续字符分割与字符识别的实际性能。

所谓车牌定位即从采集于复杂自然场景的车辆图像中分割出只含车牌的区域。目前，车牌定位技术主要分为基于颜色空间的车牌定位方法［2－3］、基于车牌结构特征的车牌定位方法［4－6］、基于机器学习的车牌定位方法［7－9］以及基于上述方法的组合运用［10－12］等。基于颜色空间的车牌定位方法根据车牌字符与车牌底色的不同颜色特征进行车牌定位，该方法大多对光照变化敏感，在天气和环境良好时，有较高的定位准确性，当天气和环境较差或车身和周边环境颜色与车牌颜色相近时，定位准确性降低。基于结构特征的车牌定位方法利用车牌的纹理、边缘等信息进行定位，该方法的算法复杂度较低、计算量较小，适合实时处理，但当背景复杂，车牌老化、污损或图像对比度较低时，容易定位分割出虚假目标，如车标、车身文字、背景中类似车牌区域等。基于机器学习的车牌定位方法可细分为基于BP神经网络、Ada－Boost分类器或遗传算法等定位方法，此类方法的算法复杂度较高。基于BP神经网络和Ada－Boost分类器的方法需要预先训练大量样本数据，而样本数据的构建和特征选取直接影响到该方法的成功与否；基于遗传算法的定位方法需要对整幅图像进行车牌特征匹配搜索，再结合特征向量构造的适应度函数，最终定位出车牌区域，该方法有较高的鲁棒性，但其搜索计算的时间也相对较长，不满足实时处理的要求。

在现实应用中，车辆图像一般采集于室外自然场景，其背景都比较复杂；车牌识别系统在全天候工作过程中，环境和光照条件变化也更为复杂。这些因素都在一定程度上增加了车牌准确定位的难度。为此，本文在已有研究的基础上提出一种新的车牌定位方法。首先采用改进的基于金字塔变换的图像增强算法对原始图像进行预处理，极大地减弱环境和光照等条件变化对车牌定位的影响；再对预处理后的图像进行二值化和数学形态学处理，使之形成若干包含车牌的连通区域；在此基础上设计了一种“先周边后中心”的车牌提取算法，最终定位出车牌位置，提取出车牌图像。

1 改进的基于金字塔变换图像增强算法

在车牌识别系统中，摄像机采集到的图像一般是彩色的。彩色图像由R（红色）、G（绿色）、B（蓝色）3个灰度分量图像堆栈而成，包含大量的色彩信息，为加快处理速度，一般将其转换为灰度图像。本文在彩色图像转化为灰度图像时，使用（1）式进行计算，即

由于光照变化、环境、噪声等因素的影响，此时的灰度图像包含较多的干扰信息，而车牌字符区的特征却不够明显，因此，本文采用改进的基于金字塔变换的图像增强算法来抑制光照、噪声等信息的干扰，从而增强车牌字符的细节特征。

传统的基于金字塔变换的图像增强算法分为3个步骤：① 高斯金字塔分解；② 拉普拉斯金字塔系数调整；③ 高斯金字塔重建。在拉普拉斯金字塔系数调整过程中，通常使用＾p变换函数来抑制低频和高频能量，突出中频能量，从而提高图像的层次感，平缓地增强图像细节信息。＾p变换函数描述如下：

其中，0≤x≤1；0＜p≤1。＾p变换函数图像如图1所示。

图1 ＾p变换函数图像

传统的基于金字塔变换的图像增强算法使用幂律变换调整图像对比度，存在大量的浮点数运算，且会放大噪声；对于尺寸较大的图像，计算量大，耗时也较多。

考虑到车牌定位的实际应用，本文对该算法进行了改进，使其满足实时性的要求，且在尽可能保留图像细节的同时避免图像过度增强。基本流程为：① 高斯金字塔分解；② 改进的拉普拉斯图像增强；③ 自适应的图像对比度拉伸。设原始的灰度图像为G0，以G0作为高斯金字塔的0层，对G0进行高斯卷积核低通滤波；将滤波后的图像作隔行、隔列的降采样处理，得到高斯金字塔的第1层子图像，子图像的水平和垂直方向分辨率均为原图像的1／2；再对第1层的子图像依次进行高斯低通滤波和隔行、隔列的降采样，得到高斯金字塔的第2层子图像。重复以上过程，得到1组高斯金字塔图像。设Gl为高斯金字塔的第l层子图像，则高斯金字塔的构建过程描述如下：

我太心急，居然忘了关上天花板正中明亮的吊灯。这种灯光让我感觉很不舒服——我不习惯在这么强的光线下做爱。我依稀记得开关应该在门边的墙上。该不该去关掉灯，我不由得犹豫了一下。

其中，1≤l≤N，N为高斯金字塔分解层数；0≤i≤Rl，0≤j≤Cl，Rl和Cl分别为高斯金字塔第l层子图像的行数和列数；ω（s，t）为5×5的二维高斯卷积核窗口函数，表示为：

为避免图像细节过度增强而使图像失真，高斯金字塔的分解层数不宜过多。本文中N取2，即高斯金字塔共3层，分别为G0、G1、G2。将G1和G2分别进行双线性内插，得到放大的图像LP1、LP2，使LP1和LP2的尺寸与G0的尺寸相同。设改进的拉普拉斯增强图像为LP，则图像LP的计算公式为：

使α＋β＝1，则有：

其中，α、β分别为LP1与LP2在不同尺度下的调节系数，通过多次实验比较，本文取α＝0.4，β＝0.6。原始灰度图像G0滤去不同尺度下的高斯滤波图像，得到改进的拉普拉斯增强图像LP。

因高斯滤波是低通滤波，低频能量代表图像的主体轮廓，因而其对光照变换不敏感。在滤去不同尺度下的高斯图像后，图像LP的对比度变小，图像整体偏暗，本文使用自适应的对比度拉伸技术来增大图像LP的对比度。所谓自适应的对比度拉伸即把图像LP中所有像素值顶部和底部饱和度的1%作为高、低界限，将所有像素线性映射至整个灰度级范围，最终得到经过处理的图像LG。图像LP、LG示例如图2所示。

图2 图像LP和LG

2 车牌定位算法

2.1 图像二值化与数学形态学处理

为进一步将车牌从复杂背景中分割出来，还需对图像LG进行二值化处理。二值化处理属于阈值处理领域，即选取某一阈值T，将图像f（x，y）≤T的所有像素点作为前景点，反之，其他像素点作为背景点，二值化处理后的图像g（x，y）定义如下：

本文使用最大类间方差法选取阈值T，该方法是在最小二乘法原理的基础上推导出来的，其基本思路是将图像的直方图以某一灰度为阈值，将图像分成2组并计算2组的方差，当被分成的2组之间方差最大时，就以这个灰度为阈值分割图像。经二值化处理得到图像BW。

使用形态学运算使二值图像形成若干连通区域。腐蚀、膨胀、开运算和闭运算是形态学运算的4个基本操作，其核心思想是利用“结构元素”从图像中提取表达和描绘区域形状的有关信息［13］。为进一步从图像BW中确定车牌区域，本文选择合适的结构元，用形态学方法对图像BW进行闭运算、开运算等处理，使之形成若干闭合的连通区域，即车牌的候选区域，然后从这些候选区域中提取出车牌区域。

结构元的形状和尺寸的选取直接影响着形态学处理的效果。若尺寸过大，车牌区域会与周边背景的边缘点粘连；若尺寸过小，车牌区域的纹理信息无法连接在一起形成连通区域，可能会使真正的车牌区域不包含在候选区域内。在车牌字符区域内，第1、2个字符是汉字，后5个字符是英文大写字母或数字的组合，第2、3字符间的距离为34mm，其他相邻字符间的距离为12mm。一般车牌尺寸是440mm×140mm，字符宽为45mm，高为90mm。车牌字符区域有几点特殊之处值得注意：①第2、3字符中间有1个直径10mm的圆点，但部分车牌的该圆点有污损或被人为抹掉；② 个别字符的实际宽度不足45mm，如数字字符“1”；③ 部分字符的上部与下部宽度有畸变，如字母字符“L”、“J”等，其上部宽度不足45mm，又如字母字符“T”、“Y”等，其下部宽度不足45mm。若结构元的尺寸选取不合理，车牌字符区连通域有可能在这些特殊字符处发生断裂。

已有的研究多依据经验直接给出结构元的尺寸，对于车牌识别系统在不同情景中的应用，没有通用的计算方法。本文在综合考虑上述因素及车牌老化、污损等情况后，通过对多幅车牌图像的实验，提出一种有效的结构元尺寸计算方法。为防止字符连通域断裂，水平结构元S1的尺寸以2个字符宽度与1个较小字符间距之和为基准，垂直结构元S2的尺寸以字符高度的1／3为基准。设水平结构元S1的尺寸为L1，垂直结构元S2的尺寸为L2，原始图像的宽度为W，车牌宽度与原始图像宽度之比为a，水平结构元S1的尺寸与车牌宽度之比为b，字符高度与车牌宽度之比为c。a的取值与摄像机和车牌之间的距离及摄像机的拍摄角度等有关，在这些条件确定时，a的取值一般变化不大，可根据具体情况，对多幅图像进行统计估算，本文中a取0.25。水平结构元S1和垂直结构元S2尺寸的计算公式为：

其中，b＝（45×2＋12）／440≈0.23；c＝90／440≈0.20。水平结构元S1和垂直结构元S2如图3所示。

图3 水平结构元S1与垂直结构元S2

形态学处理过程的具体操作步骤如下：

（1）使用水平结构元S1对二值图像BW进行形态学闭运算，使其形成若干连通区域。一般情况下，车牌字符此时已包含在其中的某个连通区域内，但不同程度上会粘连车牌周边的部分干扰信息。

（2）使用水平结构元S1对步骤（1）中形成的连通区域图像进行形态学开运算，在水平方向上平滑连通区域的轮廓，去掉细的突出部分，断开与水平方向上干扰信息的粘连。

（3）对连通区域中的空洞进行填充，以避免下一步形态学开运算时，车牌连通区域在相邻2个特殊字符处断裂。

（4）使用垂直结构元S2对空洞填充后的连通区域图像进行形态学开运算，在垂直方向上平滑连通区域的轮廓，断开与垂直方向上干扰信息的粘连。

至此已基本形成完整的连通区域图像，记为图像M，其中的连通区域即为车牌候选区。形态学处理过程如图4所示。

图4 形态学处理过程

2.2 车牌提取算法

所谓车牌提取即在若干车牌候选区中，经一定的条件判断，找到车牌所在的连通区域，并标记出其位置，之后在对应的原图像中剪裁出该区域。对大量车牌图像的测试发现，候选区可能包含车牌、车灯、车标、车身广告文字、发动机的部分散热网（孔）、背景中类似车牌大小的标识及其他杂物等干扰信息。通过分析这些干扰信息，设计了一种“先周边后中心”的车牌提取算法，即先排除图像周边的干扰候选区，如车灯、背景标识与杂物等；再排除图像中心的干扰候选区，如车标、散热网等，最后一个候选区即为车牌区。为区分图像周边与中心的相对界限，提出“质心间城市街区距离”概念。设2个质心点p、q的坐标分别为（x，y）和（s，t），则p与q间城市街区距离D（p，q）可表示为：

车牌提取算法具体步骤如下：

（1）采用区域生长算法标记图像M中的每个候选区。记第i个候选区的质心为Ci，图像的宽与高分别为m、n，其质心为Z。统计每个候选区i的特征参数，包含候选区i的最小矩形的宽高比Bi、最小矩形内的非0像素的个数Ai、像素密度di（即像素数Ai与最小矩形面积之比）、候选区域质心Ci的位置坐标等。

（2）排除图像周边的干扰候选区。设有阀值Cent－T，到图像质心的城市街区距离小于该阀值的区域称为图像中心区，反之，则为图像周边区。计算每个候选区的质心Ci与图像质心Z的城市街区距离D（Ci，Z），找出其中的次最小距离，记为Dcmin。令Cent－T＝min（Dcmin，m／4＋n／4），若D（Ci，Z）＞ Cent－T，则判定第i个候选区属于图像周边区，不包含车牌，需排除该候选区。

（3）在图像中心区排除非车牌候选区。根据我国现行的车牌标准尺寸，宽和高分别为440、140mm，其宽高比大约为3，综合考虑车牌图像倾斜、变形等因素，设定Bi满足条件2＜Bi＜5。经对多幅图像的测试，车牌候选区的像素密度di一般满足di＞0.65。若候选区i的宽高比Bi与像素密度di不满足以上条件，则认为该候选区不可能包含车牌，应剔除该候选区。

（4）在余下的候选区中提取车牌。此时的候选区可能有车标、车牌、散热网等，其各自包含的像素数Ai有明显区别，记各区域包含的像素数依次为Ab、Ap、As。一般As最大，Ap次之，Ab最小，且As远大于Ap和Ab，而Ap和Ab的大小则较为相近。据此，找出其中的最大值和次最大值，分别记为Amax和Amaxn，若Amax／Amaxn＞1.5，则Ap＝Amaxn，反之，Ap＝Amax。标记出像素数为Ap的候选区的位置，在对应原图像中剪裁出该区域，即得最终车牌图像。

3 实验与分析

为测试算法有效性，通过随机拍摄获得了385幅车牌图像，图像的尺寸有2种，分别为1 600×900和1 600×1 200。其中多数图像的拍摄地点在小区、校园、路边等，拍摄的环境条件有晴天、阴天、傍晚、夜晚等多种自然状况。算法在Matlab 8.3软件平台上编程实现，实验用计算机的配置为win7系统、4核3.10GHz的CPU、4G内存。本文在同等条件下设计了3组实验对385幅图像进行车牌提取测试。第1组实验使用本文算法进行车牌定位；第2组实验使用基于颜色特征的车牌定位方法；第3组实验使用文献［3］中给出的结构元进行形态学处理，其他与第1组相同。

对385幅图像的测试结果表明，本文算法的车牌定位准确率为99.2%，高于其他2组实验。本文算法的部分测试过程如图5所示，具体测试结果见表1所列。

图5 本文算法部分测试过程

对本文算法定位出错的图像分析后发现，定位出错是由于车牌倾斜角度较大或污损严重等原因引起的。

表1 测试结果

4 结束语

车牌定位是车牌识别系统中一个公认的技术难题［14］，车牌定位的优劣直接影响到车牌识别的准确率。本文针对车牌识别过程中的车牌定位问题进行研究，基于Matlab平台设计了车牌定位算法。通过对输入图像进行改进的金字塔变换预处理，减弱了光照变化的影响，增强了图像的细节；在此基础上利用图像二值化和数学形态学技术形成车牌候选区，设计了车牌提取算法，最终准确提取出车牌图像。实验证明，本文所提出的车牌定位方法是准确可行的。

［1］ Buch N，Velastin S A，Orwell J.A review of computer vision techniques for the analysis of urban traffic［J］.IEEE Transactions on Intelligent Transportation Systems，2011，12（3）：920－939.

［2］ 郑成勇.一种RGB颜色空间中的车牌定位新方法［J］.中国图象图形学报，2010，15（11）：1623－1628.

［3］ 周 律，汪 亮，周昱明，等.基于固定颜色搭配搜索和形态学的车牌定位［J］.公路交通科技，2013，30（5）：118－125.

［4］ 王永杰，裴明涛，贾云得.多信息融合的快速车牌定位［J］.中国图象图形学报，2014，19（3）：471－475.

［5］ 刘 濛，吴成东，樊玉泉.复杂背景图像中的车牌定位算法［J］.中国图象图形学报，2010，15（9）：1357－1362.

［6］ Al－Ghaili A M，Mashohor S，Ramli A R，et al.Vertical edgebased car license plate detection method［J］.IEEE Transactions on Vehicular Technology，2013，62（1）：26－38.

［7］ 呙润华，苏婷婷，马晓伟.BP神经网络联合模板匹配的车牌识别系统［J］.清华大学学报：自然科学版，2013，53（9）：1221－1226.

［8］ 张晓娜，何 仁，陈士安，等.基于主动学习AdaBoost算法与颜色特征的车牌定位［J］.交通运输工程学报，2013，13（1）：121－126.

［9］ 张 玲，刘 勇，何 伟.自适应遗传算法在车牌定位中的应用［J］.计算机应用，2008，28（1）：184－186.

［10］ 黄艳国，赵书玲，许伦辉.基于纹理特征和颜色匹配的车牌定位方法［J］.微电子学与计算机，2011，28（9）：123－126.

［11］ 李文举，韦丽华，王洪东，等.利用综合特征的车牌定位方法［J］.小型微型计算机系统，2011，32（8）：1654－1659.

［12］ 于 明，路倩倩，刘玉菲，等.自适应复杂天气的车牌定位方法［J］.计算机工程与科学，2014，36（2）：292－297.

［13］ 李金屏，王 群，吴 翔，等.基于视频的车辆检测和牌照识别［J］.济南大学学报：自然科学版，2014，28（2）：89－96.

［14］ 孙 虹，方 敏.一种彩色汽车车牌的自动分割方法［J］.合肥 工 业 大 学 学 报：自 然 科 学 版，2005，28（11）：1427－1430.