基于AT-SBTM的交通标志检测

张志佳，贾梦思，张 丹，李文强，何 欣

(1.沈阳工业大学 视觉检测技术研究所 辽宁省机器视觉重点实验室,辽宁 沈阳 110870;2.沈阳工业大学 软件学院，辽宁 沈阳 110870；3.沈阳工业大学 化工过程自动化学院，辽宁 沈阳 110870)

基于AT-SBTM的交通标志检测

张志佳1，贾梦思1，张 丹2，李文强3，何 欣2

(1.沈阳工业大学 视觉检测技术研究所 辽宁省机器视觉重点实验室,辽宁 沈阳 110870;2.沈阳工业大学 软件学院，辽宁 沈阳 110870；3.沈阳工业大学 化工过程自动化学院，辽宁 沈阳 110870)

为解决复杂自然背景下交通标志难检测的问题，选取警告与禁令两大类交通标志进行研究，分别针对警告和禁令标志建立圆形、三角形模板，利用模板对图库中图片进行匹配，并提出了可变形的模板匹配算法。该算法不同于传统交通标志检测方法，针对采用单个颜色空间对图像进行粗定位时出现漏选区域的弊端，采用叠加后的RGB、HSV颜色空间对复杂背景下的交通标志进行粗定位。为避免使用固定模板所带来的误检与漏检的情况，进一步利用仿射变换使固定模板变为可变模板并利用可变模板对结果进行模板匹配。仿真结果表明，利用可变模板对交通标志进行检测，检测准确率达85%以上，对比其他方法，准确率较高。由此可见，基于AT-SBTM的交通标志检测算法能够准确地检测到交通标志，适于交通标志的识别，可实现辅助驾驶。

HSV；RGB；形状；模板匹配；仿射变换

0 引 言

随着计算机科学技术和模式识别技术的发展，智能交通应运而生。交通标志检测和模式识别技术也逐渐成为关注的重点[1-5]。识别交通标志的前提是成功检测到交通标志，在此基础上，去除干扰，进一步实现交通标志的识别，因此交通标志检测成为研究人员的重点研究领域之一。

在众多交通标志检测算法中，颜色分割是一种简单有效的方法，特别是在物体颜色分布规律且对比度较大时，能够得到很好的效果。文献[6-7]在单个HSV颜色空间中进行阈值分割，将彩色图像采用HSV变换得到H、S、V，可减小光照对阈值分割的影响。同时为弥补光照影响的不足，利用基于交通标志的颜色和几何形状特征，对投影失真的图像进行校正和规范化，进一步检测交通标志[8]。国外研究人员利用Canny算子进行边缘提取，根据Hough变换提取出了交通标志中的直线，进而得到交通标志中的三角形特征[9]。江治国等利用SIFT图像局部特征具有旋转、尺度缩放、亮度变化保持不变性，对视角变化和噪声也保持一定程度的稳定性特点，在特征匹配方面取得显著进步，性能得到充分肯定[10]。还可进一步利用标准交通标志背景和内景颜色特征建立标准模板，利用模板匹配技术和SNCC计算匹配度检测识别交通标志[11]。

针对现有的交通标志检测方法检测准确度低、抗干扰能力低等问题，利用圆形和三角形交通标志的颜色特征和形状特征，提出一种精化的圆形和三角形轮廓的模板，对自然场景下的圆形和三角形交通标志进行模板匹配，可达到85%以上的检测率。

1 基于RGB、HSV的颜色分割

交通标志捡测是在复杂背景下进行的，受光照、天气等外界客观因素影响较大。根据这一特点，在选择颜色空间时，应选择对光照和天气变化不敏感的颜色空间。

分割彩色图像时，判定颜色是否相似的依据是颜色之间的欧氏距离，即色差[12]，然而色差又取决于颜色空间的均匀程度。因此选择颜色空间的条件之一是观察其是否具有均匀性。

采用RGB与HSV叠加的颜色空间，其中RGB颜色空间简单且不需要转换，非均匀，而HSV颜色空间是比较均匀的，对光照强度不太敏感，其颜色空间是圆锥形[13]，当S饱和度很小时，H是没有意义的。

首先利用HSV颜色空间对图片进行筛选，设定S的阈值范围[a,b],将阈值结果从H空间中分割出来，利用RGB颜色空间对分割结果进行二次筛选，结合色谱图以及交通标志的颜色特点，利用阈值的方法将区域中的红色和黄色分割出来。

利用RGB和HSV两个颜色空间，精确提取交通标志的颜色区域。

2 模板匹配与仿射变换

在交通标志检测方面，运用较早的是基于灰度值的模板匹配算法，该算法操作简单且运行速度较快；随着检测领域的发展，提出了另一种基于形状的模板匹配算法，该算法可排除外界光线的干扰，其模板为不可变的固定模板，在该算法的基础上加入了仿射变换，仿射变换可使模板成为可变模板，进一步提高了检测准确率。

2.1 基于灰度值的模板匹配原理

基于灰度值的模板匹配算法(Gray Value Based Template Matching，GVBTM)是一种较为传统的算法，本质是利用模板与图像灰度值做行匹配，匹配发生在模板滑动的整个过程中[14]。此过程包含两种函数，一种是模板的灰度值与图像块灰度值做差，另一种是差的绝对值(SAD)和差的平方(SSD)。

相似度函数如下：

(1)

(2)

由于只对每个像素进行两步操作，故这两种相似度量有很高的计算效率。两种相似度量属性的相似之处：若模板和图像相同，则相似度量为0；若图像与模板不同，相似度量将会大于0，即模板与图像之间差别越大，相似度量的值也会越大。故也将这种相似度量称为不相似度。通常，阈值分割将会得到包含一些邻域像素的区域，为得到模板唯一位置，需要在阈值分割得到的每个连通区域中选择相似性图像的最小值。其中，t(r,c)表示模板图像行r列c的灰度值，f(r+u,c+v)表示待测图像行r+c列c+v的灰度值。

基于灰度值的模板匹配算法的原则是：使用灰度值匹配，当模板图像与待测图像区别越大时，其相似度函数值也越大，故为寻找与模板最匹配的目标，必须寻找相似度最小的值。

当光照保持不变时，SAD和SSD的相似度量结果较好，但当光照发生变化即图像中的灰度值发生变化时，返回值差距就较大，即使相似的图像，当灰度值发生变化后，相似度函数的值也会很大，检测准确率较低。基于这种情况，提出采用基于形状的模板匹配算法，排除光照对检测结果的干扰。

2.2 基于形状的模板匹配算法

基于形状[15]的模板匹配算法(Shape Based Template Matching，SBTM)是利用模板像素的梯度，通过计算梯度向量的内积和最小值确定最佳匹配位置，有较强的稳定性和可靠性。该算法的相似度量定义为使模板边缘点与离它最近的图像边缘点之间的均方距离最小。为确定离模板边缘上每个点最近的图像边缘点，可计算分割后搜索图像背景的距离变换。如果模板边缘点与图像边缘点之间的平均距离小于一个阈值，则可看作找到一个模板的实例，通过计算相似度量的局部最小值就可以找到模板的唯一位置。

根据计算出的相似度来确定目标物体的位置，基于形状的模板匹配算法的相似度包括像素点以及像素点方向向量，将模板图像转换成方向向量图像，通过边缘提取获取相应的方向向量图像，使用模板像素点的方向向量与图像相应点位置的方向变量做点积的总和，通过归一化处理消除光照影响，所得值为匹配分值。

相似度量S为:

(3)

归一化后的相似度量S为：

(4)

当图像中被遮挡部分像素点的梯度向量非常小时，其与模板相应位置梯度向量的内积也非常小，对总合的影响可以忽略不计；当图像中存在混乱的情况时，混乱部分对应的模板相应位置梯度向量的模非常小，其与模板相应位置梯度向量的内积也很小，对其总和的影响可忽略不计。

基于形状的模板匹配算法的相似度包括像素点以及像素点方向向量，将模板图像转换成方向向量图像，可通过边缘提取获得相应的方向向量图像，并使模板像素点的方向向量与图像相应点位置的方向向量做点积的总和，并通过归一化处理消除光照的影响。

由于梯度向量进行了归一化，该相似度量将返回一个小于等于1的值。当s=1时，说明模板与图像之间一一对应；当图像中目标物体的50%被遮挡时，相似度量将不会超过0.5。因此，SBTM可以让用户选择一个直观的阈值来决定具体的匹配对象。

2.3 仿射变换

复杂环境中的图片，因为拍摄角度与拍摄距离的变化，导致图像中物体的尺寸会发生明显变化，此时为准确检测交通标志，需要调整被测目标的位置和方向，故需要借助几何运算(几何变换)。几何运算不同于代数运算，它是通过改变图像中物体(像素)之间的空间关系来调整物体的位置和方向。

几何运算中灰度级插值是必不可少的组成部分，因为图像的定义一般是使用整数位置处的像素来定义的，而几何变换后的图像灰度值一般由几何变换之前处在非整数坐标上的图像的值来决定，故经过几何运算后，会出现图像中一个像素对应于原图中几个像素之间的位的现象。其中，最简单的插值方法是最邻近插值，就是令输出像素的灰度值等于映射最近的位置像素。

仿射变换(Affine Transformation，AT)为一类常见的几何运算，属于射影几何变换，多用于图像配准(Image Registration)作为比较或匹配的预处理过程，也可以理解为对坐标进行放缩、旋转和平移后取得新坐标的值。

利用缩放变换可改变物体大小。若对一个多边形进行缩放变换，变换中心假设为原点，则可把各项顶点的坐标(x,y)均乘以比例因子Sx、Sy，得到变换后坐标(x',y')。对目标进行旋转变换时，物体上的各点绕一固定点沿圆周路径作转动。通常在做仿射变换时，需要同时对目标进行平移、放缩和旋转操作，故用矩阵表示一个仿射变换，如下式：

(5)

由式(5)可知，一个仿射变换由一个2×2矩阵给定的线性部分和一个平移部分。因为每次都要单独列出平移部分，较为繁琐，所以在原坐标基础上引入第三个数值为1的坐标，可用简单的矩阵乘法表示：

(6)

其中，a13和a23表示平移部分，这种表示方法叫齐次坐标。

在实际情况中，图像中交通标志会发生不同程度的形变、放缩和平移，单用形状模板对其进行匹配，会出现很高的漏检和误检的情况，对模板进行仿射变换后，采用经放缩、旋转和平移后的模板对其进行匹配，可达到较高的检测率。

2.4 基于AT-SBTM的交通标志检测

基于形状的模板匹配其模板是固定的，在目标发生较大旋转和缩放的情况下，很难通过这种方法找到目标。为使模板成为可变的模板，提高检测准确率，在固定模板的基础上加入仿射变换，在采用固定模板匹配前，对模板进行仿射变换，使模板成为可旋转、缩放和平移的模板，即基于AT-SBTM的交通标志检测算法。

利用可变形的模板对交通标志进行检测，首先创建圆形模板，选取国家标准交通标志图库中限速标志为模板图片，目的是提取交通标志的边缘轮廓。限速标志为圆形禁令标志，以白色为底，红色宽带为边缘轮廓，操作步骤如下：

(1)针对选取的模板图片，绘制目标矩形减小模板提取范围，即确定ROI区域；

(2)利用截取算子将矩形区域部分的图片从原图中分割出来，并对分割后的图片设置阈值；

(3)排除过大或过小的面积区域，面积下限值设定为1 000 pixel；

(4)对阈值后圆形区域中出现的空洞进行填充操作并利用膨胀、腐蚀对填充后圆形区域进行处理，将腐蚀膨胀得到的两张图片进行求差运算，得到圆环区域，其大小为96 650 pixel,如图1所示。

三角形模板创建过程：警告标志牌为正三角形，顶角向上，以黄色为底，黑色宽带为边缘轮廓。其创建过程可参照圆形模板创建过程，三角形模板大小为21 773 pixel，如图1所示。

图1 圆形模板与三角形模板

模板匹配过程为：

(1)设定圆形(三角形)模板的旋转角度、搜索步长、放缩范围。旋转角度设为α,步长设为自动模式，放缩范围为[c1,c2]倍；

(2)根据式(6)对模板进行仿射变换；

(3)进行模板匹配，根据式(3)、式(4)的返回值是否符合设定值d确定目标。

3 实验结果

实验数据为车载采集图像，分别用CVBTM、SBTM和AT-SBTM对图像进行圆形和三角形交通标志检测。

CVBTM检测结果如图2所示。

两张图片所拍摄的交通标志是同一交通标志，但因拍摄角度和距离的不同，导致图像的灰度值发生变化，CVBTM无法处理这种变化，所以在检测交通标志时准确率较低。

SBTM检测结果如图3所示。其中第一张图片含有两个交通标志，但是只检测出一个，第二张图片中三角形交通标志未被检测出来，之所以出现漏检，是因为匹配模板与目标的大小、旋转角度等有出入，固定模板不能对已经发生形变或者放缩的目标进行检测，所以存在一定程度的漏检。

图2 CVBTM检测结果图

图3 SBTM检测结果图

AT-SBTM检测结果如图4所示。

(a)AT-SBTM圆形交通标志检测结果

(b)AT-SBTM三角形交通标志检测结果

AT-SBTM实验结果表明，该算法在检测圆形和三角形交通标志的过程中，根据对图库中所有交通标志进行的统计整理，利用仿射变换，设定模板旋转角度为rad(±15)、放缩[0.5,51]倍，并对其进行全局平移，从而以较高的准确率检测到交通标志。在图(a)中可观察到，对于发生一定角度的旋转、放缩和在一定程度上被遮挡的交通标志，利用该算法可以准确检测出交通标志的位置。

CVBTM、SBTM与AT-SBTM检测结果对比如表1和表2所示。

表1 三角形交通标志检测结果

表2 圆形交通标志检测结果

由表1、2可知，无论是检测三角形标志还是圆形标志，相比之下AT-SBTM的准确率都是最高的。因此，采用AT-SBTM可提高检测的准确率。

对于漏检和误检的圆形和三角形标志进行核查分析，主要原因如下：遮挡太严重和交通标志颜色严重褪色导致漏检；拍摄图片清晰度太差导致漏检的情况增多；交通信号灯的存在导致误检率升高。

4 结束语

在利用交通标志颜色特征的基础上，根据交通标志特有的形状特征创建模板，并对模板进行仿射变换，提出了AT-SBTM算法。该算法使原有的固定模板成为可变形模板，可变形模板可以更灵活准确地检测出目标。实验结果表明，该方法能有效提高交通标志检测的准确率。

[1] 李厚杰,邱天爽,宋海玉,等.基于曲率尺度空间角点检测的交通标志分离算法[J].光学学报,2015,35(1):239-247.

[2] Sindha P D,Shah D M,Patel A.A color and shape based real time traffic sign detection and recognition system[J].International Journal in IT & Engineering,2015,3(1):36-42.

[3] 汤智超,苏 琳,何 超,等.导盲机器人的交通标志视觉识别技术研究[J].计算机技术与发展,2014,24(9):23-27.

[4] 陈兴华,万幼川,王晓华.基于街景影像的交通标志识别[J].地理空间信息,2014,12(5):75-77.

[5] Wang G Y,Ren G H,Jiang L H,et al.Hole-based traffic sign detection method for traffic signs with red rim[J].The Visual Computer,2014,30(5):539-551.

[6] 贾永红,胡志雄,周明婷,等.自然场景下三角形交通标志的检测与识别[J].应用科学学报,2014,32(4):423-426.

[7] 金旭晖.基于区域颜色分割的交通标志检测和识别[J].电气自动化,2016,38(3):14-16.

[8] 陈亦欣,叶 锋,肖 锋,等.基于HSV空间和形状特征的交通标志检测识别研究[J].江汉大学学报:自然科学版,2016,44(2):119-125.

[9] Garcíagarrido M A,Ocaa M,Llorca D F,et al.Complete vision-based traffic sign recognition supported by an I2V communication system[J].Sensors,2012,12(2):1148-1169.

[10] 江治国,陈小林.基于特征匹配的交通标志识别算法[J].吉首大学学报:自然科学版,2013,34(1):28-32.

[11] 房泽平,段建民,郑榜贵.基于特征颜色和SNCC的交通标志识别与跟踪[J].交通运输系统工程与信息,2014,14(1):47-52.

[12] 汤 凯,李实英,刘 娟,等.基于多特征协同的交通标志检测[J].计算机工程,2015,41(3):211-217.

[13] Chen Y X,Xie Y,Wang Y L.Detection and recognition of traffic signs based on HSV vision model and shape features[J].Journal of Computers,2013,8(5):1366-1370.

[14] 傅建安,万 文,熊震宇.双能图像的亚像素匹配方法[J].南昌航空大学学报:自然科学版,2015,29(4):40-44.

[15] 潘铭星,孙 涵.自然场景中道路交通标志形状的检测与校正[J].计算机与现代化,2016(2):5-10.

Traffic Sign Detection with AT-SBTM

ZHANG Zhi-jia1，JIA Meng-si1，ZHANG Dan2，LI Wen-qiang3，HE Xin2

(1.Key Laboratory of Machine Vision in Liaoning Province，Institute of Visual Inspection,Shenyang University of Technology,Shenyang 110870,China;2.School of Software,Shenyang University of Technology,Shenyang 110870,China;3.School of Chemical Process Automation,Shenyang University of Technology,Shenyang 110870,China)

To solve the problem of difficult detection of traffic signs under the complex background of nature,the two kinds of warning and ban traffic signs are selected to be studied,according to which the templates of circle and triangle are established which are used to match the pictures of gallery.Then the template matching algorithm based on the variable shape is proposed,which is different from the traditional traffic sign detection method.According to the disadvantages of selection leakage when the single color space is applied in coarse location of image,the coarse location is conducted in traffic signs with complex background by RGB and HSV after superposition.In order to avoid error and leak inspection using fixed template,the affine transformation is employed further to make fixed template variable which matches the results.Simulation shows that by using the variable template for traffic sign detection,its accuracy has been more than 85%,higher than other methods.Therefore,it could be able to accurately detect the traffic signs,which is suitable for recognition on traffic signs and implemented in the auxiliary driving.

RGB;HSV;shape;template matchine;affine transformation

2016-09-09

2016-12-15 网络出版时间：2017-07-05

国家自然科学基金资助项目(61540069)

张志佳(1974-)，男，博士，副教授，研究方向为机器视觉检测技术、图像处理与模式识别；贾梦思(1991-)，女，硕士研究生，研究方向为机器视觉。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1651.056.html

TP39

A

1673-629X(2017)08-0195-05

10.3969/j.issn.1673-629X.2017.08.041