基于先验信息的交通信号灯识别方法

曾杨帆，陈章勇*，夏甫根，陈勇，陈松格

基于先验信息的交通信号灯识别方法

曾杨帆1，陈章勇*1，夏甫根2，陈勇1，陈松格1

（1.电子科技大学 自动化工程学院 电动汽车动力系统与安全技术研究所，四川 成都 611731；2.成都壹为新能源汽车有限公司，四川 成都 611730）

针对基于颜色的交通信号灯识别（TLR）准确率不高的问题，文章提出一种融合色调、饱和度、明度（HSV）颜色空间和图像灰度信息的交通信号灯识别方法。先将图像进行倾斜校正和大小标准化，以满足融合交通信号灯识别方法的需求。然后，将红绿蓝（RGB）图像转化为色调、饱和度、明度颜色空间，对交通信号灯进行初步识别。通过霍夫直线检测提取交通信号灯的矩形边界，实现感兴趣区域（ROI）检测。针对色调、饱和度、明度颜色空间无法识别的交通信号灯图像，以交通信号灯的结构特点做为先验信息，进行灰度图像感兴趣区域像素值求和，进一步识别交通信号灯。通过实验对该融合交通信号灯识别方法进行了分析，并与单独使用色调、饱和度、明度颜色空间和灰度图像感兴趣区域像素值求和的方法进行对比，验证文章算法的有效性。

色调、饱和度、明度颜色空间；交通信号灯识别；霍夫直线检测；感兴趣区域检测；灰度图像感兴趣区域像素值求和

智能交通系统（Intelligent Traffic System, ITS）是一个融合人工智能、计算机视觉、图像处理等众多学科的综合系统。视觉场景信息作为ITS场景信息中的关键一环，包含了诸如交通信号灯、车道线、交通标志等重要道路交通安全信息，因此，如何有效准确识别交通信号灯（Traffic Light Recognition, TLR），是ITS中不可避免的一个重要话题。

多位学者对TLR进行研究，谷明琴等人[1]和余泽东[2]均根据色调、饱和度、明度（Hue, Saturation, Value, HSV）颜色空间中的H分量的分布特征识别交通信号灯的类型，谷明琴等人结合圆形度和背板颜色确定交通信号灯区域，提升了复杂环境下的识别性能；余泽东利用面积、周长、Hu不变矩等信息确定交通信号灯区域，有效提升识别准确率。田谨等人[3]与武莹等人[4]均使用色调、明度、饱和度（Hue, Intensity, Saturation, HIS）颜色空间识别交通信号灯，田瑾等人结合位置信息与二维Gabor小波特征有效提升了箭头型交通信号灯的识别准确率；武莹等人结合模板匹配提升识别准确率。HASSAN N等人[5]提出了一种基于HSV颜色空间和深度学习的行人交通信号灯检测方法，提升了识别准确率。金涛等人[6]提出了基于级联滤波和色彩分割的候选区域分类方法，有效改善了复杂城市环境中交通信号灯识别的有效性和实时性。钱弘毅等人[7]提出了一种基于Split- CS-Yo-lo深度学习模型的交通信号灯识别算法，有效提升了检测速度和识别准确率。CHEN X等人[8]HSV颜色空间与自适应线程方法识别交通信号灯识别，提高了识别精度和效率。李宗鑫等人[9]提出一种基于时空关系模型的交通信号灯识别算法，有效提升了识别结果的鲁棒性。许明文等人[10]利用交通信号灯的几何特征和HSV颜色特征，通过支持向量机（Support Vector Machine, SVM）进行识别，获得了较高的检测率与识别率。

基于颜色的交通信号灯识别方法在很大程度上取决于环境光照、天气等因素，且HSV各个分量很难选取一个通用适合的范围，导致在实际识别过程中精度仍不够高。基于交通信号灯结构特点的先验信息，采用颜色信息与图像灰度信息融合的方法，进一步提升交通信号灯的识别准确率。

1 图像预处理

1.1 图像倾斜校正

常用的倾斜校正方法有基于投影的方法、基于Hough变换的方法[11]、基于线性拟合的方法以及基于傅里叶变换的方法等，这里采用基于霍夫变换的倾斜校正方法。

1.1.1Canny边缘检测

Canny边缘检测能够得到图像中细化的边缘，确保Hough直线检测的效果。先将红绿蓝（Red, Green, Blue, RGB）彩色图像转化为灰度图像，对得到的灰度图像作高斯平滑滤波处理：

(x,y)为掩膜内任意一点(,)的系数。进行归一化处理得到归一化掩膜矩阵normal，将掩膜与图像中相同大小像素区域作卷积运算：

其中，为原图像素矩阵，'为进行卷积运算后得到的新图像的像素矩阵，图1为灰度图像与其平滑处理后的图像。

图1 高斯平滑滤波

计算平滑处理后新图像的梯度幅值和方向，利用Sobel水平算子和垂直算子与输入图像卷积，得到水平梯度分量和垂直梯度分量：

图像梯度的幅值(,)的计算公式为

方位角为图像梯度方向与轴的夹角：

沿着梯度方向对幅值进行非极大值抑制，图2为Canny边缘提取后的图像。

图2 Canny边缘提取后的图像

1.1.2Hough直线检测

对经过Canny边缘提取的图像进行霍夫直线检测，以确定旋转补偿角度。Hough直线与原点距离为，极角为，直线上每一点满足：

选出最长直线Lmax，对其对应的极角θi取负值，作为原始图像的旋转补偿的角度，图3为完成倾斜校正后的图像。

1.2 图像大小标准化

采用计算量小，同时输出图像质量较高的双线性插值方法，将旋转补偿后的图像统一为30×30大小。设原图中的5个像素点：00(0,0)、01(0,1)、10(1,0)，11(1,1)，点(,)为目标图的像素点在原图上的投影。四个像素点为距离点最近的点，满足1-0=1，1-0=1。通过插值计算得到新图像的像素值，具体计算为

式中，u=h-h0，v=w-w0。图4为经过倾斜校正与标准化大小后的图像。

2 HSV颜色空间

颜色特征作为交通信号灯最显著的特征，识别方法实现简单，且对设备硬件要求不高，因而基于颜色的交通信号灯识别方法被广泛使用。RGB彩色图像转化为HSV颜色空间的转换公式[12]为

基于HSV颜色空间的识别方法流程图如图5所示。

图5 基于HSV颜色空间的识别方法流程图

3 灰度图像ROI像素值求和

对HSV颜色空间中不满足阈值范围要求的图像，保留霍夫直线检测得到的水平直线与垂直直线，如图6(a)所示。

定义图像左上角为原点，水平向右为轴，垂直向下为轴，图像水平中线15，垂直中线=15，坐标范围1∈[0,14]，2∈[15,29]；若水平直线y在1的坐标范围内，取top=max{y}；若y∈2，取bottom=min{y}；top与bottom即为交通信号灯主体区域所在的上下边界对应的纵坐标，同理可得左右边界对应的横坐标left与right。检测得到交通信号灯主体所在感兴趣区域（Region of Interest, ROI）如图6(b)所示。

图6 ROI区域筛选与检测

数据集图像中的交通信号灯均具有红灯在上、黄灯在中、绿灯在下的结构特点，以此为先验信息，沿轴对轴灰度像素值进行求和。定义ROI内坐标1:(left,top)，3:(left,bottom)，2: (right,top)，4:(right,bottom)，如图7所示。

图7 图像坐标轴定义及ROI关键坐标

对经过图像预处理后的图像转化为灰度图像。轴灰度像素值求和范围：[left,right]，y轴求和范围：[top,bottom]。将[top,bottom]作三等分：

求和过程如下：

取三张红灯、黄灯、绿灯的图片进行灰度像素求和，红灯灰度像素值求和结果集中分布在red:(4,11)；黄灯灰度像素值求和结果集中分布在yellow:(12,17)；绿灯灰度像素值求和结果集中分布在green:(18,25)，如图8所示。

图8 红灯、绿灯、黄灯灰度图像像素值求和结果分布

4 实验与结果分析

本章对麻省理工学院自动驾驶数据集中的 1 484张红绿灯数据图像进行处理，其中，904张红色交通灯图片，536张绿色交通灯图片，44张黄色交通灯图片。使用基于Ubuntu 16.04操作系统的Intel Core i5 @ 2.5 GHz和8 GB内存计算机进行实验，编程环境为Pycharm 2019，并依托OpenCV完成部分图像处理步骤。

4.1 有无ROI检测对比试验

程序的判断并不总和事实一致，会有以下四种情况：True Positive（）、False Positive（）、False Negative（）和True Negative（）。准确率（Precision）和检测率（Detection Rate）计算公式为

式（19）中，为真值（Ground Truth）。对三种识别方法分别测试识别效果，如表1所示。ROI检测对HSV颜色空间法的影响不大；灰度图像ROI像素值求和法识别准确率比未进行ROI检测时高23.951%；融合识别方法的识别准确率比未进行ROI检测时高5.392%。因为ROI检测减少了每幅图像的处理面积，平均单张图像检测时间减少了1 ms～2 ms。融合算法的平均单张图像检测耗时为16.33 ms，满足一般的实时识别交通信号灯系统的要求。

表1 三种识别方法有无ROI检测对比

ROI检测识别准确率/%检测率/%检测耗时/ms HSV有92.11693.26113.01 无92.18393.53114.73 灰度图像像素求和法有95.2161002.97 无71.2651004.11 融合算法（阈值T=0）有96.96910016.33 无91.57710017.24

三种交通信号灯识别方法中，本文提出的灰度图像ROI像素值求和法与融合算法（阈值=0）的识别准确率分别达到95.216%与96.969%，在进行ROI检测前提下，比HSV颜色空间识别法分别高出3.100%和4.853%。

4.2 融合识别方法在不同阈值T下对比试验

融合HSV颜色空间法与灰度像素求和法，其算法流程图如图9所示。

在4.1中，阈值均被设置为0。本节将阈值设置为[0, 200]，测试不同阈值对融合识别方法识别准确率的影响。如图10所示，当阈值从0开始增加时，识别准确率开始上升，在=14时，识别准确率达到峰值点98.383%，此后准确率逐渐下降，并在=100时开始接近灰度图像ROI像素值求和法的精度。

图9 融合算法流程图

图10 阈值T对融合识别方法识别准确率的影响

由此对比试验，融合识别方法的识别准确率可以超过98%，在检测ROI的前提下，比HSV颜色空间的识别准确率提高6.627%，比灰度像素求和法提高3.167%，比阈值=0时的融合识别法的识别准确率高1.414%。因此，设置适合的阈值，可以继续提升交通信号灯的识别准确率。

5 结束语

针对基于颜色的交通信号灯识别准确率不高的问题，对原始图像进行倾斜校正和大小标准化，先采用基于HSV颜色空间的TLR方法对交通信号灯进行初步识别。针对部分图像中由于天气、相机特性等原因造成的颜色失真情况，以及HSV颜色空间识别法存在的难以选取合适的（H,S,V）范围等缺点，利用先验信息和灰度信息，进行ROI检测，滤掉了大量的错误识别。通过设定合适的阈值，将HSV颜色空间与灰度图像ROI像素值求和两种TLR识别方法相融合，能够有效、快速地识别交通信号灯类型，又能保证交通信号灯识别的高准确率。

[1] 谷明琴,蔡自兴,李仪.应用圆形度和颜色直方图的交通信号灯识别[J].计算机工程与设计,2012,33(1): 243-247.

[2] 余泽东.基于otsu算法和Hu不变矩的交通信号灯识别[J].武汉大学学报（工学版）,2020,53(4):371-376.

[3] 田谨,应捷,朱丹丹.一种新的箭头形交通信号灯识别方法[J].电子科技,2015,28(11):150-153.

[4] 武莹,张小宁,何斌. 基于图像处理的交通信号灯识别方法[J].交通信息与安全,2011,29(3):51-54.

[5] HASSAN N, MING K W, WAH C K. A Comparative Study on HSV-based and Deep Learning-based Object Detection Algorithms for Pedestrian Traffic Light Signal Recognition[C]//2020 3rd International Confe- rence on Intelligent Autonomous Systems. Piscataway: IEEE, 2020:71-76.

[6] 金涛,王春香,王冰,等.基于级联滤波的交通信号灯识别方法[J].上海交通大学学报,2012,46(9):1355- 1360.

[7] 钱弘毅,王丽华,牟宏磊.基于深度学习的交通信号灯快速检测与识别[J].计算机科学,2019,46(12):272-278.

[8] CHEN X,CHEN Y,ZHANG G. A Computer Vision Algorithm for Locating and Recognizing Traffic Signal Control Light Status and Countdown Time[J]. Journal of Intelligent Transportation Systems,2021 (12):1-19.

[9] 李宗鑫,秦勃,王梦倩.基于时空关系模型的交通信号灯的实时检测与识别[J].计算机科学,2018,45(6): 314-319.

[10] 许明文,张重阳. 基于显著性特征的交通信号灯检测和识别[J].计算机与数字工程,2017,45(7):1397-1401.

[11] 梁添才,皮佑国,彭晶,等.基于Hough变换的列车客运票图像倾斜校正[J].华南理工大学学报（自然科学版）,2007,35(5):35-40.

[12] 曹义亲,丁要男.基于HSV色彩空间S分量的轨面区域提取方法[J].南京理工大学学报（自然科学版）, 2021,45(4):464-471.

A Traffic Light Recognition Method Based on Prior Information

ZENG Yangfan1, CHEN Zhangyong*1, XIA Fugen2, CHEN Yong1, CHEN Songge1

(1.School of Automation Engineering, Institute for Electric Vehicle Driving System and Safety Technology,University of Electronic Science and Technology of China, Chengdu 611731, China;2.Chengdu Yiwei New Energy Automobile Company Limited, Chengdu 611730, China )

To solve the problem of low accuracy of color-based traffic light recognition (TLR), a TLR method that combines HSV (Hue, Saturation, Value) color space and gray image information is proposed. First, image tilt correction and size standardization is needed to meet the needs of the proposed fusion traffic light recognition method. Then, the RGB (Red, Green, Blue) images are converted into HSV (Hue, Saturation, Value) color space to initially recognize the state of traffic light. The boundaries of traffic lights is extracted by hough line detection, and region of interest (ROI) detection is realized. Considering that some traffic light images cannot be recognized by HSV (Hue, Saturation, Value) color space method, and the structure characteristics of the traffic light are used as the prior information, and the region of interest pixel values of the gray image is summed to further identify the state of traffic light. The fusion traffic light recognition method is evaluated through experiments and compared with the methods that separately use HSV (Hue, Saturation, Value) color space and gray image region of interest pixel values summation to evaluate the performance of the proposed algorithm.

HSV(Hue,Saturation,Value) color space; Traffic light recognition; Hough line detec- tion; Region of interest detection; Gray image region of interest pixel values summation

U495

A

1671-7988(2022)21-37-06

U495

A

1671-7988(2022)21-37-06

10.16638/j.cnki.1671-7988.2022.021.007

曾杨帆（1998—），男，硕士研究生，研究方向为新能源车智能感知技术，E-mail:1520654540@qq.com。

陈章勇（1988—），男，副教授，研究方向为新能源车技术，E-mail:zhang_yong_ch@126.com。

四川省科技计划项目资助（2020YFG0325）。