基于视频和位置信息的交通灯识别

王 辉 张冠丽

（同济大学电子与信息工程学院，上海 201804）

基于视频和位置信息的交通灯识别

王 辉 张冠丽

（同济大学电子与信息工程学院，上海 201804）

交通灯识别是智能车技术的关键，文章提出一种识别交通灯的新方法。首先基于多源信息，在摄像机像面上建立随机过程模型，确定车辆位置和像面概率分布的关系。然后选取输入图像中概率大于设定阈值的区域，在YCbCr颜色空间中基于颜色和亮度信息分割该区域得到候选区，对候选区域分别提取其颜色直方图和边缘方向直方图信息。最后采用支持向量机（SVM）对交通灯识别分类。实验结果表明，该方法能够实时准确地检测出交通灯。

交通灯识别；随机过程模型；颜色直方图；边缘方向直方图；支持向量机

1 概述

当前汽车数量逐年增加，给城市交通带来不少负面效应，使得智能交通成为人们逐渐重视的方向。智能驾驶是智能交通的重要组成部分，而交通灯识别又是智能驾驶必不可少的环节，是涉及到无人驾驶汽车能否安全通过路口的关键技术。

对于交通灯的识别，国内外都进行了很多的研究，取得了不少的成果。文献[1]提出了将颜色空间转换到归一化RGB空间，消除亮度带来的影响，并采用霍夫变换检测交通灯。然而该方法在环境复杂的情况下不能有效滤除车灯和路灯的干扰。文献[2]提取交通灯外围黑色边框，并采用Gabor小波特征提取和2DICA降低维度检测交通灯。但是该方法无法提取出隐藏在树阴中的黑色边框，采用Gabor小波和2DICA方法比较耗时，不能满足检测的实时性。文献[3]首先生成背景图像并获得亮度参数，然后利用模糊算法和形态学技术得到交通灯候选区域，进而得到交通灯的尺度、位置和时间序列。但该方法只适用与固定相机，如果背景发生变化，就会出现检测失效。文献[4]是采用几何信息结合交通灯矩形边框和圆形灯区域，并根据圆形灯区域在矩形边框的位置来确定交通灯的状态。但是该方法在复杂背景以及低亮度的情况下，很难检测出黑色矩形边框，会导致算法的失效。传统的交通灯识别多采用视觉特征提取及机器学习分类算法，缺少对 GPS位置信息的利用，在复杂环境下难以滤除外界干扰，不仅增加了处理时间，还降低了检测准确性。

针对以上问题，本文提出一种基于视频和位置信息的交通灯识别方法。不同于传统识别方法，提出利用智能车 GPS位置信息，建立车辆位置和摄像机像面概率分布的关系，滤除每帧图像概率小于阈值的区域，并结合机器视觉算法，提取候选区域颜色直方图和边缘方向直方图的特征信息用以训练分类器。实验结果表明，本文提出的识别方法能描述交通灯信息，并滤除车灯、树阴等的影响，与经典方法相比，由于引入了位置信息，一方面提高识别的准确率，另一方面减少了计算时间，有利于实时检测。

2 随机过程模型建立

智能车包含摄像机、驾驶地图以及GPS等设备。其中摄像机用于获取视频图像和确定镜头地平线位置，驾驶地图用于提供信号灯道口地图数据库，GPS设备确定车辆实时位置信息。利用以上信息估计交通灯检测区域的高度范围，进而对车载摄像头进行动态划分，建立随机过程模型，为交通灯识别提供先验概率。

2.1交通灯检测区域高度估计

建立一个单目视觉的几何模型估计交通灯检测区域高度，如图1 所示。交通灯安放高度H已知，根据国家标准，直立柱式＞3米，悬臂式5.5～7米。f为镜头焦距参数，L为车辆距路口距离，由GPS位置信息及地图数据库获得。由此，交通灯在像面上的高度h与车辆到路口的距离L的几何关系为：。

交通灯检测采用自适应工作模式，即根据地图数据库和GPS位置信息，设置交通灯 检测起止点。当智能车与路口距离小于等于50米，大于5米时，开启交通灯检测模式，其他距离关闭检测。

图1　基于单目视觉的信号灯高度与距离的关系示意图

2.2随机过程模型

随机过程是随时间变化的随机变量。为了提高交通灯检测效果，建立一个随机过程模型，为每帧图像的检测提供先验概率。模型的空间和时间范围设置如图 2所示，依据摄像机参数，确定镜头水平线，当智能车开启检测模式时，以镜头水平线为基准，以交通灯在像面上最大高度为上限，设置镜头动态划分范围。随机过程时间范围是智能车检测模式的开启阶段，以一帧为一个时间单位。

图2　某帧图像镜头动态划分范围

该模型定义t时刻时，图2所示划分范围内的随机变量满足二维高斯分布，峰值区域在图中几何高度接近于该时刻交通灯到镜头地平线的像面高度，且随着时间t的变化，交通灯像面高度与峰值几何高度也随之发生变化。

在时刻t，二维高斯分布定义如下，若二维随机向量(X,Y)具有概率密度，且满足

该模型在峰值区域数值较大，且随车辆距路口距离变化而改变，保证交通灯候选区域处在峰值区域附近，为该区域提供较大的权值，作为检测的先验概率。

3 交通信号灯识别

城市环境通常比较复杂，交通灯发光部分受天气条件、光照等因素的影响较大，汽车尾灯、路灯等也对交通灯检测造成干扰。因此，交通灯检测是智能车视觉技术方面的一个难题。

对于交通灯识别，主要包括先验概率模型建立、交通灯位置检测、视觉特征提取以及分类器的分类识别。

3.1交通灯位置检测

交通灯位置检测主要从颜色和亮度两个方面分析。颜色是交通灯的一个重要特征，本文主要检测红绿颜色信息。由于 RGB颜色空间不利于图像颜色的分割处理，把原图像从RGB空间转换到YCbCr空间，其中Y表示亮度，红绿色分别通过Cr通道进行阈值分割。红色和绿色的阈值分割计算如下：

如图3，根据红灯和绿灯在Cr空间的颜色分布，保留一定余量，选取TL1=150，TH1=240，TL2=25，TH2=100。

图3　Cr空间颜色分布直方图（左图对应红灯，右图对应绿灯）

交通灯属于发光区域，在图像预处理阶段可以增强图像对比度，突出交通灯的亮度特征，滤除那些与交通灯颜色相近但较暗的区域。Tophat算法就具有这种作用。

设(,)f x y是灰度图像，b是结构算子，则 Tophat变换[5]定义为：

其中，⊕和Θ分别为膨胀和腐蚀算子。本文选取11 11×的矩形作为 Tophat算法的结构算子，对 Y空间图像做 Tophat滤波处理。

基于亮度分割的公式如下：

为避免亮度分割造成漏检，图 4为所选视频中较暗的交通灯亮度范围，根据分布范围选取T=100。

图4　交通灯亮度范围分布图

结合颜色和亮度信息，红色区域分割方法为

绿色区域分割方法为：

3.2视觉特征提取

特征提取是图像识别的关键一步，特征一般分为颜色、纹理、边缘以及特征点等。本文采用HSV颜色直方图和边缘直方图信息作为特征。

交通灯具有比较明显的颜色特征，鉴于HSV是面向视觉感知的颜色空间，因此采用HSV颜色直方图特征提取。其中H表示色调，其大小范围为0360H≤≤o；S表示饱和度，其范围为01S≤≤；V表示亮度，其范围为01V≤≤。根据人的颜色感知特性对H、S、V三个分量进行非等间隔的量化，得到三维特征向量，设置不同的权值组成一维特征矢量。

根据H、S、V的量化级数和其频带宽度得到一维矢量L[6]：

其中sQ和vQ分别是S和V的量化级数，取，上式可表示为：

L的取值为[0,1,…,255]，可以计算出256bin的一维直方图，得到1×256的特征向量。

仅仅依靠颜色直方图，无法区分与交通灯颜色相近的区域，依据交通灯形状特征，再结合边缘方向直方图（EOH）信息。图像的边缘是灰度发生阶跃变化的地方，边缘方向直方图[7]是图像边缘和纹理信息在各方向幅值的统计直方图。本文采用Sobel算子[8]提取边缘图像的边缘，该算子通过3 3×模板作为核与图像的每个像素点做卷积，然后选取合适的阈值提取边缘信息。xS和yS分别代表横向及纵向边缘检测的模板，其公式如下：

3.3结合位置信息和SVM的交通灯识别

支持向量机（SVM）是基于统计学习理论以寻找最优超平面为目标的机器学习方法。最优超平面是一个决策曲面，且保证两类目标的分类间隔最大化，距离这种超平面最近的向量称为支持向量。对于非线性不可分问题，SVM的主要思想[9]是通过选取核函数，将样本空间映射到一个高维乃至无穷维的特征空间，使得原先线性不可分的数据在这个空间中满足线性可分，然后在这个高维空间中求得最优的线性分类面。使用核函数不增加计算复杂度，而且避免了维数灾难问题。常用的核函数包括sigmoid核函数、多项式核函数、径向基核函数等。本文选取多项式核函数。

第2节依据GPS和驾驶地图信息建立随机过程模型，该模型在交通灯检测阶段提供了车辆距路口位置信息和像面概率分布的关系，得到每帧图像交通灯候选区在像面上的概率信息。设检测区域出现交通灯的概率为 p，若pτ＞（τ为给定阈值），则判断该区域为交通灯待测区域，小于该阈值的区域不做处理。

建立两组分类器用于处理红灯和绿灯，每组分类器包括两个SVM分类器，即HSV特征分类器和EOH特征分类器。对交通灯待测区域中候选块进行测试，得到预测结果为，两个分类器的权重设为且满足，则预测分类结果为

采集视频的分辨率大小为1024*768，为直观的显示分类结果，根据图像分辨率大小，提高随机过程模型中的二维高斯分布函数的幅值，将幅值乘以 2000，则分类阈值选择。设置HSV特征分类器权重为0.5，EOH特征分类器权重为0.5。图5为选择的某段视频的第70帧画面，若不结合位置信息，则检测得到四个交通灯候选区域，从左到右依次为区域块1、2、3、4，经位置信息建立的随机过程模型得到该帧图像四个交通灯候选区域的中心位置概率依次为[5.36e-07,0.4825,0.4807,1.02 e-10]，选取概率大于阈值τ的区域块，则将区域块1和区域块4滤除，对区域块2和区域块3进行特征提取并送入SVM分类器，得到分类结果为[1,1]，即判定为交通灯。

图5　某帧图像交通灯候选区域先验概率

4 实验分析

本文测试环境为 3.2GHz Core i5 CPU、4GB内存，在MATLAB平台上实现上述算法，并用车载摄像头采集交通灯路口视频，从视频中采集交通灯样本作为训练集训练分类器。该样本图片的交通灯大小不一，且根据不同时段采集，具有较好的代表性。样本分为正负样本，正样本为红灯和绿灯，负样本选择车灯、路灯等图片。

本文选取红灯正样本220个，负样本270个；绿灯正样本210个，负样本250个进行测试分类器。

4.1基于合成SVM的视频测试

选择 4段新的视频用于测试交通灯结果，测试准确率采用如下定义：

准确率=(总帧数-漏检帧数-误检帧数)/总帧数

视频1和2测试红灯，视频3和4测试绿灯，设置HSV特征分类器权重为0.5，EOH特征分类器权重为0.5，得到合成的分类器，检测每帧图像中交通灯候选区域并输入合成的SVM分类器得到分类结果，结果见表1：

表1　基于SVM的交通灯测试结果

仅仅基于合成的SVM对视频中的交通灯进行检测，存在漏检和误检的情况。漏检主要原因是由于交通灯颜色信息出现失真，不满足检测阶段的条件，无法提取出交通灯颜色区域。误检主要是由于某些交通灯颜色和形状的不清晰，将其分为非交通灯，以及将车辆尾灯、建筑物颜色、树木等区域误检为交通灯。

4.2结合位置信息和合成SVM的视频测试

结合车辆位置信息，根据随机过程模型建立的像面概率分布，检测概率大于阈值τ的区域，得到交通灯候选区域并输入合成的SVM分类器，由3.3节可知阈值选择0.3τ=。结果见表2：

表2　结合位置信息和SVM的交通灯测试结果

表2和表3对比显示，结合位置信息和SVM的识别算法与纯SVM算法相比，漏检数没有变化，但降低了误检数，是因为漏检的因素与交通灯位置检测阶段有关，误检是由于将交通灯识别为非交通灯，将车灯等相似物识别为交通灯，而结合了位置信息的识别算法，可以将先验概率较低的车灯等误检物滤除，提高了交通灯识别的准确率。结合位置信息的交通灯识别算法处理每帧图片时间是173ms左右，能够满足实时性的要求。

视频中检测结果为红灯用红色方框标记，绿灯用绿色方框标记，图 6为选取的几帧检测结果，其中左上图和右上图表示检测红灯效果，左下图和右下图表示检测绿灯效果。

图6　视频检测结果显示

5 结论

为了有效地解决交通灯识别存在的问题，本文提出一种结合GPS位置信息和机器学习的交通灯识别算法。机器学习算法是从颜色和边缘信息提取交通灯特征，该特征采用的是颜色直方图和边缘方向直方图，比较全面地描述了交通灯信息，并训练SVM分类器识别交通灯。引入GPS位置信息并建立随机过程模型，该模型在检测阶段提供了每帧交通灯候选区域先验概率，滤除概率小于设定阈值的区域，缩小交通灯检测范围，通过第4节实验分析对比，结合位置信息相比纯机器学习方法提高了检测的准确性。下一步的研究重点是如何进一步优化本文算法，提高检测的准确性和实效性，同时研究如何有效地分类出圆形灯和箭头灯，以及对黄色灯的识别。

[1] Omachi M,Omachi S. Traffic light detection with color and edge information[C]//Computer Science and Information Technology,2009.ICCSIT 2009.2nd IEEE International Conference on. IEEE,2009:284-287.

[2] Cai Z,Li Y,Gu M.Real-time recognition system of traffic light in urban environment[C]//Computational Intelligence for Security and Defence Applications (CISDA),2012 IEEE Symposium on. IEEE,2012:1-6.

[3] Chung Y C,Wang J M,Chen S W.A vision-based traffic light detection system at intersections[J]. Journal of Taiwan Normal University: Mathematics, Science and Technology, 2002, 47(1): 67-86.

[4] Jie Y, Xiaomin C, Pengfei G, et al. A new traffic light detection and recognition algorithm for electronic travel aid[C]//Intelligent Control and Information Processing (ICICIP),2013 Fourth International Conference on. IEEE, 2013: 644-648.

[5] ZHANG Yu-jin. Image engineering (II) image analysis [M]. 2nd ed. Beijing: Tsinghua University Press,2005.

[6] 严春来.综合颜色和纹理特征的图像检索算法[J].信息安全与技术,2012,3(8):20-22.

[7] 申海洋,李月娥,张甜.基于边缘方向直方图相关性匹配的图像检索[J].计算机应用,2013,(7):1980-1983.

[8] Patel J, Patwardhan J,Sankhe K,et al. Fuzzy inference based edge detection system using Sobel and Laplacian of Gaussian operators[C]//Proceedings of the International Conference & Workshop on Emerging Trends in Technology. ACM,2011: 694-697.

[9] 王金岩,芮挺,丁健,等.基于 Zernike矩和SVM的不变性目标识别[J].电光与控制,2008,15(11):1-4.

Traffic light recognition based on video and location information

Traffic lights recognition is a key part of the intelligent vehicle technology. This paper proposed a new method to identify traffic lights. There are three steps. Firstly, based on multi-source information, this method builds a stochastic process model and determines the connection between vehicle position and probability distribution of image surface. Secondly, select the area whose probability is greater than the threshold, and segment the area as candidates based on color and luminance. Then extract the candidates’features by color histogram and edge orientation histogram. Finally, support vector machine (SVM) was used to classify traffic lights. The experimental results show that this method can detect traffic lights timely and accurately.

Traffic light recognition;stochastic process model;color histogram;edge orientation histogram;support vector machine

Q813.11

A

1008-1151(2015)10-0004-04

2015-09-12

国家自然科学基金（61373106）。

王辉（1991－），男，河南信阳人，同济大学电子与信息工程学院在读硕士，研究方向为图像处理、机器学习、模式识别；张冠丽（1988－），女，浙江金华人，同济大学电子与信息工程学院在读硕士，研究方向图像处理，模式识别。