基于深度学习的交通标志识别技术研究进展

杨广柱,龙泽链,李 毅,王天生,黄绍信

(广西交通职业技术学院,广西 南宁 530013)

0 引言

随着城市基础设施的全面建设和汽车产业的蓬勃发展,汽车已成为人们日常出行中最常用的交通工具。与此同时,交通安全和交通拥堵问题也日益严重。尤其在经济快速发展的背景下,交通安全和拥堵问题成为亟待解决的工程技术难题。智能交通系统(Intelligent Transport System,ITS)被视为提高交通安全性和效率的有效途径之一[1]。

智能交通系统中的一个重要组成部分是自动交通标志检测和识别技术,其可以从视觉传感器扫描的图像信息中提取人性化信息和路况信息等,为智能交通系统的交通行为决策提供信息支持。因此,交通标志检测和识别广泛应用于驾驶员辅助系统、智能无人驾驶车辆、道路标志维护等智能交通领域。这些应用不仅可以有效提高驾驶员的安全性,还能推动无人驾驶技术的发展,提高交通维护效率,极大缓解交通安全和拥堵问题[2]。

目前,基于卷积神经网络等深度学习算法在交通标志识别应用中表现出高准确度和强抗干扰能力,成为解决自动交通标志识别可靠性低的关键突破口。然而,由于国内交通标志算法训练数据集的不足,特定场景下交通标志检测和识别精度不高的问题仍然存在[3]。基于这个背景,本文综述基于深度学习的交通标志识别技术,厘清传统交通标志识别与基于深度学习的交通标志识别的关系,着重介绍尤为出色的卷积神经网络交通标志识别算法,并分析近年来卷积神经网络识别算法取得的突破性进展,以期能为交通标志识别技术的发展提供新思路,为广西智慧交通建设积累实践经验。

1 交通标志识别技术

1.1 传统交通标志识别

交通标志的主要用途是指导与警告驾驶员前方道路信息与行人信息,以及调节道路交通流量与交通疏导。世界各国交通标志因其政治文化的独特性而尽显不同,我国的交通标志主要分为指示类标志、禁令类标志和警告类标志三大类。这三大类交通标志在颜色上有蓝色、黄色和红色,在形状上有圆形、三角形,交通标志在图像上有非常显著的颜色特征和形状特征,这是用于检测识别交通标志的主要依据。

交通标志识别技术中两个关键的内容是:检测和识别交通标志。检测标志是指使用形状信息、颜色信息或形状颜色信息结合的形式,在具有背景噪声的图像帧中提取交通标志信息,为后续的识别分类提供关键数据。识别标志是指对检测到的交通标志进行特征识别分类,为智能交通系统的交通决策提供道路信息。即交通标志检测与识别对应于人的眼睛观察与大脑认识判断,“眼睛”在复杂的交通环境中扫描出交通标志的图像信息,“大脑”根据“眼睛”观察到的交通标志图像进行识别,并对内容进行分类,为下一步的交通行为提供判断依据。

在交通标志中颜色是其最显著的特征之一,颜色特征法的交通标志检测具有较高的反应度。一些学者早先提出直接利用原始RGB图像空间的像素级阈值分割进行交通标志检测[4],由于原始RGB图像存在色彩失真甚至图像模糊等因素,对于交通环境及天气的依赖极高,因此存在一定缺陷性。在此基础上,部分学者提出先对原始图像进行预处理再对处理后的结果进行分割检测的交通标志检测方案,该方法能够对RGB图像进行色彩空间增强以及矢量滤波等处理,能够有效降低交通环境的影响,提高交通标志检测的准确度[5]。尽管众多学者在RGB图像检测方法上做了大量的改进,然而R、G和B分量之间具有高度相关性且易受温度、湿度和光照等外界因素影响的特性,基于RGB进行的交通标志检测很难实现高可靠性检测。基于此,部分学者提出先将原始RGB图像非线性变换为HIS颜色空间再对H和S分量进行阈值分割,以实现ROI区域检测,该方法能够一定程度地规避RGB容易受环境影响的问题,但仍然存在一定缺陷[6]。

基于此,形状特征法、颜色与形状特征混合法先后被提出用于交通标志检测,旨在解决交通标志检测过程存在准确度低及容易受环境影响的问题。形状特征法是采用数学形态学方法检测交通标志内核形状的形态特征,能有效克服环境照度等条件的干扰,但却较易受到外界噪声的影响且计算耗时较长,该方法对自然环境交通标志检测的实用性较低[7]。目前,基于颜色特征和形状特征检测相结合的交通识别方法,可以综合两者的优势特点而规避其劣势,能够达到较好的检测速度和效果[8]。

总体而言,依赖图像颜色及形状特征进行交通标志识别的传统方法,在简单方便性及识别速率上均有较大优势,但该方法容易受到如光照强度、天气及遮挡物等不可避免的外界因素干扰,导致其识别准确性及可靠性不足以满足无人驾驶等高智能交通系统的要求[9]。

1.2 基于深度学习的交通标志识别

尽管传统的交通标志识别技术得到一定发展,但是传统算法在克服自然环境等因素影响方面仍然不尽人意,难以得出高可靠性、高准确率的识别效果。基于此,诸多学者提出将以卷积神经网络为代表的深度学习算法应用于交通标志识别,卷积神经网络深度学习算法与传统机器识别算法的最大区别是:卷积神经网络可以一边训练一边提取特征,双管齐下,能有效提高检测与训练效率。这使得卷积神经网络在检测性能和准确性方面具有巨大优势,尤其在光照增强、天气状况、物体遮挡和拍摄角度等复杂情况下进行交通标志识别。卷积神经网络最具代表性的识别算法是Lecun等提出的手写数字识别网络LeNet-5网络,该网络模型首次利用局部连接与权值共享的方式对输入灰度图像进行特征提取,极大地降低了模型的训练复杂度,极大地提高了模型识别分类的准确率[10]。随后AlexNet网络[11]、VGGNet网络[12]相继被提出,其主要特点是增加卷积层和连接层,以提高模型的分类识别能力。随着卷积神经网络的发展,目前基于卷积神经网络检测模型主要分为单阶段模型[13]和两阶段模型[14-15]。其中单阶段模型是一种只需要通过一个深度卷积网络就能够直接识别目标位置并完成分类任务的目标检测算法;两阶段模型则是需要先后通过两个检测器来分别完成提取目标候选区域以及完成候选区的坐标修正及目标分类处理,才能够实现实现高精度检测,但由于流程复杂不可避免地导致检测速度慢的问题。

1.3 卷积神经网络交通标志识别技术

卷积神经网络(CNNs)的设计灵感来源于生物学中的视觉系统,通过模拟视觉皮层的处理方式,能够自动学习和提取图像中的特征,是一种深度学习算法,被广泛应用于计算机视觉领域,尤其在图像和视频处理任务中取得了显著的成果。CNNs的核心思想是利用卷积层和池化层来提取输入图像的特征,并通过全连接层进行分类或回归等任务,实现图像的识别。卷积神经网络的优点在于其能够通过多个卷积层和池化层的组合,逐级提取输入数据的高级特征标识。这使得其在图像分类、目标检测、语义分割和人脸识别等任务上表现出色。尤其在交通标志识别上得到成功应用。

近年来,基于CNN的交通标志检测方法得到了越来越多研究者的认可。相对于传统方法,这种方法能有效减少主观单一性并解决语义信息不充分的问题,从而改进目标检测效果,因此在实践中被广泛应用。基于卷积神经网络的目标检测算法可分为两类:基于候选区域提取和基于端到端[16]。

基于候选区域提取是最早被提出并广泛使用的方法。Krizhevsky A等[17]最早提出使用卷积神经网络进行目标识别,推动了卷积神经网络在目标检测领域的快速发展。2004年,Girshick R等[18]基于候选区域提取方法提出了R-CNN算法,该算法具备丰富的特征层次结构,并采用选择搜索方式来选取候选框,实现了精确的对象检测和语义分割。该算法在VOC 2012数据集上取得了53.3%的成绩。Wang F等[19]对Faster R-CNN算法进行了改进,应用于交通标志检测,提高了计算效率并实现了实时检测。为解决Fast R-CNN算法中的候选框问题,Ren S等[20]提出了改进的Faster R-CNN算法,改进了候选框生成算法,提高了检测效率和精度。尽管R-CNN系列算法在目标检测精度方面表现出色,但由于属于两阶段检测网络,检测速度相对较慢,难以在实际交通标志检测中应用。尽管基于候选区域提取的这些网络经过多次优化和改进,在交通标志检测与识别上取得了良好应用和理想的检测精度,但其速度仍然不够快,难以满足实时性需求。

鉴于基于候选区域提取的卷积神经网络存在明显的检测实时性差的问题,而实时检测交通标志在实际应用场景中至关重要,因此引入了端到端的卷积神经网络以解决这一问题。端到端的卷积神经网络具备出色的实时检测能力,其中最为突出的是Redmon J等[21-23]提出的YOLO系列网络。YOLO算法的应用极大地提高了检测速度,但相比Fast R-CNN算法,其检测精度稍逊一筹。为解决这个问题,Redmon等继续提出了YOLOv2算法,通过优化改进提高了目标检测精度,2018年,在YOLOv2的基础上提出了YOLOv3算法,利用残差模型和FPN结构显著提高了检测性能。尽管YOLOv3算法改善了目标检测效果,但对于小目标的检测效果仍不理想。为解决这个问题,Bochkovskiy等[24]改进了YOLOv3算法,提出了YOLOv4算法,进一步提升了目标检测性能。因此,研究人员提出了一些轻量级的目标检测网络模型,如SSDLite[25]、YOLO-LITE[26]等。这些轻量级网络通过压缩模型参数来实现高效运行,尽管在一定程度上牺牲了一些检测精度,但对于设计轻量级且高性能的目标检测网络具有重要的科研意义。随后,为了应对无人驾驶场景中交通标志检测精度低和实时性差等问题,研究人员提出了改进SSD网络的交通标志检测方法[27]。此外,Yin等[28]使用YOLOv3的进化版本中的YOLOv5网络,实现了对复杂背景下交通标志的实时识别。这些研究中的算法具有良好的检测实时性,弥补了基于候选区域提取的方法的不足,但这些端到端网络在小目标检测方面的准确率仍有待提高。由此可见,卷积神经网络算法在交通标志识别上尽管有出色的表现,且相关算法的优化推动了该算法的性能,但是要全方位提升该算法的识别性能仍然存在诸多问题,需要进一步解决[29]。

2 结语

交通标志识别技术能够自动识别交通标志信息,为自动驾驶等智能交通系统提供交通决策信息,是智能交通系统实施的关键环节。因此,近年来交通标志识别技术得到广泛研究和应用,尤其基于卷积神经网络(CNN)的方法在交通标志检测方面取得了显著的进展。与传统方法相比,CNN方法能够减少主观单一性和解决语义信息不充分的问题,从而提高了目标检测效果。在识别性能仍存在系列问题亟须优化,因此卷积神经网络先后提出了Faster R-CNN算法、YOLO系列算法以及SSDLite、YOLO-LITE等轻量化算法,旨在提高识别精度、计算速度和计算实时性,满足在交通系统中的有效应用。