基于改进SSD 的交通标志实时检测

徐元泽 王勇

摘要：针对实际驾驶时获取的自然交通场景图像中，交通标志占图像比例较小导致检测精度低问题，同时要求交通标志检测速度快，提出一种改进的单发多框检测（SSD）神经网络模型。该模型在SSD基础上融合特征金字塔网络（FPN），在后处理方法应用中心点距离非极大值抑制（DIoU-NMS），提高了交通标志小目标的检测精度。实验结果表明，改进后的SSD 网络型检测性能显著提高，其均值平均精度（mAP）比原SSD提高了7.6个百分点，其每秒帧率（FPS）达到31.4具备实时检测能力。

关键词：交通标志;实时检测;单发多框检测（SSD）;特征金字塔网络（FPN）

中图分类号：TP183  文献标识码：A

文章编号：1009-3044（2021）29-0092-03

Real-time Traffic Signs Detection Based on Improved SSD

XU Yuan-ze，WANG Yong

（School of Computers， Guangdong University of Technology， Guangdong 51000 China ）

Abstract：In the natural traffic scene images obtained during actual driving， the small proportion of traffic signs in the image leads to the problem of low detection accuracy. At the same time， the detection speed of traffic signs is required to be fast. An improved single-shot multibox detector （SSD） neural network model is proposed. The model integrates Feature Pyramid Network （FPN） on the basis of SSD， and applies center point distance non-maximum suppression （DIoU-NMS） in the post-processing method to im? prove the average detection accuracy of small targets of traffic signs. Experimental results show that the improved SSD network model not only significantly improves the detection performance， its mean average accuracy （mAP） is 7.6 percentage points higherthan the original SSD， and it has real-time detection capabilities that the frame per second reaches 31.4.

Key words：traffic sign; real-time detection; single shot mulitboxdetector（SSD）; feature pyramid networks（FPN）

1引言

随着5G、人工智能、边缘计算等科学技术的进步和发展，辅助驾驶、无人驾驶等智能驾驶技术也越来越成熟，交通标志检测（Traf-fic Sign Detection，TSD）作为智能交通系统的重要组成部分之一，在安全出行中发挥着不可替代的作用[1]。为了保障驾驶员的安全，在真实的驾驶场景中，需要尽早识别出自然场景中的交通标志，会使得交通标志在拍摄的交通图像中所占比例较小，可视为小目标检测。Bell S[2]等在COCO数据集中定义小于等于32*32像素的目标为小目标;在实际驾驶应用场景中交通标志检测还需要满足实时性的要求，Jiwoong C[3]等人提出自动驾驶应用的前提条件是实时监测速度也就是每秒帧率30fps 以上。

近年来，深度学习技术广泛应用于各种目标检测领域，现有的检测算法大致分为两大类：一类是基于候选框提取的两阶段目标检测算法，如R-CNN[4]、FasterR-CNN[5]、R-FCN[6]等神经网络，虽然这类网络检测精度较高，但是由于其需要在检测前生成候选区域，远不能满足实时性要求;另一类是基于回归方法的单阶段目标检测算法，如SSD[7]、YOLO[8]等算法，这类算法只需经过卷积神经网络无需生成候选区域，其检测速度大幅提升满足实时性要求，但是这类算法对小目标检测效果较差。

本文以SSD算法模型为基础，提出一种改进的SSD 网络模型，参照FPN[9]网络结构思想，从原网络结构中的Con10层开始对其进行卷积和上采样操作，而后与前一层特征图（Con9）进行侧向连接作为特征图，融合多尺度特征图进行预测，最后采用中心点距离非极大值抑制方法（DIou-NMS）[10]，降低漏检率，提高对于目标较小的交通标志检测均值平均精度。

2相关内容

2.1 SSD算法

SSD 是Wei.L等人设计的一种目标检测器，该模型以VGG16网络作为基础，SSD 网络模型结构如图1 所示。用 VGG16主干网络提取特征，在Con4_3层后将原VGG16的全连接层替代为卷基层 Con7，再进行四次卷积操作得到 Con8、 Con9、Con10、Con11，最终对每一特征层进行预测，实现多尺度特征图的检测。

该算法借鉴特征图像金字塔结构方式，对于深层次的特征图尺寸较小，包含丰富的语义特征信息，使其对大物体检测更为适宜;而浅层次的特征图尺寸较大，包含丰富的细节特征，因而可以更好的检测小物体。SSD利用了不同卷积层的特征图，实现不同尺度特征图的预测，利用不同特征图之间的互补，相较于使用单一层特征图目标检测算法，平均检测精度更高，检测效果更优。但是SSD低层特征图语义信息不够，而且从高层特征图开始构建金字塔结构，错过了重复使用低层高分辨率的特征图，即没有有效利用低层特征图中空间信息，从而对小物体检测效果不理想。

2.2 FPN神经网络

FPN神经网络的提出正是为了解决上述出现的问题，其网络结构模型如图2。结构分为三个线路，一个自底向上的线路，一个自顶向下的线路，一个侧向连接。自底向上是网络的向前传播过程;自顶向下过程采用上采样的方式，将顶层的小特征图放大到上一级特征图的大小，侧向连接将上采样的结果和自底向上生成的特征图进行融合，形成新的特征图，用于预测。

该算法同时利用低层特征图的高分辨率和高层特征图的丰富语言信息，通过融合这些不同层的特征达到预期的效果，显著提高小目标检测精度。

2.3改进的SSD模型

改进模型方法保留原SSD 网络结构中VGG16 Con4_3层，以此特征层为开始，构建特征金字塔网络结构，原网络中的 Con11特征层已经较深，对小目标检测提升不大，因此保留此特征层不动，从 Con4_3到 Con10共五层构建特征金字塔。改进 SSD 的神经网络模型结构如图3所示。

其执行步骤为：Con11层先经过1×1卷积，改变通道特征数，此处设置为256，F10通过上采样，与Con9经过1×1卷积后的特征图进行侧向连接操作，得到F9。重复上述过程，每一层通道特征数与上一层设置相同，分别得到F8、F7、F4特征层，将得到特征层经过3×3卷积，得到最终用于预测的特征层。

2.4 DIoU-NMS使用

原SSD模型经过预测后需要经过NMS后处理，其主要作用是去除检测任务的重复检测框，以得到最终的检测结果。在实际应用场景中，当两个不同物体距离很近时，由于交并比（IOU）值比较大，经过NMS处理后，只剩下一个检测框，这样导致漏检的错误情况发生。

DIoU-NMS 的更新公式的正式定义如下公式（1）：

式中si表示分类得分，ε表示非极大值抑制（NMS）的阈值，通常设置0.5，M表示最高分类得分的检测框，Bi表示其余初始

检测框，具体定义如公式（2）：

式中ρ表示欧氏距离，b，bgt表示预测框B 和目标框Bgt的中心点，c 表示覆盖两个框最小封闭区间的对角线长度，如图4所示。

公式中不难看出，在抑制准则中不仅考虑了重叠区域，还加入考虑两个框的中心点距离的考量，两个中心点较远的框可能由于不同对象产生，不应将其删除，降低漏检率。在实际应用中还引入参数β，用于控制对距离的影响因素。

3实验结果与分析

实验基于Liunx操作系统Ubuntu18.04， 在Pytorch深度学习框架上完成训练与测试等相关工作，实验硬件平台：CPU：i7-87003.2GHZ，内存：16GB RAM，显卡 GPU：NVIDIA GER⁃ FORCE GTX 2070 Super 8GB 内存。

选用清华大学腾讯联合实验室的公开数据集（Tsinghua- Tencent 100k）TT100K作为改进算法的训练和测试数据集，该数据集取自中国5个不同城市各10个区域内真实的驾驶场景，包含有不同天气条件、不同光照角度下的交通标志;并选取原 SSD 网络模型进行实验参照对比。实验评价指标选用均值平均精度（mAP）、检测每秒帧率（FPS）和召回率-准确率（P-R）曲线等。实验设置 Batch size 为4，初始学习率0.001，每迭代40000次学习率缩小为上次学习率的0.1，最大迭代次数设置为400000次。

实验结果见表1，我们可以发现虽然经过改进后的网络模型在FPS指标下降明显，由于经过FPN结构增加了计算量，在后处理阶段使用DIoU-NMS也会比原有计算量更大，从而导致 FPS 降低，但是FPS依然能够达到31.4，具备实时检测能力;从表 1中我们可以看出，改进后的SSD算法mAP由原来的53.7%提高到61.3%，提升了7.6%;在图5中P-R 曲线表明，改进后的模型曲线更靠近右上方，证明融合金字塔特征结构后，使得交通标志经过卷积后的特征层包含信息更丰富，后处理使用DI⁃oU-NMS，提高了召回率，改进SSD 网络模型能更好地检测出图像中小目标的交通标志。

4结束语

SSD神经网络模型，具有检测速度快优点，但检测小目标能力较弱，本文参考金字塔特征结构网络思想，将浅层特征层和深层特征层融合为新的特征层，提出了一种改进的SSD神经网络模型，并在后处理时改用DIoU-NMS方法，提高对于小目标交通标志的检测能力，虽然增加了一定计算过程使得检测时间上升，但是仍然具有一定的实时性。车载平台的计算能力有限，在计算资源有限的条件下进行能够实现精确度高、速度快的检测，是下一步的研究方向。

参考文献：

[1]董晓华，韦玉科.交通标志识别技术方法综述[J].电脑知识与技术，2020，16（25）：193-194，199.

[2] Bell S，Zitnick C L，BalaK，etal.Inside-outside net：detectingob⁃ jects in context with skip pooling and recurrent neural net? works[C]//2016 IEEE Conference on Computer Vision and Pat⁃ tern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.

IEEE 2016：2874-2883.

[3] Choi J，ChunD，KimH，etal.Gaussian YOLOv3：an accurate and fast ect detector using localization uncertainty for autono⁃mous driving[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.October 27- November 2，2019，Seoul， Korea （South）.IEEE，2019：502-511.

[4] GirshickR，DonahueJ，DarrellT，etal.Rich feature hierarchies for accurate ect detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Rec⁃ognition. June 23-28， 2014， Columbus， OH， USA. IEEE， 2014：580-587.

[5] Ren S Q，He K M，GirshickR，etal.FasterR-CNN：towards real- time ect detection with region proposal networks[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. IEEE，：1137-1149.

[6] Dai J F，LiY，He K M，etal.R-FCN：ect detection via region- based fully convolutional networks[EB/OL].2016

[7] Liu W，AnguelovD，ErhanD，etal.SSD：single shot MultiBox de⁃tector[M]//Computer Vision – ECCV 2016.Cham：Springer In⁃ternational Publishing，2016：21-37.

[8] Redmon J，DivvalaS，GirshickR，etal.You only look once：uni⁃fied， real-time ect detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30， 2016，Las Vegas，NV，USA.IEEE，2016：779-788.

[9] Lin T Y，DollárP，GirshickR，etal.Feature pyramid networks for ect detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Ho⁃ nolulu，HI，USA.IEEE，2017：936-944.

[10] Zheng Z H，WangP，LiuW，etal.Distance-IoUloss：faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）：12993-13000.

【通聯编辑：唐一东】