基于Faster-RCNN的鳌江特大桥车辆识别技术

徐 伟，张立晓，陈智寿，邱国阳，谈华顺，赵雪峰

（1.温州市交通工程质量监督局，浙江 温州 325000；2.大连理工大学 土木工程学院，辽宁 大连 116024；3.大连理工大学 海岸与近海工程国家重点实验室，辽宁 大连116024；4.浙江温州沈海高速公路有限公司，浙江 温州 325000；5.浙江省交通规划设计研究院有限公司，浙江 杭州 310000）

0 引 言

车辆作为运输行业的重要交通工具，其种类和用途极其广泛。近年来，随着中国经济的快速发展和基础设施建设水平的不断提高，公路桥梁作为运输业的重要渠道，发挥着越来越重要的作用，并受到了越来越广泛的关注。截至2018年底，交通运输行业发展统计公报显示，国家高速公路年平均日交通量为26 435辆，增长5.4%。随着科技水平的迅速提高，人工智能时代来临，智能化交通系统的发展也在逐步完善。智能交通系统（Intelligent Transport Systems, ITS）是一个包含多种技术的统称，指在交通系统中深度整合最新的信息技术、数字通信技术、计算机信息处理技术、自动控制技术以及传感器等，形成一个可以覆盖大面积，响应及时，效率高的综合交通管理系统[1]，其核心是对道路桥梁中车辆类型进行准确识别。车辆类型的识别在道路交通监控管理、高速收费系统、停车场管理系统等方面被广泛应用，具有较大的市场前景和经济价值。

车型识别主要包括两个方向[2]，即针对车辆车型类别的识别（客车、货车等）与对车辆品牌型号的识别（奔驰、大众等）。早期的车型识别方法包括基于传统特征的支持向量机[3]、贝叶斯网络[4]、BP网络[5]、边缘检测算法[6]、压力传感、CCD[7]及基于纹理特征[8-10]等。由于计算机技术和深度学习技术的飞速发展，目前常用的主要是基于深度卷积神经网络的车型识别方法[11-14]。

基于机器视觉的车型识别技术利用计算机自动分析由摄像头采集获取的视频图像，借助预先训练好的模型使得机器能够自动完成车辆的检测和分类。该技术具有如下优点：

（1）采用非接触式检测，可保证车辆平稳运行；

（2）可以大范围检测交通流信息，设备可重复利用；

（3）可以实时监控，也可存储采集的图像，便于后期分析处理；

（4）识别精度高。

开展车辆车型识别意义重大，此举对于解决交通环境问题、交通规划问题和智能交通系统的发展具有重要战略意义。

1 桥梁车辆车型识别技术

计算机技术和人工智能的发展使得基于视频的车辆分类识别技术在交通管控中发挥着重要的作用。车辆类型识别技术利用高速相机设备代替人眼进行记录和观察，通过反复学习后，能够以较高的准确度识别车辆类型，也可以实现对桥梁过往车辆类型多信息的检测。该信息对桥梁安全稳定运营有着极大的参考意义，可为桥梁后期的管养和养护提供依据。

1.1 动态称重系统及监控设备布置

动态称重系统由传感器和电子仪器组成，用于测量动态轮胎力和车辆通过时间，并提供轮重、轴重、总重等数据。该系统在车辆正常行驶状态下，可利用埋地线圈感应车辆，获得桥梁结构的动力响应，对其进行称重检测，较好地解决了传统人工称重过程复杂、效率低下等问题[15]。

在鳌江特大桥传感器安装过程中，通过安装传感器切槽，保证安装区域路面平整无明显凹陷、涌包、裂缝；要求切口比传感器长约150 mm，同轴电缆切口应从传感器切口的中央引出，特采用湿切法以减少对路面的破坏；保证灌封料与路面平齐，减少轮胎跳过传感器的机会。传感器安装示意如图1～图3所示。

图1 鳌江特大桥动态称重系统传感器安装示意图

图2 鳌江特大桥单车道传感器安装示意图

图3 鳌江特大桥横截面传感器安装示意图

1.2 机器视觉车辆训练模型

1.2.1 车辆分类

本文中车辆类型是指车辆的型式，通过车辆的普通特征、使用目的和功能等进行区分，如轿车、载货汽车、客车、挂车、非完整车辆和摩托车均为单独的类型。通过查阅相关资料，本文通过车辆荷载对车辆类型进行分类。所依托公路桥梁为高速公路，属于全部控制出入、专供汽车在分隔的车道上高速行驶的公路。为了对车辆类型进行全方位监测，本文将车辆车型与荷载分为6类，分别为大型客车、中型客车、微型客车、大型货车、中型货车、小型货车，分类标准见表1所列。

依据上述分类标准，本文对车辆类型进行标记，如图4所示。

表1 车辆车型与荷载分类标准

图4 车辆类型标记

1.2.2 训练原理

较普通机器视觉[16-17]数字图像处理技术采用边缘检测算法等提取特征不同，本文采用机器视觉深度学习方法，借助 Faster-RCNN（Faster Region-based Convolutional Network,Faster-RCNN）算法，通过大量车辆样本的训练，使计算机自动提取出不同的车辆类型。目标检测的首个算法是由Girshick提出的RCNN算法[18]，但该算法需要耗费大量的训练时间，训练数据占用空间大，且测试效率较低。之后出现了Fast-RCNN算法[19]，该算法同样存在训练时间过长等问题。2016年，任少卿和Girshick等人提出了Faster-RCNN算法[20]，该算法在Fast-RCNN的基础上，将候选区域的获取集成在卷积神经网络中，实现了点对点训练与测试，效率大幅提高。Faster-RCNN算法构架如图5所示。

图5 Faster-RCNN算法构架示意图

该算法中区域选取网络（Region Proposal Network, RPN）结构的运用，可真正意义上把物体检测流程融入神经网络Faster-RCNN中。RPN的核心思想是使用卷积神经网络产生Region Proposal，本质上是滑动窗口。Anchors是固定尺寸的边界框，得到的boxes可作为第一次预测目标位置的参考，Ground Truth表示真值，Proposal表示预测值，三者关系如图6所示。

图6 Anchor box，Ground Truth，Proposal box关系图

RPN的损失函数包括分类损失和回归损失，该网络结构中的总损失函数计算如下：

式中：i表示第i个Anchor；pi表示预测为某物体的概率；Ground Truth标签pi*取值为0或1；ti表示Proposal box相对于Anchor box的偏移；ti*表示Ground Truth box相对于Anchor box的偏移；Lcls和Lreg表示分类损失和回归损失；Ncls和Nreg为正则化参数；λ为加权平衡参数[20]。

2 测试准备

2.1 硬件参数

该测试平台基于Caffe框架，使用GPU模式在工作站（CPU：Intel Xeon E5-2630 v4 @2.2 GHz，RAM：32 GB，GPU：NVIDIA Geforce GTX 1080 Ti）上实现。Faster-RCNN框架是根据工作站的硬件和软件进行调整和构建的，并配置了所有文件路径和超参数。CNN层和FC层（用于分类）分别采用0均值高斯分布初始化，标准差分别为0.01和0.001。

2.2 数据准备

图片主要来自浙江宁波鳌江大桥，少部分图片来自网络，图片均为单图单车。结合桥梁车辆的特点和相关标准，本文将检测车辆车型与荷载综合划分为大型客车（DK）、中型客车（ZK）、小型客车（XK）、大型货车（DH）、中型货车（ZH）、小型货车（XH）六类。本次共训练600张图片（图像分辨率为900×1 600像素），其中480张图片为训练集，即训练集占总数据的80%，另外120张图片为验证和测试集，占总数据的20%。

3 车型识别测试结果

本文首先对600张图片进行车辆类型训练（图片来源为鳌江特大桥监测数据库，部分来源于网络）。训练结果中每个类别的Average Precision（AP）见表2所列，所有类别的AP平均值mean AP（mAP）为0.893 8。训练模型精度表明：DK、ZK、XK、DH、ZH、XH类别的AP分别为0.921 0，0.882 3，0.818 1，0.849 2，0.946 3，0.945 5，六类车型识别的mAP为89.38%。

表2 训练结果

测试选用未经训练的车辆图进行车型识别精度测试，车辆车型识别结果如图7所示。系统识别精度最高可达100%，表明该训练模型具有较好的鲁棒性与较精确的识别监测效果。验证该方法在视频中的检测精度：录制视频后对动态视频中的车辆进行识别测试，结果显示识别精度可以达到99.1%，如图8所示。该方法为未来车辆管理、交通运输业管理等提供了指导，具有重要的参考价值。

图7 车型识别结果

图8 视频测试结果

4 结 语

为促进智能交通系统的发展，更好地管理车辆，并保障桥梁稳定运营，本文以鳌江大桥为依托，采用基于机器视觉的车辆类型识别方法对桥梁车辆进行识别和测试。首先主要介绍了鳌江特大桥称重系统与机器视觉目标识别算法，然后依据该桥梁通行车辆特点将车辆分为六大类，经过训练与测试验证，表明该方法识别准确率较高。通过该方法的运用，可以实时监测、统计桥梁车辆情况，并为后期桥梁管养和状态评估提供大量可靠数据，为建立更加智能化的智能交通系统奠定良好基础。