多感知信息融合的车辆感知方法研究

裴崇利， 李泽滨， 周雨辉， 魏 涛， 韩经鲁

(中通客车控股股份有限公司，山东 聊城 252000)

近年来汽车高级驾驶辅助系统(ADAS)越来越广泛地应用于智能客车。其中车辆检测是ADAS环境感知系统重要的组成部分，有利于协助驾驶员发现潜在的行车危险[1]。为了提高ADAS车辆检测的速度和准确率，本文提出一种毫米波雷达与机器视觉相融合的车辆检测方法。

1 车辆检测研究现状

智能客车用于ADAS系统的传感器主要分为3类：工业相机、毫米波雷达和激光雷达。

基于工业相机的车辆检测算法主要有：外观特征检测法、机器学习法和深度学习法。基于外观特征的检测方法主要是通过提取车辆固有特征,例如底部阴影[2-3]、边缘[4]、尾灯[5]、对称性[6-7]等对车辆进行识别。这类方法原理简单,易于实现，但是对复杂交通环境的适应性不强。机器学习的方法主要是通过人工设计的特征，如HOG特征[8]、Haar-like特征[9]等对车辆特征进行提取，借助于有监督的学习通过正负样本训练的方式获得车辆识别分类器(SVM、Adaboost等)[10-11]。这类方法在计算时通常需要遍历整幅图像，实时性有待提高。近些年,深度学习算法在图像识别领域应用广泛，在车辆检测方面有不错的效果[12-13]，但是基于深度学习的算法对于嵌入式硬件的计算能力要求比较高，在汽车大规模的嵌入化设计中存在巨大的挑战。

毫米波雷达对环境适应性强，在汽车ADAS技术中有着广泛的应用。由于毫米波雷达可直接输出目标对象，可通过生命周期、卡尔曼滤波、阈值分割等方法提取车辆目标[14]。但是毫米波雷达所检测到的障碍物不具备语义特征，且横向分辨率不高。

激光雷达作为一种高级传感器对环境具有较强的探测能力，通过对点云数据分割、聚类可以实现车辆的检测[15]，但是激光雷达现在价格过高，在车辆领域广泛普及还需要一段时间。

为了提高车辆检测的效率，同时兼顾硬件成本和嵌入化实现的便利性，本文采用毫米波雷达和视觉相融合的车辆检测方法，其工作原理如图1所示。

图1 雷达与相机融合车辆检测流程

首先从毫米波雷达冗杂的检测目标中提取车辆目标，根据雷达与相机联合标定的结果，将雷达的检测目标投影到二维图像平面，获得车辆识别的感兴趣区域。采用HOG特征与SVM分类器相结的方式对感兴趣区域内的车辆目标进行搜索和定位，最终完成车辆检测。其最大的特点是基于雷达的车辆检测信息快速对图像感兴趣区域进行定位，解决了遍历整幅图像搜索耗时的问题。在图像进行车辆检测时只对感兴趣区域内的图像进行处理，无须关注其他非车辆的区域，这样极大地提高了车辆检测的效率和精度。下面对该方法的主要环节进行具体介绍。

2 传感器信息同步与雷达车辆目标提取

毫米波雷达与机器视觉融合需要考虑两方面的问题：时间对准和空间对齐。本文选用的毫米波雷达是德尔福公司生产的ESR77-79GHz的雷达，其工作频率为20 Hz，相机选用的是Basler公司的ACE相机，工作频率为50 Hz，由于采样频率不一样，通常需要对时间进行统一，最简单的方法就是利用时间戳进行时间对准。

另外，雷达是采用极坐标系对物体位置进行描述，而相机的成像是将三维空间转化为二维空间，两传感器的坐标系不同，需要进行转化。通常需要对相机和雷达进行联合标定，将标定后的参数填入式(1)完成坐标的统一，实现空间对齐。

(1)

德尔福ESR毫米波雷达能最多对64个目标的多种运动属性和状态(速度、距离、角度、回波强度等)进行测量，如图2所示。

图2 毫米波雷达数据信号

从图2可以看出，雷达除了对车辆目标进行检测外，还包含有其他的障碍物，这些障碍物大体可以分为3类：虚假目标、静止目标、非危险目标。

虚假目标主要是由于雷达回波信号不稳定和功能局限所产生的，并非环境中真实存在的目标。这类目标一般存在时间极短，通过采用生命周期算法对目标状态进行统计和跟踪，可以很好地滤掉此类目标。

静止目标主要包括道路环境中的树木、灯杆、标志牌、护栏等。这类目标的绝对速度为0，通过自车车速和雷达测量的相对速度可以对各检测目标的绝对速度进行计算，设置速度阈值±0.5 m/s就可以滤掉静止目标。

一般车辆行驶过程中具有潜在危险的区域主要包括本车道和相邻两车道，如图3所示。较远的车辆目标和其他车道的车辆潜在危险较小，通常不是检测的重点。

图3 车辆行驶区域划分

我国单车道宽度b一般为3.5～3.7 m。根据图3所示，车辆行驶潜在的危险区域为±1.5b，为了安全起见，b取最大值3.7 m，同时考虑雷达5%的测量误差，最终确定车辆横向检测区域为[-5.8 m，+5.8 m]。经过筛选，雷达检测目标前后对比如图4所示。

图4 雷达有效目标初选

图4中上面一幅图是雷达和相机标定后未筛选的部分毫米波雷达目标，这里面既包含车辆目标又包含非车辆目标，在图中给出了回归边框，检测目标的数目比较冗杂；下面一幅图是筛选后剩下的车辆目标，为后面图像处理提供感兴趣区域和参考，很明显回归边框标注的区域变少了。

3 基于HOG特征的车辆检测方法

毫米波雷达对图像中车辆感兴趣区域分割后，需要采用视觉的处理方法对车辆的具体位置和轮廓进行定位，本文采用方向梯度直方图(HOG)与SVM相结合的方式。

HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述。在一幅图像中，目标车辆的表象和形状能够被梯度或边缘的密度分布很好地描述，其本质是梯度信息。而梯度主要存在于边缘所在的地方，由于HOG特征是在图像的局部方格单元操作，相比其他检测特征能较好地适应车辆形状变化的干扰。一般车辆目标的HOG特征提取分为以下几步：

1)读入雷达信号给出的感兴趣区域的图像，对图像进行灰度化处理，再对灰度化的图像进行颜色空间的标准化校正，如采用Gamma校正算法。

2)统计感兴趣区域图像的每一个像素的梯度(包括大小和方向)，并统计每一个cell的梯度直方图形成每一个cell的descrip。

3)将图像内所有block的HOG特征串联起来，形成最终的特征分类向量。局部车辆HOG的统计特征如图5所示。

(a)车的图像

在交通环境中对车辆进行检测实质上是一个二分类的过程，就是对环境中的车辆和非车辆进行区分。本文采用支持向量机(SVM)对车辆和非车辆目标进行分类。基于SVM的车辆分类器采用离线训练、在线识别的方式，分类器使用前需要通过大量的车辆样本和非车辆样本进行训练。本文的训练样本包括车辆样本和非车辆样本各10 000张。整个训练样本的数据来源由两部分组成：一部分是来源于KITTI和Oxford Robot cars数据集，另一部分来源于实车采集数据。其中自采集的车辆和非车辆样本分别为3 700张和3 450张。

对获得的样本通常需要图像增强和归一化处理，然后基于Matlab机器学习工具箱搭建SVM分类器对模型进行训练，选取80%的数据作为训练样本，10%的数据作为验证样本，10%的数据作为测试样本。其训练结果如图6所示。

图6 网络训练过程

由图6可知，随着网络训练周期的增加，模型的误差逐渐下降并趋于稳定，在15次迭代后第一次达到误差要求的精度0.01。为了测试基于雷达和相机车辆检测算法的效果，用新的数据对模型进行验证，部分测试验证结果如图7所示。

图7 车辆检测结果

从图7可以看出，在高速公路上共有3个类型的车：小轿车、SUV、大客车。本文的方法成功识别出了前方所有车辆，并给出了回归边框。实验结果表明该方法对车辆检测的准确率约为93%，单帧数据的处理时间约为42 ms，满足车辆检测对实时性和准确性的要求。

4 结束语

为了提高智能客车前方车辆检测的实时性和准确性，本文提出了一种基于毫米波雷达与机器视觉融合的前方车辆检测方法，首先利用雷达的初识别信号快速定位图像识别感兴趣区域，对感兴趣区域内的图像采用HOG特征与SVM相结合的方法对车辆进行验证，完成车辆的检测与定位。实验结果表明该方法满足车辆检测对于实时性和准确性的要求。