基于多传感器融合的有轨电车障碍物入侵检测方法研究

李庆宇 高雍荐 靳陈琛 宣城颖 俞骏驰 袁森宏

摘要 有轨电车在运行过程中主要依靠驾驶员观察前方情况，但驾驶员容易产生视觉疲劳，影响行车安全。为改善这一状况，分析了有轨电车的运行特点，提出一种有轨电车障碍物入侵检测方案。基于多传感器信息融合技术，利用卡尔曼滤波将雷达和机器视觉检测的信息在时间和空间上融合，实现对轨行区前方障碍物的有效检测，提醒驾驶员及时采取措施，可有效降低事故发生率。

关键词 多传感器融合技术;雷达;机器视觉;障碍物检测

中图分类号 U482.1 文献标识码 A 文章编号 2096-8949（2022）07-0066-03

0 引言

城市轨道交通是全面开启建设社会主义现代化强国的重要支撑，是建设交通强国和智慧城市的重要组成部分[1]。城市轨道交通是当前能够缓解城市拥堵，同时又具备高效的出行效率和舒适性的最优选择之一。其中现代有轨电车由于造价相对便宜、技术难度低、载客量适中、乘客感受舒适，越来越受到居民青睐。

1 研究背景

目前我国有轨电车的建设大多都是利用现有的道路进行改造建设，因此有轨电车大多是混合路权和独立路权两种模式[2]。其中，混合路权的运营模式具有很大的安全隐患。在该模式下，道路相重叠或交叉，极易引发交通事故。而且仅仅依靠有轨电车驾驶员的肉眼观察，容易造成视觉疲劳，很难及时发现前方的障碍物，因此为了保证现代有轨电车的行车安全，障碍物的检测识别尤为重要。近年来，多传感器融合的方法越来越多地被研究学者使用[3]。原理就是利用多种传感器对目标进行检测和识别，从而得到目标的完整信息和特征[4]。该方法极大地提高了障碍物检测系统的鲁棒性[5]。

2 工作原理

2.1 总体设计方案

设计方案是一种面向有轨电车的多传感器融合障碍物入侵检测方案，主要包括雷达检测模块、机器视觉检测模块、雷达视频数据融合模块和危险信息警告模块等。将该障碍物入侵检测系统搭建在智能小车上，通过模拟有轨电车在行驶过程中日常遇到的情况，检测前方是否有障碍物，判断障碍物是否入侵轨道，从而及时给驾驶员提供前方出现障碍物的预警信息。障碍物入侵检测系统的工作流程如图1。

2.2 超声波雷达检测

假设超声波雷达传感器在有轨电车行驶过程中测得的渡越时间为t，已知超声波在介质中的传播速度为c，且传感器的发射部位T与接受部位R的距离远小于传感器与障碍物的距离D，那么在t时间内超声波发射的距离为2D：D=c*t/2。但因为有轨电车前方存在复杂的运行环境和各种各样的障碍物，雷达经常获取错误的数据包括空目标信息、静止目标信息和误检目标信息等。图2为有轨电车运营情况。超声波雷达探测的目标除行人之外还包含电线杆和马路隔离栏等。

在图2中设定一个坐标系，原点以雷达为中心，与轨道平行为Z轴，与轨道垂直且在车左侧为X轴。车辆前方区域内的目标坐标可表示为（x，z），（x，z），满足式（1）时，则认为目标在检测区域内。

（1）

式中，x0——X方向距离阈值;

z0——Z方向距离阈值。

因为有轨电车前方可能入侵的障碍物主要为车辆与行人，根据城市车辆和行人运动特点，大致能获得前方障碍物速度等信息，因此在同一个目标时间内的位移需要设定一个合理的阈值。根据电车正常运营时的情况，设定该阈值为1 m。当已知前方目标在前一帧中的详细数据时，如果在当前帧中某条数据与前一帧有效目标的位移距离小于1 m时，则有轨电车前方目标可能为障碍物并会对车辆产生威胁。反之，系统判断这条数据中前方目标不是障碍物。如判断结果为同一物体，说明前方目标一直存在并有可能威胁有轨电车的行驶安全。如判断结果为非同一物体且不一致次数超过阈值，表示前方探测到的目标已经不在车辆的监测范围内，因此对有轨电车不构成威胁，此时过滤原目标并筛选前方新目标，提高雷达检测效率和准确率。

2.3 机器视觉检测

图像处理系统对摄像头获取的信号进行运算来获得目标的特征信息，通过图像预处理技术，可以得到原始图像的边缘检测图，然后通过以下步骤实现对有轨电车前方疑似障碍物筛选。

（1）障碍物检测技术主要是为了辅助驾驶员在行驶过程中对前方道路的行驶情况进行有效预警，主要涉及的监测范围为轨道间及轨道周边区域，因此将边缘检测图像与检测窗口相叠加，掩膜得到障碍物检测识别感兴趣的区域。叠加原理如式（2）所示。

S（i，j）=R（i，j）&ROI （2）

式中，R（i，j）——原始的边缘检测图像;ROI——探测前方特定的监测区域，通过R（i，j）与ROI区域的逻辑运算，使得到的运算结果图像S（i，j）中只保留R（i，j）感兴趣区域的边缘检测信息。

（2）判断检测窗内的边缘检测图像边缘是否闭合。并将已经闭合的边缘认定为连接区域，进行填充，为下一步的筛选做准备。

（3）对第二步中已经填充好的连接区域进行面积、尺寸、占空比等统计量的篩选，筛选公式如下：

（3）

式中，——连接区域所占像素点的个数;

——连接区域外包围矩形高度;

——连接区域外包围矩形的宽度;

、、、、分别代表在根据机器视觉图像检测中出现的障碍物的形状特征规律得到的先验条件下设定的常量值。

当公式（3）同时满足时，得到的区域即为感兴趣障碍物检测区域。

2.4 雷达与机器视觉融合

卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。其原理是利用最小均方误差，通过多次递归运算获得状态的最优估计值。

采用超声波雷达和机器视觉这两种传感器对有轨电车前方入侵障碍物进行检测，利用卡尔曼滤波器根据雷达目标检测发送的信号、机器视觉检测目标发送的信号进行融合处理，计算每个目标的预测数据，并将预测的计算数据发送到危险信息警告模块，及时为驾驶员提供前方可能存在障碍物的报警信息。其中传感器获得的信息通过时间和空间上的融合来得到有效信息。

2.4.1 时间融合

不同类型的传感器在采集、传输数据到达系统的时间是不一致的，因此系统中采用线程同步将数据按照时间对齐，保证用于融合的数据不发生时间上的错位。系统通过同步机制获取与图像数据同一时刻的雷达数据一起送入缓存，当数据融合处理线程触发时，系统去缓存区抓取数据进行处理。

2.4.2 空间融合

空间融合的目的是将雷达探测到的有轨电车前方物体与图像中的物体对应起来，主要通过建立不同的坐标系之间的转换关系来实现。首先根据有轨电车与单个传感器之间的位置关系确定现实世界、摄像机、图像平面、像素坐标系之间的转换关系，再结合摄像机内、外部参数得到坐标系转换所需要的矩阵参数即可实现。

3 仿真平台

该系统采用树莓派作为开发平台，它是一款基于ARM的微型电脑主板，具有Python语言编程、OpenCV图像处理库，搭配硬件学习人工智能，可实现多种数据融合、物体检测识别、红外避障、语音播报等多种功能。

仿真装置由有轨电车交通模拟地图、智能小车等部件组成，如图3所示。在该试验平台的基础上结合Python，展开智能小车对前方障碍物检测试验。智能小车通过循迹模拟有轨电车在固定轨道上行驶，同一个直道周围有行人和小车，在行驶过程中对前方障碍物车辆和行人进行检测。验证智能小车对前方障礙物的检测情况。智能小车对前方障碍物检测情况如图4所示。

利用该仿真平台对50个测试样本图片进行测试，其中包括30个车辆样本和20个行人样本，测试结果如表1所示。通过一定的样本数据测试，验证了检测方法的可行性和准确性。

4 结语

我国现代有轨电车的建设多数是利用现有道路进行设计改造，因此，有轨电车与汽车或行人共享路权，路况变得极为复杂，而且驾驶员易产生视觉疲惫，交通事故发生率升高。该检测方法旨在从有轨电车运行环境出发，研究在混合路权运行条件下，向驾驶员在行驶过程中提供必要警示和辅助的障碍物入侵检测系统，可以提醒驾驶员前方可能出现威胁行车安全的障碍物，并及时采取措施避免交通事故的发生，从而保护国家和人民的生命财产安全。

参考文献

[1]梁浩. 现代有轨电车运行控制技术发展和展望[J]. 现代城市轨道交通， 2021（4）： 33-37.

[2]詹奇， 王钏文， 虞乾俪， 等. 应用于现代有轨电车的司机手动排路方案研究[J]. 铁路通信信号工程技术， 2020（4）： 76-78+91.

[3]陈学文， 陈华清， 裴月莹. 基于多特征融合的汽车先进辅助驾驶系统前方车辆检测方法[J]. 计算机应用， 2020（S1）： 185-188.

[4]徐雨亭. 基于头肩卷积特征的人体目标检测方法研究及应用[D]. 成都：电子科技大学， 2019.

[5]张勇， 王磊， 杨峥岭， 等. 基于多传感融合的有轨电车在途障碍物检测方法研究[J]. 现代城市轨道交通， 2021（2）： 22-25.