基于三维激光点云与全景图像的公路沿线设施特征提取技术研究

蔡泉华，严守靖，奚晨晨，魏金涛，孙团伟，胡绪泉

（1.浙江交投交通建设管理有限公司，杭州 310014；2.浙江省交通运输科学研究院，杭州 311305；3.浙江省道桥检测与养护技术研究重点实验室，杭州 311305）

公路沿线附属设施是公路资产的重要组成部分，主要通过人工拍照巡检的方式开展数据采集与处理，在数据处理过程中无法提取沿线设施的长、宽、高等特征信息，对公路沿线设施资产的管理造成较大的影响。

为提高公路沿线设施资产的数字化管理效率，提取沿线设施的尺寸特征，有研究成果开展了激光点云与影像融合配准技术研究。吴伟坊[1]、顾斌[2]通过三维激光扫描设备与光学相机，提出了一种将数字图像与激光点云数据进行配准融合的方法。杨长强等[3]研发了基于线阵CCD 相机与激光点云的数据融合方法，查陆九[4]采用三维激光雷达与视频影像装备，开展了移动测量的配准方法研究。同时，有大量的研究成果[5-8]聚焦于激光点云与影像的融合算法研究，李斯[9]通过对经典特征匹配方法的不足进行改进，将核Fisher 判别分析融入SIFT 算法中，改进了特征描述子生成的过程，提升了算法的鲁棒性，提高了点云与图像融合的自动化程度。冯志成[10]、黄志成[11]提出了一种基于多注意力机制的Li DAR 点云3D 目标检测方法，采用基于矩形核膨胀解决了邻域数据丢失的问题并完成了深度图像的稠密化，使用ICP 算法叠加相邻帧补充丢失的部分激光雷达水平扫描线数据。此外，也有研究成果显示[12-15]，通过融合激光点云与图像数据，建立目标物的三维模型，开展目标物的分类与识别。但对于目标物尺寸特征提取问题的研究较少。

针对公路沿线设施，从三维激光点云与全景图像融合原理出发，集成三维激光点云与全景相机，提取公路沿线设施的尺寸特征，并开展了检测速度对特征提取准确性的影响。

1 三维激光点云与全景图像融合

1.1 坐标系转换

三维激光点云与全景图像装备在工作时均采用独立的坐标系，为实现2 类数据的对齐与融合，拟采用WGS-84 大地坐标系为基准坐标系，通过计算全景相机、三维激光点云的相对位置，建立局部坐标系与基准坐标系的转换关系，并将全景影像的像素逐一映射到以WGS-84 为基准的坐标系上。而激光点云的数据则根据点云的经纬度信息，直接投影到WGS-84 大地坐标系上，从而实现了三维激光点云与全景图像的坐标系统，坐标系的转换如图1 所示。

图1 4 个坐标系之间的关系

1.2 激光点云与全景图像坐标融合

激光点云与全景图像的融合原理如下，假设OWXWYWZW为大地坐标系（WGS-84），OPOS-XPOSYPOSZPOS代表车载的坐标系，OS-XSYSZS表示全景相机坐标系，OLXLYLZL表示三维激光点云扫描坐标系。若激光扫描P点的时刻为tL，P点由激光扫描推算在OW-XWYWZW坐标系下的坐标为

假设全景相机拍摄P点的时刻为ts，设P点在OSXSYSZS坐标系下的坐标为[XSYSZS]T，P点由相机测量推算在OW-XWYWZW坐标系下的坐标为

因此，P点激光点云与全景图像坐标融合公式为

2 公路沿线设施巡检装备集成设计

根据激光点云与全景图像的坐标融合方法，集成三维激光电源设备、全景相机、高精定位器、距离编码器与惯导系统。其中，全景相机负责记录路面及安全设施影像资料，三维激光扫描仪用于扫描路面及沿线安全设施，GPS 定位器可接收GPS 全球卫星导航系统的信号，距离编码器用于记录巡检的里程信息，惯导系统主要记录巡检车辆的加速度、方位角、航向角等姿态信息。公路沿线设施巡检的装备组成见表1。各个传感器在同步控制器的控制下协同工作，共同完成公路沿线设施激光点云数据及影像数据的采集，其数据由工业计算机处理与存储。

表1 公路沿线巡检装备组成

各个模块通过电气控制系统和同步控制器进行协同工作。公路沿线设施巡检装备整体集成设计如图2 所示。

图2 公路沿线巡检装备集成设计

公路沿线设施巡检的全景图像如图3 所示，全景图像与激光点云融合的效果如图4 所示。

图4 全景图像与激光点云融合效果

3 车速对特征提取准确性的影响

3.1 低速条件下沿线设施尺寸特征提取

在低速条件下（40 km/h），通过公路沿线巡检装备对标志牌、监控箱、信号箱和广告牌4 类典型的交通安全设施进行扫描，利用三维激光点云和全景图像提取各类沿线设施的尺寸特征，如图5 所示，并与人工测量的参考值进行比较。

图5 低速条件下沿线设施特征提取

由图5 可以发现，在40 km/h 的低速条件下，标志牌和广告牌的测量值变化相对较大，而监控箱和信号箱的测量值变化相对较小。这是由于监控箱和信号箱尺寸相对较大，并且没有遮挡，激光点云和全景图像扫描相对较为精确。

3.2 高速条件下沿线设施尺寸特征提取

在高速条件下（70 km/h），通过公路沿线巡检装备对标志牌、监控箱、信号箱和广告牌4 类典型的交通安全设施进行扫描，利用三维激光点云和全景图像提取各类沿线设施的尺寸特征，如图6 所示，并与人工测量的参考值进行比较。

由图6 可以发现，在70 km/h 的高速条件下，标志牌、监控箱、信号箱和广告牌4 类交通安全设施的测量值变化幅度都有明显增加。这是由于检测速度增加后，三维激光点云扫描的密度在减小，导致尺寸特征提取的精度下降。

3.3 尺寸特征提取误差

为评价不同检测速度条件下沿线设施特征提取的效果，拟采用复现性误差、平均测量误差和最大测量误差3 个指标评价尺寸特性提取的效果。不同速度条件下尺寸特征提取误差分别见表2 和表3。

表2 40 km/h 条件下尺寸特征提取误差

表3 70 km/h 条件下尺寸特征提取误差

从复现性误差的角度看，40 km/h 和70 km/h 的速度差异对实验的复现性影响较小，复现性误差都控制在5%以内，表明公路沿线设施巡检装备测量的稳定性较好。就平均测量误差而言，随着车速的增加，平均测量误差呈现增大的趋势，速度越大，平均测量误差越大。广告牌的最大测量误差最高，这是由于广告牌容易出现遮挡、倾斜等现象，影响三维激光点云与全景相机的扫描。

4 结论

通过融合激光点云和全景图像，在不同检测速度条件下，开展提取公路沿线设施尺寸实验，分析了检测车速对尺寸提取准确性的影响，获得了以下结论。

1）公路沿线设施中，目标物存在遮挡、倾斜现象对尺寸特征提取的准确性影响较大，最大测量误差达到10 cm 以上。

2）公路沿线设施距离越远，点云扫描的间隔越大，尺寸特征提取的误差越大。

3）检测速度的增大，会导致激光点云的扫描间隔增大，尺寸特征提取的准确性下降。