基于机器视觉的路面坑槽喷补路径规划技术研究*

李超帆 王朋辉

(长安大学公路养护装备国家工程实验室 西安 710064)

国内外对于路面智能化养护方面的技术研究主要集中于路面养护决策制定及道路管理方面的智能化研究，利用智能的检测系统对道路的实时信息进行精确地收集和不断地更新，比如冰雪、大雾、特定的道路病害等信息的收集更新；通过构建信息化的道路养护体系，从而实现道路的高品质智能化养护[1-5]。

然而，特定路面病害的智能化修补作业技术尚不成熟，目前大部分研究工作集中于裂缝类病害的智能化修补[6-9]，并已经推出了多种裂缝智能化修补样机，该技术主要经历了4个阶段的发展过程：CMU试验样机阶段、CMU-UT场地样机阶段、ARMM原型机和APCS原型机阶段。路面裂缝智能化修补的发展历程均离不开机器视觉技术，并且机器视觉技术的应用比重越来越大，这可以为坑槽的智能化修补提供一些参考[10]。

对于路面坑槽的修补，不仅仅要求修补过后的路面有良好的修补效果，还要求在某些特定的情况下，路面修补工序的快速完成，以保证路面能够尽快恢复正常使用，保证交通通畅开放，而喷射式修补方法就是一种在满足高效快速要求的同时，具有绿色、经济等优点的方法，其修补现场图见图1所示。然而，受现有的喷补车类型(拖挂型和底盘安装型)限制，需要在人力操作下才能正常运行，比如拖挂型喷补车操作员需要在恶劣的环境下进行高强度的劳动作业，半自动修补车虽然改善了操作环境，但是驾驶员的视野受到很大的限制，即使有监控辅助也很难全面地观察作业过程，很难实现合理高效地对修补过程做出决策。

图1 喷射式修补法坑槽修补过程现场图

综上述，目前的喷射式坑槽修补车在路面养护时，从坑槽的识别到修补作业路径规划都离不开人工监控和工作经验干预，对集料堆积模型、集料的喷射特性和喷补路径规划都缺乏分析。不同的操作人员受自身经验和不同环境的影响，会导致参差不齐的坑槽喷补结果。

为了避免环境因素和人为因素对坑槽整体修补质量的影响，本文对基于视觉的喷补路径规划技术进行研究。研究中采用kinect相机采集路面深度图像来提取坑槽病害的三维信息，基于深度图像规划喷补路径以自动修补时，有2个问题亟待解决：①喷补前处理相关问题；②规划喷补路径。其中，喷补前处理相关问题包括修补平台调平和坑槽定位及路面深度计算；喷补路径规划包括待修补切片获取和切片内的修补路径规划。这两个问题的解决有助于均匀合理的布置喷补路径，保证喷补路径不超出坑槽边界，并提高坑槽的修补平整度。

1 基于视觉的路面坑槽喷补前处理

1.1 调平修补平台

调平修补平台可将相平面平行于路面采集深度图像，这样采集的深度图像不必进行三维旋转操作即可直接切片来规划修补路径，此外，调平平台还可将修补料垂直喷入坑槽，有益于提高修补平整度。在对修补平台进行调平作业时，参考RANSAC平面拟合，以差值最小化思想为基础，通过有序调节各个支腿的升降来调整平台，其原理见图2，具体步骤如下。

图2 差值最小化逼近调平原理图

步骤1。利用kinect采集路面深度图像，计算最大深度与最小深度的差值L0。

步骤2。正向调节支腿1的高度，采集深度图像并计算其深度差值L11，之后调节支腿回位。相似的，反向等量调节支腿1的高度，采集深度图像后计算深度差值L12，之后再次将支腿调节回位。对比L11和L12的大小，取两者中较小的值，记为L1，并记录调节方向。

步骤3。将上一步骤方法用于支腿2与支腿3，获取对应的深度差值L2、L3并记录支腿对应的调节方向。

步骤4。对比L0、L1、L2、L3，若L0最小，说明平台与路面平行，退出调平循环；若最小值存在于L1、L2、L3中，按照最小值相应的调节方向调节对应的支腿，并返回步骤1。

1.2 定位坑槽并计算路面深度

对于待修补坑槽定位，运动平台可带动深度相机遍历检测整个待修补的区域，待修补路面最大深度所在的位置被检测出即可。据此提出基于最大值查找的坑槽定位方法，其步骤如下。

步骤1。采集深度图像并进行降噪修复。

步骤2。求取深度图像最大值，以及最大值相应的位置。

步骤3。若喷嘴位置和最大值位置不同，则将喷嘴移动至最大值位置处，然后返回步骤1。若喷嘴位置和最大值位置重合，则坑槽定位结束。

定位坑槽之后，获取深度图像的最大深度和路面深度，路面和坑槽深度示意图见图3所示，通过式(1)来判断是否有待修补层。

图3 路面和坑槽深度示意图

(1)

式中：d为坑槽最大深度，mm；dp为路面平面深度，mm；δ为差值阈值。

2 基于视觉的坑槽喷补路径规划

修补平台调平后，对基于视觉的喷补路径规划进行研究。包括待修补切片获取和切片内的喷补路径规划。为了提高喷补的密实度和平整度，规划喷补路径时，应遵循区域优先、由深及浅、路径均匀布置的路径规划原则。下文待修补切片获取方法可保证区域优先、由深及浅的原则，切片内喷补路径规划方法可保证喷补路径均匀布置。

2.1 获取待修补切片

2种不同类型坑槽的切片剖面示意图见图4，为了提高算法对于不同类型的坑槽的通用性，采用双漫水填充方法获取各个坑槽的待修补切片，其步骤如下。

图4 2种坑槽切片剖面示意图

步骤1。采集坑槽深度图像并降噪修复，记为Iimg。

步骤2。以喷嘴所处位置为种子点，对图像Iimg漫水填充得到切片Snozzle。

步骤3。求取Snozzle的最深点并记录其位置lmax(x,y)。

步骤4。以lmax(x,y)为种子点，对图像Iimg进行第二次漫水填充，所得漫水区域即为坑槽的待修补切片Srepair。

2.2 规划切片内喷补路径

在切片轮廓的引导下，对待修补切片采用往返直线的方式进行喷补，其原理图见图5，其中，圆点表示喷补路径与待修补的切片外部轮廓的交点，星点表示为对直线喷补路径进行分段的拆分点。

图5 基于轮廓引导的往返直线路径规划原理图

由图5可见，按照轮廓逆时针顺序，在轮廓引导作用下，切片的喷补路径依次为喷补直线填充线和分段轮廓线，确保切片的喷补路径均匀合理地分布并位于坑槽边界内部。

求出轮廓的交点并进行交点间合理的配对是轮廓引导往返直线填充法的关键所在，配对时外轮廓上编号为奇数的交点和编号为偶数的交点进行配对，交点合理配对之后，按照轮廓引导往返直线填充法的要求，以轮廓逆时针的方向执行直线填充线和轮廓连接线路径的喷补，在执行规划好的喷补路径时，若直线填充线的2个端点都位于外围轮廓线上，就需要用拆分点对其进行拆分。按照这种流程，轮廓引导下采用往返直线填充法所规划的喷补路径能够形成闭环，并且不会超过坑槽的边界。在合理的喷补参数的配合下，直线填充线往返2次喷补可以确保喷补切片的平整度。

3 实验结果

本文所提方法适用于深度大于1 cm、直径大于10 cm的坑槽，这里选择典型的碗形和不规则形坑槽作为实验对象，其实物图见图6，图中红线是轮廓辅助线，目的是为了突出显示坑槽形状。

图6 碗形和不规则形坑槽

2种坑槽的喷补路径规划结果图见图7。

图7 碗形和不规则形坑槽的各切片喷补路径规划结果

图7中所示的中心部位的矩形点的位置为喷嘴的起始位置，另外一个矩形点表示待修补切片的喷补路径的初始点和终止点；往返直线填充线表示为实直线，位于直线上的圆点即为拆分往返直线填充线的“拆分点”；往返直线填充线之间的轮廓连接线为图中的虚线。从图7所示的规划后的喷补路径可知，无论是凸集形状的坑槽，还是凹集形坑槽，本文所提的双漫水填充算法不仅还可以准确查找到待修补切片，还可以在轮廓引导下采用往返直线填充法进行合理的路径规划。

2种坑槽喷补前后的路面平整度参数对比结果见表1。

表1 2种坑槽喷补前后的路面平整度对比 mm

由表1可见，坑槽喷补后路面和原路面之间的最大正差平均差值仅为0.25 mm，可以认为几乎不存在差异，这项数据说明了喷补后的坑槽区域几乎无过填充现象；喷补前后最大负差的平均差异为3.5 mm，且最大负差都大于原路面，这项数据说明喷补后坑槽存在欠填充现象。2种坑槽修补前后路面均方差之间的差异分别为1.44 mm和2.0 mm，平均差异为1.72 mm，此项的差异不大，说明喷补取得了良好的平整度，因此可以认为基于视觉的喷补路径规划方法对不同类型的坑槽具有适用性。此外，采用喷射式修补工艺时，本文所提方法适用于沥青混凝土路面，将喷射式修补工艺替换为浇筑水泥混凝土时，本文所提方法对于水泥混凝土路面的修补同样适用。

4 结语

坑槽喷补技术是一种关于路面坑槽养护的绿色、快速、高效的修补技术，但是现有的路面修补过程都是依靠人力操作完成的，环境因素和人为因素对整体喷补平整度产生的影响较大。本文对基于视觉的路面坑槽喷补路径规划问题进行了研究。

1)修补前处理方面，提出了调平修补平台、定位坑槽并计算路面深度的方法。其中，修补平台调平基于差值最小化思想实现；喷嘴定位基于最大深度查找实现。

2)修补路径规划方面，提出了获取切片的双漫水填充方法和基于轮廓引导规划切片内喷补路径的方法。其中双漫水填充方法针对深度图像连续执行了2次漫水填充操作；轮廓引导下采用往返直线填充法的关键技术在于求出轮廓的交点并将交点进行合理的配对，然后按照轮廓引导往返直线填充法的要求，以轮廓为引导按照逆时针的方向执行直线填充线和轮廓连接线路径的喷补。

3)碗形坑槽和不规则形坑槽的喷补路径规划和修补实验结果表明，本文所提方法对于凸集形和凹集形坑槽都具有适用性，可以合理均匀地将喷补路径布置于待修补切片内，提高坑槽喷补平整度和质量。