低秩表示与深度学习结合的裂缝检测与样本生成方法

赵旭辉,谢梦洁,杨 飚,杨 刚,高 智

1.武汉大学遥感信息工程学院,湖北 武汉 430079; 2.广州市高速公路有限公司,广东 广州 510030; 3.中交路桥建设有限公司,北京 101107

1 裂缝检测研究背景与现状

随着社会的发展,大量新建的大型桥梁、高速路网等基础设施显著提升了人民生活水平。然而随着大型基础设施数量的不断增加,对其进行智能化状态巡检与健康养护成了人们关注的问题。这其中裂缝识别、检测、测绘占有重要位置,是发现安全隐患的有效手段。为实现智能、高效的道路裂缝检测,一方面交通运输管理部门投入了大量财力,另一方面许多学者也开展了大量研究[1-4]。不仅如此,随着近年来无人驾驶的飞速发展[5-6],裂缝检测与测绘也受到越来越多的关注。对无人驾驶领域而言,智能车辆对道路健康状态有较高需求;对基础设施巡检领域而言,智能车辆也具有辅助实现智能裂缝检测、提升工作效率的潜力。尽管相关研究很多,且裂缝检测任务“看起来”也较简单,但实际应用中仍存在许多困难与挑战。这些挑战主要源于裂缝和路面背景的多样性与复杂性,概括为以下3点:①不同场景下的裂缝在外观上有较大差异,难以对其统一描述;②裂缝与路面背景在颜色、纹理等方面具有较强相似性,导致难以区分;③裂缝检测还受许多外部因素(如车辙、水渍、阴影等)干扰。

因此,稳定高效且具有良好泛化性的自动裂缝检测是目前学术界和工业界关注的焦点。本文将现有裂缝检测方法分为“基于三维数据”和“基于二维影像”两类。基于三维数据的方法主要依靠三维信息实现裂缝检测,常见获取三维信息的传感器包括LiDAR[7-9]、结构光[10-12]、全息成像仪[13]、双目相机[14-16]等。与之对应,基于二维影像的方法通常依靠线阵或者面阵相机[17-19]获取视觉信息,并利用其中潜在的像素灰度变化或局部特征实现裂缝检测。一般而言,基于三维数据的方法比基于二维影像的方法更加稳健。其原因在于从三维数据中可直接地获得更可靠、不易受外部因素干扰的几何信息,但代价是更高的设备购买、使用与维护成本。为最大限度发挥视觉信息价值,本文关注二维影像数据,并在此基础上提出低秩表示与深度学习结合的道路裂缝检测与样本生成方法。

在过去几十年中,许多学者探索并尝试了大量基于视觉特征的路面裂缝检测方法。早期工作通常关注于低层次像素级灰度特征[20-23],并结合阈值方法实现裂缝与背景的分割[24-26]。此类基于灰度阈值的方法在光照控制良好且背景一致的场景中有较好表现,但在复杂场景中表现相对较差。随着影像处理技术的不断发展,许多学者尝试使用更复杂的方法挖掘更高层次的信息或结构约束,如形态学操作[27]、特定滤波器[28-30]、局部特征[18,31]、域变换[32-33]、纹理分析与显著性分析[34-36]等。此外,还有学者尝试从最短路径选择[37-42]、轮廓追踪[43-44]、影像分类[45-49]等不同理论框架对裂缝检测任务进行建模。尽管各种方法在各自数据上有良好表现,但在实际复杂场景中仍存在诸多问题。导致这一现象的核心原因在于这些方法多数对裂缝或路面背景有过强的先验假设。

近年来,受深度卷积神经网络在各类视觉任务中的出色表现,也有研究者将其应用在裂缝检测领域并在测试数据上获得了不错的效果[50-56]。有些学者将裂缝检测作为分类任务,采用多特征提取与融合[51]、贝叶斯融合策略[56]等设计网络结构实现目标。也有学者其作为语义分割任务,融合SegNet和层级策略[52]、基于U-Net框架[57]、结合注意力机制[58]等提出多种裂缝检测方法。不仅如此,还有学者从目标检测的角度认识裂缝检测,基于经典目标检测框架YoLoV2,提出裂缝检测方法[55]。尽管许多学者都尝试从不同角度提出了解决方案,但现有基于深度学习的方法依然存在问题。一方面,对问题的不同思路有不同的特性,如分类网络对于复杂背景效果不佳,而目标检测网络则精度难以满足需求。另一方面,深度学习与生俱来的“数据驱动”属性也在一定程度上阻碍了此类方法在实际场景中的广泛应用,具体体现在两个方面:一是大量、高质量的样本制作(正样本和负样本)十分困难、昂贵且耗时耗力,进而导致目前可用于训练的裂缝数据集过少;二是现有裂缝识别网络泛化性普遍不高,无法在变化较大、复杂的实际场景中有稳定表现。

为克服上述挑战与现有方法局限性,本文提出低秩表示与深度学习结合的桥梁道路裂缝检测与样本自动生成方法。低秩表示(low rank representation,LRR)可以从批量数据中高效地检测出异常,且无须对前景或者背景复杂的假设。其作为一种数据“自表达”手段,无论路面影像如何复杂,只要序列中各影像间的模式一致就可以容易地实现裂缝检测。因此,本文首先使用低秩表示找出影像序列中包含裂缝的影像,并通过后处理确定裂缝像素级掩膜。通过以上步骤可获取大量正样本(像素级裂缝标注影像)和负样本(无裂缝路面影像),进而可生成高质量样本数据集。进一步,本文将裂缝检测建模为影像语义分割任务,遵循编码器-解码器架构提取多层级特征(低层级灰度特征与高层级语义信息),并使用空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)获得更大感受野。得益于生成的高质量数据集和精心设计的结构,可训练出识别能力强且泛化性良好的裂缝检测网络。在大量不同路面样本上的试验证明了本文方法在精度与自动化程度方面的优越性。

2 裂缝检测框架的设计

本节主要介绍本文方法的细节,包括低秩表示裂缝检测、后处理与样本生成、深度学习裂缝检测3部分,主要流程如图1所示。

图1 本文方法主要流程

2.1 低秩表示裂缝检测

秩是矩阵基本性质之一,通过矩阵的秩可挖掘出数据中蕴含的潜在信息。在实际道路巡检过程中可获得许多影像序列,而其中蕴含丰富、有助于裂缝检测的潜在信息。通常有裂缝影像在序列中只占据很小比例,同时,裂缝也只占据影像中很少一部分。因此,裂缝在此类数据中具有天然的稀疏性,本文自然地将低秩表示方法引入裂缝检测,如图2所示。

图2 基于低秩表示的序列影像裂缝检测

本文将影像中的裂缝作为稀疏部分,将裂缝检测建模为一个低秩表示问题。假设有一个包含n张影像I1,I2,…,In的序列,w、h分别为影像的长和宽。对于每张影像,按列将其降维成一个一维向量(本文把此操作定义为vec())。对于一个影像序列,可得到多个一维向量,将其堆叠起来,形成一个超高维矩阵D(w×h行,n列)。基于前文叙述,矩阵D应具备潜在的低秩属性,进一步可将其分解为低秩矩阵L和稀疏矩阵S的组合

D=[vec(I1)|vec(I2)|…|vec(In)]=L+S

(1)

若影像中的裂缝可与路面背景很好地分离,低秩矩阵L应具有最小秩,且可根据式(2)通过优化求得

(2)

式中,核范数用于构造低秩约束,L1范数用于近似稀疏部分中的非零元素。λ为调整低秩与稀疏分解权重的参数。式(2)的求解难点在于其非线性约束D=L+S,但可利用ALM方法线性化约束,并不断迭代优化。低秩表示可有效抑制路面复杂背景(如不均匀光照等)并突出裂缝,对其稀疏部分进一步处理便可得到二值掩膜。

2.2 后处理与样本生成

稀疏影像后处理主要包括稀疏影像阈值化和掩膜裂缝判别两个阶段,如图3所示。在此基础上对裂缝样本进行分类,最终可构造用于网络训练的裂缝数据集。

图3 低秩表示后处理主要流程

2.2.1 稀疏影像阈值化

阈值化阶段主要包含灰度重赋值、灰度拉伸、自适应二值化和噪声去除4个步骤。在灰度重赋值部分,首先统计稀疏影像的灰度分布直方图并计算灰度众数Gm,然后对图像中的每个像素按式(3)与灰度众数Gm比较并重新赋值

(3)

灰度重赋值可有效抑制比灰度众数Gm更亮的像素,有利于灰度拉伸。本文采用百分比线性灰度拉伸方法消除极端像素值影响。具体而言,根据高斯分布,笔者认为在2σ范围内可较好表达绝大部分信息,因此将灰度分布直方图首尾两端各2%的像素丢弃。

经过灰度重赋值和拉伸,可得到增强后且接近二值掩膜的稀疏影像,本文在此基础上进行二值化和噪声去除。对于稍宽的条带状裂缝,本文使用OTSU阈值法及中值滤波二值化并过滤噪声。对于较细的线状裂缝,本文设计一种基于两次二值化和位操作的策略,其目的在于滤除噪声的同时尽可能保留线状裂缝微小的纹理信息。具体而言,通过改变二值化阈值,对稀疏影像同时进行宽松和严格的二值化。宽松二值化结果可基本覆盖所有裂缝范围,但可能存在较多噪声;严格二值化结果可能会损失部分裂缝细节,但保留下来的像素大概率属于裂缝。因此,对膨胀后的严格二值化掩膜与宽松二值化结果进行位操作,可在不滤波情况下得到去除噪声但又保留细节的裂缝二值掩膜。

2.2.2 裂缝判别

尽管阈值化操作可得到初步二值掩膜,但仅利用灰度难以获得可靠结果。一些在灰度上与裂缝相似的物体可能被判别为裂缝,如暗色车辙、阴影等。因此,本文进一步基于几何特征对二值掩膜中的裂缝进行判别与过滤,提出一种基于多特征和加权投票的裂缝判别策略。首先在上一步得到的二值掩膜中搜索轮廓并提取骨架线,如图4中黑色和白色虚线所示。

图4 顾及几何约束的裂缝判别

进一步,在提取的骨架线上以固定间隔采样n个点(P1,P2,…,Pn,图4中蓝色点),并基于此构建一个完全图。然后使用Kruskal算法寻找图中的最小旋转树,并将这个联通所有节点且长度最短的路径作为最优路径(图4中蓝色线所示)。对骨架线中的每一段,寻找其中垂线(l1,l2,…,ln-1,图4中黄色线),并寻找其与外轮廓两个交点(图4中黄色点)之间的距离(图4中红色线),将此距离作为该段裂缝的宽度wi。对包含n个采样点的待判别裂缝区域,按式(4)计算其长度IL、宽度IW及宽度方差IV

(4)

式中,median(·)表示求取骨架线的宽度中值;wm表示所有线段宽度wi的平均宽度,i=1,2,…,n-1。根据实际应用需求与规则,本文认为足够长度是后续裂缝判别的重要前提:若骨架线长度IL大于给定阈值TL,即认为它可能是个裂缝,进入后续判别流程。在加权投票部分,本文依据以下选定几何指标:①宽度IW;②宽度方差IV;③最小外接矩形长宽比IA(反映裂缝整体形状);④裂缝面积与其最小外接矩形面积之比IR(反映区域与矩形的相似性);⑤裂缝周长平方与其面积之比ID(反映区域与圆的相似性)。IA、IR、ID利用式(5)计算

(5)

式中,WR、HR、SR为待选区域最小外接矩形的宽、高和面积;PC、SC为待选裂缝区域周长和面积。最终评价得分JS由式(6)计算

JS=αI(IW≤TW)+βI(IV≤TV)+γI(IA≥TA)+δI(IR≤TR)+εI(ID≥TD)

(6)

式中,α、β、γ、δ、ε为打分权重;TW、TV、TA、TR、TD为相应阈值;Ⅱ(·)为符号函数。若某个待选区域最终得分JS高于给定阈值TS,就将其判别为裂缝。

2.2.3 样本与数据集生成

通过低秩表示与后处理,可高效获取大量像素级裂缝掩膜(正样本和负样本)。相比于人工标注,这种方式可显著提升样本生成效率且无须人工干预。此外,相比于现有公开裂缝数据集中较为直接的数据组织方式,受自动驾驶和SLAM领域经典数据集(如KITTI、EuRoC)启发,本文采用“影像+元数据”形式灵活组织样本。在数据集中,每个样本都包含原始影像(以JPEG格式存储)、像素级掩膜(以PNG格式存储)、元数据文件(以XML格式存储)。元数据文件记录影像和裂缝相关的多种属性,如裂缝个数、场景难度、裂缝类型和包围框等。同时也开发了图形化工具,方便根据不同属性重新组织数据。

2.3 深度学习裂缝检测

尽管低秩表示可有效识别大部分裂缝,但在某些困难场景中依然表现不够稳健。为更好应对各类实际场景,在由低秩表示生成的大量高质量样本基础上,本文从语义分割角度设计端到端的路面裂缝检测网络。相比于部分工作[55]将裂缝检测作为目标检测任务,本文认为将其作为图像语义分割任务更合理。首先,目标检测通常只能给出物体包围框,但语义分割可给出像素级分割掩膜。其次,不同裂缝在灰度、形状及尺寸上均差异较大,难以将它们识别为某种具有类似外观的特定目标。最后,随着计算机视觉领域快速发展,基于深度学习的语义分割取得了巨大进步,如基于上下文信息的语义分割网络DeepLabV3+[40]系列等。受此启发,本文一方面通过融合低层和高层特征来挖掘裂缝与背景间深层次模式,另一方面通过不同尺度空洞卷积扩大感受野以保留细节。网络采用编码器-解码器结构,如图5所示。

图5 本文提出的裂缝检测网络

在编码器部分,本文同时使用低层次和高层次特征提取器描述复杂多样的裂缝与路面背景。低层次特征提取器可保留大量对裂缝检测有价值的全局信息,如背景纹理、灰度模式等,因此本文选择ResNet50[41]作为骨干网络。进一步,为保留足够全局信息,本文融合第1层和第2层卷积结果,并设计一个包含64通道的1×1卷积,最终得到低层次特征图。高层次特征提取器主要挖掘影像中裂缝的深层模式及理解语义信息。本文采用ResNet50中完整的5个卷积层,每个卷积层都包含不同bottleneck模块。此外,在第5个卷积层采用膨胀率为2的空洞卷积,以获得更大感受野。然后利用ASPP模块对来自前5个卷积层的特征图进行融合,获得影像中多尺度的上下文信息。具体而言,本文使用大小为3×3且带不同空洞率的卷积核。ASPP模块由1、6、12、18卷积层和池化层组成。最终高层次特征提取器得到256维特征图,并上采样到和低层次特征图相同尺寸。在解码器部分,本文融合低层次和高层次特征图,实现端到端的像素级语义分割。首先,通过一个3×3卷积运算对低层次和高层次两个特征图进行融合操作,进一步利用一个1×1卷积对该特征图进行降维,并将降维后的特征图上采样到和输入影像相同尺寸。最后,使用Softmax正则化对特征图进行分类,得到预测的像素级裂缝掩膜。

相比于传统基于人工标注、模型训练模式,本文创新地提出一种自动化裂缝样本生成方法,并基于此生成了大量高质量道路裂缝样本。基于自动生成的裂缝样本,从影像语义分割角度设计了一种裂缝检测网络。与现有深度学习裂缝检测网络不同的是,使用多特征融合策略实现对于裂缝特征的多尺度描述,同时结合空洞卷积同时感知局部和全局的信息,为准确检测提供保证。大量试验显示,本文设计的网络结构在不同类型的裂缝样本上都具有良好的裂缝特征描述与泛化性能。

3 试验与分析

为准确、客观验证本文方法的有效性和优越性,将其与现有代表性方法(传统方法CrackTree、CrackIT、深度学习方法FPN)在多个公开数据集(包含水泥、沥青路面)上进行对比与评价,重点分析裂缝判别精度及裂缝范围识别精度。不仅如此,本文利用专业道路巡检车真实采集了上千张影像,并基于此进一步测试各方法实际表现。大量试验验证了本文方法的优越性和创新性。

3.1 试验数据

本文收集并整理了现有代表性公开道路裂缝数据集:CrackTree(D-CT)[42]包含206张路面影像,提供像素级标注但没有裂缝宽度,覆盖阴影、低对比度等困难场景;CrackForest(D-CF)[47]包含118张影像,拍摄地点为北京,提供人工标注的裂缝轮廓;GAPsV2(D-GAP2)[54]包含2468张影像,覆盖裂缝、坑洞、修补带等多种路面缺陷,所有缺陷提供包围框作为真值;CRACK500(D-CK500)[51]包含500张像素级标注影像,拍摄地点为美国天普大学;本文低秩表示生成的数据集(D-Ours)包含9079张由专业路面检测车拍摄的影像,涵盖由简单到困难各类场景,对每个样本,同时提供像素掩膜和包围框真值标注。

3.2 评价指标

本文认为完整的裂缝检测应包含裂缝判别与裂缝识别两个方面。裂缝判别是指判别某张影像中是否包含裂缝,给出是或否的结果;裂缝识别则是在影像中划分出像素级裂缝范围。本文分别统计TP、FP、TN、FN,并按式(7)计算Precision、Recall和F1值,如下

(7)

式中,ω是调节Precision和Recall的权重。本文将其设为1,计算F1值。

3.3 对比方法

3.4 试验结果

3.4.1 裂缝判别精度

由于对比方法缺乏明确的裂缝判别策略,本文将空白掩膜或掩膜中裂缝像素少于一定阈值的图像视为无裂缝图像,相关裂缝判别结果与对比汇总于表1,每个数据集上最好的结果均加粗表示。可以看到,对比的方法在除本文数据集之外的其他数据集上均有较高F1值。M-CI和M-CF方法甚至分别在D-CF和D-CT数据集上取得了100%的F1值。在本文数据集(D-Ours)上,传统方法(M-CI和M-CF)的F1值均值约为58.80%。其主要原因为本文数据集包含较暗及噪声较大的困难样本,这给基于统计直方图和手工设计特征的传统方法带来了巨大挑战。以M-CI方法为例,许多噪声像素被归类为裂缝,进而导致整个图像被视为裂缝图像,最终识别性能显著下降。此外,另一个因素是在使用的其他数据集中裂缝样本占比较高。因此,尽管在很多无裂缝影像上错误地虚检出裂缝,但因为此类样本数量较少,在一定程度上削弱了这种负面影响。深度学习方法M-FPN由于对裂缝特征的描述能力较强,相比于比传统方法获得了更高F1值。但M-FPN方法网络结构相对简单,导致其泛化能力较弱,因此该方法在本文数据集上效果并不理想。作为对比,尽管本文网络仅在提出的数据集上进行训练,但依然在所有测试数据上取得优异表现,展现了较好的泛化性。本文方法甚至在D-CT、D-CF和D-CK500数据集上达到100%的F1值。主要有两方面原因:在数据层面,相比于其他裂缝数据集,本文数据集在数量上有绝对优势,保证了样本的充足性。此外,数据集包含丰富的场景和不同难度的样本,涵盖了常见的路面种类并包含了多种属性,为数据的多样性提供了支撑,进一步保证了网络的泛化性。在网络设计层面,精心设计的低层次和高层次特征提取结构使得网络能从多维度理解裂缝,保证了对其识别的可靠性。需要说明的是,裂缝判别关注图像级别结果而非像素级别结果,某种方法可能因为更倾向于把噪声识别为裂缝而获得较好的判别结果。

表1 不同方法的裂缝判别与识别表现(F1值)对比

3.4.2 裂缝识别精度

表1汇总了本文与对比方法的裂缝识别结果,每个数据集上最好的结果均加粗表示。总体而言,不同方法在不同数据集上的识别效果差异较大,其主要是由于不同算法的能力差异及数据集的难易程度导致。尽管如此,本文方法依然在所有测试数据集上取得最好的识别表现。对于传统方法(M-CI和M-CF),其识别精度受测试数据影响较大,表现不够稳定。他们在某些数据集上表现良好,但在不熟悉或困难样本上表现不佳。例如,M-CF方法在D-CF数据集上的F1值为85.72%,但在D-GAP2数据集上的F1值仅为34.98%。这个现象进一步表明基于传统手工特征的方法在与设计场景相似的数据集上表现良好,但由于裂缝特征提取能力有限,在复杂场景中往往表现较差,并且现有大部分裂缝检测方法并不顾及输入影像内容,而是假设输入影像一定存在裂缝进而检测。这种策略导致当输入影像不包含裂缝时,由于其本身特征提取能力不足,容易出现误检,造成自动化水平和性能的下降,如传统方法(M-CI和M-CF)在D-GAP2和D-Ours数据集中的非裂缝图像上都有较多误检,导致整体性能下降。而在实际生产中,这种情况是十分常见的。对于拍摄的一段道路检测序列,笔者无法提前知道哪些帧包含裂缝。若算法不能自动、准确地从此类序列中准确检测出裂缝,其对实际生产价值会大打折扣。因此笔者认为,在裂缝检测任务中,对于非裂缝影像的准确识别同样十分重要。与传统方法(M-CI和M-CF)相比,深度学习方法M-FPN在D-GAP2和D-CK500数据集上识别效果有显著提升,这也进一步证明了深度学习方法具备更好的特征提取与描述能力。然而,在外观与D-CK500数据集差异较大的数据集(如D-CF)上,由于其网络对特征学习的不充分以及不足的泛化性,F1值急剧下降至43.56%。此外,M-FPN方法的输出为概率预测图而非二值掩膜。因此其输出结果还需进一步处理,但此过程会降低掩膜精度,进而导致该方法在所有数据集上的F1值都较低。对于本文方法,在本文数据集上取得97.77%的F1值,在其他数据集上也取得了最好的识别效果。与其他方法相比,本文方法在所有测试数据集上均具有稳定的性能和良好的泛化性。这主要得益于本文从真实生产环境中制作的包含大量样本、涵盖丰富场景的数据集,提供了数据层面的保证。此外,在网络模型设计时,利用空洞卷积扩大感受野,同时获得了局部和全局的信息,也为对裂缝检测提供了更加准确的描述。本文对比方法在有裂缝和无裂缝样本上的识别结果对比如图6所示。

图6 本文方法与对比方法在各种裂缝数据集上的效果对比

3.4.3 消融试验

为验证本文提出的融合低秩表示和深度学习的裂缝检测方法效果,笔者进行了消融试验。首先在测试数据集上分别使用低秩方法和深度网络进行裂缝检测,然后再联合使用低秩表示和深度学习进行测试,以验证本文方法两大组成部分对于最终结果的贡献,比较结果见表2。

表2 低秩表示裂缝检测和深度学习裂缝检测效果对比

相比于LRR方法,DL方法表现更优。这种提升主要有两方面因素:一是由于LRR提供的相对较好的裂缝数据,使得网络有丰富的学习样本;二是深度学习网络特征提取能力更强,对于裂缝有更强的识别能力。而将两者结合起来以后,裂缝检测效果进一步提升。因此,上述消融试验可证明LRR方法对于深度学习的贡献以及深度网络强大的检测能力,也证明了本文将两者结合起来实现自动裂缝样本生成、网络学习、检测识别的可能性与可靠性。根据文献调研,本文是相关领域内首次将传统方法与深度学习方法紧密结合,进而实现全流程、高精度裂缝检测的工作。

4 结 论

道路裂缝检测作为道路巡检的重要组成部分,在潜在病害发现、健康状态诊断等方面扮演着十分重要的角色。对道路裂缝高效、准确地检测与测绘考验着各种检测车辆和算法的能力,但另一方面越来越智能的软硬件也给高效裂缝检测带来了新的可能。在这样的背景下,本文提出低秩表示与深度学习结合的两阶段桥梁路面裂缝检测与样本生成方法。在第1阶段,利用低秩表示挖掘影像序列中对裂缝检测有价值的潜在信息,并通过后处理得到具有像素级标注的正负裂缝样本。在第2阶段,从语义分割角度提出一种裂缝检测网络,并利用第1阶段生成的高质量样本进行训练。与低秩表示相比,深度学习在困难样本上具有更好表现。大量试验表明,本文提出的裂缝检测网络具有较强的性能和良好的泛化能力。因此,除了桥梁,本文方法也可广泛应用于铁路、隧道、水坝等其他场景的裂缝检测与测绘工作。由于有限的时间,本文也存在一些不足之处。裂缝判别部分的阈值大部分通过大量试验获得,在某些特殊场景的数据中,可能会不合适。笔者工作的未来研究方向包括:进一步挖掘低秩表示在自动样本生成中的潜力,制作更大、更高质量的数据集并公开;在更多的数据集上和更多的方法进行对比测试,进一步验证方法的可靠性;裂缝检测网络的轻量化以及在一些智能无人平台(如无人机等)的部署,实现实时裂缝检测。