月表落石检测方法研究——基于梯度注入策略与结构驱动评价机制

胡云泽,李 杰,何 江,袁强强,郑 莉

(武汉大学 测绘学院,武汉 430079)

落石可以被描述为一个物理过程,滑坡、泥石流等均是生活中常见的落石现象。相比起日常生活中的落石现象,月表落石的独特性在于其覆盖范围较小,且彼此间较为独立,都是由单一岩石块产生的连锁反应。大众对月表落石的关注最早可以追溯到1966年传回的第一张月表高分影像[1]。在这个过程中,较大的岩石块从高处分离,迅速滚动、反弹和滑落到地形低处,并留下明显且深刻的轨迹[2]。作为一种普遍现象,落石能够发生在各类地质环境中,包括月球、火星和谷神星等。尽管每个行星的地质环境不尽相同,但这些环境中的落石都具有相对一致的地质特征,即均由巨石和滚落轨迹组成,这也是在遥感影像中识别落石动态位移的关键点。自2009年美国月球勘测轨道飞行器(LRO)进入月球轨道以来,LRO的窄角相机(NAC)连续获取了大量高分辨率的月表影像,很好地展现了小尺度地质目标的特征,这些特征对于研究落石的形成过程至关重要。落石的形成原因有很多[3],包括但不限于内部地质活动、外部小行星撞击以及太阳风暴等。因此,对月表落石开展分析,不仅有助于研究月球内外部地质活动的影响,还有利于深入了解月表地质环境和地貌变化,并为未来月球探测乃至月球基地建立等工作提供强有力的支持。

与撞击坑检测相类似,月表落石检测也经历了一个从手动到自动的过程。过去,行星遥感影像中地质目标的识别与定位主要依赖视觉辨别和人工标注,这种方式无疑是耗时且低效的。

近年来,随着深度学习的迅速发展,其已被成功应用到遥感影像处理领域中[4-5],为遥感影像的自动检测和目标识别提供了重要的技术支持。同时,通过月球轨道飞行器,持续且高频的月球探测工作产生了大量的月球影像数据集,其推动了计算机视觉算法在月表目标检测中的应用。RetinaNet作为单阶段目标检测算法,已被成功应用于月表落石检测[6],并自动绘制了第一张包含13.6万个目标的全月表落石地图[7]。但是,该算法对于影像标注精度的要求非常高,并容易受到噪声干扰。随着自注意力机制的发展,学者们逐渐将Transformer应用在计算机视觉任务中,并作为CNN的潜在替代品[8]。尽管Transformer架构在自然影像中取得了较好的效果,但从未应用于月球地质目标检测中。鉴于月球遥感影像与自然影像间存在异质性,基于Transformer的月表落石检测算法的有效性还有待验证。

考虑到落石影像多为灰度影像,且落石和背景的差异性不显著,因此文中考虑加入梯度算子来获得更准确的落石边缘信息。这种梯度注入策略将有助于挖掘更多的地质特征,同时落石和背景中其他干扰项将会得到有效区分,大大提升落石检测器性能。

与传统目标不同的是,巨石和轨迹的特征结合使得落石成为一种组合结构的地质目标。按照传统评价机制,如果预测框捕捉到较长的落石轨迹,那么它通常会比真值框大得多。此时,由于识别到的轨迹长度较长,IoU会远小于指定阈值,使得本身被正确识别的落石被误认为错检,进而可能会造成可视化结果与基于IoU计算的mAP指标相反。因此,为了实现可视化结果和定量评价指标间的一致性,文中提出了一种基于落石成功检测数目的全新评价机制。一旦成功同时检测到巨石和轨迹,就可以准确识别出落石,从而避免准确的落石检测结果被错误分类。

1 研究数据和预处理

本研究选用的影像均为高分辨率灰度影像,数据来源为公开数据集RMaM-2020[9]。该数据集包含从153张行星遥感影像中提取的2 822个落石标签,以用于训练和测试。其中,使用的月表落石数据来自窄角相机(搭载于月球勘测轨道飞行器上的NAC[10]),火星落石数据来自高分辨率图像试验相机(搭载于火星勘测轨道器上的HiRISE[11])。落石标签示例如图1所示。

图1 落石样本示例

为了增强训练模型的鲁棒性和泛化能力,本研究对所有的落石标签都进行了数据增强的预处理。为了增加数据集的大小,本研究将每个落石标签分别沿长边和短边,对称两次,同时将其以图像中心为旋转中心,分别旋转90°、180°和270°。剔除重复样本后,训练数据集扩张为原始大小的8倍。

2 方法和原理

目前,基于CNN和Transformer的方法均已广泛应用于自然影像,但只有基于CNN的单阶段检测算法成功应用于月表落石检测。尽管Transformer在自然影像中取得了较好的性能,但现有研究尚未将其引入月表落石检测。同时,考虑到行星遥感影像与地球遥感影像存在异质性,且落石与背景的区分不够明显。因此,如何补充提升Transformer架构,使其更好地应用于月表落石探测也是文中研究的关键。图2为文中提出的落石检测方法的总体框架。

图2 结合Transformer和梯度注入策略的月表落石检测方法总体框架

2.1 梯度注入策略

落石是一种具有特殊结构的组合目标,所以分析其边缘信息对于检测十分关键。同时,由于落石数据均为高分辨率灰度影像,其边缘特征一定程度上不能很好地与背景相区分,因此落石检测会受到背景噪声的影响。受边缘检测[12]启发,文中提出了一种基于梯度注入的落石检测策略。考虑到落石边缘包括直线轨迹和圆形巨石轮廓,研究选择Sobel算子和Prewitt算子进行梯度增强以突出其边缘。

文中提出的梯度注入策略,通过模拟方向卷积可以更好地提取落石边缘信息。Sobel算子和Prewitt算子都是离散微分算子,二者分别通过两个3×3掩膜计算水平和垂直方向上的近似导数值。唯一的区别在于,Sobel算子将“2”和“-2”的权重分配给水平掩码的第一和第三列的中心,以及垂直掩码的第一和第三行的中心。两种权重的算子有助于在落石检测中更好地增强影像中不同层次的信息,从而获得更准确的落石边缘特征信息。

最后,经梯度注入模块处理后,将增强后的特征与原始影像一同进行综合处理,得到最终用于训练的落石特征信息。

2.2 网络框架

文中所采用的基于Transformer的落石检测框架主要参考DEtection Transformer,整体由三部分组成。首先是通过卷积神经网络提取特征信息的主干网络(backbone),其次是Transformer经典的编码器(encoder)和解码器(decoder)结构,最后是简单的用于最终预测的前馈神经网络(FFN)。

主干网络部分结构较为简单,主要是用ResNet提取影像特征生成较低分辨率的激活图,并将其作为输入传递到Transformer的编码器。在编码器部分,每个编码器层都有统一且标准的结构,即由一个多头自注意力模块和一个前馈网络组成。由于变换器结构是不变的,所以用固定的位置编码进行补充,其也被添加到每个注意力层的输入中。解码器部分可以实现对多个对象的同时解码,输入时学习到的位置编码被视为对象查询,进而可以被解码器转化为输出,最后每个对象被两个前馈神经网络分别输出类别和位置坐标两项结果。基于上述原理,可以实现在影像全局中直接对各类目标进行推理。

2.3 实验方法对比

深度学习具有强大的表征能力,所以其被广泛应用于目标检测领域,并被证实是一种高效准确的检测手段。因此,文中选择将Transformer引入月表落石检测,并与RetinaNet[13](单阶段检测方法)和Faster R-CNN[14](双阶段检测方法)进行比较。这三类方法是目前主流的不同结构特点的目标检测模型,图3给出了三者的特点对比。

图3 3种目标检测模型特点对比

DETR(DEtection TRansformer)是一种经典的基于Transformer的目标检测模型。Transformer在自然语言处理(NLP)领域取得了巨大的成功,引起了学者们对其在计算机视觉中的应用的兴趣。DETR的亮点在于将注意力机制引入到目标检测中,通过结合CNN和Transformer机制实现了端到端的目标检测。在该方法中,无需预先确定区域或利用非极大值抑制即可删除重复的边界框。然而,与单阶段或双阶段检测方法相比,其训练所需的数据量是巨大的。

RetinaNet是一种单阶段目标检测模型,其通过密集采样对目标进行一步到位的分类和定位,因此它的训练过程要快速且简单得多。然而,与双阶段检测方法相比,它在训练速度上的提升会带来精度的下降,因为在训练过程中会遇到极端的样本不平衡问题。由于提取的背景样本数量较多,大量样本叠加在一起,即使相对权重较小,也会带来较大的精度损失。除此之外,RetinaNet在训练过程中想要达到最优状态是较为困难的。但值得一提的是,RetinaNet设计了一种损失函数Focal Loss,其通过给交叉熵损失分配指数权重,一定程度上削弱了样本不平衡问题。

不同于单阶段目标检测模型,Faster R-CNN首先在图像中生成候选区域,然后在第二阶段对其进行分类和定位。尽管这样的训练复杂且耗时,但它更适合检测多尺度的小物体,通常被作为实验中的对照组。

2.4 评价指标

本研究在月表落石测试集中统计了落石检测结果的真正样本(TP)、真负样本(TN)和假正样本(FP),并在此基础上计算了精度和召回率。精度(precision)是指目标检测器判断结果中预测争取的部分(TP)占预测结果(TP+FP)的比例。召回率(recall)是指目标检测器预测正确的部分(TP)占数据集中所有真值(TP+FN)的比例。召回率越高意味着目标检测器漏检的越少,可以在影像中发现更多感兴趣的目标。同时,文中还计算了F1分数,这是精度和召回率的调和平均值。

在目标检测中,全类平均精度(mAP)是较常见的用于衡量检测器性能的评价指标。AP表示精度—召回曲线下的面积。当mAP指标达到1.0时,通常认为该检测器是完美的。在目标检测评价体系中,mAP通常利用不同阈值下的交并比(IoU)进行计算。IoU等于真值实际区域与预测区域重合的面积比上二者整体所占面积[15],其通过比较真值与预测范围的空间重叠来衡量检测方法的准确性,计算方法如下:

(1)

其中,定义的阈值是用来确定检测所得目标是否为真的标准。当IoU大于阈值时,则认为是真正样本 (TP)。反之,当IoU小于该阈值时,则为假正样本(FP),即错检。由于小目标的特殊性,本研究将IoU的阈值设置为0.3。

由于落石是一种具有特殊结构的组合目标,所以识别到其轨迹的长度决定了预测框的范围。在该数据集中,研究发现由于标注中轨迹长度较短,导致真值实际区域中反映出的落石轨迹较短,从而使得真值实际区域较小。此时,倘若落石检测器能够更充分地反映轨迹长度、更准确地表征落石,那么预测区域将远大于参考真值的实际区域,其中图4(a)和(b)均以IoU为分析依据,图4(c)表示在新评价机制下如何判断是否成功检测到落石,如图4(a)和图4(b)所示。在这种情况下,IoU可能达不到所设定的阈值,这就会令部分本应视为真正样本的落石检测结果被误认为假正样本。

图4 不同评价指标的准则

基于上述分析,文中认为在落石检测中有必要对基于IoU的评价机制进行补充。因此,研究设计了一种基于落石成功检测数目(NoS)的新评价机制,该评价机制以落石结构为根本判定标准,将不受识别落石轨迹长度相关的预测框大小的影响。之后,通过基于落石结构的新评价机制下得到的落石成功探测数目,本研究进行了召回率、精度和F1分数的测算。成功检测到的落石应满足以下两个条件:①巨石的边界应完全在预测范围内,且在预测框内的相对位置与真值范围基本相同;②落石轨迹应反映在预测范围中,且方向与真值区域中的标注趋势一致,判别式如下:

(2)

(3)

本研究希望通过这种基于落石结构的新评价机制,实现可视化结果与定量指标的一致性。图4(c)提供了在不同情况下判断是否成功检测到落石的示例。白色实线表示真值标注的实际范围,彩色虚线模拟不同的落石检测结果。显然,只有情况(1)能够表达落石成功检测的结果。在情况(2)中,落石轨迹识别错误,原因在于对于轨迹的方向没有正确标注;在情况(3)中,一块没有轨迹信息的巨石被错误地视为落石。

综上所述,研究采用两种评价机制来定量评估落石检测器的性能。一个是基于IoU计算的mAP,另一个是基于所提出的NoS机制计算所得的精度(PrecisionNoS)、召回率(RecallNoS)和F1分数(F1 scoreNoS)。

3 实验结果和分析

3.1 实验设置

文中采用不同的样本设置策略来训练落石检测器,目的是通过结合不同目标检测器和样本设置策略来提升月表落石检测的有效性和准确性。表1列出了研究采用的样本训练类别。

表1 训练样本设置

在样本类别中,字母表示训练数据来源,数字表示该数据来源的样本占所有训练数据的百分比。每种样本设置策略下,文中均采用前文所提的3种目标检测模型进行分析,共构建了9个落石检测器。

之所以选择在训练中引入火星落石样本,是因为先前的研究中指出,加入一定量的异域行星落石数据参与训练,相比本地单域训练数据,可以很好地提高检测器性能[16]。值得一提的是,M90Ma10g指的是在M90Ma10的基础上,加入Sobel算子和Prewitt算子以提取梯度信息,获得更多的落石边缘特征。

无论选用何种检测器,参与训练的落石标签总数都控制在1 000个,并保证其被随机分为9比1,分别用于训练和验证。所有落石检测器的测试集均为公开月表落石测试集。

3.2 多域样本的实验结果

如表2所示,与基于CNN的目标检测模型相比,文中所提出的结合Transformer和梯度注入策略的方法获得了较好的检测性能,PrecisionNoS达到92.0%,RecallNoS达到68.4%,F1 scoreNoS达到78.4%。

表2 不同检测方法在不同样本类别中检测结果的定量评价

图5给出了是否有多域落石样本参与训练的落石检测可视化结果,其中,图5(a)为真值标注,图5(b～d)基于M100样本设置,图5(e～g)基于M90Ma10;从左到右依次采用RetinaNet、Faster R-CNN和DETR 3种目标检测模型。可以看到,在保持落石样本总数一定的情况下,将火星落石样本与月表落石样本混合训练后,检测器在月表落石测试集上的性能优于仅有单一月表落石样本训练的检测器。当采用基于Transformer的方法进行落石检测时,上述结论同样成立,mAP提高了2.4%。混合多域落石样本后,错检的落石结果得到了明显修正,从而提高了检测器的性能。因此,文中验证了无论在何种深度学习网络中,混合其他行星的落石样本对于月表落石检测都是非常有益的。

图5 单域和多域落石样本参与训练的落石检测结果对比

最重要的原因是,火星落石样本中背景干扰信息较少,落石可以清晰地同背景相区分,这种更为清晰的巨石轮廓和轨迹信息有利于落石检测器捕捉更多细节特征。因此,从火星落石样本中提取的更准确的落石特征有利于检测器训练,进而提高落石检测器性能。

本研究发现,与其他混合多域落石样本的检测器相比,基于Faster R-CNN的检测器可视化效果明显更差。图5为基于两张不同底图的检测结果可视化,远取两个样例证明结果的可信度。如图5(e)、图5(f)、图5(g)所示,图5(f)中正确探测到的岩崩数量最少,但其mAP的定量评价结果却最高。可视化结果表明,基于DETR的检测器明显检测到更多的正确落石样本,但mAP也并没有体现出这一点。与此同时,经M90Ma10样本训练的Faster R-CNN检测器定量评价最高,但在图6(c)中,可视化结果展现的效果远不及本文所提出的Transformer结合梯度注入策略的方法。除此之外,尽管基于Transformer的检测器在mAP的表现上不如RetinaNet,但其在正确检测落石的同时,对落石轨迹的捕捉更全面,实现了更长、更充分的落石轨迹标注。

图6 是否注入梯度信息的落石检测可视化结果

综上所述,显然这是一种定量指标与可视化结果不匹配的情况,且该问题在后续实验中也有所显露。这使得本文不仅思考,传统的基于IoU计算mAP的定量评价机制,对于落石这种特殊结构的地质目标是否合适。

这种可视化结果与mAP定量评价不一致的主要原因在于,落石检测的预测框与标记的真值框出现了较大差异,这种差异是由检测到的落石轨迹长度引起的。mAP是通过IoU计算的,而IoU衡量的又是预测区域和参考真值区域之间的重叠度,当真值标记的落石轨迹长度较短时,真值的实际标注范围覆盖就较小。然而,基于注意力机制的Transformer检测器倾向于捕捉更长的轨迹信息,如此就会生成较大的预测范围。此时,IoU无法达到设定的阈值,实际上是检测器识别的正确落石则会被认为是错检。这种误判带来的后果就是mAP指标下降,出现可视化结果与定量指标的矛盾。

考虑到轨迹信息是月表落石检测重要组成部分,因此对其的关注度不应被削弱或忽视,且检测结果中落石的轨迹范围较大,可以被视为是对特征更全面的挖掘。轨迹标注更充分,意味着结构信息检测更全面,落石的探测也就更准确。然而,这种更优的检测结果在传统定量评价指标中很难体现。因此,增加另外一种基于落石实际形态学结构的评价机制对于落石检测评价是非常必要的。

文中所提出的评价机制是将落石视为一个整体来评价,而不是分解成逐个像素,有效解决了由于检测轨迹长度增加所引起的错分问题,从而更全面地反映真实的落石检测结果。一旦同时检测到巨石轮廓和走向对应的落石轨迹,就认为该落石被准确检测。该评价机制与基于IoU的传统评价机制最大的区别,在于对已检测结果的分类判断。通过这样的评估机制,希望实现可视化结果和评价指标的一致性。

3.3 梯度注入机制的实验结果

图6为是否采用梯度注入策略的落石检测可视化结果,其中,图6(a)为真值标注,图6(b～d)基于M90Ma10样本设置,图6(e～g)基于M90Ma10g;从左到右依次采用RetinaNet、Faster R-CNN和DETR 3种目标检测模型。可以看到,在加入梯度算子增强落石边缘后,基于Transformer的检测模型,不仅纠正了错检结果,同时检测出了极难检测的落石。如图6(g)所示,文中所提出的方法是唯一成功检测到位于影像中心位置落石的方法,哪怕其相应的轨迹方向很难识别准确。因此,基于反映实际情况的可视化结果,文中所提出的Transformer结合梯度注入策略的方法可以有效提升落石检测器性能。

从图6(e)和图6(f)可以看出,前者检测性能更好,但后者基于IoU的定量评价指标更高。如前文所述,传统评价机制的定量评价结果与可视化结果不一致的情况再次出现。所以,有必要在此基础上提出一种从落石结构出发的目标检测评价机制。

在基于NoS的评价机制下,注入梯度信息提取模块后,基于注意力机制的方法检测结果显著提升,F1分数提高了4.4%。这种检测性能的提升主要源于精度的提高,近10%,同时召回率也略微提高超1%。结合可视化结果,可以认为该方法在落石检测中是有效的。除此之外,实验结果也说明所提出的基于NoS的评价机制可以作为传统目标检测评价机制的补充,有利于解决在落石检测中可视化结果和定量评价不一致的问题。

相比RetinaNet和Faster R-CNN目标检测模型,梯度注入策略的引入在基于Transformer的方法上表现更好。分析其原因,文中认为相比于基于CNN的目标检测模型,基于Transformer的方法更关注全局信息而不是局部信息,因此全局引入梯度信息可以有效提高基于Transformer检测方法的落石边缘提取能力。相反,由于基于CNN的目标检测模型更关注局部信息,所以引入的梯度信息很容易被误认为是噪声。通过加入梯度算子增强落石边缘,感兴趣的目标特征更加突出,有助于Transformer结构通过注意力机制在行星遥感影像中寻找感兴趣的落石目标,并补充在降采样过程中丢失的细节特征信息。综上所述,提高落石检测器性能的关键是根据落石的形态学结构增强其本身特点。

4 结 论

文中提出了一种结合Transformer和梯度算子的月表落石有效检测方法。同时,研究还提出了一种结构驱动的基于落石成功检测数目(NoS)的落石探测器评价机制,该机制从整体评价落石,从而避免了因落石轨迹识别长度对探测结果造成的影响。实验表明,与现有基于CNN目标检测模型的落石检测方法相比,文中所提出的月表落石检测方法在月表落石数据集RMaM-2020上表现更好,尤其是在精度方面。同时,与传统基于IoU的目标检测评价机制相比,文中提出的基于NoS的落石检测器评价机制能够更有效、更客观地反映月表落石数据集上的实际结果,其有效性主要源于对月表落石结构形态的考虑。因此,如何结合更先进的模型,以便更有效地挖掘落石的结构特征将是今后研究的重点。