基于全局位置信息和残差特征融合的SAR船舶检测算法

方小宇, 黄丽佳,*

(1. 中国科学院空天信息创新研究院, 北京 100190; 2. 中国科学院空间信息处理与应用系统技术重点实验室, 北京 100190; 3. 中国科学院大学电子电气与通信工程学院, 北京 100049)

0 引 言

合成孔径雷达(synthetic aperture radar, SAR)作为一种全天时全天候的主动成像系统,对于云雾具有很强的穿透性,非常适合用于海上目标检测[1-2]。由于SAR图像船舶目标尺度不一,且SAR图像背景复杂,船舶目标容易受到海面、地面杂波、相干斑噪声等干扰影响,在检测过程中容易造成漏检和较高的虚警。因此,实现SAR图像船舶目标的精准定位识别具有广泛且可观的应用前景[3-5]。

传统的SAR图像船舶目标检测算法主要基于目标与背景杂波之间的对比度差异来实现检测,包括恒虚警率(constant false-alarm rate, CFAR)检测算法[6]、模板匹配算法[7]、尾迹检测算法[8]等。CFAR检测是目前最常用的检测技术之一。文献[9]结合了实际应用情况,在估计精度和速度之间取得了很好的平衡。文献[10]引入了一种用于船舶探测的双边CFAR算法,减小了SAR图像模糊度和背景杂波的影响。上述算法基于手工设计特征,效率较低,泛化性能较差,并且不适合复杂的检测场景。随着深度学习在光学图像目标检测识别领域的迅速发展[11-16],在目标检测领域凝练出单阶段、双阶段、无锚框、Transformer等思想,深度学习思想开始应用于SAR图像,取得了一系列显著的效果。文献[17]将区域卷积神经网络(region convolutional neural network, R-CNN)结构应用于SAR图像目标识别中,并使用较大的卷积核抑制SAR图像中的相干斑噪声。文献[18]采用可变形CNN,通过改变卷积核对目标的采样点位置,增强了目标的特征提取能力。文献[19]采用无锚框的方法检测船舶目标来更好地适应所检测目标的大小。文献[20]使用强化学习思想自适应搜索特征图中可能含有目标的区域,减少了背景杂波的影响,并降低了计算量。文献[21]提出了一种浅层特征增强网络结构,该结构使用Inception结构,同时采用空洞卷积技术扩大特征图的视觉感受野,以增强网络对小尺度船舶目标的适应性。

特征是目标检测算法迭代学习的主要依据,因此优化送入检测网络的特征可以最直接地提升算法的各项性能,其中被广泛使用的模块包括使用注意力机制聚焦关键特征和使用特征金字塔网络(feature pyramid network, FPN) 融合多尺度特征。在注意力机制方面,文献[22]使用SE(squeeze-and-excitation),将图像中的空间信息转化为掩模,并对其进行评分,以提取关键信息,进而供检测网络参考;文献[23]引入转移注意力机制,具体思想是对于每个注意力模块,设计一个覆盖所有位置的注意力掩膜,凸显正确的语义特征区域。在FPN方面,文献[24]采用自上而下的方式构建了一个四层尺度的FPN,该网络可以利用候选区域及其周围上下文信息,为检测器提供更高质量的分类置信度和目标最终得分,从而增强对小目标的语义信息提取能力;文献[25]将FPN扩展为四部分,高度融合了主干网络提取的不同尺度的特征,提高了网络对小目标船舶的检测能力。

虽然上述方法的使用在多个方面提升了对于SAR图像船舶目标的检测性能,但仍有一定不足:一是这些方法大多使用SE[26]或者卷积块注意力机制(convolutional block attention module, CBAM)[27]进行关键特征提取,这些基于局部信息的卷积模块强调目标及其周边范围的局部灰度信息,然而受到复杂海况和陆况的影响,这些局部信息往往包含了许多背景信息,从而极大地影响了网络对船舶特征的提取;二是SAR图像的复杂背景使得网络提取的特征具有语义歧义问题,造成严重的漏检和虚警,而特征金字塔融合过程加剧了复杂场景下的语义歧义问题,现有的研究大多是从加深特征融合程度的角度开展研究,无法解决特征融合导致的歧义加剧问题。

针对以上问题,本文在Faster R-CNN的基础上,提出了基于全局位置信息和残差特征融合的SAR船舶目标检测网络(SAR ship target detection network, SSDNet)算法,其特点包括:① 设计高-宽注意力机制(height-width attention mechanism, HWAM),通过将传统通道维度的权重系数拆分为一组沿着高度和宽度维度编码得到的权重系数,利用船舶自身的灰度特征和形状特征提取目标在SAR图像中的全局位置,提高网络特征的表达能力;② 提出一个带有残差连接的双向FPN(bi-directional FPN with resdual connection, ResFPN),在充分融合浅层像素信息和深层语义信息的基础上,基于残差连接的思想,通过融合原始特征图减轻复杂背景下特征融合加深语义歧义的问题。最后开展多组实验,实验结果表明本文所提算法有效提取了SAR图像船舶目标的多维特征,有效削弱了特征融合引发的语义歧义,提升了船舶目标的检测性能和泛化性能。

1 SSDNet

1.1 整体网络框架

本文算法的基准方法为带有FPN的Faster R-CNN算法[28],整体框架如图1(a)所示。该方法首先利用一组普通卷积和stride为2的池化层对输入图片分别进行特征提取和下采样操作,对于每一层尺度不同的特征层都进行FPN融合处理,然后将处理过的特征图送入区域建议网络(region proposal network, RPN)提取候选框,经感兴趣区域池化(region of interest align, RoIAlign)处理后送入检测头(detection head, DetHead)执行检测任务。该算法在执行SAR船舶检测任务中面临两个问题:一是特征提取阶段只使用了简单的卷积操作,对于船舶这类相对尺度较小的目标,难以学习到有效特征;并且对于复杂背景下的船舶目标,易受杂波和噪声的干扰,影响提取到的特征。二是传统的FPN通过一条自顶向下的特征融合通道,将高层的语义信息融合进低层的像素信息中,忽略了像素信息对语义信息的作用,针对不同尺度的舰船目标,检测效果不佳。本文在Faster R-CNN的基础上提出一个基于HWAM和ResFPN的SSDNet,整体结构图如图1(b)所示。主要改进点如下:一是设计HWAM来增强网络对船舶目标多维特征的提取;二是设计ResFPN对高层语义特征和低层像素特征进行更充分的融合,并减轻语义歧义。

1.2 注意力机制

SAR船舶目标检测中存在着建筑物、岛屿等具有类似灰度分布的物体被误认为船舶目标,以及网络对于重叠的船舶缺乏鉴别能力,导致虚警、漏检等问题。为了解决这些问题,注意力机制被引入到深度学习网络中。该机制源于人类视觉特点,使网络模拟人眼选择性地关注图像的重要部分,并将有限的资源分配给这些部分,一定程度上可以提高网络检测的准确性和稳定性。与自然图像不同,SAR图像中的船舶目标通常表现为强散射目标,因此在网络中引入注意力机制可以对网络进行优化。通过多次迭代学习,注意力机制可以对原特征图的各区域赋予不同的重要性,从而突出真正值得关注的船舶目标,逐渐削弱干扰目标。这种方法适用于各种复杂的海况和陆况环境,可以提高船舶目标检测的准确性和稳定性。借鉴文献[29]的思想,本文提出HWAM。在特征提取阶段逐层使用HWAM,通过引入船舶目标在图像中的全局位置信息,增强对船舶特征的提取,其结构如图2所示。其中,C、H、W分别表示输入的通道、高度和宽度维度;R为调节参数,一般取16。

图2 HWAM结构图Fig.2 HWAM structure diagram

HWAM将通道维度全局池化的二维操作分解为高度维度和宽度维度两个独立的一维操作。HWAM采用全局最大池化(global max pooling, GMP)而非全局平均池化(global average pooling, GAP)来对高度和宽度维度进行全局池化。船舶目标拥有复杂的结构,电磁波照射到船体之后会形成一个单次散射、二次散射、体散射等多种混合散射组成的散射集合,且船舶目标的雷达散射截面较大,拥有较强的后向散射能力,具体在图像中表现为灰度值较大的区域,因此使用GMP选取通道内最大灰度值的像素点,可以最大限度保留真实的舰船目标,过滤出假目标。针对高度和宽度为H和W的特征图,用尺度为H×1和1×W的全局池化卷积核沿着图像水平和垂直两个方向进行编码,分别保留指定维度所有输入值中的最大值,特征图中每一个通道的输出均为具有方向感知能力的特征图。得到的特征图的每个像素点的值分别表示如下:

(1)

(2)

这一对特征图分别经过两组1×1卷积和激活函数的通道压缩与拉伸后,生成C×1×W和C×H×1两个分别对应特征图高、宽两个维度的权重图,最后与经过5×5卷积调整的原始特征图同时进行两个维度的乘法运算,达到同时对特征图通道和空间特征进行增强的效果。HWAM的详细计算过程如下所示:

(3)

(4)

F(x)=conv(Relu(conv(x)))

(5)

out(xi,j)=F(xi,j)*Wwidth(j)*Wheight(i)

(6)

式中:xi,j∈RC×H×W为输入的特征图;maxpool()为全局池化操作,高、宽两个分支的全局池化分别将特征图的H和W两个维度压缩为1;Fw()和Fh()是通用卷积函数,主要作用是对通道信息进行融合;通过Relu激活函数将输入值转换为非负权值,解决非线性问题,得到权重系数。Relu激活函数不存在梯度弥散问题,计算简单、收敛速度快,是目前最常用的激活函数,其计算过程如下所示:

f(x)=max{0,x}

(7)

最终,输出的特征图是原特征图和高、宽两个分支的权重系数的乘积。

如图3(b)所示,基于局部信息的注意力机制(如CBAM)的思想是通过卷积运算由目标中心向周围扩散,最终捕获一片正方形区域的信息,这种方式会将船舶周围的背景杂波和噪声也捕获进去,导致检测结果中出现大量重叠的虚警。HWAM对高度维度和宽度维度进行编码压缩后得到一对具有方向感知能力的特征图,使网络捕获到沿着某一空间方向的变化情况。通过这种水平和垂直的交叉捕获方式,让网络在决策感兴趣目标时,关注其水平和垂直维度的特征,而不仅仅关注目标的灰度特征。如图3(c)所示,船舶目标作为一种典型的近似狭长椭圆形目标,充分利用这一形状特征,使用水平和垂直的交叉捕获方式,可以很好地将船舶目标与其他干扰物区分开。

图3 注意力机制定位原理示意图Fig.3 Schematic diagram of positioning principle of attention mechanism

在特征提取网络中使用HWAM综合利用了目标的位置信息和灰度值信息,在迭代过程中不断朝着船舶部分聚焦,并逐渐削弱会引起虚警的噪声和背景干扰物,有效增强了特征图的细节表现,有利于后续特征融合和目标检测。

1.3 FPN

FPN可以实现对不同尺度的特征进行聚合,核心思想是通过一条自顶向下的线路将高层的语义特征添加到每一层特征图上,因此对于尺度较大的目标具有显著的检测性能提升,而船舶目标尺度通常较小,因此传统的FPN对于小尺度船舶检测能力几乎没有提升。文献[30]提出的路径聚合网络(path aggregation network, PANet)在一定程度上解决了这一问题,通过添加自底向上的特征融合路径,将底层像素级特征添加到高层语义特征中,加强对小尺度目标的检测能力。但是,PANet对于复杂情况下的SAR船舶目标检测存在语义歧义加重的问题,在往复的特征融合过程中,船舶目标和周围的干扰物逐渐模糊,导致网络无法对其进行区分,容易造成漏检和虚警。

为了得到更好的检测性能,本文提出了ResFPN,该模块首先延用了PANet中的双向特征融合网络,使得低层特征图保留了较多的对小目标检测有利的像素级特征,这些特征传递到高层有助于在语义信息中添加像素级信息,综合提升了对于中小目标的检测能力。针对存在的语义歧义加重问题,添加了一个残差连接来增强原始特征,由于残差特征来自于同一层,增加的计算量可以忽略不计。图4(a)给出残差特征加入后增强特征的示意图,新增的残差连接发生在特征融合之后,目的是让网络学习新加入特征的重要性,通过设置适当的权重α让网络分清哪些是原始特征,哪些是双向FPN融合生成的新特征,在迭代过程中逐渐重视对目标判别有利的新特征。在经过金字塔特征融合后,原始特征发生模糊;在加入原始特征图后,目标的特征又重新突出。表1以全类平均正确率(mean average precision, mAP)作为评价标准,实验表明不同的权重α代表了对原有特征和新特征赋予不同的重要性,对最后的检测结果影响也不同。

图4 ResFPN的特征融合过程Fig.4 Feature fusion process of ResFPN

表1 不同α的取值对检测结果的影响Table 1 Influence of different α value on detection results

本文中权重α不随网络迭代而变化,因为在实验中发现,变化权重α会让网络变得不稳定,当α取值为0.5时,取得最高的检测性能。

文献[21]发现在CNN中,卷积核的大小越大,输出的每一个元素所拥有的感受野越大,包含的原始特征信息量越多,在SAR图像中对相干斑噪声的抑制效果就越强。原文中通过使用5×5卷积替换3×3卷积实现了感受野的加大,但是这种方式增加了参数量,且提升效果也不够明显。ResFPN在不提升参数量的前提下,采用改良的Inception模块[31]替换原本的3×3卷积,提升感受野,增强深度特征。

如图4(b)所示,将通道数为C的输入特征图拆解为卷积核尺度分别为1×1、3×3、两组3×3、5×5的普通卷积层,每个卷积后都有一组批归一化(batch normalization, BN)处理和Relu激活函数,最后再将这些通道连接起来,提高特征图的语义信息。这些卷积层的通道数均为C/4。使用普通卷积的参数量和使用改良Inception结构的参数量分别为9C2和4.25C2,参数量几乎降低为原先的二分之一:

3×3×C×C=9C2

(8)

(9)

图4(c)为ResFPN特征层的融合连接图。当前特征层Ci经过Inception卷积增强后,与下采样的上层Ci+1线性相加;整体再次经过Inception卷积调整后再与经过上采样的下层Bi-1和当前层Ci加权融合得到待检测层Pi。最后将不同尺度的待检测层以级联的方式送入RPN提取候选区域。过程如下所示:

Pi=αCi⊕up(Bi-1)⊕inception(down(Ci+1)⊕inception(Ci))

(10)

Candidates=RPN(P1,P2,P3,P4,P5)

(11)

使用ResFPN模块一方面增强了各层特征图中像素级特征的占比,抽象的语义特征和直观的像素特征得到更充分的融合,有利于检测船舶这样相对尺度减小的目标。另一方面,残差连接使最终送入检测网络的特征图中保留下对船舶检测有利的特征,同时这些特征被自底向上的通道加入到高层特征图中,过滤无效信息,船舶的一些关键特征变得清晰。检测网络凭借关键特征定位船舶位置,减少漏检和虚警,提升网络的检测性能。

2 实验结果与分析

2.1 实验平台与超参数设置

本文实验均运行在Ubuntu20.04系统中,所用语言主要为Python;所用深度学习开发框架为Pytorch 1.9.0,torchvison版本为0.10.0。本文所有实验都使用相同的参数,具体设置如下:

(1) 训练阶段的batch_size为8,训练次数为60轮,并采用期间表现最好的网络权重文件进行验证。

(2) 采用随机梯度下降(stochastic gradient descent, SGD)优化器更新网络参数,初始学习率为0.005,权重衰减系数为0.000 5,动量因子为0.9,每经过3轮训练学习率会降低为原来的1/3。

(3) 所有图片样本在准备阶段统一调整为512×512,对于大场景实验数据采用滑窗法获得切片样本,滑动步长为256×256。

2.2 数据集介绍

为了验证本文所提方法的检测性能,选取公开的SAR船舶检测数据集(SAR ship detection dataset, SSDD)[32],该数据集图像来源包括RadarSar-2、TerraSAR-X 和 Sentinel-1卫星,分辨率在1～15 m不等,图像尺寸为500像素×500像素,共计1 160张SAR图像。数据集模仿PASCAL VOC数据集构建,本文随机将数据集按照7∶1∶2分为训练集、验证集和测试集。

为了验证本文方法的泛化性能,选取高分三号卫星雷达数据,使用SSDD的预训练模型进行泛化实验。

2.3 评价指标

目标检测任务中常用的评价指标是精度均值(average precision, AP),取值范围在[0,1]之间,代表在不同召回率下精确率的均值。本文使用COCO评价指标来对方法的检测精度进行评价,主要关注mAP50和mAP75两个指标,分别代表交并比(intersection over union, IoU)为50%和75%时的AP,说明了算法的目标检测能力和边框回归能力。此外,根据准确率和召回率绘制各算法的准确率-召回率(precision-recall, PR)曲线:

(12)

其中,准确率和召回率的定义分别为

(13)

(14)

式中:TP是预测为真实际为真的真正例;FP是预测为真实际为假的假正例;FN是预测为假实际为真的假反例。PR曲线的饱满程度代表了方法的检测性能的优秀程度。

本文实验使用iter/s作为检测速度评价标准,代表网络在1 s内可以完成训练的batch_size数,值越大表示模型的检测速度越快。

2.4 对比实验

为了评估本文方法的检测性能,与文献[28]提出的带有FPN结构的Faster R-CNN目标检测算法、文献[22]提出的基于回归模型与注意力的轻量化SAR舰船检测模型(简称为ImShips)和文献[25]提出的4层FPN(quad FPN, QUAD-FPN)目标检测算法在SSDD上进行对比实验。其中,文献[29]是本文的基准方法,文献[23]使用了SE作为注意力机制,文献[26]设计了复杂的FPN结构,均是近两年效果优秀的SAR船舶目标检测算法。表2给出了本文方法在SSDD与上述方法的对比实验结果。结果显示,本文方法在mAP、mAP50、mAP75、小目标、中目标和大目标6个指标中均取得最优,相较于次优的舰船目标检测网络QUAD-FPN分别取得了2.0%、2.4%、4.6%、2.7%、2.3%和2.2%的提升。在检测速度方面,本文模型在Faster R-CNN的基础上添加了诸多模块,因此检测速度略有下降,但并不影响实际的应用体验,具有较高的综合检测性能。

表2 在SSDD上与其他方法的比较Table 2 Comparison with other methods on SSDD

图5绘制了ImShips、QUAD-FPN和本文方法在SSDD的验证集上的PR曲线,本文方法的PR曲线在IoU=0.5和IoU=0.75两种情况下绘制得均更加饱满,表明本文方法的检测性能和锚框的定位效果均更出色。

图5 不同方法的PR曲线Fig.5 PR curves of different methods

为了充分展示本文算法的各项性能,图6给出了各方法在SSDD中5种典型困难场景下的检测情况。在岸边停泊的尺度不一的船舶目标检测场景下,其他方法对于小尺度船舶都存在漏检问题,ImShips出现岸边的虚警,本文算法全部检测出图中的3艘船舶;在包含岸边建筑物干扰的检测场景下,Faster R-CNN将港口内的船认定为建筑物而漏检,ImShips和QUAD-FPN产生少量虚警,本文算法全部检测出港口内的船舶和岸边的船舶;在船舶重叠并伴随大量相干斑噪声场景下,本文算法相比其他方法实现更高的检测率,并产生最少的虚警;在包含岛屿的船舶检测场景下,本文算法学习到岛屿与船舶的区别,没有产生虚警。在较为复杂的场景下,本文算法在没有漏检的前提下实现最少虚警,并且以最高的置信度标注出真实船舶目标。

图6 SSDD中的5种典型场景检测效果对比Fig.6 Comparison of five typical scene detection effects in SSDD

综上所述,本文算法改善了多尺度船舶目标检测能力,实现了不同场景下的船舶检测,提高了多种复杂场景下的检测准确率,并且均以较高的置信度标注出船舶目标,证明本文算法具有较好的目标检测能力和边框回归能力。

2.5 消融实验

为了分析本文设计使用的两个模块的有效性,本节实验分别对基准算法Faster R-CNN、仅使用HWAM、仅使用ResFPN和两个模块均使用这4种组合进行消融实验。表3和图7分别给出了在SSDD上的实验结果表和各算法组合的PR曲线图。

表3 在SSDD上的消融实验Table 3 Ablation experiments on SSDD %

图7 消融实验的PR曲线图Fig.7 PR curves in ablation experiments

由表3可知,使用HWAM的方法对各尺度船舶目标的检测均有提升,因为HWAM更好地提取了船舶目标的特征,抑制了背景杂波和干扰物,对重叠的船舶和密集的船舶都达到更好的区分作用。使用ResFPN的方法对于小尺度和大尺度船舶均取得优秀的检测效果,因为本文设计的特征融合策略使得底层像素级特征和顶层语义级特征更充分地融合,充足的特征让网络更容易学习到船舶目标的关键特征。最后,本文算法融合二者的特点,在AP方面取得最佳的检测效果。

图8给出了不同组合的实际场景检测图。图8(b)是使用Faster R-CNN进行检测的结果,由于特征没有被充分的提取,产生很多漏检。图8(c)是新增使用HWAM作为注意力机制的检测结果,成功提取出港口内的船舶目标,但是边框回归不够准确,且依旧存在少量虚警。图8(d)是新增使用ResFPN的检测结果,相比较Faster R-CNN大幅度提升了检测率。图8(f)是在HWAM的基础上使用ResFPN的结果,残差特征的引入明显使得虚警得到进一步的抑制,并且由于ResFPN充分融合高层和低层的特征,目标的边框回归也更准确。

图8 消融实验检测结果对比图Fig.8 Comparison diagram of ablation experiment detection results

本文在第1.3节使用改良的Inception结构替换了原始的3×3卷积来提升感受野,如表4所示,使用改良Inception结构在AP方面提升了1.8%。图8(e)为使用3×3卷积的实际场景检测结果,图8(f)为使用改良Inception结构的实际场景检测结果。网络的感受野加大后,进一步增强了特征的提取能力,有效提升了网络的检测性能。

表4 不同卷积结构检测结果对比Table 4 Comparison of different convolutional structures detection results %

图9给出了不同组合在预测过程中同一时刻的特征图。HWAM模块的加入使得船舶目标和非船舶目标之间产生清晰的界限,网络权值更加有效地定位到船舶目标;进一步加入ResFPN后,特征图中的船舶目标和背景完全分隔开来,方法的最终检测性能得到提升。综上所述,本文提出的HWAM模块和ResFPN模块对于SAR船舶目标检测任务均有提升。

图9 消融实验特征图Fig.9 Feature map of ablation experiments

2.6 泛化实验

为了进一步验证本文算法的泛化性能和实际应用能力,选取高分三号数据进行泛化实验。具体实验方式是使用第2.4节本文算法在SSDD数据集上的网络权重文件,将验证集替换为高分三号数据,训练25个epoch得到COCO验证指标。实验结果如表5所示,本文算法在25个epoch后获得80.2%的AP,相比较次优的QUAD-FPN提升了5.8%,在其他5项指标中均取得最优的检测精度。

表5 在AIR-SARShip数据集上的泛化实验Table 5 Generalization experiment on AIR-SARShip dataset %

图10为泛化实验的实际场景检测图。在近岸场景中,Faster R-CNN、ImShips和QUAD-FPN算法均出现不同程度的虚警,本文算法没有虚警;在远海场景下,Faster R-CNN和ImShips算法在平静海面上均出现不同程度的漏检,QUAD-FPN算法虽然将船舶目标全部检出,但是产生了虚警。图10(e)代表的本文算法达到最好的检测效果,漏检率和虚警率都是最低的。

图10 泛化实验检测结果对比图Fig.10 Comparison diagram of generalization experiments detection results

综上所述本文算法在泛化性能上也超过其他SAR船舶目标检测算法,具有较高的实用性。

3 结 论

SAR船舶检测将持续作为海面目标检测的热点问题,针对目前存在的问题:一是SAR图像船舶目标尺度不一,难以提取目标的多尺度特征;二是在复杂场景下船舶目标容易受背景杂波和相干斑噪声的干扰,造成漏检和虚警。本文基于Faster R-CNN提出SSDNet。该算法针对SAR图像船舶目标的特点,首先提出HWAM来提取目标的全局位置信息,基于水平和垂直维度的交叉捕获方式突出图像中的真实船舶目标;其次提出ResPFN来增强有用特征的提取能力和高低维特征的融合能力,并使用Inception结构扩大卷积感受野,适当减轻相干斑噪声的影响。通过大量对比实验、消融实验和泛化实验,本文算法相比于基准算法和部分主流SAR船舶目标检测算法,漏检率和虚警率明显降低,SSDNet的平均准确率达到了98.2%。在高分三号数据上的平均准确率达到了80.2%,表明本文算法具有较高的检测性能和泛化性能。实际检测场景图表明,本文方法有效减少了不同场景下的船舶目标的漏检和虚警,提高了边框回归能力,具有较高的实用性。