空对地高度自适应目标智能检测算法*

张萌，王仕成，杨艳丽，杨东方

(火箭军工程大学 导弹工程学院，陕西 西安 710025)

0 引言

空对地目标检测技术是无人机、航空飞机等空基飞行平台遂行侦查、监视等任务的关键共性技术。通过研究新型空对地目标检测技术，提高空基成像平台对地面目标检测的精度和智能自主性，是当前空基民用和军事领域关注的重点问题。

目标检测技术的发展经历了基于底层人工特征的目标检测和基于深度学习抽象特征的目标检测2个阶段。在前深度学习时代，研究人员通过设计对目标的人工特征描述，例如颜色、纹理、轮廓等底层特征，或者SIFT(scale-invariant feature transform)[1],SURF(speeded up robust feature)[2],HOG(histogram of oriented gradient)[3]等人工特征，实现对目标的描述；然后采用SVM等分类器进行分类和识别。此类方法在常规、简单的检测任务中可以取得不错的效果，但其一般是针对某个特征的目标识别任务，使用的数据量不大，模型泛化能力差，且人工特征的提取易受到环境因素的影响，在实际复杂的环境中难以实现对目标的精确识别。近年来，随着深度学习的不断发展，深度卷积神经网络为提取图像目标的高层抽象特征提供了一种有效的方式，AlexNet[4],VGGNet[5],GoogleNet[6],ResNet[7],MobileNet[8]等特征提取网络相继被提出，现阶段基于深度学习的目标检测算法都是在特征提取网络的基础上不断发展的。

当前，主流的深度学习目标检测算法可划分为基于区域建议(Region Proposal)的Two-stage检测算法和基于回归思想的One-stage检测算法。区域建议的Two-stage检测算法包含区域建议和卷积神经网络(CNN)分类2步，现阶段具有代表性的是Fast R-CNN[9]，Faster R-CNN[10]和Mask R-CNN[11]。此类方法虽检测精度得到了很大的提升，但区域建议耗时太长，因此检测的速度达不到实时性的要求。为了提高检测的实时性，有人提出了基于回归思想的One-stage检测算法，具有代表性的有YOLO[12]和SSD[13]。这类算法摒弃了R-CNN系列算法的区域建议的过程，通过回归的方法直接从图像获得目标的位置和类别，提高了检测速度，可以满足实时性的要求，但是目标检测精度受到了削弱，尤其是在小目标检测应用背景下，该问题更为突出。事实上，空对地目标检测问题正是实时性和精度要求都非常严格的应用场合：在空基对地目标检测的背景下，由于平台飞行高度的变化，成像的场景范围以及目标的尺寸、数量都存在显著差异，致使现有的深度学习检测算法难以适应不同空基平台的需求。

事实上，人类在观测时，随着目标距离的不同，视觉系统在不断调整适应不同距离的观察。在传统视角下，由于视野的范围可以无限扩展，这一点体现得不明显，但在空基对地观测时，视野的范围和目标的大小、数量都随着高度的变化而改变，检测网络就像是人类的视觉系统，在不同高度下对地观察时，需要做出一些调整以适应高度的变化。受此启发，我们在本文中以空对地条件下的目标检测为例，研究分析了高度变化对检测算法的影响，同时对检测算法进行改进，以便减小高度信息变化对检测效果产生的影响，提高平台对地成像目标检测的精度。我们将这种方法在本文中称为“HASSD”(height adaptive SSD)算法。

1 成像平台飞行高度对目标检测性能的影响分析

本文首先在数据集规模相同的条件下，针对最具有代表性的SSD和FSSD算法(以VGG16作为特征提取网络)，进行了2种不同高度范围的6组对比实验，实验结果如表1所示。

通过实验结果可以看出，SSD系列算法在小于100 m的情况下，检测精度较高；在100～300 m的情况下，由于目标尺寸变小，检测精度较低；在二者等比例混合后，检测精度有所提高，但仍低于小于100 m的情况。因此，可以得出结论，空基平台的飞行高度对目标检测算法有影响，为之后的研究工作提供了依据。

表1 平台飞行高度对检测算法的影响Table 1 Influence of platform flight height on detection algorithm

其次本文对SSD系列算法中区域候选框的尺寸设置对检测算法的影响进行了分析。在SSD系列算法中，区域候选框的尺寸设置通过预先设置的好的参数s1，s2和输入图像的尺寸共同决定，现有的SSD系列算法大都采用文献[13]中的参数设置s1=0.2,s2=0.9，而后依据式(1)和(2)分别计算出6个不同尺度特征图最大(max_size)和最小(min_size)区域候选框尺寸。以300×300大小的输入图像(这里定义尺寸为image_size)为例，依据式(1)和(2)可以计算得到各特征图的区域候选框大小。

(1)

式(1)只用于计算conv4_3层特征图的区域候选框的最大和最小尺寸。其中radio0=0.1，min_size0=max_size0=0,radio1=0.2。

(2)

式(2)用于计算fc7,conv7_2,conv8_2,conv9_2和conv10_2层区域候选框的最大和最小尺寸。其中radio取值为0.20,0.37,0.54,0.71,0.88,1.05。

依据SSD系列算法中区域候选框的产生原理，在其对检测算法的影响分析实验中，通过改变参数s1，s2的大小进行了3组对比实验，实验结果如表2所示。

由实验结果可以得出，检测算法中区域候选框的尺寸大小设置对不同高度下的目标检测效果存在影响。分析其原因，主要在于空对地视角下观察目标与常规视角不同，随着高度的改变，成像场景中目标的尺寸都在随之发生变化，改变区域候选框的尺寸设置能够有效地适应高度信息变化对目标检测算法的影响。

表2 区域候选框尺寸设置对检测算法的影响Table 2 Influence of candidate box size setting on detection algorithm

2 空对地高度自适应目标智能检测算法

本文选择目前深度学习目标检测领域检测精度和效率相对较高的SSD算法作为空基平台对地目标智能检测算法的基础框架，通过引入高度信息，提出了一种高度自适应的目标智能检测算法(HASSD)。为此，本部分将从高度-目标检测候选框尺寸关系模型和HASSD算法的网络化描述2个方面对算法进行详细介绍。

2.1 高度-目标检测候选框尺度关系模型

本文提出了高度-目标检测候选框尺寸关系模型，通过建立成像高度与候选框尺度之间的关系模型，引入高度信息，替代原检测网络中区域候选框的生成方式，提高目标检测候选框的质量，进而提高检测算法的高度适应性和准确性。其具体原理如下：

为了建立高度-目标检测候选框尺度的关系模型，本算法首先建立高度与目标尺度之间的关系模型，根据文献[14]中摄像机成像的基本模型，设飞行平台搭载下视相机的焦距f0(常值，即相机成像的分辨率不变)，检测目标的原始尺寸为(w0,l0)，距地面高度H时在目标的尺寸为(w,l)，则有

(3)

借鉴文献[15]中船舶检测中旋转锚的思想，在不改变使用水平锚的条件下，考虑不同高度下目标沿水平方向旋转的情况，假设图像的水平线逆时针旋转角度θ(θ∈(0,90°))后与目标轴线方向重合，图像中目标的尺寸为(w′，l′)，面积为S,则有

(4)

由式(4)可以看出，区域候选框的尺寸大小与高度H时目标的尺寸和旋转角度θ有关。因此，在本算法中，不同检测特征图中区域候选框的生成规则如表3所示，生成检测框的min_size，max_size的计算如式(5)所示：

(5)

2.2 HASSD网络结构化描述

对于空基对地成像目标检测任务，由于受到平台飞行高度的影响，对地成像的场景范围，目标的数量、大小和密集度会有较大的差异，因此检测算法需根据平台状态进行动态的调整，以适应飞行过程中的高度变化。HASSD算法能够根据平台飞行过程中的高度信息，对检测网络做出调整，提高检测的精度。文献[16]通过将高分辨率遥感图栅格化分割为多个小图，实现空对地车辆检测。但该方法仅适用于静态的处理固定尺度的目标信息，难以适应空基飞行平台飞行视场的变化。本文通过在检测网络中引入高度-目标检测候选框关系模型，改善区域候选框的生成质量，提高算法的检测性能。

现阶段，SSD系列算法在检测性能上较好的是FSSD[17](feature fusion single shot multibox detector)，该算法借鉴FPN[18]的思想，将SSD算法原来的conv4_3，fc7和conv7_2(VGG16为例)3个不同尺度大小的特征图变换后，进行通道串联作为金字塔层的输入，丰富了特征图的语义和细节信息，网络结构如图1所示。

本文提出的HASSD算法，以FSSD算法为基础，一方面，引入了高度-目标检测候选框尺寸关系模型；另一方面，借鉴文献[19]的方法，将VGG16特征提取网络的conv5_3与conv4_3层融合得到的特征图代替原有的conv4_3特征图，再与fc7，conv7_2进行通道串联融合，进一步丰富特征图的语义和细节信息，提高检测的精度，具体网络结构如图2，算法流程如图3所示。图2中，左侧为输入的图像和高度信息，考虑到实际运用，这里以300×300大小的图像为例，经过VGG16特征提取网络将conv5_3特征层进行一次反卷积运算与conv4_3通道串联，得到融合后的特征图，再与fc7,conv7_2分别进行一次卷积运算，对3个特征图进行通道串联、一次1×1的卷积运算和归一化，得到通道数为512，大小为38×38的特征图。上述模型中，检测器部分依旧采用的是FSSD的基本结构，通过多次卷积运算，生成6个不同尺度的检测特征图。与此同时，利用高度-目标检测候选框尺寸关系模型将从平台获取的高度信息转化为不同尺寸检测特征图的区域候选框信息，生成不同大小、比例的区域候选框，提高检测网络对跨区域飞行平台飞行高度变化的适应性。

在损失函数部分，本算法采用MultiBox中的损失函数，其基本形式如下：

表3 区域候选框生成规则Table 3 Region candidate boxes generate rules

图1 SSD,FSSD模型图Fig.1 SSD and FSSD model diagram

(6)

式中：Lloc为定位损失函数；Lconf为置信度损失函数；N为匹配到候选框的数量，若N=0，则L为0。c，g和l为标注的类别标签、真实框的坐标参数和候选框的坐标参数，权重系数α通过交叉验证设置为1。

定位损失函数Lloc定义如下：

(7)

(8)

式中：

(9)

置信度损失采用Softmax损失函数表示：

(10)

图2 高度自适应的目标检测模型Fig.2 Height adaptive target detection model

图3 高度-目标检测候选框尺寸转换流程图Fig.3 Flow chart of dimension conversion of height-target detection candidate box

3 实验验证

3.1 高度自适应目标检测任务数据集

在基于深度学习的目标检测任务中，空基对地视角下数据集相对较少，一方面数据集的搜集需要使用无人机、航空飞机等飞行平台进行采集，导致数据集的规模较小，且样本质量差异较大；另一方面，现有的空对地数据集大多是高空视角下的图像搜集，不考虑高度信息对检测任务的影响，这为HASSD算法研究增添了难度。为此，本文以空对地条件下的车辆检测为例，通过无人机航拍、Google Earth等不同方法进行了不同高度下目标检测数据集的搜集。在目标可视条件下，为了实现的方便，本文仅仅将高度划分为<100 m和100～300 m 2种情况，分别对不同高度下的数据集进行了标注。之后对数据集进行了尺度统一的预处理，将图像尺度统一到1 024×768像素。本文所涉及的高度相关的数据集包括高度<100 m的数据集300张和高度100～300 m之间的数据集300张，检测的目标只包含车辆(car)。在模型训练阶段，算法中H为不同高度范围的最大值。

3.2 HASSD算法验证实验

本部分针对高度自适应目标检测算法(HASSD)和SSD系列算法检测结果进行对比，检测效果的评价采用深度学习目标检测领域常用的Pascal VOC[20]评价体系，主要采用精度(mAP，mean average precision)作为指标，实验结果如表4所示。从对比结果看本文提出的算法模型通过引入空基飞行平台的飞行高度信息，能够有效地提高检测算法在空对地条件下的检测精度。

表4 HASSD算法与SSD系列算法对比实验Table 4 Comparison experiment between HASSD algorithm and SSD series algorithm

本文算法验证结果的如图4所示。从实验结果可以看出，本文提出的HASSD算法能够提高空对地目标价检测的精度，尤其在不同高度的空基平台飞行过程中，HASSD算法具有较好的高度变化自适应能力。

图4 不同飞行高度下的HASSD算法验证检测结果Fig.3 HASSD algorithm at different flight altitudes verifies the detection results

4 结束语

当前基于深度学习的目标检测网络大多针对常规视角下的检测任务，对目标的观测角度丰富，获取的目标信息较为全面，而距离因素对检测算法的影响往往没有得到重视。在无人机等不同空基平台执行对地成像任务时，原有的检测算法模型无法取得令人满意的效果。本文提出了一种具有高度自适应能力的目标检测算法，通过本文的研究可以得出：相比于原始的SSD算法，加入高度-目标检测候选框尺寸关系模型后，HASSD算法在精度和高度适应能力方面均有改善，特别是当平台飞行高度较高的情况下，对检测结果的改善更为明显。本文提出的HASSD算法通过引入高度-目标检测候选框尺寸关系模型，能够有效提高检测算法精度和对平台飞行高度的适应性。