基于clear-SSD的单点多盒飞机目标检测天气适用性

詹成祥， 孟庆岩， 安健健， 胡 蝶， 杨天梁

(1.中国地质大学(北京)地球科学与资源学院， 北京 100083； 2.中国科学院空天信息创新研究院， 北京 100094；3.中国科学院空天信息创新研究院海南研究院， 三亚 572029； 4.三亚中科遥感研究所， 三亚 572029)

随着深度学习的快速发展，遥感影像目标检测算法也在不断更新，但目前目标检测算法大多针对良好天气。受雾霾影响，遥感影像质量下降，进而影响遥感影像检测效果[1-2]。飞机在民用与军用领域都有重要作用，若出现雾霾天气，则会影响检测精度，进而影响航空管制，故消除雾霾影响，提升遥感影像质量，使其在良好天气及雾天均能有较高的目标检测精度，具有重要意义[3-4]。

遥感目标检测是多年来广泛研究的热点[5]，遥感目标检测就是识别出遥感影像中感兴趣的目标，并用回归算法标记其位置[6]，其模型算法可以分为两大类，一类是单阶段目标检测，即将分类与回归放在一个网络中完成，其优势是速度更快，经典代表有SSD(single shot multibox detector)、YOLO(you only look once)，另一类是两阶段目标检测，即将分类与回归分两部分进行，经典代表有R-CNN(region-based convolutional neural networks)、Fast-RCNN和Faster-RCNN[7-8]。

图1 clear-SSD结构Fig.1 The structure of clear-SSD

近年来，有较多研究使用单阶段或两阶段模型进行遥感影像目标检测，如王颖洁等[9]使用Faster-RCNN以及R-FCN(region-based fully convolutional networks)检测储油罐，李淑敏等[10]使用YOLO_V2模型和迁移学习对高分二号影像进行目标检测，熊伟等[11]使用支持向量机模型对合成孔径雷达影像进行目标检测，Wang等[12]使用Faster-RCNN模型，检测高分辨率影像中的舰船，Chen等[13]提出目标热图网络对高分辨率遥感影像进行目标检测，但无论是深度学习还是传统方法，都只针对良好天气，没有讨论雾天对目标检测精度的影响。受大气反射与散射干扰，遥感传感器拍摄影像的清晰度降低，导致飞机目标检测精度下降，如何使飞机在良好天气及雾天条件下均能有较优的检测精度，是目前尚未解决的问题。

而暗通道与同态滤波作为经典清晰化算法，常用来恢复各种雾天影像，使其具有更优的可辨性，进而提高雾天影像目标检测精度。

现提出一种基于影像处理的clear-SSD模型，分别对良好天气及雾天条件下的飞机进行目标检测。模型训练完毕后，先对待检测的遥感影像进行清晰化处理，再检测影像中的飞机，对比不同清晰化算法对飞机目标检测精度的优化效果，选取适用性最优的清晰化算法嵌入SSD模型中，组成clear-SSD，使其在良好天气以及雾天条件下均能取得较好的检测效果，消除现有目标检测算法只能针对良好天气影像检测的弊端，提高模型适用性。

1 clear-SSD算法原理

采用clear-SSD模型进行实验，该模型将影像清晰化算法与SSD目标检测算法有机结合，即在卷积神经网络前端设置影像清晰化算法，使输入的雾天影像更清晰且不过多影响良好天气影像的视觉效果。其中SSD模型由Liu等[14]在2016年提出，根据输入影像的尺寸分为SSD-300和SSD-512，现采用SSD-512作为实验网络。SSD提供的检测框有多个尺度，可以有效检测大小不同的物体。

clear-SSD以卷积网络VGG16网络为主干，并将输出端的全连接层替换成卷积层，用来输出回归及分类特征，其结构如图1所示。

clear部分为清晰化算法，备选算法包括暗通道、高斯同态滤波以及线性同态滤波。对待检测影像进行清晰化处理，导入卷积神经网络提取特征，通过比较不同算法的处理效果，选择适用性最优的算法作为clear部分。

对于目标检测，SSD与其他模型不同，其定位特征由多个卷积层共同提供，包括4_3卷积块以及7～12的卷积块共7个模块，每个模块都提供不同数量的定位以及分类预测特征，最终得到影像中目标地物的预测类别及位置。训练过程中，设置交并比阈值，将与标签框交并比大于阈值的预测框选出，即每个标签框可与多个预测框对应，反之每个预测框只能与单个标签框对应，选择置信度最大的预测框与标签框相匹配计算损失函数，由于目标检测包括分类与回归两部分，因此损失函数为分类损失与回归损失的加权和：

(1)

式(1)中：L()表示整体损失；Lconf()表示分类损失;Lloc()表示定位损失;x为指示参数;c表示类别置信度;l表示预测框的位置;g表示标签框位置;N表示标签框的数量;α为回归损失对分类损失的加权值。

分类代价函数采用softmax损失，定位代价函数采用定位差值的平方经L1平滑后的损失。

为准确提取不同尺寸的目标，SSD根据不同卷积层提取不同尺度的高层与低层特征，不同层次的卷积层能提取不同大小的特征。由于提取的特征足够多，预测框的数量也有很多且大多为负样本，根据得分选择部分负样本参与训练，保证正负样本比例为1∶3左右，使得训练更稳定。

SSD模型能够在保证目标检测精度的同时消耗更少的时间[15]，因此选用SSD作为本文实验的目标检测网络。

2 清晰化算法

2.1 暗通道原理

暗通道是He等[16]提出来的一种清晰化算法，该算法去雾效果显著且计算量小，在对大量影像观察后提出，几乎所有良好天气下的像素都有一个通道的值趋向于0，根据这一先验知识与大气物理模型，提出暗通道清晰化算法，大气物理模型为

I(x)=J(x)t(x)+A[1-t(x)]

(2)

式(2)中：I(x)为原始有雾影像；J(x)为待求无雾影像；t(x)为大气透射率；A为大气光值,其大小为原始影像对应通道的最高值。暗通道用数学公式可表示为

(3)

式(3)中：Jdark(x)表示去雾影像暗通道理论值；Jc(y)表示去雾影像红绿蓝某一通道平面范围内的值；{r，g，b}分别表示影像的红绿蓝三个通道；Ω(x)表示以像素x为中心的一个窗口。

对式(2)两端分别取两次最小值，先于每个波段平面范围内取得最小值，再计算每个通道的最小值，即可满足暗通道先验条件。利用暗通道趋于0的先验知识计算得到透射率为

(4)

式(4)中：ω为景深参数，调节w可使去雾效果更自然。

通过导向滤波处理，将式(4)计算的透射率精细化，代入式(2)中，即可算出恢复后的无雾影像为

(5)

式(5)中：t0表示透射率下限。

王锋等[17]基于暗通道先验知识有效复原近景雾霾图像。缑新科等[18]基于暗通道理论优化透射率，有效去除包含天空区域的雾天图像。王娇等[19]基于暗通道改进出快速去雾算法，减少处理时间。由此可见，暗通道算法对遥感影像去雾有较好的效果。

2.2 同态滤波

由于雾在影像中对亮度的贡献值变化缓慢，属于低频成分，因此将影像转换到频率域，压缩低频而拉伸高频，即可达到去雾的效果。张文君等[20]基于同态滤波构建去雾模型，提升了SPOT-5遥感影像质量。李开伟等[21]基于同态滤波，实现无人机影像的清晰化处理。综上可知，同态滤波对去雾也有不错的效果。

一幅灰度影像可以表示为照射分量与反射分量的乘积[22]：

f(x,y)=i(x,y)r(x,y)

(6)

式(6)中：f(x,y)为影像灰度；i(x,y)为照射分量，属于低频；r(x,y)为反射分量，属于高频。

先对式(6)两端取对数，将等式右边的乘号转换成加号，以便进行傅里叶变换到频率域，其次使用滤波压缩低频成分而拉伸高频成分，之后进行傅里叶逆变换，最后取对数，即可得到处理后的影像。使用高斯同态滤波与线性同态滤波分别进行处理，并比较不同滤波处理对检测精度的提升效果，图2为同态滤波处理的流程图。

图2 同态滤波流程图Fig.2 The flow chart of homomorphic filtering

2.2.1 高斯同态滤波

高斯同态滤波即用高斯滤波器进行乘积操作，滤波器为

(7)

式(7)中：c表示形状系数，控制滤波形状；D0表示截止频率；D(u,v)表示滤波前图像；H(u,v)表示滤波后图像。

2.2.2 线性同态滤波

线性同态滤波即用线性滤波器进行乘积操作，设置高频与低频两个半径，对低频进行压缩，达到去雾效果，对高频进行拉伸，以突出地物边缘信息，其滤波器为

(8)

式(8)中：r1表示低频范围阈值；r2表示高频范围阈值；a为压缩系数；b为拉伸系数。

线性同态滤波处理示意如图3所示，将影像转换到频率域后，对中间区域的低频成分进行压缩，对四周的高频成分进行拉伸。

图3 线性同态滤波原理Fig.3 Principle of linear homomorphic filtering

3 试验及分析

3.1 数据集制作

开源的遥感影像目标检测数据集有很多，但都是基于良好天气，为探究雾天对目标检测精度的影响以及提出改进方法。选择google earth高分辨率遥感影像，制作雾天及良好天气下飞机目标检测数据集。实验区选取首都国际机场，获取了360张像素大小为512×512左右的影像，其中良好天气有330张，雾天有30张，将300张良好天气影像作为训练数据，良好天气与雾天各30张作为测试数据，影像分辨率达到0.5 m，数据示例如图4所示，使用LabelImg标注工具对影像中的飞机进行标注。

3.2 模型训练

在本次实验中，使用tensorflow框架实现SSD目标检测算法，所有的计算均使用同一台GPU服务器(显卡：Nvidia TESLA C2050)进行。首先设置SSD模型训练参数：初始学习率为0.001，采用指数衰减，优化器采用rmsprop，batch size为8，正负样本比例为1∶3。将300张良好天气影像导入模型中训练，模型在1 000步左右收敛，之后在3～6波动，训练到1 388步停止，损失函数的变化如图5所示。

3.3 实验结果及分析

在本文实验中，目标检测部分选择SSD单阶段检测算法，影像处理部分选择暗通道算法、线性同态滤波以及高斯同态滤波，分别对雾天及良好天气下飞机进行目标检测，并对比以上3种清晰化算法对目标检测精度的提升效果，将平均精度(AP)作为评判标准，其值是准确率-召回率曲线(P-R曲线)的积分面积。

3.3.1 雾天目标检测结果

用训练好参数的SSD算法分别对未处理雾天影像及3种清晰化算法处理后的雾天影像进行测试，结果如表1所示。可以看出，雾天对飞机目标检测精度有较大影响，而经暗通道、高斯同态滤波及线性同态滤波处理后，对检测精度有明显提升作用，其中线性同态滤波提升效果最佳，相比较原始SSD检测算法提高了0.505 9。

3种清晰化算法处理后雾天影像与原始雾天影像的P-R曲线如图6所示，可以看出，高斯同态滤波与线性同态滤波具有较大的积分面积，能较好提高模型的检测精度。

表1 雾天目标检测结果

图6 清晰化算法处理后P-R曲线对比Fig.6 Comparison of P-R curves processed by the sharpening algorithm

图7 飞机SSD检测结果示例Fig.7 Example of SSD test results of the aircraft

为直观展示3种清晰化算法的优化效果，随机选择部分飞机目标检测效果图，如图7所示，由此可见，雾天条件对影像视觉效果干扰较大，导致3幅影像有两幅影像中的飞机均未被SSD模型检测到，而3种清晰化算法处理后影像中的飞机均能被良好检测，其中，暗通道算法处理后的影像色调偏暗，而线性同态滤波与高斯同态滤波处理后的影像色调更自然。

3.3.2 模型的适用性分析

由上述研究可知，暗通道算法、线性同态滤波及高斯同态滤波均能提高雾天遥感影像目标检测精度，为验证clear-SSD具有适用性，使清晰化算法与SSD目标检测算法有机结合，则需考虑该清晰化算法对良好天气下飞机检测精度的影响。综合模型对雾天及良好天气影像目标检测精度，优选最具适用性的清晰化算法。

分别对原始良好天气影像及3种清晰化算法处理后良好天气影像进行测试，结果如表2所示，实验表明，原SSD算法对良好天气下影像目标具有较好检测精度，而暗通道算法、线性同态滤波及高斯同态滤波对良好天气下影像目标检测精度均有干扰，其中线性同态滤波影响更大。

表2 良好天气目标检测结果

据统计，北京地区雾霾天气比例约为10%，良好天气比例约为90%，则适用性精度可根据两者加权计算，结果如表3所示，由此可见，暗通道算法与高斯同态滤波处理后检测精度均比原始SSD高，分别提升了0.018 4与0.043。而线性同态滤波虽去雾效果最优，但对良好天气影像干扰较大，导致适用性精度降低0.070 4。因此线性同态滤波不适合作为前端清晰化算法，而高斯同态滤波具有更优的适用性。

表3 适用性精度

4 结论

以飞机为例，探讨雾天对遥感影像地物目标检测精度的影响，并提出有雾与无雾均能有效检测目标的clear-SSD模型，对比不同清晰化算法对精度提升的效果，研究发现：影像经高斯同态滤波处理后，其目标检测精度可达到0.984 3，相比原始精度提升0.043，具有最优的处理效果，因此，选择高斯同态滤波作为模型前端的影像处理部分组成clear-SSD模型。该模型不仅能检测良好天气下遥感影像地物目标，对雾天遥感影像目标检测同样具有较高精度，使模型具有适用性，弥补目前遥感影像目标检测只针对良好天气的不足。

对于在雾天提高遥感影像目标检测精度，研究还有一些不足的地方，有待在后续中进一步探索：

(1)对于暗通道处理后有部分影像偏暗的问题，可以找到一种自适应亮度调整算法，根据影像本身亮度大小来决定需增强的亮度，即可改善暗通道处理后地物目标检测精度，以及提高模型的适用性。

(2)对多区域多地物目标进行试验，说明clear-SSD模型的鲁棒性。