基于卷积神经网络的无人机侦察图像去雨算法*

沈先耿，杨 勇，刘晓阳，王 鑫

（1.武警警官学院信息通信系，成都 610213；2.武警警官学院教研保障中心，成都 610213）

0 引言

无人机作为一种新型的作战力量，已经成为现代预警监视装备体系中的一个重要组成部分，在协同作战、体系作战、联合作战任务中发挥着重要的作用。其中，侦察无人机作为其中一个重要分支，在隐蔽侦察、预警探测等领域发挥着重要的作用。无人机在侦察过程中可能会受到各种恶劣天气的影响，比如雾、雪、雨等。这些恶劣天气在给无人机提供隐蔽的同时，也严重影响侦察无人机的视觉图像系统，导致侦察图像视觉效果明显降低，对战时决策与指挥产生不利影响。以下雨天为例，由于雨滴下落速度较快，且在空间上是随机分布的，因此，在摄像头的成像过程中，雨滴主要以雨线的形式在图像中呈现。雨线会使侦察图像的噪声明显增大，极大影响了侦察图像的视觉效果，进而影响目标匹配、目标识别和目标追踪的效果。

文献［1］提出了一种基于形状特征的去雨算法，该算法通过雨线的物理和亮度特性来去除雨线，但在大雨条件下，该算法无法检测到雨线，导致算法失效。文献［2］提出了一种基于雨滴亮度特征的去雨算法，该算法通过判断图像中的像素值是否超过阈值，来进行雨线判断。但当雨线与背景颜色差异较大时，容易造成漏检。文献［3］提出了一种基于相位一致性和光流估计的雨线检测方法，该方法效果较好，但过程较为繁琐，实时性不强。文献［4-6］提出了一种基于形态成分分析（MCA）的图像去雨算法，该算法虽能够有效去除雨线影响，但会造成部分图像细节丢失，从而导致出现图像模糊的问题。基于以上问题，本文根据无人机侦察图像的特点，提出了一种基于卷积神经网络的无人机侦察图像去雨算法，该算法通过提取侦察图像中相对平滑的纯雨区域作为训练样本输入卷积神经网络中进行训练，能够有效提取图像特征，得到训练好的卷积神经网络，实现图像去雨。

1 图像滤波

无人机在侦察过程中主要以低空航拍为主，因此，本文主要针对雨天无人机的航拍图像进行处理。文献［7-9］指出，在视觉成像系统极短的曝光时间内，雨滴在图像上会表现为静态的白点，且白点的亮度与背景无关。对曝光时间相对较长的无人机侦察图像来说，雨滴在向下降落的过程中，会表现成为一条较亮的雨线，且呈现为白色，如图1 所示。

文献［10］指出，一幅有雨图像可以看成雨线层图像和背景图像的线性叠加，侦察图像去雨的本质就是从含有雨线的图像中分离出雨线，提高背景图像的能见度。现有的去雨方法依据以下模型［11］：

图1 雨天无人机侦察图像

其中，I 为有雨的侦察图像，B 为背景层图像，R 为雨线层图像。本文采用双边滤波和引导滤波相结合的方法对图像进行滤波，将原始的侦察图像分解为低频子图ILF（背景层）和含有雨线的高频子图IHF（雨线层）。由于滤波后的高频子图IHF亮度较低，不适宜观察，本文对其进行亮度增强，结果如图2 所示。

图2 低频与高频子图

从图2 可以看出，低频子图中不包含雨线等纹理信息，而高频子图中既包含雨线信息，也包含树木、建筑物等纹理信息。图像去雨是将高频子图中的雨线信息去除后与低频子图融合得到无雨图像。

2 纯雨区域提取

由于无人机侦察图像中一般存在着较为复杂的纹理信息和相对平滑的天空、地面等区域，通过提取含有雨线的相对平滑区域，能够更好地训练卷积神经网络，提升去雨效果。由于在一幅照片中，雨线的下落倾斜角度基本一致，因此，本文利用雨线边缘像素点的梯度方向θ（x，y）和梯度幅值Mag（x，y）来进行统计分析，检测高频子图中的纯雨区域，则图像中像素点的梯度方向和梯度幅值定义如下：

其中，x 表示图像的横坐标，y 表示图像的纵坐标，g（x，y）表示图像在（x，y）点的灰度值，图3（a）为高频子图对应的梯度幅值图，可以看出，图像的边缘纹理和雨线边缘的梯度幅值相对较大，而其他相对平滑的天空、地面等区域梯度幅值皆趋近于0。图3（b）为雨线的梯度方向，雨线具有一定的宽度，对于雨线两边的像素点来说，两边像素的梯度方向处在同一条直线上，但两边的梯度方向正好相反。因此，相差180°的梯度方向可以归为相同的类别，需重新定义雨线的梯度方向：

3 卷积神经网络训练

为了能够有效提取纯雨区域的雨线特征，本文采用深度卷积神经网络来实现雨线的检测与去除，该卷积神经网络结构［12-13］可以表示为：

其中，h（p）为卷积神经网络，P 为卷积神经网络参数，为有雨高频子图像块，Ji为对应的无雨高频子图像块。通过不断训练卷积神经网络，使得有雨高频子图像块和无雨高频子图像块Ji间的差值D（P）达到最小，则认为该卷积神经网络已经训练到最优，此时的卷积神经网络参数P' 为最优网络参数，卷积神经网络结构如下页图4 所示。

由于在卷积神经网络不断的训练过程中，需要大量有雨和无雨的无人机侦察图像对，在现实中很难寻找到这些图像对，因此，采用Photoshop 软件对200 张无人机无雨侦察图像进行加雨操作。对每张无雨侦察图像增加不同粗细和不同方向的雨线，制作成10 张，总计2 000 张的有雨侦察图像集。将有雨和无雨训练集进行滤波和纯雨区域提取后，将高频子图像块输入卷积神经网络中进行训练，以获取最优网络参数。部分训练集样本如图5 所示。

文献［14］指出，在卷积神经网络中，不同尺度的感受野能够得到的特征信息是不同的。为了能够提取更为丰富的图像信息，提高训练过程中对非线性映射关系估计的准确性，提升网络的去雨能力。本文采用3 个不同尺度的感受野来聚合图像上分散的信息，以学习雨线特征。膨胀卷积能够使得感受野的大小以指数形式不断增长，同时也不会遗漏其覆盖的区域，则膨胀卷积定义为：

其中，X0，X1，…，Xn-1为一系列图像，k0，k1，…，kn-1为一系列大小为3×3 的滤波器，*2j为膨胀卷积。对于Xj+1中的某个元素p 来说，其感受野定义为得到Xj+1（p）这个结果所需的X0里的全部元素。在这里，将3 个通道中两个卷积层的膨胀因子分别设为（1，1）、（1，2）和（2，2），则得到的3 个特征图像的感受野分别为：5×5、7×7 和9×9。然后在每次递归过程中，采用多维向量对3 个通道的高频子图像块进行特征表示，而后将3 个通道的特征向量进行组合，得到样本的高频子图像块特征集合A。3 个通道之间的关系为：

图4 卷积神经网络结构

图5 部分训练集样本图像

其中，Wm1，Wm2为3 个通道中6 个不同卷积层的权重值，Bm1，Bm2为偏置项。3 个不同尺度感受野得到的特征集合A 总共包含n1张特征图像，而后利用该特征集合进行无雨高频子图像块的非线性映射估计。

采用大小为1×1 的卷积核与特征集合A 进行卷积，得到有雨高频子图像块特征与无雨高频子图像块特征间的映射关系：

其中，W2为卷积权重，B2为偏置项，为无雨高频子图像块特征。

4 无雨图像重构

将得到的无雨高频子图像块特征进行均值化，得到无雨的高频子图像块：

图6 无雨图像

5 实验分析

为验证算法的有效性，将分别对小雨图像和大雨图像进行试验。由于目前没有无人机侦察图像数据集，因此，本文选取rain100H 和rain100L 数据集进行测试，两数据集均为合成雨线数据集，且每张图像大小均不同。rain100H 为大雨图像数据集，rain100L 为小雨图像数据集。两数据集中的部分图像均含有类似于天空、地面等纹理相对平滑的区域。本文从两数据集中分别选取50 张，总计100 张样本图像进行测试，部分测试图像如下页图7 所示。

图7 部分测试图像

图8 3 种算法的实验结果

分别采用MCA（Morphological Component Analysis）算法、DSC（Discriminative Sparse Coding）算法与本文算法进行5 轮对比实验，每轮选取10 张大雨图像和10 张小雨图像进行实验。实验的硬件平台为Intel Core i5，2.3 GHz CPU，NVIDIA GeForce GTX 1050 Ti GPU，16 GB 内存，软件平台为MATLAB 2016a，实验结果如图8 和表1 所示。

从图8 中可以看出，在大雨情况下，MCA 算法和DSC 算法的图像去雨效果相对较差，均存在部分雨线。本文算法能够充分利用纯雨区域的雨线特征，去除图像中的雨线，去雨效果较好。在小雨的情况下，3 种算法虽均能够去除雨线影响，但MCA 算法和DSC 算法的细节纹理保持相对较差，图像存在小部分失真。这是由于MCA 算法和DSC 算法只对样本图像中低水平特征信息进行了应用，导致了当样本图像中存在与雨线同方向或者近似方向的纹理时，会使得两种算法对非雨线纹理信息进行错误处理，造成图像细节模糊。而本文算法通过对纯雨区域进行训练，能够充分提取出雨线特征，并通过利用高层次的图像特征信息，对雨线信息和非雨线信息进行准确区分，保留了原始图像的特征信息。

表1 3 种算法的运行时间

表1 为3 种不同算法在每轮实验中每张图像上的平均运行时间。从表1 中可以看出，本文算法的运行时间远小于另外两种算法，这主要是因为本文算法是在Caffe 的MATLAB 接口上实现的，主要是在GPU 上运行，而另外两种算法是在CPU 上运行，因此，本文算法的运行效率更高。

为了进一步证明所提算法对真实的雨天无人机侦察图像去雨的有效性，本文利用3 种算法对真实的有雨图像进行测试，结果如图9 所示。

图9 真实有雨图像实验结果

从图9 中可以看出，本文算法在真实的有雨图像中也能够有效地去除雨线，增强图像质量。

峰值信噪比（PSNR）和结构相似性（SSIM）是两种使用较为广泛的图像评价参数，能够有效反映出人对图像的主观感受。利用PSNR 和SSIM两种参数对3 种算法的去雨图像进行分析比较，得到3 种算法的峰值信噪比和结构相似性参数，如表2 所示。

表2 3 种算法的峰值信噪比和结构相似性

从表2 中可以看出，本文算法在PSNR 和SSIM两个参数上均高于MCA 算法和DSC 算法，说明本文算法在有效去除雨线的同时，能够较好地保留原始图像信息，进一步证明了本文算法的有效性。

6 结论

本文提出了一种基于卷积神经网络的无人机侦察图像去雨算法，该算法主要有以下两个方面的优点：一是能够根据雨天无人机侦察图像的特点，提取纹理相对平滑的纯雨区域进行训练，解决了侦察图像中其他细节纹理的干扰；二是通过卷积神经网络对纯雨区域进行训练，能够有效提取图像的深层特征，提升去雨效果。对比实验表明，本文算法无论是在合成有雨图像训练集还是真实有雨图像中，均能够有效去除雨线的影响，具有良好的去雨效果。