RAISR算法在遥感图像超分辨率重建中的可行性

卜丽静，吴文玉，张正鹏

(辽宁工程技术大学 测绘与地理科学学院，辽宁 阜新 123000)

0 引言

近年遥感技术迅猛发展，遥感图像的应用领域越来越广泛。但在图像获取过程中，由于成像硬件、环境、平台等方面的影响，都会造成图像分辨率的下降[1]。由于从硬件方面改善图像分辨率花费较高，所以利用软件手段提高图像质量备受关注，其中超分辨率重建技术是一个主要的研究热点。

超分辨率图像重建是指由同一场景的低分辨率退化图像或图像序列，重建出一幅或多幅清晰的高分辨率图像[2]。单帧图像的超分辨率重建是指只有一幅低分辨率输入图像的超分辨率重建[3]。该技术可以提高航空、航天遥感图像的空间分辨率，从而提高目标监测与识别的精度[4]，可以应用到监测森林火灾[5]、监测粮食作物的健康状况[6]、防盗监控和交通监控[7]等方面，对军用和民用领域都具有十分重要的意义[8]。目前，图像超分辨率重建方法可以分为基于插值、基于重建、基于学习的方法。综合国内外的研究可以看出，基于学习的重建算法已经成为此领域的主流算法，其重建效果远远高于其他算法[9]。但其仍存在一些问题，如先验阶段学习复杂、处理过程耗时长、处理后图片存在伪影噪声等影响质量的因素，图像视觉效果不理想等。为避免这些缺点，RAISR[10]算法在以往基于学习的基础模型上对滤波器管理、去除伪影、增加视觉效果等方面加以优化，其速度比目前的主流算法如A+类算法，快1到2个数量级，并且内存要求极低，这对数据量极大的遥感图像处理具有重要意义。

本文首次引用并优化RAISR算法，首先在原算法基础上，针对遥感图像建筑物边界出现模糊以及振铃效应等问题，对RAISR滤波器参数进行优化；其次为了增加结果中的边缘等细节信息，在训练过程中增加了对训练集图像的处理；最后使用多组遥感数据集训练，对遥感图像进行超分辨率重建实验，探讨了优化RAISR算法的可行性。

1 图像成像模型和学习方法超分辨率重建框架

1.1 图像成像模型

遥感图像的成像(降质)是指高分辨率遥感图像x经过模糊、降采样、噪声等退化过程得到低分辨率遥感图像Z的过程[11]，如式(1)所示。

Z=DsHx+V

(1)

式中：Z∈RM×N是低分辨率遥感图像；x∈RMs×Ns是原始高分辨率遥感图像；s为放大系数；V为噪声；H∈RMNs2×MNs2为降质矩阵；Ds∈RMN×MNs2为下采样算子。在图像超分辨率处理中，目标是从已知的度量Z中恢复未知的底层图像x。

1.2 基于学习的超分辨率重建框架

基于学习的方法是近年来超分辨率算法中的研究热点。现有的基于学习的单帧图像超分辨重建方法可以分为5类：基于k-近邻(k-NN)学习、基于流形学习、基于超完备字典学习、基于实例回归和基于深度学习[12]。大部分基于学习的超分辨率算法主要分以下3步，流程如图1所示。

图1 学习方法流程图

1)构建训练集。获取HR(高分辨率)图像，按照降质模型，进行降质，生成对应的LR(低分辨率)图像，产生训练集。其中，降质模型不固定，如进行线性降质处理。

2)学习阶段。根据HR图像的低频部分和高频部分的对应关系，对图像分块，通过一定算法进行学习，获得先验知识，建立学习模型。

3)升级阶段。以输入的LR块为依据，在建立好的训练集中搜索最匹配的滤波器，最终形成HR图像。

2 RAISR遥感图像超分重建原理

2.1 RAISR算法框架

RAISR是Google在2016年推出的一项图像超分辨率新算法，它的优势是速度快而且可以避免产生混叠效应[13]。RAISR属于基于实例回归的方法，主要步骤分为学习阶段和升级阶段，其核心思想是在学习阶段，基于LR和HR训练图像块对学习一组滤波器；在升级阶段，输入LR图像进行双线性插值，通过在图像块上应用预先学习的滤波器，来提高插值图像质量。其中，应用哈希机制对滤波器进行存储与应用。为避免超分辨率重建后的HR图像出现伪像，对HR图形统计变换混合。学习和升级过程如图2所示。

图2 RAISR算法流程图

2.2 RAISR算法中的关键问题

RAISR算法在以往基于学习的基础模型上，针对先验阶段的学习复杂、数据量少、处理过程耗时长、处理后图像效果不理想、超分图像结构发生重大改变等问题，在滤波器计算、分类、存储，以及图像后处理等方面加以改进。

1)滤波器的选取。滤波器的选取依据是应用最小二乘法，求得训练集中LR图像的双线性插值图像与HR图像之间的欧几里得距离最小化的矩阵。如式(2)所示。

(2)

式中：i=1，2，…，L；h∈Rd×d是d×d大小的滤波器；Ai∈RMN×d2是由LR图像的双线性插值图像提取的大小为d×d的小块组成的矩阵，每个小块在矩阵中形成一行；矢量bi∈RMN由来自HR图像的像素组成，对应于LR图像的双线性插值图像块的中心坐标。

矩阵A的大小由图片像素多少决定，RAISR为避免A过大、滤波器计算复杂度过高，采用2种方法控制。方法一，提取训练图像上部分可用图像块，通过像素数量的减少，控制A、b的大小；方法二，重建求解滤波器公式。以一个滤波器为例，如公式(3)所示。

(3)

2)滤波器的分类。本文按图像块的位置、角度、强度、相干性，对滤波器进行分类。

LR图像经过插值方法实现上采样，其中插值方法以及放大倍数都将影响滤波器的类型。以简单双线性插值为例，在每个轴上放大2倍，原LR图像的每个像素插值为4个像素，对应于插值位置的不同，有4种不同的插值内核。对应不同插值内核，滤波器也需要分成4组。由于插值内核种类与像素位置有关，超分辨率重建过程中可根据像素位置的不同，调用不同类型滤波器进行图像处理(图3、图4)。

图3 在学习阶段应用4种滤波器技术路线图

图4 在升级阶段应用4种滤波器技术路线图

通过利用每个像素的周围梯度来计算角度、强度和相干性，即对于第k个像素，考虑位于k1，…，kn的所有像素。基本方法是计算2×n矩阵，该矩阵由第k个像素周围的水平和垂直梯度和组成，表示为式(4)。

(4)

(5)

强度用最大特征值的平方根计算，局部梯度用较小的特征值的平方根计算。这2个特征值组合成一个称为“相干性”的无单位量度[14]。相干值的范围从0到1，表示为式(6)。

(6)

3)滤波器的存储及优化。滤波器采用哈希机制存储。哈希表(Hash table)，又称散列表，是根据关键码(key)直接访问数据的数据结构。它通过一个关键码的函数将所需的数据映射到表中的位置，来访问数据，以加快查找速度。这个映射函数叫作散列函数，存放记录的数组叫作散列表。

基于该算法对遥感图像进行超分辨率处理，需要学习大量滤波器。若对这些滤波器进行简单储存，在构造和使用过程中搜索量巨大，相比于其他算法运算速度缓慢，如基于稀疏的方法或基于神经网络的算法。针对这一问题，可以应用聚类的方法。然而，聚类导致算法总体复杂性增加。因此，本文采用高效的哈希方法存储滤波器，其中将哈希表的关键码设置为图像块的位置、角度、强度、相干性。

滤波器组的稳定性与训练图像块数据量的大小有关系，同时图像块存在相同、相似的情况，每个图像块也可以进行4个90°旋转和4个镜像90°旋转。由于每个原始图像块生成8个图像块，因此可有效地将8倍的信息用于学习，该变换简称为8×变换。

4)超分图像结构优化。为避免超分后图像结构发生重大改变，提出一种后处理混合方法，即在最后阶段，应用基于统计变换的边缘检测混合方法。统计变换是一种非参数变换，主要用来表征图像的局部结构特征，能够比较好地检测到图像中的边缘特征。具体过程为：计算双线性插值图像的统计变换值，将统计变换值中1出现的频率作为权重，根据权重判断边界，进行替换。

2.3 遥感图像特征分析及参数优化

由于RAISR算法起源于自然图像处理，原训练集以自然图像为主，本文以遥感光学图像为研究对象，探讨算法的可行性。遥感卫星的飞行高度一般在600 km以上，是在距地表几百公里以外的星下点获取图像，从俯视的角度拍摄地球表面上的地物信息。因此，遥感图像和自然图像在成像内容和地物特征方面有很多差异。遥感图像反映的信息内容主要有波谱信息、空间信息和时间信息；它的成像幅宽比普通自然图像大，探测范围大尺度小、包含地物类别多、地物特征复杂，如居民地建筑、河流、森林等。而且，遥感图像包括的类别较多，如光学图像、SAR(synthetic aperture radar)图像、夜光遥感图像等。自然景物图像拍摄的场景范围小、尺度大，以生活场景为主要内容，如街道、人物、车辆等。

基于以上不同，本文在用RAISR算法进行超分辨率重建时提出3个方面的优化。

1)构建4组高分辨率遥感图像训练集。训练集图像来源于UC Merced数据集和合肥地区地物数据集。UC Merced数据集包含21类场景图像，每一类有100张，图像大小为256像素×256像素，像素分辨率为0.30 m。这些图像是从美国地调局收集的、全国各个城市地区的大型图像中手动提取的。合肥地区地物数据集总包含5类场景图像，每类有100张，图像大小为256像素×256像素，像素分辨率为2.38 m。这些图像是从合肥地区的谷歌影像手动提取的。

2)为增强重建后图像的边缘和纹理信息，减小振铃效应，优化滤波器的设置。原RAISR算法部分参数设置如下：滤波器大小11×11、梯度计算邻域9×9、角度分类24、相关性分类3、强度分类3。该实验训练阶段的基本思路为：将4组训练数据集利用双三次插值生成低分辨率图像，构成高低分辨率图像对，通过前文所述原理，生成4组滤波器。对第1组滤波器的高分辨率图像进行锐化处理，使滤波器带有内置锐化效果，同时更改滤波器与梯度计算邻域为7×7和5×5，生成第5组滤波器；更改滤波器与梯度计算邻域大小为5×5和3×3，生成第6组滤波器；更改角度分类为12，生成第7组滤波器；更改角度分类为36，生成第8组滤波器。

3)针对训练集的高分辨率图像本身存在一些细小干扰会导致超分辨率重建后的图像引入更多噪声的问题，增加对训练集高分辨率图像的锐化处理。本文采用USM(unsharp mask)方法进行锐化。该方法可以去除一些细小的干扰细节和噪声，比一般直接使用卷积锐化算子得到的图像锐化结果更加真实可信[15]。见式(7)。

y(n，m)=x(n，m)+λz(n，m)

(7)

式中：x(n，m)为输入图像；y(n，m)为输出图像；z(n，m)为校正信号，一般是通过对x进行高通滤波获取；λ是用于控制增强效果的一个缩放因子，本文λ设置为0.3。

3 本文方法超分辨率重建实验

3.1 实验数据集构建

实验采用UC Merced土地使用数据集和合肥地区地物分类数据集为训练集。测试图像包括：分辨率为0.30 m的UC Merced土地使用数据集原图和下采样图像、分辨率为0.60 m的QuickBird遥感卫星图像、分辨率为2.38 m的合肥地区地物分类数据集buildings类图像、分辨率为10 m的Spot 3遥感卫星图像。训练集详细参数见表1。

表1 4种训练集的参数

3.2 实验相关参数

测试阶段分为仿真实验和真实实验，测试图像首先应用双线性插值放大2倍；然后利用训练完成的滤波器对图像进行超分辨率重建；最后对超分辨率图像进行结构优化。同时，对比其他超分辨率方法进行质量评价，评价指标为PSNR、SSIM、结构熵、能量梯度及视觉效果，并分析超分效果及原因。

3.3 仿真数据对比实验

该实验的基本思路为：选取10幅UC Merced土地使用数据集的2倍下采样图像作为测试集，分辨率为0.6 m，应用双线性插值，以及训练集生成的5个滤波器对图像进行超分辨率重建，生成9组图像。选取一组图像展示，如图5所示。超分辨率重建过程完成后，以原始的高分辨率图像作为参考图像，与6幅超分辨率成果图进行质量评价(表2)，并分析影响重建效果的因素。

图5 不同滤波器超分辨率重建细节对比图

表2 不同滤波器超分辨率重建质量评价

应用以上方法，对图像进行超分辨率重建，通过对超分辨率结果进行定性定量评价，可以发现：①运用双线性插值对图像进行超分辨率重建，重建图像模糊边缘平滑，色彩对比度小，像素无明显位移，整体质量低于其他组；②运用滤波器1对图像进行超分辨率重建，重建结果图像清晰边缘明显，相比双线性插值图像质量明显提升，可恢复更多细节信息，色彩对比度适中，接近原高分图像，像素无明显位移，存在少量振铃效应；③运用滤波器5对图像进行超分辨率重建，图像质量最高，图像清晰边缘更明显，有效减少振铃效应；④运用其他滤波器对图像进行超分辨率重建，重建效果一般。总结原因：RAISR可有效提高超分图像质量；训练集越大，超分辨率效果越好；选用同类地物图像构建训练集，重建效果更理想；训练图像经过锐化、去噪、滤波器参数调优，可有效提高超分辨率效果。

3.4 真实卫星数据对比实验

利用滤波器5，对不同分辨率图像进行超分辨率重建，然后进行质量评价，并分析影响重建效果的因素。各图像原图、双线性插值图及超分辨率结果图如图6至图9所示。

图6 0.30 m分辨率图像实验结果

图7 2.38 m分辨率图像实验结果

图8 0.60 m分辨率图像实验结果

图9 10 m分辨率图像实验结果

应用以上图像进行超分辨率重建，通过对结果进行定性、定量评价对比(表3)，可发现：①图像1和图像3重建结果的图像清晰，边缘明显，可恢复细节信息，像素无明显位移，伪影较少，重建效果较好，且图像3的重建质量提升百分比更高；②图像2的边缘明显，可恢复细节信息，但图像边缘出现白点，存在振铃效应明显，定性评价差，重建效果一般；③由于原图像模糊，图像4重建结果模糊，边缘平滑，无明显细节信息，重建效果不理想。总结原因：

表3 4幅图像超分辨率重建质量评价

RAISR可有效提高超分辨率图像质量；图像3重建结果与训练集图像分辨率更接近，重建效果最理想。

4 结束语

本文主要探讨了RAISR算法在卫星遥感图像的超分辨率重建的可行性。实验采用了多组高分辨率遥感图像作为训练集，对不同分辨率的遥感图像进行超分辨率重建，对比了不同方法、不同条件下实验处理结果，并进行了定性、定量评价。实验结果表明：

1)优化的RAISR算法可应用于遥感图像重建，其重建结果清晰、细节信息恢复较好、重建速度较快，相较于未优化的RAISR算法，可有效减小振铃效应。

2)应用优化的RAISR算法重建图像，训练集所含图像数量越多，重建效果越理想；训练集图像与重建图像结构越相似，重建效果越理想；训练集图像与重建后图像的分辨率越接近，重建效果越理想；重建图像的噪声越少，重建效果理想。

3)运用优化的RAISR算法对图像进行超分辨率重建，所用时间较少。

4)RAISR算法抗噪性差，不适宜直接对含有较多噪声的图像进行超分辨率重建。