一种优化的迭代反投影超分辨率重建方法

刘克俭，陈淼焱，冯琦

(中国人民公安大学 公安遥感应用工程技术研究中心，北京 100038)

0 引言

超分辨率(super resolution，SR)重建是指通过对单幅或多幅低分辨率(low-resolution，LR)图像进行处理，重建出一幅或多幅高分辨率(high-resolution，HR)图像的技术[1]。将超分辨率重建技术应用到卫星光学遥感图像处理中，利用卫星遥感图像进行超分辨率重建，提升遥感图像的空间分辨率，是目前遥感图像处理领域新的研究热点之一。充分利用我国日益丰富的卫星遥感图像数据，通过超分辨率重建这一图像处理技术，改善国产卫星遥感图像空间分辨率的质量，提高其空间分辨率，增强影像的可判读能力，扩大数据的使用范围，该项研究成果将具有重要的理论意义和实用价值[2-3]。

目前，按超分辨率重建的对象来分，可以分为：单幅图像的超分辨率重建与基于多幅图像的超分辨率重建。对于遥感图像自身的特殊性而言，因其拍摄的地表范围较广，所拍摄的地形起伏较大，配准精度难以满足多幅图像超分辨率重建的需求，而且高精度、亚像元的大幅面遥感图像配准研究也已经处于瓶颈期。因此，本文主要针对单幅遥感图像的超分辨率重建方法进行研究。针对单幅的超分辨率重建技术，国内外学者提出研究方法大致可以分为三类[4]：基于插值的超分辨率重建方法、基于重建的超分辨率重建方法、基于学习的超分辨率重建方法。

基于插值的超分辨率重建，经典的插值方法主要包括：最近邻插值、双线性插值和双三次插值[5]。这些方法主要通过图像已有的信息对未知像素进行估计实现插值放大，并非真正意义上的超分辨率重建，因为这些传统的插值方法在重建的过程中并未生成新的高频信息，所以重建结果常常出现据齿、振铃和模糊等视觉失真效应，对于复杂地貌的遥感图像而言，基于插值的重建方法很难从真正意义上提高遥感图像空间分辨率的质量。

基于重建的超分辨重建方法，此类重建方法是摄影测量与遥感领域研究的热点，也是超分辨率重建的主流方法。此类超分辨率重建方法可建立较为全面的观测模型，将复杂的全局和局部运动、光学模糊、运动模糊、空间可变点扩散函数、欠采样等影响图像质量的因素并入其中，并且能够充分利用空域先验知识进行约束，形式更加灵活，重建性能更好。空域法中主要包括[6-12]：凸集投影、最大后验概率、迭代反向投影算法等。迭代反投影算法作为基于空域的超分辨率重建的一种典型方法，最早由Irani[13]于1991年提出，该方法在提高图像空间分辨率时，对重建图像进行去噪处理，导致重建图像部分的边缘区域存在锯齿现象。

基于学习的超分辨率重建，在图像处理领域一些学者突破原有的研究思路，提出了基于学习的超分辨率重建方法[14-16]，其基本思想是：选取与输入影像含同类信息的影像作为训练样本数据，利用机器学习的方法获得高分辨率与低分辨率影像之间的关系，即先验知识，以指导其他低分辨率影像的超分辨率重建。近年来，随着人工智能的兴起，基于深度学习的超分辨率重建也得到了专家学者的广泛关注。基于深度学习的超分辨率重建需要大量的训练样本，对大数据量的样本进行训练，得到一系列的参数用于超分辨率重建，对于遥感领域而言，目前没有合适的训练样本库，而且相较于遥感图像的特殊性，此类重建方法在性能上还无法与基于重建的超分辨率方法相媲美，就目前而言还难以实现工程化。

综上所述，本文针对遥感图像的自身特点，权衡超分辨率重建的效果与性能，提出一种结合迭代反投影与限制对比度自适应直方图均衡化的遥感图像超分辨率重建方法。实验选取ZY-3全色影像作为原始数据，以降低重建算法复杂度，提高重建质量与速度为前提，实现高清晰、多细节遥感图像的超分辨率重建。

1 原理

本文基于卫星遥感图像数据的特点，筛选无云的遥感图像作为实验数据，结合迭代反投影方法与限制对比度自适应直方图均衡化[17]重建纹理细节丰富的高分辨率遥感影像，最后，通过灰度信息与梯度特征的优化模型进一步改善重建图像质量。本文超分辨率重建的技术流程如图1所示。

图1 超分辨率重建流程图

1.1 限制对比度自适应直方图原理

限制对比度自适应直方图是一种较好的细节增强方法，可以提升图像的高频细节信息。与普通的自适应直方图均衡算法不同，限制对比度直方图均衡化算法通过计算图像的局部直方图，然后重新分布灰度信息改变重建图像高频细节信息，在计算转换时通过裁剪直方图限制了局部细节的过度提升。如图2所示，在直方图均衡的过程中，对像素的领域进行对比度限制，将超出的部分修剪掉，被裁剪的区域重新均匀的分布到直方图中，从而生成新的直方图，这样可以防止细节信息被过度提升，同时可以有效降低重建过程中引入的噪声，从而增加重建的高分辨率遥感图像的局部纹理细节，达到提升高频细节信息的目的。

图2 CLAHE 裁剪再分配示意图

1.2 结合IBP与CLAHE的超分辨率重建原理

迭代反投影方法的核心思想是，假设重建的超分辨率影像接近真实的高分辨率影像，对重建的超分辨率影像进行降质，得到与输入的低分辨率观测影像大小一致的低分辨率影像，再将二者的误差投影到高分辨率影像上，随着误差的收敛而得到相应的重建的高分辨率影像。

(1)

图3 结合IBP与CLAHE的超分辨率重建

1.3 基于灰度信息与梯度特征的能量优化

有效的超分辨率重建算法除了改善影像分辨率与增加影像的细节信息之外，还必须使得重建后影像的灰度信息分布尽量接近参考影像，边缘结构更加清晰明显。因此，基于马尔科夫随机场理论，提出一种基于灰度信息与梯度域的能量优化模型。通过能量优化的方法对重建结果进一步优化，一方面，使得优化影像拥有参考影像的灰度分布，另一方面使得重建影像尽量逼近参考影像的梯度分布。形式上，该能量优化算法可以表示为：

(2)

式中：参数κ负责权衡这2个能量项，κ越大，高分辨率重建影像结果梯度分布越接近参考影像Iref的梯度分布；能量项Er代表参考影像Iref与重建影像Ih的灰度信息分布差异。全局的灰度分布能量优化Er(Ih|Iref)定义为：

(3)

式中：s为下采样因子；μ是一个调节因子，确保优化后的高分辨率影像与参考影像的灰度分布尽可能相近。

(4)

梯度域的优化则是为了使重建影像的梯度与参考影像的梯度差异尽可能的小，使图像的边缘结构更加明显清晰。

1.4 质量评价方法

为了更好地评价本文所提出的遥感影像数据细节增强的超分辨率重建结果，本文通过主观与客观相结合的方式对重建结果进行定量分析。由于本文选取的实验数据为真实的卫星遥感影像，与其对应的高分辨率影像并不真实存在，所以本文采用信息熵和平均梯度2个评价指标对重建效果做出客观评价[18]。

信息熵是用来表示任何一种能量在空间中均匀分布程度，能量分布越均匀，熵值越大，则影像中偏离影像直方图高峰灰度区的大小越大，所有灰度值出现的几率越趋于相等，则影像携带的信息量越大，信息越丰富。

平均梯度是指图像的边界或影线两侧附近灰度变化率大，其大小可用来表示图像清晰度。它反映了图像微小细节反差变化的速率，表征图像的相对清晰程度，平均梯度越大，图像层次越多，也就越清晰。

2 实验结果与分析

为验证本文提出的结合迭代反投影与限制对比度自适应直方图均衡化的遥感图像超分辨率重建方法的可靠性，本文以资源三号01星获取的正视2.1 m分辨率光学影像作为实验数据，通过对不同地貌类型的遥感图像进行超分辨率重建的实验，利用主观与客观双重评价对实验结果进行讨论与分析，通过对比实验验证本文方法的有效性。

本文选取3组实验数据进行举例说明，利用结合迭代反投影与限制对比度自适应直方图均衡化的遥感图像超分辨率重建方法进行2倍的超分辨率重建实验，并与双三次插值、迭代反投影方法以及非全局反投影方法重建影像进行对比分析，实验结果如图4～图6所示。

图4 道路的超分辨率重建结果

图5 乡镇的超分辨率重建结果

图6 山区的超分辨率重建结果

本文给出了不同数据类型通过不同重建方法的实验结果，图4～图6方框为对应区域的局部放大显示。从局部放大图可以明显看出，图4(b)、图6(b)为双三次插值结果，重建结果整体不是特别清晰，边缘结构较为模糊。图4(c)、图6(c)为迭代反投影法重建结果，重建图像细节信息不够突出。图4(d)、图6(d)为非局部迭代反投影方法重建结果，是对经典的迭代反投影方法的一个改进，重建影像效果要优于经典的迭代反投影方法，但重建图像纹理细节丰富度的提升依然没有改善。本文所提出的超分辨率重建方法，从图4(e)中可以清晰地看到道路中间线，图5(e)、图6(e)中可以看到重建图像地貌的纹理细节都比较清晰。为了客观定量地给出重建图像质量效果的改善情况，利用信息熵与平均梯度对重建图像进行质量评价，如表1所示。

表1 超分辨率重建客观评价结果 dB

通过客观质量评价结果可以看出，本文重建结果的客观评价指标都有明显的提高，3组实验影像的信息熵指标，本文算法的信息熵值比双三次插值高了0.85 dB，比迭代反投影法提升了0.67 dB，比非局部迭代反投影法提升了0.43 dB，同时评价梯度指标也有明显提升。为了对超分辨率重建算法的性能进一步分析，表2记录了不同实验数据通过迭代反投影法、非局部迭代反投影法以及本文重建方法的运行时间。

表2 不同重建算法的运行时间 像元

结合上述主、客观评价结果，与记录的重建时间可以看出，迭代反投影领域最新的非局部迭代反投影法方法与经典的迭代反投影法方法相比，虽然在重建影像的效果上有一定改善，但是其重建时间也是成数量级增长。本文的重建方法，相较于经典的迭代反投影法方法虽然耗时较多，但是相对于非局部迭代反投影法方法，确在提升重建质量的同时，显著提高了重建速率。由此可见，本文重建方法的复杂度相对较低，而且重建图像的效果也得到了明显提升。

3 结束语

本文提出结合迭代反投影与限制对比度自适应直方图均衡化的遥感图像超分辨率重建方法，通过限制对比度直方图弥补迭代反投影重建过程中缺乏的高频纹理细节信息。实验结果表明，相比于双三次插值、迭代反投影方法以及非局部迭代反投影方法，本文重建方法提高了重建影像的清晰度，而且在重建影像质量提高的同时，显著地提升了重建速率，适合于对时间性能要求较高的超分辨率重建应用。本文的不足之处在于只进行了2倍的超分辨率重建实验，对于更大倍数的超分辨率重建实验，如何更好地提供高频信息，还有待于进一步的深入研究。