一种多尺度压缩感知的遥感图像超分辨重建方法

中北大学 信息与通信工程学院，山西 太原 030051

分辨率是遥感图像的重要特征，高分辨率的遥感图像对后续目标识别的精度有重要影响。受到客观条件和硬件设备的限制，实际获取的遥感图像分辨率受到一定的影响。图像超分辨重建技术基于信号处理和模式识别理论，可以对低分辨率图像进行处理以获取更高分辨率的图像。

图像超分辨重建方法按原理大致可分为3类：基于重建模型的方法、基于插值的方法和基于学习的方法。基于重建模型的方法[1−3]多用于多帧超分辨，多帧低分辨率图像间的运动估计误差会对超分辨效果产生较大影响。基于插值的方法[4−6]可以快速地对单帧图像进行超分辨，缺点是不易加入合适的先验信息。为克服以上缺点，机器学习理论广泛引入到超分辨领域，使基于学习的超分辨方法取得了巨大的进展。该类方法基于神经网络或者冗余字典进行超分辨重建。基于神经网络的学习方法需要按照经验设定较多参数，训练需要较大的运算量，并且存在泛化能力问题[7−9]。基于冗余字典的方法以稀疏表示和压缩感知作为理论基础，为求解图像超分辨重建这类典型的欠定问题提供了新的思路和方法，并且取得了较好的超分辨效果。文献[10−12]通过学习大量图像建立冗余字典，然后稀疏求解得到超分辨重建图像。由于建立的是单一字典，要求训练图像与要超分辨的图像具有一定的纹理相关性和算法的泛化能力。文献[13−14]将训练图像限定在要超分辨的图像本身，虽然一定程度上克服了上述问题，但字典是一次性的，并且低分辨率图像的纹理状况会对超分辨效果有一定的影响，比如过度模糊图像等。

由于图像纹理的复杂多样性，上述利用单一字典表示具有很大局限性。基于多字典学习将会改进超分辨的性能。文献[15−16]对学习的字典对进行聚类，分解成多个子字典，聚类的性能以及低分辨率块搜索所属类别的误差都将影响超分辨的效果。文献[17]按照图像块梯度大小将图像块分类，每类分别建立对应字典。该方法只根据图像块纹理复杂性进行分类而没有考虑图像纹理的方向性。文献[18]对每个图像块提取多个纹理，形成不同的子字典；超分辨重建阶段对每个低分辨率图像块都进行多次稀疏求解，提取纹理数目较多时计算量较大。由于小波变换可以将图像分解为多个频带且具有多分辨特性。但图像在小波域一般只能分解成4 个频带，具有一定的局限性和改进空间[19]。Contourlet 变换是小波变换在二维图像的推广，相比小波具有更多良好的性能，在Contourlet 域可以根据纹理方向建立更多的字典，取得更好的超分辨效果。

本文利用Contourlet 变换将具有复杂多样的纹理遥感图像高频部分分解为多个不同的频带，对应建立多个残余字典来表示。基于压缩感知理论在不同频带分别进行稀疏求解，获得超分辨重建遥感图像。

1 压缩感知和Contourlet 变换理论基础

1.1 压缩感知

假定信号x∈RN，y=Φx为对该信号的一次测量，其中Φ∈RM×N为测量算子。令x=Ψa，其中Ψ∈RN×N为固定基或冗余字典。若‖a‖0=S＜N，则称信号x相对于Ψ 是S稀疏的，并且 Φ与Ψ 具有一定的相干性。压缩感知理论[17−19]认为，在满足一定条件下，可以通过较少的测量信号y完美重建原始信号x。完美重建所需的测量数目与 Φ和Ψ 的相干性、x的稀疏性密切相关。

1.2 Contourlet 变换

Contourlet 变换是小波变换在二维图像空间中的扩展，保持了小波变换的多尺度和时频定位功能，同时具有捕捉图像多方向纹理的能力，可以更好地表示图像的二维几何结构[20]。Contourlet变换分2 个阶段：子带分解和方向分解。子带分解利用Laplacian 金字塔分解成多级频带。方向分解则利用方向滤波器组(the directional filter bank,DFB)将二维图像分解成整数次幂个锲形的方向频带。这2 个分解阶段是相互独立的，因此，每个级别可根据需要分解成2 的任意整数次幂个方向频带。

2 多尺度压缩感知超分辨重建

利用单字典表达复杂纹理图像有很大的局限性，利用多字典表达图像将会获得更好的效果。Contourlet 变换可以将图像分解成多个不同纹理方向的频带，并且具有多分辨特性。本文将利用多级Contourlet 变换建立多字典，基于压缩感知理论求解面向遥感图像的超分辨重建问题。

2.1 字典学习

字典学习即冗余字典的构建。假设Xb表示第b个 高分辨率图像块矢量表示，则Xb可以利用冗余字典D稀疏表示，两者关系为

Xb=Dαb

式中：D∈RN×K为冗余字典；αb∈RK为稀疏表示系数，且有‖αb‖0=r＜＜K。

核奇异值分解(kernel singular value decomposition,K-SVD)算法是一种有效的字典学习方法[21]。该方法借鉴K均值聚类的思想，通过求解式(1)所示的最优化问题同时获得冗余字典D∈RN×K和对应的稀疏表示αb∈RK。

式中T0为稀疏限制的阈值。

在Contourlet 域，假定将图像分解为M个频带，在各个频带分别求解式(1)，如式(2)所示：

式中：Xb,k表示第k频带第b块；Dk表示第k频带对应的冗余字典；αb,k表示对应的稀疏表达，k=1,2,···,M。

考虑到超分辨主要恢复图像的高频成分，只对高频成分进行分解并学习。字典学习与超分辨重建如图1 所示。

图1 字典学习与超分辨重建示意

字典学习算法步骤如下：

输入高分辨率图像(high resolution image,HRI)IH。

输出方向频带的字典Di(i=1,2,···,n)。

1)按照退化模型将输入高分辨率图像IH退化成低分辨率图像(low resolution image,LRI)IL；

2)对IL执行双立方插值，得到插值图像IBI；

3)将IH与IBI相减，得到输入HRI 的高频成分IHF；

4)对IHF进行多级Contourlet 变换；

5)在Contourlet 域各方向频带利用K-SVD 算法分别进行字典训练，获得多个方向频带的字典Di(i=1,2,···,n)。

2.2 超分辨重建

利用在Contourlet 域建立的M个冗余字典，通过稀疏编码即稀疏系数的求解可获得超分辨重建结果。在Contourlet 域M个频带分别求解如式(3)所示的最优化问题：

式中：Yb,k表示输入低分辨率图像双立方插值的高频分量第k频带第b块，k=1,2,···,M；Dk表示第k频带对应的冗余字典；αb,k表示对应的稀疏表达。

在稀疏求解算法中，正交匹配追踪(orthogonal matching pursuit, OMP)算法是对匹配追踪(matching pursuits,MP)算法的改进，在分解的每一步对所选择的全部原子进行正交化处理，收敛速度更快[22−23]。本文利用OMP 算法进行求解。超分辨重建算法步骤如下：

输入低分辨率图像IL。

输出超分辨重建图像ISR。

1)对输入低分辨率图像IL进行双立方插值得到插值图像IBI；

2)对插值图像IBI进行高通滤波，得到高频分量IHF；

3)对高频分量IHF执行多级Contourlet 变换；

4)利用训练的多字典，对Contourlet 域各方向频带进行稀疏编码，求取稀疏解；

5)将步骤4)学习所得的各频带稀疏解执行Contourlet 反变换，得到重建的高频分量IHC；

6)将IHC与IBI相加，得到超分辨重建图像ISR。

3 实验结果

3.1 冗余字典参数对超分辨重建的影响

冗余字典中的原子数目和原子的尺寸是2 个重要的参数，对超分辨重建的效果有一定的影响。采用实验的方法确定这2 个参数。首先选取10 帧1 024×1 024 的遥感图像作为训练图像，建立Contourlet 域冗余字典。单个字典的原子数目(字典尺寸)分别设置为8、16、32、64 和128，而单个原子的尺寸即图像块大小分别设置为3×3、5×5和7×7，共建立15 组字典。每组包含6 个子字典。选取另外20 帧256×256 的遥感图像退化成低分辨率图像，对退化图像分别基于上述15 组字典执行本文算法。基于每组冗余字典对算法结果图像求PSNR 和SSIM 值，并对20 组参数求平均值。PSNR 和SSIM 的平均值如图2 所示。

图2 残余字典参数对结果的影响

不考虑原子尺寸，PSNR 和SSIM 参数平均值都在字典尺寸为64 处达到最大值。在128 处反而有轻微的下降，这是由于字典尺寸过度冗余会导致过拟合以及测量矩阵和冗余字典的相干性增强，影响超分辨重建效果。因此，冗余字典的合适尺寸选取为64。另一方面，不考虑字典尺寸，PSNR和SSIM 参数平均值都在原子大小为5×5 处达到最大值。因此，图像块的合适尺寸应选取为5×5。

3.2 与其他方法对比分析

为证明本文算法有效性，基于建立的原子大小为5×5，数目为64 的冗余字典进行超分辨重建实验，与双立方插值、文献[10]的单字典算法和文献[17]的多字典算法进行比较。选取训练图像之外的3 组高分辨率遥感图像进行实验。首先对高分辨率原始遥感图像进行高斯模糊和1/2 倍行列下采样，得到低分辨率图像；对低分辨率图像分别执行相应算法，得到超分辨结果图像。实验结果如图3 所示，而图4 给出了图3 的局部纹理区域的放大结果。

图3 不同超分辨方法实验结果比较

图4 局部放大图像对比

可以看出，双立方插值图像比较模糊，分辨率较低。文献[10]单字典算法图像分辨率有了明显提高，而文献[17]多字典算法图像分辨率又高于单字典算法。本文算法结果图像取得了更好的超分辨效果，图像更加清晰，一些分辨不清的模糊纹理能够清楚地分辨出来。进一步进行定量分析，分别计算了峰值信噪比PSNR 和结构相似度SSIM 2 个评估参数，如表1、表2 所示。相比文献[10]算法和文献[17]算法，本文算法的PSNR平均值分别提高6 dB、3.4 dB，SSIM 平均值分别提高0.05、0.02。

表1 实验结果的PSNR 比较 dB

表2 实验结果的SSIM 比较

4 结论

1)针对传统冗余字典表达能力有限问题，本文提出了一种基于Contourlet 变换和压缩感知理论的多残余字典遥感图像超分辨重建方法。该方法将多尺度变换与压缩感知相结合，并利用残余字典代替冗余字典，在各高频子带建立对应的多个残余字典，圆满解决了遥感图像复杂纹理的训练和描述问题。

2)为获得最好的超分辨效果，通过实验验证了子残余字典和原子的最佳尺寸分别为64 和5×5。

3)实验结果表明，与其他相关超分辨方法相比，本文方法取得了良好的超分辨效果，视觉质量明显改善，PSNR 和SSIM 都有明显提高。进一步考虑图像块之间的相关性以及更深入的理论研究是下一步的研究方向。