基于卡通-纹理分解的遥感图像融合方法

潘 多 周雪梅

(四川工商职业技术学院信息工程系 四川 都江堰 611830)

0 引 言

遥感图像分为高空间(低光谱)分辨率全色图像(PAN)和低空间(高光谱)分辨率多光谱图像(MS)[1]。由于现有技术的局限，许多遥感卫星很难同时获取具备高空间分辨率和高光谱分辨率的遥感图像。目前可用的是具有高空间分辨率的全色图像和多个具有高光谱分辨率的多光谱图像。随着对同时具备高空间分辨率和高光谱分辨率图像的需求的增加，研究人员提出一种泛锐化的图像融合方法[2]。因为具有丰富光谱信息的多光谱图像和具有高空间分辨率的全色图像在特性上具有互补性，全色锐化图像融合方法就是通过分解变换的方式将全色图像的空间信息融合到多光谱图像中，产生具有高空间分辨率和高光谱分辨率的融合图像。

全色锐化方法主要可分为两类:多分辨率分析方法和成分替代方法[3]。多分辨率分析方法采用多尺度分解方式，对目标图像进行多分辨率分解，将提取到的全色图像中的高频信息及相关细节注入多光谱图像。最常用的多分辨率分析方法如小波变换[4]、拉普拉斯金字塔(LP)[5]等在融合时会引入较多的人为噪声。成分替代方法是将多光谱图像变换到空间成分与光谱成分分离的新空间上，利用经过处理的全色图像对空间分量进行增强，然后经过逆变换得出具有高空间分辨率的多光谱图像。最广泛使用的成分替代方法主要是主成分分析(PCA)[6]和适应性IHS(AIHS)方法[7]等，这些方法操作简单，可以有效地消除部分冗余，但是存在容易产生光谱扭曲、空间分辨率不高的问题。基于纹理和卡通的几何特征分解也属于成分替代方法的一种。常莉红[8]利用卡通和纹理空间特征的差异性，通过学习获得的卡通字典和纹理字典对源图像进行融合。Lotfi等[9]提出一种基于卡通和纹理分解的全色锐化方法，将PAN图像和MS图像分解成卡通和纹理分量，在融合过程中使用了PAN图像中的纹理分量替换多光谱纹理分量，对遥感图像进行锐化。徐金东等[10]提出一种图像多尺度稀疏分解的新方法，利用离散余弦变换和曲波变换将遥感图像分解为纹理和卡通两部分，通过提取有效尺度下PAN图像的纹理成分和MS图像的卡通成分，采取稀疏重建的方式将两者进行融合。Gupta等[11]采用纹理检测和平滑样条插值的方式将图像分解为动画部分和纹理部分，有效地保存边缘信息。杜凯敏等[12]提出一种将图像块分类与图像卡通纹理分解相结合的图像重建算法，通过纹理类用形态成分分析算法将图像分解为卡通部分和纹理部分，然后对其分别训练高低分辨率字典，最后运用稀疏系数与高分辨率字典重建图像块。王一棠等[13]提出一种基于形态成分分析的多源图像融合方法，通过分离源图像中不同形态结构的卡通-纹理成分，设计卡通纹理判别字典学习模型，然后引入非局部均值相似性的一致性正则项来约束稀疏编码系数的解空间，最终获得性能更优的融合图像。

目前，大多数遥感图像的全色锐化方法都存在图像光谱失真的现象，只是在失真量上有所不同而已。减少光谱失真的方法是在图像融合过程中选择合适的像素和细节注入量。针对遥感图像全色锐化时光谱失真的问题，本文提出一种基于卡通-纹理分解的遥感图像融合方法。该方法首先通过特征分解将空间信息和光谱信息进行适当分离，然后采用全色纹理分量替换多光谱纹理分量，对遥感图像进行全色锐化。最后利用基于全色卡通分量的梯度能量函数来强化图像的边缘信息和空间内容。

1 基于卡通-纹理分解的图像融合方法

在图像处理中一个重要的问题就是将图像的不同特征进行区分，一幅图像f可以分解为卡通(u)和纹理(v)两部分，表示为f=u+v，其中卡通分量由边缘和边界的尖锐部分构成，纹理分量由图像的振荡或小尺度的特殊图案构成。图1给出了利用卡通-纹理进行图像分解的例子，卡通分量包括边界清晰的平滑区域和保留光谱信息，纹理分量表示空间信息。

(a) 遥感图像 (b) 卡通部分 (c) 纹理部分图1 多光谱图像分解

根据光谱图像数据中具有最少的几何细节这一特性，可以用卡通空间来描述光谱信息，空间信息可以通过卡通空间的正交补，即纹理空间来表述。由于纹理空间并不能完全描述空间信息，比较尖锐的边缘和边界信息会被弱化，但是在这个过程中，光谱信息可以完全被表征出来，不会出现信息丢失的现象。本文提出一种新的基于平移图像卡通分量的分解模型，在卡通和纹理空间中都进行全色锐化。

1.1 基于平移图像卡通分量的锐化模型

考虑到将锐化的边缘投影到卡通空间后，在全色锐化过程中将不会再被锐化。因此，本文提出新的分解模型是将空间分量投射到卡通空间中，同时强化边缘等重要的细节。图像的空间信息一般可以通过测量梯度场来表达，所以利用全色卡通分量的梯度可以提取出图像的边缘和边界。

鉴于上述分析，本文提出的新的图像分解模型如下:

(1)

式中：τ、μ是卡通分量u和纹理分量div(g)的平衡参数，g是非增光滑扩散函数即关于扩散图像的梯度强度的单调递减函数，γ是调整边缘强度的参数。E(u，up)表示能量函数:

(2)

式中：up是PAN图像的卡通分量。系数αi(i=1,2，…,L)是采用MS频带线性组合的方式对PAN图像进行近似，这些系数可以通过自适应的方法来获得。用这种方法计算得到的系数，可以提高PAN锐化图像的光谱质量。

本文提出的分解模型中，首先将PAN的图像分解成其卡通分量和纹理分量。然后利用式(1)分别对MS图像的光谱波段进行处理，利用PAN图像卡通分量的梯度增强MS卡通分量的边缘。最后将增强的MS图像的卡通分量转移到融合后的图像中，并且将纹理分量替换为PAN纹理分量。融合算法如下：

(3)

图2为基于卡通-纹理分解思路进行图像融合的示意图。

图2 基于卡通-纹理思路的图像融合示意图

1.2 锐化模型的数值算法

通过引入辅助变量的方式，将式(1)改为具有线性约束可分离的凸优化问题：

(4)

式(4)中优化问题的增广拉格朗日函数定义为：

(5)

式中：λ=(λ1,λ2,λ3)是拉格朗日乘子，βi>0(i=1,2,3)是函数中的惩罚参数。式(4)中的凸优化问题可以通过采用分离变量法进行求解。本文采用带高斯回归的交替方向乘子法(ADMM-GBS)快速求解模型：

(6)

式(6)求解等价于求解如下线性方程式：

(7)

式(7)可由离散的余弦变换(DCT)或者快速傅立叶变换(FFT)求解。

2) u-子问题对应的优化问题如下：

(8)

式(8)求解等价于求解如下线性方程式：

(9)

当边界条件应用一阶导数算子▽时，式(9)可由FFT或DCT求解。

3) (x，y，z)-子问题对应的优化问题如下:

(10)

式(10)中每一个子问题可以分别解决，x-子问题的优化问题如下：

(11)

式中：shrink是收缩算子，对于任意的参数c>0，收缩算子定义为：

(12)

y-子问题的优化问题如下：

(13)

可由下列线性方程求解：

(14)

式中：K表示线性算子，一般取K=I或β；I表示单位算子；β表示与空间不变点扩展函数相关的模糊矩阵。

z-子问题的优化问题如下：

(15)

1.3 分解模型的算法流程

(1) 选定合适的参数τ、μ、βi、γ输入；

(2) 初始化，k=0，λi=0；

(3) 迭代；

算法中矩阵M和H的定义为：

(16)

(17)

2 实 验

所有实验在一台配置为Intel(R) Core(TM)i5-3320 CPU @2.60 GHz和4 GB RAM的笔记本电脑上进行，所有测试均在MATLAB 2014a环境下实现。采用来自Pléiades卫星[1]和WorldView-2卫星[14]两组不同的遥感数据用以评价本文提出方法的性能，并将本文方法与主流全色锐化算法如基于SR的方法[1]、基于GIF的方法[7]、基于MWT的方法[13]和基于MO的锐化方法[14]等进行性能比较。

2.1 锐化结果评价方法

为客观评价锐化结果，采用常用的评价指标进行评价[15]：(1) 评价两幅图像相似度的相关系数值(Correlation Coefficient，CC)；(2) 全面反映锐化结果质量的合成图像无方向性全局相对误差(Erreur Relative Global Adimensionnelle de Synthese，ERGAS)；(3) 综合反映锐化结果相关度损失、亮度失真和对比度失真的通用图像质量指标(Universal Image Quality Index，UIQI)；(4) 计算参考图像和锐化结果之间角度向量绝对值的波谱角度映射表(Spectral Angle Mapper，SAM)；(5) 反映所有通道平均光谱表现的相对平均光谱误差(Relative Average Spectral Error，RASE)；(6) 直接计算两幅图像像素值差异的均方根误差(Root Mean Square Error，RMSE)。其中CC和UIQI的理想值为1，而ERGAS、SAM、RASE和RMSE的理想值为0。

2.2 Pléiades卫星数据

Pléiades卫星可以提供0.8 m分辨率的单波段PAN图像和3.2 m分辨率的4波段MS图像。本文方法与其他方法的融合结果如图3所示。分解PAN图像时，选择参数为τ=0.1，μ=5×10-4，β1=6，β2=β3=5，γ=0.01；分解MS图像时，选择参数为τ=2×10-2，μ=5×10-2，β1=10，β2=5，β3=1，γ=0.1。通过80次迭代后获取PAN和MS的图像组件并采用不同方法进行图像融合。从图3中可以看出，本文算法和大多数对比算法的锐化图像在光谱方面取得较好的效果，均提高了MS图像的分辨率，只有基于MO的算法在锐化过程中出现了光谱失真的现象，锐化结果颜色偏白。

(a) MS原图 (b)PAN (c) 参考图像

(d) 基于SR(e) 基于GIF(f) 基于MWT

(g) 基于MO (h) 本文方法图3 不同方法处理Pléiades卫星数据的锐化结果

表1给出了图3中结果的质量指标。从表1可见，本文算法在CC和UIQI指标中的结果最高，在ERGAS、SAM、RASE、RMSE指标中的结果最低，因此本文方法在Pléiades卫星数据的锐化结果明显优于其他方法。

表1 Pléiades卫星实验数据的评价指标

2.3 WorldView-2卫星数据

WorldView-2卫星可以提供0.46 m分辨率的单波段PAN图像和1.8 m分辨率的8波段MS图像。该方法与其他方法的融合结果如图4所示。分解PAN图像时，选择参数为τ=1.3×10-3，μ=10-3，β1=20，β2=β3=5，γ=0.01；分解MS图像时，选择参数为τ=3×10-2，μ=1.25×10-2，β1=16，β2=4.5，β3=1，γ=0.1。从图4可以看出，在所有方法中都可以观察到光谱失真的现象，在近视图中的草地区域产生不自然的颜色，所提出的方法获得的结果在整体性能上最接近参考图。

(a) MS原图 (b) PAN (c) 参考图像

(d) 基于SR (e) 基于GIF(f) 基于MWT

(g) 基于MO(h) 本文方法图4 不同方法处理WorldView-2卫星数据的锐化结果

如表2所示，客观质量与主观评价一致，本文方法在CC、ERGAS、UIQI、RASE和RMSE指标方面表现出良好的客观效果。此外，SAM值与图像的光谱类型有关，因此，获得最佳值的方法不是固定的。

表2 WorldView-2卫星实验数据的评价指标

3 结 语

针对当前遥感图像在锐化过程中存在光谱失真和模糊的问题，本文提出一种新的基于卡通-纹理分解的全色锐化方法，在保留光谱特征的同时提高空间信息。该方法首先利用特征分解将遥感图像分解为卡通、纹理空间，然后将全色纹理分量替换多光谱纹理分量，最后，利用全色卡通元素的梯度强化图像的边缘信息。实验结果表明，与其他经典的锐化方法相比较，本文方法在空间和光谱质量方面都有较好的性能。