一种新的IHS图像多次融合的方法

贺国栋+石跃祥+龚伟

摘 要：本文针对传统的IHS变换图像融合方法在处理高分辨率图像和多光谱图像融合时出现的光谱退化现象的不足，对已有的传统和改进的IHS图像融合算法进行了研究，提出了一种新的基于IHS变换的像素级多次融合的方法框架，我们在将IHS变换后匹配得到的I分量和高分辨率图像之间的替换策略进行改进，采用两种或者多种互补的像素级图像融合算法进行图像的多次融合得到新的I分量，然后采用IHS逆变换获得最后的融合图像，同时实现了传统IHS变换融合和SWT变换融合，根据主观判定和客观评价指标对融合结果进行了评价。实验仿真结果，本文方法在融合质量以及视觉效果上都有相当不错的提高。

关键词：IHS;图像融合;多次融合

中图分类号   文献标识码  A

A NEW MULTIPLE FUSION METHOD OF IHS-IMAGE

He Guodong*  Shi Yuexiang  Gong Wei

（College of Information Engineering of Xiangtan University， Xiangtan 411105，Hunan，China）

Abstract：Based on the shortage of the spectral degradation phenomenon occurred in process of dealing with the fusion of the high-definition picture and the multispectral image by the traditional image fusion method of IHS transformation， this paper studies the existing IHS image fusion algorithm and the modified one and then puts forward a new pixel multiple fusion method based on IHS transformation. We improves the replacement policy between the I component and the high-definition picture gained following IHS transformation， adopts two or multiple complementary pixel image fusion algorithms to get the new I component， and then adopts IHS inverse transformation to get the final blending image. We also evaluatethe fusions results according to the subjective judgement and objective evaluation index.. Results of simulated test show that， compared the traditional IHS method with the SWT transform fusion method， the method makes the fusion quality and the visual effect gain a quiet great improvement.

Key word：IHS ;image fusion ;multiple fusion

1  引言部分

随着传感器技术的快速发展，图像遥感技术的应用已经被广泛的应用到了社会实践的各个领域。使用卫星地图给我们人类的生活提供了各种各样的便利。但是，传统的只从单一的传感器上获得的信息不够丰富，也不够准确。很多情况下，我们需要从多个传感器所获取的图像中综合相关的信息，这显然需要图像融合技术来实现。从二十世纪七十年代开始，简单的传统融合方法伴随着其他技术的发展已经开始出现。图像融合技术也逐渐地发展到了今天，已经跨越到了多尺度、多分辨分析的图像融合框架上。相比于国外图像融合技术的发展，国内起步比较晚，许多科研机构和学术研究员们只能借鉴国外的先进技术并不断地改进和创新，在如我国星载和机载SAR图像融合方面[1]取得了不小的成效。目前的图像融合技术基于不同角度有多种划分，我们按照对数据源图像的处理程度可以将其划分为像素级别融合、特征级别融合和决策级别融合 [2]。

传统的IHS变换的融合方法凭借其实现起来简单，在处理遥感图像的融合中，能明显地提高多光谱图像的空间分辨率，达到较为理想的效果，使得该融合算法得到广泛的应用[3][4]。本文研究了传统的IHS变换融合以及一些改进的IHS变换融合方法，针对已有方法在融合效果上有光谱退化的不足，提出了一种新的基于IHS变换的像素级多次融合的方法框架，并进行了图像融合仿真验证，选取了主观和客观的双层指标对多种融合方法的结果进行了评价。本文的研究工作是基于像素级的融合方法。

2   IHS变换融合算法

目前，在处理彩色图像的空间表示上，除了RGB颜色模

型被大家使用外，IHS颜色模型也得到了广泛的使用，这是因为后者与人感受颜色的方式更为相近，有着更好的视觉表达。文献[7]中详细描述了从RGB空间到IHS空间的相互变换。彩色图像在IHS颜色空间里，I用以表示图像的强度（以下简称I分量），主要表示图像的空间分辨率;H表示色调（以下简称H分量）;S表示饱和度（以下简称S分量），H与S主要表示图像的光谱分辨率。IHS变换融合的算法框架是将原始的多光谱图像经过IHS变换矩阵的运算得到各个分量，再将原始的高分辨率图像直接代替I分量作为新的分量，然后使用逆变换矩阵得到高空间分辨率的多光谱融合图像。传统的IHS变换融合算法其步骤如下：

步骤1  将多光谱图像中在RGB颜色空间的基础上与IHS的转换矩阵进行运算，这样就得到了I、H和S三个分量，并与高分辨率图像进行相应的配准处理;

步骤2  将高分辨率图像直接替换第一步中得到的亮度分量I，成为新的分量I;

步骤3 将第一步中的光谱系数（H、S分量）与第二步中的亮度系数（I分量）进行逆变换的运算在转换到RGB空间表示。

传统的IHS变换融合算法，在替换策略上，使用高分辨率图像直接替换了多光谱图像中的I分量，但是，由于成像原理和时间的不同，使的俩者的相关性较差，导致最终的融合图像有光谱退化的现象;同时，IHS变换后的三个分量只是相对独立，并不能完全隔离I分量的光谱信息，实际上在I分量上仍会保留一些光谱信息，直接进行替换会造成这些信息的丢失，产生一定的光谱扭曲现象。

3  基于多次融合的IHS变换融合方法

为得到高分辨率的多光谱图像，我们在替换策略上需要保留多光谱图像的I分量，因此需要改变I分量与高分辨率图像的融合策略，针对不同融合算法的优缺点，通过对俩种或多种算法的融合结果再进行像素选择融合得到最终的融合图像[8]，即基于多次融合的想法进行改进。

图1 基于IHS变换的多次融合的算法框图

多次融合效果的好坏主要取决于融合算法的选取，我们考虑已有的像素级融合算法之间的互补性进行选取，本文中，我们在融合算法1、算法2上分别使用加权平均融合和梯度选大融合算法，加权平均融合模糊了图像的边缘和轮廓，而梯度选大融合算法是选取清晰的边缘作为融合图像的边缘，弥补了加权平均算法的缺点，再通过像素选择算法选取对比度大、清晰的像素作为最终融合的结果。

3.1  加权平均算法

算法的思想是将俩幅已配准图像的对应像素的灰度值进行加权运算，得到新的灰度图像。假设I分量图像和高分辨率图像P，加权平均融合过程可表示为：

3.2  梯度选大融合算法

我们依循所选取的两种算法之间有互补的思想，为了弥补平均融合算法对图像过于平滑的处理，使用梯度算法是为了更好的提取到图像的边缘信息，因此，我们首先考虑方向和幅度两个特征值。通常，像素的变化平缓的是沿图像边缘方向，边缘上的这种变化可以用算子检测出来。Roberts算子、Sobel算子和Prewitt算子是常用的一阶导数检测算子;我们经常使用的Laplace算子是基于二阶导数的边缘检测算子。在实际的运算中，我们选取一个3*3的模板，将图像中的每个像素点与我们选取的模板作矩阵运算，同时规定一个阈值用以提取图像的边缘。

本文采用的是一阶梯度算子，对于图像，我们定义它的梯度为：           （4）

如果图像在该处存在边缘，则会存在较大的幅度值;而图像中较光滑的部分，灰度值的变化就会较小，有较小的幅度值

梯度选大融合算法的思想是通过比较像素点的幅度值，选取相应像素点幅度值大的作为融合图像的像素值，其过程为：

通过上述可以得到最终的融合后图像。

4  实验结果及分析

本文为验证改进算法的正确性和图像融合效果，对来自于多个区域、不同卫星的遥感图像进行了编程融合实验。算法由Matlab7.1编程实现，计算机配置为：CPU为Intel（R）Core（TM）i5-2320，主频3.00GHz，内存DDR3—4GB。图2中（a）是某区域的多光谱原始图像，（b）是对应区域的高分辨率原始图像，图（c）（d）（e）的融合结果分别是传统的IHS变换融合、SWT变换融合以及本文论述的方法所获得的结果。

（a）原始多光谱图像                 （b）原始高分辨率图像

（c）传统IHS算法的融合结果       （d）小波变换（SWT）融合结果

（e）本文算法的融合结果

（a）原始多光谱图像                 （b）原始高分辨率图像

（c）传统IHS算法的融合结果       （d）小波变换（SWT）融合结果

e）本文算法的融合结果

图2 不同算法下的遥感图像融合效果

主观评价上，三种方法都使得多光谱图像的清晰度得到了较大的提高，是融合图像的信息更加丰富了，更利于机器的图像处理和人为地识别。如（a）中原本不清晰的建筑边缘和田地纹理在融合图像中都得到了增强。但（c）中树林的部分色度信息与（a）相比变化较大，即传统方法的融合记过产生了一定的光谱退化现象。而（d）（e）中的色度与原始图像更加相近，说明SWT变换融合方法和本文提出的方法不仅提高了多光谱图像空间分辨率，而且同传统的方法比较更好地保持了原始图像的光谱信息。

客观评价上，本文主要采用了以下的客观定量评价指标：

（1）信息熵。图像信息熵（EN）主要用来反映图像携带的信息量。熵值越大，说明拥有的信息量越多。 （10）

（4）光谱扭曲度Dis。主要用来衡量融合图像与原始多光谱图像的之间的色度诧异程度。光谱扭曲度是光谱信息差异的直接反映，其值越大，表示光谱失真度越高，融合图像的质量就越差，反之表示融合图像的质量就高高。具体计算公式如下：

（5）空间清晰度SF。空间清晰度（SF）可以用来衡量图像的清晰程度。SF定义如下：

表1 图像效果的客观评价指标一

熵      标准差     均值

传统IHS      4.4001   0.0016   105.3530

SWT变换      4.3224   0.0016    98.5389

本文算法      4.7720   0.0023   115.2028

由表1可知，本文采用的融合方法相比于传统的IHS变换融合和SWT变换融合方法，融合图像信息熵提高最大;本文的融合方法的均值效果最好，其亮度更适合人眼的视觉;标准差的值也比传统IHS变换和SWT变换的图像要高，说明改进的算法很好的保存了图像细节纹理信息。

表2图像效果的客观评价指标二

光谱扭曲度Dis          空间清晰度SF

R    G    B     AVE

传统IHS  61.29  63.71  63.90  62.97     41.1396

SWT变换  31.22  33.73  34.98  33.31     38.0312

本文算法  42.20  42.38  42.40  42.32     50.8795

由表2可知，本文采用的方法，其Dis值小于传统方法，说明本文方法对光谱信息的保持能力明显优于传统方法，该方法的图像SF值最高，说明其图像的整体清晰度好于传统的IHS方法和SWT变换方法。虽然在保持光谱信息上，SWT变换融合结果更好一些，但综合多项的客观评价指标，该方法得到的融合图像无论从获得信息量，符合人眼的视觉效果，还是对光谱信息的保存，图像清晰度的提高来讲，都达到了比较好的效果。

5  结束语

本文主要研究了基于传统的IHS变换图像融合算法在遥感图像融合中的应用，对传统的融合算法进行了改进，提出了一种基于多次融合思想的融合框架，通过主观评价以及客观评价指标信息熵、均值、光谱扭曲度、空间清晰度等对多种融合方法的结果进行了比较和分析。经过仿真后，结果表明，本文提出的方法在传统的IHS融合方法的基础上，更好的保留了原始多光谱图像的光谱特性，又能使得融合效果在信息量、亮度等方面获得提高，效果更令人满意。

参考文献

[1] 周前祥，敬忠良，姜世忠.多远遥感影像融合研究现状与展望[J].宇航学报，2002（5）：89-94.

[2] 何友，王国红，陆大金等.多传感信息融合与应用[M].北京：电子工业出版社，2000.

[3] C Pohl， J L Van Genderen. Multisensor image fusion in remote sensing：concepts， methods and applications[J]. Int J Remote Sensing， 1998，19（5）：823～854.

[4] C M Chen， G F Hepner，R R Forster.Fusion of hyperspectral and rader data using the IHS transformation urban surface features[J]. ISPRS Journal of Photogrammetry&RemoteSensing，2003，58：19～30.

[5] P. S. Chavez， S. C. Sides， J. A. Anderson， Comparison of three different methods to merge multi-resolution and multispectral data： Landsat TM and SPOT panchromatic[J]，Photogrammetric Engineering and Remote Sensi， 1991：295～303.

[6] S. T. Li and B. Yang， Multi-focus image fusion using region segmentation and spatial frequency[J]， Image Vis. Compute， 2008： 971–979.

[7] Te-Ming Tu， Shun-Chi Su， Hsuen-Chyun Shyu et .A new look at IHS-like image fusion methods[J]. Information Fusion， 2001（2）：177～186.

[8] 王学伟，王世立.一种图像融合的新方法[J].激光与红外，2012（9）：145～150.

[9] 时海亮.基于多分辨率分析的像素级多源图像融合[D].西安：西安电子科技大学，2008.

[10] 苏媛媛，李英杰.遥感图像融合算法与质量评价讨论[J].工程勘察，2012.