基于小波变换的图像融合增强算法

高 林，赵建辉

（1.西安航天动力试验技术研究所，陕西西安710100；2.空军西安飞行学院，陕西西安710306）

基于小波变换的图像融合增强算法

高 林1，赵建辉2

（1.西安航天动力试验技术研究所，陕西西安710100；2.空军西安飞行学院，陕西西安710306）

针对当前高速摄影系统不能保证采集的高帧频图像中所有目标物体聚焦清晰的特点，提出了一种基于小波变换的图像融合算法，对快速小波变换后得到的低频系数与高频系数采用一种改进型的融合规则进行算法仿真实验，并与传统的图像融合规则对比分析。

多聚焦图像；图像融合算法；小波变换；仿真实验

0 引言

图像融合技术作为信息融合技术的一个重要领域，是将来自不同源、不同时间、不同媒介的图像数据按一定的规则综合，以形成对同一场景下目标更为完整、清晰、准确的图像描述的图像处理技术。图像融合技术在卫星遥感、医学成像、计算机视觉、目标识别及军事等领域有着广泛的应用前景。尤其近几年随着图像传感器的迅猛发展，图像融合技术的应用也越来越广泛。当前液体火箭发动机试验中高速摄影系统用来获取发动机关键部位的高帧图像，但是普遍存在的现象是同一光学传感器对同一场景中物体进行成像时，要使场景中的所有目标都聚焦清晰是很困难的。因此，将同一场景中的所有目标进行融合，使融合后的图像中的所有目标都清晰，已成为一个值得研究的课题[1-3]。

图像融合是将不同传感器得到的多个图像根据某个算法进行综合处理，以得到一个新的、满足某种需求的新图像，它可将同一对象的2个或更多的图像合成在一幅图像中，以便它比原来的任何一幅图像更容易被人们所理解。高效的图像融合算法可以根据需要综合处理多源通道的信息，从而有效地提高图像信息的利用率和系统对目标探测识别的可靠性。小波变换的多分辨率分析是当前信号与图像处理领域的研究热点。图像融合根据融合处理所处的阶段不同，通常在3个不同层次上进行，即像素级融合、特征级融合以及决策级融合。在像素级融合层次融合算法主要有简单图像融合算法、基于金字塔分解的图像融合算法以及基于小波变换的图像融合算法[4]。本文选择在对小波变换理论的基础上，提出了一种基于融合规则改进型的图像融合算法，最后对算法进行了仿真实验，并对结果进行了分析。

1 图像融合算法简介

1.1 基于小波变换的图像融合算法原理

应用小波变换进行图像融合的原理是将融合规则应用到原始图像的小波变换的低频分量和高频分量中。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以绝大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是小波变换空间矩阵3个方向上的高频系数，从而达到保留图像边缘的目的。高频系数的选择对于保留图像的边缘特征具有非常主要的作用，但低频系数决定了图像的轮廓，正确选择低频系数对提高合成图像的视觉效果具有举足轻重的作用[5]。

1.2 融合图像的评价指标

图像融合的评价指标如表1所示。

表1 图像融合的评价指标Tab.1 Evaluation indexes for image fusion performance

2 一种基于小波变换的改进型融合算法

2.1 基于小波变换的图像融合

小波变换的固有特性使其在图像处理中有如下优点：即完善的重构能力，保证信号在分解过程中没有信息损失和冗余信息；把图像分解成平均图像和细节图像的组合，分别代表了图像的不同结构，因此容易提取原始图像的结构信息和细节信息。小波分析提供了与人类视觉系统方向相吻合的选择性图像。

基于小波变换的融合算法是对图像进行小波分解，以得到图像的高低频信息，作为后期目标判决的依据，小波变换应用于图像融合的优势在于它可以将图像分解到不同的频率域，在不同的频率域应用不同的选择规则，得到合成图像的多分辨小波分解，从而在合成图像中保留原图像在不同频率域的显著特征[6-7]。基于小波变换的图像融合算法流程图如图1所示，主要步骤为：

1）对2张同分辨率的多聚焦灰度图像Image A，Image B进行几何精确配准；

2） 选取合适的小波基以及分解层数，对图像Image A，Image B进行多层小波分解，获取各自的小波分解系数；

3）根据低频分量和高频分量的特点，设计小波系数的融合规则，比如可以对小波系数进行取最大值或者求方差或是结合各种规则的改进型等；

4）对融合后的小波分解系数经过小波逆变换，重构得到融合图像Image F。

根据上述步骤可以对多焦距图像进行融合。在融合算法中，对原始多焦距灰度图像进行小波分解，这里就存在选取合适小波基以及分解层数。不同的小波基的选择对最后分解的结果有很大影响，并且小波变换的分解层次并不是越多越好，本文选择Matlab函数库中的DWT2小波基函数并对小波基进行4层分解。

2.2 一种改进型图像融合规则

图像的融合规则是图像融合的核心，方法与规则的优劣直接影响融合的速度与质量。在建立融合图像的每个小波系数时，必须确定哪幅源图的小波系数对融合有利，这个信息将保留在融合决策图中。由上述图1可知，融合规则在融合处理中扮演了一个重要角色，在融合过程中融合规则精确地控制着融合算子并生成新的小波分解系数。

规则一：局部方差法准则

在领域W中，图像I以为中心点的局部方差

式中：μ为图像I的均值；M，N分别为局部区域的行数和列数，这里取局部区域为3×3。

基于局部方差法的融合方式常用的方法是选择法，即通常说的局部方差取大法。方差选择法的融合规则：

如果图1中Image A,Image B直接使用局部方差法进行融合，局部方差相差较大时，采用局部方差取大法能够比较完整的存储图像的微小细节。一旦局部方差相差很小时，局部方差取大法会使图像细节失真[8]。

规则二：系数绝对值取最大法准则

该融合规则适合亮度与对比度比较高的源图像且高频成分比较丰富，否则在融合图像中只保留一幅源图像的特征，其他的特征被覆盖。小波变换的实际作用是对信号解相关，并将信号的全部信息集中到一部分具有大幅值的小波系数中。这些大的小波系数含有的能量远比小系数含有的能量大，从而在信号的重构中，大的系数比小的系数所占的权重更大[9]。本文算法提出的规则：最大系数法与方差法准则。

使用规则一对源图像小波分解后高频成分不丰富的情况存在重构后图像信息熵值较低，针对这一问题，本文结合规则二解决了高低频成分分布不均衡带来的图像融合效果欠佳的问题，从而提出了一种最大系数法与方差法结合的图像融合算法。

由于图像的像素特征往往不是由单一的低频成分或是高频成分所能表征的，而是由某一平均范围的低频成分叠加高频成分共同来更为精确地表达图像的真实面貌，同时，通常图像待融合区域内的各像素之间有较强的相关性，因此，基于像素的融合规则带有片面性，而基于最大系数法与方差法的融合方式可以克服这一缺点，获得更好的视觉特性和融合效果。最大系数法与方差法准则融合规则可将全部图像的最大系数、方差、梯度等作为特征算子。

设参与融合的源图像A，B，融合后的结果为F。首先分别计算源图像A，B的区域梯度，区域M的大小为3×3的小窗口。假设AAN(i,j)，BAN(i,j)分别代表A，B的点p(i,j)低频系数；FAN(i,j)表示融合图像F的点p(i,j)的低频系数

综合式（7） 和式（8），得到源图像A和源图像B在点p i,（）j方差平均后的高频系数，以及得到图像A和图像B在点p i,（）j取最大系数的低频系数。

这样就完成了多分辨率下的图像融合，小波分解系数在有限的算法运行时间范围内拟合程度越高，图像平滑的程度越高，视觉效果越好，融合整体效果得到改善越大，当然图像融合的各项评价指标表现的越好，最后对融合后的子带系数进行反变换得到融合后的图像质量越好。

3 基于小波变换的图像融合算法仿真与分析

3.1 算法原理与设计

本文所讨论的融合算法是针对静态图像的，以相同物体在相同距离上用不同焦距进行拍摄的情况，融合目的是去除焦点不同对图像的影响，提高图像的清晰度。同一场景的不同传感器得到的图像，其低频系数大小差不多，但高频细节部分却存在显著差异[10]。因此，基于小波变换的图像融合算法的研究重点多集中在高频域部分。对实验用的图像作以下假设：所用图像均是经过预处理（滤波、对准）的、大小一致的灰度图像。

为了验证基于最大系数法与方差法准则的图像融合算法的有效性，使用高速摄像机的不同焦距拍摄图像Image A，Image B及Image A使用f/4.0光圈，70 mm焦距，对焦focus值为1900拍摄，Image B使用f/4.0光圈，70 mm焦距，对焦focus值为1 600拍摄，分别得到多聚焦灰度图像，然后截取662×662大小的灰度图像进行严格配准得到实验待融合图像，通过使用Matlab R2016a对提出的最大系数法与方差法准则进行算法仿真实验，读取待融合图像Image A，Image B，得到4层小波分解图像和融合后的图像，算法流程图如图2所示。其中详细算法步骤如下：

1)采用Mallat快速算法对两幅多聚焦图像分别进行4层小波分解，由上面讨论可知可得到(3×3+1)个图像分量，包括3×3个高频分量和1个低频分量[11-12]；

2)在对多聚焦图像进行小波变换后，将2幅图像对应的低频分量和高频分量选用上面介绍的融合规则进行融合，得到各个对应分量的融合结果；

3)将各个对应分量的融合结果进行小波逆变换得到最后的融合图像。

3.2 仿真结果分析

为了对使用每种融合规则的融合图像质量进行客观评价，采用信息熵、平均梯度、方差性能指标来进行对比分析，此外，还综合每种融合规则的算法效率来分析本文提出的融合规则的有效性[13]。

图3为待融合多聚焦图像，其中图3（a） 为背景清晰，目标物体（右侧钢架） 不清晰的图像，图3（b）为背景不清晰，目标物体清晰的图像。图4为基于规则一的融合后图像，图5为基于规则二的融合后图像，图6为使用本文算法提出规则的融合后图像。

观察图4、图5及图6，并与原始图像进行比较，可以看出：各融合结果图在整体分辨率上比融合前的原始图像均有明显的提高，3种融合规则的融合结果均对原始图像信息有较好的保留和增强，目标物体的右侧钢腿边界区分清楚，钢腿上面圆孔清晰可见，和原始图像中目标物体的信息基本保持一致，融合后使图像整体更加明确和丰富。

为进一步客观评价各融合规则的融合性能，采用基于统计学方法的评价方式对融合性能进行分析与评价[14-15]。采用常用的信息熵、平均梯度、方差3项指标来客观评价融合图像，而且该3项指标越大越好，具体统计结果见表2。

表2 融合效果客观评价Tab.2 Objective evaluation of fusion effect

由表2可见，在反映图像灰度离散程度的方差指标中，采用规则二的融合图像的方差差最大，但是规则一明显较小；本文融合规则的方差大小非常接近规则二，说明采用本文融合规则融合后图像信息较为丰富；3种规则的平均梯度差异显著，其中规则一的平均梯度明显偏小，而本文融合规则的平均梯度最大，说明本文融合规则的融合图像反映微小细节的能力较强，图像质量最好；在反映图像信息量的指标信息熵中，规则一明显偏小，本文融合规则最佳。由此可见，尽管都采用了基于小波变换的融合算法，但采用的融合规则和融合算子不同，其融合性能也大不相同，规则一各项指标均较低。因为规则一算法复杂度较低，算法运行平均时间虽然仅为0.438 313 s，但是图像融合效果各项指标达不到最优，尤其是针对图像小波分解后高频成分较多时得到的图像融合效果各项指标表现会更差。

4 结论

基于小波分析理论，结合多聚焦图像的特点，提出了一种最大系数法与方差法的图像融合算法。对本文算法与已有的传统算法进行实验与分析，实验结果表明：本算法不管是视觉效果，还是融合效果指标上都获得了满意的效果，具有较好的适用性和应用价值。

[1]WANG Z J,ZIOU D.A comparative analysis of image fusion methods[J].IEEE transactions on geosciences and remote sensing,2005,43(6):1391-1400.

[2]王智均,李德仁.利用小波变换对影像进行融合的研究[J].武汉测绘科技大学学报,2000,25(2):137-141.

[3]林卉,杜培军,肖剑平.利用小波变换进行遥感多光谱图像融合的算法及实现[J].地球科学与环境学报,2006,2(1):75-78.

[4]曾梅兰,金升平.基于小波框架的多传感器图像融合[J].计算机工程与应用,2004,40(25):59-61.

[5]POLO A,CATTANI F,VAVASSORI A,et al.MR and CT image fusion for postimplant analysis in permanent prostate seed implants[J].International journal of radiation oncology biology physics,2004,60(5):1572-1579.

[6]王焮,吴国平.小波分析在遥感图像融合中的模型研究[J].中国图像图形网,2004,11(1):67-70.

[7]郑永安,陈玉春,宋建社,等.基于提升机制小波变换的SAR与多光谱图像融合算法 [J].计算机工程,2006,32(6):195-197.

[8]LI H,MANJUNATH B S,MITRA S K.Multisensor image fusion using the wavelet transform[J].Graphical models and image processing,1993,57(3):235-245.

[9]JIANG X Y,ZHOU L W,GAO Z Y.Multispectral image fusion using wavelet transform[J].Proceedings of SPIE,1996,2898:35-42.

[10]SANTOS M,PAJARES G.A new wavelets image fusion strategy[J].Lecture notes in computer science 2652,2003:919-926.

[11]CHIBANI Y,HOUACINE A,BARBIER C.Fusion of multispectral and radar images in the redundant wavelet domain[C]//Proceedings of the EUROPTO Conference on Image and Signal Processing for Remote Sensing.Barcelona,Spain:SPIE,1998:330-338.

[12]周伟,周林,张家祥.Matlab7.0小波分析高级技术[M].西安:西安电子科技大学出版社,2005.

[13]王海晖,彭嘉雄,吴巍,等.多源遥感图像融合效果评价方法研究[J].计算机工程与应用,2003,39(25):33-37.

[14]曾梅兰,金升平.基于小波框架的多传感器图像融合[J].计算机工程与应用,2004,40(25):59-61.

[15]杨俊,赵忠明.基于Curvelet变换的多聚焦图像融合方法[J].光电工程,2007,34(6):67-70.

（编辑：马 杰）

Image fusion enhancement algorithm based on wavelet transform

GAO Lin1,ZHAO Jianhui2
（1.Xi’an Aerospace Propulsion Test Technology Institute,Xi’an 710100,China;2.PLA Air Force Xi’an Flight Academy,Xi’an 710306,China）

In this paper,an image fusion algorithm based on wavelet transform is proposed to solve the problem that all the target objects in the high frame rate images taken by the current high-speed photography system can not be guaranteed to be clear enough.An improved fusion rule is adopted to perform the simulation experiment for the low-frequency coefficients and high-frequency coefficients obtained by fast wavelet transform,and compared with the traditional image fusion rules.The experiment results show that the improved fusion role has better applicability and application value.

multi-focus image;image fusion algorithm;wavelet transform;simulation experiment

V416-34

A

1672-9374(2017)04-0057-06

2017-03-29；

2017-04-25

高林（1988—），男，硕士，研究领域为液体火箭发动机试验测量技术