红外与可见光图像分解与融合方法研究

荣传振 贾永兴 吴 城 杨 宇 朱 莹

（1.陆军工程大学通信工程学院，南京，210007；2.国防科技大学信息通信学院试验训练基地，西安，710106）

引 言

图像融合旨在生成一幅新的高质量图像。和源图像相比，融合图像综合了多幅图像的互补和冗余信息，比任何单一图像更能有效地对场景进行描述，也更加适合进一步的图像处理任务。目前，图像融合在计算机视觉、医学图像处理、军事、遥感等领域都扮演着重要的角色。红外与可见光图像融合是一个重要的研究方向[1]。

由于红外传感器能够捕获人眼不能直接看到的场景中的热信息，因此可以在低光照、遮挡和恶劣天气条件下检测到目标物体，但它对场景的亮度信息变化不敏感，导致图像成像质量较差，并且缺少场景的细节信息。可见光图像包含丰富的场景细节信息，展现更自然的强度和对比度，更适合人类视觉感知。将红外和可见光信息集成到融合图像中能够构建更完整和准确的场景描述，从而提高在复杂环境下正确进行目标检测和识别的能力，更加适合后续的处理任务。

在以往的研究中，基于多尺度分解(Multi-scale decomposition,MSD)的图像融合方法吸引了越来越多研究者的关注并成为研究的焦点。最常用的图像融合多尺度分解方法是金字塔和小波变换，如拉普拉斯金字塔和离散小波变换等。Pajares和Cruz提供了一个基于小波变换的图像融合方法的系统概括，包括和不同金字塔融合方法的比较，以及不同尺度和不同小波基下的图像融合效果的比较[2]。文献[3]对早期提出的基于多尺度分解的图像融合方法进行了分类，包括大量的基于金字塔分解和经典小波变换的图像融合方法。但离散小波变换存在一些根本性的缺陷，诸如缺乏平移不变性、频率混淆，并且只有水平、垂直和对角3个方向可选。为解决这些问题，双树复小波变换(Dual-tree complex wavelet trans⁃form,DTCWT)被成功地应用于图像融合[4]。DTCWT的主要优点是它的平移不变性和方向选择性，可以减轻DWT引起的人工效应。然而，基于小波变换的图像融合方法的一个共同缺点是它们不能很好地表示图像的曲线和边缘。为了有效地描述图像中的空间结构，一些新的多尺度分解方法被应用于图像融合中。文献[5]成功地利用曲波变换(Curvelet transform)融合遥感图像。轮廓波变换(Contourlet transform,CT)是另外一种变换，可以捕捉图像的内在几何结构，其更适合于处理二维信号[6]。由于CT包含下采样过程，不具备平移不变性。非下采样轮廓波变换(Nonsubsampled contourlet transform,NSCT)是解决该问题的一个有效方法，但它需要耗费大量的时间[7]。此外，CT中方向滤波器组是固定的，这意味着它不能很好地表示具有很多方向的复杂的空间结构。

近年来，边界保持滤波器被成功地应用于构造图像的多尺度表示，并被成功地应用于图像融合领域。通常这类方法的优点是它们能准确地将图像分解为小尺度纹理细节、大尺度边缘和底层粗略尺度信息。这一优点有助于减少融合过程中出现的光晕和混叠效应，融合结果更加适于人类视觉感知。Farbman等利用加权最小二乘滤波器构造边界保持图像多尺度分解方法，并将其应用于多曝光图像融合[8]，取得了较好的融合效果，但代价是昂贵的计算时间。Hu等结合双边和方向滤波器构造图像多尺度分解方法并将其应用于医学和多聚焦图像融合[9]。Zhou等结合高斯和双边滤波器构造图像的多尺度分解方法并将其应用于红外与可见光图像融合[10]，得到了更适合于人类视觉感知的融合结果。但是双边滤波器可能在图像边缘附近会出现不必要的梯度反转效应，同时其快速实现算法也是一个具有挑战性的问题。相较于加权最小二乘滤波器和双边滤波器，引导滤波器的输出是引导图像的局部线性变换，一方面引导滤波器具有良好的平滑保边能力，同时在边界处不会出现梯度反转效应；另一方面引导滤波器基于局部线性模型，使得其也适用于诸如图像抠图、上采样和着色等应用，其计算时间只依赖于滤波器的大小，大大提高了运行效率[11]。Li等首次将引导滤波应用于图像融合，首先将图像分解为基本层和细节层，然后利用引导滤波来构造各分解子信息的融合权重，并在几种图像融合应用中都获得了较优的性能[12]。

和传统的多尺度分解方法尝试利用相对复杂的滤波器以获取更多的图像方向信息不同，本文提出一种基于引导滤波和高斯滤波的图像多尺度混合信息分解方法，实现了图像大尺度边缘、小尺度纹理和底层粗略尺度信息的分离。为避免在融合阶段出现的红外和可见光图像信息的混叠失真，采用了将大尺度边缘信息进行分割并依此确定各分解子信息的融合权重。实验结果表明，本文方法能够有效提取图像中的红外目标，实现在融合图像中凸显红外目标的同时保留尽可能多的可见光纹理细节信息。

1 高斯和引导滤波器

1.1 高斯滤波器

高斯滤波器是一种常用的图像低通滤波器，主要用来进行图像的平滑模糊处理。通过高斯滤波能够有效地滤除图像中的高频细节分量和噪声。

对于图像中一个像素点而言，经过高斯滤波后的值为周围像素点的值的加权平均，滤波公式为

1.2 引导滤波器

与高斯滤波器相比，引导滤波器能够保持图像的边缘信息，其具体原理介绍如下：当不希望通过求解公式得到一个复杂函数在某点处的取值时，可以通过无穷多个线性的函数来逼近该函数曲线，通过求解所有线性函数在该点处取值的平均来得到最终结果。对于待处理的图像而言，可以将之视为表达式未知的二维函数，则利用上述模型可得到输入图像和滤波后的图像在ωk窗口内第i个像素点的局部线性表达式

为了求解ak和bk，在ωk窗口内根据局部线性函数尽可能拟合原函数的条件，构造方程式

式中：pi为原图像在该点处的取值，ϵ为调节因子，为了防止最后求解的结果中ak过大。利用最小二乘法求解该方程，可以得到

式中：μk,pˉk分别为原图像和引导图像在窗口ωk内像素点值的均值；σ2k为引导图像在窗口ωk内像素点值的方差；|ω|为窗口ωk中包含像素点的个数。

在实际计算的过程中，单个像素点可能被多个窗口所包含，需要将初始的局部线性函数表征为多个窗口内局部线性函数的均值，具体表示为

对局部线性函数qi=akIk+bk两边分别取梯度，得到∇qi=aˉi∇Ik，这表示输出图像与滤波图像具有相同的边缘梯度，这也是图像经过引导滤波处理后能保持边缘的原因。

本文用Gr,ϵ(I,P)表示引导滤波运算，其中r和ϵ分别是决定引导滤波器大小和模糊程度的参数。此外，I和P分别表示输入图像和引导图像。则原始图像I的引导滤波可写为

2 图像混合信息分解方法

设原图像为I，I经过高斯滤波过程表示为G(I)，I经过引导滤波过程表示为Q(I)，则计算公式Q(I)可以得到图像纹理细节信息It，通过计算公式Q(I)-G(I)可得到边缘信息Ie。由此提取出了可以表征红外图像和可见光图像特征的两种尺度信息分量。这就是基于引导滤波和高斯滤波的图像混合信息分解方式

通过上述分解方式可以得到小尺度的纹理细节信息It，大尺度边缘信息Ie和图像的底层粗略尺度信息Ib（Ib=G(I)），如图 1所示。

在分解过程中，为了保证对红外和可见光图像特征信息的有效提取，一般采用多层分解的方式。为此，将上述混合信息分解方式推广到多尺度分解方式，并且证明该分解方式可以更好地融合红外与可见光图像，从而获得更好的视觉感知能力。图像的多尺度混合信息分解方式如图2所示。

图1 图像单层混合信息分解框图Fig.1 Image single layer hybrid decomposi⁃tion diagram

图2 图像多尺度混合信息分解框图Fig.2 Hybrid multi-scale image decomposition diagram

图中

式中：I(0)=I，G(0)(I)=I由此可以得到相应的纹理细节层，大尺度边缘信息和，以及图像的底层粗略尺度信息I。分解过程中相关参数设置如下：σ=2σ，r=r/2，ϵ=bs,j+1s,jj+1jj+1ϵj/4，σs,0=2,r0=2,ϵ0=0.01。从最终得到的分解结果看，大尺度边缘图层中更多反映了红外目标特征，小尺度的纹理细节更多反映了可见光的背景信息符合先前的猜想。

3 红外与可见光图像融合

在红外和可见光图像融合过程中，常见的问题是在融合图像中注入过多的红外信息导致融合图像整体质量的下降。如何有效提取出红外图像中的目标信息，是避免出现上述问题的关键步骤。在本文中，采用将大尺度边缘信息作为融合权重图层，对其进行图像分割以确定各分解子信息的融合权重。即有效选取式(14)中红外图像IR和可见光图像IV各分解子信息在对应的融合图像中的权重Cn。

然后进行归一化处理

式中b为分割权重图层的阈值。

最后需要解决的是阈值b的确定问题。通过分析大尺度边缘图层，可以得出以下3个结论：

（1）红外图像与可见光图像在红外目标处有着巨大的差异，这种差异在红外目标的边缘处可以用对应像素点的梯度来表征。

（2）Pn图层中红外目标边缘处具有梯度最大特性。

（3）由于后续分解层会做高斯滤波平滑处理，导致Pn的梯度急剧下降，只有第一分解层的梯度最具参考意义，其梯度计算按如下公式进行

综合上述结论，通过求解P1中各个像素点梯度的最大值作为阈值b。

为了将红外信息有效地注入到融合图像中，f(Pn(i,j))函数变换选取切比雪夫I型高通函数来逼近理想的权重系数Cn(i,j)[14]。阶切比雪夫I型高通函数表达式为（ε为通带波纹幅度参数）

分析该函数曲线，可得：

（1）在x＞b的通带内，曲线为等波纹，在通带最大值和最小值之间摆动；

（2）在x≤b的过渡带即阻带内，Cn(x)随着x的增加而上升，滤波器的阶数M越大，过渡带越窄；

图3 切比雪夫I型滤波器函数曲线（M=10）Fig.3 Curve of Chebyshev filter（M=10）

（3）在阻带范围内值接近于0，在通带范围内值接近于1，选择合适的M能使得过度带非常窄，符合需要的函数特征。

在本文中，切比雪夫滤波器的参数设置为αp=0.01，M=10，b=max(g(i,j))。图像融合具体步骤如下所述。图像融合具体步骤如下所述。

3.1 纹理细节和边缘信息融合

（1）根据式(16—20)计算各分解子信息的融合权重，为了防止由于过度带过窄而在融合图像中红外目标与可见光场景之间造成突兀变化，导致图像质量的下降，对上述权重进行高斯滤波以消除噪声和对相应权重进行局部平滑处理,可以得到最终的融合权重

式中：gσc表示高斯函数，这里设置 σc=2。

（2）按式(22,23)融合相应的红外图像和可见光图像信息

3.2 底层粗略尺度信息融合

对于底层信息而言，由于底层模糊，不适合作为融合权重图层，可以直接利用权重CN(i,j)进行信息融合。为了进一步降低噪声的影响同时尽可能地防止融合图像突兀变化，对权重CN(i,j)进行高斯滤波，其滤波器参数取值为σb=4σN。

则最后的融合图像为

4 实验结果与分析

本文从主观评价和客观评价两个方面对所提出的算法进行测试验证。同时将本文方法与经典的基于多尺度分解的融合方法和近来提出的表现优越的图像融合方法进行比较。基于多尺度分解的图像融合方法包括DWT、DTCWT和NSCT，在本文的对比实验中这3种方法的参数设置为文献[14]给出的针对红外与可见光图像融合的最优参数。另外，还将本文方法与文献[15]提出的基于多尺度变换和稀疏表示的图像融合方法(多尺度变换选为DTCWT，分解层数设置为4，本文将该方法简记为DTC⁃WT-SR)和文献[10]提出的基于双边和高斯滤波的混合多尺度分解的图像融合方法(本文将该方法简记为Hybrid-MSD)进行比较。限于篇幅，本文仅给出3组实验结果，3组实验用图像如图4所示。

为了客观评价不同方法的融合性能，本文采用4种不同的融合质量评价指标[16]，包括基于信息理论的评价指标QMI、基于图像特征的评价指标QG、基于图像结构相似性的评价指标QY和基于人类视觉感知启发的评价指标QCB。QMI衡量的是源图像中的原始信息在融合图像中的保留效果，其值越大表示融合图像保留源图像的信息越多，融合图像质量越好。QG计算的是源图像的边缘信息成功地注入到融合图像中的效果，其值越大说明源图像中的边缘信息注入到融合图像中的越多，图像融合质量越好。QY测量的是融合图像保留源图像结构信息的效果，其值越大表明图像融合质量越好。QCB展示了人类视觉感知的良好预测性能，其值越大表示融合图像越符合人类的视觉感知，融合图像质量越好。

图4 红外和可见光源图像Fig.4 Infrared and visible source images

在本文提出的基于引导滤波和高斯滤波混合信息分解的图像融合方法中，引导滤波的两个参数r和ϵ需合理设置，每一组图像都应该有一组合适的参数值。实验中，利用遗传算法为每一组图像设置合适的参数值，具体过程如下：

（1）以QG为遗传算法目标函数，运用上述图像分解与融合方法，计算得到融合图像的评价指标值。

（2）将参数r和ϵ作为遗传算法参量，确定其取值范围、约束；确定初始种群大小以及进化代数。

（3）运用遗传算法求解的一般过程进行搜索得出评价指标QG值最大时的r和ϵ，此时获得最佳融合图像，即得到最优的引导滤波器参数r和ϵ。

以上 3组图像的最优 r和 ϵ参数值分别为：(4,0.017 2)，(3,0.005)，(2,0.069 7)。

第一组关于“Un Camp”图像的融合结果如图5所示。从图5可以看出，以上方法都成功地将红外与可见光图像融合，融合图像包含目标信息和场景信息。尽管如此，仔细观察可以发现，DWT融合方法对比度低并且丢失了大量细节信息，行人目标不突出，道路、灌木和栅栏等细节信息较模糊。从融合图像中可以明显看出一些虚影模糊，这是由于DWT缺少平移不变性会导致伪吉布斯现象造成的。相较于DWT方法，基于DTCWT和NSCT的融合方法效果更好。这是由于DTCWT和NSCT具有平移不变性，可以有效避免伪吉布斯现象，并且融合图像更加清晰和自然。但是，仔细观察可以发现这两种方法仍然存在以下缺点，融合图像丢失了大量的光谱信息，例如左侧底部和右侧底部的树木部分。基于DTCWT-SR的图像融合方法有效突出了红外目标信息，但是对可见光细节信息保留不是很好，导致融合图像看起来不自然。很明显，Hybrid-MSD和本文方法视觉效果更好，源图像中几乎所有的有用信息都被注入到融合图像中，同时有效地去除了融合过程中产生的虚影效应。比较发现本文方法不仅对比度高，目标行人更突出，同时包含丰富的光谱信息，更好地保留了边缘细节等信息。

第二组关于“Bristol Queens Road”图像的融合结果如图6所示。从图6(e，f)可以看到Hybrid-MSD和本文方法通过将红外信息注入到可见光图像当中有效地突出了红外目标，增强了夜晚可见光图像的场景描述能力，看起来比较自然。从图6(a—d)可以看出DWT，DTCWT，NSCT和DTCWT-SR这4种方法产生了严重的人工效应，另外从图6(a—c)可以发现红外特征的亮度信息保留不充分，导致丢失重要的红外特征，融合图像看起来不自然。

图5 “Un Camp”图像融合结果Fig.5 Fusion results of the“Un Camp”source images

图6 “Queens Road”图像融合结果Fig.6 Fusion results of the“Queens Road”source images

图7 “T rees4901”图像融合结果Fig.7 Fusion results of the“Trees4901”source images

第三组关于“Trees4901”图像的融合结果如图7所示。如图7(a—c)所示，DWT，DTCWT和NSCT融合方法通过不同的多尺度分解实现图像信息融合，得到的融合结果中虽然都能够突出目标人物信息，但是原可见光图像中的树木、道路等背景与细节信息融合出现混乱，在融合结果中难以辨认。如图7(d)所示，DTCWT-SR方法也有同样的问题，场景中的背景信息难以辨认，导致融合图像看起来不自然。如图7(e—f)所示，基于Hybrid-MSD的图像融合方法和本文方法得到的融合结果不仅能够突出目标人物信息还能辨认出树木、道路等背景细节信息。比较可以发现，本文方法具有更好的对比度，能更有效地突出目标人物信息。

表1给出了以上3组实验的客观评价指标值。粗体和下划线显示的值分别表示所有方法中最好的和第二好的得分。从表中可以看出，本文方法在“Un Camp”和“Trees4901”两组源图像上都获得了最佳性能。DTCWT-SR方法针对“Queens Road”源图像在QMI，QY和QG3个指标上获得了最大值；QCB指标获得第二好的值，表现较好。而本文方法在QCB指标上获得了最优值；在QMI和QY指标上都获得了第二好的值。总体来说，本文方法要优于其他的图像融合方法。

表1 基于不同方法的融合图像客观评价指标Tab.1 Objective criteria of fused images based on different fusion methods

5 结束语

红外图像色差大、质量差，传统的分解方法无法在高频部分有效提取其特征。为了能够有效提取出可见光和红外图像的高频分量，避免下一步融合时出现失真，本文提出基于高斯和引导滤波的图像多尺度分解方法，有效提取出了代表红外图像特征分量的边缘信息和代表可见光图像特征分量的纹理细节信息。同时，为了避免在融合图像中注入过多的红外图像信息，本文将红外大尺度边缘图像进行分割作为融合权重的图像融合方法，有效提取了红外图像的目标信息，同时保留了可见光图像的背景和纹理细节信息。最后通过实验验证了本文方法的有效性和正确性。