NSCT框架下动静态联合滤波的红外与可见光图像融合方法

摘要：针对NSCT变换在红外与可见光图像融合中的不足，提出一种基于NSCT和动静态联合滤波的红外与可见光图像融合方法。首先，采用NSCT将源图像分解为低频子带和高频子带，进一步采用动静态联合滤波将低频子带分解为低频纹理分量和低频结构分量；再分别针对低频纹理分量、低频结构分量和高频子带的特征，采用不同的融合规则。其中，低频纹理分量以改进拉普拉斯能量和取大为权重图，低频结构分量以绝对值最大和引导滤波为融合规则，高频子带融合以梯度和改进拉普拉斯能量和综合信息作为权重。最后，通过NSCT逆变换得到融合图像。通过对比多组融合图像主、客观评价结果表明，该方法能有效保留边缘信息，保留较多的源图像信息，在视觉质量和客观评价方法优于其他图像融合方法。

关键词：图像融合；红外与可见光图像；动静态联合滤波；非下采样轮廓波变换

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2024）08-0001-04

开放科学（资源服务）标识码（OSID）

0 引言

红外与可见光图像融合技术在军事和民用领域中占有重要地位，如目标检测、监控和情报收集等[1]。 NSCT能更好地保持图像的边缘信息和轮廓结构，增强图像的平移不变性。因此，许多学者[2-4]将NSCT变换应用到红外与可见光图像融合中，取得了较好的融合效果。例如，朱亚辉等人[2]用NSCT将源图像分解为低频子带和高频子带，进一步采用潜在低秩表示模型将低频子带分解为低频基础子带和低频显著子带。刘佳等人[3]采用NSCT对源图像进行分解，利用改进的引导滤波算法提取红外图像显著性图自适应加权融合低频图像，对高频图像使用基于马氏距离加权的拉普拉斯能量和取大融合。Selvaraj等人[4]应用NSCT和滚动滤波器将源图像分解为基本层、细节层和高频系数。

虽然NSCT变换能够增强图像的平移不变性，但也导致低频子带分解不充分。为了解决这类问题，对低频子带采用滤波器再次分解，常用的滤波器分为静态滤波器和动态滤波器两大类。其中，静态滤波器能够保持边缘结构信息，但边缘区域容易出现光晕现象；动态滤波虽然从正则化输入图像得到权重函数，但忽略静态引导图像可用的附加信息[5]。参考文献[6]给出了动静态联合滤波（Static and Dynamic joint Filters， SDF） ，它既克服了单一引导结构出现的边缘结构模糊，也解决粗糙边缘边界定位差的问题，具有良好的边缘保持特性。

通过上述分析可知，本文综合NSCT和SDF的优势，提出了基于NSCT和SDF的红外与可见光图像融合方法。其中，NSCT将原图像分解为低频子带和高频子带；再采用SDF将低频子带分解为结构分量和纹理分量；根据高频子带、低频结构分量、低频纹理分量的特征，采用不同的融合策略；最后将低频结构分量和低频纹理分量叠加，再與高频子带进行逆NSCT，得到最终的融合图像。实验结果表明，本文融合方法在主、客观评价中都有较好的性能。

1 动静态联合滤波

动静态联合滤波（Static and Dynamic joint Filters，SDF）是以加权最小二乘滤波为目标函数，辅以滚动导向滤波算法的迭代模型。

令[f]为输入图像，[g]为静态引导图像，[u]为输出图像，SDF的目标函数定义为：

[εu=iciui-fi2+λΩu，g]     （1）

其中[λ]和[ci]分别为正则化参数和输入图像调节参数，[Ωu，g]为正则项，即

[Ωu，g=i，j∈N?ugi-gj?vui-ujφvui-uj]

[?ux=e-μx2;φvx=1-?vxv]

其中，[μ，v]分别控制静态引导和动态引导的平滑带宽。

记静态引导图像权重矩阵[Wμ]和动态引导的权重矩阵[Wv]分别为：

[Wμ=φμgi-gjN×N，Wv=ψμui-ujN×N]

令[W=Wμ×Wv，C=diagc1，…，cN]。公式（1） 可表示为

[εu=u-fTCu-f+λvWμ-W]

采用最小最优算法，则有

[?kuk=εuk?ku≥εu]

经过迭代可以求出[u]。

2 融合框架及融合规则

设图像[I，V]分别为红外图像和可见光图像，图像[F]为融合图像，图1给出了基于NSCT和SDF的红外与可见光图像融合方法流程图。

其中，HI和LI分别表示红外图像的高频子带和低频子带；HV和LV分别表示可见光图像的高频子带和低频子带；LI_T和LI_S分别表示红外图像的低频纹理分量和低频结构分量；LV_T和LV_S分别表示可见光图像的低频纹理分量和低频结构分量；LF_T和LF_S分别表示融合后图像的低频纹理分量和低频结构分量；LF和HF分别表示融合后的低频子带和高频子带。

2.1 低频子带融合规则

低频子带包含了图像的大部分信息，其存在分解不完全问题。因此，针对低频子带的融合，本文采用SDF将低频子带分解为低频结构分量和低频纹理分量，并根据分量的特征，采用不同的融合规则。图2给出了低频子带的分解结果图。

由图2可以看出：在低频纹理分量中，目标等关键区域能够有效区分；在结构分量中，结构能够被有效识别出来，且具有良好的边缘保持性。

1）  低频纹理分量的融合规则。由图2 （a1）和（b1）可以看出，低频结构分量可以看作不同的聚焦区域，改进的拉普拉斯能量和既反映图像边缘特征信息，也能反映图像的聚焦特性。因此，本文采用改进的拉普拉斯能量和取大作为权重，具体融合公式如下。

[LF_T=w?LI_T+1-w?LV_T]     （2）

其中，权重[w=maxELI_T，ELV_T]；[ELI_T，ELV_T]分别表示红外低频纹理分量和可见光低频纹理分量的拉普拉斯能量和，拉普拉斯能量和公式如下。

[EHi，j=1mnp=-mmq=-nnIML（i+p，j+q）]

[IMLi，j=2Hi，j-Hi-1，j-Hi+1，j+2Hi，j-Hi，j-1-Hi，j+1+122Hi，j-Hi-1，j-1-Hi+1，j+1+122Hi，j-Hi+1，j-1-Hi-1，j+1]

2） 低频结构分量的融合规则。通过对比图2（a2）和（b2）可以看出，这两幅低频结构分量是互补的，因此选择灰度值最大作为权重，即：

[w1=1，LI_S>LV_S0，LI_SLI_S0，LV_S

为将边缘对齐，对权重图[w1，w2]进行引导滤波[7]，获得新的权重图：

[w1=guide_filterw1，LI_S，r，ε;w2=guide_filterw2，LV_S，r，ε]

其中，函數[guide_filter?]为引导滤波。

融合后的低频结构分量为：

[LF_S=w1?LI_S+w2?LV_S]    （3）

3） 低频融合子带的获取。应用公式（2）和公式（3）分别获得低频纹理分量和低频结构分量，将其叠加获得低频融合子带，即

[LF=LF_T+LF_S]

由图3可以看出，低频融合规则能够有效识别红外目标，且对可见光图像的低频信息保留完整，具有良好的边缘保持性。这说明本融合方法的低频融合规则设计合理。

2.2 高频子带融合规则

高频子带主要描述源图像的边缘信息，改进拉普拉斯能量和及局部梯度幅值均可有效描述图像的边缘信息。因此，本文结合改进拉普拉斯能量和[E]及局部梯度幅值[G]作为决策图，获得融合后的高频子带：

[HF=wHI+1-wHV]

其中，[HI，HV]分别表示红外图像和可见光图像的高频子带；权重

[w=1，ENTI>ENTV0，ENTI

这里，[ENTI=GI+EI，ENTV=GV+EV]分别表示红外高频子带和可见光高频子带的综合信息，[GI，GV]分别为红外高频子带和可见光高频子带的梯度幅值；[EI，EV]分别为红外高频子带和可见光高频子带的拉普拉斯能量和。

3 实验及结果分析

在本节中，通过主、客观评价多组融合图像的效果。采用的融合方法包括：VSM_WLS[8]、MLGCF[9]、NSCT[2]和本文方法。本文融合方法的参数设置为：在NSCT分解中，级数为4级，滤波器参数为'pyrexc'和'vk'，分解方向数为[2 3 3 4]；在SDF中，参数[μ=50，v=400，K=10，][λ=0.8×103]。多种方法的融合结果见图4所示。图中，每行分别是以Road、Camp、Kaptein、UNcamp为例。

3.1 融合图像的主观评价

对比“Road”融合结果可以看出，在VSM_WLS和MLGCF融合结果中，道路上的折痕与周围整个路面的对比度不是很明显；在基于NSCT方法融合结果中，第一辆汽车的尾灯模糊不清；基于本文方法的融合结果不仅保留了可见光场景的细节信息，且行人、车辆、红绿灯红外热目标边缘清晰，接近自然场景。

对比“Camp”的融合结果可以看出：在基于NSCT方法融合结果中，目标人物存在明显光晕；虽然在基于VSM_WLS和基于MLGCF方法的融合结果能够看出树的纹理，但目标人物周围的栅栏比较模糊。基于本文融合方法的融合结果较好地保留了可见光图像的丰富场景信息，也突出了红外图像的热目标信息，尤其能较明显地看出树杈的纹理信息。

本文融合方法的优势同样体现在“Kaptein”“UNcamp”中。因此，本文融合方法在视觉质量上较优于其他图像融合方法。

3.2 融合图像的客观评价

为了更加客观地评价本文融合方法的有效性，应用QAB[10]、SSIM[11]、FSIM[12]、Entropy和MI评价融合图像质量，表1为多组融合图像的客观评价指标值。

由表1可知：1） 对于评价指标MI和Entropy，本文融合方法均优于其他融合方法，表明本文融合方法包含丰富的信息；2） 对于评价指标QAB，本文融合方法在“Road”和“UNcamp”图像融合效果评价值最优，而在其他三组融合图像上，本文融合方法次之，但与最优评价值比较接近，表明了本文融合方法较好地保留了源图像的特征；3） 对于评价指标SSIM，本文融合方法在“Road”“Kaptein”“UNcamp”的融合效果评价值最优，表明本文融合方法较好地保留了源图像的结构相似性；4） 对于评价指标FSIM，本文融合方法在“Road”和“Camp”上评价值最优，在其他2组融合图像的评价值位于第二。总之，从整体上，本文融合方法具有较好的融合结果。

4 结束语

针对传统基于多尺度变换的红外与可见光图像融合算法的不足，提出一种基于NSCT和SDF的红外与可见光图像融合方法。该方法采用NSCT和SDF将源图像分解为低频纹理分量、低频结构分量和高频子带；再根据各个子带的特征，分别采用改进拉普拉斯能量和取大、绝对值最大和引导滤波、梯度和改进拉普拉斯能量作为融合规则。最后，通过NSCT逆变换得到融合图像。通过对多组融合结果的主、客观评价，分析了本文方法是切实可行的，能够得到具有丰富信息且较为清晰的融合图像，在视觉质量和客观评价方法较优于其他图像融。

参考文献：

[1] 张亚峰，耿则勋，王军敏.基于扩展相位拉伸变换的多聚焦图像融合算法[J].激光与光电子学进展，2020，57（22）：111-120.

[2] 朱亞辉，高逦.基于复合分解与直觉模糊集的红外与可见光图像融合方法[J].西北工业大学学报，2021，39（4）：930-936.

[3] 刘佳，李登峰.马氏距离与引导滤波加权的红外与可见光图像融合[J].红外技术，2021，43（2）：162-169.

[4] SELVARAJ A，GANESAN P.Infrared and visible image fusion using multi-scale NSCT and rolling-guidance filter[J].IET Image Processing，2020，14（16）：4210-4219.

[5] 田小平，郑娜，吴成茂.多尺度动静态联合彩色图像滤波处理[J].西安邮电大学学报，2017，22（3）：39-43.

[6] HAM B，CHO M，PONCE J.Robust guided image filtering using nonconvex potentials[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（1）：192-207.

[7] 巩稼民，吴艺杰，刘芳，等.基于NSST域结合SCM与引导滤波的图像融合[J].光电子·激光，2021，32（7）：719-727.

[8] MA J Y，CHEN C，LI C，et al.Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31（C）：100-109.

[9] TAN W，ZHOU H X，SONG J，et al.Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J].Applied Optics，2019，58（12）：3064-3073.

[10] XYDEAS C S，PETROVIC? V.Objective image fusion performance measure[J].Electronics Letters，2000，36（4）：308.

[11] MA K D，ZENG K，WANG Z.Perceptual quality assessment for multi-exposure image fusion[J].IEEE Transactions on Image Processing，2015，24（11）：3345-3356.

[12] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

【通联编辑：王 力】