基于NSCT和最小化-局部平均梯度的图像融合

杨孙运，奚峥皓，王汉东，罗 晓，阚 秀

（上海工程技术大学 电子电气工程学院，上海 201620）

0 引言

图像融合是将两个或多个图像的相关信息结合成一个综合图像的过程，可以认为是对原始场景的一种新的解释。由于单个视觉传感器在信息采集过程中往往具有局限性，实际中通常采用两种或多种传感器采集信息，并对信息数据进行融合处理，从而得到一个清晰完整的图片信息。考虑到实际应用中的可操作性，近年来采用红外传感器和可见光传感器相结合的方式进行视觉图像采集与融合的研究越来越多，特别是在环境感知和视频监控领域[1]。

红外视觉传感器可以通过红外辐射捕获明显的目标信息，然而获取的红外图像普遍存在场景信息丢失、分辨率低的缺点[2]。可见光视觉传感器可以获取丰富的细节和纹理信息，但在较差的照明条件下，或目标颜色和空间特征与背景相似时，获取的可见光图像往往较差[3]。将红外和可见光图像融合可以克服单一类型传感器只能提取特定方面信息的缺点，且融合后图像既保留了红外图像的目标高亮区域，又包含了可见光图像的纹理细节信息，利于人类视觉感知与分析处理[4]。

现有的红外图像和可见光图像融合的方法可以分为：变换域方法[5]、空间域方法[6]、深度学习方法[7]和其他的方法[8]。基于多尺度变换的方法是最典型的变换域方法，且多尺度变换理论是多种图像融合场景中最流行的工具。常用的多尺度变换工具有金字塔变换[9]、小波变换[10]、轮廓波变换[11]和NSCT 等[12-13]。但是，金字塔变换融合后容易出现模糊现象，小波变换只能捕获水平、垂直和对角方向的信息，轮廓波变换容易产生频谱混叠。NSCT 具有多尺度和多方向特性，分解结果具有平移不变性，并克服了频谱混叠问题，融合结果具有更好的边缘、细节信息。

综合以上分析，根据红外图像和可见光图像的特点，并从实际视觉特征识别与分析的角度出发，本文设计了一种新的融合算法实现对红外图像和可见光图像的有效融合，采用最小化-局部平均梯度规则进行融合处理，并在3 组公共数据集基础上与5 种经典融合算法进行对比实验，验证本文所设计算法的实用性和有效性。

1 NSCT 理论

NSCT 是由多尺度分解和多方向分解两部分组成，使用非下采样金字塔滤波器组和非下采样方向滤波器组实现，由于没有图像下采样的步骤，一幅图像经N级分解后，可以得到个与原图像相同大小的子带图像，这其中源图像的低频近似图像为1 个，高频子带图像为个，kr是尺度r上的方向分解级数。NSCT 具体变换过程如图1[14]所示。

2 改进的图像融合算法

红外与可见光图像融合的思想是在充分地保留可见光图像丰富的背景信息基础上，进一步保留红外图像中显著的目标信息，使得融合结果更符合人类的视觉感知。源图像经NSCT 分解后得到低频子带和高频子带，低频子带包含大量源图像的能量信息，用以描述图像的目标和背景特征。高频子带包含丰富的边缘和纹理信息，用以描述图像的细节轮廓特征。

图1 NSCT 分解图Fig.1 NSCT decomposition figure

2.1 低频子带系数融合

本文采用最小化规则进行低频子带系数融合，将m行n列的红外图像和可见光图像低频系数的对应每一列分别进行融合，其融合规则表述为如下最小化问题：

式中：Il和Vl分别是红外图像和可见光图像低频系数矩阵中对应的列向量；是融合的列向量；p表示像素的位置；||⋅||2表示2 范数；W表示对角元素为权重值Wp的m×m对角矩阵。两项分别控制融合列向量与Il以及与Vl具有相同的像素强度，权重矩阵W控制着这两项之间的平衡关系，显然权重值Wp对融合方法的性能影响较大，合理定义权重值Wp也显得尤为重要。

对于式(1)的求解，参考文献[15]，将式(1)改写成如下形式：

令M(Z)＝(Z－Il)T(Z－Il)＋W(Z－Vl)T(Z－Vl)，进一步令M(Z)关于Z的导数等于0，可得：

式中：E为m×m的单位矩阵。经矩阵运算得：

通过式(4)将红外图像低频系数和可见光图像的低频系数直接融合得到列向量，再将所有的融合列向量组合成m×n的低频融合系数矩阵L：

基于红外传感器获取的图像具有目标信息明显的特点，使用亮度对比度（Luminance Contrast，LC）的显著性检测方法提取红外图像中目标信息。定义红外图像I中某个像素Ip的显著性为Ip与I中其他所有像素在灰度上的距离之和，即全局的亮度对比可表示为：

式中：S(Ip)表示像素Ip的显著性值；Ii取值范围为[0,255]，将式(6)展开可得：

式中：N表示图像中像素的数量。

鉴于图像中不同位置可能具有相同的像素值，故式(7)可进一步改写为：

式中：Nb表示图像I中像素值等于b的像素总数。图2 给出了一个红外图像和其对应的显著图。

图2 红外图像和显著性检测图Fig.2 Infrared image and significance detection diagram

下面，重点考虑融合算法中的权重值Wp的设计问题。现有算法大多采用如下权重值函数：

将像素值进行归一化处理至[0,1]范围。如果选用如式(9)所构造的权重值，如图3所示，当S(Ip)值逼近0 时，权重值Wp趋于无穷大，且过程曲线斜率变化剧烈，直接导致融合图像出现严重的伪影及明暗分布不均现象。为克服这一问题，本文给出一种新的权重值设计方法，定义融合算法中的权重值Wp为：

式中：a为一个未知可调参数，用于调控图像质量，对于每一个图像，选取客观评价中的一个或若干个指标，通过迭代计算分析以获取一个最优值。

取a＝0.02，得到如图4所示权重值函数图像，从图中可以看出当红外图像中p处的显著性值S(Ip)越大，权重值Wp越小，由式(1)可知，得到的图像中p处的像素从红外图像中转移的较多；当红外图像中p处的显著性值S(Ip)越小，权重值Wp越大，得到的图像中p处的像素从可见光图像中转移的较多，达到融合图像目标和背景均清楚的目的。即本文所设计的权重函数不仅可以实现对权重范围的控制，还可以通过控制权重实现对红外图像和可见光图像中每个像素在融合图像中作用的调节，从而实现对融合图像质量的控制。

图3 式(9)函数对应表达Fig.3 The corresponding expression of equation (9) is the function

图4 式(10)函数对应表达Fig.4 The corresponding expression of equation (10) is the function

根据式(1)中定义的融合规则，分别使用式(9)和式(10)中设计的权重值函数，得到改进前后的融合结果如图5所示，原算法的融合结果存在伪影和明暗分布不均的问题，改进后算法所得融合结果的清晰度和明暗度明显改善很多。

图5 改进前后的融合结果对比图Fig.5 Comparison before and after improvement

2.2 高频系数融合

本文采用局部平均梯度规则进行高频子带系数融合。

令X方向的梯度为：

令Y方向的梯度为：

令图像中(i,j)处的梯度：

故局部平均梯度计算公式如下：

式中：M、N为滑动窗口的宽和高。本文选择使用3×3 大小的滑动窗口，窗口内9 个像素梯度的平均值作为窗口内中心像素的平均梯度。定义如下形式的高频系数局部平均梯度融合规则：

2.3 图像融合

将低频系数L和高频系数H进行NSCT 逆变换得到融合图像F，具体融合过程如图6所示。

3 实验分析

本章将使用UN Camp、Kaptein_1123 和Quad 这3对已经过严格配准的红外与可见光图像进行实验，其中UN Camp 和Kaptein_1123 来自TNO 数据集，Quad来自英国布里斯托大学博士Stavri Nikolov 拍摄的“Bristol Quees Road”红外与可见光图像序列图。通过与低通比率金子塔（low pass ratio pyramid，LPRP）[16]、交叉双边滤波（cross bilateral filter，CBF）[17]、曲波变换（curvelet transform，CT）[18]、双树复合小波变换（dual-tree complex wavelet transform，DTCWT）[19]和非下采样轮廓波变换-均值（non-subsampled contourlet transformmean，NSCT-M）5 种融合算法进行对比试验，验证本文所提算法的有效性。

实验在Intel Core I5-4200M@2.50 GHz 双核8 G 内存，Win7 操作系统，Matlab 2018b 环境下实现。NSCT分级级数设置为3，每一级方向级数分别为[2,3,2]，a设置为0.02，图像大小均调整为120×100 像素。

图6 图像融合流程图Fig.6 Schematic diagram of image fusion

3.1 性能评估

为了定量分析融合算法的性能，本文选用信息熵（information entropy，IE）[20]、平均梯度（average gradient，AG）[20]、标准差（standard deviation，SD）[20]、空间频率（spatial frequency，SF）[21]、互信息（mutual information，MI）[22]、视觉信息保真度（visual information fidelity，VIF）[23]和边缘相似性度量（edge based on similarity measure，QABF）[23]作为综合评价指标。其中，IE 衡量图像信息的丰富程度，熵值越大，融合图像的信息越丰富；AG 表征融合图像的细节和纹理的表现能力，用于评价图像的清晰度，值越大图像清晰度越高；SD 衡量样本分布均匀性，值越大表示图像具有更高的对比度；SF 表征图像细节的明确性和图像的空间变化程度，值越大边缘和纹理越丰富；MI 值越大融合图像包含源图像的信息越多；VIF 和QABF衡量融合图像质量，值越大融合图像质量越好。

3.2 实验结果

利用3 组图像对6 种算法进行融合实验，结果如图7～图9所示，虽然6 种算法都做到了保留源图像中重要的信息，并对互补信息做了较好的融合，但是仍存在一定的差异。在图7 中，与(c)、(d)、(e)、(f)和(g) 5 幅融合结果图像相比，本文所提算法的融合结果明显具备对比度高且目标突出的特点。在图8 中，(c)、(d)、(e)和(g) 4 幅融合结果图像目标不够突出，融合图像(f)中背景昏暗，本文所提算法的融合结果目标更为突出，且背景细节信息清晰。在图9 中，(c)、(d)和(g) 3 幅融合结果图像对比度偏低，融合图像(e)明显模糊，融合图像(f)中存在伪影，本文所提算法对比度较好且目标更为清晰。

图7 “UN Camp”图像的融合结果Fig.7 “UN Camp”image fusion results

图8 “Kaptein_1123”图像的融合结果Fig.8 “Kaptein_1123”image fusion results

图9 “Quad”图像的融合结果Fig.9 “Quad”image fusion results

为更为直观地评判各种算法的融合效果，表1～表3 给出在前述7 个性能评价指标下的具体客观数据，表中每一行中的最优值采用黑体加粗标记，次优值数据下采用横线标记。由表1 和表2 可以得出，本文所设计算法在除互信息MI 外的6 个性能评价指标下均表现最优，MI 评价结果为次优值且与最优值相差不大。由于“Quad”图像组本身目标多样细节复杂等特点，6 种算法中没有任何一种算法在7 个性能指标下均表现优秀，本文所设计算法表现为3 个最优值，2 个次优值，且其他2 个值与最优值相差较小，整体性能相比其他算法仍然表现良好。

为进一步说明各种算法在7 个评价指标下的整体性能表现，用每一行中的各个数据除以该行中的最优值得每个数据的目标达成度[24]，最后统计算出各算法的总目标达成度（total goal attainment，TGA）。目标达成度公式如下：

式中：Q表示目标达成度；P表示表中的数据；N表示与P同行数据中的最优值。

表4～表6 给出了各种算法在7 个性能评价指标下的整体目标达成度，由表4～表6 的数据可以看出，本文所设计算法整体目标达成度最优，且远好于次优的算法。故本文所设计算法在应用中具有稳定性好鲁棒性强的特点。

表1 “UN Camp”图像融合结果的客观评价数据Table 1 Objective evaluation data of fusion results of “UN Camp” image

表2 “Kaptein_1123”图像的融合结果的客观评价数据Table 2 Objective evaluation data of fusion results of "Kaptein_1123" image

表3 “Quad”图像的融合结果客观评价数据Table 3 Objective evaluation data of fusion results of “Quad” image

表4 “UN Camp”融合图像的达成度Table 4 Degree of “UN Camp” fusion image

表5 “Kaptein_1123”融合图像的达成度Table 5 degree of “Kaptein_1123” fusion image

表6 “Quad”融合图像的达成度Table 6 degree of “Quad” fusion image

4 结论

本文给出了一种新的基于NSCT 变换方法的红外图像和可见光图像的融合方法。改进权重函数并结合红外图像的显著性信息，得到新的权重值，采用最小化原则进行低频系数部分融合，得到对应低频融合系数。采用局部平均梯度规则进行高频系数部分融合，得到对应高频融合系数，利用所得融合系数进行NSCT 逆变换得到融合图像。选取5 种经典算法在3个公共数据集中进行比较实验，实验结果表明本文所提算法综合表现明显优于其他5 种算法且获得的图像对比度高、细节清晰、目标显著，说明了本文所设计算法的合理性和有效性。