区域方差和点锐度相结合的多聚焦图像融合

赵迪迪，季轶群*

(1.苏州大学 光电科学与工程学院 & 苏州纳米科技协同创新中心，江苏 苏州 215006；2．江苏省先进光学制造技术重点实验室 & 教育部现代光学技术重点实验室，江苏 苏州 215006)

1 引 言

对于光学成像系统，由于其景深范围有限，无法使场景内所有目标同时清晰成像，需对场景内不同区域分别聚焦成像，通过融合算法，将不同区域的聚焦图像融合成一张全视场的清晰光学图像，这种算法即多聚焦图像融合。多聚焦图像融合方法，对于实现光学系统在大视场范围内获得高分辨率的光学图像具有重要意义。

多聚焦图像的融合算法可分为基于空间域[1-3]和基于变换域[4-6]两种。基于空间域，是在图像灰度空间上直接对像素点进行融合处理，速度较快，但当某些区域噪声较大或灰度变化平缓时，易产生块效应；基于变换域，是先对源图像进行变换，如金字塔变换、小波变换等，然后对变换系数按一定规则进行融合，得到融合图像的变换系数，最后通过逆变换得到融合图像。其中，基于变换域的图像融合是目前研究的热点，张晓菲等[7]提出基于区域能量特征的小波变换图像融合方法, 弥补了传统的小波变换融合算法中出现的信息熵减小、清晰度降低的现象,但此方法在处理边缘细节时发现，对比度下降、易产生重影。叶明等[8]提出区域清晰度的小波变换图像融合算法，可很好地消除传统空域融合方法存在的块效应，但图像噪声较大、像质下降明显。

拉普拉斯金字塔变换是Burt和Adelson提出的一种多分辨率、多尺度的图像融合方法[9]，本文基于拉普拉斯金字塔变换提出一种区域方差和点锐度相结合的融合算法。对金字塔顶层图像，即低频系数，采用区域方差作为融合度量，进行融合；其余各层为高频系数，采用点锐度作为融合度量，进行融合。最后做拉普拉斯金字塔逆变换，得到完整的全视场清晰光学图像。

2 拉普拉斯金字塔分解

对同一场景不同位置分别聚焦成像得到前景聚焦图像图1(a)和后景聚焦图像图1(b)，作为源图像A和源图像B。在前景聚焦图像中，黑色测试卡刻度清晰，灰色测试卡模糊。后景聚焦图像中，灰色测试卡刻度清晰，黑色测试卡模糊。

(1)

(2)

(3)

图1 源图像Fig.1 Source images

3 融合规则

拉普拉斯金字塔分解将两幅源图像分别分解到不同频率层，在不同频率层采用不同的融合规则，从而在融合图像中保留各源图像在不同频率层的特征信息。

(4)

式中，LPN为金字塔顶层图像，即低频系数矩阵，μ表示邻域像素均值，w为加权矩阵。

当0≤l

(5)

式中：m,n为所选局部区域的长和宽，df为灰度变化幅值，dx为像元间距离增量。公式(5)可表示为：对区域中的每点与其8邻域像素点做差，对差值取绝对值后求加权和，最后将所有点所得值相加除以像素总数。

由于区域方差和点锐度的数量级不同，采用式(6)进行归一化处理：

(6)

式中:X(i,j)为区域方差或点锐度值，Xmax和Xmin分别为矩阵X中的最大值和最小值，Y(i,j)为归一化后的区域方差或点锐度值。

(7)

(8)

本文融合方法流程图如图2所示。

图2 区域方差和点锐度相结合的图像融合方法流程图Fig.2 Image fusion framework combining regional variance and EAV

4 拉普拉斯金字塔逆变换

(9)

图3 本文方法获得的融合图像Fig.3 Proposed method fusion image

5 仿真对比

对同一场景，分别采用基于绝对值取大的离散小波变换、基于区域能量特征的小波变换和区域清晰度的小波变换图像融合算法进行图像融合，得到如图4(b)、(c)、(d)所示相应的融合图像。

上述3种方法均实现了前景聚焦和后景聚焦图像的融合，保留了源图像的互补信息。但前两种方法对比度降低，刻度周围有重影。第三种方法细节信息模糊，图像噪声较大，像质下降明显。通过对比，本文采用区域方差和点锐度相结合的算法，得到的融合图像具有细节信息丰富，无重影，清晰度高，对比度高等优点。

图4 不同融合方法的性能比较Fig.4 Fusion performance comparison of different methods

表1给出了融合图像的评价指标，包括标准差、互信息、边缘保持度。标准差反映了像素值在其均值上下的波动程度；互信息反映了融合图像从源图像中获得的信息量；边缘保持度反映了源图像转移到融合图像的边缘信息量。3种评价指标的值越大，融合效果越好。可以看出本文方法得到的融合图像评价指标均高于其他3种。

表1 不同融合方法的性能指标比较Tab.1 Comparison of performance indexes of different methods

6 结 论

针对传统光学成像系统景深范围有限，难以在大视场范围实现高分辨率成像的问题。本文提出一种基于区域方差和点锐度相结合的拉普拉斯金字塔变换融合算法。首先对多聚焦源图像进行拉普拉斯金字塔变换；然后，对拉普拉斯金字塔的顶层图像，采用区域方差考量邻域像素间的关联性,有效保留图像的细节信息；对其余各层，采用点锐度对像素点周围的灰度扩散程度做统计，提高融合图像清晰度；最后，通过拉普拉斯金字塔逆变换，得到了噪声低、边缘信息丰富的多聚焦融合图像。进一步从标准差、互信息和边缘保持度等评价函数对其进行定量评价，结果表明本文提出的融合算法优于现有的常用图像融合方法，标准差、互信息和边缘保持度分别提高了0.24%、6.8%和8.4%。对光学成像系统在大视场范围获得高分辨率的光学图像具有重要意义。