一种基于Ncut分割与空间频率的多聚焦图像融合方法

作者 / 吴花花、张敬会、柯有城、杨莘，武汉科技大学信息科学与工程学院



一种基于Ncut分割与空间频率的多聚焦图像融合方法

作者 / 吴花花、张敬会、柯有城、杨莘，武汉科技大学信息科学与工程学院

图像融合是对来自同一场景的多幅源图像信息进行互补结合的一项技术，合成更适合人眼视觉感知的图像。传统基于空间频率的融合方法对图像进行固定的矩形分区，得到的融合图像会产生很明显的方块效应，本文在此基础上设计和实现了一种改进的融合方法。该方法先对多幅源图像进行初始融合，然后对初始融合图像进行Ncut分割，再分别计算和比较源图像中对应的每个分区的空间频域，得到最终融合图像。而且通过调整Ncut分割区域数目，可得到最佳的融合结果。实验结果表明，和传统方法相比，本文提出的算法很好地消除了方块效应，并取得了更融合效果。

Ncut分割 ； 空间频率； 融合规则； 多聚焦图像融合

引言

图像融合是对来自同一场景的多幅源图像信息进行互补结合的一项技术，合成更适合人眼视觉感知的图像［1］。近年来，众多研究人员致力于图像融合的研究，并取得了很多的研究成果。根据对输入图像进行处理的方法分类，图像融合算法可以广泛地分为以下三类：多尺度分解（MSD）方法、基于学习的方法和基于区域的方法。

基于MSD的方法［2］［3］［4］能够在人类视觉非常敏感的对比度变化上提供更多的信息，因此可以得到比较高质量的融合图像。常用于图像融合的多尺度变换方法有金字塔变换、小波变换、曲波变换以及近来流行的稀疏表示等。但是，该类方法没有考虑到像素与像素间的空间关系，故在保持边缘和纹理方面不太理想，会导致图像失真。第二种融合方法是通过学习经验数据，在融合时做出智能判断，得到全聚焦的图像。由于在绝大多数情况下，得到经验数据是非常困难的，因此基于学习的方法并没有广泛采用。

原则上，图像越清晰描述的信息就越多，基于区域的方法就是根据这个准则。换句话说，这类方法是从源图像中选择更清晰的区域来构建最后的图像。基于单个像素判决的算法可以看作是该类算法的一个极端的例子。但是基于像素选择的算法对噪声非常敏感，而且人类感知图像是基于区域的，所以基于区域的融合算法通常能取得更好的效果。最初人们常将源图像分成多个M×N的矩形块，通过比较每个块的清晰度进行融合［5］。但这类方法会产生方块效应，于是一些图像分割方法引入到了融合中［6］，先将源图像分割成多个区域，通过比较各个区域的清晰度得到融合图像。

本文设计和实现了一种基于Ncut分割的融合方法，该方法首先对多张源图像进行简单的加权平均融合，融合后的图像再进行Ncut分割，得到一个全局分割策略，然后根据分割策略计算各源图像中对应区域的空间频率，作为每个区域清晰度的度量，最后选取最清晰的区域合成融合图像。

1. Ncut分割准则

归一化分割准则（Normalized cut分割，简称Ncut分割［7］）是一种无监督图像分割技术，它不需要初始化，并具有以下三个主要特点：①将图像分割问题转换为图的划分问题；②是一个全局准则；③同时最大化不同组之间的不相似性和同一组内的相似性。

Ncut方法把整幅图像看成一幅加权无向图，图像中每一个像素对应图中的一个节点，边上的权值代表像素之间的相似程度。加权图可以通过删去某些边，将其分成两个非连接性点集A和B，且，，使得这两个部分的不相关程度可以定义为原先连接两部分而现在被删去的所有边的权的总和，可用Ncut标准计算得到：

图1给出了采用Ncut方法进行分割时分割成不同区域数的效果图。分割的区域数不同会直接影响融合的效果，故需要通过实验选择最佳的区域数目。

图1 采用Ncuts对图像进行分割的效果图

2. 空间频域

Eskicioglu等［8］提出空间频率可以反映一幅图像的总体活跃度，空间频率越大图像越活跃、越清晰，他利用行频率和列频率来计算空间频率，即水平和垂直两个方向的变化频率。对于一个M×N的图像块，若位置（m，n）处的灰度值为F（m，n），则空间频率定义如下：

其中，RF为水平方向频率，CF为垂直方向频率：

3. 基于Ncut分割的图像融合算法

本文基于Ncut分割和空间频率的图像融合算法框图如图2所示。

图2 本文基于Ncut分割和空间频率的图像融合算法框图

该方法的融合步骤如下：

1）加权平均融合。对源图像A、B的灰度值进行加权平均，得到初次融合的新图像C。

2）Ncut分割。对图像C进行Ncut分割得到整幅图像的分割方案，将源图像A、B分别以此方案进行分割，并对对应的区域编号。

3）空间频率。分别计算图A、B中各个分割区域的空间频率，用SFa（i）和SFb（i）表示。

将保留下来的所有图像块合成一幅完整的图像，即为融合图像。通过调整步骤（2）中Ncut分割的区域数N，可以得到该方法的最佳融合效果。

4. 实验结果与分析

本文选用160*160的两幅已校正的多聚焦图像disk作为待融合图像，如图3所示。实验分两部分进行，第一部分比较Ncut分割区域数N不同时采用本文的方法进行融合的效果，选择最佳的N；第二部分比较两种方法的性能：①本文的方法；②基于矩形分区的方法，即对源图像进行矩形分区，计算各区域对应的空间频率，选取空间频率大的区域作为融合图像的对应区域。本文从主观评价即视觉效果和客观评价两方面综合分析本文融合方法的性能。其中客观评价选用以下4种性能指标：熵、交叉熵、互信息量、均方根误差。

图3 源图像

表1给出了分区数不同的条件下，采用本文的方法进行融合图像的性能指标比较。可以看出，图像分区数不同，融合性能也有差异。由于熵和互信息量越大，交叉熵和均方根误差越小，图像的整体融合效果才最好。当n为8或16时，分区数少，熵值较大和交叉熵较小，表现出它所保留的原图信息很多，但互信息量较小，均方根误差较大，反映出所得融合图与标准图差距太大。随着分区数增加，熵和互信息量呈逐渐增大到峰值又减少的趋势，同样地交叉熵和均方根误差呈逐渐减小到谷值又慢慢增大的趋势，故，最佳分区数为90到100之间。

表1 采用不同分割区域数进行图像融合的性能指标比较

注：图像的熵值是用来衡量图像信息丰富程度的重要指标，融合图像的信息熵越大，说明图像的内容越丰富；交叉熵直接反应两幅图像对应像素的差异，交叉熵越小，就表示图像间的差异越小；互信息量是一种有效衡量图像间相关程度的重要指标，其值越大，表示图像间的关联越大；均方根误差用来评价融台图像与标准参考图像之间的差异程度，如果值越小，则表明融合的效果较好。

本文第二部分实验设Ncut分区数N=92，图4给出了此时的分割效果。在基于矩形分区的融合中，也将分区数设置为相近的数目90（10×9）。图5给出了分别用两种方法进行融合的结果，其中图5（a）为矩形分区融合图像，图5（b）为Ncut分区融合图像。可以看出图5（a）存在不自然的方块，这是因为基于矩形分区的融合，在重建图像时块的边界处出现了不连续的现象，而图5（b）消除了这个现象。

表2给出了分别采用矩形分区和Ncut分区方法进行融合的结果，显然，后者得到的融合图像在熵、交叉熵、互信息量、均方根误差四个方面明显优于前者。综合主观和客观评价可以看出本文的基于Ncut分区的融合方法比基于矩形分区的方法性能更好。

图4 Ncut分割图像（n=92）

图5 分别采用两种方法的融合图像

表2 基于矩形分区和基于Ncut分区的融合方法性能比较

5. 结论

本文实现了一种基于空间频率表示的多聚焦图像融合方法，该方法根据多聚焦图像的某部分聚焦区域清晰，而其他区域图像模糊的特点，先对多幅源图像进行初始融合，然后通过Ncut分割算法，将不同的源图像分割成固定的不同区域，再计算并比较多幅源图像中对应区域的空间频率，将最大的空间频率所对应的源图像区域用于最终的融合图像中，最后再重组为一幅完整的融合图像。与传统的基于矩形分区的融合方法作比较，该方法不仅很好的消除了因图块重组而产生的方块效应，还尽可能地保留了不同源图像中各自聚焦的区域，尽可能的追求融合区域来源于源图像中最清晰的图像区域，使融合效果更好。实验结果表明，该方法无论是从视觉效果还是性能指标上看都取得了较好的效果。

＊ ［1］ 敬忠良，肖钢，李振华.图像融合：理论与应用.北京：高等教育出版社，2007

＊ 文成林，周东华.多尺度估计理论及其应用.北京：清华大学出版社，2002

＊ ［2］ P.J.Burt. A gradient pyramid basis for pattern selective ima ge fusion. Proceedings of the Society for Information Display Conference， 1992.467—470

＊ ［3］ Shen Yang， Ai Deng. A Multi-focus Image Fusion Method Based on Wavelet Transform. Journal of Computational Infor mation Systems， 2010.3

＊ ［4］ Haitao Yin， Shutao Li， Leyuan Fang. Simultaneous image fusion and super-resolution using sparse representation， Infor mation Fusion， 14（3）， 2013

＊ ［5］ Shutao Li，Bin Yang. Multifocus image fusion using region segmentation and spatial frequency， Image and vision compu ting， 26（7）， 2008

＊ ［6］ Tanish Zaveri， Mukesh Zaveri. A Novel Two Step Region Bas ed Multifocus Image Fusion Method， International Journal of Computer and Electrical Engineering， 2（1）， 2010

＊ ［7］ J. Shi， J. Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligen ce， 22（8）， 2000

＊ ［8］ S. Li， J.T. Kwok， Y. Wang. Combination of images with dive rse focuses using the spatial frequency. Information Fusion，2（3）， 2001