聚类分析的红外与可见光融合质量指标相似性研究①

朱亚辉

(陕西学前师范学院 数学系,西安 710077)

红外与可见光图像融合在公共安全方面均有广泛的应用,特别是在国家和社会安全监控等民用领域[1].图像融合评估有助于研究人员设计出更为科学、精度更高的图像融合方法.图像融合质量评价分为主观评价和客观评价[2].主观评价是由观察者的主观感觉和统计结果对融合图像的优劣做出主观定性评价.例如,Petrovixc[3]建立一个包含120组图像的数据集,其中110组为遥感图像融合,6组为红外与可见光融合,4组为可见光与可见光图像融合,每组图像包含2幅源图像和2幅融合图像,并提供组内两幅融合图像获得的投票数,客观评价采用数学公式定量评价图像融合质量.常用的客观评价指标有很多种,大致分为四类:1)基于统计特性的评价指标;2)基于信息论的评价指标;3)基于结构相似度的评价指标;4)基于人眼视觉系统的评价指标.

张小利等人[4]在Petrovixc图像融合数据库的基础上,研究了评价指标的正确率排名,结果表明:大部分评价指标的正确率排名均小于0.8,故单个评价指标很难完成准确评估融合质量的任务,需要进行综合评价.因此面临的主要问题在于:所选的评价指标必须满足非冗余性原则.虽然文献[4]研究了融合图像质量评价指标的相关性,但结合红外与可见光图像融合质量评价,该研究存在以下不足:1)Petrovixc图像融合主观数据库中遥感图像的个数占91.7%,文献[4]侧重分析遥感图像图像融合质量评价指标的相关性;2)文献[4]采用的融合方法比较陈旧,已经无法满足现阶段融合方法质量评价的需求;3)文献[4]采用阈值分类对评价指标进行聚类分析,所选阈值具有随机性,无法保证分类的有效性.

借鉴文献[4]总结的融合图像质量评价指标,本文从斯皮尔曼等级相关系数和灰色关联分析理论研究评价指标在红外与可见光图像融合质量评价的相关性.

1 客观评价指标

根据图像融合质量评价原理,将图像融合质量评价方法分为4类:基于统计特性的评价指标、基于信息论的评价指标、基于结构相似度的评价指标、基于人眼视觉系统的评价指标.

设A,B分别表示两源图像,采用融合算法将两源图像进行融合,得到融合图像F,图像的大小均为M×N,图像中的灰度级数为L.

1.1 基于统计特性评价指标

本文主要介绍常用的统计特性评价指标,包括:平均梯度(Average Gradient,AG)、空间频率(Spatial Frequency,SF)、均方误差(Mean Square Error,MSE)、峰值信噪比(peak signal to noise ratio,PSNR)、相关系数(Correlation Coefficient,CC).其中,AG反映图像微小细节变化与纹理变化的反差特征,SF反映图像灰度的变化率,MSE反映变量之间的差异,PSNR衡量有效信息与噪声之间的比率,CC衡量变量间相关关系密切的程度.上述评价指标的计算公式详见文献[4].

1.2 基于信息论的评价指标

信息熵作为图像融合质量评价指标,用于衡量融合图像信息丰富程度.但该指标只是衡量了融合图像自身的信息量,无法衡量源图像传递给融合图像的信息量,评价结果具有片面性.互信息用于衡量融合图像保留源图像信息量的多少,较为准确地反映图像融合质量.故本文介绍源图像与融合图像间的互信息及其改进算法.

(1)互信息

对于图像X,Y,它们间的互信息计算公式如下:

式中,pXY(x,y)是图像X,Y间的归一化联合灰度直方图,pX(x)和pY(y)分别为图像X,Y的概率密度分布.

在已知源图像A,B和融合图像F的基础上,基于互信息的融合质量评价指标计算公式如下:

融合图像的互信息越大,融合图像质量越优,反之,则融合图像质量越差.

(2)Taillis熵

Cvejic[5]利用Taillis熵改进了互信息,其计算公式如下所示:

融合图像的Taillis熵越大,则融合图像质量越优,反之,则融合图像质量越差.

1.3 基于结构相似度的图像融合评估指标

结构相似度理论是一种关于图像质量评价的新思想.它自顶向下地模拟HVS整体功能,使得测量结构信息的改变与感知图像质量的变化非常接近.图像X,Y间的结构相似度表达式如下:

这里,µX,µY,σX,σY分别为图像X,Y的均值和标准差,σXY是图像X,Y的协方差,C1,C2,C3为常数.

在此基础上,Piealla[6]提出了三个融合图像质量评价指标:Q,Qw,QE.融合图像的评价指标Q,Qw,QE值越大,表明融合图像质量越优;反之,则评价指标质量越差.

下面对三个指标进行描述:

(1)评价指标Q

评价指标Q的计算思想:首先分别计算融合图像F和源图像A,B在局部窗口w内的结构相似度SSIM(A,F|w)和SSIM(B,F|w);然后利用输入图像的局部显著度构成归一化局部权重系数λ(w),表示源图像之间的相对重要程度;最后通过加权乘法获得融合图像质量.其表达式如式(1).

其中,|W|是W的基数.λ(w)是源图像的局部显著度构成的归一化权重,其表达式如下:

这里,s(A|w),s(B|w)分别表示图像A,B在窗口w的显著性.

(2)评价指标Qw

Piella考虑到窗口重要性不同,对式(1)进行改进,得到加权结构相似度Qw(A,B,F):

其中,c(w)是图像块w在整个图像中的重要程度:

(3)评价指标QE

考虑到图像质量优劣与边缘的完整度、清晰度有关,Piella在获得评价指标Qw(A,B,F)的基础上,分别获取源图像和融合图像的边缘图像A,B,F,然后求出Qw(A,B,F),得到基于边缘结构相似指标QE:

1.4 基于人眼视觉系统的评价指标

基于人眼视觉系统的评价指标是模仿人眼对像素层绝对差值的认知机制,通过掩盖低于人眼感知能力的差异修正评测结果.该类指标主要被划分为2部分:1)基于显著性几何评价指标;2)基于边缘保持度的评价指标.

1.4.1 基于显著性几何评价指标

Luo等人[7]利用图像区域显著性对结构相似度进行改进,提出了基于显著性几何评价指标.该指标的计算过程如下:

首先,分别计算源图像A,B的显著性,将所得结果存入到SA,SB中,当源图像A,B在点(x,y)处的显著性大于阈值t,则认为此处是显著性位置;否则,则认为是非显著性位置.

然后,分别统计源图像A,B与融合图像F在显著性区域、非显著性区域的相似度.以源图像A和融合图像F为例,计算方法如下所示:

式中,m1,m2分别表示显著性区域、非显著区域中像素的个数.

其次,将它们进行整合,得到源图像A和融合图像F的整体相似度为:

同样,获得源图像B和融合图像F的整体相似度FIQRO(F,B).

结合FIQRO(F,A)和FIQRO(F,B),基于显著性几何评价指标表达式为:

其中,a1,a2为参数,通常取a1=a2=1.

1.4.2 基于边缘保持度的评价指标

根据视觉系统特性,Xydeas等人[8]提出了一种衡量边缘信息量从源图像到融合图像多少的客观评价指标.其实质是通过Sobel算子分别计算输入、输出图像的边缘信息,得到边缘信息传递的量化值,然后对源图像的边缘保持度加权求和得到最终值.其计算步骤如下:

Step 1.计算源图像A,B到融合图像F的边缘信息保留值QAF(x,y)和QBF(x,y).

以QAF(x,y)的计算过程为例进行说明.

首先,应用式(2)计算源图像A和融合图像F在点(x,y)处的边缘强度gA(x,y)和gF(x,y):

再应用式(3)计算源图像A和图像F在点(x,y)处的边缘方向αA(x,y),αF(x,y):

然后,应用式(4)计算源图像A相对于融合图像F的相对边缘强度GAF(x,y)和边缘方向AAF(x,y):

应用式(5)得到源图像A到融合图像F的边缘信息保留值QAF(x,y):

其中,Γg,kg,σg,Γα,kα,σα均为常量.

同样,应用式(2)至式(5)得到源图像B到融合图像F的边缘信息保留值QBF(x,y).

Step 2.计算基于边缘保持度的质量评价指标QAB/F.

这里,ωA(x,y)和ωB(x,y)分别是源图像A,B的边缘强度,其表达式分别为:

式中,L是常数.

Xydeas等人[9]在进一步考虑人眼视觉感知性能后,通过对融合图像与源图像之间各像素点上的边缘强度添加阈值Tg和计算各邻域内像素方向的一致性程度来分辨融合图像中出现的噪声和边缘情况,在此基础上,改进了加权系数ωA(x,y)和ωB(x,y),具体表达式见式(7).

这里,W是中心处在(x,y),且大小为k×l的窗口,窗口,δ为常数.

2 相关性指标

本文采用斯皮尔曼等级相关系数和灰色关联理论分析图像融合质量评价指标在红外与可见光图像融合中的相关性.

2.1 基于灰色关联度的相关性分析

灰色系统理论对样本数据量的要求不高、设计思路相对简单,能够解决因统计资料不足而造成的信息不完善的问题.灰色关联分析理论是灰色系统理论的重要组成部分,它通过各个样本序列的曲线几何形状的相似度来判断序列之间的关系.

2.2 斯皮尔曼相关系数

设两变量X和Y,它们的长度均为N.X和Y均按降序排列后分别记为Xsort和Ysort.X’和Y’分别记录X和Y中元素在Xsort和Ysort中的位置,并称其为秩次.记di=X(i)-Y(i),斯皮尔曼相关系数ρs表示为式(10).

ρs反映客观评价指标的单调性,ρs∈ [-1,1].当ρs=1时,表示X和Y秩次完全相同;当ρs=-1时,表示X和Y的秩次完全相反;当ρs=0时,X和Y不相关.当ρs越接近1,表明客观评价指标单调性越好.

2.3 选取聚类阈值

取阈值θ=θk,当rij≥ θk(i≠j),则认为指标ui和指标uj具有相同特性并将其分为一类.

设B1,B2是聚类阈值为θk时的两个类,若B1∩B2≠∅,称它们是相似的,将所有相似的类合并成一个类,最后得到的分类就是阈值θk时的等价分类.

Zhang[10]采用θ 的变化率Ci确定聚类阈值 θ:

其中,i为 θ从大到小的聚类次数,ni和ni-1分别为第i次和第i-1次聚类的对象个数,θi和θi-1分别为第i次和第i-1次聚类时的阈值,若

则认为第i次聚类对应阈值为最优聚类阈值.

从公式(12)可以看出:阈值θ的变化率Ci越大,表明类别之间的差异越大,类与类之间的边界就越明显.因此,取最大Ci对应的θi为最优聚类阈值.

3 融合图像质量评价指标相关性分析

实验图像来源于美国麻省理工学院林肯实验室、荷兰人力资源研究所、美国海军研究生院在网络上提供的红外与可见光源图像,共计10组图像,见图1.

图1 10组红外与可见光源图像

本文采用融合方法包括:基于奇异值分解的PCNN融合方法[11]、基于Tetrolet变换的融合方法[12]、基于非下采样Contourlet变换和稀疏表示的融合方法[13]、基于对比度增强的融合方法[14]、基于多特征的融合方法[15]和基于剪切波变换的图像融合方法[16].上述融合方法既具有代表性,且融合效果比较好.由于篇幅限制,图2给出了第七组源图像及其融合图像.

采用的评价指标有:峰值信噪比(u1)、显著性几何评价指标VIFF(u2)、平均梯度(u3)、指标Q(u4)、互信息(u5)、指标Qw(u6)、边缘保持度QAB/F(u7)、指标QE(u8)、Taillis熵(u9)、空间频率(u10)、相关系数(u11).

图2 源图像与融合图像

3.1 评价指标规范化处理

图像融合质量评价指标的物理意义和计量单位不相同,在对融合图像质量评价指标进行相关性分析时,需要对评价指标进行规范化处理.根据评价指标与融合图像质量的关系,除了均方误差属于“越小越优型”外,其它评价指标均属于“越大越优型”.本文采用公式(14)对评价指标值进行规范化处理.

这里,T1,T2分别表示指标属于“越大越优型”和“越小越优型”.

3.2 基于灰色关联度的相关性分析

本文利用数据集内10组融合图像,分别计算两两客观评价指标间的灰色关联度,并求其均值.计算结果见表1所示.

表1 客观评价指标的相关系数

图3给出了基于灰色关联度的动态聚类图.由公式(12)和公式(13)确定聚类阈值θ=0.9,由图3可知的聚类结果为:

3.3 基于斯皮尔曼等级相关系数的分析

图4给出了基于斯皮尔曼相关系统的动态聚类图.

图3 动态聚类图

图4 动态聚类图

确定聚类阈值θ=0.9,由图4可以看出聚类结果为:

显然,上述两种聚类结果不一致,这是因为基于灰色关联度的聚类方法反映两变量间的相关系数;基于斯皮尔曼等级相关系数的聚类分析法反映两变量之间联系的强弱程度.结合上述两种分类结果,将上述11个评价指标分为6类,即:

因此,在建立红外与可见光图像融合质量评价指标体系时,可以选择相关性较低的评价指标,保证了评价指标的合理性和非冗余性,既提高了综合评价的速度,同时也保证了综合评价的合理性.

4 结论与展望

红外与可见光图像融合质量评价能够进一步丰富和完善图像融合理论框架.单个评价指标往往不能准确地评价图像融合质量,需要进行综合评价.评价指标体系是进行综合评价的关键,它的建立应该满足非冗余性原则.本文选取有代表性的评价指标共计11个,采用斯皮尔曼相关等级系数和灰色关联度研究评价指标的相关程度,在此基础上分析阈值变化率选取最优聚类阈值,将评价指标进行分类.为后续研究红外与可见光图像融合质量综合评价提供理论支持.

1张宝辉.红外与可见光的图像融合系统及应用研究[博士学位论文].南京:南京理工大学,2013.

2夏明革,何友,黄晓东.多传感器图像融合效果评价方法研究.电光与控制,2003,10(2):31-35.

3Petrović V.Subjective tests for image fusion evaluation and objective metric validation.Information Fusion,2007,8(2):208-216.[doi:10.1016/j.inffus.2005.05.001]

4张小利,李雄飞,李军.融合图像质量评价指标的相关性分析及性能评估.自动化学报,2014,40(2):306-315.

5Cvejic N,Canagarajah CN,Bull DR.Image fusion metric based on mutual information and Tsallis entropy.Electronics Letters,2006,42(11):626-627.[doi:10.1049/el:20060693]

6Piella G,Heijmans H.A new quality metric for image fusion.Proceedings of the 2003 IEEE International Conference on Image Processing.Barcelona,Spain.2003.173-176.

7Luo XY,Zhang J,Dai QH.Saliency-based geometry measurement for image fusion performance.IEEE Transactions on Instrumentation and Measurement,2012,61(4):1130-1132.[doi:10.1109/TIM.2011.2174898]

8Xydeas CS,Petrovic V.Objective image fusion performance measure.Electronics Letters,2000,36(4):308-309.[doi:10.1049/el:20000267]

9Xydeas CS,Petrovic VS.Objective pixel-level image fusion performance measure.Proceedings of SPIE 4051,Sensor Fusion:Architectures,Algorithms,and Applications IV.Orlando,FL,USA.2000.89-98.

10Zhang ZG.An approach to multiple attribute group decision making for supplier selection.Proceedings of 2011 IEEE International Conferenc on Advanced Management Science.Chengdu,China.2010.536-539.

11陈广秋,高印寒,段锦,等.基于奇异值分解的PCNN红外与可见光图像融合.液晶与显示,2015,30(1):126-136.

12沈瑜,党建武,冯鑫,等.基于Tetrolet变换的红外与可见光融合.光谱学与光谱分析,2013,33(6):1506-1511.

13王珺,彭进业,何贵青,等.基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法.兵工学报,2013,34(7):815-820.

14周渝人,耿爱辉,王莹,等.基于对比度增强的红外与可见光图像融合.中国激光,2014,41(9):0909001.

15杨桄,童涛,陆松岩,等.基于多特征的红外与可见光图像融合.光学精密工程,2014,22(2):489-496.

16郑红,郑晨,闫秀生,等.基于剪切波变换的可见光与红外图像融合算法.仪器仪表学报,2012,33(7):1613-1619.