基于监督学习的Takagi Sugeno Kang模糊系统图像融合方法研究

李 奕 吴小俊



基于监督学习的Takagi Sugeno Kang模糊系统图像融合方法研究

李 奕①②吴小俊*①

①(江南大学物联网工程学院 无锡 214122)②(青岛大学国际教育合作学院 青岛 266071)

该文针对图像融合领域内难于对先验知识加以利用的问题提出一种新的有监督学习的Takagi Sugeno Kang (TSK)模糊系统图像融合方法。该方法通过引入TSK模糊系统构建标准图像融合图像库进行学习，将学习准则记录下来形成融合模型，并指导新的图像融合过程。不同于传统方法，该方法可以有效地避免模型参数择优的难题，在融合图像质量和适用范围方面表现出一定的优势。从单一类型图像融合和多种类型图像融合两个角度进行了实验研究，实验结果说明该方法的有效性。

图像融合；监督学习；Takagi Sugeno Kang(TSK)模糊系统

1 引言

上述神经网络方面的图像融合方法虽然在某种类型或某些类型的图像融合中表现出一定的有效性，但采用的还均是无监督学习技术，都依然面临着不能充分利用成功融合的经验并用于指导新的图像融合工作之问题。针对此问题，本文将机器学习领域著名的有监督学习模型，即模糊系统引入图像融合过程中，这样通过对目前已成功融合的结果建立起图像学习库来进行模型学习，得到适宜于图像融合的模糊系统模型，利用得到的模型对新图像完成融合，从而达到可以提高新图像融合效率和准确性的目的。

2 TSK(Takagi Sugeno Kang)模糊系统

2.1 监督学习智能建模方法

2.2 TSK模糊系统

模糊系统[16,17]作为智能计算领域内一个重要的研究分支，其依靠自身独特的可解释性以及强大的学习能力，被广泛地应用于各个领域内。由于TSK模型输出的简洁性，以及其所对应的训练过程通常可转化为线性回归问题或二次规划问题来求解，这使得该模型较之于其它模型而言训练过程更为快速、有效。本文即针对TSK模型进行图像融合的探讨。

其中

3 TSK模糊系统图像融合方法

3.1 方法框架

TSK模糊图像融合方法分为图像库构建、学习算法选择和规则参数学习、融合模型生成与图像融合实现几部分。核心部分具体又可分为两个模块，即模型训练模块和模型测试模块，如图1所示。训练部分主要通过采用不同的TSK模糊系统学习算法，基于融合图像学习库中图像进行参数学习，并将得到的最终模糊规则记录下来形成TSK模糊系统图像融合模型。测试部分主要是采用该融合模型针对新的待融合图像完成融合测试，并得到最终的融合结果。

3.2 实现过程

本节基于3.1节的TSK模糊系统图像融合框架，研究具体的TSK模糊系统图像融合算法实现，主要包含如下两个部分：(1)融合图像训练数据集的构造；(2)基于融合图像数据集和ANFIS学习方法的TSK模糊系统训练。

3.2.1训练数据集的构造 根据不同的具体情况，本文在构造训练图像数据集时设计了特定类型训练集和不限定类型训练集两种情况，分别进行讨论。具体描述如下。

(1)特定类型图像融合训练数据集的构造。对于特定类型图像，以医学X射线断层扫描(CT)，磁共振成像(MRI)为例，可以根据若干结构相似度高于0.9的可用CT, MRI图像及其对应融合后所得图像来构造训练数据集。此类数据集训练模型对此类测试图像的融合是非常有针对性的，可以期望得到很好的融合效果。但对于其它类型的测试图像效果则不够理想，即缺少通用性。

图1 TSK模糊系统图像融合模型的训练和测试模块

(2)不限定类型图像融合训练数据集的构造。为了提高所训练模型的通用性，需要给模型提供一个多样性的图像训练数据集。该问题是有监督学习图像融合研究领域的难题，以往的研究中很少有涉及，本文进行了如下尝试。选择几组结构相似度高于0.8的多聚焦、少量医学图像等来构造一个多样性图像训练数据集。此类数据集训练所得模型将有较好的通用性，但对于特定类型的图像，其效果较之对应的特定类型图像数据集训练所得模型将会变差。这一点在实验部分亦得到了验证。

3.2.2 TSK训练算法 基于给定的图像数据集，可采用不同的方法对TSK模糊系统学习得到最终用于图像融合的模糊系统模型。目前的TSK模糊系统学习算法有如扩展TSK方法STSK(Scalable TSK)[16]等多种。根据本文的图像数据集的特点，我们采用自适应神经模糊推理系统(Adaptive Neural Fuzzy Inference System, ANFIS)算法来训练所需的TSK模糊系统图像融合模型。针对其它模糊学习方法应用到图像融合领域的研究将是我们继续深入的问题。本部分对ANFIS学习训练过程做简要介绍。ANFIS 学习过程分为前件学习过程和后件学习过程。先假设前件参数已知，通过前件输出来确定后件学习中的参数；然后再以得到的后件学习参数以及相应后件学习结果来计算前件参数，这样交替反复进行，直到满足迭代终止条件为止。具体学习过程如表1所示。

图2训练集学习过程

表1 ANFIS学习过程

3.3 TSK模糊系统图像融合算法及分析

根据前面分析，本节给出基于ANFIS的TSK模糊系统图像融合模型的具体实现算法(简称ANFIS-Fusion)，算法描述如表2所示。

表2 ANFIS-Fusion算法步骤

本文提出的ANFIS模糊系统图像融合方法，主要分为ANFIS模糊系统训练集构造、学习阶段及模型产生、图像融合测试及反馈阶段和融合图像生成4部分工作。其核心ANFIS模糊系统学习阶段根据学习图像库中的多组图像进行学习，以标准图像作为逼近目标，并经迭代学习得到最终模糊推理规则。第3个阶段的工作是根据学习模型完成融合过程，得到融合图像，并将该融合经验逐步补充训练过程，以增强ANFIS模糊系统学习能力。本文提出了一种有监督图像融合学习过程，可以较好地利用之前的融合经验指导新的图像融合过程，避免融合过程单次化和融合经验的浪费，较好地提高了融合性能。

4 仿真实验及分析

本节选择在图像融合领域广泛存在的医学图像、多聚焦图像上进行实验研究，与经典融合方法PCNN, Gradient, FSD, Laplacian, DWT, PCA进行比较，并对实验结果、性能进行了深入分析，本节所采用的指标见表3所示。

表3指标计算方法

指 标计算方法 Q0[18] QE[18] QW[18] QAB/F[18]

4.1 特定类型学习图像融合实验

特定类型学习图像融合实验旨在构造单种类型图像的学习图像库，通过学习过程形成融合模型来指导学习图像库中该类型图像融合工作。实验中选取图像尺寸为256×256的两幅医学‘CT’图像进行实验，实验结果见图3和表4。

4.2 无限定类型学习图像融合实验

无限定类型学习图像融合实验旨在构造不限定单种类型图像的学习图像库，通过学习过程形成融合模型来指导学习图像库中某类型图像融合工作。多聚焦图像是图像融合领域中具有代表性的几大类型图像之一，在该类型图像上的实验效果在一定程度上可以说明方法的有效性。本文尝试通过构造由经典的多聚焦图像、医学图像等多种类型图像组成的学习图像库，并由形成的学习模型指导多聚焦图像的融合。实验中选取分别为左、右聚焦的两幅‘Book’图像，结果见图4和表5。

表4 ‘CT’图像实验数据比较

表5 ‘Book’图像实验数据比较

图3‘CT’图像实验结果

4.3 分析

本节从视觉清晰度和客观评价指标两个角度对上述实验结果进行比较和分析。

首先，从视觉清晰度的角度上进行分析，无论是特定类型图像融合还是无限定类型图像融合，采用本文方法融合得到的图像均较之于其它方法更加清晰，能够较好地反映图像中主要因素的信息。

其次，从客观评价上，在‘CT’图像上：特定类型图像融合实验结果在Q0, QE, QW, QAB/F方面显示出一定优势，说明本文方法具有一定的有效性。对于不限定图像类型实验结果，在Q0, QW, QAB/F方面表示突出，在QE方面接近于PCA。但在相同的实验环境下采用特定类型融合模型得到的实验结果比不限定类型融合模型得到的实验结果在Q0, QE, QW, QAB/F几方面均有所提高，这一点说明特定类型图像融合模型在融合准确性上可以达到相对更高的水平，这与我们的经验相一致。在无限定类型图像学习融合实验‘Book’图像上，QW, QAB/F等方面表现较突出。但Q0, QE方面差于PCA。另外，本文方法融合的结果在图像灰度的特征信息方面并不十分满意，主要原因在于构建融合模型时没有突出此类重点信息，在该方面如何引入特征信息、区域信息等内容来构建训练数据集，较好地提高融合图像的性能，将是我们拟进一步探讨的问题。

无论是针对特定类型的医学图像融合实验结果还是针对无限定类型图像学习融合实验结果，本文方法在QW, QAB/F等方面均表现突出，说明通过新方法融合得到的图像能够尽量多地包含原图像中有价值的信息。从视觉上来看，融合结果清晰度较好，能够较好地保持图像中的关键信息。

5 结束语

针对图像融合领域中先前融合经验不能积累用于指导新的融合过程之不足，本文提出了一种新的有监督TSK模糊系统图像融合方法。这种方法通过ANFIS模糊系统训练算法基于已有图像学习库中的图像进行参数学习，建立TSK模糊系统图像融合模型，以指导完成新的图像融合过程。实验结果表明本文方法具有以下特点：(1)采用有监督的学习模式，可以充分利用之前成功的融合经验来指导新的融合过程，较好地提高融合性能；(2)可以对完整图像集中的部分可公开的图像进行学习，来指导其他图像的融合过程，有效地保护不能公开的隐私图像。另外，采用其它类型的模糊系统实现图像融合也是值得探讨的工作，未来的工作中我们将对上述问题做进一步深入研究。

图4 ‘Book’图像实验结果

[1] McAlpin D and Meyer F J. Multi-sensor data fusion for remote sensing of post-eruptive deformation and depositional features at Redoubt Volcano[J]., 2013, 259: 414-423.

[2] Kong W W, Lei Y J, Lei Y,.. Image fusion technique based on non-subsampled contourlet transform and adaptive unit-fast-linking pulse-coupled neural network[J]., 2011, 5(2): 113-121.

[3] Geng P, Zheng X, Zhang Z G,.. Multifocus image fusion with PCNN in shearlet domain[J]., 2012, 4(15): 2283-2290.

[4] Lindblad T and Kinser J M. Image Processing Using Pulse-coupled Neural Networks[M]. New York: Springer Berlin Heidelberg, 2013: 1.

[5] Chai Y, Li H F, and Qu J F. Image fusion scheme using a novel dual-channel PCNN in lifting stationary wavelet domain[J]., 2010, 283(19): 3591-3602.

[6] Qu X B, Yan J W, Xiao H Z,.. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[7] Huang W and Jing Z L. Multi-focus image fusion using pulse coupled neural network[J]., 2007, 28(9): 1123-1132.

[8] Wang Z B, Ma Y D, and Gu J. Multi-focus image fusion using PCNN[J]., 2010, 43(6): 2003-2016.

[9] Luo X Q and Wu X J. Medical image fusion based on pulse coupled neural networks and multi-feature fuzzy clustering[J]., 2012, 5(12A): 878-883.

[10] Li Z F, Chai Y, and Zhong Y P. Multifocus image fusion scheme using features motivated a novel M-channel PCNN in lifting stationary wavelet domain[J]., 2012, 8(4): 1531-1543.

[11] Jiang H and Tian Y F. Fuzzy image fusion based on modified self-generating neural network[J]., 2011, 38(7): 8515-8523.

[12] Zhang Z L, Sun S H, and Zheng F C. Image fusion based on median filters and SOFM neural networks: a three-step scheme[J]., 2001, 81(6): 1325-1330.

[13] Zhang D G, Li C, Wang D,.. A new method of image data fusion based on FNN[C]. Natural Computation(ICNC), Yantai, China, 2010, 7: 3729-3733.

[14] 王士同. 神经模糊系统及其应用[M]. 北京: 北京航空航天大学出版社, 1998: 1-3.Wang S T. Neural Fuzzy System and Their Application[M]. Beijing: Publishing House of Beijing Aeronautical University, 1998: 1-3.

[15] 王士同. 模糊系统, 模糊神经网络及应用程序设计[M]. 上海:上海科学技术文献出版社, 1998: 1-2.

Wang S T. Fuzzy System, Fuzzy Neural Networks and Their Programming[M]. Shanghai: Press of Shanghai Science and Technology, 1998: 1-2.

[16] Deng Z H, Choi K S, Chung F L,.. Scalable TSK fuzzy modeling for very large datasets using minimal-enclosing-ball approximation[J]., 2011, 19(2): 210-226.

[17] 蒋亦樟, 邓赵红, 王士同. 0阶L2型TSK迁移学习模糊系统[J].电子学报, 2013, 41(5): 897-904.

Jiang Y Z, Deng Z H, and Wang S T. 0 Order L2 norm Takagi Sugeno Kang type transfer learning fuzzy system[J]., 2013, 41(5): 897-904.

[18] Yin H T, Li S T, and Fang L Y. Simultaneous image fusion and super-resolution using sparse representation[J]., 2013, 14(3): 229-240.

李 奕： 女，1979年生，博士生，讲师，研究方向为图像融合.

吴小俊： 男，1967年生，教授，博士生导师，主要从事模式识别、图像处理等的研究.

A Novel Image Fusion Method Using the Takagi Sugeno Kang Fuzzy System Based on Supervised Learning

Li Yi①②Wu Xiao-jun①

①(,,214122,)②(,,266071,)

A novel image fusion method based on supervised intelligent learning is proposed in order to overcome the difficulty in the use of priori knowledge in image fusion. In this study, the images database for supervised learning is first constructed，then the model parameters trained with the available training datasets are used for the Takagi Sugeno Kang (TSK) fuzzy system model. Different from the classical method that needs to manage the different parameters setting manually, the proposed method can effectively preclude the problem in the optimal parameters setting. Meanwhile, some advantages are displayed in the fusion image quality and adaptation. The experimental studies on different types of images, both single and multi, also show the effectiveness of the method.

Image fusion; Supervised learning; Takagi Sugeno Kang (TSK) fuzzy system

TP391

A

1009-5896(2014)05-1126-07

10.3724/SP.J.1146.2013.00400

吴小俊 xiaojun­­_wu­_jnu@163.com

2013-03-28收到，2014-01-23改回

国家自然科学基金(60973094, 61103128, 61373055)和教育部科技研究重大项目(311024)资助课题