判决性字典学习方法综述

薄纯娟，宋 鹏，林 怡

(大连民族大学 机电工程学院，辽宁 大连 116605)

判决性字典学习方法综述

薄纯娟，宋 鹏，林 怡

(大连民族大学 机电工程学院，辽宁 大连 116605)

为了解决在基于稀疏表示的分类算法中,传统字典学习框架下学习得到的字典仅可用于信号重构而并不针对分类的问题，分析和总结了具有代表性的面向分类的字典学习算法，也称判决性字典学习。判决性字典学习算法总体上分为两类：直接使得字典具有判决性和使得表示系数具有判决性。对两类方法进行分析和总结可为本领域算法的发展提供参考，并引起更多研究。

字典学习；判决性字典；稀疏表示；分类

Abstract:Dictionaries learned from the traditional dictionary learning framework can only be used for signal reconstruction, but not for classification problems. In order to solve this problem in the classification algorithms based on sparse representation, we summarize and analyze typical dictionary learning algorithms for classification, also called discriminative dictionary learning. To be specific, we can roughly divide the discriminative dictionary learning methods into two categories: directly making the dictionary be discriminative and making the representation coefficients be discriminative. The analysis and summary in this paper will provide references for the development of algorithms in this field, and lead to further researches.

Keywords:dictionary learning; discriminative dictionary; sparse representation; classification

近年来，随着稀疏表示的兴起和广泛应用，字典学习(Dictionary Learning，DL)已成为当前热点研究问题之一。一般来说，字典学习旨在建立稀疏表示模型求解所需的字典，使得字典能够更好地表示测试样本。字典学习方法来源于压缩感知理论，最初用来在稀疏约束条件下学习一个自适应的字典来更好地表示信号。，诸多学者将字典学习框架应用于图像去噪、图像修复[1]、模式聚类[2]、样本分类等领域，并取得了较好的效果。

传统字典学习框架下学习得到的字典仅可用于信号重构而并不针对分类问题，因此一些学者尝试从监督学习和类别信息挖掘等方面出发，研究面向分类的字典学习方法，也称为判决性字典学习方法。本文分析了两类代表性的判决性字典学习方法：(1)直接使得字典具有判决性：从不同类别字典间信息差异的角度出发直接设计判决性字典学习方法，并利用重构误差准则实现分类。典型代表算法包括：中间脸学习[3](Meta-face Learning)和结构不相关字典学习[4](Dictionary Learning with Structured Incoherence)等；(2)使得表示系数具有判决性：通过同时学习字典和分类器的方式来使得表示稀疏具有判决性，从而增强字典的判决能力。与第一种方法不同，该类方法利用稀疏表示系数作为新的特征进行分类，包括监督字典学习(Supervised Dictionary Learning)、标签一致K-SVD算法[5](Label consistence K-SVD)、判决性K-SVD算法[6](Discriminative K-SVD)、Fisher判决字典学习[7](Fisher discrimination Dictionary Learning)等。

1 分类方法与学习框架

1.1 基于稀疏表示的分类方法

2009年，Wright等人[8]提出了基于稀疏表示的分类方法用于人脸识别，取得了鲁棒的识别效果。假设有C类人脸，令D=[X1,…,Xc,…,XC]∈Rd×N为初始训练样本集，其中Xc∈Rd×Nc为子集(包含来自第c类的所有Nc个训练样本)。该稀疏表示分类算法将原始数据集作为整个字典，用x∈Rd表示一个待分类的人脸图像，则基于稀疏表示的分类方法识别x需要以下两个步骤：

1.通过求解L1范数最小化问题来获得关于向量x的稀疏编码，

(1)

式中，λ为标量常数。

2.利用类特征重构误差原则推理人脸x的类别归属，

(2)

式中，δi(·)是一个矢量指示函数，提取对应的第i类原子。

该方法在人脸识别上取得了很好的效果，尤其对于噪声(如遮挡、光照等)非常鲁棒，虽然该方法在分类中没有学习字典，但它开创了利用稀疏编码进行分类的先河。从字典学习角度，传统基于稀疏表示的分类方法仅仅使用所有训练样本作为字典，用特定类别的训练集作为子字典以保持判决性。

1.2 字典学习框架

字典学习的目标是自适应地建立一个向量库，使得新的信号可以由其中几个向量线性组合表示。假设有一组信号X=[x1,…,xi,…,XN]，其中xi是第i个信号。传统的字典学习框架下学习字典的目标函数为：

(3)

虽然经典的字典学习框架在一些研究中实现了很好的分类效果，但该框架最初被设计用来重构而不是分类，因此有针对性地学习更适合分类的字典，能够进一步提升分类性能。

2 两类方法介绍

2.1 直接使得字典具有判决性方法

该类方法利用重构误差来做最后的分类，因此学习的字典应具有判决性。受到基于稀疏表示的分类方法的启发，杨等人提出了中间脸学习方法，该方法对每类学习一个自适应的字典，受到该方法的启发，Ramirez等在目标函数中添加了一个复杂项使得面向分类的字典更具体。

2.1.1 中间脸学习

传统基于稀疏表示的分类方法直接采用原始的人脸图像作为字典，然而使用预先定义的字典将产生与累积冗余噪音和琐碎信息，从而降低人脸的识别率。此外，随着训练样本的增加，稀疏表示的计算量也不断增大，成为主要瓶颈。针对这一问题，杨等提出了一种中间脸学习方法对每一类学习特定的字典：

(4)

2.1.2 利用结构相关性的字典学习

Ramirez等发现学习的子字典可能具有一些共性，例如某些来自不同子字典的原子可能非常相关。原子之间的相关性使得在重构测试样本的过程中存在不稳定性，进而导致基于类特定重构误差的分类机制出错。针对该问题，增加一个相关项来约束字典，使得不同类的字典尽可能不相关。

(5)

2.2 使得表示系数具有判决性方法

第二类方法与第一类方法的区别在于判别方法。与第一类方法相比，第二类强制稀疏系数也具有判决性，间接增强整个字典的判决能力。第一类方法需要对每类分别学习字典，而第二类方法只需要学习整个字典。

2.2.1 监督字典学习

Mairal等提出监督字典学习方法，将逻辑斯蒂回归与传统的字典学习框架相结合的工作如下：

(6)

式中，L(·)是逻辑损失函数(C(x)=log(1+e-x))，它与支持向量机中的岭损失函数具有相似的属性，不同的是L(·)可微，λ2是正则化参数[9]，用于防止过度拟合。若f是一个线性分类函数，则f(x,a,θ)=θTa+b，其中θ∈RK；若a和x双线性，则f(x,a,θ)=xTWa+b，其中θ={W∈Rd×K,b∈R}。

2.2.2 判决性K-SVD字典学习方法

张和李提出判决性K-SVD方法，实现了理想字典同时具有好的表示能力并支持最优判决分类。D-KSVD在传统的DL框架下增加了一个简单的线性回归项作为惩罚项：

(7)

式中，H=[h1,…,hN]∈RC×N是训练图像的标签，hn=[0,…,0,1,0,…,0]是每类中非零元素的位置。W是分类器的参数，λ1、λ2和λ3是控制对应项的相对贡献常数。

2.2.3 标签一致性K- SVD

Jiang等提出了标签一致性K-SVD方法来学习一个判决性字典进行稀疏编码。该方法引入一个“判决性稀疏编码误差”的标签一致性约束，并与重构误差和分类误差组合形成统一的目标函数：

(8)

2.2.4 Fisher判决字典学习

Yang等基于Fisher判决准则提出了Fisher判决字典学习方法，学习一个结构字典，其原子对应于该类别的标签。该结构化的字典表示为D=[D1,…,DC]，其中DC是特定第C类的子字典。数据集表示为X=[X1,…,XC]，其中Xc是子集，第c类的训练样本。通过求解以下方程，获得字典和系数得到理想的判决性字典：

(9)

(10)

判决性系数项：要使字典D对数据集X具有判决性，可以使X对D的编码系数A具有判决性。基于Fisher准则，可以通过最小化A的类内散布矩阵SW和最大化A的类间散布矩阵SB来实现。 SW和SB被定义为：

(11)

合并所有项，得到以下Fisher判决性字典学习模型：

(12)

该方法用作分类时，仍然利用第一类方法中的重构误差实现。

3 结 论

本文分析了两类具有代表性的判决性字典学习方法。判决性字典学习算法在基于稀疏表示的分类框架中非常重要和实用，能够较为显著地提升分类算法的效果。一种从字典本身角度出发，使得字典具有判决能力；另一种从表示系数角度出发，使得表示系数具有判决能力，间接使得字典具有判决能力。相比而言，后者更加直观有效。在综述和总结前人工作的基础上，我们认为判决性字典学习算法未来的研究方向会集中在以下几方面。一方面，研究人员可以寻求一个统一的框架来将两类字典学习算法进行统一，深入分析各方法对所学字典以及分类结果的影响，并在此基础上针对特定问题设计更加有效的字典学习算法。另一方面，可以将字典学习和度量学习相结合，考虑如何在统一的模型框架下讨论如何同时学习字典和度量矩阵的问题。此外，字典学习算法在处理大数据时的时间和空间复杂度都比较高，如何在线学习判决性字典也是未来值得研究的课题之一。

[1] ELADM, FIGUEIREDOM, MAY. On the role of sparse and redundant representations inimage processing[J]. Proceedings of IEEE, 2010, 98(6):972-982.

[2] CHENGB, YANGJ, YANS , et al.Learning with1-graph for image analysis[J].IEEE Trans Img Proc, 2010, 19(4):858-866.

[3] YANGM, ZHANGL, YANGJ, et al.Metaface learning for sparse representation basedface recognition[C].Proceedings - International Conference on Image Processing(ICIP), 2010: 1601-1604.

[4] RAMIREZI, SPRECHMANNP, SAPIROG. Classification and clustering via dictionary learningwith structured incoherence and shared features[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2010: 3501-3508.

[5] JIANGZ, LINZ,DAVIS L S. Learning a discriminative dictionary for sparse coding vialabel consistent k-svd[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR), 2011: 1697-1704.

[6] ZHANGQ,LIB. Discriminative k-svd for dictionary learning in face recognition[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 2010: 2691-2698.

[7]YANGM,ZHANGL,FENGX,et al. Fisher discrimination dictionary learning for sparserepresentation[C]. Proceedings of the IEEE International Conference on Computer Vision(ICCV), 2011: 543-550.

[8] RAINAR, BATTLEA, LEEH, et al. Self-taught learning: transfer learningfrom unlabeled data[C]. ACM International Conference Proceeding Series (ICML), 2007,227: 759-766.

[9] WRIGHTJ, YANGA, GANESHA,et al. Robust face recognition via sparserepresentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227 .

(责任编辑 赵环宇)

ReviewonDiscriminativeDictionaryLearningAlgorithms

BOChun-juan,SONGPeng,LINYi

(School of Electromechanical Engineering, Dalian Minzu University, Dalian Liaoning 116605, China)

TP391

A

2017-03-20；

2017-04-14

中央高校基本科研业务费专项资金资助项目(DC201501010401)。

薄纯娟(1986-)，女，山东东营人，工程师，主要从事图像处理和模式识别研究。

2096-1383(2017)05-0466-04