一种新的带有辅助信息的迁移学习算法研究

李亮姣

广东工业大学自动化学院 广东 广州 510006

引言

迁移学习是机器学习领域中的一个重要组成部分，相对于传统的单任务学习，在实验数据样本少的情景下，能够利用相关信息进行辅助学习。在现实中，感兴趣的域的数据样本存在体量不满足学习时，但样本的收集和标注又需要花费巨大的成本。人们期望能够利用已有的数据样本来减少实验成本。实际上，单一任务并不是独立存在的个体，相关任务之间存在共性，迁移已有知识能够帮助特定任务学习到更完善的知识。因此，迁移学习通过不同任务之间的联系，找到数据的共性和特性，来帮助目标任务训练以得到更好的性能。迁移学习方法已广泛应用在多个领域，比如图像分类，数据挖掘和人工智能等[1-4]。

Universum信息是不属于任何类别的数据，一般与训练类别存在弱相关性。一般来说，附加数据在模型训练中能够提供更多差异性信息，调整预测模型决策超平面来获得更好的预测结果。因此，Universum信息具有辅助学习的效果，可用于学习更好的识别系统或者分类系统。国内外学者近年来也逐渐重视这一辅助信息的应用，数据样本发掘的花费成本逐渐减少[5-8]。

当下很多研究方法都使用了迁移学习的方法，但是大多数方法都在如何进行模型架构的改进上，没有考虑到使用辅助信息。因此本文提出一个新的带有辅助信息的迁移学习算法模型。

1 基本定义

基于迁移学习的方法，首先，设定原任务为S，目标任务为T，同时加入Universum信息U，设定数据集合为：

其中，|S|,|T|分别表示源域和目标域任务的数据量和辅助信息的数据量。表示源域和目标域原始数据的特征，表示源域和目标域的标签值。

2 研究内容

支持向量机作为机器学习基础分类方法，被广泛应用于多种模型架构之中。支持向量机本质上是一种二类分类模型，可以理解为特征空间上的间隔最大的线性分类器，在特征数据超平面作决策平面与样本间隔最大化，并作为凸二次规划问题获取最优解。支持向量机有较好的分类性能，且能够解决高维度的分类问题。因此，本文基于支持向量机建立一个带有辅助信息的迁移学习算法模型，如下：

接着，对公式进行优化求解。通过拉格朗日对偶原理，引入拉格朗日乘子并利用对偶形式求解优化得到因此对于目标域任务，样本的正负可以由以下方式确定：

3 实验结果

本文选取了4个数据集来验证模型的准确性。这4个数据集分别为MINST数据集、USPS数据集、CIRAR10数据集以及ImageNet数据集，设置如表1。

表1 数据集设置

MNIST数据集和USPS数据集都是大型手写数字图像库，都包含了数字‘0’-‘9’的各类手写图片，但是图像样本存在较大差异。在实验中，将MNIST数据集和USPS数据集的数字图片作为源域和目标域数据，多次挑选一种数字作为源域和目标域迁移数据，并将其他数字图片作为辅助信息数据。

CIRAR10数据集以及ImageNet数据集都是带有噪声的现实世界图像库，选取5、6类相同的物种图像作为数据集。在实验设置过程中，每挑选一个相同物种的图像数据作为源域和目标域样本，各类数据集剩余的多累样本作为源域和目标域的Universum信息，挑选的图像数据与实验数据存在一定相关性。实验设置如表1所示。

针对本方法的方法对照，选取了迁移学习和Universum学习相关的学习方法进行性能比较，以此来说明本方法的有效性。选取的方法中，AL-SVM[9]和MTCTKI[10]是近年来改进的迁移学习方法，具有良好的泛化能力，误差范围很小。SCUSVM[11]是带有Universum信息的学习方法，能够帮助获取更多有用信息。

在实验中，核函数采用高斯核，并且对相关参数进行设定。在每个最佳参数设置下重复多次且进行参数调整，使得实验效果最优。实验结果如表2所示。

表2 实验结果

由实验结果可知，本文提出的方法有更好的分类性能。相对于AL-SVM和MTCTKI，Universum学习可以辅助模型训练，切实提升了分类器的性能。相对于SCUSVM，迁移学习利用不同任务之间的互补性来辅助模型更好地提升分类器的性能。实验中的结果说明，在基于迁移学习的模型框架下，加入Universum信息能够提升分类器的精度。

4 结束语

本文研究了迁移学习的基本思想和方法，同时充分考虑到Universum学习。文中提出的带有辅助信息的多任务学习算法模型，能够利用不同任务之间的共性和差异性以及辅助信息来帮助学习，获取更优性能的目标域分类器。同时，选取了不同的数据集，并进行恰当的分组实验和对照实验，来验证模型的有效性。对于未来，希望针对辅助信息的多任务进行拓展探究。