基于实例置信度推断的半监督小样本植物病害图像识别

孔江波 朱贺 张延文 黄建平

摘要：植物病害影响农业生产的产量和质量。针对现有小样本植物病害识别方法大多数都是基于监督式学习模型以及少数半监督学习方法未判别伪标注样本的可信度的问题，提出一种基于实例置信度推断的半监督学习小样本植物病害图像识别方法。首先构建ResNet-12网络提取有标注样本和无标注样本的特征;其次利用极少数有标签的植物病害样本训练SVM分类器，用分类器推断无标注样本的类别并赋予伪标签;然后采用实例置信度推断（ICI）算法获取伪标注样本的置信度，迭代选择可信的伪标签样本加入训练拓展支持集;最后应用训练后的网络模型对植物病害图像进行识别。该方法能够反映无标注病害样本的真实分布，迭代选择最可信的伪标注样本进行模型训练，从而提高模型的识别性能。试验采用Plant Village公开数据集进行10-way-5-shot试验。结果显示：在unlabel= 50的情况下识别准确率为89.34%，病害的各项评价指标均随着无标注样本数量的增加而增加。结果表明本研究提出的方法从无标注样本中获取到的信息是鲁棒的，且识别准确率优于传统迁移学习，能有效提升小样本条件下植物病害图像的识别效果。

关键词：植物病害;半监督学习;识别;小样本学习;深度学习;置信度推断

中图分类号： TP391.41;S126文献标志码： A

文章编号：1002-1302（2022）12-0229-09

收稿日期：2021-11-16

基金項目：中央高校基本科研业务费专项（编号：2572019CP19）;黑龙江省自然科学基金（编号：TD2020C001）。

作者简介：孔江波（1997—），男，甘肃永靖人，硕士研究生，主要从事模式识别研究。E-mail：kjb1206612461@163.com。

通信作者：黄建平，博士，副教授，博士生导师，主要从事目标检测、图像处理相关研究。E-mail：jphuang@nefu.edu.cn。

植物病害是影响农业生产安全和生态环境安全的严重生物灾害，因此及时且准确地发现并识别出病害的种类，针对各个病害的特点采取相应措施便能够有效地减少病害带来的危害[1-3]。

传统的植物病害识别主要包括人工和仪器辅助的半自动识别方法，但在识别效率和识别准确率方面难以满足科学研究和实际生产中的大面积、快速检测植物病虫害的需要[4-5]。近年来，深度学习技术取得了长足进步，深度学习技术在植物物种分类、林木图像分割、植物病虫害图像识别等方面得到了广泛的应用[6-9]。Srdjan等将深度卷积神经网络应用于植物病害图像的识别领域，对健康叶片图像及13类病害叶片图像的识别准确率为96.3%[10];黄建平等提出一种能够依据特定数据集自动搜索出合适的神经网络结构的植物病害图像识别方法[11]。

训练深度学习模型需要大量的带有标签的数据集来学习植物病害图像的视觉特征以及不同植物间的视觉差异[12]。然而在现实中，标注大规模植物病害样本成本高昂，并且某些植物病害较为罕见，甚至很难采集到病害样本。使用过少的标注样本训练深度学习模型很容易导致模型过拟合和泛化性能力差[13]。

近年来，基于小样本学习（few-shot learning，FSL）[14-15] 的图像识别方法得到了广泛的关注。基于小样本学习的图像识别方法[16-17]主要包括数据增强（如半监督学习[18]、GAN[19]）、迁移学习[20]（如基于特征[21]、基于共享参数[22]）、度量学习（如匹配网络[14]、原型网络[15]）、元学习（如MAML[23]、Meta-SGD[24]、Reptile[25]）等方式。Wang等[26]与Argüeso等[12]采用Siamese网络框架解决小样本植物病害图像分类问题;Yu等提出一种特征分割子网络和斑点感知子网络相结合的注意力机制[27];Hu等利用C-DCGAN网络对茶叶病害样本进行扩充[28];谢军等提出了基于2次迁移深度学习模型的小样本茶树病害识别方法[29];Li等首次将半监督学习模型应用于小样本植物病害识别问题，但仅仅通过fine-tuning来迭代选择伪标注样本更新模型，并没有对伪标注的置信度进行判别[13]。基于小样本学习的植物病害识别方法在模型的泛化能力和准确率方面取得了较好的性能，但依然存在以下2个问题：一方面，现阶段小样本植物病害图像识别的研究大多数都是基于监督式学习模型，未充分挖掘无标注样本的有用信息。另一方面，少数方法仅通过Fine-tuning来迭代赋予无标注病害样本伪标注，并未判别伪标注植物病害样本的可信度，错误的伪标注样本加入训练会导致模型性能降低。

针对现有小样本植物病害识别方法存在的问题，本研究提出一种基于实例置信度推断的半监督学习小样本植物病害图像识别方法。该方法利用实例置信度推断（ICI）算法获取伪标注样本的置信度，选择可信的伪标签样本加入训练拓展支持集，通过迭代选择最可信的伪标注样本进行模型训练，实现少量样本下植物病害图像的准确识别。

1 植物病害识别方法

1.1 实例置信度推断（ICI）算法

半监督学习（semi-supervised learning，SSL）[18，30]是一种常见的机器学习范式，能够在有标注数据昂贵或稀缺的情况下，自动地利用现成的无标注数据来改进监督式学习任务，从而提升学习性能，适用于含有少数的标注数据及多数的未标注数据的学习问题，半监督学习过程示意图如图1所示。半监督学习模型通常是用有标注的训练样本来训练分类器，然后由训练好的分类器预测无标注样本的类别标签，并选择这些有伪标签的无标注样本加入训练来更新分类器，起到数据增强的作用。但是倘若分类器仅由极少数的标注样本来训练，此时分类器对于无标注样本类别的预测准确率很低，若将预测错误的伪标注样本加入训练将会降低分类器的分类性能。因此研究分类器赋予每个无标签样本的伪标签置信度将有助于提高最终分类器的预测效果。D498D58D-9934-4195-8966-D0B98489D122

针对伪标签样本置信度问题，Wang等提出了一种基于统计学的实例置信度推断的方案（instance credibility inference，ICI）[31]，该方案能够反映无标注样本的真实分布，并且从无标注样本中获得的信息是鲁棒的。本研究使用该方法来推断赋予无标注植物病害图像样本伪标签的置信度。

针对N个类、每类n个样本构建的线性回归模型如下：

yi=xTiβ+γi+i。（1）

式中：β∈Ed×N，为回归系数矩阵;γi为与样本有关的偶发参数;xi∈Rd× 为样本i对应的特征向量;yi为样本i的类别标签。

传统方法对回归系数β进行优化，以获得最佳的线性回归模型来预测样本i的类别。受偶发参数问题相关研究[32]的启发，ICI算法假设当对β的估计β^较弱时，γi的估计γi^可反映该样本点的拟合程度，可将γi视为对线性回归模型的修正，即‖γi‖越大，回归模型对该样本点的拟合程度越差，将样本i归属为类别yi的可能性越低，若该样本为伪标注样本时，能反映该伪标注样本的可信程度。基于上述思想构建含偶发参数的标签样本和伪标签样本的线性回归模型如下：

（β^，γ^）=argminβ，γ‖Y-Xβ-γ‖2F+λR（γ）。（2）

损失函数定义为：

L（β，γ）=‖Y-Xβ-γ‖2F+λR（γ）。（3）

式中：‖·‖2F為Frobenius范数;γ=[γi]∈Rn×N，为偶发参数;Y、X分别指标签和特征输入;R（γ）=∑ni=1‖γi‖2 为惩罚项;λ为惩罚项系数。

ICI算法不关注β^的解，求公式（3）对β的偏导并令其为0，即Lβ=0：

β^=（XTX）+XT（Y-γ）。（4）

式中：（·）+为广义逆矩阵。

利用γ来衡量每个伪标签样本沿其正则化路径的置信度，则可将问题重新定义为：

argminγ‖Y-H（Y-γ）-γ‖2F+λR（γ）。（5）

式中：H=X（XTX）+XT。进一步定义X～=（1-H），Y～=X～Y，则公式（5）可化简为：

argminγ‖Y～-X～γ‖2F+λR（γ）。（6）

由参考文献[33]的理论值λmax=maxi‖X～TiY～‖2/n保证公式（6）的解全为0[33]，得到列表λ∈[0，λmax]。正则化系数λ从0逐渐增大时，γ逐渐减小，当某一项γi率先降为0，说明该样本伪标签可信程度更高。因此可根据使γi变为0对应的λ值对伪标签数据进行排序，将低λ值下使γi变为0的样本视为可信的伪标签样本加入训练来更新分类器。

1.2 病害识别模型

本研究中将数据划分为源域和目标域，源域中包含大量有标注植物病害样本，目标域包含大量无标注植物病害样本和少量有标注植物病害样本。模型训练过程共包含2个阶段，分别是预训练阶段和半监督学习阶段。利用半监督学习阶段最终更新后的分类器在小样本植物病害目标域的查询集上测试分类效果。

预训练阶段在大量有标注的植物病害源域上进行，该阶段目的是训练特征提取网络ResNet-12，获得最佳预训练模型，并将其迁移泛化到小样本植物病害目标域中。半监督学习阶段在少量有标注及大量无标注的植物病害目标域上进行，该阶段采用ICI算法推断伪标签样本的置信度，选择最可信的伪标签样本加入训练拓展支持集，从而提升分类器的分类性能。半监督学习阶段方法结构示意图见图2，模型在包含少量有标注样本的支持集上进行学习，并在查询集上测试分类效果。按照小样本学习策略采用标准的N-way-m-shot来表示单次识别任务，即支持集共包含N类，每类含有m个标注样本。具体步骤如下：（1）采用ResNet-12主干网络提取有标注样本和无标注样本的特征，并用PCA对特征向量进行降维;（2）采用PCA降维之后的有标注植物病害特征训练SVM分类器，用训练好的SVM分类器推断无标注样本的类别并赋予伪标注;（3）由“1.1”节所述ICI算法推断伪标注样本的置信度，迭代选择可信的伪标注样本加入训练拓展支持集，优化SVM分类器的性能;（4）不可信的伪标签样本被返回并由逐步更新后的分类器重新赋予新的伪标注并继续由ICI推断置信度;（5）重复上述过程，直到所有无标签样本都被选中，此时所有的无标签样本的伪标签都已经唯一确定;（6）由最终更新后的分类器对查询集中的测试样本进行预测。

本研究采用ReNet-12[3 34-35]作为特征提取网络，该网络属于ResNet[36]的轻量级版本，网络结构如图3所示。该网络包含4个残差块，每个残差块含有3个3×3的卷积层，每个卷积层后跟BatchNorm层并采用LeakRelu（0.1）激活函数，每个残差块后都跟1个2×2的最大池化层减少模型参数和计算量。各个block中的过滤器数量分别为64、128、256和512，最后再经过一个自适应平均池化层产生输入特征，经全连接层输出一个512维的特征向量，由PCA方法将512维特征向量缩减至5维，所有输入图像的尺寸大小均被调整为168×168×3。

2 试验结果与分析

2.1 数据集划分

本研究利用植物病害研究常用的公共数据集PlantVillage中的24类共46 340张健康植物样本图像以及病害植物样本图像进行试验。其中，源域14类共35 186张植物病害样本，分别为健康苹果、健康蓝莓、橘子黄龙病、桃细菌性斑点病、健康辣椒、健康大豆、南瓜白粉病、番茄细菌性斑点病、健康番茄、番茄晚疫病、番茄斑枯病、番茄二斑叶螨病、番茄轮斑病、番茄黄曲病;目标域10类共11 154张植物病害样本，分别为樱桃白粉病、玉米锈病、健康玉米、葡萄黑腐病、葡萄黑痘病、葡萄叶枯病、马铃薯早疫病、马铃薯晚疫病、草莓叶焦病和番茄早疫病。图4为目标域每一类病害图像示例。D498D58D-9934-4195-8966-D0B98489D122

2.2 试验参数设置

本研究所有试验均在ubuntu 14.04平台下完成，采用python语言及pytorch深度学习框架，计算机内存16 GB，搭载CPU为ES-2650 v4，2.20 Hz×13;GPU为NVIDIA TITAN Xp，12 GB显存。

预训练阶段：本研究采用带动量的SGD优化器训练预训练模型，动量因子设置为0.9。采用交叉熵损失函数，L2权重衰减设为1×10-4，初始学习率为0. 每30个epochs衰减10倍，总共120个epochs。随机抽取源域中每类10%的样本构建验证集，取验证集验证准确率最高的epoch对应的预训练模型作为最佳迁移学习模型并迁移至目标域中。

半监督学习阶段：固定全连接层前的所有卷积层并保留每一层的权重，仅由支持集训练分类器。所有试验采用L2范数归一化病害图像特征并采用PCA降维和SVM分类器进行分类。本研究通过随机采样多个小样本环境验证所提出的基于实例置信度推断半监督学习模型的小样本植物病害图像的识别效果。单个小样本环境下的测试任务为1个episode，所有试验均取500个episodes分类效果的平均值来评估模型的性能。在N-ways-m-shot-unlabel-k任务中，每个episode选取支持集中的10类植物病害，每类5个标注样本及k个未标注样本，并在查询集中的每类15张样本上进行测试，即每个episode样本共10×（5+k+15）张植物病害图像。

2.3 量化评价指标

为量化评估本研究提出模型的准确性和有效性，本研究采用准确率、查准率、查全率及F1值4个评价指标。评价指标中的变量定义如表1所示。

准确率（accuracy，Acc）表示正确分类的样本数量与总样本数量的比值，定义如下：

Acc=TP+TNTP+TN+FP+FN×100%。（7）

查准率（precision，P）表示预测为正样本中预测正确的比值，定义如下：

P=TPTP+FP×100%。（8）

查全率（recall，R）表示正确分类的正样本数量与总的正样本数量的比值，定义如下：

R=TPTP+FN×100%。（9）

F1值表示查准率和查全率的调和平均数，定义如下：

F1=2×R×PR+P。（10）

本研究所有消融试验和对比试验采用准确率作为评价指标，而对于每类植物病害的分类效果采用查准率、查全率及F1值这3项评价指标。

2.4 试验结果与分析

本研究包含10类植物病害（10-way），采用每类仅有的5个有标注样本进行试验（5-shot任务），测试所提出模型对小样本植物病害图像的分类效果。所有试验采用迭代的方式加入无标注样本，每次迭代为每类选择5个无标注样本，每个测试任务无标注样本的数量分别为15、30、50时的分类结果如表2所示，其中查全率、查准率及F1值的测试结果均为500个episodes测试结果的平均值。

由表2对10-way-5-shot任务的分类结果可知，随着无标注样本的增加，用于评价本研究模型对10类植物病害分类效果的3项指标均取得了不同程度的提高，每类植物病害的无标注样本数量由15增加至50的过程中，查准率、查全率及F1值的平均值分别提高了1.03%、1.09%、1.28%。证明本研究所采用的小样本植物病害识别模型能够获得良好的识别效果，同时模型的性能随着加入的无标注样本数量的增加而提高。

基于ICI算法的分析，本研究不设置具体的阈值来划分可信和不可信的伪标签样本，而是根据使γi变为0对应的λ值对伪标签样本进行排序，ICI算法会迭代地选择在低λ值下使γi变为0的样本，这样能够以更高的概率得到分类器判断正确的伪标注样本，将更为可信的伪标注样本加入训练从而增强分类器的分类性能。为验证这一算法的有效性，本研究通过Sklearn库可视化γi的正则化路径如图5所示。其中，紅线为ICI算法预测正确的样本，黑线为预测错误的样本，可以看出大部分预测正确的植物病害样本都集中在曲线下方且γi率先变为0，为保证以更高的概率将正确的伪标注加入训练来拓展支持集，ICI算法会选择黑线下方的伪标注样本。

2.5 消融试验

2.5.1 主干网络对比

本研究对比了主干网络ResNet-12、ConvNet、MobileNet、ResNet-18和DenseNet-121在unlabel=15、30条件下小样本植物病害的分类准确率。准确率和每一个episode的平均测试时间结果如表3所示。从表3可以看出，对于所有特征提取网络，随着为每类随机选取的无标注样本数量的增加，模型的分类性能也得到提升。采用DenseNet-121特征提取网络获得了最好的识别效果，但其推断时间也较长。因此，本研究采用兼顾网络结构简单且分类准确率较高的ResNet-12作为特征提取网络。

2.5.2 episodes数确定

本研究随机采样多个不重复的episode，每个episode都能输出1个分类准确率，取所有episode准确率的平均值来评估模型的性能。在10-way-5-shot，无标注样本数分别为15、30、50时每一个episode下的平均准确率如图6所示。在500个episode左右时模型的平均准确率均收敛于一个很小的区间之内，此时平均准确率的值能够反映模型整体分类性能，因此所有试验设置episode数为500。同时该图还能直观地反映出当为每类加入的无标注样本数量增加时，模型每一个episode对植物病害图像的分类准确率也在增加。

2.5.3 降维影响

降维后的维数（dimension，d）在10-way-5-shot-15-unlabel情况下对植物病害测试准确率的影响结果如表4所示。表4中显示了降维到2、5、10、15、30、50、100、200及不降维（d=512）的分类准确率和每一个episode的平均测试时间。由表4中数据可以看出，168×168×3大小的病害样本经主干网络提取特征并输出512维的特征向量中所包含的特征参数是冗余的，当d=100时本研究模型对植物病害样本分类的准确率最高，为89.32%。但是随着维数的增加，每一个episode测试时间也增加，当d=100时每一个episode的平均测试时间为92.43 s，时间成本过高，因此为兼顾每一个episode平均测试时间短且分类准确率高的特征维数进行试验，模型中采用d=5。当d=5时准确率为88.25%，每一个episode的测试时间最短，为20.69 s。D498D58D-9934-4195-8966-D0B98489D122

2.5.4 优化器影响

本研究对比了深度学习中常用的3种优化器训练特征提取网络分析其对识别结果的影响，训练样本为14类植物病害共35 186张。图7给出了Adam、Amsgrad、带动量因子的SGD的训练损失以及验证精度在训练过程中的对比，动量因子设置为0.9。从图7中可以看出，带动量的SGD优化器无论是收敛速度还是验证集的准确率都表现出了更为优秀的性能。因此，本研究选择了带动量因子的SGD优化器训练迁移学习模型。

2.5.5 迁移学习对比

本研究方法迭代地选择可信的伪标注样本来扩充支持集，每次迭代为每类选择5个无标注样本。当加入的无标签样本数量分别为15、30、50时迭代次数与每次迭代的分类准确率如图8所示。3条折线的起点准确率均为86.68%，此时对应迁移学习的准确率。无标注样本数为15时，共经历3次迭代达到最高分类准确率88.25%;无标注样本数为30时经历6次迭代达到最高分类准确率88.58%;而无标注样本数为50时共经历10次迭代达到最高分类准确率89.34%。当无标注样本数为50时，随着迭代次数增加，本研究模型对植物病害图像识别准确率的提升会减慢，这符合边际效应递减的规律。

本研究方法与单纯采用迁移学习方式（transfer learning，TL）的小样本植物病害图像的分类准确率的对比结果如表5所示。当每类植物病害仅有5个有标签样本参与训练时，单纯的采用迁移学习方法只能达到86.68%的分类准确率，而本研究模型在每类加入无标注样本数量为15、30和50时，分类准确率分别提高了1.57%、1.9%、2.66%。本研究提出的基于实例置信度推断的半监督学习的小样本植物病害图像识别方法优于传统的迁移学习方法。

2.5.6 数据增强方法对比

本研究方法采用ICI算法选择可信的伪标注病害样本加入训练，起到数据增强的作用。在机器学习领域转导推理（transductive inference，TI）[37-38]方法假设未标注样本就是测试样本，也可达到数据增强的目的。转导推理即预先观察了所有样本，包括支持集中的样本（带标签）以及查询集中的样本（不带标签），从观察到的样本中进行学习后对查询集样本进行预测。尽管训练时不知道测试样本的真实类别，但可以从特征分布中学习到知识，取得最佳泛化能力，为模型带来增益。本研究对比半监督学习方法与转导学习的小样本植物病害分类准确率，对比试验满足数据增强的样本数一致，即半监督设置unlabel=15，同时测试样本为每类15个，将每类的15个测试样本用于转导学习获取知识，试验结果如表6所示。

从表6可以看出，转导学习与本研究所采用的半监督学习方法在小样本的植物病害图像识别方面都表现出了较为优秀的识别准确率。由于转导推理直接将测试样本作为无标注样本帮助训练，效果比相同数量无标注样本下的半监督学习模型准确率高是符合预期的，但所提出的基于实例置信度推断的半监督学习模型用于小样本植物病害识别性能仅仅略低于转导学习，这表明模型从无标注病害样本中获取到的信息是鲁棒的。

2.5.7 分类器对比

本研究基于10-way-5-shot-15-unlabel条件下对比了SVM、KNN、随机森林、逻辑回归4种常用的分类器对小样本植物病害图像的分类准确率，结果如表7所示。由表7可得，SVM分类器对小样本植物病害图像得识别准确率最高，因此本研究选择SVM分类器进行试验。

3 结论

本研究针对病害标注样本数量极少的情况下分类准确率过低及现有研究存在的问题，提出一种基于实例置信度推断的半监督学习小样本植物病害图像识别方法，该方法能够充分利用未标注样本为模型带来增益，采用Plant Village數据集构建10类小样本植物病害目标域进行了试验，主要结论如下：

（1）本研究方法能够实现小样本植物病害较为精确的识别，在无标注植物病害样本数分别为15、30和50情况下每类植物病害的各项评价指标都随无标注样本数量的增加而增加。

（2）本研究对半监督学习模型进行了优化，通过对比试验证明该模型优于传统的迁移学习方法。且基于实例置信度推断的半监督学习模型能够反映无标注植物病害样本的真实分布，从无标注病害样本中获取到的信息是鲁棒的，因此本研究方法能够满足在现实条件下的小样本植物病害识别需要。

（3）本研究所提出的小样本植物病害方法对于任何特征提取网络均能体现出模型的有效性。

本研究方法为实现小样本数据下植物病害图像实时、准确识别提供了技术手段。后续研究可进一步扩充迁移学习的训练样本数量及类别，提高特征提取能力;同时将细粒度网络与半监督学习模型相结合，提高植物病害细粒度图像的识别效果。

参考文献：

[1]Kaur S，Pandey S，Goel S. Plants disease identification and classification through leaf images：a survey[J]. Archives of Computational Methods in Engineering，2019，26（2）：507-530.

[2]翟肇裕，曹益飞，徐焕良，等. 农作物病虫害识别关键技术研究综述[J]. 农业机械学报，202 52（7）：1-18.

[3]Strange R N，Scott P R. Plant disease：a threat to global food security[J]. Annual Review of Phytopathology，2005，43：83-116.

[4]Iqbal Z，Khan M A，Sharif M，et al. An automated detection and classification of citrus plant diseases using image processing techniques：a review[J]. Computers and Electronics in Agriculture，2018，153：12-32.D498D58D-9934-4195-8966-D0B98489D122

[5]Mahlein A K. Plant disease detection by imaging sensors-parallels and specific demands for precision agriculture and plant phenotyping[J]. Plant Disease，2016，100（2）：241-251.

[6]Liu J，Wang X W. Plant diseases and pests detection based on deep learning：a review[J]. Plant Methods，202 17（1）：22.

[7]孙 红，李 松，李民赞，等. 农业信息成像感知与深度学习应用研究进展[J]. 农业机械学报，2020，51（5）：1-17.

[8]Abade A，Ferreira P A，de Barros V F. Plant diseases recognition on images using convolutional neural networks：a systematic review[J]. Computers and Electronics in Agriculture，202 185：106125.

[9]Lu J Z，Tan L J，Jiang H Y. Review on convolutional neural network （CNN） applied to plant leaf disease classification[J]. Agriculture，202 11（8）：707.

[10]Sladojevic S，Arsenovic M，Anderla A，et al. Deep neural networks based recognition of plant diseases by leaf image classification[J]. Computational Intelligence and Neuroscience，2016，2016：3289801.

[11]黄建平，陈镜旭，李克新，等. 基于神经结构搜索的多种植物叶片病害识别[J]. 农业工程学报，2020，36（16）：166-173.

[12]Argüeso D，Picon A，Irusta U，et al. Few-shot learning approach for plant disease classification using images taken in the field[J]. Computers and Electronics in Agriculture，2020，175：105542.

[13]Li Y，Chao X W. Semi-supervised few-shot learning approach for plant diseases recognition[J]. Plant Methods，202 17（1）：68.

[14]Vinyals O，Blundell C，Lillicrap T P，et al. Matching networks for one shot learning[C]//NeurIPS16：Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona，Spain：ACM，2016：3630-3638.

[15]Snell J，Swersky K，Zemel R S. Prototypical networks for few-shot learning[C]//NeurIPS17：Proceedings of the 31st International Conference on Neural Information Processing Systems（NeurIPS）. Long Beach：ACM，2017：4077-4087.

[16]劉 颖，雷研博，范九伦，等. 基于小样本学习的图像分类技术综述[J]. 自动化学报，202 47（2）：297-315.

[17]赵凯琳，靳小龙，王元卓. 小样本学习研究综述[J]. 软件学报，202 32（2）：349-369.

[18]Zhu X J，Goldberg A B. Introduction to semi-supervised learning[J]. Synthesis Lectures on Artificial Intelligence and Machine Learning，2009，3（1）：1-130.

[19]Goodfellow I，Pouget-Abadie J，Mirza M，et al. Generative adversarial networks[J]. Communications of the ACM，2020，63（11）：139-144.

[20]Pan S J，Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering，2010，22（10）：1345-1359.

[21]Hariharan B，Girshick R. Low-shot visual recognition by shrinking and hallucinating features[C]//2017 IEEE International Conference on Computer Vision（ICCV）.Venice：IEEE，2017：3037-3046.D498D58D-9934-4195-8966-D0B98489D122

[22]Qi H，Brown M，Lowe D G. Low-shot learning with imprinted weights[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：5822-5830.

[23]Finn C，Abbeel P，Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]//ICML17：Proceedings of the 34th International Conference on Machine Learning-Volume 70.2017：1126-1135.

[24]Li Z G，Zhou F W，Chen F，et al. Meta-SGD：learning to learn quickly for few-shot learning[EB/OL]. [2021-04-07]. https：//arxiv.org/abs/1707.09835.

[25]Nichol A，Achiam J，Schulman J. On first-order meta-learning algorithms[EB/OL]. [2021-04-07]. https：//arxiv.org/abs/1803.02999.

[26]Wang B，Wang D. Plant leaves classification：a few-shot learning method based on Siamese network[J]. IEEE Access，2019，7：151754-151763.

[27]Yu H J，Son C H. Leaf spot attention network for apple leaf disease identification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle：IEEE，2020：229-237.

[28]Hu G S，Wu H Y，Zhang Y，et al. A low shot learning method for tea leafs disease identification[J]. Computers and Electronics in Agriculture，2019，163：104852.

[29]謝 军，江朝晖，李 博，等. 基于二次迁移模型的小样本茶树病害识别[J]. 江苏农业科学，202 49（6）：176-182.

[30]周志华. 机器学习 [M]. 北京：清华大学出版社，2016.

[31]Wang Y K，Xu C M，Liu C，et al. Instance credibility inference for few-shot learning[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle：IEEE，2020：12833-12842.

[32]Fan J Q，Tang R L，Shi X F.Partial consistency with sparse incidental parameters[J]. Statistica Sinica，2018，28：2633-2655.

[33]Simon N，Friedman J，Hastie T. A blockwise descent algorithm for group-penalized multiresponse and multinomial regression[EB/OL]. [2021-04-07]. https：//arxiv.org/abs/1311.6529.

[34]Oreshkin B N，Rodriguez P，Lacoste A. Tadam：Task dependent adaptive metric for improved few-shot learning[C]//NeurIPS 18：Proceedings of the 32st International Conference on Neural Information Processing Systems. Montréal：ACM，2018：719-729.

[35]Mishra N，Rohaninejad M，Chen X，et al. A simple neural attentive meta-learner[C]//ICLR 018. Vancouver，2018.

[36]He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

[37]Joachims T. Transductive inference for text classification using support vector machines[C]//ICML 1999：Proceedings of the 16th International Conference on Machine Learning. Bled，1999：200-209.

[38]Vapnik V. Transductive inference and semi-supervised learning [J]. Semi-Supervised Learning. Cambridge：MIT Press，2006：453-472.D498D58D-9934-4195-8966-D0B98489D122