基于迁移学习的葡萄叶片病害识别及移动端应用

苏仕芳，乔 焰，饶 元

基于迁移学习的葡萄叶片病害识别及移动端应用

苏仕芳，乔 焰，饶 元※

（安徽农业大学信息与计算机学院，合肥 230036）

为解决已有的卷积神经网络在小样本葡萄病害叶片识别的问题中出现的收敛速度慢，易产生过拟合现象等问题，提出了一种葡萄叶片病害识别模型（Grape-VGG-16，GV），并针对该模型提出基于迁移学习的模型训练方式。将VGG-16网络在ImageNet图像数据集上学习的知识迁移到本模型中，并设计全新的全连接层。对收集到的葡萄叶片图像使用数据增强技术扩充数据集。基于扩充前后的数据集，对全新学习、训练全连接层的迁移学习、训练最后一个卷积层和全连接层的迁移学习3种学习方式进行了试验。试验结果表明，1）迁移学习的2种训练方式相比于全新学习准确率增加了10～13个百分点，并在仅训练25轮达到收敛，该方法有效提升了模型分类性能，缩短模型的收敛时间；2）数据扩充有助于增加数据的多样性，并随着训练次数的增加，训练与测试准确率同步上升，有效缓解了过拟合现象。在迁移学习结合数据扩充的方式下，所构建的葡萄叶片病害识别模型（GV）对葡萄叶片病害的识别准确率能达到96.48%，对健康叶、褐斑病、轮斑病和黑腐病的识别准确率分别达到98.04%、98.04%、95.83%和94.00%。最后，将最终的研究模型部署到移动端，实现了田间葡萄叶片病害的智能检测，为葡萄病害的智能诊断提供参考。

图像识别；病害；葡萄叶片；迁移学习；数据扩充；移动端

0 引 言

目前，葡萄在世界水果生产中占有重要地位，中国葡萄栽培总面积达到67万hm2，葡萄产量1 000万t。但是葡萄的种植过程极易受到天气、环境、虫害和病害等影响，从而对葡萄植株的生长发育、产量品质等造成不可逆的损害[1]。随着葡萄产业的发展，叶片病害的种类不断增多、病害对植株的伤害也不断加重，初期的病害如果不及时发现并采取措施，病害就会迅速蔓延到整个植株，从而严重影响葡萄果实的正常生长，给种植户造成严重的经济损失。所以在初期阶段快速准确的识别葡萄病害是目前葡萄种植行业亟待解决的问题。目前葡萄种植过程中普遍存在的病害主要有褐斑病、轮斑病、黑腐病等。早期的病害检测主要是靠有经验的葡萄病虫害专家通过对葡萄叶片的感官识别来判定，而单纯依靠人工判定病虫害方式耗时费力[2-3]，对于日益增加的葡萄种植户来说并不可行，并且凭经验判断的结果差异较大，很难确保检验结果的一致性和准确性。因此，利用人工智能手段，对葡萄病害进行自动的、智能的检测具有重要意义。

深度学习作为机器学习的一个分支，在计算机视觉领域应用广泛，其中卷积神经网络[4-5]（Convolutional Neural Networks，CNN）作为最经典的深度学习算法之一，已经被广泛应用到图像识别领域（如车辆检测[6]、人脸识别[7-8]、语音识别[9]等），并取得了较好的成果。在农作物病害识别中，孙俊等[10]提出一种批归一化（Batch Normalization，BN）与全局池化相结合的改进卷积神经网络模型训练PlantVillage所收集的21 917张叶片图像，仅经过3次训练，就达到90%以上的识别准确率；王璨等[11]利用卷积神经网络提取图像的多尺度分层特征，再对图像进行超像素分割，精确地实现了玉米与杂草的识别；周云成等[12]将深度卷积神经网络应用于番茄主要器官的分类与识别，实现了对番茄果、花、茎的精确识别。虽然基于卷积神经网络的图像识别方法已经广泛应用到多种农作物病害的识别与检测领域，但是针对葡萄病害的检测却少有应用。主要是因为葡萄相对其他大规模种植的农作物来说，其病害图像较难获得，而较小的训练样本集难以使深度卷积神经网络模型获得稳定的识别精度。为此，针对小样本数据集的训练问题，龙满生等[13]提出了一种基于AlexNet网络的迁移学习方法，通过对小数据样本的数据扩充和迁移学习，能够将分类准确率提升到96.53%；苏婷婷等[14]运用深度迁移学习的方法识别花生叶部病害，识别准确率可达到95.30%；赵立新等[15]将迁移学习的多种网络进行了对比，证明了AlexNet网络的迁移学习分类效果相对较好，使用数据增强技术后再训练能够将平均测试准确率提高到97.16%。以上研究表明，通过迁移学习和样本扩充能在一定程度上解决小样本数据集在卷积神经网络上模型训练问题，然而较成熟的卷积神经网络模型分类种类较多，在训练仅有4类病害的葡萄叶片时难以收敛，且极易产生过拟合现象。

针对以上问题，本文提出一种基于VGG-16[16]的葡萄叶片病害识别模型（Grape-VGG-16，GV），利用迁移学习将VGG-16在ImageNet[17]数据集上训练成熟的特征提取能力迁移到葡萄叶片病害识别模型中，通过设计全新的全连接层实现了葡萄病害的精确识别。通过18组对比试验，证明了迁移学习的训练方法能加快收敛速度，有效地缓解过拟合现象的产生，并将葡萄病害的识别准确度提高到96.48%。最后，采用Google发布的针对移动设备或嵌入式设备的轻量化解决方案——TensorFlow_Lite将提出的GV模型部署到智能手机等移动终端，实现了移动端对葡萄叶片病害的快捷智能化诊断。

1 试验数据

1.1 图像数据采集

本试验的图像数据采集于2020年5-9月合肥高新产业农业园和合肥大圩葡萄园，相机型号为尼康D7200，分辨率设为640×480像素，分别采集了葡萄叶片褐斑病、轮斑病、健康叶和黑腐病图像各300张。拍摄采用自然环境下的多角度与多时间段拍摄方法。

1.2 图像数据扩充

每个类的图像为300张，首先选取250张为训练集，其余50张用于测试。再使用随机旋转度数、随机水平和竖直平移、水平翻转等方法进行数据扩充，训练的过程中对图片进行归一化处理，并将图片统一缩放为224´224×3像素。

2 葡萄叶片病害图像识别模型构建

2.1 卷积神经网络与VGG-16网络

卷积神经网络（Convolutional Neural Network，CNN）能够通过逐层抽取图像，获得代表一幅图像高级语义的结构化特征[18]。基本的卷积神经网络包括输入层、卷积层、激活层、池化层和全连接层。

本文选取经典卷积神经网络VGG-16进行迁移学习[19-21]，由13个卷积层、5个池化层和3个全连接层组成（如图1所示）。网络只使用3×3的小型卷积核和2×2的最大池化层，通过小卷积核进行特征提取，并增加了卷积子层数，提升了网络的拟合能力。

卷积层通过卷积运算完成对图像特征的提取。卷积核以滑动窗口的形式在输入图像上进行逐行扫描，进行图像与网络参数的卷积操作[22]，最终得到图像的特征图矩阵。在卷积层中，对输入特征的卷积运算如下所示

式中为卷积层的输出结果。ReLU函数可用来增加神经网络间的非线性，VGG-16除了输出层之外，每一层都选择ReLU激活函数，相比于Sigmoid和tanh，ReLU具有收敛速度快、计算简单等特点[25]，更适用于深度网络模型。

池化也叫下采样或欠采样，主要作用是对特征图进行特征压缩，其方法主要包括最大池化（Max Pooling）和平均池化（Average Pooling）[26]，分别在池化操作中计算并保留图像某一区域上特定特征的最大值或平均值，VGG-16所有2×2的池化层均使用最大池化。

全连接层出现在多个卷积和池化操作之后，在卷积神经网络中起到“分类器”的作用，可整合卷积层和池化层中具有类别区分性的局部信息[27]。全连接层的输出值直接传递给输出层，输出层利用Softmax函数进行葡萄叶片病害的检测。

Softmax分类器用S表示第个样本的分类概率，其计算公式为

2.2 迁移学习

迁移学习（Transfer Learning）是运用已有的知识对与原领域不同但相关领域问题进行求解的一种机器学习方法[28]，是把一个领域（源领域）的知识，迁移到另外一个领域（目标领域），使得目标领域能够取得更好的学习效果。迁移学习的目的是迁移已有的知识来解决目标领域中仅有少量样本数据时的模型训练。微调[29]（fine-tune）是进行迁移学习的一种手段，它通过使用别人训练好的权重参数，不冻结最后一个卷积层和全连接层，对这2个层进行参数的更新和训练。本文使用的数据集共4类，每类包含300张图片，由于样本量很小，一般的卷积神经网络无法达到满意的训练效果。因此，本文采用2种迁移学习方式（训练全连接层与训练最后一个卷积层和全连接层）对模型进行训练。相比非迁移学习的全新学习（即训练模型的全部层），迁移学习更有助于在小样本条件下加快网络的收敛，并有效地提高识别精度。

2.3 模型构建

原始的VGG-16网络在ImageNet数据集上进行训练，并将结果分为1 000类。而目前能够采集到的葡萄叶片数量有限，无法达到与ImageNet数据集等同的规模。若仅靠小样本数据对VGG-16进行全新训练，一方面会导致泛化效果差，极易产生过拟合现象；另一方面会占用大量的计算资源，且随着训练轮数的增加，模型易发生波动。因此，为避免小数据集易导致的模型过拟合和识别效果不稳定现象，本文在VGG-16基础上，保留图1中卷积模块5之前的网络结构，并重新设计新的全连接层代替VGG-16的全连接层，提出了葡萄叶片病害识别模型（Grape-VGG-16，GV）。

GV的模型结构如图2所示，该模型由5个卷积模块1～5和2个全连接模块（全连接层1和全连接层2）构成。全连接层不仅包括ReLU激活函数和Softmax函数，还采用正则化方法Dropout[30]技术来避免训练过拟合。输入图像经过卷积与池化模块1～5的操作之后图像尺寸大小为7×7×512像素。首先经过Flatten层，该层是卷积层到全连接层的过渡层，使用Flatten()类将多维的输入一维化，即将特征矩阵转化为一个1×25 088的向量，再通过全连接层1降维到1×512，之后进入非线性激活函数ReLU。再进入Dropout层，Dropout可通过随机丢弃掉网络中的一些神经元来有效地抑制过拟合现象的发生，Dropout中的正则化参数一般设置为0.5或0.3（即丢弃50%或30%的神经元），在GV模型中，正则化参数设置为0.5。屏蔽掉某些神经元之后进入全连接层2，该层将向量维度降到1×64，该层同样使用ReLU函数。最后一层首先将向量降维到1×4，再利用Softmax函数计算最终的分类概率。

在模型的迁移学习中，将VGG-16网络在ImageNet上训练好的卷积层权重和参数迁移到GV模型的卷积层中，最后用葡萄叶片病害数据集对该模型进行训练，实现葡萄叶片病害的识别。

3 试验结果与分析

3.1 试验环境配置与参数设置

试验运行环境操作系统为Windows10，内存为8GB，搭载Intel Core i5 8400处理器，采用Anaconda 4.5.11，cuda10.1编程平台，cudnn 7.6，以Tensorflow作为开发环境，编程使用Python3.7。试验批次（batchsize）为32，训练轮数为300，动量参数设置为0.9，采用随机梯度下降法（Stochastic Gradient Descent，SGD）来实现模型优化，并利用Dropout函数减轻过拟合。训练方式包括全新学习、训练全连接层的迁移学习和训练最后一个卷积层及全连接层的迁移学习，数据集采用无扩充数据和扩充数据，针对每一种训练方式和每一组数据集，学习率分别设置为0.01，0.001，0.000 1，共进行18组试验。GV模型经过300轮训练后，各组试验的训练与测试结果如表1所示。

3.2 训练结果分析与对比

由表1可知，不同的训练方式，数据集和学习率均对模型的性能产生了不同的影响。

3.2.1 训练方式对模型的影响

学习率为0.001，使用无扩充数据集进行训练时，3种训练方式的训练和测试准确率如图3所示。

表1 GV模型训练与测试的损失值和准确率

注：A、B为数据扩充方式，A表示无扩充，仅将输入图像统一缩放为224×224像素；B表示将输入数据缩放到224×224像素后再进行随机旋转度数、随机水平和竖直平移、水平翻转等增强操作进行扩充。NaN表示损失无穷大。训练轮数为300。

Note: A and B are two data augmentation methods. A means no data augmentation, where input images are only scaled to 224×224 pixels; B means the data is augmented by random rotation, random horizontal, vertical translation and horizontal flip after being scaled to 224×224 pixels. NaN means the loss is infinite. The number of training epochs is 300。

由图3a可知，进行全新学习时，模型在一开始伴随较大波动，在训练约75轮后才达到收敛。训练全连接层的迁移学习与训练最后一个卷积层和全连接层的迁移学习在训练过程中产生的波动较小，并且在仅训练25轮后模型就达到收敛。

由图3b可知，相比迁移学习，全新学习的测试准确率较低，初始的测试准确率仅达到0.25，收敛也较慢。这是因为葡萄叶片病害数据集与ImageNet图像数据集在数量上存在较大差异，小样本数据的全新学习很难达到理想的测试效果。而采用迁移学习的方式可显著地提高模型的测试准确率且加快收敛速度。

以上试验表明迁移学习可以极大地缩短模型训练的收敛时间。由图3可知，迁移学习不仅加快了模型的收敛速度，而且对于提高模型的训练与测试准确率具有明显的促进作用，其中训练最后一个卷积层与全连接层的迁移学习模型性能更加稳定，相比全新学习，准确率约增加13个百分点，而训练全连接层的准确率约增加10个百分点。表明迁移学习的训练全连接层与训练最后一个卷积层和全连接层两种网络模型的性能要优于全新学习，后者性能更佳。

3.2.2 数据扩充对模型的影响

为了验证数据扩充对于模型训练的影响，在其他参数相同的条件下，分别针对2种数据集进行训练与测试的准确率曲线如图4所示。由图4可知，在全新学习模式下，扩充数据下的训练和测试准确率曲线表现出较大的波动，但随着训练次数的增加，两者的波动幅度逐渐减小，准确率在逐步上升，并没有产生过拟合现象，表明数据扩充可以有效的缓解过拟合现象，提升模型性能。在迁移学习模式下，扩充数据的测试准确率并没有显著提高，这是因为VGG-16网络在ImageNet这个大型数据集上已经学习到了很好的特征提取能力，因而数据扩充的作用被弱化。但是数据扩充对模型的训练是必要的，它不仅充分增加了训练样本，更有助于防止过拟合，增强模型的泛化能力。

分别对表1中第14组（数据无扩充）和第17组（数据扩充）试验经过300轮训练后的模型进行测试，分别命名为GV-14、GV-17，分别得出这2个模型对 4类病害识别的准确率，结果如表2所示。由表2可知，GV-17对葡萄叶片病害的识别准确率更高，可达到99%的准确率，而GV-14虽然识别出了病害类型，但是准确率不高并且存在识别为其他类别的可能性，例如，GV-14在识别黑腐病图片时，可能性为69.5%，因此识别为其他类别的可能性为30.5%。因此，数据扩充提升了模型的鲁棒性与图片的识别准确率。

表2 经扩充数据训练后GV模型(GV-17)与无扩充数据训练后GV模型(GV-14)病害识别准确率

3.2.3 学习率对模型的影响

3.3 模型效果测试

在分类问题中，仅仅用训练和测试准确率来判定模型性能的好坏是不准确的。在数据集不平衡时，就可能会存在准确率很高，而对少数类样本分类错误的情况。分类模型的评价指标除了准确率之外，还有精准率、召回率和1得分。1得分可综合考量精准率和召回率，可由以下公式计算

本小节对性能较优的第9组试验（训练方式为迁移学习训练全连接层，学习率为0.001，使用无扩充数据集）训练300轮之后的模型进行测试，使用200张图片作为测试数据，计算模型的精准率、召回率、1得分与准确率，结果如表3所示。计算得出该模型在测试后的平均准确率为96.48%，分类性能最好的是健康叶和褐斑病，识别准确率为98.04%，最低的是黑腐病，识别准确率为94.00%。

表3 模型的识别精度

3.4 葡萄叶片病害识别应用

为了使最终的神经网络模型更加快捷智能的进行病害检测，将其开发为移动端应用，安装到手机或其他智能终端。移动端可以利用手机自带的相机拍摄病害图片并上传到PC服务器端进行处理。服务器端对图片进行相应的预处理后，选择基于迁移学习的葡萄病害识别模型病害进行病害识别，最终将该图片的有效信息及识别结果反馈到移动端。如图6所示，或者直接选择图片后上传到服务器端，再将结果反馈给移动终端。

4 结 论

本文在VGG-16基础上构建了葡萄叶片病害识别模型GV，并分别以全新学习、训练全连接层的迁移学习和训练最后一个卷积层与全连接层的迁移学习3种方式对GV模型进行训练。通过对训练方式、数据扩充、学习率对模型的影响进行了分析，得出以下结论：

1）在同时训练300轮的情况下，迁移学习的训练方式在25轮达到收敛，而全新学习在约75轮收敛，表明迁移学习可以缩短模型训练的收敛时间，并在相同试验条件下，迁移学习相比于全新学习准确率增加10～13个百分点。

2）相比全新学习，迁移学习在训练过程中会弱化数据扩充的作用。但数据扩充能够有效地减少训练准确度与测试准确度之间的较大差异（即过拟合现象），从而提高模型的泛化能力。

3）学习率对模型的收敛和识别准确率会产生较大影响。在全新学习与迁移学习中，当学习率取到0.01时损失值无穷大，并且较大的学习率会导致损失函数发生震荡，无法达到收敛。因此，选取合适的学习率对模型的训练至关重要。

本文对葡萄叶片的4类病害进行识别，在图片背景单一、数量少的情况下，基于迁移学习的葡萄叶片病害图像识别具有较好的识别效果。模型的准确率能够达到96.48%。而实际的农田采集的图像，一张图片可能包含多种病害并且背景复杂。在后续工作中，将重点研究如何在复杂背景下分割葡萄叶片，并进一步优化模型，提升模型的性能，并把研究成果深入到其他作物病害中，提升模型实际应用价值。

[1] 刘媛，冯全. 葡萄病害的计算机识别方法[J]. 中国农机化学报，2017，38(4)：99-104.

[2] 栗苗苗. 葡萄种植产业现状与发展对策探讨[J]. 农业与技术，2020，40(11)：110-111.

Li Miaomiao. Discussion on current situation and development countermeasures of grape planting industry[J]. Agriculture and Technology, 2020, 40(11): 110-111. (in Chinese with English abstract)

[3] Singh V, Misra A K. Detection of plant leaf diseases using image segmentation and soft computing techniques[J]. Information Processing in Agriculture, 2017, 4(1): 41-49.

[4] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Springer, Cham, 2014: 818-833.

[5] LeCun Y, Kavukcuoglu K, Farabet C. Convolutional networks and applications in vision[C]//Proceedings of 2010 IEEE international symposium on circuits and systems. IEEE, 2010: 253-256.

[6] 徐子豪，黄伟泉，王胤. 基于深度学习的监控视频中多类别车辆检测[J]. 计算机应用，2019，39(3)：700-705.

Xu Zihao, Huang Weiquan, Wang Yin. Multi-class vehicle detection in surveillance video based on deep learning[J]. Journal of Computer Applications, 2019, 39(3): 700-705. (in Chinese with English abstract)

[7] Li Y, Lu Z, Li J, et al. Improving deep learning feature with facial texture feature for face recognition[J]. Wireless Personal Communications, 2018, 103, 1195-1206.

[8] Li Y, Wang G, Nie L, et al. Distance metric optimization driven convolutional neural network for age invariant face recognition[J]. Pattern Recognition, 2018, 75: 51-62.

[9] 侯一民，周慧琼，王政一. 深度学习在语音识别中的研究进展综述[J]. 计算机应用研究，2017，34(8)：2241-2246.

Hou Yimin, Zhou Huiqiong, Wang Zhengyi. Overview of speech recognition based on deep learning[J]. Application Research of Computers, 2017, 34(8): 2241-2246. (in Chinese with English abstract)

[10] 孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别[J]. 农业工程学报，2017，33(19)：209-215.

Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 209-215. (in Chinese with English abstract)

[11] 王璨，武新慧，李志伟. 基于卷积神经网络提取多尺度分层特征识别玉米杂草[J]. 农业工程学报，2018，34(5)：152-159.

Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted by convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 152-159. (in Chinese with English abstract)

[12] 周云成，许童羽，郑伟，等. 基于深度卷积神经网络的番茄主要器官分类识别方法[J]. 农业工程学报，2017，33(15)：219-226.

Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(15): 219-226. (in Chinese with English abstract)

[13] 龙满生，欧阳春娟，刘欢，等. 基于卷积神经网络与迁移学习的油茶病害图像识别[J]. 农业工程学报，2018，34(18)：194-201.

Long Mansheng, Ouyang Chunjuan, Liu Huan, et al. Image recognition of Camellia oleifera diseases based on convolutional neural network & transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(18): 194-201. (in Chinese with English abstract)

[14] 苏婷婷，牟少敏，董萌萍，等. 深度迁移学习在花生叶部病害图像识别中的应用[J]. 山东农业大学学报：自然科学版，2019，50(5)：865-869.

Su Tingting, Mu Shaomin, Dong Mengping, et al. Application of deep transfer learning in image recognition of peanut leaf diseases[J]. Jouournal of Shandong Agricultural University: Natural Science Edition, 2019, 50(5): 865-869. (in Chinese with English abstract)

[15] 赵立新，侯发东，吕正超，等. 基于迁移学习的棉花叶部病虫害图像识别[J]. 农业工程学报，2020，36(7)：184-191.

Zhao Lixin, Hou Fadong, Lyu Zhengchao, et al. Image recognition of cotton leaf diseases and pests based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(7): 184-191. (in Chinese with English abstract)

[16] Simonyan K , Zisserman A . Very deep convolutional networks for large-scale image recognition[EB/OL]. [2017-09-04]. https://arxiv.org/abs/1409.1556v6.

[17] Deng J, Dong W, Socher R, et al. ImageNet: A large-scale hierarchical image database[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2009.

[18] 石祥滨，房雪键，张德园，等. 基于深度学习混合模型迁移学习的图像分类[J]. 系统仿真学报，2016，28(1)：167-173.

Shi Xiangbin, Fan Xuejian, Zhang Deyuan, et al. Image classification based on mixed deep learning model transfer learning[J]. Journal of System Simulation, 2016, 28(1): 167-173. (in Chinese with English abstract)

[19] 许景辉，邵明烨，王一琛，等. 基于迁移学习的卷积神经网络玉米病害图像识别[J]. 农业机械学报，2020，51(2)：230-236，253.

Xu Jinghui, Shao Mingye, Wang Yichen, et al. Recognition of corn leaf spot and rust based on transfer learning with convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 230-236, 253. (in Chinese with English abstract)

[20] Pan S J, Yang Q. A Survey on Transfer Learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[21] 杨国国，鲍一丹，刘子毅. 基于图像显著性分析与卷积神经网络的茶园害虫定位与识别[J]. 农业工程学报，2017，33(6)：156-162.

Yang Guoguo, Bao Yidan, Liu Ziyi. Localization and recognition of pests in tea plantation based on image saliency analysis and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 156-162. (in Chinese with English abstract)

[22] 张军阳，王慧丽，郭阳，等. 深度学习相关研究综述[J]. 计算机应用研究，2018，35(7)：1921-1928，1936.

[23] 丁红卫，万良，周康，等. 基于深度卷积神经网络的入侵检测研究[J]. 计算机科学，2019，46(10)：173-179.

[24] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[25] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the Fourteenth International Conference on Artificial Intelligence and Statistics, 2011: 315-323.

[26] Boureau Y L, Roux N L, Bach F, et al. Ask the locals: Multi-way local pooling for image recognition[C]// Proc. International Conference on Computer Vision (ICCV'11). IEEE, 2011.

[27] Sainath T N, Mohamed A R, Kingsbury B, et al. Deep convolutional neural networks for LVCSR[C]// IEEE International Conference on Acoustics. IEEE, 2013: 8614-8618

[28] 庄福振，罗平，何清，等. 迁移学习研究进展[J]. 软件学报，2015，26(1)：26-39.

Zhuang Fuzhen, Luo Ping, He Qing, et al. Survey on transfer learning research[J]. Journal of Soft'ware, 2015, 26(1): 26-39. (in Chinese with English abstract)

[29] 陈立福，武鸿，崔先亮，等. 基于迁移学习的卷积神经网络SAR图像目标识别[J]. 中国空间科学技术，2018，38(6)：45-51.

Chen Lifu, Wu Hong, Cui Xianliang, et al. Convolution neural network SAR image target recognition based on transfer learning[J]. Chinese Space Science and Technology, 2018, 38(6): 45-51. (in Chinese with English abstract)

[30] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

Recognition of grape leaf diseases and mobile application based on transfer learning

Su Shifang, Qiao Yan, Rao Yuan※

(,,230036,)

Pests and diseases have posed a severe threat to the production of grapes, causing irreversible damage on the growth cycle of grapes. The treatments vary significantly in the types of grape diseases. Therefore, it is highly demanding to detect the diseases of grapes timely, while accurately identify the types of diseases to avoid the spread of diseases. In the early days, the diseases of grapes were mainly identified by experienced grape and pest experts recognizing the grape leaves manually, which is time-consuming and laborious. It is necessary to develop a grape disease recognition using computer science technology. Convolutional Neural Network (CNN) has been used to automatically recognize agricultural pests in the field of Artificial Intelligence (AI) in recent years. However, the general CNN cannot be well trained to achieve high accuracy, due mainly to few large datasets of diseased grape leaves. In this study, a new recognition network of grape leaf disease was proposed using CNN. Transfer learning and data enhancement were also applied for the new network to enlarge the small dataset of grape leaves. The new network was named Grape-VGG-16 (GV for short) using VGG-16 network (one of the most classical CNN). GV generally contained 5 convolutions, 2 full connection 1 flatten, 1 dropout, and 1 SoftMax layer. The knowledge was first learned from the ImageNet image dataset using transfer learning, and then be transferred to the GV in the disease recognition of grape leaf. The output number was modified to 4 for the last fully connected layer using fine tuning, representing the 4 types of grapes leaves (healthy, brown spot, wheel spot, and black rot). A TensorFlow framework was selected to verify the network in the experiments using Python programming language. 300 images were collected for each leaf category (the total number of images was 1200), 250 of which were randomly selected as the training set, and 50 of which as the testing set. Then the dataset of images was augmented under the operations, such as random rotation, random horizontal and vertical translation, as well as horizontal flipping on the image. Finally, the augmented dataset was used to train the GV network, which was uniformly scaled to 224×224 pixels. 18 groups of experiments were performed on a computing server with Nvidia GPU using a combination of three learning (new learning, transfer learning with training the full connection layer, as well as transfer learning with training both the last convolution and full connection layer), two dataset with/without augmentation, and three learning rates (0.01, 0.001, and 0.000 1). The experimental results demonstrated that: 1) Transfer learning improved the model accuracy, while shortened the convergence time of the model; 2) Data augmentation greatly increased the diversity of data, while effectively alleviated the over-fitting. Consequently, the GV network achieved an overall recognition accuracy of 96.48% under both transfer learning and data augmentation. The recognizing accuracies of healthy leaves, brown spot, wheel spot and black rot were 98.04%, 98.04%, 95.83%, and 94.00%, respectively. The GV network was also embedded in the mobile application, and then deployed on the mobile terminal, for the detection and recognition of grape leaf diseases in the field. The finding can offer a potential promising reference for the intelligent diagnosis of grape leaf diseases in fruit production.

image recognition; diseases; grape leaf; transfer learning; data augmentation; mobile terminal

10.11975/j.issn.1002-6819.2021.10.015

TP391.4；TP181

A

1002-6819(2021)-10-0127-08

苏仕芳，乔焰，饶元. 基于迁移学习的葡萄叶片病害识别及移动端应用[J]. 农业工程学报，2021，37(10)：127-134.doi：10.11975/j.issn.1002-6819.2021.10.015 http://www.tcsae.org

Su Shifang, Qiao Yan, Rao Yuan. Recognition of grape leaf diseases and mobile application based on transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(10): 127-134. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.10.015 http://www.tcsae.org

2020-12-07

2021-03-09

安徽省自然科学基金（2008085MF203）；国家自然科学基金（31671589）；安徽省重点研究和开发计划面上攻关项目（201904a06020056）

苏仕芳，研究方向为机器视觉。Email：2431947658@qq.com

饶元，教授，博士，研究方向为农业信息化。Email：raoyuan@ahau.edu.cn