基于深度学习的农作物病害图像识别技术进展

王彦翔，张 艳，，*，杨成娅，孟庆龙，尚 静

(1.贵州大学 大数据与信息工程学院，贵州 贵阳 550025； 2.贵阳学院 农产品无损检测工程研究中心，贵州 贵阳 550005)

精准农业是在20世纪80年代由美国和加拿大等国率先提出，其关键是利用遥感技术、地理信息技术和全球卫星定位技术以及计算机自动控制技术实时监控作物的生长环境，包括土壤结构、植物营养、含水量、病虫害等，确定其最优的施肥施药量，使其可以在减少污染的前提下提高产量，减少成本。及时准确的作物病害信息对其防治有着重要意义，早发现，早防治，可有效减缓作物病害的传播，同时在病害早期可以用更少的药物对其进行防治，可以减少对环境的污染。

传统的农作物病虫害检测耗时长，过程复杂，通常局限在实验室内的离线分析。近年来，许多研究采用成像技术和图像处理技术对农作物病虫害的进行检测，相较于之前的化学检测手段，这两种技术的结合不仅更快速准确，不会对被测对象造成不可逆的破坏，而且还可以避免各种化学检测手段造成的附带污染；可以实现对农作物各类信息的有效提取，达到对农作物病虫害进行线上检测的目的。随着高光谱成像技术及红外热成像技术等先进检测技术在农作物病虫害领域的应用[1]，可以对人眼尚未发现的早期病害特征进行监测，同时高光谱图像所采集的数据立方提供了大量的多维的样本数据，使得深度学习在作物病虫害检测识别方面的应用成为可能。本文主要介绍了以近红外热成像技术和高光谱成像技术为代表的新型无损检测技术及以深度学习为代表的图像识别技术等在农作物病虫害无损检测中的国内外研究现状。

1 农作物病虫害的图像识别方法

1.1 传统的农作物病虫害图像识别方法

传统的图像识别技术包括降噪、腐蚀、增强等，还有对图像各个颜色空间特征和纹理特征的提取，并利用得出的特征值进行线性建模，建模方式采用偏最小二乘法(PLS)等。但是线性建模有着很大的局限性，面对非线性数据的建模识别成功率很低，因而在农作物病害检测中，其建模识别成功率非常不理想。

浅层神经网络是基于非线性数据建模的各种困难和失败结果，而兴起的一种建模识别方法。经典的浅层人工神经网络包括BP神经网络、ART神经网络、RBF神经网络等。我们以BP神经网络为例，它是经典的3层神经网络，包括输入层、隐含层及输出层，其结构如图1所示。图中x，y分别代表神经网络的输入层和输出层，每个节点表示一个神经元，神经网络的各层通过节点间的权系数相互沟通。如果BP神经网络信息的正向传播结果满足预期效果，那么该次网络学习处理完成，算法停止学习；如果没完成预想结果，进行误差反向传播调节各层的权值继续完成学习处理的过程。浅层神经网络中对象识别有着更高的准确率，但是在复杂光照和复杂背景下，其图像分类结果并不理想。

1.2 基于深度学习的农作物病虫害图像处理识别方法

深度学习是相较于浅层网络来说的，是机器学习的一种新的方法和方向，也是实现人工智能的一种新方法。深度学习是由加拿大多伦多大学教授、机器学习领域的大师Hinton在2006年首次提出的，其主要观点是：含多个隐层的人工神经网络可以将从训练模型的原始输入中提取出的低级特征整合成高级特征，与之前的浅层人工神经网络相比，可以获得更高的识别准确率，能更好地解决图像分类和可视化问题。这一概念的出现引发了关于深度学习的研究热潮，在ImageNet世界大赛上深度学习网络的出现打破了浅层神经网络的识别准确率，并以压倒性的优势获得冠军，在语音识别、图像识别、图像分类等许多应用上都得到了突破性的进展。深度学习是类似于浅层神经网络结构的，不过它包含很多个隐含层结构的神经网络，典型的深度学习网络包括卷积神经网络(CNN)、有受限玻尔兹曼机(RBM)、深度置信网络、深度玻尔兹曼机(DBM)等。

图1 BP神经网络结构Fig.1 BP neural network structure

图2 卷积神经网络基本结构图Fig.2 Basic flow of deep learning recognition detection

我们以卷积神经网络为例，它的基本结构如图2所示，包括三层：输入层、隐含层、输出层。其中最为核心的是隐含层，包括卷积层、池化层(也称采样层或下采样层)、全连接层。输入层输入一定尺寸的图片，并且a≥b，b≥c，c≥d，d≥e(a、b、c、d、e均为图像的像素尺寸)。卷积层是由多个滤波器组成，对整个图像进行卷积运算，提取图像的多个特征图，一般的卷积层都是由前一个卷积层的结果作为输入的，其计算方式为：

(1)

池化层是为了将数据进行降维，通过将区域内的数据取均值或者取最大、最小值来达到这个目的，将特征空间进一步减小。全连接层本质上是一个分类器，将提取出的最后一层的特征图像进行最后的卷积，将这些二维图像降维成一维数组，进行特征的提取分类。一个卷积神经网络的简单结构包括输入层，同等数量的卷积层和池化层相互交替，然后将提取到高度抽象的特征图像输入进全连接层进行分类，最后得出结果输出到输出层，实现了图像的分类。

深度学习的建模方法相较于传统的图像处理手段省去了大量的预处理手段，只需要将图像裁剪成合适尺寸即可以进行图像识别，大量缩短了识别时间且大幅度提高识别准确率。相较于浅层神经网络，深度学习的学习能力更强，识别准确率更高。虽然识别时间较之前明显缩短，但是在深度学习训练中将会耗费大量时间，增加训练集训练的时间成本。

利用深度学习的强大的图像分类能力可以直接将患病作物的图像分离出来，识别率较传统的建模方法和浅层神经网络要高，而且对外界环境条件要求不高，可以应用到实际的生产生活中，其识别流程如图3所示。图像在进行训练时，先选出候选区域对其图像特征进行提取，然后分为正负样本，正样本为正确的训练分类结果，负样本为不正确的分类结果，通过对正负样本的分类，可以准确地对图像进行分类。

图3 基于深度学习的图像检测识别的基本流程Fig.3 Basic flow of deep learning recognition detection

2 农作物病虫害图像识别技术的研究进展

2.1 传统图像识别技术在农作物病害检测识别方面的研究进展

在国际上，越来越多的研究者选择红外成像技术和高光谱成像技术，传统的图像识别技术可以很好地反映出检测手段所明确表征的被测物的外部特征、内部化学成分含量和生理结构的变化，更容易在早期识别出被测物是否发生病变及其化学成分的变化。

2016年，浙江大学的Zhao等[2]利用高光谱成像技术来确定黄瓜叶中叶绿素和类胡萝卜素的含量，并通过其含量判断其是否感染角叶斑点。使用偏最小二乘回归模型来开发通过生化分析测量的光谱和色素含量之间的定量分析。由特征波长开发的偏最小二乘回归模型提供了最佳的测量结果，相关系数分别为叶绿素和类胡萝卜素含量的预测值0.871和0.876，并且可以通过其含量来准确判断出黄瓜叶是否感染了角叶斑点。其具体测定的主要步骤如图4所示，首先是在高光谱图像采集和校正之后，从感兴趣区域(ROI)提取反射率值。然后通过生化分析(Chl-BA，Car-BA)测定Chl和Car含量。使用Chl-BA，Car-BA的样品和内容物的平均光谱来选择用于开发偏最小二乘回归(PLSR)模型的重要波长(IW)。最后，建立的PLSR模型用于计算高光谱图像上每个像素的Chl-HSI和Car-HSI值。黄瓜叶片的Chl-HSI和Car-HSI空间分布受到不同严重程度的丁香假单胞菌致病变种的感染。在MATLAB软件的帮助下显示lachrymans感染。

2018年，安徽农业大学的Wang等[3]利用高光谱成像技术区分氮肥水平的方法，通过主成分分析选择5个特征波长，通过灰度梯度共生矩阵从特征波长的图像中提取纹理特征，使用支持向量机(SVM)建立基于全光谱数据、特征波长、纹理特征和数据融合的分类模型。使用融合数据的SVM模型给出了预测集合具有最高正确分类率100%的最佳性能，可以完全判断出茶叶的施氮肥含量，该研究证明了高光谱技术可以准确地判断出作物的氮肥释放量。2017年，美国内布拉斯加大学林肯分校的Pandey等[4]利用高光谱成像技术的量化玉米和大豆植物体内化学特性的效用。这些性质包括叶片含水量以及常量营养素氮(N)、磷(P)、钾(K)、镁(Mg)、钙(Ca)和硫(S)以及微量营养素钠(Na)、铁(Fe)、锰(Mn)、硼(B)、铜(Cu)和锌(Zn)。利用每种植物的反射光谱，建立偏最小二乘回归模型以将光谱数据与化学数据相关联。在所有化学性质研究中，以水含量为最高，预测精度为0.93。所有宏量营养素也被令人满意地定量精度从0.69到0.92，N最好，其次是P、K和S。微量营养素组显示较低的预测准确度从0.19到0.86，其相较于传统的反演方式具有更高的准确性。2018年，法国蒙彼利埃大学的Nouri等[5]利用高光谱成像技术研究了荔枝果实的非破坏性分级测试方法，提取荔枝果实感兴趣区的高光谱数据并使用主成分分析来确定用于识别荔枝品质特性的特征波长694、725和798 nm，使用灰度共生矩阵提取纹理特征，进行最小二乘支持向量机建模，以对荔枝的不同品质进行分类。该模型使用实验数据进行验证，验证集的平均准确率为93.75%，而外部验证集为95%。

图4 高光谱成像技术测定感染角叶斑点的黄瓜叶片中叶绿素和类胡萝卜素含量的主要步骤[2]Fig.4 Hyperspectral imaging techniques for determination of chlorophyll and carotenoid contents in cucumber leaves with infected leaf spots[2]

在国内利用高光谱成像技术进行作物检测的研究开始较晚，并且多数是对作物的显性病症进行识别，对作物的化学成分含量反演的研究较少，且多数的研究都是针对作物叶片病害开展的。2012年，浙江大学的杨燕[6]利用520和690 nm特征波段的1阶导数光谱的高斯拟合参数建立LDA水稻稻瘟病的病害判别模型，准确率达到96%以上，实现了利用高光谱技术对水稻稻瘟病的快速无损检测，早期发现和治疗可以把病害的损失降到最低。

利用高光谱成像技术可以实现对农作物病害的早期识别检测，相较于传统的检测手段更加快速准确，并且无需使用化学试剂，可有效减少污染。利用高光谱成像技术对作物化学成分进行反演，也是传统检测手段在无损前提下无法实现的，实时监控农作物的化学成分变化也是实现精准农业的重要条件。

2.2 深度学习在农作物病害检测识别方面的研究进展

在国外，图像处理技术在农作物病虫害检测方面的应用研究相对较早，且有着完善的可见光图像数据库。2010年，马来西亚国立大学的Albashish等[7]提出的方法试图找出5种不同的植物病害，经过预处理阶段降噪图像后，应用K均值聚类算法将图像分为4个群集；对于每个群集，通过HSI色彩空间共现方法提取许多颜色和纹理特征，将这些特征输入到具有10个隐藏层的MLP神经网络，并最终执行分类。2011年，Guo等[8]提出了一种识别玉米叶片3种疾病的方法，其首先将图像转换为YCbCr颜色空间；在阈值化过程中准确确定阈值，以正确分割患病区域，并从灰度共生矩阵中提取许多纹理特征；最后，将这些特征提交给具有一个隐藏层的MLP神经网络达到识别疾病的目的。2016年，瑞士洛桑联邦理工学院Mohanty等[9]分析了在PlantVillage数据库中的54 306幅植物叶子的图像，其中包括了14种作物和26种作物疾病，首先将图像大小调整为256×256像素，对这些缩小图像执行模型优化和预测。最佳建模方式为利用GoogLeNet卷积神经网络结构，对80%的彩色图像进行迁移学习训练，且其他建模方式的准确率也达到了0.9000以上。2017年，北京工业大学的Wang等[10]利用深度学习技术建立了一套判断苹果叶真菌感染程度的系统，将苹果叶分为4种，健康叶、初期感染、中期感染和末期疾病，利用VGG16结构的卷积神经网络进行分类，其分类准确率可以达到90.4%，利用PlantVillage数据库中的数据，并且不用经过复杂的图像预处理，进行裁剪和归一化后即可进行训练和测试。2017年，美国宾夕法尼亚州州立大学的Ramcharan等[11]应用学习迁移训练深度卷积神经网络对木薯3种病害和两种病虫害识别。利用Inception v3模型，测试集精度分别为褐斑病98%、对红蜘蛛的伤害96%、绿螨害95%、木薯褐条病98%、木薯花叶病96%；其所利用的卷积神经网络模型已可在Android系统内进行应用，这对将检测设备微型化有着重大意义。2018年，美国特拉华大学的Holmes等[12]利用高光谱技术在2014年、2015年和2016年收获的苹果中取得了350～2 500 nm反射光谱数据，从550～1 400 nm范围内的苹果两侧捕获高光谱图像，分析这些图像以提取在苦基坑检测中有效的光谱特征，开发了自动空间数据分析算法来检测苦味点，提取特征区域，并使用逻辑回归来定义分类阈值。该研究根据高光谱和成像技术确定了显著的光谱特征，能够以85%的准确度对健康和苦涩的苹果进行分类，可用于开发感测解决方案，对包装线上的水果进行分类。相较于传统的图像识别方法，深度学习的精度更高，检测速度更快，近年来的研究也验证了深度学习技术可以在可见光范围内对作物种类和作物疾病的快速无损识别。在实际生产生活中，光照条件的不同可能会导致图像特征值发生较大的变化，使分类的精度断崖式下降，这也是图像处理现在所面临的一大难题。

在国内对利用可见光图像进行作物病虫害检测时，大多是对作物叶片上的疾病进行识别，且缺乏图像采集的数据共享平台。2018年，西京学院的张善文等[13]针对黄瓜的病害识别设计了一个以LeNet卷积神经网络为基础的11层深度卷积神经网络模型。其首先对不间断拍摄的1 200张各种黄瓜病害的彩色图像进行预处理，主要进行图像的裁剪和归一化；对经过预处理的彩色图像进行训练，并通过RGB通道进行微调，进而增加训练精度。相较于传统的图像识别方法，该方法具有更高的准确率，更快的识别速度，其正确识别率能达到90%以上，但是需要大量的训练时间。2018年，甘肃农业大学的刘阗宇等[14]采用区域Faster-RCNN方法准确定位田间图像的葡萄叶片位置，利用卷积神经网络进行模型建立，检测流程如图5所示。通过采集到的图像输入到卷积神经网络中进行分类，通过分类器判断是否患病以及确定患病种类，对叶片病变的检测成功率最高可达75.52%，最低为60.56%。主要误差来源是不同光照条件和遮挡条件下会影响检测的准确率，这是在田间采集的图像普遍存在的问题也是未来研究的一个方向。

近来，越来越多的研究者运用新型无损检测技术和深度学习相结合对作物病害进行识别，并且还对作物的化学成分进行定量的反演分析，使得其准确性更高，稳定性更好，对外界环境的要求更小，更有利于实现其在生产生活中的应用。2015年，英国华威大学的Raza等[15]利用近红外与可见光图像与深度信息的机器学习系统相结合设计出一种可以远程检测番茄植株是否感染番茄白粉病的系统。在受控条件下，连续13 d采集感染株和健康株图像，其采集系统由2台可见光成像相机和1台近红外成像相机组成。算法部分包括4个部分，近红外图和彩色图像的位置匹配、深度学习训练、特征值的提取和分类器，所提出的算法的框图如图6所示。IL和IR表示来自左侧和右侧相机的可见光图像，IT表示热图像，将IL、IR和IT进行定位，将3张图片的各个像素点定位重合，得到一个基于红外热成像和可见光成像的合成图片。利用这张图片进行局部特征和全体特征的提取并进行分类，最后得出通过近红外图像和可见光图像结合深度学习方法可以大幅提高判断准确率，使其达到90%以上，在7 d以前近红外图像可以更加准确地识别出感染株，而在7 d后感染株发生了肉眼可见的变化之后，可见光图像的识别准确率随着时间的推移越来越接近近红外图像的，表明近红外图像可在作物疾病的早期阶段做出更好的判断。

图5 利用图像检测识别作物病害的一般流程[14]Fig.5 Disease detection framework[14]

图6 用于检测病株的算法的框图[15]Fig.6 Block diagram of an algorithm for detecting diseased plants[15]

2017年，浙江大学的Zhu等[16]利用高光谱成像技术，结合变量选择方法和机器学习分类，研究了使用高光谱成像对烟草病症进行可见症状前检测的可行性。采集感染后2、4和6 d的健康和TMV感染叶片的图像，利用BP神经网络进行建模，识别精度高达95%。高光谱成像技术具有作为快速非侵入性方法在短时间(48 h)内识别感染叶片的可能性。2017年，华南理工大学的黄双萍等[17]在田间采集了1 467株穗株高光谱图像，其中包括247株健康植株，剩下的均感染不同程度的穗瘟。利用卷积神经网络的GoogleLeNet进行建模，首先将高光谱图像裁剪成统一尺寸，采用随机梯度下降法和随机平移平均光谱图像亮度增加训练精度，使得测试集最高的准确率可以达到92.0%。2018年，华南农业大学的甘海明等[18]利用深度学习的经典模型稀疏自编码建立了龙眼叶片叶绿素含量预测的高光谱反演模型，通过深度学习的方法可以大大提高精度，并且基本不受生长期的影响；在灰度图像中颜色越深的叶片，其叶绿素含量越低，彩色图像中蓝色越多，则表示叶绿素含量越低。该设计表明了基于深度学习的高光谱反演是可行的，可将其基于叶绿素含量这一植物生长的重要指标的设计思想推广到其他的植物应用中。

可见，光成像和红外热成像及高光谱成像相结合的研究可以大幅度提高仅利用可见光成像进行研究的准确性和抗干扰性，并且结合深度学习的应用可以更加快速准确地进行农作物病害识别，比单纯用浅层神经网络的准确率要明显提高。与国外的相关研究相比，我国的彩色图像数据库的建立较为落后，一般训练集中的图片均为实验人员自行采集自行存储，并没有形成一个有联互通的数据库网络，当需要研究不同类型的作物时往往需要花费大量时间进行图像采集。

3 展望

可见光成像的技术已经相当成熟，但是它只能得到作物的表面信息，只有在作物的病变或者虫害肉眼可见时才能取得比较好的识别效果。将红外成像和高光谱成像引入其中可以在作物患病还没有表征的时候，发现被测物的内部结构和化学成分的改变，进行早期判断，可以实现作物病害的早期检测，在植物病害的防治过程中具有重要价值，有利于实现精准农业。今后农作物病害的无损检测技术可分为以下几个研究方向：

(1) 利用红外热成像、高光谱成像技术为农作物病害的早期探测提供了可能性，是农作物病害早期探测的发展方向；

(2) 深度学习的图像处理技术可以将复杂背景下的图像进行分类识别并具有极高的准确率，可为农作物病害的早期识别提供算法保障；

(3) 高光谱成像技术具有图谱合一的特点，为深度学习的图像识别提供了不同波段的海量图像信息，使得高光谱成像技术和深度学习的图像识别技术结合在农作物病害检测识别方面具有广泛的应用前景；

(4) 在深度学习的应用中，针对学习过程中会花费大量的时间成本的问题，未来可在算法上进行改进，减少时间成本，使其可以对不同的病害种类和发生阶段进行识别，对病虫害的检测具有重要的意义。