基于机器视觉的病虫害检测综述

温艳兰， 陈友鹏， 王克强， 刘展眉， 林钦永， 蔡 肯， 马佳佳， 孔翰博

(仲恺农业工程学院1，广州 510225) (广州南洋理工职业学院2，广州 510980)

在农业生产中，病虫害是造成作物减产、欠收的重要原因之一，常常使农民遭受经济损失。我国是世界上农作物病虫害发生最严重的国家之一，每年农作物有害生物年发生面积超过4亿公顷次[1]。2020年我国农作物重大病虫害发生总体比2019年严重，累计发生面积约3亿公顷次[2]。预计2021年我国农作物病虫害总体会呈偏重发生态势[3]。通过测报早期病虫害的发生动态，农业生产者可以有针对性的、有计划的采取病虫害防治措施，减少一定的损失。传统的农作物病虫害测报方法存在工作量大、耗时费力、效率低和精度差等问题[4]，已经无法满足人们对病虫害测报实时性和准确性的需求。因此，构建一个自动、高效和准确的病虫害识别系统具有重要的现实意义。

随着向量机、神经网络、深度学习等相关算法的不断发展和优化，病虫害的分类准确率得到了很大的提高。目前，机器视觉技术在病虫害检测领域中较为成熟、稳定，能够在一定程度上代替传统的肉眼识别，在减轻劳动强度的同时提高了检测效率，但仍面临着许多问题，例如针对不同种类病虫害如何设计合适的检测系统实现实时检测；此外如何改进相关算法，进一步提高分类准确率仍需研究。为此，国内外已有较多学者对病虫害检测的相关算法进行了大量研究，极大推动了机器视觉技术在病虫害检测方面的应用。

本文主要围绕机器视觉病虫害检测展开，对近年来机器视觉检测系统在作物病虫害检测中的研究工作进行概述，对图像分割、特征提取和检测与识别分类则对检测系统中的关键技术进行阐述，最后对整个研究工作进行总结与展望。

1 基于机器视觉的病虫害检测系统

我国是一个农业大国，但是农业基础相对薄弱。病虫害作为作物减产的主要因素之一，提高病虫害的检测和识别效率，对提高农业生产的产量和质量具有重要意义。目前，对作物为害状的检测已经比较成熟，而对害虫的检测和识别还在不断探索中。

针对传统测报系统存在的问题，肖衡[5]利用深度学习算法从硬件和软件两个方面对虫害图像测报系统进行优化设计，实现了稻飞虱的识别和异常报警的启动，测报准确率高达99.78%。图像的获取会对识别准确率产生一定的影响，因此，YAO等[6]研发了水稻光诱捕害虫成像系统，用于实现对水稻虫害的自动识别，平均准确率达97.5%。YAO等[7]又研制了田间水稻光阱害虫自动监测系统，解决了之前系统的害虫堆积和重叠问题，但是采用新的模型对害虫的识别准确率却有所降低，其中，对3种大型害虫的平均准确率达到88.9%，对2种小型害虫的平均准确率达到90.4%。

除了稻田病虫害，果木的健康与否也是农民比较关心的一个问题。Partel等[8]利用机器视觉和人工智能技术开发了用于自动监测柑桔木虱的系统，准确率和召回率分别为80%和95%，但是其检测的样本数量较少，结果的普适性较低，而You等[9]利用大量的柑橘病虫害数据集构建了基于深度压缩神经网络的离线诊断系统，准确率可达93.2%，比SqueezeNet、MobileNet、AlexNet、VGG-16高1.3%～16.6%。

在检测过程中，对害虫的数目进行统计有助于农业生产者采取合理防治措施，精准控制施药量。Rustia等[10]开发了基于集成摄像机模块和嵌入式系统的害虫自动计数与环境监测系统，能够在不受控的环境下实现对害虫的检测与计数，平均检测准确率达93%，可为害虫行为的长期观察以及害虫预警提供有效的工具。此外，Habib等[11]提出一个基于机器视觉的木瓜病害识别系统，利用K-means聚类算法和SVM(Support Vector Machine)进行建模，准确率达95.2%，高于决策树和NB(Naive Bayes)，验证了该方法的可行性和有效性。

基于机器视觉的病虫害检测，首先要得到清晰的病虫害图像。病害图像比虫害图像的获取容易得多，因为害虫是运动的，很难直接获得清晰的图像。比较实用的方法是使用诱捕器捕获害虫后，进行图像的采集。合理利用机器视觉设备、机器学习算法、互联网技术等设计一个自动化综合检测系统，有助于病虫害的综合治理。

2 病虫害图像分割的研究现状

图像分割是根据研究的实际需要，利用图像区域相似或相同的特征把图像分成多个区域，从而提取出关键信息，去除非感兴趣区域。图像分割算法种类繁多，表1是几种分割方法在作物病虫害图像中的应用情况。

表1 几种分割方法在作物病虫害图像中的应用情况

2.1 阈值分割法

Ebrahimi等[12]将gamma算子应用到RGB颜色空间具有高对比度的B通道图像中，进行非花区域背景的去除，再使用Otsu法分割出草莓花上的蓟马目标。肖志云等[13]将采集的马铃薯虫害图像经I通道的中值滤波、a通道的二维Otsu法与形态学分割后，利用虫害分离二值图像与RGB原彩色图像级联，分离出虫害目标，但是仍存在目标边缘分割不足或者过分割的现象。杨丽丽等[14]使用Otsu法在H分量上获得96.56%的分割精度，通过使用形态学的和最大连通区域标记算法去除背景杂色和误拍区域，以获得受棉叶螨危害的图像区域。Otsu法是较为常用的一种分割方法，但是往往需要结合其他算法才能够获得较好的分割效果。

2.2 标记控制的分水岭分割算法

阈值分割主要是针对简单的单个目标的分割，而标记控制的分水岭分割算法可以实现对重叠对象的分割，并且可以有效避免过分割的问题。Sunoj等[15]在RGB图像中的B通道中利用标记控制的分水岭分割算法，实现了对重叠大豆蚜虫的分离。Nabilah等[16]使用标记控制的分水岭分割来分离叶片图像的前景和背景，以获取辣椒病虫害区域图像。Xia等[17]从YCbCr颜色模型的Cb通道中提取图像的局部极大值作为标记控制的分水岭分割的标记，将背景图像中的害虫个体分割出来，但是分割的精度会受到图像分辨率的影响，分割后的图像可能会包含周围的背景。标记控制的分水岭分割能够有效避免在噪声和局部不连通情况下常常出现过度分割状况，得到精确的分割图像。

2.3 K-means聚类分割

此外，K-means聚类也常用于病虫害图像的分割中。为快速检测红蜘蛛虫害，李震等[18]采用K-means聚类算法实现对柑橘红蜘蛛的识别，根据不同清晰程度的图像获得88%～100%的识别率，取得了较好的效果。Shah等[19]利用K-means聚类成功地将褐飞虱和背景分割开来，并将图像背景设为白色，褐飞虱保持原色。Prajapati等[20]比较了3种不同的分割技术，结果表明基于HSV颜色空间的K-means聚类方法对水稻病害的分割准确率最高，可达到96.71%。因此，K-means聚类分割原理比较简单、收敛快，但是要特别注意k值的选择，因为k值对最后的聚类结果和运行时间都有很大的影响。

3 病虫害图像的特征提取的研究现状

每幅图像都有其独特的特征或属性，合理使用特征或属性对图像是作物病虫害识别与检测的重要环节，特征参数的准确性和实时性对病虫害的识别精度影响较大。常用的病虫害识别特征有形状特征、颜色特征、纹理特征等全局特征和局部特征。

3.1 形态、颜色、纹理特征提取法

杨信廷等[21]对提取的5个形态特征和9个颜色特征，通过比较不同特征向量的组合方式，发现将形态和颜色特征进行融合获得的准确率更高，最终实现对粉虱和蓟马的识别率分别为96.0%和91.0%。高雄等[22]提取了5个形状特征来识别甘蓝虫害，青菜虫的识别准确率为83%，甘蓝夜蛾为90%，二十八星瓢虫为100%。由此可见，不同虫害的形态对识别准确率有较大的影响。Sorte等[23]将统计特征和LBP特征用于咖啡病害的识别中，实验结果表明，该方法能够实现对病害初期的诊断。因此，对于不同种类的病虫害，可以采用不同的方法进行特征提取，而作物的病害通常体现在植株的叶片或者果实上的颜色变化，通常会用颜色特征和纹理特征来进行识别。

3.2 多特征融合特征提取法

由于实际环境复杂性的影响，采用多特征融合的方法更加贴近实际生产应用的需要。YAO等[24]将HOG(Histogram of Oriented Gradient)特征与颜色、形状和Haar特征相结合，用于水田稻飞虱的自动检测和计数。Liu等[25]将MSER(Maximally Stable Extremal Regions)算法和HOG特征相结合，用于检测麦田中不同颜色和密度的蚜虫，平均识别准确率达86.81%。

合理利用特征融合技术，能够在降低计算量的同时提高识别的准确率。牛冲等[26]将提取的草莓蛇眼病害叶片灰度图像直方图中的8个特征融合在一起，并利用SVM实现92%的分类准确率，分别比KNN(K Nearest Neighbor)和NB高6%和12%。胡永强等[27]在稀疏表示识别框架下运用AdaBoost算法对颜色、形状和纹理特征进行特征融合，识别准确率最高可达92.4%，比单一特征方法识别准确率提高7%以上。可见，在进行特征提取时，要结合图像自身的特点灵活应用相应的特征提取和融合方法。

4 病虫害的检测与分类识别

及早发现农作物上的病虫害可以确保农业生产者作出适当和及时的管理决策，因此，国内外相关领域的专家学者对不同的检测与分类算法进行了大量的研究。根据分类器学习的深度可以分为浅层学习和深度学习，浅层学习以经典机器学习为代表，而深度学习以神经网络为学习基础，可自动学习和提取特征实现图像的分类识别。

4.1 经典病虫害检测与分类识别方法

随着计算机视觉的不断发展，机器学习算法在作物病虫害检测和分类中得到了广泛的应用。经典的检测与分类识别方法通常经验来选择不同的特征以设计分类方案，其识别精度容易受到人为特征选择的影响。表2简要概述了近年来经典分类算法在作物病虫害检测与分类中的应用情况。

表2 经典分类算法在作物病虫害检测与分类中的应用情况

4.1.1 早期检测与分类识别方法

Verma等[28]提出了基于径向基核函数网络的水稻病害自动识别模型，对5类水稻病害的平均识别率为95.5%。Shah等[19]提出用KNN对稻田褐飞虱进行自动识别与计数，平均识别准确率达97%，比决策树算法高10%。Sabrol等[29]采用决策树算法对番茄的5种病害进行分类识别，准确率达97.3%。这些研究根据病虫害自身的特点采用合适的分类器进行建模，均得到了理想的分类效果。

Singh等[30]采用GA(Genetic Algorithm)进行病害叶片图像的分割，通过SVM对颜色共生法提取的特征进行分类训练，获得95.71%的准确率，优于K-means+MDC(Minimum Distance Criterion)和GA+MDC。后来，Singh[31]又提出利用粒子群优化算法对向日葵病害叶片图像进行分割，利用MDC分类器实现98%的平均识别准确率，高于其之前提出的GA+SVM算法。可见，通过尝试不同的优化算法能够使得识别与分类效果越来越好。

4.1.2 支持向量机法

在经典识别方法中，SVM是最常用的一种分类识别方法。Pan等[32]采用SVM与区域生长算法相结合的方法，将识别过程融入到分割中，实现对4类蔬菜害虫的识别准确率均在93%以上。基于SVM模型，Zhang等[33]通过提取黄瓜叶片病害图像的奇异值来构成关键向量，获得91.63%的平均识别率，后来，Zhang等[34]结合超像素分割、EM算法(expectation maximization)和PHOG(pyramid HOG)特征，完成对5类黄瓜病害的分类，平均识别率为91.48%。Singh等[35]采用K-means聚类算法对水稻叶片图像进行分割后，提取其中的纹理特征向量作为SVM的输入，实现了82%的分类准确率。这些研究表明，SVM模型已经广泛应用于作物病虫害识别领域，并取得了良好的效果。

4.1.3 分类器级联法

卢柳江等[36]利用Haar-like特征提取的害虫特征构建了一个用于识别大螟的级联AdaBoost，在简单背景下识别率达95.71%，而复杂背景下的识别率为86.67%。此外，M-SVM(Multi-class SVM)也是多类分类中常用的一种方法。Sharif等[37]将所选的最佳特征反馈给M-SVM进行柑橘病害的分类，分类准确率最高可达97%。Khan等[38]设计了黄瓜叶片病害检测与分类系统，利用M-SVM实现对5种黄瓜叶片病害98.08%的分类准确率。可见，在合理选择特征的情况下，M-SVM能够在病虫害识别与分类中表现出良好的性能。

单一的分类方法可能存在一定的局限性，通过分类器级联和融合能够在一定程度上提高分类的准确率。虽然传统的机器学习方法对于病虫害的分类识别已经取得了很大的进展，但是仍然存在一些缺陷，而且标准化程度相对较低，模型的拟合度因所取特征的优劣而导致识别率的波动较大，相关模型的检测和分类精度和鲁棒性有待进一步研究。

4.2 基于深度学习的病虫害检测与分类识别方法

随着深度神经网络的不断发展，相继出现了CNN(Convolutional Neural Networks)、Faster R-CNN、DNN(Deep Neural Networks)等一系列深度学习框架，在图像识别和分类任务中表现出较好的性能，为及时、准确地识别作物病虫害提供了可能。表3归纳了近年来基于深度学习算法在作物病虫害检测与分类中的应用情况。

表3 基于深度学习算法在作物病虫害检测与分类中的应用情况

4.2.1 AlexNet及其改进算法

标准的AlexNet模型能够解决梯度消失的问题，但是仍存在冗余现象。虽然减少全连接层节点数量能够提高识别准确率和运算速率，但是效果并不是特别明显，因而有研究者将目标转向AlexNet中卷积层数的改变上，Wang等[39]实现对82种作物害虫图像91%的分类识别准确率，而Atole等[40]在水稻叶片图像的健康状况分类中获得的准确率可达到91.23%。赵立新等[41]通过改进AlexNet模型中的全连接层的结构，实现对棉花病虫害的平均测试准确率为97.16%，在加快收敛速度的同时解决了过拟合问题。

4.2.2 VGG及其改进算法

VGG在AlexNet的基础上加深了网络的深度，能更好的提取特征，但是也将面临参数多和计算量大的问题。Fuentes等[42]利用CNN滤波器组框架解决了番茄病虫害识别中误报和类别不平衡的问题，获得了96.25%的平均准确率，与Fuentes等[43]之前利用VGG-16特征提取器构建的Faster R-CNN模型83.06%的平均准确率相比，平均准确率提高约13%。复杂背景图像会降低识别的准确率，针对这一问题，Chen等[44]将增强型VGG与Inception模块融合在一起，对水稻病害进行分类预测，平均准确率达92%，在降低计算量的同时保证了模型良好的稳定性。

4.2.3 GoogLeNet及其改进算法

针对常规玉米螟虫识别方法准确率的问题，李静等[45]提出一种基于改进GoogLeNet卷积神经网络模型的玉米螟虫害图像识别方法，平均识别准确率达96.44%，实现对玉米螟虫较高的实用性。Liu等[46]提出一种基于深度卷积神经网络的苹果叶片病害识别方法，将GoogLeNet引入到AlexNet中进行模型改进，实现97.62%的总体准确率，为苹果叶片病害的早期诊断和控制提供了较好的解决方案。在GoogleNet的基础上进行改进产生了Inception，能够减少了计算量和参数量Tetila等[47]利用改进的Inception-v3深度学习模型实现对大豆病害的识别，准确率高达99.04%，能够实现对大豆病害的准确监测。

4.2.4 Faster R-CNN及其改进算法

Faster R-CNN能够更好地解决对小目标害虫的实时识别与检测问题。Hong等[48]提出利用7种深度学习对斜纹夜蛾、甜菜夜蛾和烟夜蛾进行检测，其中，Faster R-CNN ResNet101的性能最佳，可获得90.25%的平均准确率，但仍存在将多个飞蛾被检测为一个对象的错误检测现象。He等[49]提出了基于双层Faster R-CNN的褐飞虱检测算法，在不同数目的检测中，平均准确率为94.64%，而在不同虫龄的检测中，平均准确率为92.92%。Esmail等[50]提出了基于云计算的Faster R-CNN用于检测和识别害虫图像，结合Inception-v2模型实现了98.8%的分类准确率。这些Faster R-CNN模型主要是用于单目标的检测，因此，多目标害虫检测更具有实际意义。

4.2.5 ResNet及其改进算法

为了防止农业害虫造成的损害，正确识别害虫的类别能够帮助农业生产者采取有针对性的控制措施。余小东等[51]提出了改进的残差网络的作物病虫害识别模型，识别准确率可达91.51%，比ResNet 50模型的高3.99%。Liu等[52]提出一种新的虚拟数据库生成方法，并以此为基础构建了基于ResNet 152-v2的害虫识别模型，识别准确率达到97.8%，能够在节省训练数据的采集成本和时间的同时提高训练精度。Cheng等[53]将深度残差学习用于复杂背景下的害虫识别中，平均分类准确率可达98.67%。这些改进模型能够针对实际的问题作出相应的改进，进而提高识别的结果和模型的泛化能力。

4.2.6 DenseNet及其改进算法

DenseNet是一种具有密集连接的卷积神经网络，且能够有效地利用深层特征，解决深度神经网络中的冗余问题。Xing等[54]采用级联DenseNet实现对柑橘病虫害的诊断和鉴定，分类准确率达93.33%，该模型主要是通过提高模型参数的利用率来提高模型的精度。Too等[55]利用38种病害对VGG16、Inception-v4、ResNet和Densenet的性能进行了评估，通过比较发现，Densenet获得了最佳的性能，准确率达99.75%。这些研究显示了DenseNet及其优化模型在病虫害识别中具有良好的性能。

4.2.7 其他深度学习及其改进算法

此外，还有一些其他的深度学习方法。贾少鹏等[56]将胶囊网络作为模型的全连接层加入到CNN架构中，实现对番茄灰霉病病害的识别精度达到93.75%，比CNN模型提高了3.55%，但仍存在改进的空间。Rahman等[57]提出一种轻量型的简单CNN架构，利用两级训练的方法实现对水稻病虫害94.33%的平均分类准确率，且能够用于移动设备中，能够为偏远地区的农民提供有效的病虫害检测工具。

针对生成对抗网络训练的不稳定性，王铎等[58]引入了深度卷积条件，能够在增强模型稳定的同时加快收敛速度，对害虫的分类准确率可达96.8%。孙鹏等[59]将基于注意力机制的卷积神经网络模型用于识别大豆蚜虫，准确率达96.85%，为之后的精准施药和节省农业资源提供有效助力。Muppala等[60]提出了用于检测稻田卷叶螟和三化螟的DNN-SAR模型，准确率达98.29%，在获得较快收敛速度的同时提高了检测精度。

在病虫害检测和分类识别任务中，具有更深层次的模型往往比简单模型具有更高的性能。然而，随着性能的显著提高，深层架构的复杂性也有所增加。因此在实际应用中，往往需要对选取的深度神经网络模型进行改进，以获得更高的准确率和更好的稳定性。

5 总结与展望

本文从病虫害检测系统、图像分割技术、特征提取以及分类识别算法4个方面，综述了近几年来国内外的专家学者在作物病虫害图像识别领域的研究进展。虽然研究方法层出不穷，发展也比较迅速，且取得了一定的成果，但是在实际的应用过程中仍然存在一些问题需要解决和改善。

作物病虫害虫检测系统容易受光源、光照强度、输送装置、相机分辨率等诸多因素的影响，因此，结合农业物联网以及各种智能终端设备，实现对作物病虫害的实时、高效、全方位检测是未来的研究方向之一，能够推进农业现代化与智能化。

对于复杂背景下的病虫害图像的分割，往往需要结合多种分割方法才能获得较为理想的分割效果。不同种类的病虫害需要提取的特征往往不同，其中，多特征融合能够获得更加全面的信息，具有较大的发展潜力。传统机器学习方法的方法在很大程度上依赖于选择的分类特征来提高识别和分类精度，而深度学习算法具有更好的效果，但其计算量和复杂度也更高。如何结合新的算法和其他深度学习结构对模型进行优化训练，并在提高精度的同时加快运算速率仍然是未来的研究的热点与难点。