基于深度学习的储粮害虫检测研究进展

陈卫东, 王 莹, 范冰冰, 刘 超, 李宛玉

(河南工业大学信息科学与工程学院1,郑州 450001)

(河南工业大学粮油标准化研究所2, 郑州 450001)

2021 年10 月31 日,中共中央办公厅、国务院办公厅印发《粮食节约行动方案》,对进一步保障国家粮食安全作出重大部署,成为提高粮食安全保障水平,坚持开源与节流并重、增产与减损并行的行动指南[1]。储粮害虫是造成粮食储存环节损耗的主要原因之一,高效地检测储粮害虫的种类和数量,已经成为保障安全储粮的一项重要任务[2]。经过多年的发展,储藏物害虫检测已取得一定进展。常见的方法包括声测法、人工识别法、近红外法、化学试剂法、图像处理法等。其中,基于图像处理的害虫检测具有无污染、实时性好、效率高等优势,受到众多科研工作者的关注。

传统的图像处理方法(如支持向量机和反向 BP 神经网络)往往无法达到令人满意的效果[3],基于深度学习的图像处理方法避免了手工设计粮虫特征的烦琐步骤[4],可以自动学习和泛化大量图像数据的特征,对粮虫的特征向量进行分类,快速识别不同储粮害虫种类。将深度学习模型应用到储粮害虫的小目标检测中,将会高效的检测储粮害虫,减少经济损失,提升储粮环境质量[5,6]。

随着深度学习网络结构不断优化,基于卷积神经网络的储粮害虫识别研究较传统方式虽然具有识别准确性高、适应性好、学习能力强、可移植性能好等特点[7],但仍存在计算量较大、模型设计复杂、实时性一般等问题。近年来,不少学者对目标检测算法进行改进,并取得了很好的效果。因此,本文借助前人学者的经验对基于深度学习的储粮害虫检测研究进行综述,分别从储粮害虫数据集的获取与预处理、储粮害虫目标检测算法研究、储粮害虫检测结果应用研究进展进行介绍,并对以后的研究发展方向进行预测。

1 储粮害虫数据集的获取与预处理

深度学习由CNN自动提取储粮害虫特征然后进行预测,而深度学习的关键是训练数据,没有数据,机器无法训练学习,进而无法预测。因此,为保证储粮害虫检测的准确率,高质量的数据集是关键。制作数据集时,主要分为数据获取和数据预处理2个部分。

1.1 数据获取

由于公开的储粮害虫数据集较少,研究者大多按照自己的需求,从拍摄方式、设备、环境、单张图片中害虫的数量和种类,以及图像的分辨率等方面入手获取实验所需的数据集。

我国已经记录的储粮害虫种类很多,其中象甲科、长蠹科、谷盗科、拟步甲科、锯谷盗科、窃蠹科、麦蛾科、卷螟科等害虫比较常见,且对粮食危害较大,常常被选为研究对象,建立粮虫数据集。害虫原始图像可以从流行的搜索引擎、参考书上的照片、公开数据集、实验室或者实地拍摄等多种方式获取,通常选择实验室或者实地拍摄。在拍摄时,需要考虑拍摄设备(工业相机、一般智能手机、昆虫采集设备、监控等)、拍摄环境(白纸/实际粮虫背景、不同时间段、不同天气等)、每张图像上储粮害虫的数量和种类(单个或者多个、一类或多类粮虫等)、图像的数量、图像的分辨率和拍摄方式(拍照片或者视频截屏等)等因素。

Shen等[8,9]建立了储粮害虫图像数据集IDSGP,对6种储粮害虫进行识别,并人为标记害虫种类及坐标。赵文君[10]从多种渠道搜集粮虫图片建立数据集,选取常见6种储粮害虫,每个类别100张。刘治财[11]在白板背景下对8种粮虫进行拍摄,图片上的粮虫平均密度约为14只/张。许德刚等[12]将粮虫夹出放置在实验平台上,固定手机,垂直平台进行拍摄,包括白板背景和实际储粮背景。Li等[13]使用已建立的数据集,包含6属10类害虫,拍摄时使用了2种设备。粮虫检测数据集相关比较如表1所示。

表1 粮虫检测数据集

1.2 数据预处理

预处理对于神经网络的有效性已经在提高识别性能和学习效率等实验中得到证明[14]。数据预处理的目的就是让数据更加符合网络的需求,从广义上来说,可以认为是输入特征网络前的一切操作,包括对数据集分割、规整化处理、数据标注、图像增强(数据扩充)等。

数据集不同的分割方式和分割比例可能会导致模型最终的结果出现差异,因此恰当的分割是十分有必要的。大多数情况下,训练集,测试集的划分比例在8∶2到7∶3之间。如果存在验证集,可按照合适的比例进行分割。在进入特征网络之前,要把图片的调整到相同尺寸,便于统一处理,通常将图像像素resize到800以下,可以提高模型精度,提升收敛速度。数据标注大都使用开源软件LabelImg软件进行人工标注,每个粮虫目标的大小、种类、位置等各种信息都会被保存在xml格式文件中,最终生成标准的数据集。

因为储粮害虫样本数量较少,数据集需要人工拍摄进行自制,常选用扩充图片的方式丰富数据集,增加样本的多样性,常用的包括空间几何变换(翻转,移位,旋转,裁剪,变形,缩放等)、色彩变换(噪声、模糊、随机擦除[15]、颜色变换、填充等[16])等。这些方法虽然简捷易于实现,但是也有一定的局限性,例如,空间几何变换产生的图像比较单一,不具备多样性;有的检测任务不适合做翻转旋转的操作;缩放会导致失真等。鉴于此,一种更有效的数据增强方式,即无监督数据增强方式受到众多科研工作者的关注,从没有标记的训练数据中推断结论,产生新的高质量样本,为解决害虫训练样本不足提供了新思路,其中最具代表性的为生成新数据和学习增强策略。Lu等[17]在进行害虫识别时,针对害虫图像数据过少,提出了一种在图像中合成虫害训练图像并通过生成对抗网络(GAN)增强虫害卷积神经网络(CNN)分类器模型性能的方法,有效减少了工作量。Gandhi 等[18]使用生成对抗网络扩充数据集,并将扩充的数据集馈送到训练的CNN模型中,该模型实现了92%的害虫分类准确率。粮虫图片预处理比较如表2所示。

表2 粮虫图片预处理

2 储粮害虫目标检测算法研究

由于储粮害虫为小目标,检测时存在的问题有:目标尺寸过小,分辨率低,图像模糊,可提取特征因素少;粮虫自身易聚集粘连,影响图像识别效果;粮虫训练数据量较少,缺少大规模数据集的支持;粮虫在粮食表面等复杂环境,检测易受干扰[25]等。因此要选择合适的CNN 网络,才能更好地提取粮虫特征,提高模型的检测精度。常用的骨干网络有ResNet、GoogLeNet、VGGNet、DenseNet等[26-29],近年来学者不断优化网络模型,改进学习策略,出现了许多优秀的网络结构。选取具有代表性的网络进行介绍(表3)。

表3 常用的卷积神经网络

目标检测算法主要分为两类,基于区域建议的两阶段目标检测方法和基于回归的单阶段目标检测方法。最具代表性的两阶段目标检测算法主要是 RCNN 系列,单阶段目标检测算法为YOLO系列,SSD系列等。无论是两阶段还是单阶段目标检测算法,在粮虫小目标检测方面都存在着较大挑战,因此需要对检测算法进行优化,提高检测的准确率。

2.1 Faster-RCNN目标检测算法优化

RCNN系列网络经过多年发展,到Faster-RCNN时已经形成了具体的两阶段检测框架。Faster-RCNN结构如图 1所示。储粮害虫图像先通过主干网络进行特征提取,再将特征送入 RPN 获得候选框;其次Feature map与提取的候选框进行映射和ROI Pooling,不同候选框得到相同尺寸的特征层;最后再送入网络进行分类和定位。

图1 Faster-RCNN网络模型结构[62]

尽管Faster-RCNN性能较RCNN 系列网络提升很多,但仍存在很多问题:主干网络不论使用VGGNet 还是ResNet ,其提取到的特征图都是单层的,分辨率也比较小;区域生成网络(RPN)生成的候选建议框与真实小目标的定位之间存在偏差,造成漏检[30]; Faster-RCNN 的原始ROI pooling 2次取整会降低准确率;全连接层,参数量较大,计算耗费时间等。因此Faster-RCNN 算法应该从更好的CNN 特征,更精准的RPN,更完善ROI 分类和样本后处理等方面进行改进。

沈驭风[8]针对Faster-RCNN检测粮虫时存在网络训练较慢、耗费显存、准确率较低的问题,提出了一种改进的 Inception 深度神经网络,采用了Shortcut Connection 的方式,对小目标更加敏感,同时使用 SVD 算法,精简了网络模型。张银松等[31]在Faster-RCNN的基础上进行改进,用深度残差网络(ResNet50)代替VGG16网络,Soft-NMS[32]算法代替传统的 NMS 算法,提高了模型识别和计数的准确率。在张银松[33]的研究中对模型进行改进时,在 VGG16 网络的基础上引入 Top-Down 结构进行多层融合,使模型更好地检测小目标,同时使用了 Soft-NMS算法,改进后的模型识别精度较原来提高了 4.37%,但在速度上有所下降。

张诗雨等[34]为解决粮虫检测结果不精准的问题,提出了一种基于聚类特征的区域提案网络,并采用多尺度的粮虫数据集进行训练,优化后的粮仓害虫检测模型能够在粮仓背景下检测和识别粮虫,并且获得96.63%的mAP。Shi等[35]在Faster-RCNN的改进模型上(R-FCN[36])继续优化,采用改进的 DenseNet-121 + Soft-NMS,提高了检测效率。李衡霞[37]利用 Faster-RCNN 检测油菜虫害同样存在准确率低的问题,将Conv3_3、Conv4_3 以及 Conv5_3 进行多层特征融合,引入新的特征融合金字塔作为 RPN 的输入,添加2组 32 × 32、64 × 64 锚点来增加锚框的数量,并再次引入难负样本挖掘机制解决正负样本失衡的问题,提升了模型的检测性能。

Jiao等[38]提出了一种AF-RCNN检测模型,将无锚区域卷积神经网络(AF-RCNN)和 Faster-RCNN进行融合,选择VGG 16 的Conv4_3和Conv5_3作为特征融合模块,无锚区域建议网络(AFRPN)以获得害虫区域建议,改进后的模型适用于精确和实时的智能害虫检测。王露[20]利用 Faster-RCNN检测粮虫,通过增加上下文的金字塔池化 PPM模块,有助于提升检测性能,同时采用Focal loss损失函数,使粮虫相似度高的问题得到解决,对比未改进的算法可发现,改进后的算法精度有了一定提升,同时避免了一些漏检。

2.2 YOLO、SSD目标检测算法优化

YOLO算法模型如图2所示。它的核心思想是将整张图输入网络中进行特征提取,直接在输出层回归边界框的类别,检测速度比Faster-RCNN提升很多。另外,因为YOLO没有进行区域采样,所以对全局信息有较好的表现。凭借高效且实用的检测机制和网络结构,YOLO算法在很多工程中应用广泛。

图2 YOLO算法模型[63]

YOLO系列算法存在的问题也不容忽视:损失函数设置不恰当,导致物体定位精准性较差,影响检测效果;框架设计对Bounding Boxes强加了空间约束,导致小目标或邻近物体检测效果较差;在同一类物体出现的新的不常见长宽比泛化能力偏弱;YOLO算法召回率较低等。

SSD是目前的主流检测框架之一,算法模型如图3所示。它的设计思想是特征分层提取,并依此进行边框回归和分类。SSD同时结合了Faster-RCNN与YOLO的设计思想:借鉴YOLO的回归模式,直接回归出物体的类别和位置[39],同时参考Faster-RCNN中的锚框设计机制[40],综合性能有较大的提升。

图3 SSD网络模型结构[64]

图4 面向移动终端的农业害虫智能识别系统设计图[57]

SSD目标检测算法优势明显,缺点也显而易见:该算法损失函数的设计未考虑正负样本不均衡所带来的问题[41],导致召回率较低,对小尺寸的目标识别比较差;网络特征学习能力不足,导致小目标检测精度不高;同时存在需要人工设置先验框的最大、最小值和宽高比,导致调试过程比较费力等。

因此,单阶段目标检测算法的优化方向可以从损失函数loss(focal_loss、IoU_loss等)和网络结构(backbone、FPN、Attention等)2个大方向进行优化,还可以考虑anchor设置和分配的问题,也是单阶段目标检测算法能大幅度提升和改进涨点的方向。

吕宗旺等[42]基于YOLOv3对算法进行改进,利用 GIoU算法优化损失函数,并采用K-means算法对自制数据集进行聚类,改进后的模型检测效果有很大的提升。孙妍[43]构建了P-YOLOv4( Pets-YOLOv4 ) 算法模型,添加卷积块注意力模块(CBAM)[44]和空间金字塔池化( SPP ),专注对害虫特征的学习,结合 Mish 激活函数,并优化先验框,mAP提升了5.41%。孙海燕等[4]设计了轻量化YOLOv4模型,用轻量级网络(MobileNet)[45-47]替代主干网络,SPP模块和PANet网络相结合,然后添加CBAM注意力模型进行特征提取融合,并再次引入Focal Loss优化损失函数,提升了模型的综合性能。陈道怀等[48]利用YOLOv4算法进行林业害虫检测,采用K-means 算法得到合适的锚框,然后基于DIoU- NMS(Distance-IoU-NMS)算法专注对害虫的计数,其次在路径聚合网络(PANet) 结构上增加特征融合和104×104层级特征检测图来增强对小目标害虫的检测效果,最后调整模型中的尺度特征图组合,提升了检测效率并精简了模型。Pang等[49]构建F-D-YOLOv4-PEST检测网络,引入迁移学习提高模型的性能,Mish函数用于特征提取,同时使用K-means 算法,在此基础上使DIoU-NMS 算法替代 NMS, 将训练方法升级为2次微调训练,并增强训练数据,改进后的F-D-YOLOv4-PEST的mAP为92.86%,可以满足实时检测要求。

邓壮来等[50]为了对粮虫进行有效检测,设计了一种基于SSD算法的检测模型,修改 VGG16网络,将网络分支改为Conv4_3、Conv5_3、Conv6_2、Conv7_2、Conv8_2、Conv9_2 ,对模型结构进行轻量化,同时对损失函数进行优化,平衡了正负样本,提高了训练效率。钟良建[51]构建KF-SSD算法,在网络结构上仅保留相对尺度在目标范围内的预测特征图38×38,19×19,10×10,设计特征融合结构,充分提取特征;先验框设计上采用两种距离度量的 K-means 算法,设计适合当前检测目标的先验框;后处理部分使用Soft-NMS算法取代 NMS 算法,有效改善了漏检误检的情况。胡可柏[52]选取ResNet-34 作为骨干网络,并提出了一个循环注意力模块来替换ResNet-34中每个阶段的最后一个残差模块,提取了更加丰富的上下文信息。Lü等[53]提出了新的特征融合SSD网络模型,使用自顶向下模块融合Conv4和Conv5的输出特性,并删除不适用于小对象检测的block11,同时使用 K-means 聚类算法,提高了粮食害虫小目标检测的性能。

Faster-RCNN、YOLO、SSD算法优化比较如表4所示。无论是Faster-RCNN还是YOLO,SSD原始的目标检测算法,检测小目标储粮害虫时都会存在检测效果较差的问题,要提高检测性能,都需要进行一定的优化。分析各个目标检测算法的网络结构,都可以从主干网络(backbone)、特征金字塔网络(FPN)[54]、注意力机制(Attention)、损失函数(loss)等方向进行改进,Faster-RCNN和SSD具有锚框设计机制需要考虑anchor设置和分配的问题,Faster-RCNN的RPN和ROI也是可以优化的方向。优化后基于Faster-RCNN的检测模型算法准确率较高,但是检测速度有所下降,基于YOLO和SSD的目标检测算法模型综合性能都有较大的提升,能够进行实时检测。

表4 Faster-RCNN、YOLO 、SSD算法优化比较

3 储粮害虫检测结果应用研究进展

及时准确地识别储粮害虫的最终目的就是对害虫进行智能化监测进而准确预警,做到科学防治,安全储粮。研究人员基于互联网平台开发害虫管理网站、手机App、微信小程序、公众号等相关系统,用户可以通过电脑,手机应用程序等多终端实现害虫信息的远程浏览查询,减轻了农业相关人员的工作量,具有较高的实用性。

Zhong等[55]针对人工识别和计数飞行昆虫效率低下的问题,设计完成了一种基于视觉的飞行昆虫计数和分类系统,将YOLO深度学习目标检测和支持向量机分类器相结合,并将测试结果发送到农业监测服务平台,提供了高效准确的识别数据,为农业工作者提供合适的防治措施。

罗强等[56]等提出了粮库虫害实时监测预警系统 (RMPS),利用模型将检测到的粮虫种类和概率以Web服务的形式发布给手机客户端, 达到实时监测预警的目的。邵泽中等[57]设计了一个面向移动终端的农业害虫智能识别系统,方便农民或基层植保人员在系统的 Android 移动终端(手机或 PAD)拍摄害虫图像,实现对害虫的自动识别,除此之外,系统还提供害虫地图可视化和专家鉴定服务,为防治工作提供了便利。害虫智能识别系统设计如图 4 所示。

Yun 等[58]开发了一种基于深度学习的害虫监测系统,同时得到智能手机应用程序的帮助,有效的对害虫密度进行自动测量。邓壮来[59]设计并实现了粮仓害虫监测系统,对害虫进行自动检测,计数和预警等,检测平均mAP 值达到82.11%,平均耗时3.53 s,系统整体性能较好。Chen 等[60]开发了一种基于云平台的智能害虫识别系统,该系统采用物联网技术,通过Wi-Fi或4G网络将训练后的模型上传到云存储平台,该平台与Web界面和智能手机应用程序相结合进行实时检测,及时准确地给用户提供了帮助。

基于图像处理的害虫监测系统能够对害虫进行智能测报,提高了害虫监测的效率,具有广阔的应用空间,但是也存在监测时只能检测到粮食表面的害虫,而无法检测到内部害虫的问题,未来智能化害虫监测系统可重点从几点考虑:监测环境多变,如湿度、温度、光照、二氧化碳浓度、微生物、储藏物种类等因素都会影响害虫检测的准确度,需建立害虫发生的多场耦合模型,根据耦合规律和模型,建立害虫的预测预警模型,基于机理驱动和数据驱动的人工智能识别系统,以支撑检测、预警、防治这一完整链条,做到及时发现,合理防治[61];监测系统是在理想实验室条件下设计完成的,是否能够代表真实粮仓的检测结果,还需要进一步验证完善;可进一步扩大害虫识别的种类,进一步提高害虫监测普适性。

4 总结与展望

相对于传统的储粮害虫检测方法,基于深度学习的方法可自动学习粮虫特征并快速识别分类,具有广阔的发展前景。然而,在背景、光照等外界因素影响较大时,存在难以获得优越的分类性能,同时存在粮虫小目标检测效果较差的问题。储粮害虫检测从学术研究向真实场景的农业应用过渡还需继续研究,未来可以从几个方面进行优化:丰富的储粮害虫种类、真实的背景、以及大量的害虫图片数量是机器训练的基础;高效、快速的储粮害虫图像预处理技术是提升检测精度的重要基础;可调整目标检测算法的主干网络、特征金字塔函数、损失函数、网络参数等使深度学习能更好的应用到粮虫小目标检测;可使用轻量化模型来解决深度学习模型复杂、计算量较大、进行特征提取时耗费大量硬件资源等问题;便捷实用的粮虫实时监测预警系统、识别网站等可以更好地为农业相关人员服务,保障储粮安全。