深度学习在水果品质检测中的应用

陈 辉

(塔里木大学 信息工程学院，新疆 阿拉尔 843300)

0 引言

水果因其鲜美可口和富含多种营养受到许多消费者的喜爱,随着生活水平的不断提高,消费者开始越来越多注重水果品质,但水果在采收、贮藏、运输等环节会因操作不当或意外发生损伤,造成腐烂，在生产环节易受病虫害影响，从而影响水果品质。为了解决该问题，需对水果进行检测，筛选出有损伤的水果，提高水果的商品质量。在对水果品质进行检测时，若使用人工进行评判，会受检测人员的经验水平影响，其受主观性较大，使得检测结果参差不齐，难以形成规范。深度学习因其能提取目标的全局特征和局部特征，且能从大量数据中提取特征，在数据处理方面优势明显，在目标检测识别领域深受欢迎。深度学习的特性在水果检测和病虫害识别等方面受到了广泛关注。

1 深度学习简介

深度学习[1](Deep Learning，DL)是机器学习的子集,机器学习从浅层机器学习发展到深度学习。深度学习是一种表示学习能够学到数据更高层次的抽象表示，能自动从数据中提取特征。通过对模型进行预训练，能持续不断地调整及优化特征，可用于更快速方便地处理大量数据，拥有更好的性能和更高的精度。DL中的“深度”意指神经网络的层之深，最常见的人工神经网络由输入层、隐藏层和输出层组成如图1所示,依次为输入层、隐藏层和输出层。

图1 深度神经网络

1.1 卷积神经网络

卷积神经网络[2](Convolutional Neural Network，CNN)是一种特殊的深层前馈网络，CNN主要包含输入层、卷积层、池化层、全连接层及输出层。但是，在网络结构中，为了使输出更加准确，特征提取更加丰富，通常网络模型中使用多卷积层和多池化层相结合的网络模型，卷积神经网络分类模型的优势在于，摒弃了复杂烦琐的图像预处理过程，并将特征提取、分类器识别等模块的功能集合在一个网络里，节省了特征提取和数据重建等工作。同时整个网络模型的复杂度得到简化，层与层之间参数值的数量也有效减少，最终导致网络的训练学习和识别更容易，而且还提升了图像分类的泛化能力及精准度。

1.2 循环神经网络

循环神经网络[3](Recurrent Neural Networks，RNN)主要是用来解决序列数据问题。RNN随着时间的推移反复迭代的结构实现对序列数据的学习。RNN的高维隐藏状态和非线性演化特性赋予了其更加强大复杂的表达分析能力,使RNN的隐藏状态都能够同时整合多个时间步节点上的信息,并利用其进行准确的预测。RNN在训练中会出现梯度消失问题，采用长短期记忆算法LSTM来解决此类问题。

1.3 生成对抗网络

生成对抗网络(Generative Adversarial Networks，GAN)是一种无监督深度学习模型，通过计算机生成数据，GAN由生成器和判别器组成，生成器通过机器产生数据，判别器负责对这些数据进行检测判别其是真数据还是假数据,通过不断循环，获得所需输出。

2 深度学习在水果品质检测领域的研究现状

2.1 水果品质检测领域常用模型

深度学习算法众多纷杂，不同的算法适用于不同的应用场景，选用合适的深度学习算法对水果品质检测准确率和效率非常重要，深度学习主流的目标检测算法有Faster R-CNN、YOLO、SSD等。

2.1.1 YOLO算法

2016年,Joseph Redmon等[4]人提出了一种单阶段(one-stage)的目标检测网络YOLO。不久，YOLOv2也被提出，YOLOv2是一种单阶段完整的对象检测框架,是对YOLO的改进,使其更好、更快、更强。YOLOv2基于Darknet-19,其有19个卷积层,主要使用类似于VGGNet 的3×3过滤器。YOLOv2有22个卷积层和1个检测层。YOLOv3基于Darknet-53,是YOLOv2的改进。并具有类似 ResNet的跳跃连接。YOLOv3为了获取更有意义和更细粒度的信息,将下层特征映射与上层特征映射进行合并并进一步处理。YOLOv4参考跨级局部网络的思想,在 YOLOv3的基础上使用特征学习效果更强的交叉跨级局部网络作为主干网络。对特征图进行堆叠、卷积采用空间金字塔池化,目的是扩大视觉感受也有利于全局检测。路径聚合网络(Path Aggregation Network,PANet)将特征图进行上下采样,以此来融合提取到的图像信息。最后YOLOv4生成三个检测头Head去检测目标。不久后，YOLOv5被提出，是YOLOv4的改进, YOLOv5综合了许多深度学习目标检测算法的优点。

2.1.2 Faster R-CNN算法

R-CNN模型最初由R Girshick等[5]提出,成为两阶段目标检测R-CNN系列的开端。R-CNN通过不断优化改进相继出现Fast R-CNN、Faster R-CNN。Faster R-CNN用区域生成网络(Region Proposal Network, RPN)取代R-CNN的选择搜索方法,具有检测速度更快的优点。Faster R-CNN的原理是以CNN为基础输入图像，经过多层卷积层和池化层进入RPN。RPN将特征分为两个部分通过卷积核来实现。一般来说,Faster R-CNN可以看作是Fast R-CNN加上一个RPN。

2.1.3 SSD算法

SSD是一种单阶段目标检测算法，采用多尺度目标检测，从网络不同层抽取目标不同尺度的特征做预测。SSD 是VGG16网络的基础上进行修改得到，使用两个卷积层替换VGG16网络最后的全连接层，然后在VGG网络的后面再增加4个卷积层。

Faster R-CNN、YOLO、SSD均能达到实时性要求且精度较高，Fast R-CNN较其他两种算法精度更高，但速度慢。YOLO特点是速度快，YOLO提取特征采用将输入图片分成网格，造成精度低。SSD 借鉴了Fast R-CNN和YOLO的特点，SSD特点是速度快，但其在训练中产生较多超参数是一难点。未来研究可以结合多类算法的优点进行改进，获得合适的算法。

2.2 水果品质外部检测

水果在采摘和运输等环节受到损伤，容易产生腐烂，从而影响水果的品质，影响消费者的购买欲望。近年来，国内外众多学者运用深度学习技术对水果品质外部检测。

周辉礼[6]采用深度卷积神经网络对苹果表面成熟度进行了分类评估及识别,平均结果准确率达到82%。在检测苹果腐烂、裂纹和虫眼等方面，实验表明SSD＿ResNet101比Faster R-CNN＿ResNet101更佳。周胜安等[7]使用MobileNetV3 替代CenterNet原有的骨干网络,加快检测速度,对MobileNetV3模块进行改进,提高模型对水果中小缺陷的识别。研究结果表明，深度CNN在分析水果内部力学损伤方面具有广阔的应用前景。Ashutosh等[8]开发基于人工神经网络(ANN)的苹果分类器。测试工作量采用ANN方法计算，建模结果表明实验数据和预测值之间有很好的一致性。较低的预测误差证实了神经网络模型是苹果品质评价的有效工具。

2.3 水果品质内部检测

水果糖度、酸度、坚实度等内部品质也是水果检测的重点，深度学习无法检测水果内部，需要结合光谱技术来检测。近年来，深度学习和光谱技术结合广泛应用于水果内部品质检测，是一种精准、快速、无损的水果品质检测手段。

温馨[9]重点研究分析对象为脐橙、香梨,其果实糖度为检测的关键指标,依托深度学习和可见/近红外光谱技术,开发了一种水果糖度回归模型(MLP-CNN)。MLP-CNN可实现对水果糖度的实时精准、快速测量、无损。高冲[10]应用高光谱与深度学习的技术，基于内外部品质无损检测模型,开发品质检测及分级装置。结果表明,设计开发的苹果品质检测及分选装置可以快速准确检测苹果综合品质,分级准确率高,对促进苹果产业发展有积极意义。GarillosManliguez等[11]研究分析对象为木瓜，预测木瓜的六种成熟度，提出了一种对可见光和高光谱两种成像模式获取数据，然后进行特征拼接来估测水果成熟度。样品水果的形态变化通过RGB图像可以很容易地测量，而从400～900 nm波长范围的高光谱图像中可以提取出与水果内部性质相关性的光谱特征，这是建立模型时必要因素。实验表明，采用强大的深度卷积神经网络模型和多模态输入相结合，可以对水果成熟度进行分类。其表明，多模态深度学习架构和多模态成像在估测田间水果成熟度方面具有巨大的潜力，可以帮助果农估测最佳收获时间和应用到其他农产品中，促进了深度学习在农业中的应用。

3 结语

深度学习在水果品质检测研究领域取得了显著的成果，相比于机器学习等检测技术优势明显，传统的检测算法需要人为提取特征,且人为设计特征非常费时费力,参数的调整需要很长时间，不能很好适应不同的检测识别问题。深度学习因其能自动提取特征，在目标检测领域广受欢迎。其在水果品质检测方面准确率和速度都相对较高，越来越多的学者将其应用在水果品质检测研究中。

深度学习做模型训练需要大量数据，当前公开的水果数据集比较少，符合模型训练的数据较少，数据采集需花费大量时间。深度学习模型训练时间较长，对算力要求高。深度学习在水果品质检测领域尚处在实验研究阶段，未被应用于生产生活方面。随着计算机性能的提升，期待水果品质智能化检测应用在生产生活中，提高水果分类识别和品质检测效率，减少人力物力的投入。

(04)