基于GoogLeNet的玉米籽粒破损及霉变在线辨识方法*

林杰，王发赢，姚艳春，，崔春晓，盛振哲，曲殿伟

(1.山东理工大学农业工程与食品科学学院,山东淄博,255000;2.山东省旱作农业机械及信息化重点实验室,山东淄博,255000;3.山东五征集团有限公司,山东日照,276825)

0 引言

支持向量机[1-3]、神经网络[4-6]等计算机视觉技术及算法已广泛应用于农作物分类,卷积神经网络[7-8]作为深度学习的一种代表算法,广泛应用于计算机视觉等领域,其自动提取目标特征的优势在复杂图像分类中得到体现。国内利用深度卷积神经网络对检测与分类农作物[9-10]开展了相关研究[11-12]。陈文博等[13]以稻米品种识别与碎米检测为目的,对比VGG19[14]和GoogLeNet[15]神经网络,结果表明,GoogLeNet在稻米检测中识别准确率可达96.46%,相比于VGG19验证精度提高了1.46%。侯俊铭等[16]研究了在线实时分类蓖麻种子损伤,采用SGDM类优化器更新网络获得更优分类性能,种壳缺失蓖麻种子的识别准确率高达96.67%。苏宝峰等[17]基于注意力机制改进多品种葡萄分类的识别算法,并使用Grad-CAM方法对特征图进行可视化处理,对卷积层提取的特征进行可视化解释,克服了复杂背景导致的辨识困难等问题,其测试集准确率为88.75%,平均召回率为89.17%。徐岩等[18]选取了登海518、浚单20、郑单958玉米品种,使用Keras深度学习框架搭建了CNN模型,平均识别率达到95.49%。权龙哲等[19]研究了玉米粒选和分类,搭建了轻量级卷积神经网络,对优良、剔除玉米籽粒胚面与胚乳面4大类玉米籽粒分类,通过调整样机参数达到最优性能,玉米籽粒检测准确率达到96.50%,有效分选率达到97.51%。以上研究表明,在农作物种粒的分类鉴别中,卷积神经网络具有准确率高、适应性强等优点[20]。

综上,玉米籽粒图像切片处理主要针对单一背景与理想光线条件下的图像,一般先对图像进行二值化处理,提取玉米籽粒轮廓后,直接对图像进行切割,该处理方法对成像环境要求高,在切割玉米籽粒图像时,容易出现图像信息丢失等问题,难以应用在大规模玉米籽粒分选作业场景。

因此,本文提出一种基于HSV颜色空间阈值分割的玉米籽粒图像切片算法,该算法在HSV颜色模式下分割阈值,提取到玉米籽粒轮廓后,扩大切割尺寸,对于固定阈值分割造成图像信息丢失等问题具有补偿作用。该算法创建完好、破损及霉变玉米籽粒数据集,并以GoogLeNet为试验模型,训练切片处理与未经图像切片的数据集,基于Grad-CAM可视化方法[21-22]显示模型关注区域,验证了GoogLeNet识别破损及霉变玉米籽粒的可行性以及图像切片算法的有效性。

1 数据集制作

1.1 玉米籽粒图像采集

本文选取完好、破损及霉变玉米籽粒作为研究对象,其中,破损粒样本一部分由完好粒经压力机破碎获得,另一部分由玉米果穗经过脱粒机脱粒获得;霉变粒样本通过人工霉变处理获得,即先将完好玉米籽粒置于潮湿阴暗环境中,待其表面产生霉斑后,再将其置于阳光下暴晒获得干燥的霉变玉米籽粒样本。在恒定光源照射的条件下,搭建图像采集装置,完成了图像采集工作。其中,玉米籽粒图像采集装置主要由排种器、限位开关、传送轮盘、工位、相机等硬件设备组成。工作时,步进电机驱动传送轮盘间歇运动,当传送轮盘上的工位触发限位开关,工位停止于排种口下方,排种器排出单粒玉米籽粒落入工位内,前序工位停止于相机正下方,相机拍摄工位内的玉米籽粒,循环后不断获取图像。获得完好玉米籽粒图像1 456张,破损玉米籽粒图像1 160张,霉变玉米籽粒308张。玉米籽粒图像采集流程如图1所示。

图1 玉米籽粒图像采集过程

1.2 玉米籽粒图像预处理

1.2.1 玉米籽粒图像分割阈值确定

为确定玉米籽粒图像分割的上、下边界阈值,对RGB颜色模型图像进行模型转换,获得HSV颜色模型图像。将H、S、V分量的各自最小值作为图像分割阈值的下限值,其最大值作为图像分割阈值的上限值。通过调整HSV颜色模型下图像H、S、V分量大小,观察玉米籽粒图像分割效果,确保清晰分割出玉米籽粒整体轮廓,记录下此时的阈值,最终设定下边界阈值为[Hmin,Smin,Vmin]=[0,44,7],上边界阈值为[Hmax,Smax,Vmax]=[36,255,255]。玉米籽粒图像分割阈值的获取流程如图2所示,阈值分割效果如图3所示。

图2 图像分割阈值的获取

图3 阈值分割效果

1.2.2 玉米籽粒图像切片

为了建设一支高效廉洁的监管队伍，局党组始终把党风廉政建设放在首位，突破性地开创了党风廉政建设全程记实工作程序。3年来，全局受理行政许可申请5.8万余件，无一名干部职工发生违法违纪行为。局党组把“不看文凭看水平、不看学历看能力、不看年龄看本领”作为用人原则，努力培养各方面工作的业务尖子和复合型人才，带动了整个队伍的风清气正，争先创优，以及执法能力、执法水平的稳步提升。

玉米籽粒图像切片处理流程如图4所示。

图4 玉米籽粒图像切片流程

由玉米籽粒图像可以发现,图像存在冗余信息多、目标区域占比小、目标位置不固定等问题。为减少图像中冗余信息对玉米籽粒图像识别分类的干扰,并提高目标区域在整张图像中占比,提升模型的识别准确率,采用如下方法对图像进行处理:首先,将原始图像RGB颜色模型转换为HSV模型,设置图像分割阈值,获取掩码图像,即低于下边界阈值或高于上边界阈值的像素值置为0,其余像素值全部置为255;然后,调用OpenCV库函数对二值化图像(掩码图像)提取轮廓并获取玉米籽粒轮廓最小外接矩形(图4中黄色矩形框)四个顶点坐标,即(Xmin,Y1),(X1,Ymax),(Xmax,Y2),(X2,Ymin);最后,在原始图像上计算出裁剪矩形框(图4中红色矩形框)的顶点坐标,并进行裁剪,获得最终切片图像。

1.3 数据集组成

通过相机采集的原始玉米籽粒图像共2 924张,其中破损粒图像1 160张,完好粒图像1 456张,霉变粒图像308张。为确保神经网络能正常进行训练,得到可靠的训练数据,数据集按7∶3划分为训练集与验证集。同时,设置对照数据集,将图像切片处理作为变量,用于模型训练试验中对比评价图像切片方法的效果。方案A使用原始数据集,由相机采集获得;方案B训练集是由方案A训练集经过图像切片获得。数据集组成如表1所示。

表1 数据集组成

2 GoogLeNet模型试验及分析

2.1 网络结构简介

GoogLeNet的创新在于提出并应用了Inception模组(产生稠密数据的稀疏网络结构),其网络结构中包含了9个Inception模块级联,均采用1×1、3×3、5×5不同大小的卷积核提取特征,获得大小不同的感受野,最后通过并行操作,融合不同尺度的特征,增加了网络的深度和宽度,同时,为避免通道数快速增长,加入1×1的卷积核实现降维。Inception模组网络结构如图5所示。

图5 Inception模组结构

2.2 模型试验及分析

2.2.1 试验环境

本试验采用Pytorch深度学习框架,Python作为编程语言,在PyCharm编程环境中运行相关程序训练网络模型;硬件方面,工作台搭载Intel(R) Core(TM) i9-8950HK CPU@2.90GHz处理器,显卡为NVIDIA Quadro P4200。

2.2.2 训练试验与分析

训练时采用定学习率方式,设置学习率为0.001,批尺寸大小为32,将交叉熵损失函数(Cross Entropy Loss)作为误差计算函数,选用SGD优化器,采用随机梯度下降算法,动量参数设置momentum为0.9,迭代轮数设置为150。在同一试验环境下,设置相同超参数,使用训练方案A与方案B,分别训练GoogLeNet。训练曲线如图6和图7所示。

图6 训练集准确率曲线

图7 验证集准确率曲线

由图6可知,两种方案的训练准确率最终均趋近于1,但方案B的训练准确率收敛速度快于方案A,且震荡幅度较小,相较于方案A更快、更平稳地趋近于1。由图7可以看出,使用方案B训练的GoogLeNet相较于方案A,其验证集准确率收敛时更加平稳,并且获得较高的准确率。表2为GoogLeNet不同训练方案对应验证集准确率与玉米籽粒识别准确率。

表2 验证集准确率与各类别识别准确率

由表2可知,由训练方案B获得的GoogLeNet模型相较于方案A,其性能得到全面提升,训练方案B相较于方案A在验证集准确率上提高了7.99%,在破损粒、完好粒、霉变粒的辨识结果中,其准确率分别提升了17.56%、2.07%、1.08%。

2.2.3 讨论

在模型的训练试验中发现,未经切片处理的破损粒识别准确率远低于霉变粒识别准确率,切片处理后的破损粒与霉变粒识别准确率仍存在一定差距,分析主要存在以下可能原因。

1) 霉变粒与完好粒、破损粒的颜色特征差异性较大,识别霉变粒相对容易,模型不易出现误判,主要影响其识别准确率的因素是成像环境中冗余信息的干扰。

2) 识别未经切片处理的破损粒图像主要存在两个影响其识别准确率的因素,一是破损粒自身特征相较于完好粒的特征区别不明显,识别其本身具有一定难度;二是成像环境中存在一些无关特征,会影响网络对玉米籽粒有效特征的提取。

经切片处理后的图像,主要是排除了成像环境的影响因素,但区分破损粒与完好粒相似特征的问题并未得到完全解决,因此,破损粒与霉变粒的识别准确率都有不同程度的提升,但仍然存在一定差距。进一步提升破损粒的识别率,需扩充或增强训练集,使网络充分学习特征;或优化改进网络结构,提升网络对破损粒特征的提取能力。

3 Grad-CAM可视化分析

为进一步验证本文所提出的玉米籽粒图像切片方法有利于GoogLeNet提取玉米籽粒关键特征,引入Grad-CAM可视化方法对GoogLeNet提取的玉米籽粒特征进行可视化解释,在网络结构中前三层卷积层与inception5b模块后分别使用Grad-CAM可视化方法,即先计算目标层梯度,计算每一张特征图的均值,再取出目标层的激活值与均值相乘,根据加权结果绘制出热力图,与原图重叠后,可以根据颜色深浅来判定模型的感兴趣区域,颜色越深的位置,代表模型在此位置的注意力越集中,越关注此区域的特征。

在训练方案A与方案B的验证集中抽取的3类玉米籽粒图像,其中每类图像抽取两张,分别对其加载由两种训练方案获得的两组GoogLeNet权重文件,并在目标层使用Grad-CAM可视化方法。各层的可视化结果如图8、图9所示。

图8 模型A可视化结果

图9 模型B可视化结果

由图8可知,前3层卷积层的热力图颜色变化不均匀,且inception5b层的热力图深色区域并非完全与玉米籽粒所在位置重合,甚至存在完全不重合的情况,表明模型A提取有效特征的能力较差,受到图像冗余信息干扰大,关注区域较为分散,可解释模型A验证集准确率较低。由图9可知,各卷积层的热力图深色区域均集中在玉米籽粒轮廓或霉斑位置,说明该模型所提取的特征与预期特征一致,表明使用本文提出的图像切片处理方法处理数据集,经过训练后得到的模型B,在各卷积层都能够提取到有效的特征,关注区域均集中在玉米籽粒所在区域,这也是模型B相较于模型A在验证集上准确率较高的原因,同时也验证了本文提出的玉米籽粒图像切片方法有助于GoogLeNet提取玉米籽粒的有效特征,减少了无效特征的干扰。

4 结论

训练试验中设置了相同学习率、损失函数和优化器,并设置同样的批尺寸和迭代次数,使用未经切片处理的训练方案A与切片处理的训练方案B训练GoogLeNet,对比两组方案的验证集准确率。

1) 使用图像切片处理的玉米籽粒数据集,训练后获得的网络模型在其验证集准确率上可达到93.74%,相较于未经图像处理获得的网络模型提升了7.99%,且在破损粒、完好粒、霉变粒辨识中准确率有全面的提高,分别达到90.18%、95.16%和100%。

2) 经过图像切片处理的模型,对玉米籽粒关键特征的注意力更加集中,受目标区域外的特征干扰较小,本文提出的玉米籽粒图像切片方法可克服复杂背景的干扰,有助于GoogLeNet提取玉米籽粒关键特征,可有效提高破损及霉变玉米籽粒的辨识精度。