基于机器视觉的粮食外观品质检测研究进展

陈卫东，李宛玉，李 智

1.河南工业大学 信息科学与工程学院，河南 郑州 450001 2.河南工业大学 粮油标准化研究所，河南 郑州 450001

食品安全关系到人民群众的身体健康和生命安全，小麦、玉米、稻谷三大谷物作为主要的政府储备粮食品种，其品质安全是食品安全的重要保障，直接影响到售粮农民收入和国家收购资金安全[1]。采用现代信息技术实现粮食外观品质快速无损检测将成为保障食品安全的重要途径。在传统的人工检测中，基层粮食收储企业检验能力普遍较弱，检测结果主观性强、耗时长，不能满足新形势下粮食收购的需求。目前的粮食外观品质检测主要通过高光谱成像和物理图像识别法实现。高光谱成像技术采用图谱合一的方式获取粮粒的内外部信息，以多模态的特征建立高精度的粮粒种类判别模型[2-5]。但其成像设备昂贵，数据量大且冗余性强，无法达到实际应用的运算速度要求。基于物理图像识别的机器视觉技术拥有高效、快速、低成本、高精度的特点[6]，在农业[7-9]、交通、军事等各个领域发展的相对成熟，在粮食外观品质检测方面也获得了广泛的应用。

基于机器视觉技术的粮食外观品质检测分为两大类：传统机器学习[10-11]和深度学习算法检测[12-14]。前者依靠图像处理、手动设计并提取粮粒特征以及分类器，后者则能够自动学习并完善特征提取，为粮食品质检测开创了新契机。为此，大量研究人员开展了基于机器视觉技术的粮食检测与识别方法研究，作者综述了图像采集、图像处理、特征提取以及分类算法在粮食外观品质检测中的成果和应用，讨论了这些方法的发展现状及其不足，同时对该领域的发展趋势与未来研究方向进行了展望，推动了机器视觉在粮食外观品质检测中的应用。

1 粮食图像采集装置

获取优质的粮粒图像是粮食外观品质检测的前提，一定程度上决定着模型的效率。一个经典的静态图像采集装置主要部件包括：图像传感器、照明、图像采集卡、计算机等，其结构如图1所示[15]。其中常见的图像传感器包括扫描仪中的接触式图像传感器(CIS)、电子耦合器件传感器(CCD)和互补金属氧化物半导体传感器(CMOS)。图像传感器的选取决定着图像的质量，合适的成像背景能够使后续的图像处理工作事半功倍。同时，视觉系统受照明单元及其强度的影响，需要保证光源的稳定输出及均匀照明[16]。

1.内置图像采集卡的计算机；2.相机；3.环形光源；4.试验箱；5.载物台；6.粮粒图1 粮粒静态图像采集装置Fig.1 Static image acquisition device for grain

张玉荣等[17]使用分辨率为600 dpi的平板扫描仪采集小麦不完善粒的图像，但扫描仪分辨率低，不能够提供更优质的图像。王伟宇[18]使用CCD摄像机，选择带有发光二极管环形光源的黑色环脂试验箱进行图像采集，该装置提供了可靠的玉米粒图像。Manohar等[19]、Yang[20]提出了基于机器视觉的大米检测系统，利用CCD相机捕捉大米的图像。但静态采集的图像不适用于实际应用，因此如何构建实时在线的动态的粮粒图像采集装置是仍待解决的问题。

粮粒动态图像采集装置如图2所示，将粮粒放在传送装置上，当目标物体进入相机的视野内快速曝光完成图像采集。张博[21]开发了集入料、麦粒均布、图像采集及卸料为一体的动态图像采集装置，但该装置自动化水平低，不能满足在线、实时、快速检测的需求。刘光宗等[22]、Sharma等[23]采用带有传送带及CCD摄像头等部件的动态装置获取图像，但这类装置容易导致粮粒无法有效分离而影响识别精度。郭亦凡[24]采用携带振动板的动态装置减少粮粒的堆叠。

1.相机；2.照明；3.振动喂料机；4.粮粒；5.传送装置；6.支架；7.收纳容器；8.内置图像采集卡的计算机图2 粮粒动态图像采集装置Fig.2 Dynamic image acquisition device for grain

粮粒静态图像采集装置相对成熟，但不能用于真实场景，而动态装置又面临粮粒堆叠以及特征不全的问题。对于粮粒堆叠，振动筛可减少该情况的发生；对于特征不全的问题，双面图像采集或成为未来研究的重点和难点。

2 粮食图像预处理研究进展

2.1 图像增强

从相机中获得的图像因存在噪声而影响图像的质量，故需要使用图像增强技术有选择地突出有效的特征，消除图像中的噪声。在粮食外观品质检测领域使用较多的图像增强技术是中值滤波、均值滤波和高斯滤波。

Mittal等[25]、王石[26]使用对异常值不敏感的中值滤波去除粮粒灰度图像的噪声，其结果有效地保留了细节和边缘信息，噪声也被很好地消除。Nagoda等[27]通过从前景图像中减去背景的方法去除大米灰度图像上的光点，使用高斯滤波消除尖锐边缘的噪声，均值滤波和高斯滤波虽消除了噪声，但图像边缘模糊，而中值滤波可弥补上述不足，但其处理速度慢，目前尚未找到一个简单、效果好、速度快的适合于粮食颗粒的图像增强技术。

2.2 图像分割

对粮食籽粒图像进行分割处理，获取单粒粮粒图像，不仅可以剔除多余的信息，还可以减少图像数据[28]，分割方法有基于阈值、基于边缘或区域的。粮食外观检测中常用的几类图像分割算法的比较如表1所示。

表1 几类图像分割算法的比较Table 1 Comparison of several image segmentation algorithms

张玲等[29]以灰度值作为垩白阈值区分正常米和垩白米，然而使用固定阈值实现分割往往达不到预期的效果，因此选用一种自适应阈值算法是非常有必要的。胡艳侠[31]结合玉米果穗的特点，采用最大熵阈值算法自动选取阈值分离目标与背景，但是该算法包含大量对数运算，计算量大。张晓波[30]采用主动轮廓模型和分水岭算法实现玉米籽粒的分割，研究发现，两种方法都能够对图像进行有效地分割，但前者算法较复杂，对初始点的选择非常考究，因此分水岭算法更适合于玉米粘连籽粒的处理。最大类间方差(Otsu)法也称大津算法，因其计算简单，不受图像亮度和对比度的影响，被认为是基于阈值分割的最佳算法。Yammen等[32]选用Otsu算法分割玉米图像，该算法实现了玉米籽粒和背景的有效分割，然而基于阈值的图像分割方法，结果受阈值影响大。

利用边缘检测提取粮粒的轮廓，通过计算籽粒大小和形状等特征进行品质检测也是较为传统的方法。常用的边缘检测算子有Sobel算子、Canny算子、高斯拉普拉斯算子等。Mahale等[33]、Parveen等[34]选用Sobel算子提取目标物体的轮廓，但Sobel算子边缘定位准确率不高，而Canny算子抗噪性较强，可以检测到真正的弱边缘。Devi等[35]、Patel等[36]、Asif等[37]使用Canny算子检测稻米的边缘，其边缘清晰可见。

基于阈值的图像分割算法虽然简单、效果好，但是当目标物体灰度差异小，或者不同对象灰度分布重叠时，难以达到期望的效果，而边缘检测算子能够保留清晰的粮粒轮廓，但其抗噪性和检测精度之间存在矛盾，故两类方法均需要与其他分割方法进行结合。

3 粮食特征提取研究现状

目标物体的特征是影响检测结果的重要因素，每类粮食不同类型的籽粒在外观、颜色、光滑度等方面存在差异，因此一般提取颜色、形状、纹理特征来检测粮食外观品质。一些学者采用单独的一类特征进行识别，也有学者使用多类特征综合分析粮食品质。

3.1 单类特征

在粮食外观品质检测中，颜色特征一般选择最通用的RGB模型以及符合人眼视觉特性的HSV和HSI颜色空间，常用的方法有颜色直方图、颜色矩以及颜色空间的相互转换。形状特征一般采用几何参数法表示，通常选取籽粒周长、伸展度、面积、长短轴长、长宽比等参数作为粮粒的形状特征。纹理特征一般采用小波变换、灰度共生矩阵和局部二值模式(LBP)来提取,参数选择平滑度、对比度、一致性、三阶矩、熵等。

王应彪等[38]分析HSV颜色空间，发现优质、一般、劣质玉米籽粒的分类准确率分别为90.5%、82.3%和92.3%。Wattana等[39]通过测量HSV模型中H分量下的玉米棒图像两端点的距离计算长度，辨别其大小，提取V分量的图像检验对称性。Fang等[40]提出了一种同时测定稻米品质多参数的图像分析方法，用该方法提取了大米的长度、宽度、长宽比、整精米含量等参数。孙进等[41]提出将玉米粒轮廓进行椭圆拟合，以椭圆长宽比实现玉米品质的自动检测。郭亦凡[24]提取米粒的形状特征，分别采用周长、长宽比和面积检测法来区分完整粒和碎米粒，提出了以大米长宽比作为阈值判定碎米率的通用算法,使用该算法判断米粒长宽比与对应阈值的关系，动态地选择计算碎米率的方案。高新浩等[42]使用小波变换对不同角度拍摄的玉米图像进行纹理特征提取，结合分类器模型区分5种不同品种、不同尺寸和不同破损程度的鲜食玉米。Ribeiro[43]使用LBP提取纹理特征对谷物颗粒进行分类，结果显示，仅使用纹理特征识别正确率就达到94%。Liu等[44]使用多尺度全向高斯导数滤波获取图像的纹理空间结构，提取滤波响应的韦布尔模型参数作为稻米图像特征进行检测。

3.2 多类特征

对于提取单类特征进行粮食外观品质检测会因为特征不全面而影响最终的识别精度，因此多数学者采用多类特征综合分析来检测粮食质量。

张玉荣等[45]、陈尚兵等[46]分别提取玉米和大米的颜色、形状、纹理三大类特征作为模型的输入进行识别分类。Gupta等[47]提取稻谷的6个形态特征，结合HSV模型的最大色调、饱和度、亮度3个颜色特征将稻米品质分为最佳、良好、一般、3/4破损、5/8破损、1/2破损、1/4破损7个等级。胡艳侠[31]采用玉米的颜色、纹理、大小以及形状4类特征检测玉米品质，使用最小外接矩形的长和长宽比作为玉米大小和形状特征的参数，采用H和V分量的均值及标准差分别表示颜色和纹理特征，选择正态分布概率法判定上述6个参数的识别检测区间，总体正确率为96.5%。潘磊庆等[48]将稻谷图像灰度值划分为16个区域，各提取16个灰度特征，选取每个灰度区域下RGB各分量值以及4个纹理特征的特征参数，采用连续投影法优选特征，构建支持向量机(SVM)和偏最小二乘法判别分析模型识别无霉变、轻微霉变及严重霉变稻谷。

特征提取是粮食外观检测的重要步骤，不同种类的粮粒可以使用不同的特征进行识别。例如霉变粒与正常粒的颜色差异较大，可以使用颜色特征进行区分，破损粒与正常粒可以通过形状特征识别分类。也有研究人员通过试验证明综合几类特征的检测效果要优于单类特征，不过大米的综合特征精度低于单类特征，因此试验时要结合每类粮食的自身特点灵活变通地使用各类特征。

4 粮食外观品质检测分类算法研究

分类算法是粮食外观品质检测的关键环节，直接影响着结果的精度。最常见的用于粮食质量评估的传统分类算法有人工神经网络、SVM等方法。同时，深度学习也在不断发展创新，逐渐被应用于粮食检测领域中，表2归纳了各类分类算法在粮食外观品质检测中的应用情况。

表2 分类算法在粮食外观品质检测中的应用情况Table 2 Application of classification algorithm in grain appearance quality detection

4.1 传统机器学习算法

传统的用于粮食外观品质检测的算法主要有BP神经网络和SVM模型，该类算法都需要人工提取粮粒的特征作为模型的输入，搭建分类模型并找到模型的最优解以检测粮食品质。

张玉荣等[17]提取小麦4种不完善粒和完善粒的三大类特征，搭建了8-17-5的BP神经网络模型，模型的平均识别率为93%。Zareiforoush等[49]获取4种不同等级的碾米图像，利用人工神经网络、支持向量机、决策树和贝叶斯网络对其进行分类，结果表明：结构为12-5-4的人工神经网络精度最高，达到98.72%，而BP神经网络学习速度慢，效率较低。Nagoda 等[27]提出了一种基于颜色和纹理特征的大米分类方法，搭建了基于线性核的SVM模型实现各类大米的识别，平均准确率为93.75%。Wu等[10]选取玉米籽粒的6个形状特征，搭建5种不同的分类器模型：无参数优化的SVM、支持向量机-网格搜索算法(SVM-GS)、支持向量机-遗传算法(SVM-GA)、支持向量机-粒子群优化算法(SVM-PSO)和BP神经网络，实现玉米3个等级的划分，研究表明SVM-GA和SVM-PSO具有更好的分类效果，准确率达到97.44%。Hortinela等[59]结合图像处理技术，采用自适应增强算法的支持向量机分类器对碾米颗粒进行分级，平均精度为86.67%。相比于BP神经网络，SVM虽然在收敛速度上略胜一筹，但是难以训练大规模样本，并且在解决多分类问题时不易实现。

王超鹏[51]提取玉米籽粒全表面及尖端的正常和霉变籽粒的颜色特征，选择正常和破损籽粒的形状特征，使用SVM、BP神经网络和朴素贝叶斯分类器进行分类，结果表明；对于霉变籽粒的检测，朴素贝叶斯分类器的识别率最高，全表面及尖端提取精度分别为98.0%和99.3%；对于破损玉米粒的检测，BP神经网络为最优，准确率达到了97.3%。虽然朴素贝叶斯分类器识别率高，但是其属性之间相互独立的假设在粮食检测中往往是不成立的，因此不能普遍适用于粮食的检测。

4.2 深度学习算法

基于传统算法的粮食外观品质检测虽然研究广泛，但其预处理及特征提取较为复杂，而且识别率不高[60]。深度学习中的卷积神经网络(CNN)具备自主学习、自我完善、权重共享等优点，避免了人工提取特征造成的准确率低、耗时耗力等影响，因此研究人员将CNN模型引入粮食外观品质检测中。

于重重等[61]利用CNN模型进行小麦不完善粒的检测，结果表明CNN模型在目标的检测识别中更加精准、高效。祝诗平等[52]建立LeNet-5、AlexNet、VGG-16、ResNet-34模型实现小麦不完善粒的识别，其中AlexNet模型性能最佳。但单纯采用几种经典的CNN模型进行检测，精度不佳，研究人员通过改进各类传统的CNN模型，识别率均得到不同程度的提升。余乐等[53]采用改进的二分类LeNet-5模型检测小麦不完善粒，但局限于样本量的限制，黑胚粒、虫蚀粒和破损粒的准确率分别为93%、95%和92%。曹婷翠等[54]使用双面单粒小麦图像，同时进行样本扩充，搭建了常规CNN结合具有更强特征表示能力的空间金字塔池化(SPP)的WheatNet模型。WheatNet网络结构如图3所示。该模型在每层卷积后选择ReLU函数进行激活，使用Dropout减少网络的过拟合，采用Softmax回归实现分类。试验证明，改进的WheatNet模型的精度比传统CNN模型和机器学习算法分别提高了5%、15%左右，同时样本扩充也在一定程度上提高了准确率。

图3 WheatNet的网络结构Fig.3 Network structure of WheatNet

图4 改进的ResNet模型的网络结构Fig.4 Network structure of improved ResNet model

张博[21]设计了具有3个残差结构、卷积核为5×5的12层ResNet模型，使用一个5×5卷积来代替两个3×3卷积，即省去了34层ResNet中虚线部分的残差结构。改进的ResNet的网络结构如图4所示，改进之处不仅减少了网络层数，模型的计算量也大幅度地降低了，结果证明，改进后的模型效果最佳，不仅准确率达到96.3%，用时也不长，可以应用于小麦不完善粒的快速无损检测。

Kiratiratanapruk等[58]提取颜色、形状、纹理特征，采用逻辑回归、线性判别分析、K-近邻和SVM 4种算法以及VGG16、VGG19、Exception、InceptionV3和InceptionResNetV2深度学习算法进行水稻种子分类性能的比较，研究表明，深度学习算法优于机器学习算法，其中精度最佳的是InceptionResNetV2模型，识别率达到95%。Shen等[55]在Inception V3的基础上，设计了WheNet模型识别小麦中的杂质，其结构参数如表3所示,该模型准确率达到97.5%，具有良好的鲁棒性。

王建宇[62]在Faster R-CNN的基础上提出了可直接输入彩色图像的玉米籽粒品质精选检测模型。该模型结构如图5所示，分为3个部分:共享卷积网络部分的卷积层和池化层提取玉米籽粒的特征；候选区域生成网络(RPN)计算候选框；由分类层和定位层实现候选区域物体的分类。设计了3种不同大小的网络模型：模型1(S)、模型2(M)、模型3.0(L)检测玉米品质。模型的关键参数如表4所示。结果表明，模型2的整体性能最稳健，检测正确率为96.8%。

表3 WheNet模型的结构Table 3 Structure of WheNet model

图5 Faster R-CNN网络模型结构Fig.5 Network model structure of Faster R-CNN

贺杰安等[56]在几种经典的CNN模型中加入批归-化层，改进后的模型的分类识别率获得超过7个百分点的提升，但传统CNN模型规模太大且执行速度较慢，而实际应用场景下对识别时间有较高的要求，限制了网络的复杂度。而王石[26]将采用深度可分离卷积的轻量级卷积神经网络MoblieNet_fc4模型引入米粒的识别中，深度可分离卷积的结构如图6所示。

表4 3种模型的关键参数Table 4 Key parameters of three models

设DA和DL分别为输入图像的宽高和卷积核的大小，P和Q分别为输入图像和输出图像的通道数，根据卷积的定义，传统卷积的参数数量(E)：E=DL×DL×P×Q×DA×DA。

深度可分离卷积的参数数量(F)：

F=DL×DL×P×DA×DA+P×Q×DA×DA。

两种卷积方式的参数量之比：

由此可知，与传统卷积相比，深度可分离卷积的参数量显著减少，提高了模型的运算速度，对硬件的要求也比传统网络低。改进的模型采用结构化剪枝法优化，通过L1和L2范数减少过拟合，最后将该网络模型移植到手机端进行验证，检测精度达到85%。

传统的图像识别算法虽应用广泛，但需要人工提取特征，过程烦琐且不能充分反映粮粒的特征，难以满足快速无损检测中精度和速度的需求。基于深度学习的模型在训练中虽然需要大量图像，但其过程简单，无须手动提取特征，并且识别率高。为此，采用深度学习算法实现粮食外观品质检测将成为未来研究的一种趋势。

图6 深度可分离卷积的结构Fig.6 Architecture of depthwise separable convolution

5 总结与展望

基于机器视觉的外观品质检测在各类粮食中都被广泛应用，本文综述了图像采集、图像处理、特征提取以及分类算法的成果。但是该技术在农业领域的发展还存在着诸多问题，因此其未来发展和研究方向主要有以下几点：研发实时在线检测系统，实现粮食外观品质全面信息提取(双面图像)以及快速无损检测；高效、快速的粮食图像预处理技术是提升检测精度的重要基础。从图像采集、处理、分类模型等角度不断改进，提高大米的多类特征综合检测识别率是未来的研究方向；对于深度学习模型的识别精度受限于粮粒样品规模的问题，数据样本的扩充或基于小样本的迁移学习[63-64]模型或是未来的解决方案；将CNN网络模型轻量化使其可以提取更深层特征的同时又能较快完成识别是未来的发展趋势。