谷类作物粘连颗粒图像分割方法研究进展

申 冉， 甄 彤， 李智慧， 高 辉

(粮食信息处理与控制重点实验室；河南工业大学信息科学与工程学院，郑州 450001)

在粮食品质检测过程中，常需对粮食的数量、品种、不完善粒等进行统计识别。传统识别方法是人眼识别，费时费力且极具主观性。随着粮食信息化水平的不断提升，逐渐采用机器视觉方法进行改进[1]。由于粮食颗粒较小，密集等，在实际处理中经常出现粘连甚至重叠的现象，为提高不完善颗粒等的识别精度和效率，需要对颗粒进行更好的分割。

在采用计算机视觉处理粘连籽粒图像分割问题中，现有文献多数基于先验知识进行算法改进，如Shatadal等[2]通过对谷物腐蚀膨胀而后填充空洞区域实现分割。Chaladchai等[3]基于边缘获取分离端点绘制分割线实现分割。少有学者针对粘连籽粒图像结合深度学习模型进行研究。为确定更适合于粘连颗粒图像的分割方法，本文梳理和总结了传统分割方法的优缺点，重点阐述分水岭法和凹点分割在粘连分割中的应用，此外还归纳了图像分割深度学习算法的时间线，重点阐述基于U-Net和Mask R-CNN的方法。最后总结了用于图像分割的权威数据集，并对粘连图像分割面临的挑战和未来热门发展方向进行了展望。

1 传统分割方法

根据分割方式的不同，将传统分割方法划分为基于阈值、边缘、区域、图论、像素聚类、能量泛函、形态学的7种分割方法。

基于阈值的分割方法是通过设置分割阈值，将目标和背景分割。常见的有固定阈值法、直方图双峰法、迭代阈值法、OTSU(大津法)、最大熵法等。

基于边缘检测的分割方法是针对图像的边缘像素特点进行分割。常用微分算子来确定边缘，一阶微分算子有Canny[4]、Roberts[5]、Prewitt[6]、Sobel[7]算子，二阶微分算子有Laplacian[8]、Log[9]算子。

基于图论分割是将图像分割问题与图的最小割问题相关联，将图像映射为带权无向图，将图划分为若干子图而实现分割。而分割的最优原则就是使划分后的子图保持内部相似性最大，子图之间相似性最小。目前基于图论的方法有GraphCut[10]、GrabCut[11]等。

基于像素聚类的图像分割是根据聚类结果得出的类别向其中添加不同灰度值实现分割，主要方法有MeanShift[12]、K-means[13]。基于超像素的图像分割是把像素级的图划分成区域级的图,即把具有相似特性的像素聚合，超像素处理方法有Turbopixels[14]、SLIC[15]等。

基于区域的图像分割方法根据同一区域内像素具有的相似性质(包括灰度值、纹路、颜色等)来聚集像素点，包括区域生长法、区域分裂合并法、分水岭法等。

基于能量泛函的方法主要是活动轮廓模型，其思想是定义一个函数曲线来表达目标图像的边缘，再定义一个自变量包括边缘曲线的能量函数，使该能量泛函最小的那条边缘曲线就是目标轮廓的分割线。按照边缘曲线表达形式的不同，活动轮廓模型可以分为参数活动轮廓模型和几何活动轮廓模型,参数活动轮廓模型中具有代表性的有Snake[16]、ASM[17]、AAM[18]等。

基于数学形态学方法主要指分割前的一系列预处理方法，包括腐蚀与膨胀、开运算和闭运算。腐蚀使目标缩小、孔径增大。膨胀使目标增大、孔径缩小。开运算先腐蚀后膨胀去除小块像素，闭运算先膨胀处理再腐蚀处理填补边缘缝隙。

2 传统分割方法的比较

传统分割方法对于不同的分割情况具有不同的分割效果，现将7种传统分割方法进行比较，如表1所示。使用程度表示对粘连籽粒分割的适用程度，“+”越多适用性越强。

表1 传统分割方法的比较

3 基于传统方法的粘连分割

目前，常用于处理粘连分割的方法包括分水岭法、基于凹点检测方法。

3.1 分水岭法

分水岭法是将一副灰度图像看作是地质学表面，图像中的灰度值代表地形图中的海拔高度。

分水岭算法大致步骤为：先将图像分为不同的梯度，然后通过一定规则生成注水区域，然后向注水区域内加水，当两注水区域即将合并时，记录下此时的边界，当图像边缘彻底被分割成n个独立区域时算法结束。

分水岭算法是一种基于区域的图像分割算法。分割时把像素值相近的点和物理位置相近的点相连，形成一个封闭区域。然而分水岭算法会忽略微弱边缘。燕红文等[19]采用大津法对燕麦籽粒进行预处理，分水岭法分割粘连区域，消除了过度分割，准确率达到98.55%，但随着燕麦的数量和重叠区域的增加，该方法的准确率大大降低，因此只适用于粘连不太严重的情况。张建华等[20]结合最小二乘圆理论利用分水岭法对棉花叶部粘连病斑进行分割，准确率为91.25%，但对于重叠度高的病斑会存在欠分割的情况。

3.2 凹点分割

凹点分割主要部分就是如何确定凹点，方法有3种：方向链码法、矢量夹角法和切线法。

在链码法中，针对某个特定像素周围的像素点，按照水平垂直对角线定义4个方向，用0、1、2、3分别表示0°、90°、180°和270°4个方向，也可以定义8个方向：0、1、2、3、4、5、6、7。如图1所示。用这种规则表达的边界曲线可以表示为式(1)：

由平均链码差代表偏转角度，即曲率，曲率的极值点作为凹点。

图1 4-链码和8链码示意图[21]

矢量夹角法是对边界上的每一个点，寻找与其步长相同的前驱点和后继点，将该点分别和其前驱点和后继点进行连线，根据2个连线构成的夹角的正负和大小判断该点是否为凹点。

切线法思想在于通过边界上某点的切线是否通过连通区域内部来判断此点是否是凹点。如果凹点的两侧的点都在区域外部，则此点为局部凸点,如果在区域内部，此点为局部凹点,若一条直线与区域边界多点相切，那么这些点为该物体最大凸点。

张宝全等[22]研究基于凹点分析的粘连鸡体分割，使用大津法和形态学处理进行预处理，正方形模板确定凹点位置，平均分割准确率为92.8%。陈树越等[23]提出基于凹点检测的粮仓粘连害虫图像分割方法，采用Harris算法计算角点，通过极大值抑制选出凹点，分割有效率为92.5%。刘宰豪[24]针对凹点检测算法存在的凹点判别不准确和欠分割的问题，提出一种重心辅助凹点匹配的新思路。樊萌萌[25]提出基于3点夹角的凹点检测算法和具有自适应特性的凹点匹配方法，解决2粒大米的分割问题。

3.3 基于分水岭和基于凹点方法相结合

分水岭方法进行分割容易造成过度分割的现象，凹点分割中由于容易将噪声点识别为凹点，且凹点的错误匹配会导致分割不准确。因此，更多学者选择将两种方法相结合克服各自缺点。高星[26]进行基于标记分水岭和凹点的粘连大米图像分割技术研究，该研究先使用形态学方法修正标记图像，再对标记图像使用分水岭算法抑制过分割现象，最后使用五点夹角法与链码差法进行凹点分割。吴淑珍等[27]使用曲率确定凹点，利用凹点进行前景标记，最后利用基于标记的分水岭算法对粘连谷物颗粒进行分割。准确率达到96.4%。

4 基于深度学习的分割方法

根据分割程度不同可将图像分割分为实例分割和语义分割。将基于深度学习的图像实例分割经典技术发展进程进行整理，如图2所示。将基于深度学习的图像语义分割经典技术发展进程进行整理，如图3所示。

图2 图像实例分割技术进展

图3 图像语义分割技术进展

5 深度学习方法在粘连颗粒中的应用

深度学习方法可以避免传统分割方法的造成的分割效果不好，提取特征复杂，识别准确率低的问题，具有很好的鲁棒性和普适性。目前基于深度学习的谷物籽粒识别方法分别有基于分类网络、目标检测网络和语义分割、实例分割网络的研究。

基于分类网络：刘鹏[28]采集完善粒、虫蚀粒、生芽粒、生霉粒、破损粒、赤霉病粒和黑胚粒七种小麦粒的高光谱图像，使用支持向量机(SVM)方法、卷积神经网络(CNN)方法、CNN结合MobileNetV2方法分别进行识别，并将3种方法实验结果进行对比，最终发现，利用CNN结合MobileNetV2方法识别准确率最高，达到97%。刘林[29]通过对VGG网络，Inception-V3网络，ResNet-50网络进行迁移，识别登海518、浚单20和郑单958三种玉米类型。

基于目标检测：武威[30]使用Faster R-CNN模型进行分割不同环境下的小麦籽粒，克服了传统分割算法无法适应复杂背景和尺寸变化的缺点，相比于SSD模型精度提高0.2。但随着籽粒数量增加该模型的运行时间也会增加。付传广[31]使用空洞卷积、挤压和激励模块对Faster R-CNN模型进行改进，实现玉米的完好粒、霉变粒和虫蛀粒的检测，获得97.4%的平均检测精确率。

基于语义分割实现谷物籽粒识别的常用网络模型有U-Net网络，基于实例分割的有Mask R-CNN网络。

5.1 基于U-Net网络的粘连颗粒分割

U-Net[32]模型提出的初衷是为了解决医学图像分割的问题，U-Net模型前半部分是下采样，扩大感受野进行特征提取；后半部分是拼接并上采样，进行特征融合，最终将图片还原为原始尺寸。

如图4所示，对输入图像先卷积，再池化，再卷积，再池化，如此循环进行4次，得到14×14大小的特征图，再对特征图进行卷积，上采样，再卷积，再上采样，如此循环进行4次，最终得到与原始输入图像尺寸相同的预测结果。此外，在上采样过程中每次上采样后都要和下采样过程中得到的相同尺寸特征图进行拼接。

图4 U-Net网络模型图[32]

陈进等[33]在原始U-Net网络模型上加深网络深度，引入归一化层避免过拟合，实现水稻图像中的籽粒、茎秆和枝梗的分割，分割准确度分别达到99.42%、88.56%、86.84%，但是由于改进后层数加深导致模型处理时间增加。邓杨等[34]将U-Net网络和MobileNetV2网络相结合提出了一种轻量级网络IMUN，实现对大米垩白部分的分割，进一步获取大米垩白率，分割准确率达到94%。Liang等[35]在U-Net模型下采样部分在1024通道特征图之后添加金字塔池化模块，实现小麦白粉病孢子分割和计数，与原有的U-Net相比，改进的网络结构具有更高的分割精度，miou指标达到91.4%。邓国强等[36]在U-Net原有网络基础上在下采样后添加5层dropout和1层连接层，对小麦麦穗图像进行分割，检测赤霉病穗，解决了过拟合问题，提高模型泛化能力，平均检测精度为97%，但如果不扩充数据集，模型本身存在很大的漏检问题。

目前基于U-Net网络模型实现谷物分割存在的普遍问题包括：目标重叠程度较大，颜色相似的情况下，分割准确率降低；受目标所在背景影响较大。可尝试加深网络层数解决。

5.2 基于Mask R-CNN网络的粘连颗粒分割

Mask R-CNN[37]通过扩展Faster R-CNN达到简单、快速、灵活的特点，分割的准确率和速率超过以往所有实例分割结果。Mask R-CNN包括以下子模块：骨干网络，区域建议网络(RPN)，RoIAlign层，语义分割网络，分类和回归，如图5所示。Mask R-CNN使用ResNet101作为主干特征提取网络，提取的特征为原图像的长宽分别压缩了2次、3次、4次、5次的结果，利用这些特征图构造特征金字塔网络实现特征多尺度的融合，最终得到有效特征层。一方面，这些有效特征层作为区域建议网络的输入，得到建议框。另一方面作为分类器和语义分割网络的输入，分别得到准确的预测框和语义分割结果。

图5 Mask R-CNN网络模型图[37]

谢元澄等[38]通过修改特征提取网络的层数对Mask R-CNN网络进行改进，实现对单株麦穗中的籽粒进行分割，将分割结果和利用全卷积网路(FCN)方法进行的分割结果进行对比，实验表明利用Mask R-CNN网络模型处理速度是FCN的8.5倍。SU等[39]利用Mask R-CNN网络检测小麦麦穗颗粒中是否含有赤霉病粒，检出率为98%。YANG等[40]提出一种新的合成图像生成和增强方法，对Mask R-CNN网络模型进行微调，将掩码的损失权重设置为2，其他损失权重设为1，在全连接层添加值为0.5的丢失概率，实现对大豆颗粒的分割，进而塑造大豆的表型数据。YU等[41]利用Mask R-CNN网络模型，调整最小检测置信度为0.5，分别实现单株水稻穗上的所有水稻颗粒和散落颗粒的检测，检测精确度分别达到82%和97%。

目前基于Mask R-CNN网络模型实现谷物分割存在的普遍问题包括：数据量严重影响检测速度、检测结果受像素级标注的影响大、存在漏检情况。

6 分割数据集

本节对图像分割的常用公共数据集予以统计，对每个数据集的内容、特点等作简要介绍，如表2所示。

表2 图像分割常用数据集

7 总结

本文对传统图像分割和基于深度学习的图像分割常用方法进行简要总结，着重总结适用于粘连籽粒图像的分割方法。传统的分割方法有分水岭法，基于凹点的分割方法等,此外，为了弥补分水岭方法造成的过分割和基于凹点分割不准确的情况，可将2种方法相结合。基于深度学习的方法常用的有U-Net模型和Mask R-CNN模型。U-Net属于语义分割范畴，用深层特征进行定位，浅层特征进行精确分割，可尝试对较少粮食颗粒样本进行分割。Mask R-CNN属于实例分割范畴，既保留了谷物位置信息，又保留了语义信息。两者都适用于对于边界模糊、梯度复杂特点的图像处理。最后对基于深度学习的分割常用的数据集进行简要介绍。

目前，粘连籽粒的图像分割多使用传统方法，随着深度学习的性能和精度不断完善，使用基于深度学习的方法解决粘连籽粒图像分割有望成为趋势。目前所面临的挑战有3个方面：没有关于粘连籽粒的图像完善标准的公共数据集，且数据集的标注是一大项复杂繁琐的任务；由于不同籽粒形状，边缘特点各有差异，因此任何一种分割算法都不可能适用于各种籽粒，需要针对不同籽粒选择不同网络模型；在实际分割应用场景中，分割性能和准确率都要兼顾。因此，今后使用深度学习方法进行粘连颗粒图像的分割是极具潜力的研究方向。