结合深度学习和引导滤波的苹果叶片图像分割

郑艳梅 黄光耀 芦碧波 王永茂

(河南理工大学 计算机科学与技术学院，河南 焦作 454003)

叶片是植物进行光合作用、蒸腾作用和合成有机物质的主要器官，叶片的生长发育状况直观反映植物生长情况和营养状况。准确快速分割植物叶片并提取其面积、周长等几何参数值，可以预测植物的生长模型，监测病虫害，为合理栽培管理提供重要数据支撑[1-2]。

传统的测量植物叶片几何参数的手段有叶面积仪法、称重法、方格纸法等[3]。叶面积仪法使用专业的叶面积测量设备，这种方法精确率较高，使用方便，速度快，操作简单，但价格较为昂贵，成本较高，开发难度大，维修不便[4]。称重法使用称重工具(分析天平)对叶片质量进行称重，根据单位面积叶片质量和叶片密度指数计算叶片面积。该方法操作较复杂，测量大量叶片时效率较低，并且叶片的厚度不一致，密度不同，测量正确率受客观自然条件限制，无法测量除叶片面积外的其它参数信息[5]。方格纸法将待测量的叶片平铺在方格纸中间位置，使用铅笔描绘叶片轮廓后计算叶片面积。该方法处理速度慢，仅适于处理少量叶片，还需合理舍取处于叶片边缘、覆盖不完整的方格[6]。

基于数字技术的苹果叶片分割与测量方法具有简单、快速、费用低廉等特点。张万红[7]提出了一种基于图像分割的苹果叶片几何参数的测定方法，该方法将图像颜色空间进行转换，使用大津法(Otsu)获得二值图像，根据像素坐标计算面积、周长、叶长、叶宽等叶片参数。该方法准确率较高、成本较低。肖强等[8]提出一种使用Photoshop软件对数字叶片图像进行非破坏性的测量方法，该方法使用了坐标纸作为拍摄背景来确保选用的计算系数尽量一致，但由于不同拍摄分辨率和图像缩放比例都会对像素数量产生影响，测量精度受人为因素影响较大。徐义鑫等[9]给出一种基于Android手机的植物叶片几何参数测量方法，使用手机拍照即可测量出其面积、周长等几何参数，操作简单、精度高、成本低、通用性强，但对图像拍摄的条件要求相对较高，光照、参照物、是否倾斜等因素对测量结果影响较大。张万红等[10]提出了一种基于数字图像分析的方法分割苹果叶片并进行参数测量，使用灰度化、中值滤波、二值化等算法计算叶片面积，准确率较高、省时省力，但对图像背景色要求较高，算法参数较多，处理大量图像耗时较多。陈爱军等[11]提出基于边缘跟踪算法的植物叶片参数测量系统，借助标定物得到叶片的面积、周长、长、宽等参数，但该方法需要借助扫描仪，成本较高并且扫描大量叶片速度较慢。

针对上述问题，本研究拟设计一种新的苹果叶片分割算法，结合使用深度学习和引导滤波技术，在对苹果叶片进行粗分割的基础上优化边缘细节，准确测定苹果叶片的形状以利于提取面积、周长等几何参数值。

1 材料及方法

1.1 试验材料

本研究所用苹果叶片图像(图1)，源自于夏雪等[12]提供的公开数据集，该数据集采集于中国农业科学院果树研究所的资源圃，采集时间为果树枝叶最旺盛的7月中旬—8月中旬，采集工具为配备尼克尔镜头并具有D-lighting功能的尼康D90型数码相机，能够对过度曝光和暗光进行自动修正，使叶片边缘锯齿轮廓清晰。数据集共包含8 184张苹果叶片图像、涵盖国内外常见的174种苹果叶片种类，每种叶片图像数量为20～50张。叶片图像分辨率分别为4 288像素×2 848像素和3 216像素×2 316像素，图像数据文件总计14.5 GB，预处理阶段把叶片图像分辨率统一缩小为1 204像素×800像素。

由图1可以看出，叶片放置在具有刻度的蓝色标尺平板上拍摄，但绿色叶片和蓝色背景之间的对比度不大，叶片局部与标尺重叠(图1(a))。部分苹果叶片会有自然卷曲情况，图像中会包含叶片背面和阴影(图1(b))。部分图像中叶尖超出拍摄视域(图1(c))或者包含叶柄处嫩芽(图1(d))，给叶片分割增加了难度。

图1 4种复杂情况下的苹果叶片图像Fig.1 Apple leaf images in four complex cases

与目前公开的相关数据集[13-14]相比，该数据集种类丰富，背景相对复杂。文献[13]提供的数据库包含22种苹果叶片图像，背景透明；文献[14]提供的数据库包含60种苹果叶片图像，背景为纯白色。

1.2 试验方法

1.2.1试验设计

首先，使用深度学习技术对苹果叶片图像特征进行学习和提取，确定模型参数后即可对新图像进行预测，实现苹果叶片图像的粗分割；然后利用引导滤波技术来提取图像中苹果叶片边缘等细节特征；最后设计联合分割方案得到完整的苹果叶片分割结果。其中苹果叶片的原始图像分别在引导滤波过程中和联合分割过程中将多次利用。具体算法研究流程见图2。

图2 苹果叶片算法处理流程Fig.2 Flow chart of algorithmic process of apple leaf

1.2.2基于深度学习的苹果叶片主体分割

卷积神经网络[15]包括卷积层、池化层和激励层3个基本结构。卷积层由若干个卷积核和偏移值组成，主要功能是用来特征提取。在卷积运算中(图3)，卷积核在输入图像上以一定的步长移动并完成点积运算[16]。池化操作也被称为下采样，主要功能是维数削减、数据和参数压缩、过度匹配削减、以及模型容错性的提高，并保持特征不变性、防止过拟合[17]。激励层可以使神经网络近似为任何非线性函数，旨在为模型提供非线性化能力，模拟激励神经元的状态变化[18]。当前主流的3种激励函数为：Sigmoid激励函数、Thah激励函数和ReLU激励函数。本研究使用的是Sigmoid激励函数，用于隐层神经元输出，取值范围为(0,1)，以便于进行二分类处理。

图3 卷积运算示意图Fig.3 Schematic diagram of convolution operation

在语义分割中，尤其是实时语义分割，空间分辨率和感受野很难两全，现有方法通常是使用较小的图像作为输入或者使用轻量主干模型来实现加速。但是，相较于原图像，小图像会缺失了很多的信息；而由于对通道进行了裁剪，会导致空间信息受到了损害。对于上述问题，本研究使用BiSeNet网络模型(图4(a))，该模型分为2个主要模块：空间路径和环境路径。空间路径的作用是保留原输入图像的空间尺度和编码丰富的空间信息；环境路径的作用是使用注意力优化模块(图4(b))优化输出结果，以获取较大感受野[19]。在2个主要模块后面加上1个特征融合模块(图4(c))，将2个输出结果进行特征提取并融合，完成最后的模型结果。

图4 BiseNet网络结构及其模块Fig.4 BiseNet network structure and its modules

本研究训练模型使用的苹果叶片为400张，算法使用的网络模型具体参数见表1。其中批处理量表示每批处理图像的数量，一般来说设置的越大越好，但是由于电脑的配置，本研究设置为5；验证图像表示用于验证的图像数量，目的是为了可视化当前模型的预测程度，本研究设置为10；检查点步长表示在定义的步长轮次下进行图像预测并给出精确率等指标的大小；卷积步长表示过滤器在图像中的垂直方向和水平方向每次步进的长度，本研究设置stride=3，即每隔2个像素点移动1次；学习率即学习速度的快慢，要根据具体的图像进行设置，设置过大易震荡，设置过小易过拟合；衰减率是解决试验结果无法收敛到最优解而设定的，不断缩小学习率，使结果达到最优解。

表1 深度学习模型中使用的部分主要参数Table 1 Some of the main parameters used in the deep learning model

1.2.3基于引导滤波的边缘细节处理

利用深度学习技术可以得到苹果叶片的主体轮廓，但是由于卷积和池化这2个步骤操作的影响，图像中的苹果叶片部分细节丢失。为解决这种细节丢失的情况，下面利用引导滤波技术来提取图像中苹果叶片边缘的细节特征。引导滤波是一种可用于图像平滑、特征提取等多任务的图像处理算法[20]。引导滤波允许引导图像与输入图像不同。根据苹果叶片分割的任务要求，本研究将深度学习预测得到的二值图像作为输入图像p，将苹果叶片彩色图像作为引导图像I，使用局部线性处理生成输出图像q，作为增强后的图像。

假设引导图像I和输出图像q在局部正方形窗口ωk中，存在如下线性关系:

qi=akIi+bk,∀i∈ωk

(1)

式中：qi为输出图像中i点的像素值；Ii为引导图像中i点的像素值；ωk为1个以像素k为中心的局部正方形窗口，本研究设置为120×120；i和k为像素索引；a和b为当窗口中心位于k时该线性函数的系数。

通过计算得到最优的线性因数(ak,bk)为：

(2)

(3)

由于像素点Ii被多个窗口所覆盖，故用ak和bk的平均值计算最终输出图像中i点的像素值qi：

(4)

准确的测定苹果叶片的几何参数是本研究的主要目标，但是图像中苹果叶片边缘细节丢失较多，为保留更多的边缘特征，本研究使用苹果叶片二值图像作为引导对输入彩色苹果叶片图像进行滤波，可以对苹果叶片的边缘细节进行优化，突出细节。

1.2.4联合分割

引导滤波虽然可以把边缘的细节信息给优化，使苹果叶片的边缘锯齿更加突出，但是图片背景中的标尺并未去除，而且背景中会夹杂一些白色的圆点。为此在引导滤波的基础上设计联合分割方案，以结合深度学习的粗分割结果和引导滤波特征增强图像的结果。

对于引导滤波的特征增强结果GF，利用自适应阈值进行二值化分割，得到二值化结果GFbin，其中阈值thr由大津法确定。需要注意的是，引导滤波结果经过阈值处理后，可以消除背景中的标尺等非叶片部分，但也会残留叶片中的高光点。因此，需要将引导滤波二值化结果GFbin与深度学习预测图BWdl进行并集操作解决上述问题，得到最终的苹果叶片结果BWleaf为二者求并集后的二值图。具体计算公式如下：

GFbin=GF>thr

(5)

BWleaf=BWdl∪GFbin

(6)

图5示出苹果叶片原始图像及本研究算法各步骤处理结果。本研究算法适用于数据库中多种复杂情况下的苹果叶片图像，图6示出叶片与标尺重叠(图1(a))情形下的分割结果。

图5 苹果叶片原始图像及本研究算法各步骤处理结果Fig.5 Original image of apple leaf and the processing results of each step

图6 重叠情形下的苹果叶片图像及本研究算法各步骤处理结果Fig.6 Apple leaf image and the processing results of each step under the overlapping situation

从图5和图6可以看出，深度学习预测结果包含了完整的叶片轮廓和叶柄，但丢失了边缘细节。引导滤波不仅增强了叶片边缘细节，同时也保留了叶柄嫩芽，并残存了部分标尺痕迹。对引导滤波结果取阈值后消除了标尺和叶柄处嫩芽，但仍会残存由于苹果叶片高光引起的亮点(图5(c)中叶片左下区域)，经联合分割处理后，可以去掉亮点干扰，得到完整而准确的分割结果。

1.2.5几何参数测量

本研究使用的方法是找出苹果叶片的最小外接矩形。首先以引导滤波后的预测图和二值化苹果叶片原图为基础得到联合分割结果图，然后进行二值化，最后得到苹果叶片最大连通域的外接最小矩形。图7给出图1中重叠、阴影、叶尖缺失和叶柄带芽4种复杂情况下的苹果叶片外接最小矩形。

在苹果叶片外接最小矩形图像的基础上，计算得到大量与苹果叶片相关的集合参数，包括面积、周长、离心率、长轴长度和短轴长度等，并以csv格式保存。表2给出图7中4张苹果叶片图像的几何参数测定结果。

图7 4种复杂情况下的苹果叶片外接最小矩形图像Fig.7 Minimum rectangular image of apple leaves in four complex cases

表2 部分苹果叶片几何参数测定结果Table 2 Determination results of the geometric parameters of apple leaves

2 结果与分析

本研究试验精确率结果高于文献[8]试验方法得到的结果。文献[8]使用的方法只是把苹果叶片放入到一张带有方格的背景中进行拍照，然后利用公式：叶面积=叶片像素点数/选取方格像素点数×方格面积，计算得出苹果叶片的面积，这种方式无法去除方格线条带来的误差，叶片面越大带来的误差也就越大。文献[8]只能处理背景为白色并且数量较少的苹果叶片图像，对于处理背景为其他颜色，计算结果的精确率将会下降，处理数据集较大的叶片图像，操作将会非常的繁琐。

本研究使用全公开的苹果叶片数据集，从精确率(Acc)、交并比(IoU)2个指标分析算法结果。精确率刻画了算法结果与人工标记结果的相似程度，交并比表示算法结果与人工标记结果的交叠程度又或是重叠率，即交集与并集的比值关系，相关性越高，交并比就越高，在理想情况下，比值为1，即预测图像与标记图像完全重合[21]，具体计算公式如下：

(7)

(8)

式中：TP(True positive)表示被模型预测为正的正样本；TN(True negative) 表示被模型预测为负的负样本；FN(False negative) 表示被模型预测为正的负样本；FP(False positive) 表示被模型预测为负的正样本；A为人工标记结果得到的面积，B为算法结果得到的图像面积。

图8给出仅利用深度学习技术进行分割时精确率、交并比2个指标与训练轮次的关系。精确率随着训练轮次的提升总体呈上升趋势，训练300轮次后精确率保持在97%左右，交并比也达到92.5%。

图8 深度学习训练300轮次对应的精确率与交并比情况Fig.8 Accuracy and IoU of 300 rounds of deep learning training

文献[9]在手机端计算叶片几何参数的方法比较方便，但是精确率较低，速度相对较慢。文献[7]中使用的方法是首先把图像的RGB颜色空间转化为HIS颜色空间；然后挑选较好的颜色空间分量，使用Otsu自适应阈值实现图像的二值化；最后根据Matlab中自带的函数进行计算几何参数，但计算叶片长轴长度的方法是手动的，本研究使用自动计算的方式，相对于文献[7]更加的节省时间，避免重复性的繁琐操作，而且手动测量的误差较大。因此本研究算法适用于测量数据集较大的叶片图像，对叶片的几何参数计算较为准确，速度相对较快。

表3给出本研究算法得到的平均精确率与交并比以及计算单张图像几何参数需要的时间数值，并与文献[7]的试验结果和文献[9]的试验结果进行了对比。数据显示，本试验得到的174种平均精确率与交并比数值高于文献[7]和文献[9]试验办法得到的平均精确率与交并比数值。

表3 不同算法的平均精确率、交并比和计算速度数据对比Table 3 Comparison of average accuracy, IoU and computational speed data of different algorithms

图9示出第74类50幅波8(苹果类型)苹果叶片图像的客观对比数据，本研究使用的方法优于文献[7]算法得到的苹果叶片精确度和交并比结果。由图9能够明显看出，每张图片的精确率和交并比都在98.5%左右，并且精确率和交并比结果都相对稳定。与文献[7](核心算法为大津法Otsu)进行对比，其上下幅度较大，如第25幅图像所示，精确度和交并比结果都相对较低，而本研究试验结果并未出现那么大浮动的现象，结果比较稳定。

图9 第74类波8苹果叶片分割结果数据对比Fig.9 Segmentation results data comparison of the 74th Bo 8 apple leaves

3 结束语

本研究结合深度学习和引导滤波技术，提出了一种苹果叶片图像分割的新算法，在包含174种大规模数据集上进行训练和试验。试验结果表明，该算法可以完整、准确、快速的分割苹果叶片图像，精确率为98.99%、交并比98.82%，可以为后续的形状参数提取、苹果叶片分类与识别提供数据支撑。深度学习通过样本可以很好的提取分割所需的特征。本研究结果表明，将深度学习应用于苹果叶片分割是可行的，但仍有一些误差存在，需要利用非学习方法进行辅助分割。本研究实现了对标准苹果叶片图像的分割，对非标准的生态苹果叶片图像分割将是下一步研究的方向。