基于二次阈值的荔枝果与结果母枝图像识别

郭艾侠，邹湘军，邹海鑫

（1.华南农业大学 南方农业机械与装备关键技术教育部重点实验室，广东 广州510642；2.华南农业大学 信息学院，广东 广州510642）

0 引 言

果蔬采摘机器人的视觉关键技术研究在于如何检测和识别目标，以确定其精确的三维空间位置，从而为机械手的运动提供参数［1－4］。通常采用图像分割技术把自然环境下所采集的图片划分为一系列互不重叠的独特区域来识别成熟采摘目标。由于自然光源、果实的晃动、果实与枝叶之间以及果实与果实之间的遮挡等问题，造成采摘机器人视觉识别与定位的工作效率仍较低，采摘目标的识别问题还需要进行更深入的研究［5］。而且由于单果类与串型水果在大小、颜色和纹理等特征上存在差异性，很难找到一种适合各类采摘目标的通用图像分割方法。因此，针对特定的采摘对象需要选择合适的图像分割方法，才能把待采摘的水果目标从复杂的背景中快速、准确、无遗漏地分割出来。

成熟的荔枝串中含有多个荔枝果、一个主杆的结果母枝和一些叶子，对于荔枝串的识别尤其是串中结果母枝的识别较难。文献 ［6］以荔枝各部位图像颜色特征分析结果为基础，把已获取的RGB （red green blue）图像转换到HSV （hue saturation value）色彩空间，采用了稀疏水平集的方法对其H 通道图进行分割处理从而识别出荔枝果。但是该方法并未给出识别结果母枝的方法，不利于后续采摘点的进一步选取与定位研究。文献 ［7］使用了较为宽松的阈值对荔枝图像在L＊a＊b＊ （L＊is lightness，a＊and b＊are the color－opponent dimensions）色彩空间的a＊分量图进行初次阈值分割，去除了叶子、天空和地表等复杂背景。进而采用蚁群与带空间约束的FCM （fuzzy c－means clustering）算法识别出了荔枝果。但是此研究未给出识别荔枝串与结果母枝的方法，而且对宽松阈值的设定途径也没有具体描述。文献 ［8，9］通过经验阈值对荔枝图像的YCbCr色彩空间的Cr分量图进行分割处理以去除大部分的复杂背景，然后再采用FCM 的分割方法实现了荔枝果与果梗的识别。但此研究并未提出荔枝串、荔枝果与结果母枝分类识别的概念。

在前人研究的基础上，首先对采集荔枝图像进行荔枝串、荔枝果与结果母枝的分类，特别进行了荔枝串在强光、逆光和普通光照条件下的分类，并基于文献 ［10］的结论进行彩色荔枝图像的灰度化处理。然后，采用实验获取的固定经验阈值分割处理荔枝图像的Cr通道图以识别出荔枝串，并对已识别荔枝串的Cr通道图进行Otsu的二次阈值分割识别出荔枝果。进而通过对已识别荔枝串与荔枝果的二值图像进行相减运算，最终识别出结果母枝。最后对本文与文献 ［8］在荔枝果与结果母枝的识别时间和面积特征提取的实验数据对比分析。本文的研究结果将为荔枝采摘点的计算与视觉定位提供研究基础。

1 彩色荔枝图像各部位分类与灰度化处理

1.1 采集图像中荔枝各部位的分类

复杂自然环境下所采集的荔枝图像区域主要有：荔枝果、叶子和一些细小枝条、各类结果母枝和其他一些细缝所产生的浅黑色。其中荔枝串、荔枝果与结果母枝的分类如图1所示，文中的荔枝图像指的是自然环境下采集的含有成熟荔枝串和复杂背景的图像。

1.2 彩色荔枝图像的灰度化处理

图1 荔枝各部位图像

如果直接对自然环境下所采集的荔枝RGB彩色图像进行分割，难度较大。而且采用K－Means、C－Means等模糊聚类的图像分割方法直接对彩色荔枝图像进行图像处理时，对颜色差异较小的亮绿色叶子与偏绿色结果母枝情况，在给定聚类种数为3 （叶子等背景、果实和、结果母枝3类）时，该方法会视亮绿色叶子与偏绿色结果母枝二者为同类，从而导致结果母枝的误分类［11］。而对彩色图像中的单通道分量图进行分割处理不仅可以缩短图像处理时间，而且能提高目标识别效率［12］。为解决荔枝图像各部位的分类识别问题，文献 ［10］通过对采集荔枝图像中的强光、普通光和逆光条件的荔枝果，颜色为偏红、偏绿和偏褐等情况的结果母枝与叶子各类图像的颜色特征进行探索性数据分析，得出了YCbCr色彩空间的Cr单通道图是适合荔枝图像分割的最佳色彩模型，并进一步给出在0.5～0.54区间范围内选择合理的阈值对荔枝图像的YCbCr色彩空间的Cr单通道图进行分割，能有效去除叶子和侧枝等复杂大背景信息。基于该研究结论，本文对彩色荔枝RGB 图像进行YCbCr色彩空间的Cr分量图的灰度化处理。

1.3 彩色荔枝图像的灰度化处理过程与效果

彩色荔枝图像的灰度化的过程是：将YCbCr色彩模型下的彩色荔枝图像的每一像素点值采用选定的Cr颜色分量的值代替。该过程将彩色荔枝图像转化为灰度图像，完成彩色图像的灰度化。彩色荔枝图像的灰度化转换能够较好地保留原彩色图像中各颜色分量差异的信息，且有利于使用灰度图像的分割方法进行图像分割，减少图像处理的计算量和对计算机的内存的占用，以提高识别荔枝各部位的速度。

在Matlab软件的编辑环境下对彩色荔枝图像进行灰度化的转换。具体实现过程如下：

（1）读入已采集的彩色荔枝图片文件Litchi＿Img.jpg，该文件为RGB色彩模型下的彩色图像。

（2）通过编程处理将RGB图像Litchi＿rgb.jpg转化为其在YCbCr色彩模型下的彩色图像Litchi＿ycbcr。

（3）通过提取颜色分量命令把图像Litchi＿ycbcr的Cr颜色分量图提取出来，该颜色分量值即为彩色图像中每一像素点的灰度值。

随机选取一组自然环境下所采集荔枝图像，采用本文选用的Cr颜色分量图对其进行灰度化并显示灰度图像的直方图，效果如图2所示。

图2 彩色荔枝图像组的灰度图及其直方图

从图2 （c）可以看出，荔枝图像的Cr灰度直方图呈现双峰特性，此特性也能为荔枝各部位图像分割策略提供依据。

2 荔枝各部位图像分割策略

基于彩色荔枝图像灰度处理的基础上，荔枝串、荔枝果与结果母枝的图像分割策略为：采用Otsu和最大熵法获得阈值区间，通过实验获取固定经验阈值。利用此阈值对荔枝图像的Cr分量图进行图像分割处理，再结合形态学、最大区域标记与色彩还原等处理后识别出荔枝串。对已识别荔枝串的Cr灰度图采用Otsu阈值图像分割、形态学运算及最大区域标记等处理方式识别出荔枝果。最后把荔枝串与荔枝果的二值图像进行减法运算最终识别出结果母枝。为得到各类识别目标的彩色效果图，需要把每次分割处理得到的二值图像与原图进行叠加。荔枝各部位识别流程如图3所示。

图3 荔枝各部位分类识别流程

3 荔枝各部位识别实验

3.1 实验材料及环境

实验的荔枝图片是在自然环境下从广州市南沙区和番禺区的荔枝园所采集的200 幅中随机选出的90 幅，大小均处理为456＊342 。实验的测试环境为Windows XP，主频2.9GHz、内存2G 的PC 机，后台测试软件为MATLAB 7.10。

3.2 实验过程与实验结果

把选取的荔枝图像分别按照强光、逆光、普通光照条件分成3类 （每类图片30幅，共90幅），对每类图片分别采用Otsu与最大熵阈值计算方法获取了适合各类荔枝串图像分割的阈值区间，分别为 ［0.4902，0.5294］、［0.5098，0.5333］和 ［0.5020，0.5412］。在每类阈值区间范围内通过实验获取固定经验阈值，分别 为0.5020、0.5300 和0.5108。采用各类固定阈值分别对90幅各类光照条件的荔枝图像进行荔枝各部位分类识别的实验测试 （实验流程如图3所示），荔枝串、荔枝果与结果母枝的识别率如表1所示。

表1 荔枝各部位识别率

以其中的一组不同光照条件下的3 幅荔枝图像为例，所识别的荔枝串与荔枝果的效果如图4 （b）、图4 （c）所示。把已识别的荔枝串、荔枝果的二值图像进行图像相减运算后实现了结果母枝的识别，效果如图4 （d）所示。

通过提取本文方法识别的荔枝果与结果母枝的面积特征、运行时间的数据，与文献 ［8］中采用方法获取的对应数据进行对比，对比结果见表2－表4。

3.3 实验结果分析

从分割效果上看，采用本文选定阈值对荔枝串的分割效果较好，结果母枝分割结果也无地面、叶子等背景残留。而对强光条件下的荔枝果的分割均会产生凹陷或者空洞，造成果实无法完整恢复。

从表2～4可以看出：在运行时间及面积特征提取上，两次阈值的分割方法对强光和正常光照条件下的荔枝果的识别效果良好，时间上也有明显优势。虽然部分结果母枝的面积特征信息可能会略小于文献 ［8］的方法，但由于荔枝串的采摘只需在结果母枝上选择一个采摘点进行定位即可实现，因此本文提出的基于二次阈值的荔枝各部位识别方法是一种较实用的分割算法。

图4 本文方法识别荔枝各部位图片组（从左到右依次是强光、逆光和普通光照）

4 结束语

本文以串型生长的荔枝果为研究对象，对视觉机器人的荔枝各部位图像分类识别进行研究，主要包括：

（1）给出了荔枝图像中荔枝串、荔枝果与结果母枝的分类，并进行了彩色荔枝图像基于YCbCr色彩空间的Cr通道图的灰度化处理。

（2）提出了固定阈值的荔枝串与二次阈值的荔枝果及结果母枝的图像分割策略，并对强光、逆光及正常光3种光照条件下拍摄的90幅荔枝图片进行了荔枝串、荔枝果与结果母枝分类识别的实验，各部位的图像分割效果较好。

（3）进行了荔枝果与结果母枝的识别时间、面积特征的实验数据的对比分析，分析结果表明：采用二次阈值分割方法可实现荔枝串、荔枝果与结果母枝的分类分割的目的，且在运行时间上能否满足实时的采摘需求。

而对强光条件下的荔枝果的分割所产生的凹陷或者空洞，造成果实无法完整恢复的问题还需做进一步的研究。

表2 两种方法对正常光照条件下的结果母枝分割对比

表3 两种方法强光照条件下的结果母枝分割对比

表4 两种方法对逆光照条件下的结果母枝分割对比

［1］Bulanon D M，Kataoka T.Fruit detection system and an end－effector for robotic harvesting of Fuji apples［J］.Agricultural Engineering International：CIGR Journal，2010，12 （1）：203－210.

［2］WANG Yong，SHEN Mingxia，JI Changying.Model and analysis of color for different parts of ripe cotton in picking period［J］.Transactions of the Chinese Society of Agricultural Engineering，2007，23 （4）：183－185 （in Chinese）. ［王勇，沈明霞，姬长英.采摘期成熟棉花不同部位颜色识别分析 ［J］.农业工程学报，2007，23 （4）：183－185.］

［3］ZOU Xiangjun，ZOU Haixin，LU Jun.Virtual manipulator－based binocular stereo vision positioning system and errors modeling ［J］.Machine Vision and Applications，2012，23 （1）：43－63.

［4］LV Jidong，ZHAO De'an，JI Wei，et al.Fast positioning method of apple harvesting robot for oscillating fruit［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （13）：48－53 （in Chinese）.［吕继东，赵德安，姬伟，等.苹果采摘机器人对振荡果实的快速定位采摘方法 ［J］.农业工程学报，2012，28 （3）：48－53.］

［5］LIU Jian，ZHANG Yunwei.Segmentation methods of eggplant images in the growth state based on HSI space［J］.Journal of Anhui Agriculture Science，2010，38 （14）：7554－7556 （in Chinese）.［刘健，张云伟.基于HIS空间的生长状态下茄子图像 的 分 割 方 法 ［J］.安 徽 农 业 科 学，2010，38 （14）：7554－7556.］

［6］MAO Liang，XUE Yueju，KONG Deyun，et al.Litchi image segmentation algorithm based on sparse field level set ［J］.Transactions of the Chinese Society of Agricultural Engineering，2011，27 （4）：345－349 （in Chinese）.［毛亮，薛 月 菊，孔 德运，等.基于稀疏场水平集的荔枝图像分割算法 ［J］.农业工程学报，2011，27 （4）：345－349.］

［7］KONG Deyun，XUN Yueju，MAO Liang，et al.Litchi image segmentation algorithm based on ant colony and space constraints FCM ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html（in Chinese）.［孔德运，薛月菊，毛亮，等.基于蚁群和带空间约束FCM 的 荔 枝 图 像 分 割 算 法 ［J／OL］.［2011－12－09］.http：／／www.cnki.net／kcms／detail／11.2127.TP.20111209.1001.043.html.］

［8］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Recognition of mature litchi in natural environment based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42 （9）：162－166 （in Chinese）.［熊俊涛，邹湘军，陈丽娟，等.基于机器视觉的自然环境中成熟荔枝识别［J］.农业机械学报，2011，42 （9）：162－166.］

［9］XIONG Juntao，ZOU Xiangjun，CHEN Lijuan，et al.Visual position of picking manipulator for disturbed litchi［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （14）：36－40 （in Chinese）.［熊俊涛，邹湘军，陈丽娟，等.采摘机械手对扰动荔枝的视觉定位 ［J］.农业工程学报，2012，28 （14）：36－40.］

［10］GUO Aixia，ZOU Xiangjun，ZHU Mengsi，et al.Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （4）：191－198 （in Chinese）.［郭艾侠，邹湘军，朱梦思，等.基于探索性分析的荔枝果与结果母枝颜色特征分析与识别 ［J］.农业工程学报，2013，29 （4）：191－198.］

［11］CHEN Lijuan.Research on targets locating in nature environment based on machine vision ［D］.Guangzhou：South China Agricultural University，2012：36－48 （in Chinese）.［陈 丽娟.基于机器视觉的自然环境下的目标定于研究 ［D］.广州：华南农业大学，2012：36－48.］

［12］ZHAO Jinying，ZHANG Tiezhong，YANG Li.Object pickingup with machine vision of tomato picking robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2006，37（10）：200－203 （in Chinese）.［赵金英，张铁中，杨丽.西红柿采摘机器人视觉系统的目标提取 ［J］.农业机械学报，2006，37 （10）：200－203.］