基于轮廓分析的双串叠贴葡萄目标识别方法

罗陆锋 邹湘军 王成琳 陈 雄 杨自尚 司徒伟明

(1.华南农业大学南方农业机械与装备关键技术教育部重点实验室， 广州 510642；2.天津职业技术师范大学机械工程学院， 天津 300222)

基于轮廓分析的双串叠贴葡萄目标识别方法

罗陆锋1,2邹湘军1王成琳1陈 雄1杨自尚1司徒伟明1

(1.华南农业大学南方农业机械与装备关键技术教育部重点实验室， 广州 510642；2.天津职业技术师范大学机械工程学院， 天津 300222)

为准确定位叠贴情况下的葡萄目标，提出了一种基于轮廓分析的双串叠贴葡萄目标识别方法。首先提取最能突显夏黑葡萄的HSV颜色空间中的H分量，通过改进K-means聚类方法对葡萄图像进行分割，运用形态学去噪等处理获取葡萄图像区域，再提取该区域边缘轮廓和左右轮廓的类圆中心。然后以该中心点为原点建立基于轮廓分析的叠贴葡萄串分界线几何求解与计算模型，分别在逆时针方向45°～135°和225°～315°区域内沿葡萄轮廓搜索距离原点最近的点，进而确立两叠贴葡萄轮廓拐点及其分界线，最终实现对叠贴葡萄目标的分别提取。对从果园采集的27幅双串叠贴葡萄图像进行试验，结果显示：24幅图像中的叠贴葡萄串被正确识别和提取，成功率达88.89%，目标像素区域的识别精准度为87.63%～96.12%，算法处理时间在0.59～0.68 s之间。将算法移植到自主研制的机器人上进行视觉定位试验，结果表明所提方法可很好地用于两叠贴葡萄目标的识别与定位。

叠贴葡萄； 图像分割； 轮廓分析； 目标识别； 拐点

引言

近年来，我国葡萄产量逐年增加，截止到2014年，我国葡萄栽培面积已达76.72万hm2，产量已跃居世界前列[1]。然而，目前我国葡萄收获基本靠人力采摘，随着人口老龄化加剧，研发葡萄采摘机器人将具有重要的现实意义。基于机器视觉的采摘机器人作业时需首先准确识别和定位果园环境中的水果，但由于果园环境的复杂性和不确定性，加之葡萄是簇生水果且其轮廓不规则，使得重叠和贴靠等情况下葡萄串的识别和定位成为难题[2]。本文将2串前后部分重叠或左右贴靠葡萄统称为叠贴葡萄。

图1 图像颜色空间转换及H分量直方图Fig.1 Space conversions of color image and histograms of color component H

多年来，叠贴目标的识别与定位一直是采摘机器人研究领域的热点[3]。国内外学者围绕这一主题进行了大量研究[4-12]。综合上述方法，可将其大致分为基于数学形态学的方法和基于活动轮廓模型的方法。这些方法主要针对多个单果(例如苹果、柑橘、桃等)重叠的检测与定位。而就簇生水果葡萄来说，目前的研究主要针对单串葡萄识别与定位[13]和葡萄果粒尺寸检测[5-6]等，还很少见有针对多串叠贴葡萄串目标识别和提取的研究。鉴于上述，本文提出一种基于轮廓分析和几何约束相结合的叠贴葡萄串目标提取方法。该方法先对叠贴葡萄进行图像分割和轮廓提取，建立基于轮廓分析的叠贴葡萄分界线几何计算模型。该模型通过几何约束方法求解叠贴葡萄边缘轮廓交界处拐点，进而确立叠贴葡萄串分界线，实现对目标的分别提取，为采摘机器人的视觉定位提供方法支持。

1 图像采集及预处理

1.1 葡萄图像获取

为验证本文所提方法的实用性，于2015年7月在天津市茶淀葡萄科技园采集2串相互叠贴的夏黑葡萄图像(27幅)。所用相机为尼康D5200型数码相机，相机曝光模式设置为自动曝光，曝光时间为1/100 s，拍摄距离为600～1 000 mm。采集图像尺寸为2 592像素×1 944像素。为减少图像处理时间和便于分析算法的实时性，利用双三次插值法将图像尺寸调整至640像素×480像素。因葡萄生长位置的随机性，使得葡萄叠贴的形态不一，但大体可分为上下叠贴和并行叠贴。其中上下叠贴是指两葡萄果梗位置存在高度偏差，而并行叠贴指葡萄果梗高度基本齐平，如图1a、1e所示。

1.2 图像预处理

图像预处理是葡萄目标识别前的重要环节。为准确分割出葡萄串图像，本文将葡萄彩色图像转换至便于图像分割的颜色空间，将最佳颜色分量输入后续识别算法。常用的颜色空间有RGB、HSV、HIS、YCbCr和Lab等。其中RGB又称为三原色，以三原色为基础，经过线性或非线性变换可以转换成另外的颜色空间[14]。

通过对比和分析夏黑葡萄与叶子、枝干、地面等背景元素之间的颜色差异，将图像转换至HSV、HIS、YCbCr、Lab等颜色空间，发现夏黑葡萄在HSV颜色空间中的H分量图中与背景具有明显的颜色反差，且直方图双峰效果明显。如图1d、1h所示，葡萄的颜色强度与周围背景区分明显，且H分量的像素直方图呈现良好的波峰波谷效果，尽管图1c中左侧出现2座小波峰，但其附属的主峰与右侧主峰距离较远，因而，适合运用聚类方法进行快速分割。其中H分量计算式[15]为

(1)

式中G——RGB颜色空间的绿色分量B——RGB颜色空间的蓝色分量

2 基于轮廓分析的双串叠贴葡萄目标识别方法

本文提出的双串叠贴葡萄目标识别方法流程如图2所示。首先通过改进的K-means聚类算法对提取的H分量图进行图像分割，再利用形态学去噪等处理获取叠贴葡萄图像区域并提取该区域边缘轮廓。然后计算轮廓中左右极值点及类圆中心，以该中心点为原点建立基于轮廓分析的叠贴葡萄分界线几何计算模型，分别在逆时针方向45°～135°和225°～315°区域内搜索距离原点最近的葡萄轮廓点，得到叠贴葡萄边缘轮廓交界处拐点，进而确立两叠贴葡萄串分界线，最终实现对叠贴葡萄目标的分别提取。

图2 算法处理流程图Fig.2 Flow chart of algorithmic process of the developed method

2.1 叠贴葡萄串轮廓信息获取

2.1.1 图像分割与噪声剔除

在经过图像预处理提取HSV颜色空间的H分量后，通过K-means聚类算法对H分量图进行分割。K-means聚类算法是一种无监督学习算法，它通过迭代搜索将单一数据划分为指定的簇[8]。该算法采用距离作为相似性的评价指标，将距离最为靠近的对象组成一类，通过迭代得到一组紧凑且相互独立的类，最终实现对数据的分类。该算法具体流程如下：

(1)输入数据集D={x1,x2,…,xm}和聚类数k。从D中随机选取k个样本作为聚类Ci(i=1,2,…,k)的初始聚类中心{μ1,μ2,…,μk}。

(2)对数据集进行迭代分类，设i,j=1, 2, …,k，且i≠j，若‖xm-μj‖<‖xm-μi‖，则将xm划分为Cj类。

(3)通过步骤(2)将数据分类后，重新计算每个聚类的平均值作为新的聚类中心μ′i

(2)

(4)对于全部聚类中心，若相邻2次迭代中的聚类中心μ′i=μi，则停止迭代。否则，转至步骤(2)继续迭代。

从上述算法流程可知，K-means聚类算法需先确定聚类个数和初始聚类中心，且其理想程度直接影响聚类划分的效率和结果。考虑到图像预处理中提取的H分量直方图呈现良好的双峰(即背景和葡萄)效果，所以本文将聚类数设置为2。在原始K-means算法中，初始聚类中心通常是随机选取，如果选取不当，则需耗费较多时间进行迭代最优聚类中心，甚至容易导致局部极值[16]。为此，对聚类中心初始化进行改进，通过求解H分量直方图的2座最高波峰所对应的灰度来初始化聚类中心，缩短算法的迭代次数和时间。但由于直方图常掺杂有类似波峰的图像噪声，这给波峰的自动检测带来一定干扰。为降低噪声的影响，采用高斯滤波对直方图进行平滑处理[17]。图1c和图1d以及图1g和图1h分别为图1a和图1e在高斯滤波前与滤波后的直方图。图3a为图1a未进行高斯滤波的分割结果，图3b为图1a通过高斯滤波后的分割图像。

从图3b可以看出，通过K-means聚类算法对图像进行分割后，图像中还存在一些噪声和一些残缺葡萄图像的小面积背景。对于这些小面积背景，本文采用面积阈值法进行去除。经过调试和预备试验，将面积小于图像中1/4最大面积的对象作为背景删除。再通过形态学开闭运算剔除图像中的粘连噪声。最后对目标区域进行空洞填充，得到一个完整封闭的葡萄图像区域。最终分割结果如图3c所示。

图3 葡萄图像分割与轮廓提取Fig.3 Image segmentation and contour extraction

2.1.2 叠贴葡萄轮廓提取

葡萄轮廓提取是实现叠贴目标检测的重要前提。目前，最可靠的轮廓边缘检测方法是使用一阶和二阶导数来检测边缘灰度值的不连续性。通过选用或设计边缘梯度检测算子来提取边缘图像。设图像中像素点值用函数f(x,y)表示，(x,y)为像素点坐标。体现边缘不连续性的方向向量可以用有限差分来计算，图像中像素点的梯度为

(3)

其中fhs(x,y)=0.5(f(x+1,y)-f(x-1,y))

fvs(x,y)=0.5(f(x,y+1)-f(x,y-1))

本文选Canny算子[18]作为边缘检测算子，该算子通过寻找图像f(x,y)梯度的局部最大值来发现边缘像素点，再对图像梯度幅值进行阈值划分得到葡萄区域的边缘二值图像，图3d为提取后的葡萄边缘轮廓图像。

2.2 基于轮廓分析的叠贴葡萄目标识别

因葡萄轮廓不规则，且果园环境中叠贴葡萄串的相对位置具有不确定性，致使难以通过传统的霍夫变换或凹点检测方法来实现对叠贴葡萄目标的提取。通过分析多幅叠贴葡萄的轮廓后发现：大多数情况下两叠贴葡萄串在交界处轮廓会出现换向拐点，且拐点靠近轮廓中心区域，同时这种拐点往往是成对出现。因此，本研究提出通过求解两叠贴葡萄边缘轮廓交界处拐点来实现对双串叠贴葡萄目标分别提取。

2.2.1 边缘轮廓交界处拐点的几何计算模型

为求解叠贴葡萄串轮廓交界处拐点，根据轮廓特征构建如图4所示的拐点几何计算模型。设图像列坐标方向为X轴正向，图像行坐标方向为Y轴正向。该计算模型首先求解2.1.2节中所提取的葡萄轮廓的左右极值点A和B，然后连线A、B并计算其中点O，可视该点为葡萄左右轮廓的类圆中心，并设置该点为原点，以水平向右为起点，分别提取逆时针方向45°～135°和225°～315°区域内的葡萄轮廓作为拐点感兴趣区域，构成上拐点搜索区域和下拐点搜索区域。因拐点必须位于轮廓上，所以图中曲线FG和曲线DE可视为上、下拐点感兴趣区域。在提取叠贴葡萄交界处拐点感兴趣区域后，再通过最小距离约束分别求解上下轮廓中的拐点。

图4 交界处轮廓拐点的几何计算模型Fig.4 Geometric calculation model of intersection point of two grape clusters’ edges

2.2.2 叠贴葡萄交界处拐点计算及分界线提取

在提取出叠贴葡萄串的轮廓后，得到葡萄区域边界的二值图像，即轮廓像素值设为1(白色)，其余区域设为0(黑色)。为求得轮廓左右极值点，通过搜索轮廓中像素在X方向上坐标的最大值和最小值来获得轮廓中的左右极值点。然后连线该两点，求解其连线的中点坐标，该点即为叠贴葡萄左右的类圆中心，如图5a所示。为求解轮廓交界处拐点，本研究通过搜索葡萄上轮廓和下轮廓距原点O最近的点作为上、下拐点。其求解方程为

(4)

式中 (xo,yo)——原点坐标 (x,y)——图像中葡萄轮廓上像素点的坐标

为防止左右轮廓和一些奇异轮廓对求解结果造成干扰，设置如下3个约束来求解方程(4)：

(1)对于上轮廓拐点，其像素点坐标须位于原点O上方，同理，下轮廓拐点须位于原点O下方。

(2)角度区域范围约束，将上拐点搜索范围限制在逆时针方向45°～135°之间，如图4中OGF区域；下拐点搜索范围限制在逆时针方向225°～315°之间，如图4中OED区域。通过该约束可剔除一些冗余边缘，得到感兴趣的拐点边缘轮廓，如图5b所示。

(3)上、下拐点须是两叠贴葡萄边缘轮廓上的点，即拐点必须包含于边缘轮廓。

因此，对于两叠贴葡萄轮廓交界处拐点可通过约束式

(5)

对方程(4)进行解算，求得上拐点(xH,yH)。

同理，可用约束式

(6)

对方程(4)进行解算，求得下拐点(xL,yL)，如图5b所示。

通过上述方法求得上、下拐点H和L后，连线HL得到两叠贴葡萄串的分界线，如图5c所示。

2.2.3 葡萄串质心计算

提取两叠贴葡萄串分界线后，将叠贴葡萄区域划分为2个独立的部分，再分别计算两区域的质心作为各自提取的葡萄串目标中心点。为计算葡萄质心坐标，在分界后的葡萄二值图像基础上依据图像质心矩的定义[15]，将葡萄质心坐标定义为

(7)

式中 (xc,yc)——质心坐标

所求得的葡萄图像质心如图5c所示。

图5 叠贴葡萄轮廓交界处拐点及分界线的提取过程Fig.5 Extracting process of two overlapping and adjacent grape clusters

3 试验与分析

为验证所提方法的实用性，首先对从果园采集的27幅双串叠贴葡萄图像进行试验，计算和分析了算法对叠贴目标识别的精准度和实时性，图像处理所用计算机配置为：Intel (R) Core (TM) i5-3230M CPU @ 2.60 GHz，4 G内存，Windows 7操作系统。算法编程平台采用Matlab 2015b。然后，在实验室环境下搭建叠贴葡萄试验台，将本文算法移植到自主研制的采摘机器人上进行叠贴葡萄定位试验。

3.1 目标识别精准度和实时性试验

根据葡萄叠贴的相对位置，本研究将准确度试验分为上下叠贴和并行叠贴2种情形。在27幅葡萄试验图像中，上下叠贴葡萄图像13幅，并行叠贴葡萄图像14幅。运用本文方法进行图像处理后，得到两葡萄轮廓及其分界线，进而提取每一串葡萄的图像区域。为评价本文方法对叠贴葡萄目标识别的精准度，试验中先通过人工利用Photoshop软件对两叠贴葡萄串进行分别提取。然后将用本文方法提取的葡萄图像区域与人工提取的图像区域进行求交和求差运算，目标识别的精准度(Accuracy)和假阳错误率(False positive rate,FPR)计算式为

(8)

(9)

式中Ralgorithm——通过本文方法提取的葡萄串图像区域面积Rmanual——人工方法提取的葡萄图像区域面积

部分试验案例如图6所示，从图中的2个案例中可看出，本文方法可较好地将两叠贴葡萄分别提取出来。

图6 试验案例Fig.6 Testing examples

为便于认定叠贴葡萄检测的成功与失败，经过统计与分析，本研究设定目标识别精准度阈值为75%，低于阈值时认定为检测失败，高于阈值则认为检测成功。2种叠贴情形下葡萄目标识别的精准度统计情况见表1。通过统计，成功识别叠贴葡萄目标图像24幅，总成功率为88.89%。其中正确识别上下叠贴葡萄图像为11幅，目标识别精准度在87.63%～95.23%之间。有2次精准度低于75%，出现较大偏差，且假阳错误率明显高于其他，如图7a、7b所示，从图中可以看出，2种情况均因为叠贴葡萄轮廓形状复杂，使得葡萄下轮廓拐点计算失败，最终导致叠贴葡萄识别精准度过低、目标识别失败。

并行叠贴葡萄的正确识别图像为13幅，目标识别精准度在88.35%～96.12%之间。其中有1次精准度仅为65.42%，低于设定阈值，假阳错误率为41.26%，如图7c所示，两葡萄串叠贴区域大，且轮廓拐点非常不明显，从而使得上、下拐点计算均失败，最终导致目标识别失败。

为统计本文算法所消耗的时间，对采集的27幅试验图像进行实时性测试，每幅图像所消耗的时间见表1。从表中看出，每次试验运行的时间各不相同，但时间基本都在0.59～0.68 s之间，由此可知，本文算法的实时性可满足采摘机器人作业需求。

尽管所提方法能较好地识别两叠贴葡萄串，但由于本文算法是通过上、下2个拐点的连线来进行分界，这种用直线分界的方法有时候不可避免地导致一些果粒被误分。另外，还有一些因素会影响叠贴葡萄的识别：①变化光照下的过分割和欠分割会导致葡萄边缘轮廓提取不够精准，使得拐点提取出现偏差。②葡萄串轮廓细节，特别是在拐点处的轮廓细节对该算法存在较大影响，且葡萄串的重叠率及枝叶对葡萄串轮廓的遮挡对该算法影响也较大。③如果有不成熟果粒(绿色)夹杂在葡萄串中，图像分割精度会下降，也会导致算法性能下降。

3.2 采摘机器人室内视觉定位试验

将本文算法调试编译后移植到自主研制的六自由度采摘机器人工控机上进行两叠贴葡萄室内视觉定位试验。从市场购买葡萄串，将其悬挂于搭建好的葡萄架上，通过改变两葡萄的相对叠贴位置进行 了10次定位试验，其中5次为上下错位叠贴，5次为并行叠贴。定位试验以提取的葡萄串质心点作为目标点，通过本文算法提取叠贴葡萄串区域质心后，利用采摘机器人双目视觉对目标点进行立体匹配和三维反求，求出目标点的空间坐标，再将空间坐标发送给机器人控制系统，最后由控制系统驱动机械臂运动至目标点正前方30 mm处。测量末端执行器夹指与葡萄质心点之间的相对距离，当误差在0～10 mm(自主研制的末端执行器夹指的容错范围大于10 mm[19-20])内时，视为定位成功。结果显示，在10次定位试验中，本文算法均能较好地计算出各叠贴葡萄串的质心。有9次定位获得成功，其中1次由于双目视觉系统中的立体匹配出现较大偏差而导致定位失败。室内试验如图8所示。视觉定位试验结果表明本文方法适用于两叠贴葡萄的识别与定位。

表1 2种不同叠贴情况下目标识别统计结果

图7 3次失败案例Fig.7 Three examples of failure recognition

4 结束语

为实现果园环境下重叠、贴靠葡萄目标的准确视觉识别与分别提取，本文提出一种基于K-means聚类图像分割、轮廓分析与几何约束建模相结合的双串叠贴葡萄目标识别与提取方法。运用27幅叠贴葡萄图像对所提方法进行试验，同时，将算法移植到机器人上进行了室内视觉定位试验。有24幅试验图像中的叠贴葡萄被成功识别，成功率达88.89%。在成功识别的葡萄串中，其像素区域识别的精准度在87.63%～96.12%之间。算法对每幅图像的处理时间基本都在0.59～0.68 s之间。室内机器人视觉定位试验表明本文方法可用于两叠贴葡萄目标的识别与定位。

图8 采摘机械人室内视觉定位试验Fig.8 Positioning experiment of harvesting robot in laboratory

1 晁无疾.调整提高转型升级促进我国葡萄产业稳步发展[J]. 中国果菜, 2015(9): 12-14

2 LUO Lufeng, TANG Yunchao, ZOU Xiangjun, et al. Vision-based extraction of spatial information in grape clusters for harvesting robots[J]. Biosystems Engineering, 2016, 151: 90-104.

3 GONGAL A, AMATYA S, KARKEE M, et al. Sensors and systems for fruit detection and localization: a review [J]. Computers and Electronics in Agriculture, 2015, 116: 8-19.

4 JULIO C P, THOMAS R. Novel image processing approach for solving the overlapping problem in agriculture[J]. Biosystems Engineering, 2013, 115(1): 106-115.

5 宋怀波，张传栋，潘景朋，等. 基于凸壳的重叠苹果目标分割与重建算法[J]. 农业工程学报，2013，29(3)：163-168. SONG Huaibo, ZHANG Chuandong, PAN Jingpeng, et al. Segmentation and reconstruction of overlapped apple images based on convex hull [J]. Transactions of the CSAE, 2013, 29(3): 163-168. (in Chinese)

6 赵德安, 沈甜, 陈玉, 等. 苹果采摘机器人快速跟踪识别重叠果实[J].农业工程学报,2015,31(2):22-28. ZHAO Dean, SHEN Tian, CHEN Yu, et al. Fast tracking and recognition of overlapping fruit for apple harvesting robot[J]. Transactions of the CSAE, 2015, 31(2): 22-28. (in Chinese)

7 谢忠红,姬长英,郭小清,等. 基于凹点搜索的重叠果实定位检测算法研究[J].农业机械学报,2011,42(12):191-196. XIE Zhonghong, JI Changying, GUO Xiaoqing, et al. Detection and location algorithm for overlapped fruits based on concave spots searching[J].Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(12): 191-196. (in Chinese)

8 徐越,李盈慧,宋怀波,等.基于Snake模型与角点检测的双果重叠苹果目标分割方法[J].农业工程学报,2015,31(1):196-203. XU Yue, LI Yinghui, SONG Huaibo, et al. Segmentation method of overlapped double apples based on Snake model and corner detectors[J]. Transactions of the CSAE, 2015, 31(1): 196-203. (in Chinese)

9 项荣，应义斌，蒋焕煜，等. 基于边缘曲率分析的重叠番茄识别[J/OL]. 农业机械学报, 2012, 43(3): 157-162. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20120329&flag=1. DOI: 10.6041/j.issn.1000-1298.2012.03.029. XIANG Rong, YING Yibin, JIANG Huanyu, et al. Recognition of overlapping tomatoes based on edge curvature analysis[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(3): 157-162. (in Chinese)

10 曾庆兵, 刘成良, 苗玉彬, 等. 基于形态学图像处理的重叠葡萄果径无损测量[J].农业工程学报, 2009, 25(9): 356-360. ZENG Qingbing, LIU Chengliang, MIAO Yubin, et al. Non-destructive measurement of diameter of overlapping grape fruit based on morphological image processing[J]. Transactions of the CSAE, 2009, 25(9): 356-360.(in Chinese)

11 陈英, 李伟, 张俊雄. 基于图像轮廓分析的堆叠葡萄果粒尺寸检测[J]. 农业机械学报, 2011, 42(8): 168-172. CHEN Ying, LI Wei, ZHANG Junxiong. Overlapped grapes berry size inspection based on image contour analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(8): 168-172. (in Chinese)

12 杨庆华, 刘灿, 荀一, 等. 葡萄套袋机器人目标识别方法[J/OL]. 农业机械学报, 2013, 44(8): 234-239. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130840&flag=1. DOI: 10.6041/j.issn.1000-1298.2013.08.040. YANG Qinghua, LIU Can, XUN Yi, et al. Target recognition for grape bagging robot[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(8): 234-239. (in Chinese)

13 罗陆锋，邹湘军，熊俊涛，等. 自然环境下葡萄采摘机器人采摘点的自动定位[J].农业工程学报, 2015, 31(2):14-21. LUO Lufeng, ZOU Xiangjun, XIONG Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the CSAE, 2015, 31(2): 14-21. (in Chinese)

14 WEI Xiangqin, JIA Kun, LAN Jinhui, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(19): 5684-5689.

15 RAFAEL C G, RICHARD E W, STEVEN L E.Digital image processing using Matlab[M]. Beijing: Publish House of Ecectronics Industry, 2012: 152-158.

16 熊俊涛, 邹湘军, 彭红星, 等. 扰动柑橘采摘的实时识别与采摘点确定技术[J/OL]. 农业机械学报, 2014,45(8):38-43. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140807&flag=1. DOI: 10.6041/j.issn.1000-1298.2014.08.007. XIONG Juntao, ZOU Xiangjun, PENG Hongxing, et al. Real-time identification and picking point localization of disturbance citrus picking[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2014,45(8):38-43. (in Chinese)

17 孟庆宽,张漫,杨耿煌, 等.自然光照下基于粒子群算法的农业机械导航路径识别[J/OL].农业机械学报,2016,47(6):11-20. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160602&flag=1. DOI: 10.6041/j.issn.1000-1298.2016.06.002. MENG Qingkuan, ZHANG Man, YANG Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2016,47(6):11-20. (in Chinese)

18 CANNY J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

19 ZOU Xiangjun, YE Min, LUO Chengyu, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on visoin positioning error[J]. Applied Engineering in Agriculture, 2016, 32(1):5-18.

20 叶敏, 邹湘军, 杨洲, 等. 荔枝采摘机器人拟人指受力分析与夹持试验[J/OL]. 农业机械学报, 2015, 46(9):1-8. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150901&flag=1. DOI: 10.6041/j.issn.1000-1298.2015.09.001. YE Min, ZOU Xiangjun, YANG Zhou, et al. Clamping experiment on humanoid fingers of litchi harvesting robot[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 1-8. (in Chinese)

Recognition Method for Two Overlaping and Adjacent Grape Clusters Based on Image Contour Analysis

LUO Lufeng1,2ZOU Xiangjun1WANG Chenglin1CHEN Xiong1YANG Zishang1SITU Weiming1

(1.KeyLaboratoryofKeyTechnologyonAgriculturalMachineandEquipment,MinistryofEducation,SouthChinaAgriculturalUniversity,Guangzhou510642,China2.CollegeofMechanicalEngineering,TianjinUniversityofTechnologyandEducation,Tianjin300222,China)

The recognition and location of overlapping or adjacent grape clusters in vineyard is one of the difficulties of grape picking robot vision system. In order to locate the grape clusters accurately, a method for targets detection and extraction in two overlapping and adjacent grape clusters was proposed based on image contour analysis. Firstly, theHcolor component images that can well distinguish the summer black grape clusters from the background were extracted from the HSV color space, the grape clusters in the extracted images were segmented by using the improvedK-means clustering method, and subsequently the noises in the segmented images were eliminated by using morphological operations. Secondly, the edges of grape clusters were extracted, and the midpoint of the line crossed the extreme points on the left and right edge of grape clusters was calculated out. Thirdly, midpoint was taken as the original point, and a geometry calculation model for solving the dividing line between two grape clusters was built after analyzing the contour characteristics. The two intersection points of the adjacent grape clusters’ edges were computed by using the minimum distance constraint between the original point and the specified edges. Finally, the dividing line of two grape clusters was obtained by connecting the two intersection points, and the two grape clusters were extracted separately. To verify the robust of the proposed method, totally 27 vineyard images with two overlapping and adjacent grape clusters were tested, and the results showed that the grape clusters in 24 images were correctly identified and extracted. The success rate reached up to 88.89%, and the accuracy of the extracted pixel region was from 87.63% to 96.12%. The elapsed time of the developed algorithm was 0.59 ～ 0.68 s. Moreover, the developed algorithm was transplanted to the self-developed harvesting robot, and the running results showed that the proposed method could be used to localize two overlapping and adjacent grape clusters.

overlapping and adjacent grape clusters; image segmentation; contour analysis; target recognition; intersection point

10.6041/j.issn.1000-1298.2017.06.002

2016-10-12

2016-11-09

国家自然科学基金项目(31571568)、广东省科技计划项目(2015A020209111、2015A020209120、2014A020208091)、广东省工程中心建设项目(2014B090904056)和广州市科技计划项目(201510010140)

罗陆锋(1982—)，男，博士生，天津职业技术师范大学讲师，主要从事机器视觉技术研究，E-mail： luolufeng617@163.com

邹湘军(1957—)，女，教授，博士生导师，主要从事农业机器人和智能设计与制造研究，E-mail： xjzou1@163.com

TP391.41

A

1000-1298(2017)06-0015-08