基于有序轮廓链的葫芦科砧木苗生长点检测①

查 杨 陈 武 赖一波 吴 尧 方家吉 黄 铮 喻擎苍

（浙江理工大学 浙江杭州 310018）

农作物幼苗的设施栽培技术因其可以有效提高作物抵抗自然灾害的能力而被广泛采用，然而常年连续栽培同科作物产生土传病害等问题，而嫁接则是成本最低效果最好的一种解决方法［1］。因此，在当今农业现代化发展的进程中，自动嫁接设备的研发成为大势所趋。

自动嫁接设备按自动化程度可分为全自动嫁接机、半自动嫁接机以及手动嫁接机。国外嫁接设备的研发最早始于20世纪80年代，至今已有多款全自动、半自动嫁接机问世［2-4］，而国内研发则稍落后于国外，自20世90年代以来，主要成果也以半自动嫁接机为主，无法真正摆脱人力的束缚［5-7］，由于全自动嫁接设备引进的费用较高，国内对于全自动嫁接设备的研究也从未停止，而机器视觉的发展，也使得国内研发推广全自动嫁接设备成为可能［8］。

机器视觉对全自动嫁接设备研发的功能主要在于对嫁接过程中的幼苗的嫁接参数的识别，而在以插接法为主要嫁接方法情况下，又以生长点的识别最为重要。在现有的嫁接参数研究中，生长点的识别主要分为子叶重合状态的嫁接苗生长点识别与子叶分开状态的嫁接苗识别，前者识别方法主要依靠边缘特征计算链角，识别重合部分的凹点并以此作为生长点识别的依据［9-10］。而对于子叶分开状态，由于其链角特征并不明显，现阶段一般采用Hough椭圆拟合的方法将子叶模型拟合成椭圆，根据椭圆信息识别生长点位置［9-11］。但是，根据实际嫁接经验，嫁接苗可嫁接状态下往往呈现子叶分开的状态，较少情况下会出现两片子叶重合的情况，因此基于链角特征的生长点提取其应用面较少，而使用椭圆拟合的方法，对于子叶形状较不规则的状态，其拟合得到的椭圆并不能很好的表现子叶的特征，从而导致生长点判定误差。

因此，本文提出一种基于有序轮廓链的生长点识别定位方法，通过有序轮廓链更具体地分析嫁接苗子叶边缘特征，使其链角特征更好的反应嫁接苗边缘特征的变化，从而使生长点的识别更为准确。

1 图像采集装置搭建

在计算机辅助嫁接设备对葫芦科幼苗进行嫁接的前提下，其生长点的识别结果应与其空间坐标相匹配，因此，图像采集装置应分别以侧视视角、俯视视角对嫁接苗进行视觉采集，嫁接装置设计如图1所示。

图1 嫁接装置模型图

由于本文所服务的嫁接设备其嫁接方式是由机械臂分别将砧木苗、接穗苗上苗至嫁接装置的位置，然后对苗进行嫁接操作，因此本文所采集的图像都为单株嫁接苗，在这个基础上，为了有效避免噪声在嫁接图像处理过程中的影响，保证视觉识别的准确性，嫁接设备的图像采集区域将在背景部分添加单色幕布，如图2所示。

图2 图像采集样例

2 生长点的提取

2.1 生长点提取流程

在图像采集装置搭建完成的基础上，图像处理程序将分别对侧视图、俯视图进行识别，其流程为：采集幼苗的俯视图与侧视图，分别提取俯视图与侧视图目标区域的幼苗轮廓链，对于俯视图而言，通过有序轮廓链分析图像边缘特征，求取轮廓特征点并以此作为生长点识别的依据；对于侧视图而言，将根据目标区域的轮廓链提取骨架，以骨架的分叉点为依据，进行生长点的识别，其流程如图3所示。

图3 生长点识别流程图

2.2 图像有序轮廓链的提取

所谓图像轮廓链提取本质上来说就是图像的边缘检测并将其存储于有序链表的过程。传统的边缘检测算法，比如Canny边缘检测算法在边缘检测的过程中易受到噪声的影响，对图像采集环境较为严苛，边缘检测效果也随之受到影响［9］。而如若使用更加复杂算法，例如基于水平集分割的边缘检测算法［12-13］或者是基于小波变换的Canny边缘检测算法等方法［14］，对于获取到的轮廓而言，仅为离散且无序的点集，以此获取出来的边缘特征信息无法很好的与该信息在图像上的位置相关联，为了解决这一问题，本文使用一种基于目标像素的有序轮廓链提取方法，在保证了尽可能减少噪声影响的前提下，实现对边缘特征的按序分析。

该方法首先以目标像素为基准，对不同颜色区间的像素点进行编号，然后逐行遍历图像，将每行中数值相同且相邻的像素合并为段，随后以行为单位进行遍历，判断下一行内是否有相同颜色的段，若有，则视为段邻接，接着将符合段邻接的区域合并为块，最后对得到的像素连通块轮流通过向左下与向右上寻找规则对应块进行遍历，将满足规则的像素点，将这些像素点依次放入轮廓链中，直到当前加入的像素点与起始点相同，判定轮廓链提取完成，结束遍历。整个算法流程如图4所示。

图4 有序轮廓链提取流程图

为了体现本文所述有序轮廓链提取方法的优势，使用以阈值分割为基础的Canny边缘提取方法作为对比实验，与本文有序轮廓链提取方法对比，所得结果如图5所示。由图5可知，基于阈值分割的Canny边缘检测，其鲁棒性较差。对于图像内的噪声、杂物不能很好的进行排除，相对而言，本文所提出的方法其提取效果较为稳定，不论是图像噪声或是杂物均能被有效的排除。实现目标区域有序轮廓链的稳定提取。

图5 轮廓提取方式对比图

2.3 基于曲率的图像轮廓特征点提取

在上一节中通过基于像素提取的有序轮廓链提取，可以获得嫁接幼苗俯视图的轮廓链信息，单像素的轮廓链实质上是一个点集，因此将轮廓链视为一条离散的二维曲线，则可以通过分析轮廓链的曲率信息，提取边缘特征，进而在轮廓链中寻找有关生长点的特征点，根据有序轮廓链的提取流程，可以看出轮廓链是以某一点为起始点，按图像边缘顺时针的顺序存储于数组中，因此可以将某一点的位置序号作为横轴，以曲率值作为纵轴，计算建立曲率信息图。

对于离散曲线C(Pi(xi，yi))而言，在点Pi处的曲率计算需要借助到其前置点Pi-1与其后置点Pi+1，将3点视为二次曲线函数上的3点，根据一般二次曲线参数方程，可得：

结合3点坐标(xi，yi)代入上述方程可以获得一组由6个式子组成的线性方程组。不妨使用相邻两点的线性距离来约束参数t的取值范围，则有

且对参数t做出如下规定：

则曲线的参数方程可以拓展为：

对该矩阵求逆，代入Pi-1，Pi，Pi+1，即可求得参数 (a1，a2，a3)以及 (b1，b2，b3)的值，而(x，y)在参数方程下的一阶导数与二阶导数为：

由此可得，离散曲线在点Pi处的曲率为

根据该曲率算法对嫁接苗进行边缘曲率特征分析，原图以及分析结果如图6所示

图6 嫁接苗曲率图像

可以看到，轮廓曲率图像中有若干个极值点，而极值点中分别有最大值最小值两个点，将其作为特征点在原图中进行标注，其结果如图7所示。

图7 曲率特征点

可以看到，曲率图像反应出的特征点十分明显，而映射至图像上，并不能定位到有关于图像生长点的信息。考虑其根本原因在于曲率反应的是曲线的弯曲程度，而图像在生长点周边区域的曲线弯曲程度实际上与子叶其余部位相似度较高，因此单纯的曲率在图像生长点特征的识别上优势不大，需要有一种更能体现子叶生长点区域特征的办法。

2.4 基于链角的图像轮廓特征点提取

根据2.3的分析，为了能更好的反应子叶轮廓特征信息，本文将采用链角的方式对图像轮廓链进行特征计算并以此结果作为嫁接苗生长点的检测依据。

定义点Pi(pxi，pyi)处的链角即向量PiPi-1与向量PiPi+1所称夹角，其计算公式为：

由于链角描述的是当前像素点与其相邻两点之间夹角的大小，因此，相较于曲率对曲线弯曲程度的描述，链角可以更好的反应每一个像素点上的弯曲特征，更有利于嫁接苗生长点区域的特征识别。但是，链角由于其描述方式，更容易受到边缘噪声的影响，若将轮廓信息以点集的形式体现在数据表中，如图8所示的情况下，则可以看到其边缘对曲线的描述是以像素点的阶梯状排列实现的。

图8 图像边缘部分像素点排列图

为了避免这种情况产生不必要的特征点，本文定义跨距k为与当前像素点距离为k的两个点，则点Pi处基于跨距k的链角计算公式为：

经过多次实验认为，以5为跨距既能减少上述情况造成的特征点噪声，又可以尽可能地保留嫁接苗轮廓特征信息。因此选择跨距k=5对嫁接苗的轮廓链进行链角计算，所得轮廓链以及对应的链角信息如图9所示。

图9 轮廓链及其曲率变化图

图9中横轴表示的是点在有序轮廓链中的位置，纵轴表示的是该点处链角的值。从图中可以看到，链角信息出现了5个明显的特征位置，考虑到轮廓链的提取方式为从子叶顶端附近开始顺时针提取，以及结合上一节中曲率值的特征点，可以做出判断，对于图9 b中所示的中间部分的特征值，可以认为是由图像中子叶底端的链角变化展现出的特征。而经过实验可以发现，对于子叶顶端位置特征较弱的图像而言，则没有这一部分的曲率变化，如图10所示轮廓链及其链角信息图。

图10 子叶末端特征较弱轮廓链及曲率变化图

为了减少子叶顶端轮廓链链角变化特征对生长点区域特征点识别造成的影响，且考虑到植物子叶一般具有一定的对称性，将子叶轮廓链以中间位置为分割点将其分成两个部分，随后分别排除这两部分的头尾轮廓点，只对中间部分进行链角计算，如图11所示，并分析这两段轮廓曲率信息中各自的极大值与极小值，便可定位子叶根部生长点区域拐角位置。曲率信息图以及定位结果如图12-13所示。

图11 嫁接苗轮廓链分段图

图12 分段轮廓链曲率信息

图13 曲率特征点定位图

将通过曲率特征定位获得的4个特征点视为四边形的4个定点，按逆时针的顺序将其命名为(i=1，2，3，4)，每段曲率的极大值与极小值点分别对应为特征点的P1，P2与P3，P4，则生长点的定义为：P1，P4所在直线与P2，P3所在直线的焦点即为嫁接苗俯视图生长点位置。其坐标公式为：

将不同图像的生长点提取结果用白色像素点标识出来，如图14所示

图14 生长点提取结果

2.5 侧视图生长点识别

基于嫁接幼苗俯视图的生长点定位，其确定的是俯视平面内的嫁接苗生长点坐标信息，而在全自动嫁接设备的嫁接过程中，只有准确知道生长点在空间中的坐标，才能对嫁接苗进行后续的嫁接操作，因此，有必要对嫁接苗侧视图进行生长点定位，获取生长点在俯视图垂直方向上的坐标。

在传统的嫁接苗苗茎参数提取方法中，一般采用检测边缘信息，根据边缘信息进行嫁接苗特征参数估算，或是使用线激光对嫁接苗进行照射，根据光斑信息估算嫁接苗特征参数等方法［15］，根据嫁接苗边缘信息进行的特征参数估算其一般需要用到拟合的方法，时间效率较低，而利用线激光照射嫁接苗的方法对终端设备要求较高，且由于线激光的特性，对周边光照条件要求较高。

因此，综合考虑到时间效率与设备轻便性，本文提出了一种基于嫁接苗侧视图单像素骨架的生长点及苗茎宽度检测方法。

本文所采用的骨架提取方法为ZS快速并行算法，该算法以目标像素的八邻域作为迭代运算的基础，分别判断当前8邻域内的点数、8邻域内顺时针像素值变化次数以及目标像素与其邻域点的像素值乘积，以此作为依据标记像素点，最后将所有被标记的像素点删除，剩下的像素点构成的即为图像的单像素骨架［16-17］。

对于本文所述嫁接幼苗侧视图，由于图像轮廓链的提取是以目标像素连通域为基础的，因此在提取轮廓链的过程中，将目标像素连通域作为目标区域，将图像二值化，随后将二值图按上述规则进行迭代，最终提取到嫁接苗侧视图单像素骨架信息，将骨架信息映射到二值图中，如图15所示。

图15 嫁接苗单像素骨架图

为了更好的描述本文的算法流程，下面将给出一些基本概念。

（1）8邻域：指目标像素点周边8个像素，以中心像素为目标像素，按顺时针的方式对周边8像素进行编号，如图16所示。

图16 8邻域

（2）分叉点：当前像素点8邻域内像素值不为0的点的数量大于等于2个，则规定当前点为分叉点。当嫁接苗侧视图图像进行单像素骨架提取时，其提取结果应如图10所示，其子叶、苗茎主干部分应为单像素曲线，3部分的骨架曲线应汇聚于某一三分叉点，若图像中3部分骨架汇聚点唯一，根据骨架不同的形态，将骨架汇聚点周边像素情况分为如图17所示几种情况

图17 骨架汇聚点情况图

可以看到，在这三种情况下，骨架的三叉点并不唯一，为了准确定位骨架汇聚点位置，对汇聚点的判定做出以下规则：

A.当前点8邻域内，P4，P5，P6位置有且仅有一个像素点。

B. 当前点 8 邻域内，P1，P2，P3，P7，P8位置有两个不相邻的像素点。

将该点定义为骨架汇聚点，即嫁接苗侧视视角下生长点位置，如图18所示。

图18 侧视图生长点定位

需要注意的是，尽管在图像采集时通过幕布已经尽可能减少了图像噪声对图像分析结果的影响，但是仍然有可能性会受到噪声的影响，如图19所示。引起这种情况的原因主要为图像采集时，光照、杂物等影响导致的目标像素连通域提取误差，进而导致图像二值化误差，最终使得骨架分叉点增多，面对这种情况，客观上讲，可以通过及时清理土壤等杂物、稳定嫁接时的光照等因素来解决，而主观上来讲，由于图像采集系统设计时，侧视图嫁接苗夹持部位应为生长点靠下方位置，夹持点则位于摄像头正中心位置，因此可以以图像中心位置为基础，向外设置骨架点遍历的边界，排除子叶、苗茎因为外部条件而出现的骨架末端毛刺情况，进而使生长点位置搜索更为准确。

图19 侧视图多分叉点情况

3 结果与分析

3.1 俯视图生长点定位实验

以西瓜幼苗的砧木苗作为本次生长点定位实验的实验对象，选取50株西瓜砧木苗进行图像的采集和俯视图生长点的定位实验，取其中5组样本为例，其生长点定位坐标与实际坐标以及误差情况如表1所示。

表1 俯视图生长点定位误差表

在西瓜砧木苗俯视图生长点定位实验中，其横轴方向上与纵轴方向上共同最大误差为5个像素、最小误差为1个像素，两个方向各自平均误差分别为2.4像素，2.2像素。

3.2 侧视图生长点定位实验

以西瓜幼苗的砧木苗作为本次生长点定位实验的实验对象，选取50株西瓜砧木苗作为实验样本进行图像的采集和侧视图生长点的定位实验。取其中5组样本为例，由表2可知，对西瓜砧木苗侧视图生长点定位最大误差为4.0像素，最小误差为1像素，其横轴与纵轴方向各自平均误差为2.8像素、2.0像素。

表2 侧视图生长点定位误差表

4 结论

通常葫芦科砧木苗子叶分开情况下生长点定位采用霍夫变换对子叶进行椭圆拟合获取两片子叶所拟合椭圆的长轴线焦点，然而面对子叶形状较差或是子叶有破损情况下，椭圆拟合的结果可能差强人意，导致生长点误差增大。而椭圆拟合本身时间效率较低，一定程度上会拉低嫁接效率。

而本文所提出的基于有序轮廓链的葫芦科砧木苗生长点提取方法，通过葫芦科砧木苗视觉图像的目标像素轮廓链提取可以准确获得图像中砧木苗的边缘信息，进而通过计算链角的方式分析边缘曲率信息，以此获得砧木苗生长点坐标。该方法适用于子叶重合的砧木苗与子叶分开的砧木苗，且其平均误差小于3个像素，符合嫁接过程中对生长点位置的需求，适用于以插接法为主要嫁接方式的全自动嫁接机的研发。