基于三维视觉的苹果采摘姿态估计算法研究

2023-03-01 08:05胡凯莹高瑞龙桂鹏辉岳嘉良周乔君
电子制作 2023年2期
关键词:内点球面质心

胡凯莹,高瑞龙,桂鹏辉,岳嘉良,周乔君

(中国计量大学 计量与测试工程学院,浙江杭州, 310018)

0 引言

果实采摘是其生产链中的一个最耗时最费力的环节,果实的采摘具有较高的技术要求,需要技术经验丰富的采摘工人佩戴手套采摘,根据市场的需求决定是否需要裁剪果实的梗,保证果实在堆放时不会有碰撞刮伤,果实采摘的质量直接影响到之后果实能否长期存储和运输,影响其经济价值[1~2]。由于果树上果实与枝条位置关系复杂,在采摘过程中经常发生抓手被树枝卡住或抓手将果实和枝条一并抓到的情况,可能会导致果实损伤、果树损伤,甚至使机器人受损[2~3]。在现实生产中,经验丰富的采摘工能够根据果实的生长姿态采取相应的采摘方式,可以灵活地避开树枝精准地抓取到果实,并将果实安全地放置在果实框内,为使机器人能够模仿采摘工的采摘方式,就必须先要感知果实的生长姿态,因此研究果实在树枝上的生长姿态具有重要意义。

目前视觉传感技术已经有较高的提升,平面视觉和三维视觉对自动化带来了更多的可能,有学者将视觉传感技术用于果实的视觉和定位,已有部分算法可以进行果实的姿态估计,但多数是根据果实纹理信息估计的二维姿态,三维姿态的算法存在运算量大的缺陷,受限较多[4~6]。鉴于这些问题,本研究将先通过果实及其附近点云来获取果实质心以及果实邻域内枝条的拟合直线,以点与线的空间关系来估计果实在树枝上的生长姿态。算法的主要流程如下:首先是果实的识别和分割,通过目前已经非常成熟的YOLOv3网络模型在彩色图像上识别和分割果实[7~9];然后对目标果实进行定位,提取识别框内部的点云,使用RANSAC算法拟合果实球面;接着计算距离果实最近的枝条直线,用RANSAC算法在目标果实邻域空间内拟合距离果实最近的树枝直线;最后以球心到树枝直线的垂线方向作为采摘果实的最佳采摘方向,这样有利于降低抓手被树枝卡住或误抓树枝的情况,可以提高采摘系统的自适应能力,从而提高采摘成功率。

1 系统概述

■1.1 苹果采摘系统概述

由于要获取较为精确的果实位置和姿态,所以需要使用RGB-D相机,同时也要机械臂能够做出适应果实姿态的动作,所以需要使用一款六轴机械臂,苹果采摘系统的示意图如图1(a)所示,此系统采用眼在手外的安装方式,将相机固定在六轴机械手的底座位置,这样可以使相机的空间与机械臂的可工作空间有较大的重叠,提高整个系统的作业空间;由于果实的叶子为最大程度地接收太阳光照,多为向上平铺分布,而果实由于重力作用大多在树叶下侧,故相机采用向上倾斜的安装方式,这样可以有效降低树叶对果实和树枝的视野遮挡,提高识别成功率。机械臂选用六轴机械臂,可以根据相机定位信息准确到达目标点,也可以按照姿态估计算法计算出来的果实方向调整机械臂末端接近果实的方向,达到减少机械臂与树枝碰撞的情况;末端执行机构为带有硅胶垫的三指抓手,硅胶垫可以增加与果实的摩擦力,防止发生滑动,同时硅胶垫也起到保护果实的作用,三指抓手可以更加稳定地抓取果实。

图1 采摘系统和采摘姿态示意图

■1.2 树上果实姿态定义

图1(b)展示了本文设定的果实采摘姿态,红色物体为苹果的模型,棕色物体为距离目标果实最近的树枝,此树枝不一定是附着果实的枝条;其中点O为通过RANSAC算法拟合出来的果实的质心,直线AB为通过RANSAC算法拟合出来的距离目标果实最近的枝条直线,图中向量OC垂直于直线AB,点C为垂足,定义抓手采摘果实的方向为向量OC的方向,让六自由度机械臂的末端抓手以向量OC的方向去接近目标果实的位置O,闭合抓手执行采摘动作,这样可以降低末端执行器在接近果实的过程中抓到树枝的可能性。

2 采摘姿态估计算法

■2.1 算法流程介绍

如图2所示,(1)先使用3D相机获取果实区域的图像,获取的图像包括彩色图像和深度图像,彩色图像里有视野中的颜色信息,深度图像中有视野中物体的距离信息,通过已经训练好的YOLOv3图像识别算法识别和分割果实区域图像,将此区域的深度图像转换为点云,供后续步骤使用;(2)接着进行果实质心的计算,因为无法直接找到果实的质心,需要进行近似处理,将苹果近似视为一个球体,以球体的球心为果实的质心,对果实区域内部的点云通过RANSAC算法进行球面拟合[10],得到果实的近似球面;(3)找到果实的质心即可寻找距离果实最近的枝条,这时仅需考虑距离果实一定区域的点云即可,可以大幅降低运算量,使用RANSAC算法对果实邻域空间内的点云进行直线拟合,得到距离果实最近的树枝直线;(4)得到果实的质心以及距离果实最近的枝条直线,即可通过空间几何关系,计算出过球面中心点且与树枝直线垂直的直线,如图1(b)中OC方向即为所求方向。

图2 姿态估计算法流程图

■2.2 基于RANSAC算法的球面拟合与直线拟合

RANSAC为(Random Sample Consensus)的缩写,此算法是根据一组包含异常数据的样本数据集,计算出有效数据的数学模型参数,得到有效样本数据的算法。RANSAC算法经常用于计算机视觉中,如在三维视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算。

RANSAC算法的基本假设是样本中包含正确数据(inliers,可以被模型描述的数据,可以适应数学模型的数据),也包含异常数据(outliers,偏离正常范围很远、无法适应数学模型的数据),这些异常数据为也就是噪声,称这个数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设,给定一组正确的数据,存在可以计算出符合这些数据的模型参数的方法。RANSAC算法是最流行的稳健估计工具之一,特别适合用于处理含有噪声和异常值的数据,三位相机获取的点云中有一些波动和异常数据,也会存在分布在目标前方的树叶等表面的点云,这些点云对我们的计算是有干扰的,对于计算来说是噪声,可以用RANSAC算法来降噪,同时拟合相应的模型,图3是RANSAC算法流程图。

图3 RANSAC算法流程图

首先随机抽取样本点,样本个数为所模型最小需求个数,球面拟合至少需要四个样本点,直线拟合需要至少两个样本点。然后以样本点进行目标模型的计算,确定一个样本模型。然后计算其他点是否满足设定的目标条件,对于球面目标条件为点到球面的最小距离是否满足阈值条件,对于直线,目标条件为点到直线的距离是否满足阈值。把满足目标条件的点定义为内点,记录这个样本模型的内点数量,通过迭代计算出内点数最多的模型参数,也就是最优的模型参数。本文采用RANSAC法来处理所得点云,进行果实球面的拟合以及距离果实最近枝条的直线拟合,拟合过程如下。

对于果实球面拟合,目标模型为球面方程(1),其中a,b,c为球心的x,y,z坐标,r为球面的半径。空间中四个不在同一平面的点可以确定一个球面,先在所有点中随机抽取四个点来拟合一个初始球面。然后筛选内点,内点的筛选条件为不等式(2),即距离此球面的距离不超过球面半径的五分之一的点归类为内点,统计所有情况中内点数量最多的模型参数作为最终参数。

距离果实最近的枝条直线,是使用果实周围的点云进行拟合的,目标模型为直线方程(3),空间中两个点即可确定一条直线,所以先在点云中随机抽取两个点拟合一条初始直线,内点筛选条件为d≥10mm,其中d为点到目标直线的距离,即距离直线的距离小于10mm,视此点为内点,10mm为一个固定阈值,是根据果实可能生长得最粗直径设定的,见方程(4)。

■2.3 果实采摘姿态估计

果实的采摘姿态为从果实质心出发到与附近枝条最近点的连线方向OC,O点为球心,则仅需计算点C坐标。因为AB垂直于OC,且点C在直线AB上,同时也在直线OC上,所以可以通过方程组(5)计算点C坐标。

3 实验与分析

本文通过对枝上果实进行重复性拍照实验,并用本文算法进行果实采摘姿态的计算,来测试算法的稳定性。测试一共获取了500组数据,将计算得到的所有方向向量绘制在图4(b)中,图4(a)是其中一组数据的点云图,其中红色部分为RANSAC算法提取出的果实表面的点云,除将部分树枝点云误判为果实表面的点云外,其他点都分布在果实表面,绿色部分为距离果实最近的枝条表面点云,辞职先的拟合较好,灰色部分为其他点云,主要是分布在果实周围树叶上的点云,可以排除部分树叶对计算结果的影响,拟合效果较好。

图4 估计结果分布图

图4(a)中箭头方向是实验结果图4(b)的平均,可以看到果实质心位置基本不变,变化较大的是C点,这与枝条的拟合结果有关,因为实验用的枝条截面半径远小于10mm,所以误差较大,计算每次结果与平均值的角度差,绘制了角度误差累积分布比例图,如图5所示。

图5 角度误差累计分布比例图

从图中可以看出角度偏差在10°以内的比例为62.66%,角度偏差在20°以内的比例为85.02%,此外所有角度误差的平均值为11.81°,标准差为13.65°,此误差在实际采摘工作中是允许的;另外经计算,此算法平均估计一个果实的采摘方向所用时间为0.54s,是能够满足实际采摘需求的。

4 结语

本文针对现有苹果自动化采摘系统中自适应能力不足的缺点,提出了一种通过计算果树与邻近枝条的空间位置关系来估计果实采摘姿态的算法,可以利用3D相机采集的果实及其周围空间的点云信息,拟合出果实球面和最近枝条直线,然后计算出直线上距离球心最近的点,将球心与此点的连线方向作为机械臂末端执行器采摘果实的方向,可以降低采摘过程中被发生碰撞的概率。最后设计实验,通过实验结果可以看出,若所允许的最大角度误差为20°时,估计结果有效率为85.02%,角度误差的平均值为11.81°,标准差为13.65°,平均每个果实所用时间为0.54s。算法的精度以及效率在实际果实采摘中是可以满足要求的,具有实用价值。

猜你喜欢
内点球面质心
重型半挂汽车质量与质心位置估计
关节轴承外球面抛光加工工艺改进研究
基于GNSS测量的天宫二号质心确定
拓扑空间中五类特殊点的比较
转体桥大直径球面平铰底部混凝土密实度控制
有序树的计数及其应用
球面检测量具的开发
深孔内球面镗刀装置的设计
区分平面中点集的内点、边界点、聚点、孤立点
基于罚函数内点法的泄露积分型回声状态网的参数优化