基于U-Net的肉鸽养殖场机器人视觉导航路径识别方法*

朱立学，莫冬炎，官金炫，张世昂，王梓颖，黄伟锋

(1.仲恺农业工程学院机电工程学院,广州市,510225; 2.广东省林果机器人共性关键技术研发创新团队,广州市,510225; 3.广东中烟工业有限责任公司湛江卷烟厂,广东湛江,524000; 4.梅州市金绿现代农业发展有限公司,广东梅州,514000; 5.仲恺农业工程学院自动化学院,广州市,510225)

0 引言

肉鸽拥有肉质美味、有益健康、容易饲养且经济价值高等诸多优点,深受消费者喜爱。庞大的市场需求推动了我国鸽产业的快速发展,但当前肉鸽生产中的喂料、清粪等环节几乎都由饲养员手工完成,程序繁杂,劳动生产效率低;且肉鸽的生产值和生产指标依靠饲养员的经验,若饲养员经验不足会导致种鸽经济值下降[1-3]。近年来,肉鸽饲喂机器人、肉鸽养殖场清粪机器人等有越来越多的国内外学者进行研究,机器人自主导航是饲喂、清粪等环节自动化作业的基础和核心[4-5]。

目前,研究人员在室内语义分割路径识别方面展开了大量研究,但是在环境恶劣的肉鸽养殖场自主导航方面相关研究仍然缺乏[6-10]。室内路径识别方面已有较多的研究成果,例如王行风等[11]基于内部空间感知规律和层次认知的方法,动态构建和优化室内单元认知分层和编码以解决室内导航自主寻径的问题。Padhy等[12]针对无人机在室内无GPS信号的情况,利用基于DenseNet卷积神经网络的视觉系统进行导航,该方法主要是对无人机的航向进行分类,以指导无人机在室内飞行。Sato等[13]针对离散时间一阶提出一种PID控制系统设计方法,提出的设计方法已扩展为自适应控制,可以很好地控制农机在未知或时变的复杂路径自主导航。季宇寒等[14]基于激光雷达设计了巡检机器人导航系统,可实现机器人在室内环境下的精准定位、路径规划和自主导航,试验结果表明,在1 m/s的速度下,位置与航向偏差的平均绝对误差MAE分别小于5 cm和1.1°,标准差SD分别小于5 cm和1.5°。

在肉鸽养殖场中,由于有鸽毛、鸽粪的遮挡加上阳光强度多变的道路环境,用传统的图像处理方法较难稳定实时地生成道路信息。为此,本文提出一种基于U-Net的肉鸽养殖场视觉导航路径识别系统,采用标图软件制作道路数据集、采用全卷积神经网络训练数据集,生成语义分割模型;对分割图像进行二值化方便获取掩码区域获取边缘点像素坐标,采用等比例导航法生成拟合导航点,最后通过最小二乘法曲线拟合生成所需的导航线。

1 路径识别方法

1.1 语义分割网络选取

肉鸽养殖场大多采用半封闭式结构,棚顶采用铁皮铺设,四周镂空或者采用透明塑料布进行遮挡,随着阳光的变化,道路容易出现阴影、强光、弱光、局部光斑等情况;除了外界的影响,鸽毛、鸽粪的堆积也会使得道路出现阴影残块。因此,设计一套基于深度学习的视觉导航系统是实现肉鸽养殖场机械化作业的基础。

FCN、PSP-Net、U-Net等是常用的经典语义分割算法[15-16]。FCN是Long等[17]在2015年提出,第一次实现基于深度学习的语义分割网络任意图片大小输入,FCN首先进行卷积化再通过反卷积进行上采样,最后通过跳跃结构将所有的池化结果融合在一起,实现分割。但FCN也有明显的缺点,上采样过程不够精细、对输入图像细节的处理不够敏感,跳跃结构忽略了像素之间的关系、缺乏空间一致性,导致分割精度低。PSP-Net网络主要使用了残缺网络、空洞卷积以及降维卷积,其核心是空间金字塔模块,通过该模块可以更加有效地提取图片的局部和全局信息,弥补了FCN网络的中像素类别易误分割的问题,但PSP-Net网络忽略了整体的场景信息。Ronneberger等[18]在MICCAI会议(2015年)上提出了U-Net网络,U-Net网络有效地融合了图像隐藏的多层细节信息和表明环境信息,能够实现精准分割,故被广泛应用在图像处理问题中。U-Net网络结构如图1所示,网络总体上采用U型上下采样结构及编码解码结构,左边为编码部分,右边为解码部分。编码部分由4个下采样模块组成,每个输入图像大小为(512,512,3),经过5次3×3卷积和4次最大池化2×2得到[256,256,64]、[128,128,128]、[64,64,256]、[32,32,512]、[32,32,512]共5个有效特征层。解码部分由4个上采样模块组成,编码部分得到的5个有效特征层用于特征融合,在进行特征融合时先进行双采样以便于网络构建和更好的通用性,最后得到的输出的分割图像和输入图片的高宽相同。在预测结果时,利用1×1卷积将通道数调整为2。

图1 U-Net网络结构

本文将上述3种网络在相同的肉鸽养殖场内进行路径数据集训练,将训练所得的模型分别应用于养殖场道路分割,通过对比3种网络模型训练的准确率、交并比、召回率以及路径的实际分割效果,选出分割效果最佳的U-Net网络。

1.2 等比例导航线提取

1.2.1 边缘点坐标提取

肉鸽养殖场道路通过语义分割网络得到的分割图像大多呈不规则三角形形状,道路的分割效果凹凸不平、掩码区域断层,本文用逐行扫描法能够准确提取路径左右两侧的边缘点像素坐标,由边缘点像素坐标可得到导航线,再通过最小二乘法拟合成导航线,导航点提取流程如下。

1) 图像二值化处理。对语义分割后的图像进行二值化处理,黑色的RGB为(0,0,0),红色的RGB为(255,0,0),道路可行区域为红色,其他区域为黑色背景。

2) 边缘点提取。如图2所示,取图像下沿左顶点为扫描的起点,从左往右进行扫描,当像素点的阈值小于180时输出为1,阈值大于180时输出为2。在一行的扫描中,如果某两个相邻像素点的输出从1变为2,则认为该点为掩码区域的左边缘点;当某两个相邻的像素点的输出从2变为1,则认为该点为掩码区域的右边缘点。

图2 边缘点提取流程图

1.2.2 等比例导航点获取方法

传统的导航点获取是根据两侧边缘点求中点,但根据肉鸽养殖场自主作业的要求,机器人底盘若以中线为导航线,在饲喂时会碰撞到鸽笼。肉鸽养殖场道路宽1 m,底盘宽0.7 m,底盘前进方向需偏左前进,右轮距离鸽笼的距离要大于0.2 cm,所以本文提出一种等比例导航点获取法以保证底盘偏左稳定导航,底盘中线实际偏离道路中线的距离可以取等比例的分割图像导航点到两侧边缘中点的像素距离。

(1)

(2)

y3=y2=y1

(3)

式中:k——等比例系数;

d——道路宽度;

x——向左偏的距离;

(x1,y1)——左侧边缘信息点坐标;

(x2,y2)——右侧边缘信息点坐标;

(x3,y3)——导航点坐标。

掩码区域和拟合导航点生成的效果图如图3所示。

图3 养殖场道路识别

从图3中可以看出,本文提出的掩码区域边缘信息提取方法对肉鸽养殖场道路路况有着较好的适应性和可行性,可生成与道路边缘弧度相适应的拟合导航点。为了提高导航的鲁棒性,需要选择合适的直线拟合算法对拟合导航点进行拟合形成导航线。最小二乘法直线拟合可以快速求得未知数据,且所求得的未知数据与真实数据的均方误差最小[19-20]。

1.2.3 基于最小二乘法的导航路径拟合算法

在有阳光的情况下,道路尽头会出现反光或逆光导致边缘信息提取不正确,为此,本文采用半导航线方法,只对分割图像的下半部分拟合点采用最小二乘法拟合导航线。

假设一张图片得到N个拟合点数据(xi,yi),i=1,2,3…,N,拟合点yi的偏差的加权平方和最小,即式(4)的值最小,如式(4)所示。

(4)

式中:a——截距即y和竖轴的交点纵坐标;

b——斜率。

式(4)中分别对未知量a、b求偏导,如式(5)所示。

(5)

解方程组得到a、b的最佳估计值,如式(6)所示。

(6)

相关系数r的定义如式(7)所示。

(7)

基于上述公式推导,对肉鸽养殖场拟合导航点进行最小二乘法直线拟合,生成肉鸽养殖场导航路径。根据最小二乘法直线拟合原理可得,当拟合效果越好时相关系数r的绝对值趋向于1,导航精度相对越高。若r的绝对值趋向于0,说明拟合的直线相关性不大,拟合无意义,导航精度低。

2 试验与分析

为了测试本文提出的等比例导航方法在环境恶劣的肉鸽养殖场具有稳定性、准确性以及鲁棒性,分别进行了网络模型训练和自主导航试验。

2.1 试验场地与设备

肉鸽养殖场机器人自主导航试验在广东梅州金绿现代农业有限公司的兴宁鸽子场完成。肉鸽养殖场为半封闭式结构,棚顶铺设铁皮,四周采用透明塑料布进行遮挡,4组1.35 m×46 m规格鸽笼按照行距1 m的标准布置,形成长50 m、宽10 m的肉鸽养殖场。

在Linux系统下,搭建基于Pytorch框架的U-Net网络算法环境。训练模型的硬件配置为CPU:8-Core Carmel ARM v8.2 64-Bit,运存32 GB,显卡英伟达NVIDIA VoltaTM。

2.2 网络模型训练

训练前,在制作的数据集中随机抽取2 250张图像作为训练集,250张作为验证集,500张作为测试集,图像分辨率统一为512像素×512像素。本文选用AMSGrad自适应学习率优化器在训练的过程中可动态调整学习率,迭代次数为200,每次迭代的样本数为64,初始学习率为0.000 1,学习率衰减因子为0.1。

U-Net使用3、4、5组上采样和下采样分别进行训练,损失函数曲线如图4所示。从图4中可以看到,模型的训练损失值总是小于测试损失值,U-Net模型的损失值在前30次迭代周期内衰减比较剧烈,在30次迭代之后损失值波动不大,逐渐趋于稳定。

(a) 3组上下采样的U-Net网络

3种网络模型的训练结果如表1所示,其中U-Net网络的4组上下采样模型的测试集准确率、交并比和召回率分别为98.48%、96.21%和99.05%。与PSP-Net和FCN模型相比,U-Net网络4组上下采样模型训练效果较好,在准确率、交并比和召回率三个指标中都略胜PSP-Net、FCN网络,通过训练指标发现,U-Net网络具有优越性,因此本文采用U-Net4组上下采样网络训练生成的权重进行肉鸽养殖场语义分割。

表1 模型训练结果对比

2.3 试验结果分析

2.3.1 语义分割效果

本文对比了三种语义分割算法,三种算法对养殖场道路的分割效果如图5所示。

(a) U-Net

PSP-Net网络过分割即把鸽笼下的鸽粪也识别为道路;FCN网络对道路分割不充分,道路的边缘无法实现精准分割;U-Net网络能够精准把道路分割出来,从图中可以看出,U-Net的分割效果相对于PSP-Net、FCN是较好的,能够完整地分割出道路。通过现场试验发现,U-net算法可以有效克服鸽粪和羽毛等对视觉导航的影响,故本文选择U-Net网络训练生成的权重进行肉鸽养殖场语义分割。

2.3.2 自主导航试验

自主导航试验分别在3种不同光照强度(强光:鸽舍外为晴天,有太阳光照射使得道路产生阴影;正常光:鸽舍外为晴天,有太阳光照射但道路不产生阴影;弱光:鸽舍外为阴天,无太阳光照射)和2种路况下进行,语义分割结果如图6所示。

(a) 强光照强度,有鸽粪

由图6可得本文采用的网络模型对肉鸽养殖场道路主干部分的分割效果受光照强度和鸽粪的影响不大,即使在不同光照强度和路况条件下,掩码区域边缘信息提取方法可以较好地获取道路形状,进而采用等比例导航获取不同道路形状的拟合导航点,通过最小二乘法拟合直线得到目标导航路径。目标导航路径为底盘前进方向距离左侧鸽笼0.2 m处。

自主导航的横向偏差和航向偏差如表2所示,在强光照强度下,最大横向偏差小于0.09 m,有鸽粪和无鸽粪的道路横向绝对平均偏差分别为0.035 m、0.036 m,横向标准偏差分别为0.023 m、0.027 m。在正常光照强度下,最大横向偏差小于0.06 m,有鸽粪和无鸽粪的道路横向绝对平均偏差分别为0.017 m、0.018 m,横向标准偏差分别为0.013 m、0.014 m。在弱光照强度下,最大横向偏差小于0.07 m,有鸽粪和无鸽粪的道路横向绝对平均偏差分别为0.024 m、0.03 m,横向标准偏差分别为0.016 m、0.024 m。可得在有鸽粪的条件下横向绝对平均偏差小于0.04 m、标准偏差小于0.03 m,无鸽粪时由于背景和道路环境相似,路径分割的精度和导航线提取有所影响,导致导航的绝对平均偏差和标准偏大稍微比有鸽粪时大。在强光照强度下,航向偏差的最大值、平均值和标准差分别小于15°、3°、3°。在正常光照强度下,航向偏差的最大值、平均值和标准差分别小于10°、2°、2°。在弱光照强度下,航向偏差的最大值、平均值和标准差分别小于11°、2°、2°。在有鸽粪的条件下航向偏差的最大值、平均值和标准差分别小于10°、3°、2°,在无鸽粪的条件下航向偏差最大值、平均值和标准差分别小于15°、3°、3°。

表2 导航的横向偏差及航向偏差

已知所在肉鸽养殖场的道路宽度为1 m,横向标准偏差平均值和横向绝对偏差平均值为0.019 5 m、0.027 m,航向标准偏差平均值和航向绝对偏差平均值为1.657°、1.95°。在肉鸽养殖场中四轮驱动底盘的正常行驶速度为0.5 m/s,路径分割每张图像的平均处理时间为0.074 s,说明本文提出的路径识别方法在鸽舍实地环境中具有较好的准确性和实时性,可满足自主导航的要求。

3 结论

本文针对室内弱卫星信号下肉鸽养殖机器人自主导航容易卫星信号中断、鸽毛鸽粪影响导航精度的问题,提出了一种基于U-Net全卷积神经网络的肉鸽养殖场语义分割方法,并研制了样机。

1) 通过对比FCN、U-Net、PSP-Net三种网络发现U-Net网络的分割效果是最佳。U-Net最优模型训练的测试集准确率、交并比和召回率分别为98.48%、96.21%和99.05%。可见本文训练的模型权重抗干扰能力强,用于肉鸽养殖场语义分割具有较高的准确性和鲁棒性。

2) 通过现场试验发现,U-net算法可以有效克服鸽粪和羽毛等对视觉导航的影响,故本文选择U-Net网络训练生成的权重进行肉鸽养殖场语义分割。

3) 已知肉鸽养殖场的道路宽度为1 m,四轮驱动底盘的正常行驶速度为0.5 m/s,语义分割每张图像的平均处理时间为0.074 s。在不同光照和路况条件下,机器人自主导航的横向标准偏差平均值和横向绝对偏差平均值为0.019 5 m、0.027 m,航向标准偏差平均值和航向绝对偏差平均值为1.657°、1.95°。可见本文提出的路径识别方法在鸽舍实地环境中具有较好的准确性和实时性,可满足自主导航的要求。

在本次试验中发现机器人在转弯处出错率较高,往后研究将深入研究养殖场转弯算法,提高自主转弯成功率且加入避障算法,使机器人完全自主在室内养殖场进行作业。