嵌入式采摘机器人视觉测量与避障控制系统研究

孙承庭，胡　平

(1.连云港职业技术学院 信息工程学院，江苏 连云港　222006；2.南京工业大学 计算机科学与技术学院，南京　211800)



嵌入式采摘机器人视觉测量与避障控制系统研究

孙承庭1，胡平2

(1.连云港职业技术学院 信息工程学院，江苏 连云港222006；2.南京工业大学 计算机科学与技术学院，南京211800)

摘要：采摘机器人拥有自主收集信息并进行有效判断的能力，可以独立完成对果实的采摘作业，对满足水果种植需求、减小水果种植的劳动力投入及降低生产成本有着很重要的实际应用价值。为此，以嵌入式ARM智控系统为基础平台，设计了采摘机器人视觉测量与避障控制系统。该系统集机器视觉、视觉传感感知、伺服电机驱动和ARM智控模块于一体，建立了采摘机器人采摘运动学的数学模型，并通过BP网络神经型迭代学习算法测量果实的距离和球心坐标，对成熟果实进行精准识别和定位采摘。试验结果表明：采摘机器人能准确地进行自主采摘，成功率比较高，躲避障碍物的能力很强，更适合在复杂未知的果园中进行收获作业。

关键词：嵌入式ARM；智控系统；机器视觉；BP网络神经；采摘机器人

0引言

作为水果出口大国，早在2009年，我国水果种植面积已经达到1 113.95万hm2。近年来，我国水果种植规模增速较快，水果种植正朝着多样化、高品质、智能化方向快速发展，而衍生出来的劳动力不足、工人用工成本高的问题也日益突出。因此，大力发展采摘机器人技术，加快我国现代化农业建设，将高新农业机械技术应用于水果种植产业是不可逆转的趋势。果蔬采摘周期一般比较短，在短时间对劳动力的投入较大，已是水果种植亟需解决的重大问题。西方等发达国家早已对采摘机器人进行了大量研究，但是采摘的成功率一直比较低。我国从事智能化采摘的研究人员很多，但是取得的进展也不大。本文基于嵌入式控制系统，采用最新机器视觉技术，利用图像处理和视觉传感器检测技术，主要对成熟果实的识别定位及躲避作业中的障碍物等问题进行研究，极大地提高了采摘机器人的适用性和可靠性。

1采摘机器人控制系统的整体设计

采摘机器人是涉及机械设计、电子信息工程、传感检测，以及人工智能、自动控制和运筹学等三元论的综合性学科，其涉猎范围广，技术要求高。采摘机器人一般可根据软件编程，控制图像处理系统对目标果实进行定位和识别，并且通过软件驱动控制伺服电机的运转，控制其各部分的正常工作，进而完成对果实的采摘作业。

1.1　采摘机器人机械部分的设计

要设计符合果农采摘流程要求的采摘机器人，首先需要建立完整的机械结构体系和电路控制体系。采摘机器人的机械结构如图1所示。

1.移动平台　2.收集箱　3.软带　4.采摘臂　5.水果入口处

该机器人以移动平台为基础，通过视觉传感器识别目标果实，然后通过双目视觉技术确定果实的三维坐标，通过伺服驱动系统驱动转折臂电机和采摘臂电机及升降平台的高度，调整采摘臂的位置进行精准采摘。

1.2　采摘机器人智能控制系统

拥有完整的机械结构体系，说明采摘机器人有了可以运作的硬件平台；但采摘机器人各部分的运作还需要软件的驱动，因此需要搭建智能电路控制系统。采摘机器人电路部分控制系统如图2所示。

图2　采摘机器人的电路控制框架图

1.3　采摘机器人机器视觉系统

机器视觉是采摘机器人对成熟果实的判别和定位的重要技术手段。视觉传感器根据图像处理系统和双目视觉技术可以获取果园中复杂环境和作业对象的信息，其主要目标是：①判断目标果实是否成熟；②对目标果实进行三维定位；③对机器人在果林中的运动轨迹进行有效优化。机器视觉是智能控制部分的核心系统，视觉传感器主要由CCD摄像机及图像处理系统两部分组成。通过视觉传感器捕捉图像信息，图像处理系统判断目标对象的数量、位置关系、形状等特点，将果实成熟和位置信息传送给机器人智能控制系统。采摘机器人机器视觉系统构架如图3所示。

图3　采摘机器人机器视觉系统构架图

该机器视觉系统搭配先进的视觉传感器FZ3，凝聚了“逼真色彩合成技术”，是欧姆龙公司独立开发的高新科技产品，可达到千万分辨率的RGB图像处理，比过去传统的单色处理的识别能力提高了数万倍，从而能更精准地检测和识别目标的成熟度。本文研究的智能采摘机器人采用该视觉传感器技术，大大地提高了对目标果实的正确判断率。

2采摘机器人图像采集和颜色分割的研究

2.1　采摘机器人的图像采集系统

采摘机器人进行图像采集是为了对视觉传感器获取的信息进行处理，其可以根据颜色空间和颜色特征对图像信息实现有效分割，增加视觉系统的时效性。本文主要针对目标果实进行研究，先利用视觉传感器采集果树上的果实图像，图像处理系统可以根据此时的静态图像信息判别成熟度和定位，然后根据颜色特征对图像进行有效分割，使目标果实和图像背景完全分割出来，以便更好地确定果实与树干之间的相对位置，从而判断出目标果实的空间坐标位置。采摘机器人图像采集流程图，如图4所示。

图4　采摘机器人图像采集流程图

该采摘机器人配备维视图像公司的MV-U2000图像采集卡。该图像采集卡可以通过标准数据总线与智能控制系统连接，器件采用10BIT A/D转换芯片，使图像更加清晰、色彩更丰富艳丽、实时性更强、采样频率更高，可以更好地实现对果实信息的采集和处理。

2.2　采摘机器人颜色分割的研究

采摘机器人系统进行图像处理时，需要提前建立RGB颜色空间，即颜色坐标系。颜色空间是色彩在空间直角坐标系中的排列方式，本文采用LAB颜色模型进行图形分割处理。LAB颜色空间分布比较均匀，主要包括颜色色彩和亮度两方面的空间信息图，其对任何关于色彩的计算都具有很强的实用性。LAB颜色坐标图如图5所示。

但是农作物种子的基因编辑革命已经实实在在地发生在农场里了。在Calyxt公司办公楼以南1小时车程的地方，该公司基因编辑大豆已经在62岁的农场主鲍伯·布朗（Bob Braun）的小山坡上郁郁葱葱地生长起来，远远望去就像一块绿色的地毯；靠近一些，还闻到淡淡的薰衣草花香。

图5　LAB颜色坐标图

如图5所示：LAB颜色空间是基于一种颜色不能同时为蓝和黄的理论基础建立的。单独一种色彩数值可用于描述红、绿或者黄、蓝。当一种颜色用CIE L*a*b*时，L* 表示明度值；a*表示红/绿及b*表示黄/蓝值。在进行色彩值计算时一般将LAB颜色坐标系转化为LCH颜色模型。LCH颜色模型三维坐标如图6所示。

图6　LCH颜色模型三维坐标图

如图6所示，CIE LCH颜色模型采用了同LAB相同的颜色坐标，但它是利用L表示明度值；C表示饱和度值，H表示色调角度值的柱形坐标。

RGB转化为LAB较为复杂，为实现采摘机器人控制系统成功将目标果实分割出来，计算公式为

(1)

将LAB颜色模型转化为三维空间坐标系的空间位置的计算公式为

(2)

采摘机器人采用视觉机器技术对果实图像进行采集，通过LAB颜色模型对果实成熟度进行判断，并通过图像分割方法测量出目标果实的空间直角坐标，最后通过正常成熟果实的颜色特征对所需测量的目标物体进行分割分析，根据BP网络神经型迭代学习算法与果实与目标物的色彩差异性求出各个模型之间的转化公式。

3采摘机器人避障控制系统的研究

采摘机器人在作业过程中常常会碰到果林中固定的障碍物或者穿插在果林中的工作人员，此时就需要采摘机器人有自主避开障碍物的功能。因此，建立良好的避障系统对减少采摘机器人可能因碰撞带来的损坏有很大的必要性。为了提前对避障路径进行规划，采摘机器人需要通过红外传感器来获知障碍物的大小、距离等详细信息。采摘机器人通过红外传感器感知障碍物的存在，可以提前求出通过障碍物的最优路径，一般在求最优路线时，可以断定最短路线时直线与圆弧的结合。对采摘机器人的避障路径采用数学建模的方法，有利于更好验证路线优化的效果。采摘机器人避障运动过程数学建模如图7所示。

图7　采摘机器人避障运动建模图

如图7所示：设定A(x1,y1)为起点、B(x2,y2)为采摘机器人需要达到的终点、C(x3,y3)和D(x4,y4)为采摘机器人躲避障碍物圆心F所走的圆弧路径,要使路径最短，则需要∠DFC的角度最小。假设∠DFC=θ，∠AFB=α, ∠AFC=β, ∠BFD=γ。则有

(3)

(4)

在△AFC中，有

(5)

在△BFD中，有

(6)

根据θ=2π-α-β-γ，即可求出∠DFC的角度，就可以得到采摘机器人躲避障碍物的最短路径。采摘机器人躲避障碍路径优化流程图如图8所示。

图8　采摘机器人躲避障碍路径优化流程图

4试验与结果分析

为了检验采摘机器人采摘控制系统的可靠性，验证采摘机器人是否能成功识别采摘成熟果实，能否在采摘作业过程中成功采摘目标果实，特将该系统应用到苹果采摘机器人中，并在某苹果果园中进行采摘试验。采摘试验结果如表1所示。

表1　采摘机器人采摘作业实验结果

由表1可知：在采摘作业的3次试验中，采摘机器人成功采摘苹果的准确采摘率都在90%以上，说明该采摘机器人视觉测量与避障控制系统采摘效率高、可靠性强，具有很广泛的应用前景。

5结论

本文根据水果采摘过程的各种要求，设计了基于嵌入式的采摘机器人视觉测量与避障智能控制系统。该系统采用高新视觉传感器，利用图像处理技术，结合嵌入式智能控制系统，果实的成功采摘率和正确识别率都比较高，达到了设计要求。试验结果表明：该采摘机器人具有实时测量并避障的功能，为未来智能采摘果实创造了条件。

参考文献：

[1]崔玉洁,张祖立,白晓虎.采摘机器人的研究进展与现状分析[J].农机化研究,2007(2):4-7.

[2]鲍官军,荀一,戚利勇,等.机器视觉在黄瓜采摘机器人中的应用研究[J].浙江工业大学学报,2010(1):114-118.

[3]张洁,李艳文.果蔬采摘机器人的研究现状、问题及对策[J].机械设计,2010(6):1-5.

[4]付宗国,王丽.基于ATmega32的遥控采摘机器人设计[J].电子设计工程,2012(4):151-154.

[5]冯青春,郑文刚,姜凯,等.高架栽培草莓采摘机器人系统设计[J].农机化研究,2012,34(7):122-126.

[6]吕继东,赵德安,姬伟,等.苹果采摘机器人对振荡果实的快速定位采摘方法[J].农业工程学报,2012(13):48-53.

[7]宋健.茄子采摘机器人运动学分析与工作空间仿真[J].潍坊学院学报,2008(4):1-4.

[8]刘长林,张铁中,杨丽. 果蔬采摘机器人研究进展[J]. 安徽农业科学,2008(13):5394-5397.

[9]宋健.茄子采摘机器人结构参数的优化设计与仿真[J].机械设计与制造,2008(6):166-168.

[10]方建军.移动式采摘机器人研究现状与进展[J].农业工程学报,2004(2):273-278.

[11]戚利勇.黄瓜采摘机器人视觉关键技术及系统研究[D].杭州：浙江工业大学,2011.

[12]吕继东.苹果采摘机器人视觉测量与避障控制研究[D].镇江：江苏大学,2012.

[13]王海青.黄瓜收获机器人视觉系统的研究[D].南京：南京农业大学,2012.

[14]顾宝兴.智能移动式水果采摘机器人系统的研究[D].南京：南京农业大学,2012.

[15]黄铝文.苹果采摘机器人视觉识别与路径规划方法研究[D].杨凌：西北农林科技大学,2013.

[16]项荣.开放环境中番茄的双目立体视觉识别与定位[D].杭州：浙江大学,2013.

[17]姚立健.茄子收获机器人视觉系统和机械臂避障规划研究[D].南京：南京农业大学,2008.

[18]宋健,孙学岩,张铁中,等.开放式茄子采摘机器人设计与试验[J].农业机械学报,2009(1): 143-147.

[19]宋婷.传感器在农业采摘机器人中的应用[J].农机化研究,2009,31(5):199-201,216.

[20]张健.欧姆龙将新一代通讯继电器生产线引入上海新厂[J].世界电子元器件,2013(4):66.

[21]姬江涛,郑治华,杜蒙蒙,等.农业机器人的发展现状及趋势[J].农机化研究,2014,36(2):1-4,9.

[22]陈利兵.草莓收获机器人采摘系统研究[D].北京：中国农业大学,2005.

[23]姜丽萍,陈树人.果实采摘机器人的研究综述[J].农业装备技术,2006(1):8-10.

[24]宋健,张铁中,徐丽明,等.果蔬采摘机器人研究进展与展望[J].农业机械学报,2006(5):158-162.

[25]徐铭辰,牛媛媛,余永昌.果蔬采摘机器人研究综述[J].安徽农业科学,2014,31:11024-11027,11057.

[26]赵庆波.果树采摘机器人控制与避障技术研究[D].镇江：江苏大学,2008.

[27]任烨.基于机器视觉设施农业内移栽机器人的研究[D].镇江：浙江大学,2007.

[28]戈志勇.番茄采摘机械手运动学仿真与避障算法研究[D].镇江：江苏大学,2007.

[29]宁志超.基于ATmega16的六自由度果实采摘机械手控制系统的设计[D].哈尔滨：东北农业大学,2010.

[30]王燕.黄瓜采摘机器人运动规划与控制系统研究[D].杭州：浙江工业大学,2010.

[31]张水波.柑橘采摘机器人末端执行器研究[D].杭州：浙江工业大学,2011.

[32]付中军.果蔬采摘机器人视觉技术研究及系统构建[D].沈阳：沈阳工业大学,2014.

[33]李占坤.果树采摘机器人控制系统研究与设计[D].镇江：江苏大学,2010.

Research on Vision Measurement and Obstacle Avoidance Control System of Picking Robot Based on Embedded System

Sun Chengting1, Hu Ping2

(1.Information Engineering College, Lianyungang Technical College, Lianyungang 222006，China; 2.Computer Science and Technology,Nanjing University of Technology, Nanjing 211800，China)

Abstract：Harvesting robot has the ability to collect information and carry out effective judgment. It can be used to complete the picking of fruit. It is very important to have a very important practical application value for fruit growing demand, reducing the labor input and reducing production cost. This paper takes the embedded intelligence control system as the basic platform to design and research the picking robot vision measurement and obstacle avoidance control system, the system in machine vision, sensory perception, servo motor drive and arm intellectual control module in one, established picking picking robot kinematics mathematical model, and through BP neural network type iterative learning algorithm for measuring fruit distance and center coordinates, to mature fruits were accurate identification and localization of picking. The experimental results show that the picking robot can carry out self picking accurately, the success rate is relatively high, and the ability of avoiding obstacles is also very strong, and it is more suitable for harvesting operations in complex unknown orchard.

Key words：embedded ARM; intelligent control system; machine vision; BP neural network; picking robot

中图分类号：S225；TP391.41

文献标识码：A

文章编号：1003-188X(2016)11-0219-05

作者简介：孙承庭(1969-)，男，江苏连云港人，副教授，硕士。通讯作者：胡平(1962-)，男，南京人，教授，硕士，(E-mail)Huping1962@qq.com。

基金项目：国家自然科学基金项目(612030702)；江苏省教育科学院现代教育技术研究所课题(2015-R-43034)；连云港市科技支撑计划项目(SH1110)

收稿日期：2015-09-10