自主导航农业机器人全方位视觉目标识别与跟踪研究

谭雪峰

(吉林工业职业技术学院，吉林 吉林 132013)

自主导航农业机器人全方位视觉目标识别与跟踪研究

谭雪峰

(吉林工业职业技术学院，吉林 吉林 132013)

随着我国信息化技术的逐渐提高，机械自动化、集成电路、智能控制系统和测试计量等行业得到了快速发展，使得移动机器人达到了一个全新的高度，农业机器人也因此被广泛应用。在机器人众多研究问题中，全方位视觉的目标识别与跟踪一直是比较复杂并较难解决的问题。为此，基于全方位的自主导航技术，根据农业机器人工作特点和运动特性，建立了机器人工作空间的环境模型，提出了一种陆标导航和运动目标跟踪系统的视觉伺服方案，开发了以 DSP控制器为核心的全方位视觉图像处理系统。试验结果表明：所设计的农业机器人全方位视觉目标识别与跟踪系统精准度高，可靠性和实时性强，各项性能指标优。

农业机器人；全方位视觉；目标识别；自主导航；DSP

0 引言

农业机器人在复杂环境下能够进行农业生产应用，其通过环境感知、动态决策、行为控制与作业等程序软件控制，能够适应各种繁琐的田间作业，具有感知作物种类或环境变化的功能，可以根据最开始的任务安排重新进行分解和规划，并通过智能控制器控制动作执行机构进行作业操作，是一种具有视觉检测和计算能力的自动操作机械设备。农业机器人主要机械结构部分包括可移动载体平台、底盘驱动系统、机械手臂、横向滑动装置和执行器。其载体平台非常重要，它是机器人的基础，可以直接影响机器人运动过程中的灵活性和控制操作的复杂性。

农业机器人的机械结构总体设计包括左右履带、动力装置、电动机及传动装置、转动轴和电机间连轴器、传感器系统等，如图1所示。

1 农业机器人传感器系统设计

农业机器人对环境感知及精准执行作业操作离不开传感器系统的信息采集。该机器人传感系统种类和功能较多，主要包括PSD光电传感器、三维数字罗盘及光电编码器等，这些传感器为机器人目标识别与导航跟踪提供了依据。

图1 农业机器人机械结构总体设计Fig.1 The general design of the mechanical structure of agricultural robot

位置传感器(PSD)是一种新型敏感探测的半导体器件，内部为PN结，具有高灵敏度、高分辨率、响应速度快和配置电路简单等优点。PSD传感器的工作原理是基于横向光电效应，采用三角测距原理对入射光位置进行测量以确定目标物体的位置与角度信息。作为新型传感器件，PSD已被广泛应用在兵器制导和跟踪、工业自动控制或位置变化等位置坐标精确测量领域中，该农业机器人前端装载了2个 PSD光电传感器。PSD光电传感器进行距离测量采用光学三角测距原理，工作示意图如图2所示。LED灯发出光源，经透镜L1后射向待测物体表面，再通过平面镜发射由透镜L2聚焦后射至PSD上，形成一个光电。假设透镜L1与L2之间的距离为b，透镜L2与PSD之间距离为f，PSD聚焦光点到透镜L2中心的距离为x，那么根据相似三角形几何原理，可以准确测出待测物体的距离h，计算公式为

h=bf/x

(1)

图2 光电三角测距工作示意图Fig.2 The schematic diagram of photoelectric triangulation

在机器人中安装三维数字罗盘，可以得到机器人在移动中的前进方向、左右倾斜角和前后翻滚角，进而计算机器人的三维空间位置。三维数字罗盘的计算公式为

(2)

其中，θ是机器人前行时的偏航角；φ是机器人前行时的倾斜角；△u是机器人前行的位移增量；△θ是机器人前行时的偏航角增量。机器人移动距离越大，误差也会越大，通过三维数字罗盘的精确航向值来校正，能极大程度地减少位置信息误差，加强机器人自主导航的精准度。

2 全方位视觉图像系统的设计

基于DSP嵌入式处理器的全方位视觉图像系统以全方位视觉伺服技术为核心，能够实现全景检测、陆标导航和多运动目标识别跟踪等功能。该视觉图像系统总体设计的主要要求有：适应室内外及田间作业环境，能够进行基于陆标的自主导航，可以对多运动目标实施识别和跟踪。全方位视觉图像系统总体功能方案框架图如图3所示。全方位视觉图信息像系统中的视觉图像伺服组件，选取视频图像中的陆标、运动目标和农业机器人的相关信息，将其发送至DSP控制器。从该系统组件的功能性质可以看出，它就是个视频图像处理模块。本文主要是研究如何建立高速、实时性强、性能高的全方位图像处理系统。视觉图像伺服组件系统的构建主要PC+图像采集卡、采用专用核心处理器的图像处理系统和采用DSP的图像处理系统等3种方式。由于DSP控制系统具有实时处理、实时性强、处理器结构简单、调试工具完善及体积小等优点，故本文根据课题要求最终选择DSP嵌入式系统作为全方位视觉图信息像系统中的视觉图像伺服组件。视觉图像伺服组件系统硬件结构框架图如图4所示。

图3 全方位视觉图像系统总体功能方案框架图Fig.3 The overall functional plan framework of omnidirectional vision image system

图4 视觉图像伺服组件系统硬件结构框架图Fig.4 The hardware structure of visual image servo system

3 基于鱼眼相机的农业机器人陆标定位、目标识别与跟踪

由于鱼眼相机采集的图像会发生畸变，因此在进行处理时需要对其进行畸变校正，利用图像投影曲线，采取立方体投影技术，确定好映射关系，以便能够对鱼眼图像进行畸变校正。在空间建立直角坐标系，如图5所示。OXYZ为鱼眼相机直角坐标系，oxy则为图像平面直角坐标系。其中，P在鱼眼相机中成的像为p；Oo轴为鱼眼相机的光轴；z为P点到投影平面的距离；R为PO间距离；w为P点相对镜头平面的仰角；θ1为P在OXYZ直角坐标系中的方位角；r为po间距离；θ2为p在oxy直角坐标系中的方位角。

图5 鱼头相机的成像模型Fig.5 The imaging model of head camera

设模型OXYZ上一点坐标为(xw,yw,zw)，在oxy的坐标为(xc,yc,zc),则二者的转化关系为

(3)

鱼头相机坐标系(xw,yw,zw)和图像坐标系(xu,yv,)的转换为

(4)

其中，f为鱼头相机和成像面之间的焦距。

图像坐标系(xu,yv,)和像素坐标系(u,v)的关系式为

(5)

其中，kx、ky为像素系数，(u0,v0)为成像面图像的中心坐标。

联合式(3)～式(5)后可以得到

(6)

先将鱼眼相机的视频图像转化为成像模型，再求出标定参数，最后利用立方体模型进行投影。

首先建立坐标系，采用立方体投影；然后对表示立方体的函数进行分段处理。立方体投影模型如图6所示。

图6 立方体投影模型Fig.6 The cube projection model

如图6所示，立方体边长为a，在立方体投影模型中任一点p(x0,y0,z0)与o(0,0,0)连线方程为

(7)

图7图像转换后的平面投影Fig.7 The plane projection after image conversion

图7中，对于立方体模型中的任意一点，假设其在HEGF面上的像素坐标为(X,Y,Z)，则在对应的投影平面中的坐标为(x,y)，且有

(8)

4 试验结果分析

4.1 试验场景与方案

为了验证全方位视觉目标识别与跟踪系统的可行性、有效性与性能参数，设计了如图8所示的场景用于试验研究。试验中，任取A、B、C、D、E等5个点，精确测量其坐标值。设定导航模式，让机器人依次经过5个坐标点，导航过程中采用全景视觉系统进行自主定位，经过预设坐标值时，利用标记装置进行记号标记和测量，并经测量值与之前精确测量值进行对比与误差分析，得到机器人导航精度，如图9所示。

图8 陆标导航测试场景Fig.8 The test scenarios of landmark navigation

图9 运动目标跟踪精度测试图Fig.9 The tracking accuracy of moving objects

4.2 试验结果分析

陆标导航测试中，将导航模式测量值与导航模式前精确测量值进行对比与误差分析，得到如表1所示的结果。

表1 XY平面多个位置静止测量的试验结果

由表1可以看出:农业机器人机器人在陆标导航场景测试中，X、Y方向上的误差均小于10cm，误差较小。这表明，该系统可以准确地完成对运动目标的定位跟踪，等合课题设计要求。

5 结论

基于全方位的自主导航技术，根据农业机器人工作特点和运动特性，建立了机器人工作空间的环境模型，提出了一种陆标导航和运动目标跟踪系统的视觉伺服方案，并对路径采用陆标编码，简化了计算的复杂性，大大提高了优化的效率和实时性。本文开发了以 DSP控制器为核心的全方位视觉图像伺服组件，有效地提高了陆标或运动目标跟踪的实时性和可靠性，节省了作业时间，降低了机器人的能量消耗。试验结果表明：本文设计了农业机器人全方位视觉目标识别与跟踪系统，工作稳定可靠，各项性能指标优良。

[1] 苑光明.基于全方位视觉的移动机器人动态目标识别与导航研究[D].石家庄：河北工业大学,2010.

[2] 冯为嘉.基于鱼眼镜头的全方位视觉及全景立体球视觉研究[D]. 天津：天津大学,2012.

[3] 李文羽.基于机器视觉和图像处理的色织物疵点自动检测研究[D].上海：东华大学,2014.

[4] 刘涛.基于DSP和FPGA的高分辨率全景图像实时处理系统硬件设计[D].哈尔滨：哈尔滨工程大学,2011.

[5] 苑光明,丁承君,俞学波.基于鱼眼镜头的全方位视觉系统的设计及实现[J].河北工业大学学报,2010(2):1-3.

[6] 李阳.基于视觉的移动机器人运动目标跟踪技术研究[D].北京：北京交通大学,2009.

[7] 朱锦辉.基于全方位视觉系统的移动机器人自主定位与导航技术研究[D].天津：天津理工大学,2009.

[8] 李颖晶.基于全方位视觉的运动目标检测和跟踪方法研究[D].哈尔滨：哈尔滨工程大学,2012.

[9] 孙奇.基于视觉的仿人足球机器人定位与跟踪算法研究[D].沈阳：东北大学,2012.

[10] 肖本洁.机器人同时定位制图及多目标跟踪算法研究[D].上海：复旦大学,2013.

[11] 陈曈.全方位图像并行展开优化算法的研究与实现[D].杭州：浙江工业大学,2010.

[12] 张新,高勇,安涛,等.PSD光电位置传感器的实现及SOI结构研究[J].西安理工大学学报,2005(3): 236-240.

[13] 高晶.基于DM648的视频处理系统的设计与实现[D].西安：西安电子科技大学,2013.

[14] 周宗思.全方位视觉技术及其在移动机器人导航中的应用[D].杭州：浙江工业大学,2009.

[15] 石朝侠.基于多机器人协作的未知环境下路径探索研究[D].哈尔滨：哈尔滨工业大学,2007.

[16] 刘宝平,张红梅.移动机器人研究现状和未来发展的分析[J].科技信息,2009(29):65.

[17] 李崇辉,原玉磊,郑勇,等.正则化方法在鱼眼相机检校中的应用[J].信息工程大学学报,2013(5):575 -579.

[18] 王赵莹.基于DM6467的目标定位算法和图像融合算法研究[D].南京：南京理工大学,2013.

[19] 牛雪梅,高国琴,鲍智达,等.基于滑模变结构控制的温室喷药移动机器人路径跟踪[J].农业工程学报,2013(2):9-16.

[20] 许海霞.机器视觉标定与目标检测跟踪方法及其应用研究[D].长沙：湖南大学,2011.

[21] 蒋蘋.基于双源激光的田间作业机械导航定位系统研究[D].长沙：中南大学,2012.

[22] 张春龙.自然环境下农业机器人作业目标信息获取与视觉伺服策略研究[D].北京：中国农业大学,2014.

[23] 高卓.基于机器人视觉的运动目标检测及跟踪算法研究[D].哈尔滨：哈尔滨工程大学,2007.

[24] 许斌辉.基于全方位视觉的多运动目标检测、跟踪与定位[D].杭州：浙江工业大学,2011.

[25] 袁国武.智能视频监控中的运动目标检测和跟踪算法研究[D].昆明：云南大学,2012.

[26] 薛茹.复杂交通监控场景下运动目标检测与跟踪方法研究[D].西安：长安大学,2014.

Research on Full Range Vision Target Recognition and Tracking of Autonomous Navigation Agricultural Robot

Tan Xuefeng

(Jilin Vocational College of Industry and Technology, Jilin 132013, China)

With the gradual improvement of the information technology in our country, it has been rapid development in machinery automation, integrated circuit, intelligent control system and testing and measurement and other industry. The mobile robot has reached a new height, agricultural robot has therefore been widely used. In many research problems of robot, the target recognition and tracking of omni directional vision is more complex and difficult to solve. According to the working characteristics of agricultural robot and motion characteristics,based on the full range of autonomous navigation technology, it established environment model of robot work space. It put forward a landmark navigation and moving target tracking system of the visual servoing scheme, and developed the DSP controller as the core of the full range of visual image processing system. The experimental results showed that the overall vision target recognition and tracking system of agricultural robot in this paper, which has high precision, reliability and real-time performance with the excellent performance.

agricultural robot; omnidirectional vision; target recognition; autonomous navigation; DSP

2016-08-11

国家林业局科技项目(201504402)；吉林省教育厅“十一五”科学技术研究项目(吉教科验字【2007】第444号)

谭雪峰(1980-)，男，吉林农安人，讲师，(E-mail)tanxuefeng037@163.com。

S127；TP242.6

A

1003-188X(2017)12-0053-05