基于稻田除草部件横向偏距视觉感知的对行控制系统设计与试验

陈学深，方根杜，熊悦淞，王宣霖，武 涛

(华南农业大学 工程学院, 广东 广州 510642)

作为一种安全、环保、高效的除草方式，机械除草已成为减少化学除草剂施用的重要措施[1-3]。但传统机械除草执行部件的作业路径不能根据苗带的实际变化而改变，导致行间除草伤苗严重，制约了机械除草技术及装备的发展[4-7]。因此，开展机械除草自动对行研究十分必要。

避苗控制主要有机具导航和除草执行部件位置横向调节2种实现方式[8]。机具导航主要采用GPS方法，多应用在旱田的种植作业。而除草等管理作业的导航多采用视觉方式引导机具对行控制。瑞典的Astrand等[9-10]提出了一种基于Hough变换的作物行识别算法，试验结果表明：在不同光照、杂草密度和作物大小下均能实现作物行检测。陈娇等[11]采用改进的基于Hough变换的农田垄线识别算法，实现垄线的识别与定位，并分别对大豆、小麦和玉米图像进行试验，结果表明：获取的垄线导航线精度满足机具导航要求。然而，机具导航的视觉感知获取及处理的整张图片，采用的Hough变换算法复杂，计算量大，难以满足除草部件作物感知的实时性要求[12-13]。同时，利用最小二乘法存在噪声敏感、鲁棒性差、难以在水田复杂背景和噪声较高的情况下获得较高精度的问题[14-16]。因此，水田环境下的作物感知在实时性及精度方面需要有更好的处理方法。另外，机具导航避苗方式，除草执行部件的作业路径是通过机具转向方式调节的，存在明显的滞后性，在纠偏期间除草部件对偏植稻苗不可避免造成损伤，多行作业的损伤更为严重[17-18]。因此，采用对除草部件位置横向调节的方法实现避苗更为适宜。为此，有学者采用建模方法直接控制除草部件，实现除草部件的避苗控制[19]。陈勇等[20]和郭伟斌等[21]进行了除草机器人机械臂的控制研究，通过建模、求逆解实现了除草机械臂的控制。胡炼等[22-23]通过采用双阈值死区控制算法，实现了除草部件的主动避苗。上述控制方法根据除草部件与作物的相对位置，控制除草部件的作业路径，均能达到避苗作业效果，但所采用的建模及控制算法局限在旱田环境应用，而水田作业环境复杂，行驶机具受俯仰、摇摆及振动的姿态及负载变化等干扰，难以获得准确的数学模型。因此，在避苗控制方法上，水田作业应有更高的要求。

针对机具导航避苗存在避苗调控滞后问题，本文提出了一种基于机器视觉与比例积分微分(Proportion integration differentiation，PID)控制技术相结合的方法，根据除草部件中心与稻行中心线的横向偏距实时纠偏除草部件的工作路径，避开稻苗实现除草部件的精准对行作业。

1 避苗控制系统组成及工作原理

避苗控制系统主要由视觉感知系统、液压控制系统和除草执行部件等组成，其样机如图1所示。其中，视觉感知系统由光源、摄像头及摄像头安装支架组成，摄像头为罗技C920自动对焦摄像机，接口类型为 USB3.0，视频格式为 1 280×720 UYVY，最大帧频为30 f/s。液压控制系统主要由液压泵(插秧机悬挂驱动泵)、液压缸、横向纠偏机构等组成。除草执行部件为螺旋刀辊式除草部件，作业宽度为20 cm。

图1 具有避苗功能的水稻除草机样机Fig.1 Prototype of rice weeding machine with seedling avoidance function

工作时，视觉感知系统随机具在水稻行间行进，实时采集及处理稻株图像，并将识别的稻株位置信息传递到图像处理系统，经过图像处理及计算获得除草部件中心与苗带中心线的距离(简称横向偏距)。在此基础上，液压控制系统根据除草部件的横向偏距，通过控制液压比例方向阀，改变液压缸推杆的伸缩量，进而改变除草部件的工作位置，消减横向偏距实现避苗控制。

2 基于机器视觉的横向偏距获取方法

2.1 图像分割

田间图像背景分割的目的是将绿色植物(含作物和杂草等)与土壤或水层背景区分开，使背景分割后的图像只保留作物和杂草。针对水田环境下的稻株图像，为快速有效地去除背景(水层、土壤、阴影等)，突出绿色分量提取出稻株和杂草，采用改进超绿算法(2G-R-B)对彩色稻株图像进行灰度化。通过OSTU算法获取分割阈值T，并对灰度图像进行二值化，该方法相对于传统超绿算法能更好地消除图像采集中的噪声，便于后期对象信息的提取。同时为减少光照强度对图像分析的干扰，对超绿算法中红蓝绿(RGB)3个颜色通道的各颜色分量进行归一化处理，超绿算法具体计算公式如下：

式中：F(x，y)为像素坐标 (x，y)的灰度，F(x，y)=0 为背景 (黑色)，F(x，y)=255为植物 (稻株或杂草)或噪声点(白色)。R、G、B分别代表采集图像各颜色通道分量，r、g、b分别代表归一化后的颜色分量取值，T为OSTU算法获取二值化阈值。

该方法能更好地突出绿色颜色空间灰度(即稻株和杂草)，抑制阴影和水层背景。在此基础上，图像进行二值化及预去噪处理，去除稻株冠层内部存在的一些小孔洞、不连续的孤立点，以及外部存在的毛刺、分支等噪声。为提高后期稻株识别与定位的精度，需结合形态学运算进一步进行去噪处理。图像处理过程的效果如图2所示，具体方法如下：

图2 图像处理效果图Fig.2 Effect diagram of image processing

1)稻株冠层外部边缘轮廓获取：对稻株冠层内部黑色小空洞进行填充，实现稻株外部边缘平滑化；

2)杂草过滤处理：通过形态学运算处理，先闭操作后开操作，将处理后的图片进行面积滤波，设定面积滤波阈值为4 000，过滤掉面积小于4 000像素的稻株连通域区域，从而去除杂草等不相关噪声；

3)稻株个体提取：进行稻苗冠层孔洞填充、毛刺去除、形态学处理及面积滤波。

2.2 基于ROI区域作物特征点提取

移栽稻田的水稻行距相对固定(一般为30 cm)。为了降低图像处理运算量、提高作物识别实时性，根据作物的行宽来划定相应的作物识别感兴趣区域 (Region of interest，ROI)[24]，在后期的图像处理时，仅对ROI区域内的作物像素进行处理，以去除行间非ROI区域内杂草的干扰。

二值化处理的图像，绿色植物(稻株和杂草)为白色，背景(水层和土壤等)为黑色，利用图像投影法对白色像素区域进行水平和垂直方向投影，设采集的稻株图像尺寸为W×H，其中：W表示图像宽度，H表示图像高度。设置浮动窗口为n个，h为浮动窗口的高度，图像中每个浮动窗口的大小为W×h，则H=h×n；f(i,j)为绿色植物二值化图像点(i,j)处的灰度值，C(i)为图像第i行水平方向投影后的像素值，S(j)为图像第j列垂直方向投影后的像素值，则有：

稻株图像垂直方向投影如图3所示，蓝色波形图代表绿色植物在垂直方向的灰度投影图，设置一个高度阈值TSn(图3中点画线y=TSn)，将像素点数与阈值TSn比较，当像素点数＞TSn时，定义为ROI区，并将波形高度设置为TSn；当像素点数≤TSn时，定义为非ROI区，波形高度设置为0。其中，阈值TSn是浮动窗口内目标像素总和的平均值，TC是浮动窗口内绿色植物在水平方向投影像素总和的平均值。稻株行间、株间的杂草通过像素阈值TSn和TC给予滤除。

图3 图像的投影Fig.3 Projection of the image

通过图像垂直投影(图3a)可获得浮动窗口内ROI区每穴稻株的起点边界D1、D2和终点边界U1、U2，经过计算可求出每穴稻株对应的中点值M1、M2作为稻株中心位置的横坐标；同理，可求得图像水平投影(图3b)稻株对应的中点值m1作为稻株中心位置的纵坐标。因此，该浮动窗口内稻苗的坐标为(M1，m1)、(M2，m1)。

通过水平和垂直投影可获取稻株图像中每个浮动窗口内稻株中心位置的特征点信息，同时将图像左右两苗带特征点分别以2个不同的数值存在。如图4所示，红点A、B分别代表被定位的两稻株中心位置。

图4 稻株投影法定位Fig.4 Projection position of rice plant

2.3 横向偏距计算

横向偏距取决于除草部件中心位置与苗带中心线的距离。由于除草部件与摄像头位置相对固定，即除草部件中心在图像中的坐标点位置不变，因此，获得苗带中心线是获得横向偏距的关键。

在稻苗识别与定位基础上进行苗带中心线拟合时，由于机插秧在实际操作中存在漏插、枯萎现象，导致特征点缺失。另外，受环境、杂草干扰也会存在伪特征点。为此，需要对所获取的特征点进行甄别与筛选，以提高苗带中心线获取的精度。在传统方法中，最小二乘法运算速度快，但是易受到噪声干扰，鲁棒性较差；Hough变换拟合直线抗干扰能力强，鲁棒性强，但该算法本身耗时较长，实时性较差。因此，本文采用了稳健回归方法，通过对异常偏离值赋予较少权重，使其对平均估计值或标准差估计值影响最小，从而提高作物行中心线的精度。苗带中心线获取的流程如图5所示，ip为左侧作物行线上离散点的横坐标，ip为右侧作物行线上离散点的横坐标。设Pl(ip,j)为左侧作物行线上的任意点，Pr(ip,j)为右侧作物行线上的任意点，Pm(im,jm)为Pr(ip,j)和Pl(ir,j)的几何中点， Δx=ir-ip则：

图5 苗带中心线的提取原理Fig.5 Extraction principle of center line of seedling belt

由式(5)、(6)求出所有的点Pm(im,jm)作为基准线上的离散点群，而后，利用稳健回归方法对离散点群进行拟合，得出苗带中心线。

本文应用最小二乘法、Hough变换以及稳健回归方法分别对试验照片样本进行苗带中心线获取，以稻列方向相邻稻株的中心点与相应拟合中心线的距离的标准差作为拟合精准性评价指标，以图像处理的平均拟合时间作为拟合实时性评价指标，优选拟合算法。具体拟合结果见表1，其中，最小二乘法拟合速度最快，但拟合精准性较差；Hough变换拟合精准性优于最小二乘法，但平均处理时间不能很好地满足除草部件实时性要求。因此，本文采用精准性与实时性兼顾的稳健回归作为稻行中心线的拟合方法。

表1 直线拟合方法分析Table 1 Analysis of straight line fitting method

为了使获得的横向偏距能作为避苗决策数据，还需要将除草部件中心及苗带中心线的图像坐标转换为地面坐标，以获取横向偏距的实际距离。因本文采用垂直俯拍方式采集图像，摄像头无前倾角，参考文献[25]并根据小孔成像模型可得出图像坐标与地面坐标的数学关系式：

式中，Z是相机镜头中心到主光轴与地面交点的距离，mm；Wx、Hy分别是图像的宽度和高度，mm；xi、yi分别表示图像坐标系中像素点的横、纵坐标，pixels；xm、ym分别表示图像坐标换算后相对应的地面坐标系中横、纵坐标，mm；fc是相机的焦距，mm；θ是相机的前倾角，(°)。

3 液压调控系统设计

3.1 液压调控系统组成及工作原理

液压调控系统中液压模块主要由液压泵、液压比例方向阀、液压缸和直线位移传感器组成，其中：液压泵的主要参数为工作压力40 bar； 液压比例方向阀的主要参数为全开控制电流40 mA，额定流量40 L/min，固有频率 120 Hz，阻尼比 0.8 ；液压缸的主要参数为工作行程100 mm，活塞直径40 mm，活塞杆直径25 mm；直线位移传感器的主要参数为量程142 mm，线性精度0.01%，密封等级IP54，拉杆最大工作速度 10 m/s。

液压调控系统由横向纠偏机架、液压模块及STC89C52单片机控制系统组成。工作时，视觉感知系统实时将稻株横向偏距反馈给控制系统，当偏距超过期望值时，液压调控系统开始工作，由PID控制器控制液压比例方向阀，改变液压缸推杆的伸缩量，使机架(纠偏机构)横向移动，进而改变除草部件的作业位置。同时，除草部件调控的实际偏距，通过直线位移传感器(KTRC-125Lmm)对应的伸缩量反馈给单片机系统，形成闭环控制，进一步消减调控偏差，实现避苗的精准控制，避苗控制原理如图6所示。

图6 液压调控系统的调控原理Fig.6 Principles of hydraulic regulation system

3.2 液压调控系统阀控缸传递函数建立

比例换向阀(SV)对系统影响一般可用二阶振荡环节表示，其传递函数可表示为：

式中：GSV为比例换向阀对系统影响的传递函数；Q0表示流过比例换向阀的流量， m3/s； ΔI表示输出的电流，A；kSV为 比例换向阀的空载平均流量， m3/s；ωSV为比例换向阀的固有频率，rad/s； ξSV为比例换向阀的阻尼比；S表示拉斯变换。

液压缸的位置传递函数与液压缸的有效工作面积、液压缸的阻尼比和固有频率有关，其传递函数标准形式如式(10)所示：

式中：Gp是液压缸的位置传递函数；XP表示液压缸的当前位置；AP表示液压缸有效工作面积， m2； ξ1表示液压缸的阻尼比；ω1表示液压缸的固有频率，r ad/s；S表示拉斯变换。

将比例放大器作为比例环节处理，放大器增益为：

式中，Ka表示放大器增益； ΔU表示比例换向阀控制电压。

直线位移传感器可认为是一个比例环节，即反馈系数(Kf)：

式中，Kf是直线位移传感器的反馈系数，通常取值为1， ΔXP表示液压缸伸缩量。

液压阀控缸系统是一个强非线性系统，工作点不同时，系统的参数不同，处理过程较为复杂。因此，根据调控系统液压模型参数，先通过Amesim构建出调控系统的物理模型，如图7所示，然后在工作点将物理模型线性化，最后通过Matlab将线性化后的物理模型进行参数辨识，辨识流程如图8所示，辨识结果显示，液压系统的相关参数：液压缸有效工作面积AP为0.000 7 m2；比例换向阀固有频率ωSV为 120 rad/s；比例换向阀阻尼比ξSV为 0.8；液压缸的阻尼比ξ1为0.2；液压缸的固有频率ω1为67 rad/s；比例增益后比例换向阀的空载平均流量Ka×kSV为 0.001 96 m3/s。

图7 基于Amesim的液压系统仿真模型Fig.7 Hydraulic system simulation model based on Amesim

图8 液压阀控缸参数辨识流程Fig.8 Identification process of hydraulic valve control cylinder parameter

通过系统的物理模型的参数辨识，获得液压阀控缸传递函数，其中，比例换向阀传递函数标准形式为：

阀控缸传递函数标准形式为：

3.3 基于PID算法的控制器设计

为了使系统达到精准控制的目的，本文设计了用PID控制器对液压系统进行调控。

利用PID控制算法对设定期望偏距进行跟踪控制，建模中PID对偏差进行校正的方程为：

式中 ：Kp、Ki和Kd分别为比例系数、积分系数和微分系数；e(t)为偏差，即输出值与设定值之差；ea(t)为控制量，作用于被控对象并引起输出量的变化。

应用Simulink建立液压系统的仿真模型如图9所示。

图9 基于PID的液压系统仿真模型Fig.9 PID-based hydraulic system simulation model

PID控制器参数整定按照Z-N法中的频率响应法，频率响应法是利用系统的等幅振荡曲线来整定控制器的参数，即先测出系统处于闭环状态下控制对象的等幅振荡曲线(系统处于临界稳定状态)，根据这条等幅振荡曲线得到一些能反映该控制对象动态特征的参数(临界比例增益，临界周期)，再经过简单计算就可以得出控制器的整定参数。本文参数整定Kp=30、Ki=2、Kd=0.08。系统响应曲线如图10所示，结果表明，该PID控制算法达到稳定状态所需时间为0.2 s左右，满足避苗控制系统设计要求。

图10 PID控制器响应曲线Fig.10 Response curve of the PID controller

4 试验与结果分析

4.1 试验条件与设备

水稻避苗机械除草控制系统田间试验在广东省肇庆市国家水稻产业技术体系综合试验站进行，苗带弯度的大小、数量及弯曲方向由插秧机操作人员随机产生。测试水稻品种为华南农业大学研制的特优 338(审定编号：粤审稻 2 013 015)，水稻行距30 cm，株距 15 cm。选择稻苗移栽后 16 d( 水稻机械除草期为移栽后7～30 d[26])进行试验，株高35 cm，此时，杂草萌发主要以稗草Echinochloa crusgalli、千金子Leptochloa chinensis等禾本科植物为主，株高为 3～7 cm。

试验以井关PZ60-HGR型乘坐式高速插秧机为移动平台，挂接自主研发的具有自动避苗功能的除草机，将感知装置、避苗调控系统及除草部件集成安装在除草机架上，根据除草期水稻的株高及株距，选择相机安装高度约为450 mm，拍摄角度垂直于地面。同时，为了避免光照变化对处理效果的影响，采集图像时在摄像头上方进行遮光处理。经测试，图像采集与处理速度为0.3 s，液压调控系统的极限调控时间为0.34 s，可见，感知系统满足对行调控的实时性要求。

试验现场如图11所示，行间采用螺旋刀齿式除草轮，作业宽度为20 mm，通过仿形杆与避苗调控机构相连接，随液压缸伸缩调节除草部件的作业位置，实现避苗控制。

图11 避苗控制系统田间试验Fig.11 Field test of seedling avoidance control system

4.2 试验方法

选取5块试验区，每块区域长250 m，测试区前有10 m起步区，除草机进入测试区保持1 m/s速度稳定行驶。为了保证除草机能在苗带弯曲一致的情况下进行，除草机沿插秧机同步移栽的稻行(共6行)行进。在进行有无避苗系统性能试验时，将右侧除草部件从避苗调控机构卸下，直接固定在固定梁支架上，使其不具有避苗功能(不能横向调节)。

试验时，在苗带弯度相同、行进轨迹一致的条件下进行对比试验，以机具左侧有避苗控制系统的除草部件伤苗率为性能指标，以右侧无避苗控制系统除草部件伤苗率为性能指标，对比有、无避苗系统的伤苗情况。因水稻机械除草目前没有相关国家及行业标准，考虑本试验主要验证避苗系统作业性能，为此，参考避苗作业相关文献中伤苗率的测定方法[16]，以除草部件触碰到稻株茎秆为伤苗。为了提高伤苗数量的统计精度，在机架上安置摄像机及遮阳布，通过摄像机的回慢放操作获取除草部件在作业过程中触碰稻株茎秆的数量，人工计算被“碰伤”的稻株伤苗率，具体公式为

式中，λ为伤苗率；p为伤苗稻株数量；q为试验中总稻株数量。

4.3 有无避苗控制系统的性能比较试验

采用上述试验方法及条件进行对比试验，检验有无对行控制系统的伤苗率，对5块试验区分别进行试验，结果如表2所示。

表2 有无避苗系统的伤苗率对比Table 2 Comparison of seedling injury rate with or without seedling avoidance system

由表2可知，无避苗系统伤苗率为24.88%，有避苗系统伤苗率为3.75%。从试验结果可以看出，无避苗系统的伤苗率较高，而有避苗系统的伤苗率较低，避苗系统对降低水稻机械除草伤苗率是十分有效的。

5 结论

本文基于机器视觉方法实现稻株识别与定位，以及除草部件横向偏差实时获取，并通过控制系统消减横向偏差，实现精准对行作业。性能试验结果表明该方法可降低机械除草伤苗率，但具有一定局限性。一方面，性能试验仅在移栽稻田开展，因水稻具有先长优势，稻-草背景具有一定的差异，而对于直播稻田，杂草个体生理参数和群体密集度形成的背景更为复杂，本文所涉稻株识别与定位方法针对直播稻田还有待进一步验证。另一方面，本文视觉感知方法仅针对稻田机械除草期(稻株移栽后7～30 d)，随着水稻进一步地生长，相邻稻株叶冠接连与遮挡，稻株识别与定位效果将受到影响。

本文以机械除草期内的移栽稻田为试验地点，探讨了移栽稻田内水稻与杂草的生理特性，研究了水稻机械除草视觉感知和对行控制的方法，得出结论如下：

1)设计了一种稻田机械除草避苗控制系统，采用机器视觉和PID控制方法对除草部件的作业路径进行实时校正，实现了除草部件的避苗控制。

2)基于PID控制算法，对液压比例方向阀进行了仿真分析，结果表明：系统达到稳态的响应时间为 0.34 s，动态误差为 0.33 s，满足避苗控制系统设计要求。

3)有无避苗控制系统的性能比较试验表明：无避苗系统的伤苗率为24.88%，有避苗系统的伤苗率为3.75%。