草莓采摘机器人研究现状及发展趋势

洪翌钧

（中南大学，长沙 410006）

草莓是世界上栽培面积较广的水果，生长周期长，生产管理环节多，以鲜食为主，具有极高的营养价值。草莓具有独特的植物学特征和栽培要求，在全球不同国家和地区，其栽培模式、经营规模等差异很大。目前，我国草莓种植方式主要分为高垄栽培和高架栽培。高垄栽培草莓一般垄面为35 ～40 cm，垄高为30 cm，垄距为80 ～100 cm，垄沟为25 ～30 cm，株距为20 cm左右。高架栽培草莓一般支架高度为1.1 ～1.5 cm，单双行种植均可。依据无土栽培槽宽度而定，草莓间距为20 ～30 cm。

我国是最大的草莓生产国，2022 年全年草莓产量达到320 万t。近年来，草莓已成为我国水果产业中发展最快的领域，经济和社会效益显著提升，不仅促进了农民增收，而且作为适宜农业旅游、观光采摘的水果，促进了第一、第二、第三产业的融合发展。但是，目前我国的草莓生产机械化总体水平偏低，草莓生产对人工的依赖非常严重。近年来，随着科技的发展，草莓生产逐渐走向智能化和机械化。草莓采摘机器人的研制极大地降低了人力成本，提高了采摘效率，推动了草莓种植业的规模化发展。

1 研究现状

1.1 采摘执行装置研究现状

目前，国内草莓采摘机器人在采摘执行装置方面大多采用切断或扭断果梗的方式。高义虎采用夹持果实并割断草莓梗的采摘方式，利用机械爪夹持草莓，应用切割机构切断果梗并自动回位待机，以备下一次运行。该执行机构体积小，可保持灵活性，并可深入草莓种植区[1]。程胜鹏采用4 自由度的机械手，末端执行装置左夹爪装有刀片，右夹爪开有凹槽，由舵机驱动夹爪闭合，可在夹持果梗的基础上剪断果梗[2]。王粮局设计的采摘执行机构，利用拢果绳将果实从复杂环境中拢出，由电机带动齿轮和齿条机构实现夹指闭合，完成果柄的剪切和夹持[3]。

1.2 行走机构研究现状

当前，国内行走装置设计多为适用于高架栽培模式的轮式底盘和履带式底盘，也有针对地垄采用导轨机构的设计。陈俊丞根据高架栽培草莓大棚内通道平整，适合轮式底盘通行运动的情况，采用麦克纳姆轮底盘，具有良好的平稳性和可靠性，能够有效适应环境[4]。李贇钊等研究的跨垄式行走机构适合垄作草莓，驱动电机位于机构上部载物台，竖直方向传动采用链传动[5]。驱动时通过齿轮传动、传动轴和链传动将动力传递给轮轴，实现轮子旋转、机构行走。李长勇等采用履带式行走机构设计，车体的驱动源为直流减速电机，并与驱动轮连接，而驱动轮与履带啮合[6]。该行走机构具有承载能力强、稳定性好、环境适应能力强等优点。王粮局采用导轨机构，驱动电机固定在多机械臂安装座上，电机轴和齿轮连接，齿条和导轨固定连接，使得多机械臂安装座和直线轨道发生相对位移。

1.3 识别定位系统研究现状

现阶段，国内对草莓采摘机器人草莓识别定位方法的研究较多且方向各有不同。陈俊丞采用YOLO 识别算法，通过双目摄像头建立三维坐标系，对草莓图像进行二值化处理。先寻找像素形心，再采用局部自适应阈值二值化处理，最终定位草莓质心。彭志鸿等采用基于OpenCV 图像处理库的草莓识别方法，通过高斯模糊、二值化等算法处理后，在二维图像平面内识别草莓质心坐标并进行标定[7]。马科展选取Mask-RCNN 作为神经网络框架，优化后的草莓识别模型草莓检测准确率和召回率分别达到90.14%和98.68%[8]。对于输出结果，结合深度图像获得草莓的局部点云，通过特征计算与完整点云模板进行匹配，得到草莓真实位置及姿态，与未遮挡草莓的质心和主轴偏差小于1 mm 和1°，与遮挡情况草莓的质心和主轴偏差小于6 mm 和6°。

2 存在的问题

2.1 采摘执行装置结构设计仍有待完善

成熟草莓肉质柔软多汁，极易受损。目前，草莓采摘机器人的采摘执行方式包括切断、扭断等多种形式，最终的采摘方式多为夹持，而夹持机械爪采摘柔性极差，易损伤草莓果实和枝叶。由于草莓生长呈簇状分布，机械爪夹持对识别精度要求较高，只能实现单枚草莓采摘，不仅增加了采摘难度，而且降低了采摘效率。另外，草莓植株枝叶茂密，种植间隔小，而草莓采摘机器人多使用多自由度机械臂，不仅容易出现碰撞问题，造成机体损坏和草莓植株损伤，而且会因为机械臂自由度过多导致的振动和误差降低采摘效率。

2.2 草莓果实识别及定位影响因素难以排除

草莓采摘环节中，最重要的是对果实的识别与定位。对果实识别与定位的精确性将影响草莓采摘机器人的行走和采摘执行装置的运行，进而影响采摘草莓的品质。识别的成功率受到多方因素影响。首先，草莓种植环境的光照、草莓植株叶片遮挡等，将会直接影响摄像头捕捉图像的质量，对识别工作造成极大干扰。草莓采摘机器人行进过程中，叶片遮挡和多草莓果实重叠，可能造成检测目标丢失而更换采摘目标，但若频繁出现此问题将严重降低草莓采摘的成功率和效率。其次，草莓种植环境地形造成的机器人行进过程机身振动、机械臂运动时产生的自身振动、末端执行机构采摘时造成的草莓植株和果实晃动，以及可能存在的草莓果实掉落，将导致捕捉图像模糊、识别效果差，果实采摘效率低。最后，草莓采摘依赖识别处理后的定位，而识别过程中可能存在草莓自身黑斑或表皮伤疤、上层叶片阴影、多草莓果实重叠等问题，干扰草莓三维坐标建立和形心捕捉，影响采摘。

3 研究设想及发展趋势

3.1 采摘执行与收集装置改进设想

国内末端执行机构多以机械爪夹持剪切并通过机械手运送，可以考虑将机械爪改进为包含拢果装置和夹剪果柄装置的采摘执行机构。在拢果绳将草莓从枝叶中拢出后，利用剪切机构完成草莓梗的剪切工作，省去机械臂夹持搬运剪切后草莓果实的过程。在机械剪切装置下方设置柔性碗状采集器和柔性管道，在完成剪切后使草莓能够自由落入采集器，并沿管道进入收集箱，以减少夹持搬运过程中机械爪柔性差及机械臂运行振动对草莓表皮的损伤，同时可实现多草莓采摘。需注意，由于垄作草莓果实离地面较近，难以收集，故此设计方法的草莓采摘仅适用于高架草莓采摘，并不适用于垄作草莓采摘。

3.2 草莓识别定位系统设想

目前，深度学习在农业领域的应用已成为主流。深度学习应用于草莓采摘识别，通过数据处理提取特征具备更好的泛化能力。考虑草莓目标检测的模型轻量化、快速、准确、实时等需求，文章采用YOLOv5+DeepSORT，利用YOLO 识别算法检测速度快的优势，配合跟踪算法DeepSORT 实现实时跟踪草莓采摘。

3.2.1 YOLOv5 算法简介

YOLOv5 算法是一种基于深度学习的目标检测算法，开发者为Ultralytics 团队的Glenn Jocher。与其他算法相比，YOLOv5 具有检测速度快、准确率高、模型轻量化、易于部署和使用等优点，其调用、训练和预测都十分方便，能够在资源有限的嵌入式设备上实现高效的目标检测。在近几年的应用经验中，YOLOv5 相当优秀，是YOLO 系列中发展较为完备且使用相对广泛的一个版本，适合草莓的采摘识别。YOLOv5 共包含5 个版本的目标检测网络，本设计选择YOLOv5s 的网络结构。相比其他网络，YOLOv5s占空间更小，更适合部署在移动设备上，而且推理速度更快，适用于草莓采摘作业的实时检测。

3.2.2 DeepSORT 算法简介

DeepSORT 是基于目标检测的多目标跟踪算法。目标检测算法的优劣影响该算法跟踪的效果。该算法在为每个对象分配身份标识号（Identity Document，ID）的同时能够跟踪对象。DeepSORT 算法是SORT算法的升级，在SORT 算法的基础上引入深度学习，通过添加外观信息，采用级联匹配和重叠度（Intersection over Union，IoU）匹配，减少目标ID 切换次数，提高跟踪效率。该算法的具体流程：运行卡尔曼滤波对轨迹进行预测；使用匈牙利算法对Detections 与Confirmed 状态的轨迹进行级联匹配，获得Unmatched Tracks、Unmatched Detections 和Matched Tracks；对Unmatched Tracks、Unmatched Detections 和Tentative状态的轨迹使用匈牙利算法进行IoU 匹配，获得新的Unmatched Tracks、Unmatched Detections 和Matched Tracks；卡尔曼滤波对Matched Tracks 状态进行更新；删除Unmatched Tracks 的Tentative 状态；Unmatched Tracks 的Confirmed 状态大于max-age 则删除，小于max-age 则初始化为新的轨迹。

本设计增加使用目标跟踪算法DeepSORT 而非仅仅使用目标检测算法YOLOv5 的原因如下。草莓植株枝叶较多，草莓果实藏于植株枝叶之间，而草莓采摘作业时草莓采摘机器人对草莓的捕捉是一个实时检测的过程。在机器人识别判断要采摘的草莓并向目标移动的过程中，由于枝叶的存在，极有可能出现目标草莓部分或完全被遮挡的情况，导致检测器失效。此时摄像头检测范围内若存在其他草莓，可能会将其他草莓误判为原目标采摘草莓，从而产生频繁转换采摘目标的问题，严重影响采摘效率。此时若增加目标跟踪算法，跟踪器将为出现在检测范围内的每个草莓分配一个ID，同时跟踪草莓的位置并保持高速运行。即使出现目标采摘草莓被遮挡的情况，采摘机器人仍能预测目标采摘草莓出现的位置并跟踪判断其坐标，避免频繁转换采摘目标。同时，跟踪器的识别判断速度通常快于检测器，更适用于实时的草莓采摘作业。

3.3 未来发展趋势

草莓植株枝叶较多，种植间距较小，因此对草莓采摘机器人提出了小型化要求，以降低植株枝叶的影响。垄作草莓由于其生长环境的特殊性，对采摘机器人行走避障能力提出了较高要求。因实际采摘过程中的多方环境因素影响，人们对草莓果实的检测识别提出了较高要求，促使基于深度学习的视觉系统研究成为主流研究方向。市面上果实采摘机器人大多用于，降低采摘作业的劳动强度和劳动成本。因此，草莓采摘机器人的研究必将向着硬件结构合理化、视觉系统智能化与高效化、控制系统自动化发展，并根据市场和环境的实际需求不断改进，以期实现实用化目标。

4 结语

通过草莓采摘执行与收集装置的结构改进，将机械爪改进为包含拢果装置和夹剪果柄装置的采摘执行机构，减少夹持搬运过程中机械爪柔性差及机械臂运行振动损伤草莓表皮的情况，同时实现多草莓采摘。在以往的研究中，草莓识别定位系统均采用单一算法，文章提出基于YOLOv5 算法和DeepSORT 算法联合应用于优化草莓识别定位系统的设想，融合运用结构改进和识别定位系统，可为草莓采摘机器人的深入研究提供有益参考。