基于计算机视觉的苹果树果实缺陷探测研究

徐广飞

摘要：苹果分级是将其自身的大小、缺陷作为关键性的评估指标，文章根据计算机视觉技术苹果分级研究现状，结合实际需要探讨一种能够对苹果进行分选的检测系统，并对R通道方法进行简单的介绍，同时对检测系统的应用效果进行试验。结果显示，这种算法具备可行性，可以取得良好的应用效果。基于此，文章以苹果树发病时叶片颜色、纹理呈现的差异作为依据，巧妙地使用计算机视觉技术，研发出一套可以诊断苹果树病害的检测系统。

关键词：计算机视觉；苹果分级；检测系统；应用效果

中图分类号：TP39  文献标志码：A

0 引言

苹果树病害控制的科学方法是在苹果发育的早期阶段及时发现病害，判断苹果病害的类型。以传统型的果蔬种植状况进行分析，在对果蔬的病害进行诊断时，基本上都是依靠个人的既往经验进行判断，这种方法虽然不具备科学性，但确定可以有效地解决部分问题。但是我们也应该清楚地认识到，农户的肉眼分辨能力是有限的，当农户判断果树出现病害时，其实果树的病害已经处于一个非常严重的状态。

1 苹果分选和缺陷检测系统设计

1.1 图像采集与系统结构

苹果树果实探测研究的图像采集流程为：启动系统内置的摄像头，系统会自动将摄像头的运行方式调整为连续多帧工作方式。摄像头应用软件的技术参数可以进行调整，且摄像范围可以根据实际需要进行调整，还能够实现自动变焦功能；摄像头在扫描苹果果实的过程中，将苹果果实的整个外形全部扫描，当一个苹果果实扫描完成以后，转而对下一个目标进行扫描。摄像头的扫描速度为25帧/s，扫描一帧图像的时间大概为40 ms［1］。检测系统的结构组成如图1所示。

1.2 系统工作原理

为了能够实现对苹果果实的体积、缺陷进行检测，此次研究使用了图像RGB通道中的R通道进行处理。究其原因，主要是：（1）假若使用灰度图，那么则可能导致扫描结果图像丢失非常多的元素信息，導致苹果果实分级不够精准；（2）选择使用R通道可以缩短一定的处理时间，且处理结果相对更为精准，可以满足实际应用的需求。

对检测系统收集到的R通道采取阈值处理，提前将检测系统的阈值设置为70，将t=70作为标准，按照以下表达式对图像的R通道进行处理，由此就可以获取到二值图像g（x， y）：

g（x，y）=255若f（x，y）≥T

0若f（x，y）

在经过阈值处理以后，R通道就会转变为黑白二值图，在此基础上对R通道进行处理，其处理效率可以得到大幅度的提升。摄像头在摄像时使用的黑色背景，便于对图像进行降噪、运算等处理。

苹果果实的RGB图像内的R通道在经过阈值处理以后，其数值均为255，统计图像中的R通道数值为255像素。经过数据的全面统计以后得出，可以将苹果果实的分级直径标定不同的像素范围。

在对采集到的苹果图像进行阈值处理以后，检测系统则可以对苹果的缺陷进行检测，缺陷检测分级的整个过程分为两个检测阶段：一是缺陷分割检测阶段；二是缺陷识别检测阶段。分割算法主要负责检测出苹果存在缺陷的具体区域，主要包括真实缺陷区与梗萼区；识别算法则是对缺陷区域做进一步的检测，判断其是属于真实缺陷区，还是属于梗萼区。具体的检测流程如下：

（1）对苹果果实的RGB图像中R通道做二值化处理，处理过程中会对图像的不同区域进行编号处理，同时标注出不同的缺陷区域；

（2）计算出缺陷区域的面积，借助底层处理措施将图像中的小噪声点消除，并对真实缺陷区、梗萼区进行区分；

（3）使用识别算法对缺陷区域做进一步的检测，判断其是属于真实缺陷区，还是属于梗萼区。

1.3 缺陷检测算法流程

通过检测以后发现，苹果果实的缺陷基本上都是集中在凸出面，主要是因为凸出面更容易受到外部作用力。当摄像头在采集到苹果图像以后，结合图像的RGB数值判断出苹果病害发生的区域。对苹果果实RGB图像中的R通道做二值化处理，处理过程中会对图像的不同区域进行编号处理，同时标注出不同的缺陷区域，这种算法是游程标记算法。

2 苹果检测及分级实验

2.1 缺陷检测实验

此次试验选择使用红富士苹果作为试验样品，对苹果的缺陷进行统计分析。

对苹果果实RGB图像中的R通道做二值化处理，处理过程中会对图像的不同区域进行编号处理，同时标注出不同的缺陷区域，下文中使用黑白二值对苹果缺陷区域确定全过程进行简单的介绍，具体情况如图2所示。

图2（a）为摄像头采集到的原图像，而图2（b）为R通道处理以后的图像。苹果缺陷区域与果梗区域全部标识出来；图2（c）是原图像转化获取到的灰度图，图2（d）为二值图像。二值图像是基于原图像进行R通道处理

后获取到的，使用游程标记算法以标记出苹果的缺陷区域。

2.2 苹果大小分级实验

为保证试验结果的精准性与可靠性，我们确定出

如下实验对象：苹果的直径60～65 mm，65～70 mm，70～75 mm，75～80 mm，80 mm的苹果各准备20个。

在经过多次试验以后，检测系统采集到的苹果图像数据整理如表1所示。

通过对以上数据进行整理统计以后，整理出如表2所示的信息。不难发现，检测系统的分级标准可以按照苹果果实的体积大小进行处理。

通过试验结果可以发现：（1）分级检测系统能够精准地分选出不同大小的苹果；（2）分级检测系统的作业效率非常高。

分级系统会存在对应的误差，主要是因为：（1）苹果的位置不固定；（2）苹果的阴影未全部消除。

精准性的苹果果实目标区域探测是保证苹果果实实现精准定位的前提，结合实际情况而言，目标区域探测的实际情况是否能够有效地满足检测系统的需求，其核心问题在于是否能够保证分割算法的合理性。现阶段，可供使用的图像分割算法虽然非常多，但是大部分的算法都是针对固定环境而搭建出来的，鲜有算法能够适用于所有的应用场景。以苹果果实目标区域分割问题而言，因苹果果实处在自然环境内，会受到太阳光的照射，而太阳光变化多端，所以不同的果实图像中，果实的亮度会存在一定的差异性，这种差异性会导致图像分割受到影响。鉴于此，文章提出自适应G-B色差法实现自动调节颜色差异，提高苹果果实图像分割的精准性［2］。

為了精准地论证出算法模型的综合性能，我们将现阶段使用较为频繁的GLOM，BLP等纹理特征理论作为SVM的特征分类与此次设计的研究模型进行对比分析，在经过全面的对比分析以后发现，此次使用的研究模型在果实探测结果的精准性方面有很大的提升。研究模型的综合评价指标高达90.29%，可以轻易地发现，此次设计的研究模型明显优于前两种模型。

3 苹果目标探测与定位系统的设计与实现

3.1 系统功能结构设计

苹果目标探测、定位系统主要是由以下模块构成：图像数据I/O模块、重叠果实目标探测与定位模块、枝叶遮挡探测与定位模块等。借助以上不同的功能模块，检测系统可以高效地实现对不同生长周期的苹果果实目标的精准探测与定位。

图像数据I/O模块的功能主要包括：获取苹果果实图像数据、存储苹果果实图像数据、输出苹果果实图像数据。首先，系统会自动获取到设备内尚未及时处理的苹果果实图像数据，存储在系统内，并将苹果果实图像数据输出至系统内的其他功能模块，待其他功能模块应用完成以后，对苹果果实图像数据进行保存，而后将苹果果实图像数据的处理结果输出［3］。

小体积苹果目标探测与定位模块的功能主要为：实现对苹果目标的探测与定位。使用ITS方法探测绘制出果实图像的色差图，然后使用CHI方法精准地定位出果实目标。使用HOG-SVM研究模型对果实目标进行定位。

重叠苹果目标的探测与定位功能模块的功能主要是对发育成熟且重叠的果实进行探测与定位。使用经过优化处理的GrabCut方法探测出苹果图像的ROI区域，然后使用关键点检测方法探测出重叠区域，使用DLS方法描绘出被遮挡果实的外形轮廓。

枝叶遮挡苹果目标探测与定位模块的功能为：该功能主要是针对发育成熟的果实，因果树枝叶繁茂，导致果实图像会被枝叶遮挡。使用经过优化处理的K-means方法探测定位出果实图像的ROI区域，然后使用QuickHull方法定位出果实凸出部分的轮廓。

3.2 系统功能实现与运行界面

此次研究在对检测系统进行设计时，充分地考虑到不同用户的应用需求，对于部分专业性非常高的用户而言，系统可以提供分布式处理作业方式，其能够在检测系统中分步骤地获取苹果探测、定位过程，为后续的研究提供便利。针对一般性的用户而言，检测系统提供了一键处理功能，用户只需要在检测系统的操作界面中点击功能按钮即可达到理想中的处理效果，这种功能可以简化用户的操作流程，提高果实目标检测的效率。

检测系统运行以后，系统会自动跳转至系统的功能界面，该界面中提供以下功能按钮：幼小青苹果目标探测与定位功能按钮、重叠苹果目标探测与定位功能按钮、枝叶遮挡苹果目标探测与定位功能按钮和退出功能按钮等导航按钮，用户可以根据自身的实际需求有针对性地进行选择按钮。

当用户按下目标探测与定位功能按钮时，系统会自动跳转至该模块界面内，图像会经初始化加载，而后系统会自动显示窗口信息及各种不同功能服务。假若用户仅仅只是需要获取最终的处理结果，那么其只需要点击一键处理按钮即可。

但苹果果实目标图像探测与定位完成以后，其还可以根据自身的需求选择点击其他不同的功能按钮，那么系统则会根据不同的按钮进入不同的操作页面，同时开启不同的任务。此外，在实际操作过程中，用户还可以在不同的操作界面中随意进行切换，切换以后系统仍然会对前期的操作进行异步启动，且保存最终的处理结果。

4 结语

结合前文中的介绍可以发现，在经过科学的试验以后，文章提出了一种基于RGB三基色的R通道处理方法，这种处理方法能够实现对苹果果实的大小、缺陷精准识别，且检测系统的可靠性与稳定性能够得到很好的保障。试验过程中，摄像头采集到的苹果的果梗或果尊应该是处于相互垂直，假若二者并未保持垂直状态，我们可以使用连续采集方法获取到果实图像，然后利用帧数图像计算出苹果缺陷的面积，建议可以研发出一种新型的输送单元，提高苹果分级的精准性。

参考文献

［1］马占杰.果实表面颜色计算机视觉分级技术研究［J］.电子测试，2021（2）：59-60.

［2］李伟强，王东，宁政通，等.计算机视觉下的果实目标检测算法综述［J］.计算机与现代化，2022（6）：87-95.

［3］吴修国.基于计算机视觉技术的苹果树健康诊断系统研究［J］.农机化研究，2018（8）：218-222.

（编辑 王雪芬）

Research on apple fruit defect detection based on computer vision

Xu  Guangfei

（Tangshan Polytechnic College， Tangshan 063299， China）

Abstract：  Apple grading takes its own size and defects as key evaluation indicators. According to the research status of apple grading based on computer vision technology and combined with the actual needs， this paper discusses a detection system that can sort apples， briefly introduces the R-channel method， and tests the application effect of the detection system. Through the test results， it is found that this algorithm is feasible， good application effect can be achieved. Based on this， this paper combines the differences in the color and texture of the leaves when apple trees are infected， and cleverly uses computer vision technology to develop a detection system that can diagnose apple tree diseases.

Key words： computer vision; apple grading; detection system; application effect