基于图像处理的番茄重量预测

何婷婷 李志伟 张 馨 张钟莉莉 肖雪朋 董 静

目前，中国番茄的质量分级以人工分级为主，存在主观性过强、效率低和易碰损等问题[1]。机器视觉技术的发展为无接触获取物体质量估算提供了新途径。王业琴[2]使用阈值分割与形态学方法分割出鸭蛋前景图像，然后统计分割后鸭蛋图像的像素点，建立鸭蛋投影面积与质量的多项式质量拟合模型，证明物体重量与其投影面积关系密切。郝敏[3]、孔彦龙等[4]和王红军等[5]采集了多角度的马铃薯图像，分别提取投影面积与周长作为参数建立线性回归模型，实现了对马铃薯质量的准确预测；Huynh等[6]以胡萝卜和黄瓜为对象，捕捉其顶视图计算投影面积与长、短轴进行质量预测，准确率分别为95%和96.7%；张展硕等[7]采集了娃娃菜不同侧面图像，提取娃娃菜侧面投影面积并建立了侧面投影面积与重量真实值间的线性关系，可以较准确地预测娃娃菜的重量。利用果蔬的投影区域面积和周长建立的重量检测模型可以相对准确地检测果蔬质量，基本满足生产检测的要求。但多角度的果蔬投影图会发生形变，潜在增加了质量估计误差[8]。因此需要提取其他与重量相关性更高的形状特征以提高重量预测的精度。Ashtiani等[9]和Demir等[10]提取物体长度、宽度、厚度、算术平均直径、投影面积、形状指数和长宽比等多个物理特征，分别使用多元线性回归(MLR)模型和神经网络模型对杏仁和核桃进行无损质量估计，结果表明，以物理特征为开发参数的径向基神经网络结构可以准确地估计质量。

目前关于重量预测的研究主要以形状规则且轴对称的果蔬为对象，如马铃薯、苹果、芒果等。而番茄果实类型多，不同品种果实内部结构(心室数和果肉百分比)差异显著[11]，表面易发生镜面反射，不易于提取特征等特点。何微等[12]建立了番茄果重与其水平投影面积、周长、等效直径的多元线性回归模型，模型预测的单果最大相对误差为1.91%。Susovan等[13]分别采集了番茄、马铃薯、柑橘3种果蔬的非规则形状下的单视图，将单视图拆分为两个单独形状并分别提取其边界轮廓进行多项式拟合计算体积，建立了体积与质量的线性模型。Lee等[14]使用DCNN实现对多目标番茄的语义分割，并测量番茄的横、纵径建立了质量预测绝对百分比误差为7.09的回归模型。单视图得到的面积、周长、体积无法准确反映番茄的实际形状，使用DCNN模型语义分割的训练需要花费大量的时间且训练样本需求量大，为了解决这些问题，研究拟提出一种基于图像处理的番茄重量预测方法，搭建图像采集平台获取番茄多视角的二维图像，提取番茄投影面积、周长、横径、纵径、最小外接圆半径与最大内接圆半径等几何特征，建立番茄重量预测模型，以期实现番茄重量的实时、快速、无损检测。

1 材料与方法

机器视觉技术进行番茄重量检测的工作流程如图1所示。

图1 番茄重量检测系统流程Figure 1 Flow chart of tomato weight detection system

1.1 材料准备

1.1.1 样本收集 试验所用番茄样本来自北京市大兴区宏福农业科技有限公司的连栋温室内，品种为Cappricia，中型果。成熟度对番茄果重有一定影响[15]，因此试验选择了成熟度接近的70个番茄(50个番茄用于建模，20个用于验证)进行图像采集与单果重测量。所有番茄图像在同一条件下拍摄，每个番茄均拍摄6张图像(正、反面各一张，角度间隔90°的侧面图像4张)，共采集到480张番茄图像(300张图像作为测试集，180张作为验证集)。

1.1.2 成像装置与图像采集 番茄图像采集装置如图2所示。采集设备由一个500万像素、分辨率为2 592×1 944 的大恒MER-500-14U3-L彩色相机和一个焦距为12 mm的OPT-C1214-2M定焦镜头组成，相机数据接口方式为USB 3.0，工作电压+5 V。最后，采集到的番茄图像通过USB 3.0数据线传输至计算机中以“.jpg”格式保存。该装置采集到的番茄图像如图3所示。

1.2 图像处理

图像处理流程与每个处理步骤生成的图像如图4所示。由于LED灯板安装在摄影棚顶部，侧面相机拍摄的番茄图像的底部较暗，特征不明显且图像噪声较多[图4(a)]，使用伽马变换增强图像对比度[图4(b)]；使用中值滤波算法降低图像的噪声，结果如图4(c)。将预处理后的番茄RBG图像转换到Lab颜色空间[图4(d)]；分离L、a、b通道，提取a通道图像进行OSTU阈值分割[图4(e)]；阈值分割后的图像在形态滤波中进行开运算操作，除去背景中的孤立的封闭区域和边界干扰，形态学处理后的图像显示在图4(f)中；在光照条件下，番茄表面出现的小面积高亮区域被误分割为背景，为了解决这个问题，使用泛洪填充算法填充图像内部的空洞[图4(g)]；最后，通过原始图像与图4(g)的按位与操作，得到从背景中分离的番茄果实[图4(h)]。

1. 背景框架 2. 光源 3. 相机支架 4. 相机与镜头 5. 番茄样本 6. 计算机图2 图像采集装置Figure 2 Image acquisition device

图3 不同位置相机拍摄的番茄图像Figure 3 Tomato images taken by cameras at different positions

图4 图像处理流程Figure 4 Image processing flow

1.3 果形特征提取

表1列出了试验提取的特征参数以及各参数的提取方法，表中所有特征均基于番茄二值图像提取。此前，使用机器视觉技术进行质量预测的研究已经证明，仅利用单一角度的物体投影面积与周长建立的质量预测模型，其预测结果误差较大，多角度的多元预测模型能够更准确地测量物体的质量[16-17]。因此，分别计算了番茄俯拍图像的投影面积和周长与任意两张拍摄角度相差90°的侧拍图像的投影面积和周长。而最小外接圆半径(Rmin)与最大内接圆半径(Rmax)是在番茄正面图像的基础上得到的。最终从番茄正面图像提取了投影面积(A1)、周长(C1)、最小外接圆半径(Rmin)与最大内接圆半径(Rmax)4个特征；从番茄侧视图中提取了番茄侧面投影面积(A2、A3)、周长(C2、C3)以及横径(W)、纵径(H)特征。

番茄侧面轮廓的最小外接矩形宽和高设为番茄的横径(W)与纵径(H)。该方法测得的番茄横、纵径的单位为像素，而非实际的长度(mm)单位，需要使用图像标定方法将像素单位转换为长度(mm)单位。试验选择2015年的一元钱硬币作为图像标定的参考物体，其直径为25 mm。在测量番茄横、纵径时，每张番茄图像都需要进行图像标定，因此将硬币图片人为混合在番茄图片上(图5)，硬币图像与番茄图像均在同一条件下获得。图5中的虚线框为番茄的最小外接矩形，矩形的长、宽即为待测番茄的纵径与横径，经标定转换后得到图中番茄的实际横径长度为 74.766 mm，实际纵径长度为 58.411 mm。测量番茄横、纵径时，侧方相机拍摄的4张番茄图像均被使用，取4次测量值的平均值作为最终测量结果。

表1 特征参数及其提取方法Table 1 Characteristic parameters and their extraction methods

为了验证最小外接矩形法对番茄横、纵径检测结果的准确性，使用精度为0.02 mm的游标卡尺测量番茄果实最宽处的尺寸作为横径；游标卡尺平行于果轴(果脐与果蒂的连线)时，测量番茄上部轮廓边缘与下部轮廓边缘的距离作为纵径。每个样本在不同角度下测量3次，取3次测量值的平均值作为番茄的实际横径和纵径。

朱晓林等[18]的研究证明了果形指数与番茄单果质量的相关系数达到极显著相关水平；刘忠超等[19]提取苹果的横、纵径，建立了果径平均值与苹果重量预测的回归模型，因此果形指数和果径平均值可以作为番茄单果质量筛选的评价指标。

图5 横、纵径测量结果Figure 5 Measurement results of transverse and longitudinal diameters

1.4 建立预测模型

使用机器视觉技术预测番茄重量，首先需要明确番茄果重与特征参数的相关关系。对特征与番茄重量进行相关性分析，皮尔逊相关系数的大小即代表相关性强弱。试验分别对番茄正面图像和侧面图像进行了特征提取操作，根据模型输入参数的所属图像角度不同，分别建立了正面特征模型(M1)、侧面特征模型(M2)以及正面和侧面特征的组合模型(M3)3种重量预测模型。

1.5 工作平台

试验工作平台由计算机硬件和开发平台两部分组成。计算机配置为英特尔酷睿 i5-11400H CPU处理器，内存为16.0 GB，RTX 3050显卡。开发平台为Windows 11(64位)操作系统， 图像处理与特征提取过程基于OpenCV 3.4.2.16开源软件库实现，编程语言为 Python。提取的特征数据和质量数据在SPSS 26 中进行统计分析，最后利用SPSS软件中的回归分析功能获得质量预测的回归模型。

2 结果与分析

2.1 果形参数

表2为计算机测量的番茄横、纵径与人工测量的数据。表2结果显示，计算机测量的横径、纵径的平均绝对误差分别为0.760 mm和0.888 mm，且横、纵径的测量值与真实值的绝对误差的标准差均小于0.5 mm，误差在可接受范围内，表明机器视觉测量横、纵径的方法能够较为准确地反应出番茄的实际特征，而个别番茄的横径与纵径测量误差较大(相对误差为2.750%)可能是由于个别番茄果实畸形较严重。

2.2 特征与质量的相关分析

由图6可知，除果形指数外，其他特征参数与实测重量(m)基本呈线性相关，且从正面图像中提取的投影面积(A1)与轮廓周长(C1)特征与重量的线性相关性强；在相关性热力图中，果形指数与果重没有表现出明显的相关关系，出现这种情况的原因是试验在测量番茄横、纵径时分别对其4个角度的侧面图像进行测量，以它们的平均值计算果形指数，这种计算果形指数的方法考虑了番茄的整体形状，在果形畸形情况较严重时，果形指数计算值与其实际值差异较大，导致最终分析得到果形指数与番茄果重没有线性关系的结论。此外，4个正面特征相互之间的相关性很高，相关系数在0.95以上，即存在很强的多重共线性。在进行模型构建时同时使用这4个参数可能会导致过拟合。由图6可知，番茄正面特征与质量之间的相关性达到极显著水平，相关系数大于0.90；侧面特征与质量显著相关，但相关性比正面特征低。线性相关性由强到弱排列为：正面图像投影面积(0.954)>正面图像周长(0.943)=最大内接圆半径(0.943)>最小外接圆半径(0.937)>角度1的侧面图像投影面积(0.857)>番茄横径(0.854)>角度1的侧面图像周长(0.850)>角度2的侧面图像投影面积(0.802)>(横径+纵径)/2(0.79)>角度2的侧面图像周长(0.785)>番茄纵径(0.602)>纵径/横径(-0.19)。最后选择与果重相关系数高于0.85的特征作为开发参数进行建模。

表2 计算机测量的番茄横、纵径与人工测量的数据Table 2 Transverse and longitudinal diameter of tomato measured by computer and manual measurement data

图6 特征相关性热力图Figure 6 Characteristic correlation thermodynamic diagram

2.3 模型性能评估

根据特征与质量的相关性分析结果，最终确定了用于建模的参数为正面图像投影面积与周长、最小外接圆半径、最大内接圆半径、角度1的侧面图像投影面积与周长、番茄横径。M1中包括一元线性回归模型M11、M12、M13、M14(分别以正面投影面积、周长、最小外接圆半径、最大内接圆半径为输入)和二元线性回归模型M15、M16、M17(输入参数分别为正面投影面积与周长、最小外接圆半径、最大内接圆半径的组合)。M2、M3中均为多元线性模型。

通过回归分析得到各模型的相关系数结果见表3。与所有其他模型相比，M2模型的预测准确度最低(平均回归系数为0.802)。在M1中，输入中含投影面积的二元线性回归模型的回归系数(R2>0.910)均大于其对应输入的一元线性回归模型。M2中，侧面周长与番茄横径的组合输入得到了最高的回归系数(0.853)，表明番茄横径更能反映番茄侧面的信息。最后，在M3所有模型中，正面周长—侧面周长与正面周长—横径建立的模型得到了最低的回归系数，分别为0.889和0.893；其他模型的输入参数中均包括正面投影面积，回归系数在0.910以上；M37和M38的模型回归系数相等，即在以混合特征建立模型时侧面周长对模型性能的影响极小，可忽略不计。最终以番茄正面投影面积与周长、侧面投影面积和番茄横径为参数的多元线性回归模型获得最高的准确性(R2=0.962)。

表3 模型性能评价表Table 3 Model performance evaluation

为了验证模型在实际测量中的准确性，使用所有模型对验证集中的20个番茄进行重量预测。图7为模型测量误差箱型图。由图7可知，M2中的模型的测量相对误差与绝对误差值波动范围较大，对形状正常的番茄测量结果较准确(绝对误差小于10 g)；对于果形有缺陷的番茄测量误差较大(图中异常值)，且随着果形缺陷程度的增大，模型测量误差越大(最大绝对误差为108.702 g)。M1中的模型测量准确率有所提升(平均绝对误差低于15 g，平均相对误差控制在9%以内)，但仍然存在对畸形番茄测量误差较大的情况(最大绝对误差为33.511 g)。M1与M3模型的测量平均相对误差值相近，但在不同果形情况下，M3的测量适用性更好。随着输入参数中投影面积角度个数的增加，预测模型的准确度逐渐提高。以番茄正面投影面积与周长、一个角度的侧面投影面积和番茄横径为输入的多元线性回归模型在验证集上表现出最高的测量准确性(平均绝对误差为3.892 g，平均相对误差为2.356%)，有效降低了多角度番茄投影面积发生形变和番茄形状畸形引起的质量预测误差。

图7 模型预测误差箱型图Figure 7 Box diagram of model prediction error

3 结论

基于机器视觉技术，提出了一种基于图像处理的番茄质量预测方法，能够实现番茄重量的准确测量。通过图像处理，提取番茄的几何特征参数，分别使用正面特征、侧面特征和正面与侧面特征的组合建立一元线性与多元线性回归模型对番茄果重进行预测。以番茄正面投影面积与周长、一个角度的侧面投影面积和番茄横径为输入建立的多元线性回归模型的精度最高，模型相关系数为0.962，模型预测的重量与实测重量的相对误差均值为2.356%，绝对误差均值为3.892 g。试验结果表明，对于番茄等类球形或轴对称形状的果蔬来说，仅依靠其俯视角度与单个侧视角度的几何特征如投影面积、周长、横径等就可以实现较准确的质量预测，而不需要过多角度的投影面积、周长等几何特征。

以果蔬的二维图像为基础的质量预测方法具有较好的泛化性，在一定程度上降低了质量预测模型对物体本身密度或材料的依赖，适用于番茄、苹果等类球形和轴对称形状的果蔬的质量预测。后续研究应该使用该方法对其他具有类似特征的果蔬进行验证。