基于音频和近红外光谱融合技术的西瓜成熟度判别

邹小波，张俊俊，黄晓玮，郑开逸，吴胜斌，石吉勇

（江苏大学食品与生物工程学院，农产品加工及贮藏工程实验室，镇江 212013）

0 引 言

从古至今西瓜一直是广受人民群众喜爱的夏季清凉解渴消暑盛品，尤其在如今温室效应严重的现代生活中，更受到人们的欢迎。据联合国粮农组织的不完全统计，西瓜位居世界十大果品中的第五位。中国是西瓜种植和销售的大国，占领着主要市场地位[1]。但随着西瓜产业的规模化、趋势化，未来西瓜销售市场的竞争趋势不断加剧，高品质的西瓜必将在未来市场上脱颖而出。因此，快速准确的判别西瓜成熟度一直是瓜农、消费者以及国内外学者广泛关注的问题。

消费者挑选西瓜时主要以传统人工检测手段为主，用手敲击西瓜，通过声音特性做出判断；或是通过西瓜重量来感知西瓜的成熟度，一般来说西瓜在成熟过程中，因瓜肉细脆组织松弛，其质量会下降[2]。然而这些主观评定只能依赖于个人经验，且容易受到个人视力、经验等因素的影响，很难对西瓜进行精确判断。近年来，国内外许多学者利用无损检测技术来评判西瓜的新鲜度。常用来检测西瓜新鲜度的无损检测技术主要包括近红外光谱技术、振动频率响应法、高光谱检测技术、声学特性检验法[3]。

20世纪90年代以来近红外光谱分析技术作为一种准确、快速、无损、便捷的分析技术备受人们的关注，它在产地鉴别和农产品品质检测方面得到了大量应用[4-6]。韩东海等[7]利用CCD型近红外光谱仪以透射光谱检测方式对西瓜赤道部位的可溶性固形物含量（soluble solid content，SSC）进行检测，并结合主成分分析（principal component analysis，PCR）和偏最小二乘法（partial least squares，PLS）建立西瓜含量的预测模型，结果显示预测集相关系数为0.929，均方差误差（root mean squared error of the prediction set，RMSEP）为0.732%。介邓飞等[8]以麒麟瓜为研究对象，采用连续投影算法（successive projections algorithm，SPA）进行特征变量筛选后进一步提高了模型精度，其预测模型相关系数为0.828，预测集均方根误差为0.611，实现了对西瓜可溶性固形物含量的快速预测。由于果皮对光的反射和散射非常大，光谱信息大都为果皮信息，因此试验结果精度较低。

声学信号检测相对于近红外光谱和核磁共振等无损方法，具有穿透性强、设备简单、价格低廉等优点，是检测西瓜新鲜度的常用方法。张玉新等[9]提出音频的4个特征参数与西瓜成熟度之间存在很好的相关性，为声音检测西瓜成熟度提供可能。肖珂等[10-11]利用 2个特征参数对西瓜敲击声音信号中的峰值频率进行提取，并对西瓜的成熟度进行分类，试验证明，该方法的准确率高达90%；危艳君等[12]研究了西瓜糖度检测系统，通过获取西瓜的声波信号，建立多元线性回归预测模型，结果显示模型的相关系数为0.807，其校正集的均方差根误差（root mean squared error of the calibration set，RMSECV)，预测集的均方差误差（root mean squared error of the prediction set，RMSEP）分别为0.646和0.655。Xuan等[13]提出了一个小波多频率变换技术对西瓜的音频信号进行处理，提出了一种不等式假设对西瓜成熟度检测的结果校正集和预测集的精度均为91.67%。上述研究均表明声学检测技术可以实现成熟度的检测，但受检测部位及个体差异的影响，且易受到外界噪音影响，准确性不高。

因此，为了提高西瓜成熟度检测的鲁棒性，本研究同时探讨 2种技术，利用智能手机的自带音频系统和便携式近红外光谱仪相结合。同时采集西瓜的音频和光谱信息。通过数据处理加工分离背景噪音并提取音频和光谱特征信号，并将其融合后以获取最佳信息组合，提高模型的稳健性。

1 材料与方法

1.1 试验样品

本研究选用的西瓜样本采摘于镇江市丹阳某种植园，在相同生长环境的同一块瓜田中60个“早佳8424”样本中分三批次摘得。按照计日成熟法将样本分为三类[14]。西瓜坐果时开始算起，在4月12日采摘未成熟西瓜20个，接着分别于4月27日、5月14日采摘适熟与过熟西瓜各20个[15]。从外表上看，未熟的生西瓜体积较小、外表皮不光滑、纹理清晰但条纹更细，且呈现浅绿色；适熟西瓜的体积适中、外表皮光滑、纹理清晰，呈现深绿色；过熟西瓜体积较大、外表皮光滑、纹理清晰，呈现墨绿色。运回试验室后对60个样品进行编号后用于后续的试验测定。

1.2 西瓜声学特征信号的获取

如图1所示，信号采集的主要过程如下：1）在一个密闭且安静的试验室中，把待检测的西瓜样本放在工作台上；2）放置手机于西瓜的赤道位置上（即以蒂为极点，西瓜中部为赤道），距离为3 cm[16]；3）设置音频采样率为44.1 kHz，采样位数32 bit，并在采集环境下进行信号校准。通过音频软件（Audacity）采集程序，点击运行，每次将小球举到与铁架台平行的位置后放下后对西瓜的赤道位置撞击；4）最后，收集到的声波信号以*.wav格式存储在手机上。选取每个西瓜赤道上不同的点，分别采集3个音频，所有西瓜共180个音频信号。在西瓜音频信号的采集过程中，敲击一次西瓜后即刻收集信号并保存，每一段音频时长都不超过3 s。

1.3 西瓜近红外光谱的采集

如图1所示，采用便携式近红外光谱仪（USB2000+，美国Ocean Optics公司），以漫透射方式对西瓜样品进行光谱采集，光纤采用“Y”型检测探头[17]。光谱仪参数设置为：积分时间100 ms、积分次数10、平滑度20，光谱范围为489～1 156 nm，并对光谱进行明暗校正[18]。如图1所示，采集光谱时，将光纤探头放置于西瓜的赤道部位，对准后并贴紧西瓜表面，保证探测器全部覆盖。在相同的测量条件下，每个西瓜样品分别采集 3次，共计 180条光谱[19]。

图1 西瓜信号采集装置Fig.1 Watermelon signal acquisition device

1.4 西瓜可溶性固形物的测定

光谱扫描后采用数字阿贝折光仪（ARIAS 500，Reichert Technologies，New York，USA）对60个西瓜样本的可溶性固形物含量（soluble solid content，SSC）进行测定，保持测试环境恒温。取西瓜果肉中心位置榨汁，然后用洁净纱布过滤，将果汁滴于折光仪的镜面中心处，闭合棱镜使其铺满整个镜面测定[17]。

1.5 信号融合

声学振动信号反映的是西瓜声音传播的频率信息，而近红外光谱反映的是分子振动的倍频信息，利用单一信息评判样本的品质指标，较为片面。因此，如果可将2种技术数据融合为一体，使信息来源更丰富，全面。分别进行主成分分析（principal component analysis，PCA）特征提取音频信号和遗传算法（genetic algorithm，GA）波长变量筛选近红外光谱信号进行融合。采用极值归一化的方法把所有的数据向量除以最大值和最小值的差，使得到的所有数据范围都落在[0,1]之间[20]。本研究使用公式（1）将西瓜的光谱信号与音频信号的数据变量进行融合。

使得音频处理数据和光谱数据处于同一个范围内后，将两种数据进行融合，作为新的变量对西瓜成熟度相关的品质信息进一步判别分析。首先对融合信号构建三种定性判别模型，然后再通过Si-PLS算法建立与西瓜可溶性固形物含量的预测模型。

1.6 数据处理与分析方法

采用MATLAB 2010软件对数据进行处理与分析，在定性分析中校正集预测集识别率越高越好；定量分析中以相关系数和模型的均方根误差为主，其中相关系数越大，均方根误差越小，模型越好。

试验按照2:1的比例将3类不同成熟度的西瓜样本随机分为校正集和预测集，其中校正集共 120个被用来建立识别模型，预测集共60个用来验证模型的稳定性，分别采用线性和非线性的判别分析法建立不同成熟度西瓜的定性模型。如表 1所示为不同成熟度西瓜的定性模型样本的可溶性固形物范围。

表1 西瓜样本的可溶性固形物分类Table 1 Measured statistics of soluble solid content of watermelon

K最近邻法[21]（k-nearest neighbor，KNN）、线性判别分析（linear discriminant analysis，LDA）和反向传播人工神经网络[22]（back propagation artificial neural network，BP-ANN）3种化学计量学方法，分别建立西瓜成熟度的定性判别模型。同时采用联合区间偏最小二乘筛选法（synergy interval partial least squares，Si-PLS）分别建立声学技术、近红外光谱技术、融合技术的西瓜可溶性固形物预测模型。

2 结果与分析

2.1 西瓜声学特性的处理

2.1.1 音频信号的预处理及特征提取

利用西瓜的音频特性对西瓜成熟度信号采集过程中，由于其存在噪声、相同成熟度西瓜的音频特征相似、西瓜样本数量过少而维数过高等问题，给机器学习算法增加了难度而又降低了泛化能力。于是，西瓜的音频信号的预处理步骤就显得极为重要[23]。本研究主要通过将数据进行卷积平滑结合数据归一化的处理方法，对音频信号进行预处理[24]。如图2a和图2c所示，预处理结果降低了音频信号中的随机误差。同时为了将音频响应值更加明显，可通过将音频信号经过傅里叶变换得到频谱信号来分析。但所获得的频率信号的结果数据量庞大，若用所有的频率变量建立西瓜判别预测模型，会严重降低模型的稳定性。因此首先通过主成分分析（principal component analysis, PCA）提取数据特征值[25]。PCA处理得到的新变量是互不相关的，少数的变量可替代所有变量信息，且在不丢失有用信息的前提下最大限度的表示原光谱的数据特征[26]。如图2b和图2d所示，为特征提取前后的处理图。可以看出预处理后的信号有效信息响应值更加明显。

2.1.2 声学特征值对西瓜成熟度的定性判别

西瓜音频信号通过PCA特征提取得到新变量后，通过3种定性判别模型对其进一步的分析。LDA、BP-ANN、KNN判别模型的最佳识别率如表2所示，结果显示LDA的预测效果优于BP-ANN和KNN，其校正集和预测集的识别率分别为100%和83.33%。音频处理后发现不同成熟度西瓜的声音信号有明显差别，而同一成熟度西瓜的音频信号差别较小。BP-ANN作为一种非线性模型，处理信号过程中是通过将所有数据建立成一种复杂的网状结构。而这种复杂数据结构带来的相互影响反而降低了音频信号自身类间差别明显的数据结构，不利于模型的区分。LDA模型主要以映射后类间与类内离散度的比值方式选择代表原始变量的线性组合，最终实现同一成熟度西瓜信号聚集、不同成熟度西瓜样本更加分散，从而更容易被区分开。因此LDA预测集的模型精度较高。

图2 预处理前后西瓜的音频信号Fig.2 Acoustic signal of watermelon before and after pretreatment

2.1.3 声学特征值对西瓜可溶性固形物预测模型的建立

为了进一步预测音频信号与西瓜的可溶性固形物的定量关系，本研究选取预处理后音频信号的校正集与预测集的比为2:1建立联合区间偏最小二乘筛选法（synergy interval partial least squares，Si-PLS）模型。通过将西瓜的可溶性固形物测定结果作为化学真值代入模型。联合3个子区间对音频信号进行建模分析。如图3a、3b所示，当音频信号被划分成12个子区间，联合区间1、3、7，主成分数为 10时，校正集的 RMSECV取得最小值0.682%，此时模型效果最好。其校正集与预测集的散点分布图如图3c和3d所示。

从图3中可发现校正集的相关系数rc和RMSECV，以及预测集的rp和RMSEP结果分别为0.846 9和0.682%，0.723 3和0.793%。因此，音频信号大致可以实现对西瓜的可溶性固形物含量进行预测，但预测集模型的精度较低，误差较高。

2.2 西瓜近红外光谱的处理

2.2.1 光谱的预处理及特征波长筛选

由于便携式光谱仪存在一定程度的系统误差，首尾两端的噪声比较大，且全波段建模过程中某些近红外光谱变量之间存在大量的冗余信息，会降低模型的准确性。因此选择650～950 nm波段内的共945个波长点进行相应的建模分析。所以首先采用标准正态变换（standard normal variate，SNV）对光谱进行预处理[27]。如图4所示，为预处理前后西瓜的近红外光谱图，预处理后的光谱有效滤除了噪声和背景带来的干扰，提高了信燥比。将预处理后的光谱通过GA筛波，筛选后得到126个变量值，代替原有的变量进行建模[28]。

图3 基于音频信号西瓜的Si-PLS模型结果图Fig.3 Si-PLS model result diagram of watermelon based on acoustic signal

图4 预处理前后西瓜的光谱信号Fig.4 Spectra signal of watermelon before and after pretreatment

2.2.2 近红外光谱对西瓜成熟度的定性判别

同节2.1.2所述，对光谱信号进行3种模型的定性判别分析。结果如表2所示，结果显示BP-ANN的模型识别效果最好，当主成分数为 8时，校正集的识别率为100.00%，预测集识别率为87.33%。不同西瓜的近红外光谱信号影响因素众多，对类间和类内样品的区别能力差，线性关系不明显，因此在建模过程中的使用线性模型建立的结果预测集精度较差。而BP-ANN属于非线性识别算法，非线性识别算法较线性识别算法有更佳的学习性、自适应及鲁棒性[29]。BP-ANN是由大量的数据互相连接而形成的复杂网络结构，不易受类间类内样品差别的影响，因此其模型预测集的识别率得到提高。

2.2.3 近红外光谱对西瓜可溶性固形物预测模型的建立

光谱经过预处理后对变量进行 Si-PLS建模。利用Si-PLS算法结合近红外光谱建立西瓜可溶性固形物的预测模型。因此将预处理后的光谱信号结合可溶性固形物作为化学真值，校正集与预测集的比为 2:1建立 Si-PLS模型。并通过联合 3个子区间在不同的主成分数下进行建模。当光谱被划分为24个子区间，进行区间12、18、24联合，主成分数为10时，校正集的RMSECV为最小值为 0.616%，在此条件下的模型效果最好。结果如图 5所示，其校正集的相关系数rc和RMSECV，以及预测集的rp和 RMSEP结果分别是 0.855 9和0.616%，0.834 8和0.735%。因此，可以认为便携式近红外光谱可以实现对西瓜的可溶性固形物含量进行准确预测，但模型的精度仍然较低，因此可以考虑融合音频信号和近红外光谱信号，以进一步提高模型的准确度。

图5 基于近红外光谱西瓜的Si-PLS模型结果图Fig.5 Si-PLS model result diagram of watermelon based on near infrared spectroscopy

2.3 两种技术融合对西瓜品质的判别分析

利用单一信息评判样本的品质指标，较为片面，于是可将2种技术信号融合，进行最大最小归一化处理[30]。因此，本研究将音频信号融合光谱信号，作为新的变量对西瓜成熟度相关的品质信息进一步的判别分析。首先对融合信号构建3种定性判别模型，然后再通过Si-PLS算法建立与西瓜可溶性固形物含量的预测模型。

2.3.1 融合信号对西瓜品质的判别分析

如表2所示，经过融合后的KNN模型鲁棒性得到提高。从表中可以看出当取主成分数5时，融合信号的KNN模型校正集和预测集识别率分别为 95.83%和 86.67%；BP-ANN模型的主成分因子数达到 8时校正集和预测集识别率基本达到较高水平，分别为100.00%和85.33%，LDA模型的主成分因子数为7时，校正集和预测集的识别率均达到最大，分别为100.00%和91.67%；表明融合信号较单独的声学信号和光谱信号建立定性模型信息更全面，且模型在信号融合过程中主要将两类数据进行归一化处理。归一化处理会在一定的程度上减少因近红外信号造成的类内样本差别。从而导致类间与类内离散度的比值增大。由LDA模型的定义可知因此，该比值的增加可以提高模型的预测集精度。另外该研究主要为了将融合模型用于便携式智能装备的开发，预测集精度识别率为91.67%，可满足智能装备开发需求。

表2 3种技术不同识别模型的判别结果Table 2 Discriminating results of three technology in different models

2.3.2 融合技术对西瓜可溶性固形物含量预测模型的建立

同2.1.3节，通过对融合信号建立西瓜可溶性固形物含量的Si-PLS模型。当模型被划分为15个子区间，选取联合区间6、9、10，主成分数为10时，校正集的RMSECV为最小值，为0.601%。如图6所示，融合信号与可溶性固形物含量的预测模型校正集的rc和RMSECV以及预测集的rp和RMSEP分别为0.901 5和0.601%，0.850 6和0.725%，模型精度和稳健型得到提高。2种信号进行特征融合后，可以相互弥补其单一信号中的干扰信号，同时特征信号选取保留了两种信号的有效信息，从而可以更好的将模型关系得以呈现。因此，模型精度得到提高。该研究主要是为开发一种基于手机式的便携式近红外光谱仪提供理论基础。定量模型的精度可满足装置开发的需要。通过同时采集西瓜的音频及光谱信息，调用本研究建立的最佳融合模型后，可获取西瓜的可溶性固形物。

图6 融合信号的Si-PLS模型结果图Fig.6 Si-PLS model result diagram of fused signal

3 结 论

综上研究表明：本研究主要利用声学音频信号、便携式近红外光谱信号结合 K最近邻法（k-Nearest Neighbor，KNN）、线性判别分析（linear discriminant analysis，LDA）和反向传播人工神经网络（back propagation artificial neural network，BP-ANN）化学计量学方法对不同成熟度的西瓜定性判别，同时联合区间偏最小二乘筛选法（synergy interval partial least squares，Si-PLS）对西瓜的可溶性固形物建立定量预测模型。

其中基于西瓜音频信号定性判别结果显示LDA的预测效果优于BP-ANN和KNN，其校正集和预测集的识别率分别为100%和83.33%；定量判别结果显示校正集的相关系数 rc和 RMSECV，以及预测集的相关系数 rp和RMSEP结果分别为0.846 9和0.682%，0.723 3和0.793%。基于近红外光谱建立的定性判别模型BP-ANN的识别效果最好，当主成分数为8时，校正集的识别率为100.00%，预测集识别率为87.33%；定量判别结果显示校正集的相关系数 rc和 RMSECV，以及预测集的相关系数 rp和RMSEP结果分别是0.855 9和0.616%，0.834 8和0.735%。融合技术的定性判别模型，以LDA模型效果最佳，其校正集识别率为100.00%，预测集识别率为91.67%。且融合信号建立的Si-PLS定量分析模型的效果最优：其校正集rc和RMSECV以及预测集的rp和RMSEP结果分别为0.901 5和0.601%，0.850 6和0.725%，相比的单独音频信号其均方根误差分别降低了0.081、0.068个百分点。

综上所述，研究可以实现西瓜成熟度的判别及西瓜可溶性固形物含量的快速预测，可为高精度的西瓜品质快速鉴别智能设备的开发提供理论参考。