机器视觉在花椒品种鉴别中的初步研究*

吴莉莉，邢玉清，郑宝周，林爱英（河南农业大学理学院，郑州450002）



机器视觉在花椒品种鉴别中的初步研究*

吴莉莉*，邢玉清，郑宝周，林爱英
（河南农业大学理学院，郑州450002）

摘要：花椒是一种重要的烹饪调料和中药配料。本文将机器视觉技术引入到花椒品种的快速鉴别中，通过机器视觉硬件装置获取6类花椒样品图像共90幅，其中60幅作为训练样本，30幅作为测试样本。对所有样本分别提取了颜色和纹理的共10个特征参数，利用概率神经网络对特征数据进行鉴别，正确识别率为93.33%。本文研究的基于机器视觉的花椒品种鉴别方法可以快速准确地提取花椒样品的特征数据，为批量分选花椒奠定了技术基础。

关键词：机器视觉；颜色特征；纹理特征；概率神经网络；花椒

作为日常调料食用的花椒主要是指芸香科植物花椒（Zanthoxylum Bungeanum MaXim）的干燥成熟果皮[1-2]，不仅被誉为“八大调味品”之一，还具有重要的药用价值。花椒市场品种繁多，不同地方、不同品种的花椒价格差异较大，常常出现品种混杂、真伪混淆等现象。目前对花椒品种的鉴别主要依靠人工，检验结果受主观影响较大，重复性差、效率低；而化学分析或仪器分析等方法，其样品前期处理的复杂性、实验本身的耗时性，无法满足现场快速检测的需求。利用机器视觉代替人的视觉，通过图像的外观特征进行分类识别，是一种及时便捷、切实有效的方法。与人工检测相比，机器视觉具有速度快、精度高、重复性好等优点，在农产品品质检测领域有着广阔的应用前景。

机器视觉也称计算机视觉，是一门涉及神经生物学、心理物理学、计算机科学、图像处理、模式识别和人工智能等诸多领域的交叉学科，主要研究用各种成像系统代替人的视觉器官作为输入敏感手段，由计算机来代替大脑完成对信息的处理和解释，实现对人类视觉行为的计算机模拟或再现。机器视觉在农业中的应用研究涉及作物种子品质检测、作物病害检测、农产品采摘、农产品品质检测、农产品分级等领域[3]，为农产品的快速无损检测提供了重要的分析判定方法。

目前国内机器视觉技术在花椒方面的研究主要集中在花椒颗粒的均匀度、闭眼率、椒籽率、果穗梗率[2-5]等外观品质，对于花椒的颜色、纹理等其他宏观特征的研究未见报道。

本文前期研究了利用机器嗅觉（即电子鼻）技术对花椒品种进行鉴别（见参考文献[4]），取得了较好的识别结果。该研究主要利用的是气味作为识别特征，本文拟从外观特征方面对其进行鉴别，为后续的多传感信息融合奠定基础，以期获得更高的识别精度。

1　花椒图像的获取

1.1实验材料

采用与文献[4]中相同的花椒样品，分别为：四川汉源大红袍（1号样品）、四川金阳青花椒（2号样品）、陕西韩城大红袍（3号样品）、河北涉县大红袍（4号样品）、云南鲁甸青花椒（5号样品）、甘肃陇南大红袍（6号样品）。所有样品均为袋装购买，生产日期在2015年3月至6月间，等级为特级。

1.2实验装置

实验采用自行研制的机器视觉系统，主要由硬件和软件两部分组成，其中硬件系统主要包括：光照室、光源、CCD摄像头、样品台、图像采集卡；软件系统主要包括图像处理软件和模式识别算法。机器视觉硬件系统如图1所示，花椒图像的采集在光照室内完成。

图1　机器视觉硬件系统示意图

CCD摄像头是获取花椒样品图像的关键部件之一，它将花椒图像由光信号转换成表示为R、G、B颜色值的模拟电信号，并输入图像处理设备。图像采集卡将输入的模拟电信号转换成数字信号（对花椒图像进行A/D转换），并将转换后的数字信号输入计算机进行后续处理。光照室内的光源采用漫反射环形LED来照明，样品台背景为白色底板，花椒在上面铺上厚厚的一层，不露出底板，这样可保证图像不受背景的干扰。实验中每种花椒样品图像采集15幅，共90幅，为了适应快速检测的需要，减少程序运行时间，将图像裁剪为400 pixel×400 pixel。

1.3图像的预处理

实际获得的图像在形成、传输、接收和处理的过程中，不可避免地存在着内部干扰和外部干扰[6]，因此需要对图像进行平滑处理。常用的平滑处理方法有邻域平均法、中值滤波法、高斯平滑法、频域低通滤波法等。由于中值滤波在去除噪声的同时还能保护图像细节，因此本文采用中值滤波法对采集的图像进行平滑去噪。

中值滤波本质上是一种统计排序滤波器，对于原图像中某点（i，j），中值滤波对以该点为中心的邻域内的所有像素进行统计排序，取其中值作为（i，j）点的响应[7]。中值滤波的效果依赖于滤波窗口的大小，太大会使边缘模糊，太小则去噪效果不好。图2是采用不同大小的窗口对原始花椒图像进行中值滤波的效果，从图中可看出，采用3×3模板不仅去除了噪声，还很好地保留了细节。

图2　不同窗口大小中值滤波比较

2　特征值的提取

为了识别出图像所属的类别，需要将它与其他不同类别的图像区分开来，这就要求选取的特征不仅能很好地描述图像，还要能很好地区分不同类别的图像。特征值的选择直接影响着机器视觉的识别率，本文针对颜色和纹理两方面的特征进行参量提取。

2.1颜色特征提取

颜色特征是图像中最直观、最明显的物理特征，它具有全局性，描述了图像区域所有景物的表面性质。相对于几何特征而言，颜色具有一定的稳定性，对大小、方向都不敏感，表现出相当强的鲁棒性。为了对颜色进行定量描述，按照某种标准利用基色来表示颜色可以得到不同的色彩空间。常用的有RGB模型、HSI模型、HSV模型、CMY模型、Lab模型等等。

RGB模型是工业界的一种颜色标准，是通过对红（Red）、绿（Green）、蓝（Blue）三种颜色亮度的变化以及它们相互之间的叠加来得到各种各样的颜色，该标准几乎包括视觉所能感知的所有颜色，是目前运用最广的颜色模型之一[7]。

HSI模型是从人的视觉系统出发，直接使用色调（Hue）、饱和度（Saturation）和亮度（Intensity）来描述颜色。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，因此在视觉系统中经常采用HSI颜色模型进行颜色提取与识别。

HSI颜色模型与RGB颜色模型存在一定的转换关系，转换公式如下：

其中

在花椒样品的彩色图像中，含有大量的颜色信息，通过这些信息可以反映出花椒的品种。由于摄像头获取的图像是RGB模型，且HSI模型与人眼对事物的观察模式一致，因此本文采用RGB和HSI两种模型来对花椒图像进行特征参数提取。

实验中对经过预处理之后的花椒样品图像分别提取R、G、B和H、S、I分量的均值，为了方便后续的模式识别，将其做了归一化处理。表1列举了花椒样品1中作为训练样本的10幅图像的颜色特征值。

表1　花椒样品1的颜色特征参数均值表

2.2纹理特征提取

习惯上，把图像中局部不规则，而宏观上有规律的特性称之为纹理，作为物体表面的一种自然属性，纹理是人类视觉系统区分自然界物体的重要依据。纹理特征的提取方法主要有结构法、统计法、模型法和频谱法。

灰度共生矩阵GLCM（Gray Level Co-occurrence Matrix）是由Haralick[8]提出的一种用来分析图像纹理特征的重要方法，是最常用的纹理统计分析方法之一。GLCM是建立在图像的二阶联合概率密度函数的基础上，即通过计算图像中特定方向和特定距离的两像素间从某一灰度过渡到另一灰度的概率，反映图像在方向、间隔、变化幅度及快慢的综合信息[9]。简单定义为：距离为d的两个像素点灰度值分别为i和j的概率，数学表达式为：

其中（x，y）是图像中的像素坐标，x、y的取值范围为[0，N-1]，i、j的取值范围为[0，L-1]，N为图像像素，L为灰度级；d是用像素数量表示的相对距离，若d= 1，则表示相邻像素；θ一般考虑四个方向，分别是0°、45°、90°、135°。

GLCM反映了图像灰度分布关于方向、邻域和变化幅度的综合信息，但它并不能直接提供区别纹理的特性，于是在统计学的基础上定义了一些度量来表示提取的纹理特征。综合考虑分类效果和分类耗时这两个方面，本文选取GLCM提取纹理特征中相关性小的四个参数：对比度、相关性、能量和同质性来表示纹理特征，这4个特征量的计算公式如下[9]：

①对比度

对比度可以理解为图像的清晰度以及纹路的深浅，它反映了GLCM元素的值是如何分布的以及图像局部的变化信息。

②相关性

其中μ1，μ2，σ1，σ2分别为：

相关性反映了在水平方向和垂直方向上邻域像素间的相似性。

③能量

能量是图像灰度分布均匀性的度量。

④同质性

同质性用来度量图像纹理局部变化是否均匀。基于GLCM的花椒样品纹理特征提取步骤如图3所示。首先将花椒样品的RGB图像转换为灰度图像，为了节省计算时间对灰度级粗量化，将256级量化为16级；然后计算0°、45°、90°、135°四个方向的GLCM，距离d= 1，并将其归一化，选取高斯函数作为归一化函数；再分别求出每个GLCM的对比度、相关性、能量和同质性四个二阶统计特征量，并计算每个特征量的均值，得到的这个4维向量就是最终所求的纹理特征向量。

图3　GLCM的纹理特征提取框图

对图2（a）所示的图像（即花椒样品1的第一幅图像）做灰度变换，得到如图4所示的灰度图像，然后计算GLCM，提取四个不同方向的二阶统计量，如表2所示。对所有花椒样品都做上述相同的特征提取，表3列举了样品1中作为训练样本的10幅图像的纹理特征均值。

图4　花椒样品1第一幅图的灰度图像

表2　4个方向GLCM二阶统计量

表3　花椒样品1的纹理特征参数均值表

3　基于概率神经网络的花椒品种鉴别

概率神经网络PNN（Probabilistic Neural Net⁃work）是在径向基函数RBF（Radial Basis Function）[10]，其理论依据是贝叶斯最小风险准则（即贝叶斯决策理论）。PNN既具有统计分类的功能，又不受多元正态分布等条件的限制，并且在PNN运算过程中可读出被分类的新输入样本的后验概率，从而提供了对计算结果的解释。理论上来说，PNN得到的分类结果能够达到最大的正确率，当训练的样本数据足够多时，PNN收敛于一个贝叶斯分类器，且推广能力良好。

PNN的基本结构如图5所示，包括：输入层、模式层、求和层和决策层。

图5　PNN的基本结构

输入层接收来自训练样本的值，其神经元数目和样本向量x的维数相等。模式层与输入层之间通过连接权向量wi相连，进行加权求和输出zi=x·wi，通过一个非线性映射运算后传递给求和层。模式层中的非线性映射采用指数函数exp[(zi-1)/σ2]实现。求和层将有对应样本中同一类的模式层传来的输入（属于某类的概率）进行累加以及得到输入样本属于该类的最大可能性[11-14]。决策层接收来自求和层输出的各类概率密度函数，概率密度最大的那个神经元输出为1，即对应的那一类是待识别的样本模式类别，其他神经元的输出全为0。

利用PNN对花椒品种进行鉴别时，颜色特征和纹理特征一同作为输入向量，建立10维输入和6维（待识别的种类）输出。在设计PNN时，由于径向基函数的分布密度Spread对网络的分类性能影响较大，当Spread接近于0时，对应的PNN就是一个最近邻分类器；当Spread增大后，对应的PNN就要考虑附近的设计向量。在训练网络时，每种花椒样品15幅图像中取其中10幅作为训练样本，共60幅，剩余5幅图像作为测试样本，共30幅。通过实验确定当Spread取值在[0.05，0.8]时，训练样本识别率为100%。将30幅测试样本输入训练好的PNN中，识别结果如表4所示。测试样本的总体识别率为93.33%，3号样品和4号样品的外观较为接近，因此在识别时会出错，青花椒与红花椒颜色有明显的不同，可以完全识别。

表4　PNN对测试样本的分类识别率（Spread=0.06）

4　结论

本文用自行设计的机器视觉硬件系统对6类不同品种的花椒样品图像进行了采集，通过中值滤波预处理之后，提取了R、G、B、H、S、I颜色分量的均值和GLCM的对比度、相关性、能量、同质性纹理特征的均值一同作为分类特征，利用PNN进行分类识别。PNN由于其权值就是模式样本的概率分布，因此训练时间短，模式分类性能好。对6类花椒样品的60幅图像作为训练样本，特征数据60×10维，PNN能完全正确分类，对于30幅图像特征数据30× 10维的测试样本，识别准确率为93.33%，取得了较好的分类效果。如何优化PNN，融合机器嗅觉信息来进一步提高识别率是将要进行的研究。

参考文献：

［1］余晓琴.花椒品质评价方法及其应用研究［D］.重庆：西南大学，2010：5.

［2］杨飞.基于机器视觉的花椒外观品质检测技术研究［D］.重庆：西南大学，2008：5.

［3］郑小东，王杰.机器视觉在玉米籽粒品质检测中的应用研究［J］.中国粮油学报，2013，28（4）：124-128.

［4］吴莉莉，郑丹，郑宝周，等.基于电子鼻技术的花椒品种鉴别方法研究［J］.传感技术学报，2013，26（11）：1473-1477.

［5］杨镇宇.基于机器视觉和SVM的花椒外观品质检测技术研究［D］.重庆：西南大学，2010：5.

［6］张弘.数字图像处理与分析［M］.北京：机械工业出版社，2013：1.

［7］张铮，徐超，任淑霞，等.数字图像处理与机器视觉——Visual C++与Matlab实现［M］.北京：人民邮电出版社，2014：5.

［8］Haralick R M，Shanmugam K，Dinstein I H. Textural Features for Image Classification. Systems［J］. Man and Cybernetics，IEEE Transactions，1973（6）：610-621.

［9］王龙.图像纹理特征提取及分类研究［D］.青岛：中国海洋大学，2014：5.

［10］Specht D F. Probabilistic Neural Networks for Classification Map⁃ping or Associative Memory［C］// Neural Networks，IEEE Interna⁃tional Conference on Digital Object Identifier，1988，1：525-532.

［11］Specht D F. Probabilistic Neural Networks［J］. Int J Neural Net⁃works，1990，3：109-118.

［12］Roberto Miguez，Michael Georgiopoulos，Assem Kaylani. G-PNN：A Genetically Engineered Probabilistic Neural Network［J］. Non⁃linear Analysis：Theory，Methods & Applications，2010，73（6）：1783-1791.

［13］Michael R Berthold，Jay Diamond. Constructive Training of Proba⁃bilistic Neural Networks［J］. Neurocomputing，1998，19（1-3）：167-183.

［14］苏亮，宋绪丁.基于Matlab的概率神经网络的实现及应用［J］.计算机与现代化，2011，195（11）：47-50.

［15］段勇，李程，徐心和.基于颜色空间映射的自适应足球机器人视觉系统［J］.传感技术学报，2012，25（1）：82-86.

吴莉莉（1977-），湖北荆州人，2007年获浙江大学生物医学工程专业博士学位，师从陈裕泉教授。副教授，主要从事传感器技术、信号处理、模式识别和农产品无损检测等方面的研究，已发表论文四十余篇，wllzju@126.com;

邢玉清（1981-），河南周口人，2008年获中山大学生计算机应用技术专业硕士学位，师从陈晓峰教授。讲师，主要从事网络安全、安全协议、密码应用等方面的研究，已发表论文十余篇，xyq@henau.edu.cn。

Simulation and Tests of Multiple Sprinklers Rainfall Generator*

LIU Bo，WANG Xiaolei*，SU Teng，KANG Zhaojing
（College of Meteorology and Oceanography，PLA University of Science and Technology，Nanjing 211101，China）

Abstract：In order to realize the full scope simulation of natural rainfall intensity，the observation pattern acquired from single sprinkler is regarded as a multi-dimensioned vector，on which the established model of multiple sprin⁃klers in square layout is based. Then，the data of coefficients of uniformity and rainfall isoline map for four over⁃lapped sprinklers are analyzed and the optimum spacing is ascertained. Further more，in the condition of the opti⁃mum spacing，an experiment is conducted to evaluate uniformity and stability of the rainfall environment. The test results indicate that tipping-bucket raingaugescan be located in four quarters of the compass so as to carry out large rainfall intensity test after the stability time in the current rainfall generator environment.

Key words：rainfall generator；large rainfall intensity；simulation；test

doi：EEACC：723010.3969/j.issn.1004-1699.2016.01.024

收稿日期：2015-08-06修改日期：2015-09-21

中图分类号：TP391.4

文献标识码：A

文章编号：1004-1699（2016）01-0136-05

项目来源：河南省科技攻关计划项目（142102110054）；河南省教育厅科学技术研究重点项目（12A510014）