基于模糊聚类算法的山核桃壳仁分选系统设计

汪天宇 曹成茂 谢承健 李 正

(安徽农业大学工学院，安徽 合肥 230036)

山核桃属胡桃科植物，呈椭球状，其果壳为淡褐色，果仁表皮为深褐或暗红色，内有多个分隔，属于含隔坚果类。山核桃仁富含营养且口感风味独特，深受消费者的喜爱[1-3]。由于山核桃果壳硬且厚，食用不便，因此有进一步深加工的必要性。其深加工需要将破壳后的混合物料进行壳仁分选。破壳后的山核桃有各种不同形态的分离物，包括破碎的外壳、内隔、核桃仁等，且壳仁形状差别不规律、质量不均匀，很难通过风选机等除杂筛选机械进行正确的筛分[2]。

国内外专家在物料的分选和色选方面进行了大量的研究[4-6]，如Justus[7]曾使用机器视觉同时识别榛子和杏仁等坚果在紫外线范围内发霉的颗粒，并识别果仁表面的颜色缺陷以获取品质较高的果仁，此类研究中多是应用于研究对象的分级，而将研究色选与图像处理技术应用于坚果壳仁的分选中则非常少见。采用图像特征识别技术分选坚果的壳与仁的主要技术难点在于：果仁的表皮和外壳颜色特征差异性较小，尤其是山核桃等含隔坚果类，其内部分隔颜色与果仁表皮相近，难以通过仅选定某种色彩模型并设定色彩阈值的方式进行分类识别。

本试验拟在研究山核桃壳仁分选的过程中同时利用颜色和纹理特征作为分选的物理指标，基于Labview虚拟仪器技术并结合应用模糊C-均值聚类算法，设计一种用于从山核桃壳仁混合物料中筛选出核桃仁的分选系统。该研究用于验证计算机视觉技术应用于含隔坚果分选的可行性，对提高山核桃等坚果深加工生产的效率具有重要的意义。

1 山核桃的颜色纹理特征分析与提取

1.1 图像的预处理

在分析山核桃颜色特征后，发现山核桃外壳与内隔、核桃仁的颜色区别较大，分离物表面纹理排布具有一定的规律且差异性较大。各分离物形态如图1所示，核桃仁种皮的颜色与内隔(包括壳的内壁部分)的颜色具有相似性，色域存在一定区域的重叠，很难通过传统的阈值分割对目标进行正确的识别，因此有必要结合其纹理特征应用模糊聚类算法对其进行有效分类[8-10]。初步选用计算机视觉领域应用较广的HSV颜色模式下的色调(H)、饱和度(S)、明度(V)和表面纹理的灰度共生矩阵的特征量能量(A)、熵(E)、惯性矩(M)、相关度(R)[11-12]共同描述目标的视觉特征，其中H/S/V特征值的论域范围为[0，255]，预选的7种特征能够表达物体颜色和纹理的基本信息。

图1 山核桃各分离物

考虑到山核桃破壳后各分离物的颜色特征具有复杂性，提取山核桃的颜色特征需要复杂的流程处理，具体工作流程见图2[13]。由于各颜色分量中偶尔会有小波段的高频噪声出现，预先对图像的各像素通道进行均值滤波处理以有效消除噪声影响。针对核桃仁的颜色特征，必须考虑到核桃仁形态的不完整性，即大概率出现局部裸仁的现象。裸仁的颜色接近乳白色，与目标分类对象特征具有很大的区别，在图像处理中可以同化为背景处理，降低研究对象的复杂性[14]，系统设计中采用阈值分割分离背景以消除其对目标特征的影响。预处理后的图像包含了较为完整的对象特征信息，此时提取颜色特征信息输出参数数值，完成基本处理步骤。

图2 图像的预处理流程

1.2 核仁分选系统的程序设计

基于Labview虚拟仪器技术编写山核桃颜色特征的提取和分类程序，设计符合交互的用户界面，用户界面与部分特征提取程序见图3。创建IMAQ Getimage.vi，用于初始化摄像头及将获取的图像存储在图像缓存区内[13]。在主程序中创建参数矩阵，局部变量交由MATLAB Script进行模糊聚类处理。

对获取图像进行预处理后，利用NI Vision Assistant分离出H/S/V的基色平面并数值化，创建独立的子程序Image Getcolor.vi，提取相应基色平面下的灰度值，即HSV颜色模式下的各分量数值。纹理特征反映了提取图像中相邻像素点之间的关系，创建子程序Image Gettexture.vi，通过Vision工具包提取目标图像灰度图下的灰度值，由脚本程序生成灰度共生矩阵。计算表征灰度共生矩阵特征的标量，分别为[15]：

能量A：

(1)

图3 上位机程序设计

熵E：

(2)

惯性矩M：

(3)

相关性R：

(4)

式中：

G(x,y)——灰度共生矩阵，其中(x,y)为像素空间坐标转换成的灰度对；

1.3 主成分分析与特征降维

将模糊聚类计算应用于山核桃壳仁分离物的颜色判断，首先需要先建立一个包裹这2种颜色模型的7维特征数据[hj,sj,vj,aj,ej,mj,rj]，相关特征参数见表1。多维特征数据的集合常存在若干问题，特征相互之间往往会存在强烈的相关度和冗余特征[16]。多维数据不仅存在一些无关的变量，复杂的计算还会对程序的运行造成负担，拟选取的H、S、V、A、E、M、R7个特征之间数据维数相对较大，可能存在着冗余特征，为降低数据的维数有必要运用特征降维。主分量分析(PCA)是一种将高维数据简化到低维空间以便于分析和显示的方法。利用主分量分析法对拟选用的7维特征数据的集合进行降维处理，筛选出包含信息较多的特征，处理过程中除去其冗余或是贡献较小的特征成分向量列，评估出最优的特征子集。

表1 山核桃破壳分离物特征参数

通过对获取特征数据集的因子分析，获得数据集的总方差解释。如表2所示，以某个成分的方差占全部方差的比重，即对应特征值占全部特征值总和的比重来衡量某列成分对整个数据集合的综合贡献程度。表2中，前3种主成分的累积对图像颜色信息的累积贡献率达到了96.433%，几乎能够完整地表达出山核桃各破壳物的颜色差异性信息，故选取前3种作为模糊聚类计算的最优特征成分子集。前3种主要成分的特征向量为7×3的向量矩阵，在Matlab Script中编写将原始的j×7维数据集与主要成分的特征向量矩阵相乘，数据维度则变换为成分特征向量的维度，实现降维目的，以此获得变换后的数据集。

表2 数据集的总方差解释

2 模糊聚类算法的理论与实现

2.1 模糊聚类算法的理论推导

模糊聚类(FCM)算法由硬聚类(HCM)算法发展而来，是一种无监督的聚类分析方法[17]。模糊聚类在聚类分析的基础上进一步探究样本对各类归属的可能性，表达了样本是介于类之间的特性，算法中引入隶属度这个概念来表征这种不确定程度[18]。山核桃的破壳分离物由于在颜色特征上存在一定的相似性，颜色分量的波动范围存在重叠区，无法直接通过阈值划分实现分类，有必要运用模糊聚类算法进行聚类计算。

(5)

式中：

xj——样本X中的第j个样本；

ci——类i的聚类中心；

uij——样品j属于某一类i的隶属度；

m——隶属度因子[19]。

首先采用拉格朗日乘数法将约束条件代入目标函数中，并按所有j展开，得

(6)

求式(6)目标函数的极值，分别对其中的变量uij、ci求导数，首先对uij求导。让求导结果等于0的方程式见式(7)。

(7)

重新利用式(1)的约束条件，解出λj，并代入式(6)中，得到最终的迭代公式：

uij=

(8)

式(8)得到山核桃样品属于某一类的隶属度函数，按照同样的计算方式，求目标函数J对ci的导数式见式(9)，解出聚类中心ci的迭代式见式(10)。

(9)

(10)

2.2 模糊聚类算法的实现

上述推导式中采用的数据集X的样本xj是7维特征数据经由特征降维处理后的3维数据样本v1,v2,v3，提取大量样本的颜色和纹理特征数据，生成数据的向量空间并写入测量文件，保存为dat文件格式。在Matlab中完成对模糊聚类程序的编写[22]，并导入Labview平台下的Matlab脚本中，Matlab脚本对选择的样本空间进行特征降维和迭代计算，导出计算得出的样本隶属度矩阵和各聚类中心的位置。模糊聚类应用于数据的分类计算时具有无监督性，需要具有相当数量的样本才能进行聚类，为能使设计出的最终程序能够对单个样品进行正确的识别判断，则需要保留样本空间的数据。以最后一次采集到的样本为目标样本，经过图像的采集和分析，对颜色和纹理的特征提取，目标样本特征数据的值是确定的，样本空间X经过模糊C-均值聚类计算后得出的3个聚类中心的位置也是一定的，依据聚类中心ci与隶属度ui的关系式，可以分别输出目标样本对已知划分的核桃仁、外壳、内隔这3个类的隶属度值，其中迭代终止误差限为10-5，模糊加权指数m为2。

按照上述步骤，通过图像采集与特征分析程序获取选择试验样品的特征数据，将所有特征数据写入测量文件fcmdata.dat中，选取数量为300个的山核桃破壳分离物样本作聚类计算，最大迭代计算次数为30次，经过23次左右的迭代计算获得较为稳定的目标函数值。

停止迭代后，结果得出各分类的聚类中心位置和相应数据样本的隶属度值，上述选取的分离物样本的聚类中心分布位置见表3。

表3 聚类中心计算结果

由标准试验样品经程序计算得到的聚类中心及隶属度矩阵分布见图4，图4(a)中可以看出经过降维处理后样本数据及聚类中心在三维空间中的分布情况，图4(b)中的横坐标为试验样本，纵坐标为样本对应类的隶属度值，其中：第1类为山核桃内隔的隶属度向量，第2类为山核桃外壳的隶属度向量，第3类为山核桃仁的隶属度向量。从图4可以看出，程序对作为目标识别的样本库的分类具有合理性。

图4 仿真效果图

3 试验及结果

本试验设计了针对山核桃壳仁分离物识别的静态试验方案，试验样品选自主产地安徽省皖南山区天目山脉宁国市万家乡，采摘时间为2017年9月底。以沿山核桃缝合线直径大小分为两类样本，个头较小的样本直径为10～20 mm，个头较大的样本直径为20～30 mm，个头较小的山核桃内部纹路较密集，颜色较深，个头较大的山核桃内部纹路较疏松，颜色较浅，将山核桃籽料直径较大的试验材料命名为1号样本，直径较小的命名为2号样本。1号样本和2号样本中各遴选50个山核桃，分别通过本课题组已经研制出的仿生敲击式山核桃破壳机[2]和基于低损伤离心力的二次破壳机进行破壳，获得核桃仁和破碎壳体的混合物料，通过风选机吹除粉状和粒状小颗粒个体，筛选出破壳后体积相对较大的分离物。

搭建静态图像采集与测试试验台，如图5所示，采用美国国家仪器公司的Basler ace型彩色面扫描相机(含ICX618 CCD传感器)，采集图像格式为32位色彩色图像，解析度为659×494。试验中采用暖白色的环形聚光光源，光线柔和，聚光效果良好，能够有效消除图像阴影。为获取较为准确的颜色特征，事先对摄像头进行校色处理，图像的传输格式为bmp，保证对色彩的还原度。

经CCD摄像头对测试样品进行图像采集与特征分析程序提取特征数据后，Labview中的Matlab脚本工具对测试样品的特征数据进行隶属度计算，获得测试的山核桃破壳分离物对各聚类中心的隶属度值。依据设定的隶属度值的范围，由分选系统对各测试的样本数据实现自动归类并与期望结果进行比对，由此判断识别的正确率。2组测试样品的归类识别与分选测试最终效果见表4。

1. 微型LED聚光光源 2. CCD摄像机 3. 光学支架 4. 工控机 5. 显示器

图5 静态图像采集测试装置

Figure 5 The image acquisition and test device of static image

表4 分选试验结果

试验结果表明，采用颜色和纹理特征并应用模糊C-均值聚类算法对山核桃破壳混合物实现分类并筛选出核桃仁的方法是具有可行性和较高正确率的，且对核桃仁的识别正确率高于83%。误选为外壳和内隔分别占7.0%和4.7%，是因为有些核桃仁表皮颜色的阈值具有多样性，其中不乏有劣质的核桃仁。考虑到识别物体的不可分离性，预估扩大样本容量后，识别的正确率仍有进一步提升的可能性。

4 结论

(1) 本试验的研究对象是属含隔坚果类的山核桃，根据山核桃破壳分离物的颜色和纹理特征，预先对图像进行处理和特征提取，并运用模糊聚类算法对破壳物料合理分类，通过分类结果把核桃仁从破壳混合物料中分选出来。设计了对应的静态试验方案，试验结果验证了整体系统设计的可行性。系统对核桃仁的识别率达到了83%以上。

(2) 受到试验条件限制，研究中采用单面拍摄的方法，可能对研究对象无法进行立体的评估，仍需进一步思考优化评估的方法和标准。研究中为尽可能地简化研究对象，可能受到研究样本不充分的影响，使实际研究对象的样本划分不足，导致选取类以外的对象无法在色选系统中被识别，如壳仁未完全分离体需要对图像区域进行分割识别。

(3) 本试验提出了将模糊聚类算法应用到山核桃壳仁的分选，从其颜色特征的选取到分析提供了较为完整的理论依据，并设计了具体的试验方案作论证，对坚果类及相似性质的物料分选及色选具有很好的参考价值。