基于深度学习的黄色工业金刚石检测方法

杨建新， 兰小平， 王 波， 闫 蕾， 赵 振， 冯亚东

(1. 中国兵器工业信息中心， 北京 100089)

(2. 中南钻石有限公司， 河南 南阳 473264)

黄色工业金刚石作为工业金刚石中的一种高产量产品，具有尺寸小、硬度高、形状不规则、质量轻等特点。其优异的物理、机械等性能使它可以广泛应用于刀具、石材加工、钻探等工业领域。由于黄色工业金刚石在形成过程中受到温度、压力等复杂环境因素影响，在净度、形状、大小等方面差异较大，现行黄色工业金刚石的检测主要依靠人工在放大20～100倍的光学显微镜下观察其形貌来完成，这种方法不仅效率低、人工成本高，而且往往受视力、辨别力、疲劳强度等因素的影响，检测质量的一致性难以得到有效保障。

国内外采用机器视觉技术对工业金刚石净度、晶形等的分类及分析取得了一些进展与应用。Dialnspect系统能够实现金刚石颗粒的大小以及形状参数的检测[1]，但是其价格极为昂贵，检测效率不高；熊辉[2]采用基于颜色和形状的模板匹配法实现了对金刚石颗粒的分类及数目统计；史长琼等[3]通过改进Canny算法有效提取金刚石的颗粒图像边缘，自动测量了金刚石的粒径；王庆海[4]在实验室环境下采用HALCON软件结合机器视觉实现了金刚石颗粒粒径、圆度、椭圆度、净度、形状等参数的测量；石广丰等[5]通过机器视觉对金刚石的尺寸、形态与颜色信息重构，生成了可供计算机辅助设计的金刚石三维模型。

深度卷积神经网络技术的迅猛发展为黄色工业金刚石的质量检测提供了新的方向[6-8]。李世超等[9]采用BP神经网络对全自动显微影像检测仪采集的金刚石椭圆度、透光度等形貌参数进行训练，实现了对金刚石的TI、TTI值的预测；潘秉锁等[10]提出了基于空洞卷积神经网络的语义分割模型，构建了含有16层的深度学习网络和小型的金刚石颗粒图像分割数据集，较好地解决了颗粒中亮斑的归类问题，实现了金刚石颗粒图像的完整分割。

综上所述，虽然机器视觉和深度学习在工业领域都有一定的应用，但围绕金刚石的批量化检测尚未有相关的技术研究。因此，为满足黄色工业金刚石的精准、高效检测需求，本试验提出了基于深度学习的黄色工业金刚石检测方法，构建了基于多个卷积神经网络模型的集成检测算法[11-12]，通过多个基分类器的信息融合实现了黄色工业金刚石的分类决策，从而使得该算法在单一深度学习模型准确性和鲁棒性不足的情况下能够实时、准确、高鲁棒性地对黄色工业金刚石品级进行分析。

1 试验原理

黄色工业金刚石检测系统硬件机械结构如图1所示，主要由原料仓单元、提取料单元、理料单元、上料单元、传送单元、视觉识别单元、下料单元等部分组成。其工作过程如下：

图1 系统硬件结构图

待分级黄色工业金刚石贮存在原料仓单元中，通过提取料单元将黄色工业金刚石提取至理料单元；上料单元每次精准地从理料单元中抓取一颗小尺寸、不规则形状的黄色工业金刚石至传送单元；当黄色工业金刚石进入传送单元后，通过传送单元的旋转机构将其运送至视觉识别单元，同时触发CCD工业相机对黄色工业金刚石进行图像采集。将采集的金刚石图片传入PC机，进行图像处理以及品级分类，PC机把分析结论信号传送给PLC，由PLC控制传送单元旋转到下料单元，根据检测结果系统将不同品级的黄色工业金刚石放入不同的收纳桶里，完成黄色工业金刚石的质量检测。黄色工业金刚石典型缺陷如图2所示。

2 关键算法

2.1 图像采集

本试验中黄色工业金刚石样本图像均采集于河南省某工业金刚石制造企业。根据周围环境光线，调整相机曝光时间、增益、白平衡和光源的亮度等可控参数至最佳状态后，进行原始样本图片采集。设定图像分辨率为900×1 200像素，图像格式为jpg。

2.2 图像处理

由于采集到的样本图像中包含大量的空余区域，为消除冗余信息，节省运算时间，在模型训练前需要预先对采集的原始样本图片进行处理。首先对原始样本图片进行预处理，增强图像对比度，采用自适应阈值算法进行图像二值化，获得图像的前景和背景。然后采用腐蚀与膨胀、最小外接矩形检测等图形处理方法[13]对原始样本图片进行处理,如图3所示。

图像处理过程主要步骤如下：

(1)灰度化。对原始样本图片进行灰度化处理。

(2)滤波去噪。对步骤1得到的图像使用低通滤波器平滑图像中的高频噪点，降低图像的变化率，减少金刚石周围瑕疵对裁切的影响。

(3)二值化。将步骤2中所得图像进行自适应二值化，以便更好地进行边缘检测。

(4)腐蚀与膨胀。为消除经步骤3后图像中白色斑点对黄色工业金刚石区域轮廓检测的干扰，对图像分别执行腐蚀与膨胀形态学处理。

(5)最小外接矩形检测。使用轮廓检测算法查找图像中所有联通区域的外轮廓，并通过最小外接矩形算法计算所有外轮廓的最小外接矩形。

(6)对(5)中的最小外接矩形进行面积大小、长宽比例等过滤，得到包含黄色工业金刚石图像区域的矩形顶点坐标，根据该坐标对原始样本图像进行裁切。

2.3 多重集成分类器设计

2.3.1 基分类器的选取

自从早期的LeNet[14]、AlexNet[15]等经典卷积神经网络出现后，经过大量学者的不断优化改进涌现出很多结构较复杂、性能较好的网络模型，如VGG-16[16]、Inception-V3[17]、ResNet-50[18]等。其中，VGG-16采用连续的多个3×3卷积核代替AlexNet中较大的卷积核，在保证具有相同感知野的条件下，通过不断加深网络结构来提升网络整体的性能；Inception-V3模型在原有Inception模型中加入BN层的基础上，将N×N卷积核改为1×N和N×1卷积核，加速计算的同时进一步增加了网络的深度和非线性；ResNet-50模型通过引入残差网络结构，在一定程度上解决了随着网络层数的叠加而出现的梯度消失的问题，且相较于ResNet-18和ResNet-34，ResNet-50准确率有较大提升。

为提高预测性能和分类精度，减少单个分类器的误差，本试验选用VGG-16、Inception-V3和ResNet-50等3种差异化明显且性能较好的卷积网络模型作为基础模型。将处理后的黄色工业金刚石样本图像按照网络各自输入要求放缩后进行训练，形成3个不同的模型，即基分类器。然后通过集成多个基分类器的方式实现黄色工业金刚石品级的划分。其检测流程图如图4所示。

图4 检测算法流程图

2.3.2 集成分类器的构建

目前，常用的集成学习方法主要有Boosting、Bagging、随机森林、投票法和学习法等[19]。由于黄色工业金刚石本身的复杂性，待测样本具有一定的随机性，各基分类器对其分类的效果存在差异性，需要为每个品级的样本选取一组最佳的基分类器权重，方能得到最优的分类结果。因此，本试验选用加权投票法[20-22]构建集成分类器，详细步骤如下：

(1)针对k分类问题，采用m个基分类器进行集成分类时，各个基分类器分别对于样本集D进行预测，统计各基分类器对各品级样本预测的准确率，将每个基分类器的品级预测准确率表示为一个向量Pm(D)=(Pm1(D),Pm2(D),…,Pmk(D))。若其属于各类预测的准确率越高，那么分类时的确定性越大；同理，如果预测的准确率较低，那么分类时的确定性越小，越不利于分类。

(2)所有基分类器预测的准确率输出矩阵如式(1)：

P(D)=

(1)

式中：Pij(D)表示分类器i对第j个品级的预测准确率，i=1，2，…，m，j=1，2，…，k(m=3，k=3)。

(3)借鉴多分类任务中SoftMax函数将多分类的输出转换为概率的方法，使用SoftMax函数将基分类器对各分类预测的准确率映射为分类器对该分类的融合权重系数ωij，如式(2)所示：

(2)

(4)对于单一样本x，各个基分类器的预测概率如式(3)所示：

P(x)=

(3)

式中：pij(x)表示分类器i将样本x预测为第j个品级的概率。

(5)对样本x的各类别预测概率进行加权融合，得到集成分类器E的预测类别描述，如式(4)所示：

(4)

(6)集成分类器E对于样本x的最终输出类别为Class(x)，如式(5)所示。

(5)

3 试验结果与讨论

本试验开发了1台基于深度学习的黄色工业金刚石检测系统(如图5所示)，配有1台IPC-610工控机，CPU为I7 3.4 GHz，内存16 G，15寸安美特液晶触摸屏，采用维视公司生产的MV-EM500C系列摄像机、BT23系列双远心镜头，西门子公司的SMART200系列PLC。

目前，根据晶形缺陷(凸起、凹陷、裂纹)和内部杂质在黄色工业金刚石中分布情况，企业将2 mm规格的黄色工业金刚石分为2240、2280和2290等3种品级。品级划分标准如下：当内部杂质占比与外形缺陷占比均为0时，为2290品级；当内部杂质占比不超过25%，外形缺陷占比不超过25%或者为0时，为2280品级；当外形缺陷占比大于25%时，为2240品级；当内部杂质占比大于25%时，也为2240品级。利用上述系统分别对2 mm规格的2240、2280和2290等3种品级的黄色工业金刚石进行图像采集(如图6所示)，每种品级的黄色工业金刚石样本图像均采集12 000张，并按5∶1的比例划分为训练集与验证集。

图6 三种品级金刚石样本图

3.1 基分类器的训练

训练集样本图像经图像处理后，采用VGG-16、Inception-V3、ResNet-50等3种基础网络进行基分类器训练。训练过程中主要公共超参量设置如下：最大迭代次数为100 000，批处理参数为64，初始学习率为0.001，学习率衰减因子为0.9，模型中所有参数的二次正则化超参数为0.000 04。3种网络训练中损失函数值的变化如图7所示。从图7可以看出：在前30 000次的迭代中损失值迅速下降，在30 000次到90 000次迭代中损失值缓慢减小，而90 000次后损失值基本稳定，没有显著变化。

图7 3种网络损失函数值变化曲线

3.2 集成分类器权重的确定

利用训练好的3个基分类器分别对2240、2280、2290等3种品级的黄色工业金刚石验证样本进行分类，并对3个基分类器对各品级金刚石的预测准确率进行统计，统计结果如表1所示。

表1中每个预测准确率即为式(1)中的Pij(D)，再根据式(2)进行计算，得到集成分类器E的融合权重系数wij。

表1 不同模型的预测准确率

3.3 评价指标

引入查准率P、查全率R以及综合评价指标F等3个指标[22]对分类结果进行量化评价。其中，查准率P表示准确率，即结果中的正确部分占整个结果的百分比，衡量检测信噪比；查全率R表示召回率，即结果中的正确部分占实际正确部分的百分比，衡量检测成功度，其计算公式如式(6)所示：

(6)

式中：TP表示预测正确的个数，即预测结果中将正类预测为正类的个数；FP与FN均为预测错误的个数，其中FP表示把负类预测为正类的个数，FN表示把正类预测为负类的个数。且TP+FN为真正正确的颗粒总数，TP+FP为预测的正确的颗粒总数。

3.4 试验验证

为了对集成分类器的检测性能进行验证，设计了以下试验：挑选2240、2280、2290等3种品级的黄色工业金刚石各400颗，充分混合后放入黄色工业金刚石检测系统，分别利用3个基分类器M1、M2、M3和集成分类器E对混合后的黄色工业金刚石进行识别。检测结果如表2所示。

表2 各模型检测结果表

3.4.1 基分类器结果分析

从表2可以看出：对于混合后的1 200颗黄色工业金刚石，模型M1分类结果为2240品级405颗、2280品级384颗、2290品级411颗。其中，405颗品级为2240的黄色工业金刚石中，分类正确的数量为347颗，其余58颗则为分类错误，即查准率P为85.7%，查全率R为86.8%，其他与此类同。从整体来看，M1对2240和2280等2种品级的黄色工业金刚石有较高的识别率，且2240的综合评价指标F达到86.2%，2280的综合评价指标F达到85.5%；M2对2240和2290等2种品级的黄色工业金刚石有较高的识别率，F值分别达到86.0%和85.2%；相较2240和2280来说，M3可以更好地识别出2290品级的金刚石，F值为85.5%。综合上述指标情况可以看出，3种基分类器对不同品级黄色工业金刚石的分类性能各有优劣。

3.4.2 集成分类器结果分析

从表2还可以看出：集成分类器E对3种品级金刚石的查准率P都稳定在87%左右，查全率R均高于83%，F值均高于86%；其中，对于2240品级的查全率R达到了90.3%。

(7)

集成分类器各项指标平均值变化见表3，由表3可以看出：对于各项指标而言，集成分类器E均提高了3%以上；对于2280品级的查准率提高了5.36%，提高效果显著。

表3 集成分类器各项指标平均值变化

4 结论

为解决工业生产中黄色工业金刚石人工检测速度慢、劳动强度大、质量一致性不高等问题，提出了一种基于深度学习的黄色工业金刚石检测方法。得出如下结论：

(1)通过对黄色工业金刚石原始样本图片预处理，得到符合网络输入的黄色工业金刚石样本图片，并采用VGG-16、Inception-V3和ResNet-50等3种网络结构构建了3个基分类器，然后应用加权投票的方式实现了多个基分类器的信息融合，充分发挥了各个基分类器的优势，提高了集成分类器的综合性能。

(2)开发了基于深度学习的黄色工业金刚石检测系统，并对2240、2280、2290等3种品级的黄色工业金刚石进行了试验验证，验证结果表明3种品级的黄色工业金刚石综合评价指标F值均达到了85%以上，该硬件系统可以满足黄色工业金刚石的工业化检测。

本试验提出的基于深度学习的黄色工业金刚石分选方法，为大批量工业金刚石的快速分选提供了新的思路，有效地提高了生产效率。在后续研究中，将考虑在该算法的基础上，进一步研究黄色工业金刚石的内部杂质、外部凸起、凹陷以及裂纹等缺陷特征对基分类器识别精度的影响，并量化缺陷特征在各级分类中的占比，并改进集成策略提高各黄色工业金刚石的检测精度。