基于深度学习的瓷砖在线快速无损检测系统开发*

张涛川，段春梅

(佛山职业技术学院，广东 佛山 528137)

0 引言

随着瓷砖的广泛应用，对瓷砖的质量要求越来越高。在实际生产中，质量检测是瓷砖生产线上一个非常重要的环节，很多企业都利用自动化机器检测瓷砖的平整度和尺寸，但是一些常见的表面缺陷如裂纹、色差、凸块、凹陷、孔洞和划痕等还是依靠人工检测[1]。为了推进瓷砖表面缺陷检测的自动化，提高检测的准确率，很多学者采用不同的技术对瓷砖表面缺陷检测进行研究。段春梅等[2]提出一种基于傅里叶变换的随机纹理瓷砖表面缺陷高精度检测方法，对采集的瓷砖图像首先利用傅里叶变换得到频率谱图像，然后研究截止频率参数对滤波的影响，设计最优化滤波器进行滤波，再通过傅里叶逆变换获得重构图像，达到抑制背景纹理信息，加强缺陷区域信息的目的，最后通过阈值化和形态学操作获得缺陷区域。李军华等[3]提出一种有效的多特征融合算法用于瓷砖缺陷检测，该方法提取了改进后的SIFT和颜色矩的特征，然后将两种区域特征分配权重进行融合，将融合的特征向量输入到SVM分类器进行缺陷分类识别。张军等[4]针对通过小波变换与形态学融合的差影法提取裂纹边缘、花纹及部分背景信息，以减少背景区域对缺陷检测的干扰。

近年来，图像处理技术和机器视觉技术成为各种产品的缺陷检测主流技术，但是由于表面缺陷具有任意形状、大小和方向的特点，无法获得标准缺陷特征描述，因此很多专家将深度学习应用于缺陷分类和识别。本文以瓷砖为研究对象，结合机器视觉技术和深度学习对瓷砖表面缺陷进行自动检测。

1 瓷砖在线快速无损检测系统设计开发

为了采集瓷砖图像，进行缺陷分类识别，本文设计了瓷砖在线快速无损检测系统。该系统适用于不同尺寸的瓷砖快速检测，包括移动瓷砖的传送模块、相机、激光器、支架。传送模块包括传送首端、检测区以及传送末端。相机和激光器分别通过相机支架和激光器支架设置在检测区的两端，可自由调节高度和角度。检测区的两侧均设有照明光源，光源均为方形光源。瓷砖在线快速无损检测系统结构示意图如图1所示。

图1 瓷砖在线快速无损检测系统结构示意图

将瓷砖放入搭建好的检测平台上，通过传送带传送瓷砖，当瓷砖到达检测区时，打开激光器与相机，相机将拍摄到的瓷砖图片上传至电脑，进一步进行缺陷检测分析处理。其中，在检测之前需要调节好相机的光圈、焦距和相机位置，调节好激光器的位置，保证激光器垂直于瓷砖表面。

2 数据采集与预处理

目前没有开放的瓷砖样本数据集，所以项目团队与企业合作，由企业提供包含裂纹、黑点、划痕和无缺陷的四类瓷砖样品，通过样机平台采集样本图片，并采用翻转、亮度调整等变换方法对样本进行数据增强，有效地解决了训练样本不足的问题。

对瓷砖样本图片采用双边滤波器进行降噪，保持边缘细节平滑的操作。其双边滤波器的数学定义[5-6]为：

(1)

(2)

(3)

其中：g(x,y)为双边滤波后的图像；Оx,y为以(x,y)为中心的空间领域像素集合；f(x,y)为Оx,y领域的中心像素值；σd、σr为双边滤波的参数；c为常数;(m,n)为窗口模板的中心坐标。

由于缺陷区域梯度信息对缺陷识别更加敏感，则采用梯度算法对所有采集的原始图像进行梯度计算得到梯度图像。梯度算法采用了Sobel算子，其计算公式如公式(4)～公式(6)所示[7]：

(4)

(5)

(6)

其中：Gr(x,y)为g(x,y)的梯度图像；Gx和Gy分别为Sobel算子在水平方向和垂直方向上的卷积结果。

在Sobel算子检测到的梯度图像边缘的基础上，采用最佳阈值分割算法得到缺陷分割后的效果图，如图2所示。其中黑色区域为背景，白色区域为瓷砖表面所有缺陷。

图2 图像缺陷分割效果图

3 深度学习模型设计

本文基于Alexnet网络设计了一种以原始图像和缺陷分割图像为输入图像的双流卷积神经网络模型。选择双流网络可降低从RGB图像单流网络中提取有效缺陷特征的难度，以便有效且容易地识别瓷砖图像的缺陷。双流网络模型如图3所示。

图3 双流网络模型

特征提取网络由5层卷积层构成，卷积层的设计与ALEXNET相同[8]。通过不同的卷积核提取不同的图像特征，全连接层可以充当分类器的作用，将卷积层提取的特征映射到新的特征向量中。本文采取的特征融合方式为决策级融合，特征融合的策略为最大值融合策略[9]。将融合好的特征输入到全连接层，最后输入到SVM分类器，得到缺陷分类结果。

4 实验分析

本文将通过检测平台采集的样本图片进行了预处理及分类，总共有3 548张样本图像，针对裂纹、凸块、凹陷、划痕4种缺陷和无缺陷的5种类别进行分类识别，将获得的瓷砖样本图像的数据集分成训练集、验证集和测试集3部分，具体数据如表1所示。

表1 瓷砖样本图像数据集

本文采用有监督训练方式，输入图像分别为瓷砖的原始图像和其相对应的缺陷区域图像，其都有相对应的“类别标签”，类别标签总共有五种，分别为裂纹、凸块、凹陷、划痕和无缺陷。在网络训练和测试过程中，随机抽取10次样本进行训练，得到的双流神经网络和单流神经网络检测结果如表2所示。

表2 双流神经网络和单流神经网络检测结果比较

所采用的模型在训练集和验证集上的准确率和损失值随迭代次数的变化情况分别如图4和图5所示。

由图4和图5可知：随着训练迭代次数的增加，准确率曲线平稳增大，损失曲线平稳减小，曲线相对平衡，波动较小。所提方法在6个epoch和300次迭代中都能获得令人满意的收敛效果。

图4 训练集和验证集的准确率随迭代次数的变化情况

图5 训练集和验证集的损失值随迭代次数的变化情况

5 结语

本文提出了将双流卷积神经网络模型应用于瓷砖表面缺陷的分类和识别，这是第一次将双流网络应用于瓷砖缺陷检测，也是本文的一个重要创新。本文设计了不同的实验，进行了大量的比较分析，验证了提出的双流卷积神经网络模型的有效性。但是本文的瓷砖样本数据集不包括复杂背景图案的瓷砖缺陷检测，这也是后期需要研究的主要内容。