基于PCA 图像融合的皮革缺陷检测*

张 森 郑洲洲

（青岛科技大学机电工程学院 青岛 266061）

1 引言

皮革是人们生活中许多日常用品的必需材料，其质量的好坏决定了日常生活用品的使用寿命，因此皮革质量检测成为了皮革生产过程中极为重要的一步。现阶段很多皮革厂仍使用人工检测的方法来检测皮革缺陷，人工检测存在主观性强、效率低、误检漏检率高，且人工费用的支付增加了皮革厂的生产成本，不利于皮革的批量生产，严重阻碍了皮革行业的发展。因此改进检测技术，提高检测效率成为了皮革行业亟需解决的难题。

近年来，相关学者结合机器视觉提出很多检测方法，应用于皮革缺陷检测领域。丁彩红等提出将神经网络与显著性检测相结合的方法用于检测皮革［1］。该算法相比简单神经网络检测的准确度得到了提升，且缩短了处理时间，但使用神经网络检测需要大量样本训练网络，效率低，样本需求量大。于彩香等提出采用一种基于灰度—游程累加模型的皮革检测算法，通过计算每个像素的灰度—游程累加值，从而确定前景与背景的分割阈值［2］。该算法需要计算每个像素的灰度—游程累加值计算量大，且对纹理复杂的皮革分割效果差。朱凌云等提出基于视觉显著模型的皮革瑕疵检测方法，通过提取皮革图像的颜色和亮度特征生成显著图，最后利用区域生长方法对瑕疵区域进行分割，以实现瑕疵的准确定位［3］。该算法对均匀变化的图像检测效果好，当图像复杂事分割效果差。Malathy Jawahar 等提出使用小波分解将图像分解为高频和低频，再采用小波统计特征，最后通过小波共生矩阵提取特征识别缺陷，并使用支持向量机（SVM）算法对缺陷进行分类［4］。该算法可以自动识别缺陷，但当缺陷与背景对比度较小时，小波分解难以将缺陷从背景中分离出来。D.Du-Ming Tsai 等提出一种将纹理图像与特定的Gabor 滤波器进行卷积输出能量响应的方法，通过选择Gabor 滤波器的最佳参数，使均匀纹理处的能量为零并缺陷处产生很大的能量值，以此来区分均匀区域和缺陷区域［5］。该算法对纹理简单的皮革检测效果好，当存在复杂纹理时，无缺陷区域与缺陷区域难以准确区分。上述算法在指定的条件下检测效果好，当皮革颜色、纹理等特征以及检测环境发生改变时检测效果差，且上述算法都是用于检测皮革单面的缺陷，当皮革双面同时存在缺陷或存在未穿透孔洞等内部缺陷时无法实现一次性输出检测结果。

红外热成像检测作为无损检测技术之一，凭借适用范围广、响应迅速、安全、高效等优势在疾病诊断、建筑质量检测、新型材料缺陷检测、夜间监视等许多领域［6～9］得到广泛应用，且检测效果较好。

图像融合作为信息融合的分支，是当前信息融合的热点。通过采用融合算法将在不同传感器采集到的图像进行融合，得到包含多源图像突出信息的融合图像，更有利于图像信息的分析和处理。图像融合技术通过将多源图像信息相融合，使得图像信息更加丰富、准确因此被应用于各行各业［10～13］。相关学者采用图像融合技术将多源遥感图像进行融合，提高了识别目标的能力。医者通过将MRI图像和CT 图像融合，使医生诊断和治疗疾病的能力得到了提升。

基于上述分析，本文提出一种将图像融合和红外热成像技术相结合的皮革缺陷检测方法。通过采用PCA图像融合算法，在融合之前对图像进行分块处理，将图像分为四块，再将皮革热成像图和自然光图像进行对应融合，得到包含多重细节信息的融合图像，然后采用边缘检测算法识别皮革缺陷。

2 实验设置

2.1 实验设备

本文实验设备由卤素灯、红外热成像仪、电脑实验台等组成，其中，卤素灯功率为60kW，红外热成像仪为FLIR 公司的FLIR A320，并采用软件Therma CAM Reseracher Pro 2.9 记录和处理热成像图，电脑采用与软件Therma CAM Reseracher Pro 2.9适配的XP系统，表1为热成像仪的相关参数。

表1 热成像仪相关参数

2.2 实验样本

实验样本为某皮革厂提供的牛皮革，尺寸为180mm×150mm，厚度为5mm。皮革缺陷类型如图1 所示，包含：穿透孔洞缺陷、未穿透孔洞缺陷、划痕缺陷。实验室数据集共有200张：无缺陷样本50张、穿透孔洞缺陷50 张、未穿透孔洞缺陷50 张、划痕缺陷50张。

图1 缺陷类型

2.3 图像采集

图像采集过程如图2 所示，使用夹具将皮革固定在实验台上，同时将加热装置（卤素灯）放置在皮革后面，通过调整角度使皮革整体可以同时受热，然后将热成像仪放置在皮革前侧，使热成像仪可以采集到完整的皮革信息。将卤素灯加热时间设置为20s，同时使用采集帧频为2Hz 的热成像仪采集热成像图，全程共采集到40 张热成像图，部分热成像图如图3所示。

图2 图像采集过程

图3 不同时间的热成像图

从热成像图中可以看出，在加热开始到第5帧，缺陷（穿透孔洞）信息开始出现，随着加热时间增加，热成像中孔洞信息越来越到，到第15 帧穿透孔洞信息全部被采集到，但未穿透孔洞缺陷信息未出现，到第20帧未穿透孔洞信息开始出现，到第25帧可以被清晰采集到，随着加热时长的增加，在第30 帧开始热扩散在皮革内部达到均衡，使得热量开始聚集，背景与缺陷的温差越来越小，导致背景与缺陷开始无法区分，影响缺陷检测。因此本文将加热时间设置为13s，选取第25 帧热成像图作为算法输入图像。同时从同一位置采集自然光图像。

3 基于主成分分析（PCA）的图像融合方法

图4 为本文算法的技术路线图。首先对图像进行分块处理，将图像均匀分为4 块，然后采用PCA融合算法对分块图像分别进行融合，得到分块融合图像，再对图像进行图像恢复操作得到同时包含热成像图和自然光图像信息的融合图像。然后对其进行缺陷检测得到最终检测结果。

图4 技术路线图

通过实验采集到的图像，尤其是自然光图像包含缺陷信息，但同时由于获取图像时的光照等问题以及皮革本身存在色差使得获取到的图像存在噪声，使得缺陷的细节信息不清晰，干扰缺陷的识别，严重影响检测结果，因此需要对原图像进行处理使得缺陷细节信息更加突出，更有利于检测。

主成分分析（PCA）是一种基于信息量的正交变换，该变换主要是采用线性投影的方法将数据投影到新的坐标空间中，从而使得新的成分按信息量分布，第一主成分包含的信息量最大，变换后各主成分分量彼此不相关，且随着主成分编号的增加该分量包含的信息量减小。PCA 变换后图像的信息主要集中在前几个主成分分量中，在变换域中丢弃信息量小的主成分分量，将原始的海量高光谱数据变换为少量的几个成分，在降低数据维数的同时，最大限度地保持了原始数据的信息。

主成分分析就是将p个观测变量综合成p个新的变量，即

简写为

上式满足：

1）Fi，Fj互不相关（i≠j，i，…，p）。

2）F1的方差大于F2的方差，F2的方差大于F3的方差，以此类推，满足：

于是，称F1为第一主成分，F2为第二主成分，以此类推，有p 个主成分。主成分又称主分量。这里aij称为主成分系数。上述可表示为

其中，X为待变换图像的数据矩阵，F为变换后图像的数据矩阵，A为主成分系数矩阵。

对自然光图像与热成像图像融合时，具体过程如下。首先，计算自然光图像主成分变换矩阵的特征值与对应的特征向量；将特征值按从大到小的顺序排序，相应的特征向量也要跟着变动，将最终的结果记为λ1,λ2,…,λn,φ1,φ2,…,φn；各主分量按如下方式计算：

将热成像图像与第一主分量图像进行直方图匹配，然后将第一主分量用热成像图像替换；对其进行PCA逆变换，得到融合图像。经过替换法得到融合图像，其前几个主分量中包含了自然光图像和热成像图的主要缺陷信息，噪声相对较小。

在实际过程中经过融合后的图像虽然达到了去噪的效果，但仍然难以准确识别缺陷的细节信息。这主要是因为在提取主成分时是从整幅图像中提取，计算出的主成分包含了缺陷信息的同时也包含了大量的背景信息，因此影响了缺陷识别的准确度和精准度。为改善融合效果，提高缺陷显著度，在融合前尝试对图像进行分块，将自然光图像和热成像图像均匀地分为四张图像块，然后分别对其采用PCA融合算法进行融合，然后对融合后的图像块进行分块恢复得到整张融合。经过分块提取到的主成分突出了主要信息，使缺陷细节信息更加显著，达到了图像增强的目的。

图5 融合结果对比

为客观描述图像融合差异，引入相关熵MI、标准差SD、客观图像融合性能指标QAB/F和基于视觉保真度图像融合指标VIF 来评估不同融合方法所对应融合图像的指标。

从表2 可以看出，采用分块PCA 融合方法得到的融合图像在上述评价指标中综合水平最高，融合性能达到最佳。

表2 图像融合效果评估

4 缺陷检测

在经过分块PCA 图像融合后得到了同时包含自然光图像和热成像图中缺陷信息的融合图像，为提高缺陷识别的精度，确保获取缺陷最佳分割阈值，使检测效果达到最佳，本文采用迭代阈值分割算法分割皮革中的缺陷。

根据图像的灰度特性将图像分为背景和缺陷两部分，通过阈值将缺陷从背景中分割出来，且随着迭代的不断进行阈值逐渐达到最佳分割值，使缺陷和背景的差别越来越大。因此使用迭代阈值分割的方法可以使分割效果达到最佳。

算法步骤：

1）计算图像的平均灰度，将其作为初始阈值T0；

2）用T0 将图像分割为A、B 两部分，A 中所有像素点的灰度值均大于T0，B中所有像素点的灰度值均小于T0。

3）分别计算A和B的平均灰度值mA，mB。

计算出新的阈值：T1=（mA+mB）/2；

4）重复步骤2）到步骤4），直到阈值不再变化，迭代停止。

用最终迭代结束时获取的阈值分割图像，得到最终检测结果图。

5 实验结果和分析

为验证算法的有效性，本文使用同一数据集进行多次实验，部分实验结果如图6 所示。图6（a）中无缺陷，图6（b）和图6（c）中包含孔洞（穿透和未穿透）缺陷和表面划痕缺陷，图6（d）中包含未穿透孔洞缺陷和表面划痕缺陷。从图中可以看出，边缘检测算法（Canny［14］、Prewitt［15］）可以有效地检测穿透孔洞缺陷，但对未穿透孔洞缺陷和划痕缺陷检测的精确度比较低，且存在误检，而本文提出的算法可以有效地检测皮革中的孔洞缺陷和表面划痕缺陷，且分割效果较好。

图6 实验结果

为客观描述检测效果，本文引入准确率（Accuracy）对上述实验进行评估：

其中NTP表示正类样本被正确分类的数目，NTN表示负类样本被正确分类的数目，NFP表示负类样本被分为正类的数目，NFN表示正类样本被分为负类的数目。

本文使用180张图像进行实验，其中30张无缺陷图像，30 张穿透孔洞缺陷图像，30 张未穿透孔洞缺陷图像，30 张表面划痕缺陷图像，30 张同时包含表面划痕和未穿透孔洞缺陷图像，30 张同时包含表面划痕和穿透缺陷图像，检测准确率如表3 所示，从表中可以看出本文算法检测效果较好，准确率更高。

表3 检测准确率

6 结语

本文提出一种将基于分块的PCA 图像融合算法法和迭代阈值分割算法相融合的皮革缺陷检测方法。经过实验确定第25 帧热成像作为检测图像，同时经过指标评估确定分块PCA融合算法相比直接使用PCA 算法可以获取到更多的细节信息。最后，设置了对比实验，通过与Canny算法［14］和Prewitt算法［15］对比，本文算法检测效果更好，尤其是对未穿透孔洞缺陷和表面划痕缺陷的分割效果更好，检测准确率达到83.9%。