基于机器视觉的手机屏幕缺陷检测中的研究进展

李焕焕，代显智，黎涛，徐媛

（西华师范大学 电子信息工程学院，四川南充，637009）

目前，手机已经成为人们日常生活的必需品。作为输出信息的重要的组成部分，手机屏幕的质量直接影响着用户的观感和体验。目前手机屏幕缺陷检测还是以人工检测为主，但其主观性大、效率低、成本高。与之相比，机器视觉具有永不疲劳，标准统一，效率高，非接触等优点，越来越受到学者的关注，并逐渐应用到各个领域。因此，利用机器视觉技术检测缺陷在业内越来越流行。

目前手机屏幕缺陷的研究重点集中在传统机器视觉和深度学习两方面，传统方法提取特征是人工手动提取；深度学习方法则是通过学习大量的样本自动提取特征。其中，传统方法的特征描述也有所不同，在文中将传统方法分为两大类：灰度统计法、变换域法。将深度学习分为有监督学习和无监督学习，其区别在于：是否对训练样本进行标记。这两种方法的具体算法又有多种，如图1 所示。本文将对这些具体的算法，进行详细介绍。

图1 手机屏幕缺陷检测分类方法

1 传统方法

传统方法主要依据缺陷颜色、形状等特征，利用图像处理算法或结合传统机器学习方法进行检测。传统方法主要分成灰度统计法和变换域法，如图1 所示。

1.1 灰度统计法

灰度统计方法是通过研究图像的像素分布特点，采用数字图像处理技术针对性地提取缺陷特征，进而通过特征表现的特点判断手机屏幕缺陷的种类。

灰度统计法是对像素的规律性和周期性进行统计。阈值法是灰度统计法中最常用一种方法。其原理是通过设定不同的特征阈值，把图像像素点分为不同类。由于其易于实现、计算量低、性能稳定的优点，被广泛应用于分割不同灰度级范围的前景和背景图像。但阈值法抗干扰能力弱，容易受到光照不均、对比度低等外界因素的影响，直接使用并不能得到良好的效果，因此对阈值法的改进是十分有必要的[1]。Noh 等人[2]首次使用自适应阈值技术快速定位缺陷，完成了TFT-LCD 薄膜图像缺陷检测系统。Liu 等人[3]提出基于直线截距与粒子群算法改进的快速二维Otsu 算法，相比Otsu[4]、2DOtsu[5]、基于直线截距的2DOtsu[6]等算法，平均分割时间缩短了一半以上，分割划痕和气泡的时间为54.2292ms 和26.3563ms。刘望等人[7]针对光照不均的问题，采用自适应调整阈值参数的方式，可应对各种复杂的情况。实验表明，该方法能成功地检测点缺陷、线缺陷、Mura 缺陷和饱和度缺陷，总体正确率为99.5%，平均检测时间为310ms。

边缘是指图像内明亮部分与阴暗部分的交接处，在此处图像的像素值发生突变，因此，边缘检测方法是通过微分检测边缘像素的灰度值是否连续，来确定是否存在缺陷。Sobel 算子、Canny 算子和Laplacian 算子是边缘检测中最常用的3 种方法。表1 对这3 种基于边缘检测的特征提取方法的优缺点进行了比较。

表1 基于边缘检测方法的比较

Sobel 算子的本质是梯度运算，在X，Y 方向上使用两个特定的卷积核，分别检测横向、纵向边缘。Sobel 边缘检测能力强，但对光照不均很敏感，容易产生假边缘。Kong等人[8]利用Sobel 边缘检测算子对异常缺陷进行边缘增强。为了克服光照不均的影响，将屏幕分成若干小块。然后对每个小块进行背景评估，大致定位缺陷区域。最后，利用SVM 分类器，对感兴趣的小块进行第二次判断。该算法的准确率能达到95.9%。对于细微边缘的检测，采用Canny算子效果更好，夏庆凯等人[9]运用Canny 边缘检测算法，得到待检测手机屏幕的边缘，在消除校正图像与模板图像的大小差别后，利用图像差分算法，得到最后的缺陷图像。Laplacian 算子对噪声比较敏感，常用于对图像进行增强，突出缺陷特征。Jin 等人[10]通过增加Laplacian 卷积层对输入图像进行锐化，利用灰度突变增强边缘的对比度。当应用于玻璃图像时，增加的层有助于突出缺陷的轮廓，使模糊的图像更清晰，更容易检测。实验结果表明，该模型在实际测试集上的平均检测精度达到94%，满足工厂实际使用的要求。

基于聚类的方法是统计像素间的相似性，从像素分布中提取隐藏信息，进而进行缺陷检测。叶其欣[11]提出的经模糊C 均值聚类分割后的二值图如图2 所示。作者首先进行明暗场融合，然将融合后的手机玻璃盖板图像进行模糊聚类增强，最后进行模糊C 均值聚类分割。从图2 中可以看出，经明暗场融合后的图像比明场图能检测出更多的缺陷。针对作者的待测样本，其缺陷检出率达到100%。

图2 经模糊C 均值聚类分割前后的二值图[11]

1.2 变换域法

利用变换域的方法可以将图像从像素域转换到频域，使某些特征更加凸显并可分，是手机屏幕检测中应用最广泛的方法。变换域法主要包括傅里叶变换、剪切波变换、Gabor变换、小波变换等滤波方法。

在进行表面缺陷检测时，傅里叶变换常用于难区分的特征。但单独的傅里叶变换又难以达到理想的效果，通常将其作为转换模块，简化缺陷检测难度[12～13]。高如新等人[14]利用傅里叶变换实现模板图像和待测图像的配准，准确提取了小缺陷、浅划痕等缺陷特征，缺陷检测的正确率为99.3%。易松松[15]通过基于傅立叶变换的级联检测，滤掉大量不重要的信息，仅保留边缘、异常等有效信息，降低了计算量。与单独的傅里叶变换相比，正确率提高了5.8%，耗时减少了1610.26ms。该算法的全局检测正确率为97.6%，单张图片的平均检测时间为237.12ms。

傅里叶变换的缺点是侧重于频域全局特征，但忽略了大部分空间域的局部特征。为了同时获得待测图像的全局特征和局部特征，研究人员提出采用Gabor 变换，克服傅里叶变换的缺陷。针对低分辨率的触摸屏表面缺陷检测问题，王松芳[16]利用Gabor 滤波器进行图像增强，同时利用稀疏表示完成了缺陷检测，准确率达到96%。

剪切波变换是一种多尺度的变换方法，具有平移不变性。Zhang 等人[17～18]提出了利用剪切波变换和灰度形态学相结合的图像增强算法，将对灰度的处理转移到频域，对不同频域的子图进行不同的频域增强并使用改进的Otsu 双阈值方法实现残差图像的缺陷判断，准确率高达98.7%。

基于变换域法是手机屏幕缺陷检测研究的一大热点。此外，变换域法结合了空域与频域特征，抗干扰能力比灰度变换法强。但变换域方法也有其不足之处，常用变换域方法的优缺点如表2 所示。

表2 常用变换域方法的优缺点

2 深度学习

传统机器视觉的检测方法需要较多的专业知识，算法的过程繁琐。多数情况下需根据缺陷的特征改进数字图像处理算法，才能保证缺陷检测的准确性。因此检测耗时也相对较长，不能满足现在实时性的需求。随着机器视觉的发展，深度学习已成为目前手机屏幕缺陷检测的主要研究方法。由图1 可知，基于深度学习的手机屏幕缺陷检测方法，主要有监督学习和无监督学习两大类。

2.1 监督学习方法

有监督学习方法是在标记过的训练集的基础上训练深度学习网络，利用训练过的网络来检测缺陷。该方法需要大量正确标记的缺陷样本。

基于传统CNN (Convolution Neuro Network)的方法现在看来相对较简单，该方法首先将深度学习引入缺陷检测，证明深度学习的可行性，对深度学习在缺陷检测应用有重大的意义。Li 等人[19]提出利用粗精策略提高算法的效率。该方法分类流程如图3 所示。首先，利用多层感知器(MLP)对缺陷进行粗略分类，然后通过训练不同的深度学习(DL)算法对剩余缺陷进行二次分类。对6 种不同的深度学习算法进行对比实验得知，VGG 算法检测耗时最短约6ms,SeNet耗时最长约13.6ms。所选的6 种深度学习算法的检测正确率都在97%以上，对手机屏幕的划痕、浮痕、光斑、暗斑等缺陷均能达到理想的检测效果。

图3 Li 等人提出的缺陷分类流程[19]

Park 等人[20]提出了利用深度学习神经网络（DLNN），进行玻璃盖板的缺陷检测。其检测率高达99%，错误率低于1%。该方法利用四个CNN 通道进行训练，减少了训练时间，提升了检测效率，并解决了多种缺陷应用于同一个CNN 训练带来的学习混乱问题。

语义分割是深度学习领域的热门方向之一。既有基于全卷积网络(FCN)及其衍生网络的方法，也有基于R-CNN(Region-based Convolution Neuro Network)的算法[21～23]。本文主要介绍第一种算法。Jiang 等人[24]提出了基于语义分割的对称卷积神经网络，完成了对弱划痕、变色和凹坑缺陷的分类。该方法的平均准确率为91.8%。Pan等人[25]首次将EU-Net 应用于手机屏幕表面缺陷检测，提出了一种MB 编码器-解码器结构。与U-Net 相比，该算法减少了语义分割方法中的参数使用量，计算复杂度降低了170 多倍。实验结果表明：该算法的精度与U-Net 相似，但参数量不到U-Net 的一半，能够满足工业生产的实时性要求。

目标检测一直是深度学习领域的研究重点，其方法大多是以RCNN 和YOLO 为主体改进而来[26～27]。Huang 等人[28]设计了一种可搭载在嵌入式平台的深度学习模型，完成了对手机陶瓷底板表面缺陷的识别。YOLOv3-tiny 模型的缺陷识别正确率约为89.9%，召回率达到84.5%。该系统运行在装有骁龙625 芯片的硬件上，每幅图像的检测速度为350±80ms。Yang 等人[29]提出了一种基于YOLOv5 和Ghost bottleneck 的手机屏幕检测模型(Ghost backbone)，使用YOLOv5 作为目标检测器来训练手机屏幕缺陷数据集。实验结果表明，该方法的参数量仅是YOLOv5s 的24%，单个图片的平均检测时间比YOLOv5s低2%，为76.8ms，平均正确率比YOLOv5s 低1.2%，为97.02%。

2.2 无监督学习方法

无监督学习方法不需要标记过的训练集，可直接从大量的无标记数据中自动学习，节省了大量人工标记时间。该方法通过特征向量之间的相似性，对缺陷进行分类和检测。无监督学习主要包括自编码器（Auto Encoder）和生成对抗网络(GAN)。

Jin 等人[30]使用卷积神经网络来识别玻璃缺陷。该方法利用卷积自编码对卷积核进行预训练，减少了训练时间，且玻璃缺陷的准确率达到92.6%。Lv 等人[31]为了解决由于纹理分布不均匀和时变的特点，提出了一种改进的带加权SSIM 损失函数的深度卷积自编码器(如图4 所示)，以提高对非均匀时变纹理背景的重构效果。然后，利用离散余弦变换(DCT)差分分析方法，准确分割原始图像中的缺陷区域。该方法对512 × 512 像素图像的处理时间仅为20 ms，满足了在线检测的要求。

图4 Lv 等人改进的卷积自编码方法的训练和测试流程图[31]

Yuan 等人[32]提出了一种基于背光源线扫描成像法的手机玻璃盖板缺陷检测系统。该系统采用网络对抗性方法(GANs)训练分割网络，实验结果表明该方法具有较高的缺陷检测率，正确率为98.26%。而在同一数据集上，语义分割的检测正确率仅为96.52%。

3 不同方法间的比较与未来发展趋势

3.1 不同方法间的比较

目前发展了多种不同手机屏幕缺陷检测方法，为了比较不同方法的检测效果，表3～表5 从不同角度，对这些方法进行了对比。表3 主要从优缺点角度进行分析对比。表4 和表5 主要从缺陷种类、缺陷检测正确率、检测时间等角度进行对比分析。

表3 传统方法与深度学习方法的比较

表4 基于传统方法的不同研究对比表

表5 基于深度学习方法的不同研究对比表

从表3 可看出，灰度统计法能有效地反映图像像素的规律性和周期性，但这种方法侧重于图像的局部特征，对图像对比度和环境噪声有严格的要求。因此灰度统计法适用于低分辨率或识别精度要求不高的图像。与灰度统计法相比，变换域法抗干扰能力更强，因为其主要利用图像的频域特性。但该方法侧重于全局信息，检测准确率容易受到特征相关性的影响。

有监督学习的手机屏幕缺陷检测方法具有较高的精度和抗干扰性。但获取图像和手动标记都需要很长时间。要有足够多的标注图像作为训练集，才能保证训练的正确率。无监督学习检测方法可以有效解决实际应用中图像样本稀缺的问题，降低样本不平衡带来的误判率。但抗干扰性弱且受网络初始值影响较大。

从表4 和表5 可看出，传统方法检测精度大都高于深度学习方法的检测精度；传统方法中的变换域法检测精度略低于灰度值法，但其抗干扰和噪声能力强；深度学习方法中，无监督检测的正确率低于有监督检测，但其模型简单，且省掉了人工标记的时间。总的来说，传统方法和深度学习方法的检测正确率都超过了90%。传统方法最高正确率可达100%。这主要是因为该方法具有灵活性强，可根据缺陷的特征设计相关算法或对相关算法进行改进，所以能达到很高的正确率。但是传统方法由于算法复杂度较高，检测缺陷平均耗时可达几百毫秒，是深度学习方法的几倍甚至几十倍。

3.2 未来发展趋势

目前传统的基于机器视觉的检测方法虽然正确率较高，但算法流程过于繁杂，需要相当长的检测时间。与传统机器视觉方法相比，深度学习方法采用了卷积神经网络的多层深度网络自动提取图像特征。对复杂的缺陷特征具有较强的表达能力，具有取代传统方法的优势，已成为现在手机屏幕缺陷研究的热点。手机屏幕缺陷检测领域主要是应用于工业生产层面，目前待解决的问题：（1）缺陷样本数量太少，没有足够多的真实缺陷样本进行训练，且缺陷种类不平衡，容易发生过拟合问题；（2）目前应用于手机屏幕缺陷检测的深度学习网络模型参数量大，如何将网络模型轻量化，降低模型的计算复杂度，使其可以应用到普通设备，甚至移动端上，是目前的研究热点；（3）深度学习网络模型的可解释性差。可靠性是工业领域应用的重要要求，深度学习缺乏相应理论支撑，人们并不放心其在工业生产中的应用。

如何解决上述问题，是手机屏幕表面缺陷检测领域的研究重点。总结国内外的研究进展，可从以下几个方面继续深入研究。

（1）如何解决样本数量稀缺和正负样本不平衡的问题是目前研究的重点。目前使用较多的方法是基于无缺陷样本和仿真缺陷样本的无监督方法。除此之外，引入小样本学习方法，诸如元学习、度量学习等或许是未来的研究方向。

（2）网络轻型化作为计算机视觉领域的一大热点，如何将其应用到工业生产和普通设备，是目前急需解决的问题。已有的基于云端和基于ZYNQ 的手机屏幕缺陷检测仍处于起步阶段，关于泛化性、稳定性等问题还有许多工作要完成。

（3）网络模型可解释性差也是深度学习方法面临的又一大难题。研究者们提出一种折中的方法，将传统的数字图像处理方法与深度学习方法相结合。但没有从根本上解决网络模型可解释性差的问题，未来需要研究人员在此方面努力。

（4）传统方法的研究重点是在保持高检测正确率的情况下，尽量降低检测的时间。通过不同缺陷检测方法的融合，提高缺陷检测精度；将数字图像处理算法集成到嵌入式系统中（如ZYNQ），减少检测时间，是传统方法未来的发展方向。

4 结论

目前，机器视觉在手机屏幕中的应用仍然存在改进空间。本文对手机屏幕缺陷检测的现有研究进行了系统的梳理分析，并进行了简明易懂的分类。同时对现有方法的原理进行了阐述，总结比较了各种缺陷检测技术的优缺点。通过对现有研究的分析，提出了该领域存在的一些问题和未来发展方向。希望通过本文，对手机屏幕缺陷检测领域提供有效参考，推动该领域的进一步发展。