基于改进BiFPN的微特电机电枢表面缺陷检测方法

李勇,王杨,方夏,王杰,杨苗苗

(四川大学机械工程学院，四川成都 610065)

0 前言

微特电机广泛运用于智能手机、智能家居和自动化办公设备等电子产品中，随着这类电子产品的大量使用，市场对微特电机的需求量逐步增大，对其品质要求也越来越高。微型电枢是微特电机的核心部件，其质量直接影响电机的品质。由于微型电枢体型小且结构复杂，在焊接和装配过程中会出现缺陷件。缺陷件被用于其他设备时，会导致一定的经济损失。另外，对于产品的使用者来说，使用缺陷件也会存在巨大的安全隐患，可能导致设备损坏，甚至威胁到使用者的生命安全。微特电机电枢的产量巨大，应用自动化检测手段很有必要。微型电枢的缺陷主要存在于其表面，合理的检测手段是利用机器视觉进行检测。由于缺乏有针对性的表面缺陷检测方法研究，目前微特电机电枢表面缺陷检测仍采用传统的图像处理手段，效率和精度都不高，极大地限制了微特电机的生产效率。因此，研发一种高效的微特电机电枢缺陷检测方法极为迫切。

电枢质量的检测一直是微特电机品质保障的关键。申贵龙针对磁铁转子表面明显的缺陷，根据外形、颜色等特征进行特征提取，并采用PCA+SVM的方式进行缺陷检测。刘平采用 ResNet 模型来解决微电机转子3种缺陷的分类识别检测任务，识别准确率达到89%。邓仕超等使用残差神经网络对微特电机转子焊点图像进行缺陷检测，达到了91.5%的准确率。刘天源等利用转子轴承部分的振动信号，使用卷积神经网络对裂纹转子耦合故障进行检测，裂纹深度检测精度超过85%,位置检测精度为90%,不平衡量检测精度超过99%。焦博隆等使用基于蝙蝠算法(BA)优化参数的变分模态分解(VMD)诊断转子裂纹故障。ZAMUDIO-RAMIREZ等通过分析转子启动时的外部磁场来检测转子绕组的不对称缺陷。PUCHE-PANADERO等针对电机的电流特征，通过对s-IF平面内定子电流的分析，提出了一种瞬态状态下的诊断方案。

本文作者针对微特电机电枢检测精度不高和易误分相似件的问题，将裁剪等预处理后的工业流水线拍摄的电枢图片作为模型的输入，通过深度神经网络EfficientNet完成基础特征的提取，并输入到改进后的BiFPN结构中进行多层次特征的语义信息融合，最终送入到分类器中完成电枢的缺陷分类。实验证明：利用该方法可提高微特电机电枢外观缺陷的检测精度，并且对于相似件的区分效果明显，大大减少了将缺陷件判为良品的概率，在实际工业应用中取得了良好的效果。

1 电枢及其缺陷种类介绍

1.1 电枢结构介绍

微特电机电枢由换向器、变阻、电枢铁心、电枢绕组、铁心转轴组成。微特电机电枢长约为1 cm，主体由3个面构成，每个面夹角为120°，电枢缺陷主要存在于这3个面内。电枢中可能存在缺陷的铜线直径为0.03 mm，其余缺陷分布在每个面中且具有较小的像素占比。

1.2 电枢缺陷的类型

微特电机电枢在自动化生产线上每日的产量可以达到12万件，由于生产系统的误差和材料自身缺陷等的影响，导致多种电枢缺陷的产生。缺陷类型包含锡包过大、变阻龟裂、沾有异物、铜线断裂、铜线过焊、端子裸露、沾有锡珠，如图2所示。锡包过大的电枢在装配上微特电机后可能会出现干涉，导致电枢不能正常旋转；异物和锡珠可能在电机运行过程中脱落，导致电机内部卡死；铜线过焊、端子裸露和铜线断裂可能导致电机不能正常通电或者运行一段时间后出现接触不良、宕机等；变阻缺陷可能导致换向异常、电机工况不稳定等现象。缺陷管控对电机质量的保证非常重要，一旦出现上述缺陷，极大概率会影响到用户的体验，甚至可能导致设备损毁。因此，对于微特电机的外观进行缺陷检测非常必要。

图1 电枢和其模型

图2 各种缺陷示例

1.3 电枢外观缺陷检测系统

如图3所示，在工厂生产线上，为保证采集图像的质量，需要布置特定的光源环境。采用2个面阵条形光源对电枢两侧照射，环形光源直射保证正面的亮度，工业CCD相机穿过环形光源对放置在载物台上的电枢进行图像采集。在电机驱动下载物台会在拍照完成后旋转，使电枢的另外一个面处于相机的视场正面，进行第2个面的图像采集，之后再次旋转载物台，完成第3个面的图像采集。单个电枢会采集3张图像，对应于电枢的3个主要表面。

图3 图像采集装置

采集的图像需要先进行预处理。由于文中研究的电枢缺陷主要集中在线圈和变阻器之间，为避免其他区域图像的干扰，需要获取感兴趣区域(ROI)。本文作者采取模板匹配算法获取ROI区域，如图4所示。由于图像的中心区域外观特征比较明显，选择合适的模板可以通过模板匹配出所需要的ROI区域，并对它进行裁剪和保存。每一个电枢的3张图片按同一个名称不同序号进行保存，以便于后续诊断电枢缺陷。

图4 ROI获取

2 传统的图像诊断方式

在过去的几年里，机器学习有了长足的进步，并且已经深入到许多领域。各种机器学习算法在以模式或模型的形式从大数据中提取知识方面非常有效。采用机器学习算法可以大大降低学术界和工业界的成本和劳动力需求，从而提高生产率、质量和利润。支持向量机(SVM)是传统机器学习的经典算法，可以用于分类问题和回归问题，使用超平面对输入的线性和非线性数据进行区分。工业视觉检测一般采用HOG+SVM的诊断方式，将HOG提取出的特征，经过SVM分类获得最终的诊断结果。经过实验发现，基于HOG+SVM的电机外观缺陷诊断方式的准确率低，达不到电枢检测的要求。主要原因是电枢缺陷于整图中占比较小、缺陷种类繁多，算法特征提取能力弱，无法获取有效的特征，导致诊断的准确率达不到要求。

3 卷积神经网络缺陷检测方法

随着深度学习的发展，卷积神经网络逐渐在图像领域大放异彩。针对某些较难的图像识别任务，传统图像检测方法的鲁棒性达不到工业检测的要求，深度卷积神经网络利用多维特征提取，可获取更高维度的特征，相比于低维的特征能更有效地表达图像的语义信息，其鲁棒性远远优于传统的图像处理方式。

3.1 EfficientNet网络

EfficientNet是Google研究团队于2019年提出的一个图像分类网络，其基础网络结构具有很强的特征提取能力，可以在其他任务中作为Backbone使用。EfficientNet最主要的贡献是提出了一种多维度混合的放缩模型方法，并且同时兼顾了速度与精度。

通过对网络宽度、网络深度和图像分辨率的调整，将3个维度中任意一个维度放大都可以带来精度的提升，但随着放大倍数的提升，精度的提升会越来越小，逐渐饱和。为更好地提升网络的表现，Google研究团队提出了多维度混合的模型放缩方法放缩模型，如图5所示。

图5 放缩模型

对比现有的其他CNN模型，EfficientNet模型具有更高的准确率和效率，而且其参数量和浮点运算量下降了一个数量级，EfficientNet-B7在ImageNet上获得了当时最优的Top-1准确率84.4%，Top-5准确率也达到97.1%。

3.2 改进的BiFPN结构介绍

BiFPN即加权双向特征金字塔网络，它将多个尺度的特征图进行融合，不同的输入特征在不同的分辨率下，对于输出特征的重要程度并不完全一致。简单地为每个节点设置权重，通过权重平衡不同尺度的特征信息。多个BiFPN的基础结构经过叠加，最终输出融合了低维语义和高维语义的特征。BiFPN基础结构如图6所示。

图6 BiFPN基础结构 图7 通道注意力机制ECA结构

原始的BiFPN结构采用的是在每个节点处简单地设置可学习的权重参数来实现特征融合，每层特征图的所有通道共享一个权重。然而，SENet表明同一个特征图的不同通道对于网络表达能力的重要程度是不同的，增加对于当前任务重要程度大的特征并抑制作用不大的特征，对于网络模型的表达能力具有重要意义。

为实现对不同层次的特征进行融合和对同一层特征的不同通道进行重要程度区分，提出一个改进的BiFPN结构。通过在基础结构的末端节点施加一种通道注意力机制(Channel Attention Mechanism，CAM)——ECA，实现对不同通道特征的筛选。ECA的结构如图7所示。

给定一个中间特征∈××，具有维的通道数和×的大小，则通道注意力模块的输出′∈××可以表示为

′=(Conv1d(()))⊗

(1)

其中:()表示全局平均池化(Global Average Pooling，GAP);Conv1d表示一维卷积操作;表示激活函数Sigmoid;⊗表示逐元素相乘。

卷积操作采用卷积核为3×3的一维卷积，目的是通过卷积聚合相邻通道的特征。与SENet采用全连接层的通道注意力不同，ECA首先通过全局平均池化聚合全局特征，在不改变维度的条件下经过一次卷积获取每个通道的注意力权重，然后和原输入进行逐元素相乘，得到包含通道注意力的特征。BiFPN每一基础结构有5个输出节点，每个节点都经过一次通道注意力机制模块，这样，原始BiFPN的结构就融合了包含通道间关联的信息，对特征表达更有效的通道会被更关注，而不是主要的特征会被抑制。因此，改进后的BiFPN相比于原始的结构具备更准确的表达能力，其结构如图8所示。

图8 改进的BiFPN结构

4 电枢外观缺陷检测模型

4.1 模型设计

文中采用的模型是以EfficientNet为基础特征提取网络，通过EfficientNet输出P3、P4、P5特征层；将P5最大池化下采样一次得到P6，再次进行最大池化下采样得到P7；然后，将输出的五层特征图送入改进后的BiFPN结构进行多维度的特征融合，之后对特征图进行叠加，得到最终的特征输出；将输出的特征输入分类器，完成电枢外观缺陷诊断。网络模型结构如图9所示。

图9 改进的BiFPN模型结构

4.2 模型工作流程

文中的模型工作流程分为两个部分：首先是模型训练，将采集的数据划分为训练集和测试集，利用训练集对网络参数进行训练，采用测试集对网络模型进行泛化性评估，获取测试效果好的模型；其次是模型预测，将用于预测的图片输入训练好的模型，通过模型预测出诊断结果。具体流程如图10所示，步骤如下：

图10 模型实现流程

步骤1，将工业相机采集的图片进行预处理，通过模板匹配获得ROI区域，将ROI区域裁剪下来，获得所需数据集，并将数据集划分成训练集和测试集；

步骤2，将训练集的图片输入模型，采用迁移学习的思想进行训练，利用基础网络EfficientNet进行特征提取，输出五层特征图，采用改进的BiFPN网络对特征加强提取，并融合多层次的特征，输入到分类器里进行分类；

步骤3，获得分类结果并结合标签计算Loss，通过反向传播求参数的梯度，并更新模型参数，重复进行前向传播与反向传播，每训练完一个Epoch，进行一次测试集的测试，计算在测试集上的准确率和Loss；

步骤4，经过多次迭代，测试集的Loss和准确率会趋于平稳，当测试集的Loss和准确率不再改变时，停止训练并保存模型；

步骤5，将需要进行诊断的电枢进行图像采集并获取3张ROI图像，输入模型进行预测，3张图像的预测结果全为良品则判定为良品，否则为不良品。

5 微特电机电枢外观缺陷诊断实验

5.1 微特电机电枢数据集

微特电机电枢的图像采用工厂流水线上的图像采集设备进行原始图像采集，采集的图像送到工厂的质量检测部门，由经验丰富的员工进行图片筛选，将良品和不良品区分出来，然后再次进行复检确保图片分类的准确性。由于好件数量远大于坏件数量，随机选择一部分良品的图片和所有不良品的图片，通过模板匹配获得ROI图像，ROI图像大小为350×84。图片总量为16 406，其中划分为训练集好件8 925张、坏件2 947张，共11 872张；测试集好件3 310张、坏件1 224张，共4 534张。训练集和测试集比例约为2.6∶1，部分数据集图像如图11所示。

图11 部分数据集图片

5.2 模型训练

考虑到需要训练的ROI图像包含的物体比较少，需要关注的特征比较集中，采用最基础的EfficientNet-B0结构。此外，参数量会更少，有利于减少模型运算量，使模型预测速度尽可能快。为加快模型收敛速度，采用迁移学习的思想，载入EfficientNet-B0的预训练权重作为模型的初始化权重，在此基础上进行训练。

将数据集输入模型，设置优化器为带动量的SGD，动量设置为0.9，Loss函数为交叉熵损失函数(CrossEntropy Loss)，学习率采用指数衰减学习率，其公式为

=×0.8/

(2)

式中:表示下一个Epoch的学习率;表示初始学习率，实验中设置为0.01;表示当前的Epoch数量;表示每经过多少个Epoch衰减一次，实验中设置为3。

训练过程中的训练集准确率和Loss以及测试集的准确率和Loss变化情况如图12所示。可知:当训练到50个Epoch时,模型基本收敛，准确率和Loss不再改变。

图12 训练集、测试集的准确率A和Loss的变化

6 实验结果及分析

故障诊断的常用评价指标有值、准确率、精确率和召回率等。值和准确率越高，模型性能越好。召回率可以评判将良品误分为不良品的概率，该指标一定程度上反映了生产成本的变化。但是将不良品误分为良品的概率需要用特异度来衡量，特异度越高则将不良品误分为良品的概率越小，该指标一定程度上反映了产品质量。

6.1 SVM和深度学习的诊断方式

传统的SVM等机器学习方式是基于单一特征工程的方法，而深度学习是基于多维度、多层次的特征获取方式。利用不同模型进行实验，结果如表1所示。可知：采用HOG+SVM的缺陷诊断方式准确率最高只能达到80.92%，而采用深度学习的方式准确率基本都在90%以上。本文作者采用的EfficientNet-B0+改进的BiFPN的缺陷诊断方法可以达到98.42%，高于其他深度学习网络模型，达到了检测精度的预期效果。

表1 不同模型结果对比

6.2 实验结果分析

基于EfficientNet结合改进后的BiFPN的网络诊断方法相较于其他模型具有最好的效果。传统的HOG+SVM诊断方式准确率只能达到80%左右，而且特异度指标很低，将不良品分为良品的概率接近22%，这会极大影响到产品的质量。采用VGG-16和ResNet-101之后,网络对于特征的提取能力大大加强，高维度的特征更有利于提升图像分类的效果，准确率能达到95%左右。当使用更加强大的EfficientNet时，网络的深度虽然没有ResNet-101深，但是网络结构的设计更加合理，特征提取更有效率，实验结果证明它对于电枢图片的分类相较于ResNet-101效果更好，但是仍然存在比较严重的误分情况。实验中发现误分的主要是易混件。图13所示为采用EfficientNet-B0进行分类时误将不良品分为良品的部分图片，方框内为存在缺陷的部分。

图13 易混件图片

此类图片的特点是缺陷存在的范围比较小，且细微处和良品工件外观很接近。当神经网络经过多次卷积操作后，图像的底层信息会逐渐淡化，细微处的特征很容易被忽略。如图14(a)所示，当对仅采用EfficientNet-B0进行分类的模型使用Grad-CAM进行类激活映射热力图的可视化时，发现对于误分的图片，其关注点(颜色越偏向于红色，其关注程度越强)会有一些偏差，或者主要关注范围过于分散。这样就导致模型关注到无用或者干扰当前分类任务的特征，进而导致了误分。

图14 易混件图片的Grad-CAM可视化结果

考虑到对浅层特征保留的程度不够，使用EfficientNet-B0的P3、P4、P5、P6、P7层的特征图，P3特征图最大程度地保留了浅层信息，对于易混件的特征会有较好的表达能力。出于平衡浅层和深层特征的考虑，使用BiFPN对多层次的特征进行融合，模型使用了3次重复的BiFPN基础结构，在尽可能地保留浅层信息的同时也融合了深层的特征。实验证明，采用BiFPN的堆叠结构后，模型的准确率有0.5%～1.2%的提升。使用Grad-CAM++进行可视化分析，结果如图15所示。

图15 使用原始BiFPN的Grad-CAM++可视化结果

由图15可以看出：施加原始BiFPN后，模型关注的范围仍然过于宽泛，模型关注的重点包含太多无缺陷区域，部分甚至是在空白背景处。模型可能会被这些错误关注点所干扰，导致对无缺陷的区域置信度过高，而淡化了缺陷存在区域的置信度，因此，该模型对于易混件仍然存在一定程度的误分，如图14(b)所示。

考虑到模型关注点不集中、关注点在对当前分类任务无效区域的问题，本文作者对BiFPN进行了改进。通过在原始BiFPN末端节点处施加通道注意力机制，改善原始BiFPN结构，使其能够对同一层特征的不同通道进行重要程度区分，增强对于当前分类任务有效的通道的特征，抑制无效特征。实验表明，经过注意力机制筛选过后，分类的准确率进一步提高了0.2%～0.8%、特异度指标提高了0.3%～0.7%。这表明模型对于将缺陷件误分为良品的概率也相应减小。图14(c)的实验结果表明：改进后的BiFPN对于相似件的区分能力是通过改善关注点特征位置和对其的置信度实现。使用Grad-CAM++进行可视化的效果如图16所示，可知：该模型的关注点质量有了很大提升：对于缺陷件，该模型关注点集中在存在缺陷的一小块区域，而且模型关注的位置基本完全覆盖了缺陷存在的位置；对于良品图像，其关注点覆盖全局，并且对于两侧的锡包区域关注度会略高。

图16 使用改进后BiFPN的Grad-CAM++可视化结果

表1的特异度可以比较好地衡量将不良品分为不良品的概率，特异度越高，将不良品分为良品的概率就越低。采用改进后的BiFPN缺陷检测方法，其特异度可以达到98.62%。为进一步比较对易混淆件的诊断能力，将ResNet-101模型在测试集上把不良品图片分为良品的图片单独挑选出来作为易混淆图片，共200张，采用EfficientNet结合改进后的BiFPN模型对这部分易混淆图片进行重新诊断,结果如表2所示。

表2 易混淆图片诊断结果

诊断结果表明，改进后的BiFPN结构对融合后特征的通道做了进一步筛选，主要表达特征的通道更被模型关注，对于易混淆件的区分能力比原始BiFPN结构提升了约22%。

6.3 实际验证

在实际工厂流水线上采集一天的电枢图片，由于产线上良品数量远高于不良品的数量，为进一步验证模型，从经过工厂的质量检测部门判定为不良品的电枢中随机挑选500个，在判断为良品的电枢中随机挑选500个。将挑选出的图片提取ROI后再次将ROI图片交给质量检测部门进行二次分类，确保标签的准确性。最终得到坏件的图片987张、好件的图片2 013张，共3 000张图片。

通过本文作者提出的改进的BiFPN模型结合EfficientNet网络进行诊断，得到的诊断结果如表3所示。

表3 实际ROI图片诊断结果的混淆矩阵

通过计算可以得到模型预测的准确率为98.50%、精确率为99.35%、召回率为98.41%、特异度为98.68%、值为98.88%，基本上和实验结果差不多，这表明文中模型在电枢缺陷的诊断上具有良好的鲁棒性。此外，自动化流水线上良品约占95%，文中模型在良品占50%的情况下，其值可以达到98.88%，在流水线上诊断的准确率势必会更高。单个电枢从图片采集、裁剪到最终完成诊断耗时不超过3 s，达到了应用于工业生产线的标准。

7 结论

本文作者提出了一种基于改进BiFPN的微特电机电枢外观缺陷检测方法。先将采集的图片进行获取ROI、裁剪的预处理操作，然后输入特征提取网络获取初步的5个维度特征，将获取的特征送入改进的BiFPN进行多维特征融合，并利用通道注意力机制对特征进行筛选，最后将筛选出的特征送入分类器完成图像缺陷检测。结论如下：

(1)利用多种深度学习检测方法进行电枢缺陷诊断对比，本文作者提出的方法的检测精度最高，达到了98.42%；

(2)添加特征融合操作，多维度的特征更有利于模型对图像缺陷进行准确判断；

(3)对于模型易误分相似件的问题进行了研究，利用通道注意力机制对有效特征进行增强，并对无效特征进行抑制，可有效提升模型对相似件的诊断能力；

(4)在实际流水线中的检测结果表明，所提出的检测方法具备良好的鲁棒性。

本文作者提出的检测方法对于微型难区分非标工件的外观缺陷检测与品质控制具有重要意义。