贴片电阻焊点内部空洞缺陷自适应检测

蔡 念 肖 盟 肖 盼 周 帅 邱宝军 王 晗

①(广东工业大学信息工程学院 广州 510006)

②(天津大学 天津 300072)

③(工业和信息化部电子第五研究所 广州 510006)

④(广东工业大学机电工程学院 广州 510006)

⑤(惠州市广工大物联网协同创新研究院有限公司 惠州 516025)

1 引言

回流焊工艺由于焊接效率高、焊接温度易控制等特性，被广泛应用于表面贴装技术领域[1]。贴片组件在回流焊接过程中，当熔融的焊料冷却凝固时，焊料中产生的气体没有逃逸出去将会被“冻结”形成空洞[2]，影响焊点的导热和导电性能，导致印制电路板(Printed Circuit Board, PCB)机械强度下降、热阻增大等问题，从而降低器件的可靠性[3,4]。因此，对贴片组件焊点内部空洞缺陷进行检测和评估是实际生产中必不可少的环节。

PCB上集成电路器件越来越趋向于高密度和小型化，使用人工检测不仅成本高，而且检测效率低、精度低。近年来，自动检测方法被广泛应用于电子元器件的内部缺陷检测。在实际工业生产中，考虑到硬件成本和成像效率，通常使用2维X射线(2D X-Ray)成像方式采集内部图像[5]，然后针对图像特点设计相应缺陷检测算法。目前，回流焊接组件内部空洞缺陷检测更多的是关于球栅网格阵列(Ball Grid Array, BGA)内部空洞缺陷检测研究，尚未见贴片电阻焊点内部空洞检测的文献报道。Said等人[2]基于BGA焊球的形状、面积、排列规则等先验知识采用模板匹配提取焊球区域，直接利用高斯拉普拉斯(Laplacian of Gaussian, LoG)算子检测焊球内部空洞，然后利用形状因子和平均灰度剔除误检测，最后计算空洞占比率。Peng等人[6]提出一种新的Blob分析方法用于BGA内部空洞检测，即利用多尺度盒型滤波器对图像进行预处理，计算局部图像梯度生成Blob图像，利用形态学检测空洞，然后通过圆度剔除假空洞，最后计算空洞占比。Mouri等人[7]将空洞检测定义为矩阵分解问题，认为BGA图像中的空洞为稀疏变量，首先将1个焊点的3张图像进行平均平滑滤波，然后采用非负矩阵分解检测空洞区域。Nuanprasert等人[8]使用霍夫变换提取各BGA焊球中心后计算德洛内(Delaunay)三角剖分防止焊球漏检，然后对每个BGA焊球使用直方图均衡化增强空洞与背景之间的对比度，最后使用LoG算法检测空洞。显然，BGA焊球图像背景较为单一，因此上述方法采用全局操作能够较好地检测BGA焊球内部空洞缺陷。但是，由于贴片电阻焊点表面呈凹形曲线，存在一定的高度差异，焊料中铅对X射线(X-Ray)具有很高的衰减，使得锡膏较厚区域X-Ray透视效果差，成像较暗；反之，锡膏较薄区域成像较亮[9]。这就导致2D X-Ray成像设备采集的贴片电阻图像背景差异明显，往往呈现亮暗区域分布且其中的空洞灰度级表征也差异性较大。因此，以上采用全局操作的检测方法对背景自适应能力较差，难以较好地检测贴片电阻焊点内部空洞缺陷。

近年来，随着深度学习的快速发展，已有学者尝试将其应用于BGA焊球内部空洞检测。Neeluru等人[10]先采用LoG算法辅助人工标注数据集，然后基于BGA空洞先验知识对数据集进行增广，再直接采用U-Net模型训练检测BGA空洞缺陷，最后计算空洞占比。Akdenİz等人[11]设计了一个拥有4个卷积层和1个全连接层的全卷积深度网络进行BGA图像特征提取，然后级联一个最小距离分类器对BGA焊球内部缺陷进行分类。其本质上是对BGA焊球进行4分类：正常、短路、邦定缺陷和空洞缺陷，并不是检测BGA焊球内部空洞缺陷，根本无法计算空洞占比率这一工业上空洞缺陷判断的重要判断指标。而且，深度学习方法是数据驱动型方法，需要大量的人工数据标注。可是，当今柔性生产制造日益成为制造业发展主流方向，其具有的多品种、小批量、换产率高等制造特点对这类数据驱动型方法提出了极大的挑战。

针对贴片电阻焊点2D X-Ray图像存在的背景区域对比度差异性大的实际现象，本文融合局部预拟合(Local Pre-Fitting, LPF)活动轮廓模型[12]和自适应圆形卷积核，提出一种贴片电阻焊点内部空洞缺陷自适应检测方法。首先，提出一种自适应分区策略对贴片电阻图像进行分区域操作，即将分区问题转化为求解区域平均灰度差异最大的优化问题，根据全局迭代策略求解目标方程，将贴片电阻图像分为较暗和较亮两个区域。然后，针对较暗区域中空洞与背景之间对比度低、空洞分布较稀疏、面积偏大等现象，采用LPF模型进行空洞检测；针对较亮区域中空洞与背景之间差异明显、空洞分布密集、面积偏小等现象，提出一种自适应圆形卷积核检测空洞。最后，采用形状因子和平均灰度策略剔除由背景痕迹和过锡孔造成的误检测，实现贴片电阻焊点内部空洞精细检测。

2 本文方法

2.1 算法框架

本文所提贴片电阻焊点内部空洞缺陷自适应检测算法框架如图1所示，主要包括自适应分区、空洞粗检测以及空洞精细检测等3个阶段。在自适应分区阶段，提出一种优化求解策略将贴片电阻图像分为较亮和较暗两块区域，便于后续针对性设计空洞缺陷检测方法。在空洞粗检测阶段，采用不同方法检测较亮和较暗两个区域内的空洞缺陷。因为LPF模型能够更好地处理低对比度图像分割且处理速度相对较快，所以采用LPF模型检测较暗区域中的空洞缺陷；但是，LPF模型在处理密集小目标时会导致目标曲线在演化过程中被忽略，从而导致分割效果较差。因此，针对较亮区域中空洞较密集且相对尺寸较小的现象，提出一种自适应圆形卷积核策略并结合导向滤波和阈值分割进行空洞检测。在空洞精细检测阶段，利用形状因子和平均灰度策略进行后处理实现空洞精细检测。

图1 贴片电阻焊点内部空洞缺陷自适应检测算法框架

2.2 自适应分区策略

由于贴片电阻器件焊点高度差异明显，导致成像明暗对比度差异明显，且较暗和较亮区域的分界线与贴片电阻边缘大致重合，因此较亮与较暗区域存在一条类直线的分界线。为了将贴片电阻X-Ray图像自动分割为较亮和较暗两个区域，本文提出一种优化求解的自适应分区策略找到两个区域的最优分界线，即将分区问题转化为求解平均灰度差异最大的优化问题

2.3 空洞粗检测

2.3.1 基于自适应圆形卷积核的空洞缺陷粗检测

本文针对贴片电阻图像较亮区域提出一种基于自适应圆形卷积核的空洞缺陷粗检测方法，如图2所示。

图2 基于自适应圆形卷积核的空洞缺陷粗检测方法

2.3.2 基于LPF模型的空洞缺陷粗检测

2.4 空洞精细检测

经过上述后处理步骤后即实现了空洞缺陷的精细检测。

3 实验结果

3.1 数据集采集和实验平台

本文实验所用的贴片电阻2D X-Ray图像数据皆为国内某电子基础元器件大型企业提供，共134张图像，其中合格样本106张，不合格样本28张(注：该企业严格规范要求空洞区域面积占比超过10%的贴片电阻即判定为不合格样本)，图像尺寸大小范围为190×210～350×400。

实验均在配置为Windows10 64位旗舰操作系统、6核Intel i5-10600KF CPU @ 4.10 GHz, 16 GB内存的台式计算机上完成，以Pycharm为仿真平台。

采用3个评价指标评估空洞缺陷检测效果，分别是准确率(Accuracy, Acc)、F1分数和Dice系数。其中，Acc和F1分数是基于样本分类结果评估算法有效性的指标，Dice系数是基于像素检测结果评估算法有效性的指标，在本文中计算平均Dice系数。各评价指标的计算公式为

其中，X表示检测为空洞区域的像素集合，Y表示真实为空洞区域的像素集合。

3.2 自适应圆形卷积核策略的作用

如表1所示，小尺寸圆形卷积核拥有小感受野，对较大空洞则检测效果较差；大尺寸圆形卷积核拥有大感受野，对小尺寸空洞检测效果较差，且耗时较多。提出的自适应圆形卷积核策略能够根据每张贴片电阻图像中的最大空洞自适应地为其设计好相应的圆形卷积核，因此能够获得最好的检测性能。最大空洞的寻优过程会消耗一定时间，导致该方法平均处理时间略有增加。

表1 不同尺寸圆形卷积核的检测性能对比

3.3 LPF模型中核大小的影响

LPF模型通过计算局部平均图像强度定义两个预拟合函数，因此局部区域核大小选择对检测准确性和消耗时间有较大影响。如表2所示，LPF模型检测空洞性能先随着核尺寸大小增加而增加，之后又开始性能略微下降。这是因为过小的核使得LPF模型无法检测那些对比度低的空洞，而过大的核使得LPF模型产生大量误检测。尤其是，检测时间随着核尺寸大小增加而快速增加。因此，综合考虑LPF模型检测性能和时间，本文中的LPF模型选择9×9的核。

表2 LPF不同对核的分割Dice系数和消耗时间

3.4 消融实验

为验证分块策略的必要性，本文设计了以下消融实验方案，如表3所示。第1列可以明显看出，自适应圆形卷积核对较亮区域的检测效果更佳，平均Dice系数高达0.8453，而LPF检测结果的平均Dice系数只有0.7951。这是因为较亮区域空洞密集且较小，水平集函数在演化过程中会忽略小空洞或在密集处无法进一步演化到具体目标的边缘，导致其检测效果不佳。第2列可以看出LPF对于较暗区域检测效果更佳，平均Dice系数高达0.8637，而自适应圆形卷积核检测结果的平均Dice系数仅仅只有0.3976，效果十分不理想。这是因为较暗区域空洞与背景对比度低，而圆形卷积操作会将对比度低的空洞变成背景，大量空洞丢失，导致检测效果差。以行为维度，也可以得到以上类似的结论。

表3 亮、暗区域的消融实验(Dice)

3.5 对比实验

为了验证本文所提空洞缺陷自适应检测方法，在此对比了4种方法，分别是基于距离正则化水平集演化模型(Distance Regularized Level Set Evolution model, DRLSE)[14]、基于区域可伸缩拟合能量项和高斯拉普拉斯优化能量项活动轮廓模型(Region-Scalable Fitting and optimized Laplacian of Gaussian energy level set model, RSF+LoG)[15]、LoG[2]和LPF模型[11]。图3分别展示了两个不合格样本和1个合格样本的原图、人工标注图、4种对比方法和本文提出方法的空洞检测效果图及计算的空洞占比。从图3可以看出，DRLSE和RSF+LoG对于大空洞检测效果很差，也漏检了不少小空洞，因此两者总体检测性能很差，甚至将不合格样本检测为合格样本(空洞占比率<10%)。相比于DRLSE和RSF+LoG，LoG和LPF模型检测性能有了大幅度的提升，但与标注图差距仍然较大。本文所提方法则无论在检测视觉效果上还是从空洞占比率上都与标注图高度接近。

图3 不同算法的空洞缺陷检测视觉效果

为了全面评估本文方法，表4给出了所有贴片电阻图像样本的空洞缺陷检测统计结果。从表4可以看出，DRLSE使用局部边缘信息将水平集函数吸引到目标对象边界，对噪声和初始轮廓十分敏感。由于弱边缘目标会造成局部边缘信息的丢失，使得水平集函数在演化过程中忽略弱边缘目标，而贴片电阻图像中大部分的空洞缺陷属于弱边缘目标，因此DRLSE检测贴片电阻图像的空洞缺陷效果很差。RSF+LoG是一种基于区域的活动轮廓模型，通过引入优化的高斯拉普拉斯能量项，提高了模型对噪声和初始轮廓的鲁棒性，因此贴片电阻图像中的空洞检测效果比DRLSE稍好一点点。但是，其采用基于局部2元拟合的能量项只适用于将图像分为两类，对于多目标多尺度的分割任务并不适用[16]，因此其对贴片电阻焊点空洞缺陷检测仍然效果不佳。LoG是利用高斯滤波和2阶导数进行边缘检测的算子，在一定程度上对弱边缘目标的检测能力和抗噪能力有所提升，但是在空洞与背景之间对比度低且空洞边缘几乎消失的情况下，LoG算子则遇到了困难。U-Net作为一种深度学习方法需要大量的人工标注数据进行训练，因企业所提供的数据有限，导致U-Net的检测效果并不理想，尤其是在像素级别检测性能评估上还不如LPF和LoG。LPF模型是基于局部预拟合能量的活动轮廓模型，相较于基于边缘的模型对弱边缘的检测任务更加适用，且相对于其他基于区域的模型[17,18]计算效率更快，对于多尺度多目标的分割效果更好。但是，由于其局部窗口尺寸的固定，模型在背景差异十分明显的图像下检测效果不佳。本文方法对贴片电阻图像分区处理，能够合理地解决LPF模型对于背景差异十分明显分割效果不佳的问题，并提出自适应圆形卷积核增强空洞区域以提高阈值分割的精度。从Acc, F1和Dice 3项重要评价指标可以看出，本文算法相对于其他5种算法对贴片电阻内部空洞缺陷检测更加有效。

表4 不同算法的空洞缺陷检测统计结果

4 结束语

贴片电阻焊点内部空洞占比率直接决定器件的使用寿命和可靠性，因此在实际生产中，对焊点内部空洞检测和空洞占比率的计算是必不可少的环节。针对贴片电阻焊点成像特点，本文提出一种贴片电阻焊点内部空洞缺陷自适应检测方法，包括自适应分区、空洞粗检测和空洞精细检测3个阶段。自适应分区策略是将贴片电阻图像分成较亮和较暗两个区域，便于后续更有针对性地设计空洞缺陷检测算法。在空洞粗检测阶段，针对较暗区域采用LPF模型检测空洞，针对较亮区域提出自适应圆形卷积核检测空洞。最后，采用形状因子和平均灰度策略剔除误检测对象，实现贴片电阻焊点内部空洞精细检测。对比实验表明，本文算法能够更有效地检测贴片电阻焊点内部空洞缺陷，计算的空洞占比率与真实值非常接近。

可是，本文采用的LPF模型在求预拟合能量项的局部窗口大小固定，因此对灰度强度的泛化能力较差；而且，OTSU作为一种基于全局阈值分割算法效果也不十分理想。因此，未来的工作将考虑对于阈值分割算法使用分割效果更好的多阈值OTSU算法[19,20]，对于LPF模型考虑实现核大小的自适应以及空洞形状先验的引入。