结合全卷积网络和K均值聚类的球栅阵列焊球边缘气泡分割

2019-10-31 09:21赵瑞祥侯宏花张鹏程刘祎田珠桂志国
计算机应用 2019年9期

赵瑞祥 侯宏花 张鹏程 刘祎 田珠 桂志国

摘 要:针对在球栅阵列(BGA)气泡检测中,由于图像干扰因素的多样性导致焊球存在边缘气泡与背景之间灰度级接近,从而造成焊球气泡分割结果不精确的问题,提出了一种结合全卷积神经网络(FCN)和K均值(K-means)聚类分割的焊球气泡分割方法。首先根据所制作的BGA标签数据集搭建FCN,通过训练该网络得到合适的网络模型,再对待测BGA图像进行预测处理得到图像的粗分割结果;然后对焊球区域映射提取,通过同态滤波法提高气泡区域辨识度,再使用K-means聚类分割对图像进行细分割处理,得到最终分割结果图;最后对原图焊球及气泡区域进行标注识别。将所提出的算法与传统BGA气泡分割算法进行对比,实验结果表明,所提出的算法对复杂BGA焊球的边缘气泡分割精确,图像分割结果与其真实轮廓高度匹配,准确度更高。

关键词:全卷积网络;K均值聚类;球栅阵列;边缘气泡;缺陷分割

中图分类号:TP391.7

文献标志码:A

Welding ball edge bubble segmentation for ball grid array based on full convolutional network and K-means clustering

ZHAO Ruixiang1,2, HOU Honghua1,2, ZHANG Pengcheng1,2, LIU Yi1,2, TIAN Zhu1,2, GUI Zhiguo1,2*

1.School of Information and Communication Engineering, North University of China, Taiyuan Shanxi 030051, China;

2.Shanxi Provincial Key Laboratory for Biomedical Imaging and Big Data (North University of China), Taiyuan Shanxi 030051, China

Abstract:

For inaccurate segmentation results caused by the existence of edge bubbles in welding balls and the grayscale approximation of background due to the diversity of image interference factors in Ball Grid Array (BGA) bubble detection, a welding ball bubble segmentation method based on Fully Convolutional Network (FCN) and K-means clustering was proposed. Firstly, a FCN network was constructed based on the BGA label dataset, and trained to obtain an appropriate network model, and then the rough segmentation result of the image were obtained by predicting and processing the BGA image to be detected. Secondly, the welding ball region mapping was extracted, the bubble region identification was improved by homomorphic filtering method, and then the image was subdivided by K-means clustering segmentation to obtain the final segmentation result. Finally, the welding balls and bubble region in the original image were labeled and identified. Comparing the proposed algorithm with the traditional BGA bubble segmentation algorithm, the experimental results show that the proposed algorithm can segment the edge bubbles of complex BGA welding balls accurately, and the image segmentation results highly match the true contour with higher accuracy.

Key words:

Full Convolutional Network (FCN); K-means clustering; Ball Grid Array (BGA); edge bubble; defect segmentation

0 引言

球栅阵列(Ball Grid Array, BGA)是近几年发展十分迅速的一种电子器件封装技术[1]。而BGA焊球内存在气泡是一种普遍并且难以避免的现象,焊球气泡是锡膏中焊剂残留和焊接面杂质在焊球融化时未及时排除而存储于其中形成的[2-3]。气泡过大不仅会导致焊球强度的降低,还会使得锡球体积变大,加大短路的几率,即使不形成短路等缺陷,也可能影响电气连接,造成工业上的損失[3]。

目前X射线BGA空洞缺陷的检测标准参照IPC-7095C发布的《BGA的设计及组装工艺的实施》的标准来判别。具体规定为BGA焊球中气泡的总面积不能超过焊球总面积的20%,单个气泡的面积不能超过焊球面积的25%[4]。在传统的BGA空洞缺陷检测中,人工检测依然是封装检测行业内普遍使用的一种方式[5],检测人员根据自身的视觉观察对产品封装的缺陷进行评估判定,但在长时间的检测过程中也会因为疲劳和注意力下降而导致缺陷判定出现错误,所以,BGA空洞缺陷的自动检测与评估系统的开发对于工业生产有重要的意义。BGA检测的主要目的在于将BGA射线图像中的焊球区域和焊球内部气泡区域自动进行分析提取并计算出单个焊球内部气泡占比度的大小,直接判定出焊球的合格情况。减少操作员的工作量,更有利于检测不合格焊球,减少工业损失,提高产品质量和生产效率。那么,在系统的自动检测算法中焊球及焊球内部气泡的完整提取就尤为重要。

近年来,针对BGA焊球及其内部气泡的分割提取算法,主要集中于基于全局阈值分割[6]、基于偏微分方程[7]、基于BLOB(Binary Large OBject)滤波[8]、基于射线检测[9]和基于直方图分析[10]等方法。但是由于BGA图像的干扰因素多样,这些方法在精确分割焊球边缘气泡缺陷方面具有局限性。例如,张俊生等[11]提出了一种首先采用OTSU自适应分割算法来提取焊球区域,然后用数学形态学开闭运算和顶帽变换来提取焊球的气泡区域的方法。该算法根据整幅BGA射线图像的灰度特性,计算前景和背景之间的类间方差,得出使得类间方差值最大的合适阈值来分割出焊球区域。然而,在图像复杂度高的情况下,比如有边界干扰、残缺焊球、边缘气泡对比度低的情况下,该算法就无法准确地分割出完整的焊球,使得后续计算焊球内部气泡占比率出现误差,造成过分割和欠分割的情况。

针对目前部分方法在对复杂背景干扰下的BGA图像分割中,由于部分焊球存在边缘气泡像素级与背景像素级之间的分辨率差,导致分割结果出现过分割的问题,本文提出了一种结合全卷积神经网络(Fully Convolutional Network, FCN)[12]和基于同态滤波的K-means聚类分割[13]的焊球气泡分割算法。首先,构建符合BGA图像数据集特点的FCN,通过对BGA焊球图像进行像素级的分类,以焊球中每个像素的类别作为监督信息,使用多层网络在训练过程中自主学习图像多层次特征来获取焊球的感兴趣区域(Region Of Interest, ROI)区域分割结果,使得BGA图像中复杂背景像素级的干扰完全去除,从而快速完整地提取出目标焊球区域;然后采用同态滤波算法提高焊球内部气泡辨识度,再使用K-means聚类分割算法将焊球与气泡区域分别聚成不同的簇,使焊球内部气泡被分割提取出来;最后对原图焊球及内部气泡区域进行标记识别。

1 FCN与K-means聚类分割

1.1 FCN

卷积神经网络(Convolutional Neural Network, CNN)一般由输入层、卷积层、激活层、池化层和全连接层组成,输入为图像的像素值,卷积层配合池化层,从低层到高层,随着感受野的扩充,完成低级特征到高级特征的提取,在全连接层得到固定长度的特征向量来进行分类,将最终得到的前向传播运算结果传递到损失层,损失层以真实类别作为监督信息,以最小化分类误差为目标,通过反向传播来调整网络各层的权值,完成模型的训练[14]。

FCN是由UC Berkeley的Jonathan Long等提出来的,结构与经典的CNN基本相同,但是FCN将CNN中的全连接层全部替换为卷积层,通过对图像进行像素级的分类,从抽象的特征中恢复出每个像素所属的类别,从图像级别的分类进一步延伸到像素级别的分类,实现的是像素级的识别,对输入图像的每一个像素在输出上都有对应的判断标注,标明这个像素最可能是属于一个什么类别或物体,从而解决语义级别的图像分割问题。

相对于经典的CNN而言,FCN可以接受任意尺寸的二维输入图像,经过反卷积操作,对最后一个卷积层的输出特征图进行上采样,使特征图恢复到与原始图像相同的尺寸,保留原始输入图像的空间信息;然后逐像素经过Softmax层计算处理,对输入圖像中每一个像素进行预测,形成pixel-to-pixel的监督。与卷积神经网络(CNN)相比,FCN的优点在于接受输入图像尺寸不一;并且解决了CNN存在的存储开销大、计算效率低下、感知区域受限等问题。

1.2 K-means聚类分割

K-means聚类算法是图像划分方法中较经典的聚类算法之一。其基本思想是将选取的M个种子点特征和其周围点的特征进行距离的测定,将图像样本聚成不同的簇,使得簇内具有较高的相似度,而簇间的相似度较低,以得到紧凑且独立的簇作为最终的聚类目标。

针对于BGA图像来说,图像中所有位置的像素值可以表示为一组数据{x1,x2,…,xn},K-means聚类的任务就是将这些数据聚成K个簇,将背景、焊球、气泡单独分割出来。本文引入二值变量rnk∈{0,1}来表示像素数据点xn对于聚类簇k的归属情况(n=1,2,…,N, k=1,2,…,K),如果数据点xn属于第k聚类,就将rnk值定为1,否则为0。根据此情况,定义损失函数J为:

J=∑Nn=1∑Kk=1rnk‖xn-μk‖2(1)

J函数表示每个像素点到其所选聚类中心μk的距离平方和,则聚类分割的问题就转移到寻找使得损失函数J最小的像素数据点的归属值rnk和聚类中心μk。K-means算法通过一种迭代求解方法在每次的迭代优化中求得最佳rnk和μk。具体步骤如下:

步骤1 求取可以使损失函数J最小的数据点的归属值rnk。由式(1)可以看出,损失函数J是rnk的线性函数,给定xn和μk的值,并且xn之间相互独立,则对于每一个像素n,只需将该像素分配到距离最近的聚类中心,即:

rnk=1, k=arg minj‖xn-μj‖2

0,其他(2)

步骤2 根据已求得的rnk,再求取使得损失函数J最小的聚类中心μk。损失函数J是μk的二次函数,令J对μk的导数为0,可以得:

∑Nn=1rnk(xn-μk)=0(3)

则可以得出μk的取值为:

μk=(∑Nn=1rnkxn)/∑Nn=1rnk(4)

对于第k个聚类,rnk取1的个数就是属于该聚类的点的个数,因此μk属于该聚类的点均值。重复迭代上述两步骤直至收敛。

2 本文算法

2.1 算法流程

为了精确地分割出焊球中的气泡区域,本文结合了全卷积神经网络(FCN)和K-means聚类分割方法。FCN络通过深层卷积学习特征,来判定BGA焊球图像中的像素所属类别,可以粗略地分割出目的焊球区域;K-means聚类分割则在FCN分割基础上进一步精确分割出焊球气泡区域。

本文提出的算法主要包含两个阶段:粗分割阶段和细分割阶段。算法具体步骤如下:

1)粗分割阶段。

①在训练阶段首先搭建FCN训练环境,根据所制作的BGA数据集搭建好FCN;

②通过训练该网络得到适用于分割BGA焊球的网络模型;

③在测试阶段将待测图像经由该网络模型得到BGA图像的粗分割结果并优化。

2)细分割阶段。

①首先对优化后的BGA粗分割结果图进行轮廓提取和原图映射操作,并将所提轮廓附加映射图用来增强焊球的边缘;

②用同态滤波算法提高所提取出的焊球区域气泡辨识度;

③再采用K-means聚类分割方法对增强图像进行分割处理并优化,得到最终分割图后对原图焊球及气泡区域进行标记识别,得到最终标记效果图。

2.2 粗分割阶段

根据所制作的BGA标签数据集的特点搭建合适的FCN全卷积网络,为了可以在保证特征提取效果的同时减少参数数量,使计算代价更小、收敛速度更快,所以网络全部采用3×3的卷积核来进行网络层卷积操作。而VGG[15]的所有结构都可以近似为3×3卷积核CNN的一个遍历,并且在所有VGG11-19层的结构中,网络深度的增加会使得训练过程中特征提取得更精确,图像top-1和top-5错误率下降得也更明显(top-N错误率是指图像识别算法给出的前N个答案中有一个是错误的概率),所以本文所搭建的FCN采用VGG19基础网络模型。由于BGA射线图像大小不一,单个焊球包含像素大小的分布范围大,所以本文搭建的FCN保留全部的网络层结构,即在经典的VGG19的基础上,把VGG19网络最后的3层全连接层全部去掉,换成3个卷积层,保留原始图像的空间特征。

本文最终所搭建的FCN结构如图1所示,图1网络层中不同的颜色代表不同的操作,操作模块分为卷积、池化、反卷积、裁剪和融合这5部分。

网络对输入图像尺寸没有要求,通过输入图像和标签数据,最终也得到预测图像的二维数据,且大小与输入图像大小相同,实现语义分割的目的。经由FCN初始网络多次卷积和池化以后,输出的图像会变得越来越小,分辨率也变得越来越低,会得到一个粗略的图像,为了将这个分辨率低的粗略图像恢复到原始的分辨率,需要对卷积池化后图像进行上采样操作。本文所搭建的FCN中BGA图像经过5次组卷积和池化以后,图像的分辨率依次缩小至原来的1/2、1/4、1/8、1/16和1/32,则对于最后输出的图像,就需要进行32倍的上采样,来恢复到和原图一样的大小。由于直接对第5层卷积池化后结果进行32倍的上采样会导致图像细节大量丢失,分割结果不精确,所以本文采用融合方法,每一次的融合操作都是对反卷积结果进行补充细节特征的过程:首先对第5次卷积池化输出结果图像进行2倍反卷积操作,再将其与第4次池化卷积结果相融合,再对所得结果进行2倍反卷积操作后与第3次卷积池化结果相融合,然后对所得结果直接进行8倍反卷积操作,这样得到的结果图像与原始输入图像尺寸相同,并且两次的融合操作所提取的图像细节特征,已经满足了焊球区域分割精度的需求。

通过训练上述全卷积网络得到适合分割焊球的BGA网络模型,再对待测图像进行预测分割,得到的预测分割图像分为焊球区域和背景区域两部分,由于本次实验对残缺焊球不考虑识别,所以通过计算焊球区域面积均值法将残缺焊球区域剔除;由于原图焊球拖尾的影响使得粗分割出来的拖尾焊球区域有微小杂点干扰,本文采用数学形态学开运算方法进行去除,得到最终焊球图像区域,为细分割阶段打下基础。

2.3 细分割阶段

细分割阶段主要采用了K-means聚类分割算法对所提取出的焊球图像进行分割操作。为了在保证气泡分割准确性的同时减少聚类操作的运行时间,本文经过多次实验最终确定K-means聚类参数中聚类个数K设为4,迭代次数设为3,精度设为1.0;聚类初始中心的选取方式采用K-means++中心初始化算法选取(KMEANS_PP_CENTERS);聚类的特征选取方式为计算样本与聚类中心之间的欧氏距离,距离越近,相似性越大;迭代终止的条件为达到最大迭代次数或者达到所选精度值(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS)。

图2表示了细分割阶段的主要过程,首先对FCN的粗分割結果图2(a)进行轮廓提取和原图映射操作,再将所提轮廓附加映射图用来增强焊球的边缘,得到图2(b),这样就将各个焊球从BGA原始射线图像中完整地提取出来,为后面气泡缺陷的提取分割去除了背景杂点、残缺焊球和焊球拖尾等因素的干扰;然后再采用同态滤波法增强图2(b)中气泡区域辨识度,使用K-means聚类分割算法对增强后图2(b)中的焊球、气泡和背景区域分别进行聚类操作,得到初始聚类分割图2(c);最后对聚类分割图进行二值化处理,得到最终分割图像。

图3表示了对K-means聚类分割图像后处理的优化步骤,因为制作BGA数据集时Label标签是围绕焊球周围来标注,所以二值化后的初始分割图像会出现焊球边界与轮廓之间有微小空隙存在。以单个焊球为例,本文采用数学形态学膨胀腐蚀操作对其进行优化,得到焊球a;虽去除了空隙但也使得焊球中部分气泡缺陷分割点也被去除,所以采用对原始焊球

去除轮廓后进行区域生长操作,将内部气泡区域单独提取出来,得到焊球b;最后将焊球a与焊球b相加,得到最终的焊球气泡分割图像。

2.4 标记

根据最终分割结果圖像对BGA焊球气泡缺陷进行标记,红色轮廓标记焊球区域,绿色部分覆盖焊球内部气泡区域,并且计算出焊球内部气泡缺陷与焊球之间的占比大小,在当前焊球左上角进行标注,标记结果如图4所示,可以非常直观地看出当前BGA射线图像中各个焊球的合格情况。

3 数据集及其预处理

3.1 数据集

本文搭建的FCN网络所采用的数据集是由自己标注BGA数据图像所得,可用的图像有612张BGA射线图像,包含上万个焊球样本。训练集图像格式保存为.jpg格式,位深度为24位,对应的标签图像保存为.png格式,位深度为8位。BGA数据集中的图像平均尺寸是860×680。在所有图像的长宽中,最大的图像大小为1600×1200,最小的为200×200,变化范围很大。

3.2 标签制作

对于FCN的数据集标签而言,本文制作标签使用的工具是Labelme软件,Labelme是一个开源的图像辅助工具,能够帮助用户创建定制化标注任务或可执行图像标注[16]。对BGA图像中合适的焊球使用连续的点围绕其外围进行提取标注,并赋值为0,因为无法确定残缺焊球内部气泡总面积,所以对残缺焊球不进行标注;元器件或者线盘区域不进行标注;拖尾区域不进行标注;桥接焊球将其分开进行标注,其他区域为背景。

3.3 数据增强

由于BGA图像中被干扰焊球相对正常焊球来说,数量较少,这就使得在FCN训练阶段,参与训练的特殊焊球数量太少,导致结果精确度下降,本文通过增强训练集中被干扰焊球图像的方法,来平衡训练集中被干扰焊球与正常焊球的占比。

对于训练集中的干扰焊球图像,增强的倍数应当至少使得正常和受干扰焊球两类焊球像素数量基本相当,同时也要防止因增强倍数太大导致的模型过拟合,因此,将受干扰焊球的增强倍数设置为3,因为要确保图像中焊球大小格局变化不大,因此采取随机水平或垂直翻转,幅度为0.01的随机平移抖动的方法组合来进行增强数据集。

4 实验及结果分析

4.1 评估方法

对于焊球气泡缺陷分割结果的评估,焊球内部气泡缺陷的检测方法是计算气泡区域占焊球区域面积的百分比,通常定为单个空洞缺陷所占面积不超过焊球面积的 25%、多个空洞缺陷面积总和不超过焊球面积的20% 就算焊接质量合格。所以本文设定:气泡面积用Svoid表示、焊球的面积用Sbga表示,焊球气泡占比率用R表示,公式为:

R=SvoidSbga×100%(5)

4.2 结果与分析

4.2.1 FCN结果与分析

所搭建的FCN使用预训练模型来提高训练速度和减少过拟合的情况,即在ImageNet数据集中的VGG19基础网络模型上进行微调。为了防止训练深度全卷积网络模型出现梯度爆炸而造成Loss值为NAN的情况和防止全卷积网络在求解时可能发生的过拟合现象,本文将batch size设置为2,学习率设置为10-4,将训练次数定为104。图5显示了FCN训练时随着迭代次数的增加,损失函数的变化过程,由于使用了预训练模型,网络在训练初期损失函数下降的很快,在迭代8000次后,损失函数趋于稳定,最后迭代终止误差收敛于0.003左右。

FCN的输出类别包括背景和焊球这两大类,得到的是包含焊球区域和背景区域的预测图像,如图6所示。FCN对输入图像图6(a)进行预测分割,并输出粗分割结果图6(b),可以看出图6(b)很好地去除了背景复杂因素的干扰从而完整地提取出了目的焊球区域,为算法细分割阶段打下基础。

4.2.2 本文算法分析

将本文算法实验最终分割结果与其他文献[11,17-18]所采用的方法进行对比。文献[11]是张俊生等于2018年提出的基于OTSU自适应分割和结合数学形态学顶帽操作的分割方法,分割结果如图7(b)所示;文献[17]主要提出一种动态阈值分割算法,通过控制图像的平滑程度和差图像阈值的大小,分别提取焊球区域和气泡区域,二者相与后实现气泡缺陷的最终分割,分割结果如图7(c)所示;文献[18]是将模糊C均值聚类图像分割算法与基于边缘检测的图像分割算法相结合,分割结果如图7(d)所示。气泡检测方法采用上述评估方法进行评估,评估结果如表1所示。

从表1中焊球3号和6号的分割情况和数据可以看出,其他三种文献所提出的算法在针对焊球边缘气泡像素级与背景像素对比度差的情况下,会将边缘气泡当作背景而分割出去,造成处理的过分割情况,使得气泡所占比例和本文算法有2倍左右的误差;从焊球2号和8号的分割情况和处理数据

可以看出,文献[11]和文献[17]中的算法无法对拖尾焊球作出正确的分割,将拖尾的阴影也分割到了焊球部分,使得焊球面积增加,气泡率下降,造成了数据的错误;从其他焊球数据可以看出对于焊球内部像素对比度低的气泡,文献[18]分割

效果不足,本文算法和文献[11]、文献[17]提出的算法均能将焊球内气泡识别分割出来,但是从微小气泡和焊球细节上来看,本文算法在精度上要优于文献[11]和文献[17]的算法。

实验结果表明,本文算法对于BGA焊球的分割识别有以下几大优点:1)可以快速去除背景因素的干扰,完整地提取出焊球区域;2)对于焊球内的边缘气泡,不会因为其像素级与背景像素级接近,而将其误分割出去;3)对于焊球内部因光照等因素造成对比度差的气泡,也能很好地将其提取分割出来。

5 结语

为了解决BAG气泡检测中传统的分割算法对焊球边缘气泡的分割结果不精确的问题。本文根据BGA图像数据集的特点搭建了对焊球进行正确语义分割的FCN,通过训练测试得到了输入BGA图像的粗分割结果;然后再经由K-means聚类分割算法处理,在去除因光照干扰造成的焊球像素对比度偏低问题的同时对增强图像中焊球及其气泡区域进行聚类分离,得到最终分割图像;最后对原始BGA射线图像中焊球及气泡缺陷区域进行标记识别。相较其他算法对分割结果进行评估数据对比,可以看出本文算法很好地解决了提出的问题,并且针对部分复杂的BGA图像,本文算法也能够完整地将焊球分离出来,有较优的鲁棒性和实用性,满足BGA工业检测中分割精度的需求。但是全卷积网络和K-means聚类算法的运行往往会消耗较大的时间资源和内存资源,并且本文所采用的FCN是一个相对基础的模型,如何有效减少基于卷积神经网络的分割算法的運行时间,并将更好的语义分割技术应用于BGA工业检测中将是进一步的努力方向。

参考文献

[1]薛明阳,卫国强,金亮,等.不同应变速率下BGA焊球剪切断裂实验与模拟分析[J].焊接学报,2014,35(3):45-48.(XUE M Y, WEI G Q, JIN L, et al. Shear fracture test and simulation analysis of BGA welding balls at different strain rates [J]. Transactions of the China Welding Institution, 2014, 35(3): 45-48.)

[2]桂晟偲,刘佳.BGA空洞控制的回归分析研究[J].电子工艺技术,2011,32(3):148-151.(GUI S C, LIU J. Study on regression analysis for BGA void control [J]. Electronic Process Technology, 2011, 32(3): 148-151.)

[3]方园,符永高,王玲,等.微电子封装无铅焊点的可靠性研究进展及评述[J].电子工艺技术,2010,31(2):72-76.(FANG Y, FU Y G, WANG L, et al. Progress and review on lead-free solder joint reliability in micro-electronic packaging [J]. Electronic Process Technology, 2010, 31(2): 72-76.)

[4]李乐.基于精密微焦点X射线的BGA焊点缺陷检测关键技术研究[D].广州:华南理工大学,2014:39-40.(LI L. Research on key technologies of BGA solder joint defect detection based on precision micro-focus X-ray [D]. Guangzhou: South China University of Technology, 2014: 39-40.)

[5]王树清,文大化.混装条件下BGA焊点空洞问题[J].电子工艺技术,2012,33(5):289-291.(WANG S Q, WEN D H. BGA solder joint void problem under mixed loading [J]. Electronic Process Technology, 2012, 33(5): 289-291.)

[6]SA-NGUANNAM A, SRINONCHAT J. Analysis ball grid array defects by using new image technique [C]// Proceedings of the 9th International Conference on Signal Processing. Piscataway, NJ: IEEE, 2008: 785-788.

[7]夏石川,桂志国,张权,等.基于偏微分方程的BGA射线图像去噪方法[J].中北大学学报(自然科学版),2013, 34(6):667-672.(XIA S C, GUI Z G, ZHANG Q, et al. Denoising methods based on partial differential equation for BGA X-ray image [J]. Journal of North University of China (Natural Science Edition), 2013, 34(6): 667-672.)

[8]PENG S H, NAM H D. BGA void detection in X-ray images based on a new blob detector [C]// Proceedings of the 4th International Congress on Image and Signal Processing. Piscataway, NJ: IEEE, 2011:1847-1850.

[9]SUMIMOTO T, MARUYAMA T, AZUMA Y, et al. Development of image analysis for detection of defects of BGA by using X-ray images [C]// Proceedings of the 20th IEEE Instrumentation Technology Conference. Piscataway, NJ: IEEE, 2003: 1131-1136.

[10]SAID A F, BENNETT B L, KARAM L J, et al. Robust automatic void detection in solder balls [C]// Proceedings of the 2010 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2010: 1650-1653.

[11]張俊生,王明泉,郭晋秦,等.球栅阵列焊点空洞缺陷的数学形态学分析[J].科学技术与工程,2018,18(2):296-299.(ZHANG J S, WANG M Q, GUO J Q, et al. Analysis of void defects in BGA solder joints with mathematical morphology [J]. Science Technology and Engineering, 2018,18(2): 296-299.)

[12]SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[13]魏杰.基于K-means聚类算法改进算法的研究[J].信息通信,2018(5):14-15.(WEI J. Research on improved algorithm based on K-means clustering algorithm [J]. Information and Communication, 2018(5): 14-15.)

[14]刘一鸣,张鹏程,刘祎,等.基于全卷积网络和条件随机场的宫颈癌细胞学图像的细胞核分割[J].计算机应用,2018,38(11):3348-3354.(LIU Y M, ZHANG P C, LIU Y, et al. Segmentation of cervical nuclei based on fully convolutional network and conditional random field [J]. Journal of Computer Applications, 2018,38(11): 3348-3354.)

[15]SIMONYAN K,ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2018-11-20]. https://arxiv.org/pdf/1409.1556.pdf.

[16]胡明辉,李俊,申妍燕,等.基于深度神经网络的尺桡骨远端图像语义分割[J].图像与信号处理,2018,7(2):85-95.(HU M H, LI J, SHEN Y Y, et al. DRU image semantic segmentation using deep neural networks [J]. Journal of Image and Signal Processing, 2018, 7(2): 85-95.)

[17]张俊生,王明泉,郭晋秦,等.BGA焊点气泡缺陷X射线图像的动态阈值分割方法[J].火力与指挥控制,2018,43(10):113-116.(ZHANG J S, WANG M Q, GUO J Q, et al. Dynamic threshold segmentation method for X-ray images of bubble defects in BGA solder joints [J]. Fire Control and Command Control, 2018, 43(10): 113-116.)

[18]张鹏程.基于平板探测器的BGA缺陷检测技术[D].太原:中北大学,2009:34-48.(ZHANG P C. BGA defect detection technology based on flat panel detector [D]. Taiyuan: North University of China, 2009: 34-48.)

This work is partially supported by the National Major Scientific Instruments and Equipment Development Special (2014YQ24044508); the National Natural Science Foundation of China (61671413, 61801438); the Middle School Senior Academic Leadership Program (QX201801); the Shanxi Applied Basic Research Project (201801D221196).

ZHAO Ruixiang, born in 1994, M. S. candidate. His research interests include image processing, deep learning.

HOU Honghua, born in 1975, Ph. D., associate professor. Her research interests include medical image processing, computer vision.

ZHANG Pengcheng, born in 1984, Ph. D., lecturer. His research interests include dose calculation and planning optimization in the precision radiation therapy.

LIU Yi, born in 1987, Ph. D., associate professor. Her research interests include image processing, reconstruction, non-destructive testingmedical image reconstruct.

TIAN Zhu, born in 1995, M. S. candidate. His research interests include image segmentation, deep learning.

GUI Zhiguo, born in 1972, Ph. D., professor. His research interests include signal and information processing, image processing and recognition, image reconstruct.