基于MRF的SMT焊点区域分割的研究

宋 强，茹 蓓，刘凌霞



基于MRF的SMT焊点区域分割的研究

宋 强1，茹 蓓2，刘凌霞3

(1. 武汉理工大学信息工程学院 武汉 430070；2. 新乡学院计算机科学与信息工程学院 河南新乡 453000；3. 安阳师范学院软件学院 河南安阳 455000)

基于马尔可夫随机场(MRF)图像分割模型，该文提出了一种能够较好分割出表面贴装技术(SMT)焊点区域的分割算法，即基于Gibbs采样的模拟退火算法，并讨论了影响图像分割效果的主要因素，最后将该算法与传统的Gibbs采样算法以及模拟退火算法进行比较。实验结果表明，该算法通过少量人工干预、降低采样维度，从而减少了优化收敛时间，能最快地收敛到全局最优，分割成功率较高，结果较为精确，为进一步的焊点质量分析提供了保证。

Gibbs采样; 图像分割; 马尔可夫随机场; 模拟退火; SMT焊点

采用SMT焊接的焊点质量和可靠性的检测与评估，一直以来是困扰技术人员对SMT焊点进行计算机质量检测的瓶颈。通过分析焊点的二维图像，对焊点形态的三维重建以及恢复提供准确的数据来源，从而控制SMT表面组装质量，同时推动智能鉴别技术的发展[1]。基于图像的焊点质量技术检测是一个新兴的研究热点[2]，而焊点区域的分割是其中的关键技术。电路板上元器件众多、形态复杂，要把焊点从其中分割出来，常规的直方图分割方法已不能满足需要[3-4]。

MRF图像分割框架是从全新的概率视角来对图像分割进行建模，是一种基于统计的分割方法，具有能充分利用先验知识、能形成闭合的边界、模型参数少且易于和其他方法相结合等优点，已广泛应用于纹理分割、图像理解等领域，并取得了较大的成功[5]。

1 文献综述

在焊点质量技术检测这一领域，很多研究人员都进行了相关的探讨。文献[6]设计了采用结构化照明的计算机视觉系统，开发了一个倾斜地图表面模型技术用于焊点检测。文献[7]介绍了SMT生产应用自动光学检测技术(automatic optic inspection, AOI)进行焊点质量检测的主要方法及国内外常见的主要设备。文献[8]介绍了多种焊点检测、焊点失效的机理及其提高可靠性的方法。文献[9]提出了自动光学检查和自动射线检查在SMT中的应用，并在图像处理技术中采用了直方图的方法。以上文献均未对焊点图像分割处理方法提出自己的观点。

文献[10]提出了一种基于贝叶斯信息准则(bayes information criterion, BIC)和Gibbs采样的无监督学习算法，介绍了Gibbs采样的基本原理。文献[11]论述了SMT焊点边缘提取技术的实现方法与步骤，比较分析了Roberts等多种边缘提取算子对焊点边缘提取效果的影响。文献[12]提出了一种针对焊球阵列封装(ball grid array, BGA)的元器件焊点基于最小误差的分割检测算法，该算法能有效检测出焊点的空洞缺陷。文献[13]提出并研究了用Dirichlet、广义Dirichlet和Beta-Liouville分布命名的3种有限混合模型，该模型可以提供更加灵活的图像分割方面的数据建模，并采用最大释然算法估算了模型的参数，对于不同颜色的背景具有较好的分割操作性能。文献[14]采用了计量发散理论(metric-divergences)用于概率分布，并提出一个马尔科夫场模型用于概率图像的分割。但以上这些算法均未采用基于MRF的焊点图像分割方法。

文献[15]在图像和统计力学系统之间做了一个类比，对于一系列退化机制，如模糊、非线性变形、乘法或加法噪音，后验分布是一种结构类似于图像模型的MRF。通过类比发现，在物理系统中的温度逐渐降低隔离了低能量状态(“退火”)或类似于Gibbs分布下最可能的状态，在后验分布下的操作产生了对给定图像进行退化观察的最大后验概率(maximum posterior probatility, MAP)估计，最后采用一个高度并行的“松弛”算法用于MAP估计。

文献[16]假定真实场景的局部特征可以采用非退化的马尔可夫随机场表示。这些信息可以和贝叶斯理论的记录相结合，并且这些真实的场景可以按照标准的规则进行评估。同时还提出了一个简单重建的迭代方法，而不依赖于这些随机场的大规模特征。

2 马尔可夫随机场图像分割

2.1 马尔可夫随机场定义

2.2 MRF和Gibbs随机场的等效性

二维网格上某个格点的一阶邻域系统及其势能团如图1所示。

图1 一阶邻域系统及其势能团

则称其为一个Gibbs随机场(Gibbs random field, GRF)。式中，是归一化系数；是所有子团势能之和。子团势能为：

MRF反映了图像的局部性质，GRF则可以看成是图像全局的性质。Hammersley-Clifford定理揭示了MRF与GRF之间的等价性，该定理表明，当组态中的一个格点在其邻域服从Gibbs分布时，则GRF等价于一个MRF。

2.3 图像分割的Bayesian框架

3 基于Gibbs采样的模拟退火算法

基于MRF随机场的图像分割的关键是求解式(4)所示的最优化问题。常用的方法是模拟退火算法，通过模拟加热的物理系统在冷却过程中的粒子状态变迁过程，逐渐降温迭代使能量达到全局最小[19]。模拟退火算法是马尔科夫链蒙特卡罗(Markov chain Monte Carlo, MCMC)算法的推广，影响其效率的主要有状态采样器和冷却进度表。

3.1 Gibbs采样器

式(4)表明MRF的图像分割问题可以归结为求解使得能量最小化的组态。由于组态空间非常巨大(如对于2分类的256×256图像，组态空间大小为)，搜索全部的组态空间是不可能的，需要对该高维组态空间进行高效率的采样。

Gibbs采样是一种常用的高维采样器[20-21]，从高维空间中的每一维分别采样，逐步逼近高维采样点，其优点是采样难度低，但采样次数增加。基于此，本文采用基于Gibbs采样的方法。该方法可以简单描述为：假设表示维联合分布，是全条件分布，其中。

3.2 冷却进度表

在模拟算法的过程中，温度控制着最优化的进度，应选择一个足够高的温度作为迭代起始温度，温度的下降速度应当足够慢，一般采用指数衰减：，表示初始温度，表示温度的衰减系数，本文选取,。

3.3 参数估计

上述图像分割算法需要估计以下几个参数：

4 实验结果

4.1 焊点区域

本文分割采用的图片来自工业中一块测试用的电路板，其中背景有裸露的铜板区和绿色的电路板印刷色。采用的片式电阻是1206型号，其长为3.048 mm，宽为1.524 cm，面积为18.288 mm2，如图2a所示。图2b为一个片式电阻的示意图。片式电阻通常由焊点、金属化端子和器件体构成。在本文中针对片式电阻的特点，把金属化端子和焊料区统称为焊点。本文所分割的就是焊点和金属化端子连在一起的部分。

a. 分割所用电路板

b. 片式电阻示意图

为了提高分割的精度，在分割前把彩色图像转换成灰度图像，并对图像进行半径为2 cm的高斯平滑。

4.2 分割区域确定和参数估计

要使用MRF分割算法，首先确定图像上分类类别的数目及其均值和方差。电路板图像可分为5类物体，每类物体的方差和均值可以通过手动选取典型区域交互式计算获得，如表1所示。

表1 5类物体的均值和方差

最终5类区域的分割结果如图3a所示。图中不同层次的灰度代表不同的物体类别，对焊点区域进行了标注。焊点分割区对应的图像如图3b所示。

a. 5类物体分割区域的示意图

b. 焊点区分割图

4.3 结果分析与改进

从图3b可以看出，除个别焊点以外，大多数焊点都能较好地分割出来，总体上分割效果良好。比较严重的问题是铜板区对焊点分割的干扰，分割算法排除了大部分铜板区域，但对于小的铜板区没能很好的排除，其原因可以从5个类别的正态分布图中分析得出，如图4所示。在图3中可以清晰的看出，由于裸露铜板和焊点区域的重合区域最大(图3中的实线和点划线)，所以两者较其他类别更容易混淆，较难进行分割。

图4 5个类别的正态分布图

焊点分割后会形成孔洞，可以使用数学形态学的相关运算进行空洞填充。

MRF分割效果的好坏除了受耦合参数和温度进度表的影响外，最主要的是看分割类别区域和其他类别区域的灰度分布重合情况。如果两个类别的灰度分布重合区域较多，两者之间进行分割的效果就较差。

5 相关图像分割算法的比较

MAP是图像处理中最常用的最优化准则，也是MRF建模中最常用的最优化标准。为了解决焊点区域图像分割的最优化问题，说明基于Gibbs采样的模拟退火算法的优越性，分别引入了文献[15]和[16]进行对比说明。

Gibbs采样算法接受概率的选择是随机的，是典型的随机松弛方法，它的计算结果依赖于初始值的选取，计算速度较慢，在接受新的分割结果时即使增加了随机扰动的因素，也能得到全局收敛的结果。算法流程较慢，但不会陷入到局部极值点[15]。

传统的模拟退火算法也是典型的随机松弛方法，同Gibbs采样算法一样，计算速度慢，在每次迭代过程中接受新的图像分割结果时增加了随机扰动的因素，在理论上可以得到全局收敛的分割结果[22]。

为了对这3种算法进行比较，实验选择在下列软硬件平台的PC机上完成，I3主频率2.5 G CPU，2 G内存；Windows XP SP3操作系统；VC 6.0编译工具。以图3b作为原始图像，初始化温度，收敛条件中的能量阈值，温度调节因子。

表2 算法参数比较

从表2可以看出，基于Gibbs采样的SA算法计算量明显小于前两种算法，虽然Gibbs采样算法的迭代次数小于SA算法，但花费的CPU时间大于SA算法。温度系数是迭代次数的指数函数，即迭代次数越多温度系数越小。该算法并未改变马克洛夫MAP优化目标算式，因此分割结果与前两者差别不大，但仍然可以看到基于Gibbs采样的SA算法能最快地收敛到全局最优。

6 结束语

表面贴装技术是目前应用最广泛的电子组装技术。本文针对SMT焊点图像，介绍了图像分割的马尔可夫随机场方法，MRF优化方程是图像分割技术中常用的一种算法，由于求解该算式需要迭代优化，耗时较长。本文提出了基于Gibbs采样的模拟退火算法对焊点区域进行分割，并讨论了影响分割效果的主要因素。最后对该算法和传统的Gibbs算法以及模拟退火算法进行了比较。从实验结果可以看出，基于Gibbs采样的SA算法计算量明显小于前两种算法，基于Gibbs采样的SA算法能够最快地收敛到全局最优。同时，实验结果证明利用该算法分割效果较好，结果较为精确，为进一步的焊点质量分析提供了保证。本文针对SMT焊点进行的MRF优化尚未与不使用MRF优化的图像分割算法的分割精确度进行优劣比较。这点可以作为今后的研究内容进一步研究。

参 考 文 献

[1] 王娟, 孔兵, 贾巧丽. 基于颜色特征的图像检索技术[J].计算机系统应用, 2011, 20(7): 160-164.

WANG Juan, KONG Bin, JIA Qiao-li. Color-based image retrieval[J]. Computer Systems Applications, 2011, 20(7): 160-164.

[2] 周德俭. SMT组装质量检测中的AOI技术与系统[J]. 电子工业专业设备, 2002, 31(2): 87-91.

ZHOU De-jian.Automatic optics inspection technology and system in surface mounting technology assembling quality inspection[J]. Equipment for Electronic Products Manufacturing, 2002, 31(2): 87-91.

[3] KATO Z, PONG T C. A Markov random field image segmentation model for color textured images[J]. Image and Vision Computing, 2006, 24(1): 1103-1114.

[4] 赵辉煌, 周德俭, 黄春跃, 等. 基于SFS原理的SMT焊点表面三维重构技术研[J]. 计算机科学, 2009, 36(7): 288-291.

ZHAO Hui-huang, ZHOU De-jian, HUANG Chun-yue, et al. SMT solder joint 3D reconstruction technology based on shape from shading[J]. Computer Science, 2009, 36(7): 288-291.

[5] 章毓晋. 图像分割[M]. 北京: 科学出版社, 2000: 117-118.

ZHANG Yu-jin. Image segmentation[M]. Beijing: Science Press, 2000: 117-118.

[6] LO H, LU Ming-sing. Printed circuit board inspection using image analysis[J]. IEEE transactions on industry applications, 1999, 35(2): 426-432.

[7] 罗兵, 曾歆懿, 季秀霞. SMT产品缺陷及相应的AOI检测方法[J]. 电子质量, 2006(6):35-37.

LUO Bing, ZENG Xin-yi, JI Xiu-xia. SMT quality defects and corresponding AOI algorithms[J]. Electronics Quality, 2006(6): 35-37.

[8] 史建卫, 徐波, 袁和平, 等. SMT焊点质量检测方法[J]. 电子工业专用设备, 2005, 34(9): 26-33.

SHI Jian-wei, XU Bo, YUAN He-ping, et al. Inspection method on solder joint quality in SMT[J]. Equipment For Electronic Products Manufacturing, 2005, 34(9): 26-33.

[9] 闵四宗. SMT检测中的数字图像处理技术的应用[J]. 科技信息, 2010, 24: 247-248.

MIN Si-zong. The application of digital image processing technology in SMT detection[J]. Science & Technology Information, 2010, 24: 247-248.

[10] 刘伟峰, 杨爱兰. 基于BIC准则和Gibbs采样的有限混合模型无监督学习算法[J]. 电子学报, 2011, 39(3): 134- 139.

LIU Wei-feng, YANG Ai-lan. Unsupervised learning for finite mixture models based on BIC criterion and gibbs sampling[J]. Acta Electronica Sinica, 2011, 39(3): 134-139.

[11] 孙玉峰, 周德俭, 朱少华. 基于VC++的SMT焊点图像边缘提取技术[J]. 中国电子制造技术论坛论文集, 2010, 201: 704-707.

SUN Yu-feng, ZHOU De-jian, ZHU Shao-hua. The edge extraction of smt solder joint image based on VC++[J]. Advanced Materials Research, 2011, 201: 704-707.

[12] 贾轶群. 基于最小误差算法的BGA图像分割[J]. 电子测试, 2010, 6(6): 15-19.

JIA Yi-qun. BGA images segmentation based on the minimum error algorithm[J]. Electronic Test, 2010, 6(6): 15-19.

[13] ALI S, NIZAR B. Spatial color image segmentation based on finite non-Gaussian mixture models[J]. Expert Systems with Applications, 2010, 39(10): 8993-9001.

[14] OSCAR D, MARIANO R. Alpha Markov measure field model for probabilistic image segmentation[J]. Theoretical Computer Science, 2011, 412(15): 1434-1441.

[15] GEMAN S, GEMAN D. Stochastic relaxation, Gibbs distribution and Bayesian restoration of image[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 1984, 6: 721-741.

[16] BESAG J. On the statistical analysis of dirty pictures[J]. J Royal Statistics Soc, 1986. 6: 259-302.

[17] 陈俊杰, 谢明, 李文博, 等. 马尔可夫随机场和模拟退火算法的SAR图像相干斑抑制方法[J]. 四川大学学报(自然科学版), 2008, 45(1): 105-109.

CHENG Jun-jie, XIE Ming, LI Wen-bo, et al. A method for removing speckles of SAR image based on markov random field[J]. Journal of Sichuan University(Natural Science Edition), 2008, 45(1): 105-109.

[18] 李春泉, 周德俭, 吴兆华. 基于焊点形态理论的SMT 焊点质量模糊故障诊断技术研究[J]. 中国机械工程, 2004, 11(21): 1967-1970.

LI Chun-quan, ZHOU De-jian, WU Zhao-hua. Study on SMT solder joint quality fuzzy diagnosis technology based on the theory of solder joint shape[J]. China Mechanical Engineering, 2004, 11(21): 1967-1970.

[19] 吴媛, 杨富超. 基于彩色图像分割技术的SMT焊点质量检测[J]. 计算机测量与控制, 2012, 20(6): 1495-1500.

WU Yuan, YANG Fu-chao. Study on detection method based on color image segmentation for SMT solder joints[J]. Computer Measurement & Control, 2012, 20(6): 1495-1500.

[20] 赵辉煌, 周德俭, 吴兆华. 基于小波包变换与Wiener滤波的SMT焊点图像去噪技术[J]. 计算机科学, 2010. 37(9): 279-281.

ZHAO Hui-huang, ZHOU De-jian, WU Zhao-hua. SMT solder joint image de-noising based on wavelet packet transform and wiener filter[J]. Computer Science, 2010, 37(9): 279-282.

[21] 孙毅, 刘科伟, 黄建国, 等. 基于Gibbs采样的贝叶斯多目标高分辨方位估计[J].计算机工程与应用, 2002, 38(12): 36-39.

SUN Yi, LIU Ke-wei, HUANG Jian-guo, et al. Bayesian DOA estimator by Gibbs sampling[J]. Computer Engineering and Applications, 2002, 38(12): 36-39.

[22] LAARHOVEN P V, AARTS E. Simulated annealing: Theory and applications[M]. Dordrecht, Holland: Reidel Pub, 1987.

编 辑 叶 芳

Research on SMT Solder Segmentation Based on MRF Frame

SONG Qiang1, RU Bei2, and LIU Ling-xia3

(1. School of Information Engineering, Wuhan University of Technology Wuhan 430070; 2. School of Computer Science and Information Engineering, Xinxiang University Xinxiang Henan 453000; 3. School of Software, Anyang Normal University Anyang Henan 455000)

Based on Markov random field (MRF) image segmentation frame, this paper presents a better partitioning algorithm for surface mount technology (SMT) solder segmentation which isthe simulated annealing algorithm based on Gibbs sampling, and discusses the main factors which affect the segmentation effect. Finally this algorithm is compared with the traditional Gibbs algorithm and simulated annealing algorithm. It is shown from the experiment that the proposed algorithm only needs a few artificial interactions to reduce the sample dimensions and decrease the optimization and convergence time, and it has the fastest convergence speed to obtain the global optimization, with high segmentation success rate and accurate result. The segmentation result provides the guarantee for the further quality analysis of solder joints.

Gibbs sampling; image segmentation; MRF; simulated annealing; SMT solder

TP391.4

A

10.3969/j.issn.1001-0548.2016.05.019

2014-12-15；

2015-04-21

河南省科技公关项目(142102210231)；

宋强(1971-)，男，博士生，副教授，主要从事计算机控制技术、图形图像和算法优化等方面的研究.