基于LBP直方图和SIFT的药品包装缺陷检测方法

陈财彪，于惠钧，张发明，吴婉，周志伟

（湖南工业大学电气与信息工程学院，湖南株洲412007）

基于LBP直方图和SIFT的药品包装缺陷检测方法

陈财彪，于惠钧，张发明，吴婉，周志伟

（湖南工业大学电气与信息工程学院，湖南株洲412007）

针对铝塑泡罩药品包装缺陷检测问题，提出了基于LBP直方图的SIFT匹配方法。先提取铝塑泡罩药品包装图像中的特征点，再计算其周围区域上的LBP直方图，最后进行特征点匹配，判断该药品包装是否有缺陷。试验结果表明，此方法与SIFT算法相比，计算速度更快，且能满足工业生产要求。

LBP直方图；SIFT；关键点；缺陷检测

0 引言

随着时代的发展，人们对健康和卫生的要求越来越高，药品作为生活中不可或缺的部分，药品的包装要求也越来越严格。铝塑泡罩药品包装是当今的主流封装形式之一，其具有轻便、安全、经济等诸多优点[1]。在药品泡罩包装过程中，通常要经过搅拌、给药、压封、切割等一系列流水作业，易出现漏装、碎片、夹杂异物等现象，而且其中过多的手工化操作，使生产车间内难以达到无菌要求，更不能通过国家药监部门的GMP生产认证。因此，如何自动发现并剔除由此产生的不合格药品产品，成为了一个重要的研究课题。

图像匹配是铝塑泡罩药品包装缺陷检测系统的一个关键环节，主要研究的是2幅图像对应像素点的匹配。随着图像匹配的必要性的增加和应用的越来越广泛，图像处理中出现的图像匹配方法种类很多，但最终的目标，都是为了提高图像匹配的实时性、准确性，匹配时的抗干扰性以及通用性。总结目前所有的研究状况，大体可将图像匹配方法分为3大类：基于灰度、基于特征和基于解释[2]。其中，基于特征的方法是现今图像匹配的主要研究与发展方向。这种匹配方法的原理是，寻找待处理图像某区域中的特征点或者关键点，在计算特征点周围的特征相似度后，进行2幅图像之间的匹配。首先提取2幅匹配图像中的某局部区域的特征点或关键点集，然后通过比对这个区域中2个点集之间的函数关系，计算出2个特征点间的相似度，以达到图像匹配的目的。基于特征的方法不是直接采纳全部的图像内容进行匹配，而是有针对性地选取局部区域的纹理特征，这样算法具有较强的抗干扰性和不变性,因此可以在计算量小的同时兼备鲁棒性高的特性。基于特征的匹配方法流程如图1所示。

图1 特征匹配方法框图Fig.1The block diagram of feature matching method

目前已经研究出的特征匹配方法中，由加拿大教授D. G. Lowe提出的SIFT（scale invariant feature transform）算法是一种用于兴趣点的检测和描述的算法。不变性是它最根本的特点。由于其计算量比较大，大大影响了现实所要求的匹配快速性[3]。因此，需要对SIFT算法进行改进。LBP（local binary patterns）算法是一种描述某像素点与周围像素点之间的大小关系的二进制描述。LBP算法具有相平移不变性，且计算简单。为满足泡罩包装检测中准确性和快速性的要求，本文提出了一种基于LBP直方图的SIFT匹配方法。

1 LBP描述

LBP是对图像局部邻域的纹理特征进行二进制描述的算子。本文以3×3邻域窗口（见图2）为例来说明其计算过程[4]：

第1步在图2a 3×3 大小的9格窗口中，将目标中心点的灰度值作为阀值，与邻域内四周8个像素点的灰度值进行比较，作二值化处理。即若邻域像素点的灰度值比中心像素点的灰度值小，则将该邻域像素点的灰度值置为0；否则置为1，如图2b所示。

第2步将邻域8个二值结果分别与图2c中2的指数次权值矩阵作乘积运算，计算结果如图2d所示。

第3步将图2d中邻域8个加权值全部相加，进行加权求和，得到的十进制数就是3×3邻域窗口的LBP特征值，即中心像素点的LBP特征值为1+2+4=7。

图2 LBP特征值的计算过程Fig.2The LBP calculation process

因为LBP特征不只是局限于3×3邻域，为了提高其表达能力，可以在以特征点为中心、半径为1的圆周上均匀地取8个点[5]，如图3所示。下面通过公式（1）说明扩展LBP特征的计算过程。假设go是中心像素点的灰度值，g1, g2, …, g8分别是邻域8个采样点的灰度值，中心像素点邻域窗口的LBP特征计算公式为

式中，函数S将gi与go的差作二值化处理[6]。

图3 P=8, R=1.0时的圆对称区域Fig.3The circularly symmetric area of P=8 and R=1.0

由于本文以药品铝塑泡罩包装为研究对象，因此取了4幅药品铝塑泡罩包装的图像，第一副是标准的模版图，第二幅是底板空洞的图像，第三幅是缺粒空亮的图像，第四幅是缺粒空暗的图像，如图4所示。

图4 铝塑泡罩包装原图Fig.4The diagram for aluminum-plastic blister packaging

当图像发生旋转时，圆形邻域各点的灰度值gi仍然以go为圆心，半径为R的圆周上运动。由式（1）可以得出，若通过S(gi-go)得到的值不是全部为0或者1，当图像旋转时，将得到不同的LBP特征值[7]。LBP直方图具有平移不变性。图4的4幅图像的LBP直方图如图5所示。

图5 LBP直方图Fig.5The LBP histogram

2 特征点提取

SIFT算法是由D. G. Lowe 提出的一种描述子，描述对象是局部区域。该算法在尺度空间的基础上，检测出图像的关键点，对图像的旋转和缩放能保持不变性[8]。

通常，某一尺度下几乎检测不到其它尺度下的特征。SIFT算子是在不同尺度空间中比较图像的灰度值来确定特征点，采用差分高斯函数D(x, y,)[9]来提取目标图像的稳定特征，其是通过对相邻层的卷积结果进行差值处理得到，表达式如下

函数G为高斯函数；

函数L为对应图像的尺度空间。

对图4中的4幅铝塑泡罩图像采用SIFT算法提取特征点，如图6所示。

图6 铝塑泡罩图像特征点Fig.6The feature points of aluminum-plastic blister image

3 特征点匹配

SIFT算子具有独特性好、信息量丰富、匹配能力强等特点。因此，基于LBP直方图的SIFT匹配算法既解决了基本LBP算子的旋转变化性问题，又减少了SIFT算子的计算量，这样可以达到互补的效果[10]。

本文通过在高斯多尺度空间中剔除极值点中不稳定的点，稳定点作为待提取的关键点[11]。之后，对关键点周围作LBP直方图描述。根据此描述，利用SIFT算法对2幅图像进行匹配。该算法流程如图7所示。

图7 算法流程图Fig.7Flow chart of the algorithm

药品铝塑泡罩包装的标准模板图与底板空泡图的匹配如图8所示。标准模板图与缺粒空亮图的匹配如图9所示。标准模板图与缺粒空暗图的匹配如图10所示。

图8 铝塑泡罩标准模板图与底板空泡图匹配Fig.8The feature matching of the blister standard template image and bottom cavitation image

图9 铝塑泡罩标准模板图与缺粒空亮图匹配Fig.9The feature matching of the blister standard template image and the lack grain light image

图10 铝塑泡罩标准模板图与缺粒空暗图匹配Fig.10The feature matching of the blister standard template and the lack grain dark image

试验数据如表1所示。

表12 种算法测试结果表Table 1Test results of two algorithms

上述试验结果表明，针对药品铝塑泡罩包装中底板空泡、缺粒空亮、缺粒空暗等一些常见的包装缺陷，本算法能准确检测出这些缺陷[12]。从表1可以看出，本方法与单纯的SIFT方法相比，标准模板图分别与底板空泡图、缺粒空亮图、缺粒空暗图进行匹配所需时间相应地节约了13%, 15%, 23%，本方法更符合工业生产中实时、快速的要求。

4 结语

药品铝塑泡罩包装具有保护药品、生产速度快、成本低、储存占用空间小、重量轻等优点，因此，多数药品都是采用铝塑泡罩包装。针对药品铝塑泡罩包装缺陷检测问题，本文提出了一种基于于LBP直方图的的SIFT匹配方法。在保证不变性的同时，在一定程度上减少了运算时间，提高了检测效率，更符合工业生产中的实际要求。

[1]刘莉，薛凡. 包装标准化影响因素实证分析：以长株潭地区包装企业为例[J]. 包装学报，2012，4(4)：50-54. Liu Li，Xue Fan. Empirical Study of Influencing Factors on Packaging Standardization：Taking Packaging Firms in Chang-Zhu-Tan District as an Example[J]. Packaging Journal，2012，4(4)：50-54.

[2]朱伯诚. 基于特征点的图像匹配算法的研究与实现[D].成都：电子科技大学，2012. Zhu Bocheng. Research and Implementation of Image Matching Algorithm Based on Feature Points[D]. Chengdu：University of Electronic Science and Technology of China，2012．

[3]李岩琪. 基于SIFT算子的双目视觉立体匹配算法研究[D]. 西安：西安电子科技大学，2010. Li Yanqi. Research on an Algorithm for Binocular Stereo Vision Image Matching Based on SIFT Operator[D]. Xi’an：University of Electronic Science and Technology of Xi’an，2010．

[4]王玮，黄非非，李见为，等. 采用LBP金字塔的人脸描述与识别[J]. 计算机辅助设计与图形学学报，2009，21(1)：94-100．Wang Wei，Huang Feifei，Li Jianwei，et al. Face Description and Recognition by LBP Pyramid[J]. Journal of Computer-Aided Design & Computer Graphics，2009，21(1)：94-100．

[5]Julsing B K. Face Recognition with Local Binary Patterns [D]. Bachelor Assignment：University of Twente，2007.

[6]Frank R. Scattered Data Interpolation：Test of Some Methods[J]. Mathematics of Computation，1982，38(157)：181-200.

[7]Ojala T，Pietik inen M，M enp T. Multiresolution Gray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence，2002，24(7)：971-987.

[8]赵立辉，杨红喆，郭栋，等. 印品检测过程中基于SIFT算法缩小匹配范围的方法[J]. 包装工程，2013(9)：104 -107. Zhao Lihui，Yang Hongzhe，Guo Dong，et al. Method to Reduce Matching Range in Print Detection Based on SIFT Algorithm[J]. Packaging Engineering，2013(9)：104-107.

[9]潘子昂. 基于SIFT算法的图像匹配研究[D]. 西安：西安电子科技大学，2012. Pan Ziang. Research of Image Matching Based on SIFT Algorithm[D]. Xi’an：Electronic and Science University of Xi’an，2012.

[10]郑永斌，黄新生，丰松江. SIFT和旋转不变LBP相结合的图像匹配算法[J]. 计算机辅助设计与图形学学报，2010，22(2)：286-292． Zheng Yongbin，Huang Xinsheng，Feng Songjiang. An Image Matching Algorithm Based on Combination of SIFT and the Rotation Invariant LBP[J]. Journal of Computer Aided Design & Computer Graphics，2010，22(2)：286-292．

[11]Gao Ke，Lin Shouxun，Zhang Yongdong，et al. Attention Model Based SIFT Keypoints Filtration for Image Retrieval// 7th IEEE/ACIS International Conference on Computer and Information Science. [S. l.]：IEEE，2008：191-196.

[12]Sirmacek B，Unsalan C. Urban-Area and Building Detection Using SIFT Keypoints and Graph Theory[J]. IEEE Transactions on Geosciences and Remote Sensing，2009. doi:10.1109/TGRS.2008.2008440.

（责任编辑：邓彬）

Pharmaceutical Packaging Defect Detection Method Based on LBP Histogram and SIFT

Chen Caibiao，Yu Huijun，Zhang Faming，Wu Wan，Zhou Zhiwei
（School of Electrical and Information Engineering，Hunan University of Technology，Zhuzhou Hunan 412007，China）

In view of the defect detection of aluminum-plastic blister drug packaging, put forward a matching method based on LBP histogram and SIFT. First, extracted the feature points in the image of aluminum-plastic blister drug packaging, and then calculated the LBP histogram of the surrounding area. Finally matched the feature points to judge if there is defect on the medicine packaging. The test results show that compared to common SIFT algorithm, the method has faster computing speed and meets the demand of industrial production.

LBP histogram；SIFT；key points；defect detection

TP391.413

A

1673-9833(2014)04-0091-05

10.3969/j.issn.1673-9833.2014.04.020

2014-05-29

湖南省科学计划基金资助项目（2012FJ4265）

陈财彪（1990-），男，湖南郴州人，湖南工业大学硕士生，主要研究方向为信息集成与协调控制，E-mail：05biao@sina.com