瓶装食用油异物检测算法

董 蓉，纪娟娟

(1.南通大学 电子信息学院，江苏 南通 226019； 2.安庆师范学院 物理与电气工程学院，安徽 安庆 246133)

瓶装食用油异物检测算法

董 蓉1，纪娟娟2

(1.南通大学 电子信息学院，江苏 南通 226019； 2.安庆师范学院 物理与电气工程学院，安徽 安庆 246133)

现有的基于旋转-急停平台上序列图像分析的瓶装液体异物检测方法不适用于食用油生产线。文章提出一种基于单帧图像的瓶装食用油异物检测算法。首先利用均值漂移算法实现食用油的彩色图像分割，提取油体兴趣域；其次，利用积分图像快速估计油体区域的光强分布，并对甁壁高光、暗黑背景造成的干扰进行光强误差校正；最后结合异物区域相较油体区域偏暗的准则实现异物检测。在实际生产线上的实验表明，所提算法能够自适应瓶身以及瓶间不同的光照变化，检测正确率高。

异物检测；均值漂移；图像分割；积分图像

瓶装液体如药液、酒饮、食用油等生产过程中的质量控制十分重要。瓶装液体出厂之前，均需经过人工灯检瓶内有无异物，由操作工轮班值岗，紧盯灯检平台上经过的产品，灯光刺激影响工人身体健康，视觉疲劳极易导致漏检。在工业化大规模高速高效生产的背景下，国内外研究者试图通过机器视觉替代人眼视觉解决人工灯检成本高、效率低的问题，利用高速工业相机拍摄瓶装液体图像，通过各种图像分析算法检测异物。背景减除法是常用的一种异物初检方法，减除背景后往往采用卡尔曼滤波跟踪[1]或Meanshift跟踪[2]来进一步识别异物；也有研究者利用帧差法初检异物，并结合其他方法进行精确定位，如Liu[3]结合模糊C均值和模糊SVM精确定位异物；秦垚等人[4]利用图像的绝对差分值、局部差分对比度、局部相关系数3个特征分别构建3个级联的分类器来进一步判定异物，随后为解决帧差法中的液面噪声干扰，又提出先分割出液面区域[5]，杨双等人[6]将概率加权阈值分割引入到帧差法中以去除噪声；张辉等人[7]通过2维最大熵阈值分割图像定位异物；Ge等人[8]利用脉冲耦合神经网络分割异物；不同于以上方法，文献[9-11]采用光阻法检测瓶内异物，利用异物的消光效应，通过分析光电传感器上接收到的光强变化信号来识别异物。

但是，不管是摄像法中的背景减除或帧差，还是光阻法，均需利用持续一段时间的图像序列或者光强信号方可进行检测，因此要求事先搭建高速旋转的机械平台，让待检瓶体旋转-急停再采集信号。这种方式适用于尺寸较小的瓶装液体，如安瓿瓶、啤酒瓶等，而瓶装食用油体积较大，旋转-急停方式不合适，另外，在已建好的食用油生产线上往往难以再插入旋转急停机械平台，为此，本文提出一种针对瓶装食用油的异物检测算法，仅利用单帧图像进行分析，通过基于mean-shift彩图分割的兴趣域提取、基于积分图像的异物检测、光强误差校正等环节实现油瓶内异物的快速有效检测。

1 异物检测算法

异物检测的硬件设置如图1所示，在生产线走向的垂直方向搭设检测平台，采用两块平面光源背光照明，对经过的油瓶逐一拍照检测。由于食用油刚刚灌入瓶内时会产生较多气泡，气泡散射光线将掩盖住透明油体背后的杂乱背景以及油瓶标签，为基于单帧图像的异物检测提供便利。

图1 系统硬件设置示意

1.1 兴趣域提取

由于生产线车间中会有工人走动以及其他背景干扰，因此需先提取油体兴趣域再检测。由于油瓶占据整幅图像的大半部分，油体颜色分布较为集中，如图2(a)所示，因此采用基于mean-shift(均值漂移)的图像分割算法。

用(x,y,c1,c2,c3)=(Xs,Xr)5维特征向量描述每个像素点，(x,y)为空间坐标，(c1，c2，c3)为色彩特征，对彩色图像进行分割，实际上是寻找分别在空间((Δx)2+(Δy)2<(ds)2)上和色彩((Δc1)2+(Δc2)2+(Δc3)2<(dr)2)上都符合邻近规则的像素的集合，ds、dr分别为空间和色彩域中控制分割结果精细程度的阈值。Mean-shift分割的基本思想是，在整幅图像的特征数据空间中计算核密度分布的极值点，用极值点的色彩值替代符合邻近规则的像素的色彩值，从而形成各个分割区。

给定d维空间的n个数据点Xi，i=1,2,…，n，利用核函数K(X)对点X处的核密度估计为

其中h为带宽参数，ck,d为归一化系数，k(x)为核轮廓函数，通常选择k(x)=exp(-0.5x)，x≥0产生高斯核。通过mean-shift向量的迭代运算可迅速获得该密度分布极值点：

1)对初始位置X0，计算其mean-shift向量M(X0)：

其中g(x)=-k′(x)。

2) 估计下一位置：X1=X0+M(X0)。

3) 如果|X1-X0|<ε，则说明已找到极值点，否则返回1)，继续迭代。

对于彩色图像分割，由于特征数据包含空间和色彩两种不同性质的信息，因此，采用两个具有独立带宽参数的核函数乘积形式的多变量核：

2)将Zi中空域距离小于ds，色彩域距离小于dr的像素分为一组，实现分割。

分割结束后，选择分割结果中面积最大的连通域作为候选油体，如图2(b)所示。为了避免由于噪声、高光、阴影等干扰导致的候选油体空洞，对候选油体再进行形态学操作，获得最终的油体兴趣域，如图2(c)所示。

1.2 异物检测

油体内气泡分布往往不均匀，导致同一油瓶内不同区域亮度变化较大，另外，不同的油瓶中气泡数量不同，导致不同的油瓶成像后亮度水平不等，因此算法必须具有光照自适应性。考虑到异物将阻挡光线通过而使得异物区域亮度明显低于周围油体亮度，因此通过估计局部区域的光照亮度来进行异物检测。生产线上油瓶移动较快，为保证算法实时性，采用积分图像法来提高算法速度。

对图像G(x,y)，它的积分图I(x,y)定义为

积分图可以用下式所示迭代算法快速获得：

I(x,y)=I(x-1,y)+I(x,y-1)-

I(x-1,y-1)+G(x,y)

(1)

对图像G(x,y)，其中任意矩形区域D的像素积分可由积分图快速计算，设矩形区域D从左上角顶点开始顺时针方向的4个顶点依次为(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，则D区域的积分R(D)如下式计算：

R(D)=I(x3,y3)-I(x2,y2)-

I(x4,y4)+I(x1,y1)。

由上式可见，若区域D尺寸为M×N，则正常情况下需要M×(N-1)次加法运算的积分操作，而采用积分图加速后仅需3次加法运算，可极大提高处理速度。

基于积分图像的异物检测的具体步骤为，

1)根据(1)式求取G(x,y)的积分图I(x,y)；

2)对任意点(x,y)求取其局部光照强度E(x,y)，利用以点(x,y)为中心的大小为dw×dh的窗口区域内的像素积分求取E(x,y)：

(2)

3)如果该像素点亮度G(x,y)与局部光照强度E(x,y)满足E(x,y)-G(x,y)>Gth，其中Gth为阈值，则判定点(x,y)为异物点。

1.3 光照误差校正

利用(2)式求取局部光照强度时，油瓶边缘处的估计值会受到暗黑背景和边缘高光的影响，导致靠近边缘处的光强估计偏弱或偏强，为此，需对边缘光照进行校正。考虑到提取油体兴趣域时，暗黑背景和边缘高光都被排除在兴趣域之外，设兴趣域二值图为F(x,y)，T[·]表示求积分图运算，令H(x,y)=T[F(x,y)]，I′(x,y)=T[G(x,y)F(x,y)]，光照强度校正为

2 实验及分析

在实际食用油生产线上运行所提算法，运行平台配置为Window 7系统，Visual Studio 2013软件，intel i5 CPU，4 G内存。摄像机采集图像大小为2 448×2 050，算法相关参数配置为dw=dh=30，Gth=30，mean-shift分割的空间阈值ds=10，色彩阈值dr=15。

图3为采集的原始油瓶图像，图4为利用mean-shift分割算法提取的兴趣域，图5为利用积分图像所估计的局部光照强度图E(x,y)，图6为本文所提算法检测结果，为便于观察，结果图中将油体区域显示为黑色，异物和周围环境显示为白色，异物轮廓用灰色线条勾出。图7、图8为利用Opencv中OTSU算法和自适应高斯均值法获得的检测结果。

由图3可见，同一油瓶内光强分布的变化十分明显，上下两端较暗，左右两端较亮，不同的油瓶，光强分布也明显不同，因此如果采用统一阈值法进行异物分割必导致很多误检或漏检。由图5可见，积分图算法对不同油瓶不同区域的光强可以进行快速有效的估计，相当于获得自适应的异物分割阈值。由图6可见，本文所提算法能够准确定位瓶中异物。生产线上测试结果表明，所提算法误检率约2%，漏检率约5%。由图7、图8可见，OTSU算法和高斯均值法虽然也采用了自适应阈值，但是OTSU对不均匀光照的适应性不够，在瓶底产生较多误检，而自适应高斯均值法适用于细长目标，对较宽较大目标容易漏检。

图3 待检油瓶图像

3 结论

文章提出一种针对瓶装食用油异物的自动检测算法。不同于现有技术中利用旋转-急停方式获取序列图像来检测瓶装液体中的异物，文章仅利用单帧图像进行分析，通过mean-shift彩色图像分割获得油体兴趣域，采用积分图像快速估计油瓶不均匀光照，在此基础上识别异物。该算法能够自适应于不同油瓶的不统一光照以及同一油瓶上的不均匀光照，相较于其他自适应检测算法，检测正确率更高。

[1]邱新华, 谢云. 卡尔曼滤波的安瓿针剂杂质检测算法研究[J]. 计算机仿真, 2014, 31(1): 220-223.

[2]王美珍, 王玲, 赵文娴. 医药大输液中可见微小异物检测方法研究[J]. 计算机工程与应用, 2012, 48(34): 190-194.

[3]H. J. Liu. A novel vision based inspector with light [J]. Applied Mechanics and Materials, 2013, 268: 1916-1921.

[4]秦垚, 王伯雄, 李伟. 应用级联分类器检测安瓿内弱小运动目标[J]. 光学精密工程, 2012, 20(1): 190-196.

[5]秦垚, 王伯雄, 李伟. 基于液面分割的安瓿内漂浮小目标检测算法[J]. 清华大学学报(自然科学版), 2012, 52(1): 21-24.

[6]杨双, 王耀南. 高速医药生产线上安瓿溶液异物在线检测与跟踪方法[J]. 仪器仪表学报, 2011, 32(3):488-494.

[7]张辉, 王耀南, 周博文. 基于机器视觉的保健酒可见异物检测系统研究与开发[J]. 仪器仪表学报, 2009, 20(5): 973-979.

[8]J. Ge, Y. N. Wang, B. W. Zhou. Intelligent foreign particle inspection machine for injection liquid examination based on modified pulse-coupled neural networks [J]. Sensors, 2009, 9: 3386-3404.

[9]梁明亮, 黄梅珍, 孙振华, 等. 基于光阻法的药液中异物信号分析及光路优化[J]. 上海交通大学学报, 2014, 48(10): 1357-1361.

[10]曾涛, 黄梅珍, 梁明亮, 等. 安瓿瓶内杂质检测的信号处理方法[J]. 上海交通大学学报, 2013, 47(6): 998-1002.

[11]王馥宇, 黄梅珍, 曾涛, 等. 针剂中异物的光电检测方法研究[J]. 光子学报, 2012, 41(3): 375-378.

Impurity Detection Algorithm for Bottles Filled with Edible Oil

DONG Rong1, JI Juan-juan2

(1.School of Electronics and Information, Nantong University, Nantong 226019, China；2.School of Physics and Electronic Engineering, Anqing Teachers College, Anqing 246133, China)

Existing impurity detection algorithm based on analysis of sequencial images captured from rotating-scramimg platform for bottles filled with liquid is not applicable for edible oil production lines. In this paper, an impurity detection algorithm for bottles filled with edible oil using a single image is proposed. First of all, mean-shift algorithm is used to segment the edible oil image, and region of interest is extracted. Secondly, the illumination distribution is fast estimated using integral image technique, and interference errors caused by highlights at the walls of the bottles and dark backgrounds are corrected. Finally, impurities are detected based on the principle that the image areas of foreign substances are darker than the oil regions. Experiments on the factual production lines show that the presented algorithm is adaptive to illuminant variations on the same bottle or between different bottles, and has high detection accuracy.

impurity detection, mean-shift, image segmentation, integral image

2015-09-16

国家自然科学基金(61401239)和南通市应用研究计划项目(BK2014066)。

董蓉，女，江苏南京人，博士生，南通大学电子信息学院讲师，主要研究方向为计算机视觉、视频图像处理；纪娟娟，女，安徽毫州人，博士，安庆师范学院物理与电气工程学院讲师，主要研究方向为信号处理。

时间：2016-1-5 13:01 网络出版地址：http://www.cnki.net/kcms/detail/34.1150.N.20160105.1301.015.html

TN911.73

A

1007-4260(2015)04-0061-04

10.13757/j.cnki.cn34-1150/n.2015.04.015