基于线阵相机的透明胶囊漏液检测方法研究

杨耿煌,李亮亮

(1.天津职业技术师范大学自动化与电气工程学院,天津 300222;2.天津市信息传感与智能控制重点实验室,天津 300222)

0 引言

目前,胶囊灌装工艺流程是先将乳化后的药物分子依靠压力顶至胶体磨,再通过压合方式将乳化分子灌装至胶囊外壳内。此方式压合的胶囊内部可能会出现气泡,或在胶囊压紧时出现表面缺陷或漏液等现象。传统胶囊检测漏液的方法是将按批次生产出的胶囊放在吸油纸上静止7 d,以判断吸油纸上有无油渍。若无油渍,则判定本批次胶囊合格;否则,整批胶囊淘汰。漏液胶囊只会在表面留下少量的油渍。若只用肉眼观察灯光照射时反射的光强来判断是否漏液,既不准确又效率低下。若遇到漏液的胶囊,会造成整批次胶囊的浪费。

Ldachaba F[1]等提出了利用数学建模生成液体泄漏模拟数据的想法,但需要大型训练数据来提高模型的准确型。Fahimipirehgalin M[2]等提出了使用机器视觉技术将图片进行分块提取特征,并采用最近邻算法将块分类为正常或异常,但相关算法复杂。韩亚辉[3]、毛利民[4]等对水果边缘检测的算法和思想取得了较好的测试结果。

本文基于透明胶囊漏液的检测需求,利用线阵相机高扫描频率与高分辨率的优点,结合自适应直方图均衡化(adaptive histogram equalization,AHE)和Sobel operator算法,拓展了边缘检测方法,实现了透明胶囊漏液检测[5-6]。试验分析结果表明,本文所提出的检测方法与原有检测方法相比,提高了准确率并增强了时效性,为图像处理与检测算法提出了可行性方案。

1 胶囊检测基本流程

本文提出的胶囊漏液检测方法主要包括以下步骤。

①依托线阵相机高扫描频率与高分辨率的优点,使用激光与线阵相机分别对在传送带上传送的透明胶囊同时进行照射与拍摄,并将拍摄所得的数字图像传输到计算机[7-8]。

②成像后,采用双边滤波器进行图像的分层处理。

③对于分层后的图像,使用AHE和Sobel operator算法强化图像。

④凸显透明胶囊的漏液部分,完成图像融合,并确定漏液位置。

算法构架如图1所示。

本文融合算法的主要步骤如下。

①图像用双边滤波器进行处理,以获得背景层图像。

②基于原始图像减去背景层图像,获得细节层图像。背景层图像利用AHE算法进行平滑滤波后,得到图像IAHE。细节层图像利用Sobel operator算法锐化边缘后,得到图像ISobel,以凸显漏液部分特征。

③将背景层与细节层的图像根据权重占比进行线性叠加后,得到增强图像Iout。

2 胶囊检测平台

2.1 检测平台

由于漏液部分与其他部分的反射光强不同,胶囊在成像上会存在微小的差异。通过算法处理后所体现的图像灰度会表现出明显差异。胶囊检测系统分为静态检测与动态检测这2个部分。基于第1节所述胶囊漏液检测流程特点,本文采用静态+动态的检测方式。检测平台搭建如图2所示。

图2 平台搭建示意图Fig.2 Schematic diagram of platform construction

检测平台主要由光源、线阵相机和传送带这3个部分组成。线阵相机作为核心元件,用于接收胶囊的表面信息。光源为线阵相机提供可见红光,可放大线阵相机接收的有用信息。传送带用于模拟实时工业生产情景。

2.2 静态检测

静态检测是在传送带静止情况下进行的试验。主要试验过程包括激光照射、相机拍摄、计算机算法分析。静态检测比动态检测更容易获得漏液位置,主要用于验证动态测试的结论。静态检测试验的目的是获得合适的光源、相机光圈的大小、焦距、曝光时间和增益等参数。

在光源选择上,考虑到大部分损坏的胶囊漏液量很少,且当光源接触胶囊时漏液部位和其他部位的折射与吸收光能力不明显,本文选用穿透能力较弱和能量较小的可见红光光源。

本文通过比较镜头对焦于胶囊底部与胶囊顶部时所获得的图像,选择动态检测合适的对焦位置,从而确定焦距;通过比对成像效果,调节相机的一系列参数;通过更换不同颜色的胶囊底座研究背景颜色对透明胶囊的影响,从而确定传送带颜色。

2.3 动态检测

动态检测是在传送带运转的情况下开展的试验,主要工作过程包括胶囊跟随传送带运动、激光照射、相机连续采帧和计算机算法分析。动态检测的目的是通过试验获得最佳传送带运行速度、线阵相机的线扫描速度、传送带背景颜色等参数[9-11]。

在动态检测中,胶囊的传输通过传送带运动来带动。这也是模拟工业生产过程中检测胶囊工况的重要环节。胶囊在传送带上经过机器操作会被摆成一列。线阵相机线扫描速率需要根据工程中传送带的工况设置。其重点在于获得适宜的传送带速度和相机线扫描速率。

要确保采集到的图像不被拉伸或压缩,必须遵从“横向和纵向的分辨率相等”的原则。传送带速度与线阵相机的线扫描速率的关系为:

(1)

式中:VC为线阵相机线扫描速率,Hz;HC为线阵相机的每线像素数,pixel;V0为传送带运行度,km/h;L0为透明胶囊的宽度,m。

试验结果表明,当V0=0.076 6 km/h、VC=30 Hz时,所获得的成像效果最佳。此时拍摄的胶囊图片在不失真的情况下,既可以检测到漏液位置,又可以确保传送带运行在最佳速度,从而保证胶囊工业生产的效率与质量。

为适应经济发展及教育改革的需要，国家课程方案会进行适时调整，这势必会引起各学科课程在目标、内容、难度、评价等方面的变化。其中，我国课程目标经历了从“双基”到“三维”再到“核心素养”的变化历程（如图所示）。

3 检测算法

3.1 AHE算法

AHE算法的基本思想为:对原图中每个像素计算其周围1个邻域内的直方图,并使用AHE映射得到新的像素值。对原始图像作镜像扩边处理,以便处理像素边缘的其他像素。通过计算图像每个显著区域的直方图,重新调整分布图像的亮度值,进而改善图像的局部对比度、增强图像的边缘信息,以便图像分割。

传统的直方图均衡方法在整幅图像变换时直接采用相同的直方图变换方法。该方法对于像素均匀分布的图像而言,可以取得良好效果。 AHE算法通过计算每个像素邻域的变换函数,对每个像素执行直方图增强。该算法常用于诸如航天器驾驶舱等场景的显示图像增强。其较为简单的形式为基于该像素方形邻域的直方图对每个像素进行均衡化。该方法的思想与普通的直方图增强完全相同,均基于变换函数与像素邻域的累积分布函数相称这一前提。

3.2 Sobel operator边缘检测算法

图像相减后获得的细节层图像需进行锐化滤波。本文采用Sobel operator边缘检测算法。Sobel算子属于离散型差分算子,用于计算图像亮度函数的灰度近似值。运算时,对图像中每个像集与Sobel算子矩阵进行计算,即可产生对应的灰度矢量或者法矢量。Sobel operator算法的卷积因子如图3所示。

图3 Sobel operator算法的卷积因子Fig.3 Convolution factors for Sobel operator algorithm

Sobel operator算法包含2组3×3的矩阵,分别为横向及纵向。将之与图像作平面卷积,即可分别得出横向及纵向的亮度差分近似值。相关计算式为:

(2)

式中:GX及GY矩阵中的值分别代表经横向及纵向边缘检测的图像灰度值。

图像的每个像素通过式(3)实现横向及纵向灰度值结合:

(3)

式中:G为梯度值。

如果G大于某一阈值,则认为相应的点为边缘点。本文直接采用算法默认阈值。

4 测试方法

本文通过随机选取的原始图片进行图像增强。图像增强前结果如图4所示。图4(a)为原始图像。图4(a)通过双边滤波器后得到图4(b)。图4(a)减双边滤波器处理后的图像会得到图4(c)。图4中的方框标注了漏液位置。

图4 图像增强前结果Fig.4 Results before image enhancement

将原始图像分层后,本文利用AHE算法和Sobel operator算法分别对图4(b)和图4(c)进行处理。

AHE算法可以对图像进行分块处理,划定像素邻域的像素大小。本文依次把图4(b)分为3×3、6×6、9×9的图像块,并分别进行处理。AHE算法处理结果如图5所示。

图5 AHE算法处理结果Fig.5 AHE algorithm processing results

由图5可知,当像素参数较大时,图像中隐藏的线条凸显出来,但是会引入噪声,影响整个图像效果。经过对比,本文采用像素邻域为3×3的像素块进行AHE算法处理。

本文采用Sobel operator算法对图4(c)进行处理。Sobel operator算法处理结果如图6所示.

图6 Sobel operator算法处理结果Fig.6 Sobel operator algorithm processing results

本文将平滑处理和锐化处理后的图像作合成,对图5(a)和图6(b)分配权重进行线性融合。细节层图像权重设为δ(0<δ<1),背景层权重设为1～δ。

Iout=δ×ISobel+(1-δ)×IAHE

(4)

在融合过程中,权重参数大小的设置非常重要。本文设置δ=0.2、δ=0.5、δ=0.8这3组权重参数进行融合观察。3种不同权重的融合图像如图7所示。

图7 3种不同权重的融合图像Fig.7 Fused images with 3 different weights

通过融合图像发现,随着权重增加,边缘信息越来越明显。但是,其中也引入了大量的干扰信息。综合分析之后,本文选择权重参数为δ=0.5。

5 测试结果

试验采用重复3次方式进行。试验结果量化值如表1所示。

表1 试验结果量化值Tab.1 Quantitative value of test results

试验1为对照试验,将400颗完好透明软胶囊放在吸油纸上静置7 d。试验2是在400颗透明软胶囊上随机位置扎孔,并把胶囊放在吸油纸上,以人工模拟胶囊漏液检测。试验3是先将400颗随机扎孔的透明软胶囊放在传送带上传送,同时利用激光与线阵相机进行照射与拍摄,并进行增强处理和分辨工作。试验结果表明:试验2的平均误差率约为10%;试验3的平均误差率约为1.5%。因此,本文提出的方法可以提高胶囊漏液检测的正确率和效率。

以下对本文算法的有效性进行验证。仿真试验利用Matlab2020a进行。不同增强算法效果对比如图8所示。根据图像分析可知:采用直方图均衡化(plateacess-histogram equalization,PE)算法得到的图像增强了对比度,但引入了更多噪声;Wavelet算法和Bilateral算法对微小细节增强效果不明显。

图8 不同增强算法效果对比Fig.8 Comparison of the effect of different enhancement algorithms

为了从定量角度分析各算法增强图像后的效果,本文采用了平均梯度、信息熵、标准差这3种指标对结果进行量化分析。

5.1 平均梯度

(5)

5.2 信息熵

图像在经过处理之后,需要判别其图像清晰度和图像分割效果优劣。信息熵一般用作评价融合图像信息量的1个量化标准。其定义为:

(6)

式中:L为图像灰度级别;pi为灰度值i像素占总像素比例;E为融合图像信息量,bit。

5.3 标准差

标准差反映了图像灰度相对于灰度平均值的离散情况。在某种程度上,标准差也可用于评价图像反差的大小,并反映1个数据集的离散程度。其定义为:

(7)

式中:Z(xi,yj)为第i行、第j列的像素值。

以上3个评价指标所得到的各算法增强结果量化值如表2所示。

表2 增强结果量化值Tab.2 Enhanced quantitative value of results

根据表2的客观评价标准,经过PE算法增强后的图像对比度明显提升,漏液位置也更易判断,但引入噪声干扰易引起图像失真。经过Bilatera算法处理过的图像,图像对比度得到提升,但微小细节增强不明显。经过Wavelet算法处理过的图像,对比度和微小细节都没有得到明显改善。经过本文算法处理过的图像,对比度和微小细节都得到一定程度提升。本文算法在信息熵和标准差指标上的值均最大,平均梯度值也获得明显提升。试验结果证明,本文算法对透明胶囊漏液位置检测具有明显效果。

6 结论

本文提出了1种在工程中透明胶囊检测的方法。该方法首先搭建线阵相机平台;接着利用分辨率高、扫描速度快的线阵相机采集胶囊图片,获得胶囊漏液的部位图像灰度值特征;然后采用Sobel operator算法锐化图片中胶囊的边缘、AHE算法进行图片背景的平滑滤波;最后获得线性相加融合图像。试验结果证明了利用线阵相机检测透明胶囊漏液的可行性和实用性。本文研究为实现胶囊生产线实时在线检测提供了可靠方法和数据支撑。