基于图像分析的多参数物料检测系统研究*

赵 苓，姚 静*

(1.燕山大学，河北省重型机械流体动力传输与控制实验室，河北秦皇岛 066004;2.燕山大学，先进锻压成形技术与科学教育部重点实验室，河北秦皇岛 066004)

0 引 言

传统的物流检测系统主要靠人工分选操作，在增加检测成本的同时，由于人为因素的影响，很难保证产品的检测质量和检测精度。因此，利用多传感器的物流自动检测系统应运而生。然而，目前在物流自动检测技术中应用最广泛的是条码技术和射频识别技术。虽然条码和射频技术有着信息量大、可靠性高和非接触等特点，但是当物流系统中货物具有流动随机性、标识状态的不确定性时，这些技术就产生了一定的局限，如检测货物是否出现包装损坏，损坏是否超过了合格要求时，条码和射频识别技术就无能为力了［1］。为了解决这一问题，本研究选用条码技术与图像处理技术相配合的方案，利用LabVIEW和NI Vision软件平台设计了一套基于图像分析的物料传输多参数检测系统。

LabVIEW的核心概念就是“软件即是仪器”，即虚拟仪器的概念［2－3］，它的提出彻底打破了传统仪器由厂家定义、用户无法改变的模式。虚拟仪器技术使用图形化编程语言编程，界面友好，简单易学，配套的图像处理软件包能提供丰富的图像处理与分析算法函数，极大地方便了用户，使构建图像处理与分析系统容易、灵活、程序移植性好，大大缩短了系统开发周期［4－5］，为检测系统的开发提供了一个良好的开发平台。

随着图像处理技术的发展，物料传输检测系统中一些非接触式的测量都采用图像处理的方法来实现，如袁娜等［6］针对大型散料利用双目视觉系统获取其三维形貌尺寸，经图像匹配推算出所测物料体积和重量。李国平等［7］通过双目相机的两个镜头获得图像，经过对图像的处理得到场景的深度图像，进而对应得出物体与相机的距离，提取出物料袋的深度信息。党宏社等［8］设计了基于图像和光电信息融合的传送带监测装置监测传输带上工件疏密情况，增加了系统可靠性。胡猛等人［9］利用基于颜色特征的物料识别方法对烟包解包的4种状态进行区分。所采用的图像处理技术包括图像滤波与增强、图像分割、图像识别。其中，图像增强技术包括直方图修改处理、图像平滑化处理、图像尖锐化处理;图像分割技术包括阈值法、区域生长法、分裂合并法、边缘检测等技术［10－11］。图像处理技术在目标检测、破损检测、物料分拣、工件参数识别等方面得到了广泛而成功的应用。王树才等人［12］设计了基于图像处理的禽蛋检测与分级的智能机器人系统，朱光等人［13］设计了基于图像识别的螺纹参数检测系统，裘江平等人［14］设计了基于图像处理的刀具角度测量系统，单晓杭等人［15］将图像处理技术应用到零件分拣系统中，均取得了很好的效果。图像处理在基于视觉的检测系统当中是非常关键的技术手段，因此在物料检测系统中的应用也具有广阔的前景。

本研究介绍物料传输多参数检测的硬件系统及基于LabVIEW和NI Vision［16］软件平台的软件系统的设计。该检测系统能够支持柔性物流系统的作业规划需求，能够实现物料的位置、重量、传输速度、传输量、物料尺寸以及包装是否破损等参数的检测，并以可视化的方式进行显示，同时将获得的信息传输给上层控制管理系统，便于进行决策。

1 物料传输多参数检测系统

1.1 系统设计要求

该检测系统能够支持柔性物流系统的作业规划需求，主要设计要求如下:

被检物料:货物包装箱;

物料尺寸:长10 cm～50 cm，宽10 cm～50 cm，高5 cm～30 cm;

物料重量:1 kg～60 kg;运行速度:≤1 m/s，且可调;

检测参数:位置、重量、传输速度、传输量、物料尺寸以及包装是否破损(破损面积1 cm2以上);

测量误差:≤5%。

1.2 系统设计方案

为了实现所提到的检测功能，本研究设计的物料传输多参数检测系统实验台如图1所示。该实验台组成如下:检测台中心位置设置测力称重传感器，用于测量物料的重量;检测台辊道侧上方放置条码扫描仪，自动识别物料的条码信息，并输送给整个物流系统的中心控制器;检测台上方垂直放置一个高分辨率CCD工业摄像机和一个超声波测距传感器。其中CCD用于采集货物铅锤方向投影尺寸和面积，超声波传感器用于测量货物高度。该系统通过变频器实现电机的调速，使得传输带根据要求具有不同的传输速度。系统以工控机作为控制核心，对物料图像进行处理后得到物料的位置、流向、传输速度、传输量以及物料参数。检测台各部分信号输送给工控机，通过可视化编程实现上位机对检测台的操作，检测结果在人机交互界面上进行显示。

1.3 控制系统

工控机作为控制系统的控制中心，通过数据采集卡及串口通讯实时获取现场传感器采集的数据信息，同时对其进行分析、处理。为了实现工控机对数字量、模拟量信号的输入/输出与图像信息的采集，该系统主要选用了台湾研华公司的 PCL－818L、PCLD－785、PCLD－782数据采集卡和1 394采集卡。该物料传输多参数检测系统包含:2路数字量输入信号，用于接收光电开关的状态;2路数字量输出信号，用于控制电机的启动、停止、转向;2路模拟量输入信号，用于连接称重传感器和测距传感器;1路模拟量输出信号，用于控制电机速度;1路RS－232串口信号，用于连接条码扫描仪，实现与工控机的通讯;1块1 394采集卡，用于采集CCD摄像机采集的图像信息。

图1 检测台整体设计方案图

2 基于LabVIEW和NI Vision的软件系统

图2 软件系统运行流程

物料传输多参数检测软件系统建立在LabVIEW和NI Vision平台基础之上，以实现数据的采集、分析与控制，多参数检测系统动作流程如图2所示，其中图像处理部分是整个检测系统的关键部分。在检测过程中，摄像机实时拍摄的物料图像经过图像处理之后完成物料位置检测、速度、形状、破损情况的检测。图像处理流程如图3所示。该检测系统还具有对检测结果的分析、显示与存储的功能，并且为用户提供一个简洁方便的操作界面，人机交互界面如图4所示。

图3 图像处理部分流程

图4 人机交互界面

系统人机交互界面主要分为参数设置、显示、控制3个部分。各部分功能如下:参数设置部分主要完成程序运行前初始情况的设置，如传感器调零、条码读取串口的设置等;显示部分完成各项测量参数的显示，以及实时采集图片显示和破损图片的检测;控制部分主要实现电机的启停、正反转，电机调速以及整个程序的运行。

3 图像处理算法研究

图像处理部分是整个检测系统的关键部分，图像处理结果的好坏直接关系到整个检测系统的检测精度，为了提高系统的检测性能、检测精度与检测速度，本研究综合考虑各种图像处理算法的优、缺点，将多种图像处理方法相结合，有效地提高了系统的检测效率。图像处理部分主要包括以下内容:摄像机标定、图像滤波、边缘检测、质心计算、位置检测与速度计算、物料形状、尺寸分析与破损识别。

3.1 摄像机标定

多参数检测系统需要检测物料的位置及尺寸信息，因此，摄像机的标定工作非常重要。摄像机标定工作的准确性直接影响着整个系统的检测精度。该系统所用CCD摄像机在有效视野范围内畸变不大，综合考虑检测效率，该系统选用摄像机线性标定方法对所用CCD摄像机进行标定:首先，将被检物料的图像像素坐标变换到图像平面坐标;再由图像平面坐标变换到摄像机坐标;最后，由摄像机坐标变换到绝对坐标系下，计算出像素坐标在绝对坐标下的位置。该方法为实际物料位置、传输速度、物料尺寸的准确判断提供必要条件和基础。

3.2 彩色图像二值化

多参数检测系统连续采集多张物料运动的图片并在人机交互界面的窗口中实时显示，同时通过IMAQ Color Operators函数将物料图片与背景图片做差分，从而消除图像上除货物以外的背景中的干扰因素。差分处理最主要的作用就是增强两幅图像的差异，“孤立”目标图像，从而更容易进行后续程序处理。经差分后的图片降低了背景和噪声的干扰，为后续图像处理提供了较高质量的图像信息。

图像二值化处理是将灰度图像变换成0，1取值的二值图像过程。本研究进行图像二值化，即把带有背景信息的物料图像转化到0，1两种灰度值图像。兴趣区域二值化的好坏直接影响到后面的物料信息提取的准确性与参数检测系统的精度。图像二值化处理的关键就是阈值的选定。当像素点的灰度值大于阈值时，将该点设为1;灰度值小于阈值时，将该点设为0。这样就将整幅图像转化为由0和1组成的二值图像。如果阈值选得过高，则有过多的目标点被误归为背景;反之，则会出现相反的情况。

即:

最大熵阈值法、Nilblack法、邻域均值法等方法在求取阈值时，计算量较大，算法较复杂，难以适合实时性的要求。因此，本研究选用灰度阈值选取法，通过分析红色、绿色和蓝色通道上的图像灰度值可以得出在红色通道上的背景和物料灰度差距最大，选取红色通道上阈值为T=100，二值化结果如图5(b)所示。

3.3 形态学滤波

形态学滤波在物料形状尺寸、破损情况的识别中是一门核心的技术。数学形态学是建立在数学集合理论基础之上的学科，但它又与实际密切结合。它可以利用集合函数的膨胀和腐蚀进行局部运算，实现对图像的空间滤波。形态学滤波中膨胀可以使图像中连通区域变大;腐蚀则使其变小;开操作可以去掉图像中的孤立点和毛刺;闭操作可以填充小洞和连通邻近目标。Top－Hat算子是形态学中膨胀、腐蚀等基本算子的组合，Top－Hat算子是一种极好的高通滤波算子，利用该算子，通过选择合适的结构元，就可以将需要的目标从复杂的背景中提取出来［17］。

设f(x)和b(x)是定义在二维离散空间上的两个离散函数，其中，f(x)为灰度图像，b(x)为结构元素，则膨胀、腐蚀、形态开、形态闭定义如下:

f(x)关于b(x)的膨胀和腐蚀分别定义为:

f(x)关于b(x)的形态开和形态闭分别定义为:

开Top－Hat算子定义为:

闭Top－Hat算子定义为:

Top－Hat算子根据使用开、闭运算的不同而分为Top－Hat算子和闭 Top－Hat算子。开 Top－Hat运算是原信号与开运算后的差，所以最后得到的是除掉背景后的噪声信号。可见，通过选择合适的结构元素就可将需要的目标从复杂背景中提取出来。经过形态学滤波膨胀腐蚀后的结果如图5(c)所示，用于物料形状尺寸的识别。

3.4 边缘检测

为了检测物料的形状与尺寸，首先需要对物料的轮廓边缘进行检测，在图像处理中边缘检测方法很多，经过实际验证笔者采用Canny算子进行边缘检测，效果更明显。Canny算子进行边缘检测的基本原理是:能有效地抑制噪声;必须尽量精确确定边缘的位置;根据对信噪比与定位乘积进行测度，得到最优化逼近算子，即Canny边缘检测算子。Canny［18］用泛函求导方法推导出高斯函数的一阶导数，即为该最佳边缘检测算子的最好近似，且有简便的计算方法。设G表示两维高斯函数，f表示图像;Canny边缘检测算子为:

由于事先不知道边缘的方向，取∂(G→n× f)/∂→n=0，那么边缘点是方程∂(G→n× f)/∂→n=0 的解，即∂2(G→n×f)/∂→n2=0的解。然后通过双阈值去掉伪边缘。换言之，Canny算子检测到的边缘点是高斯函数光滑后的图像的拐点。

Canny边缘检测算法的核心包括下面几个步骤［19］:

(1)用高斯滤波器平滑图像;

(2)用一阶偏导的有限差分来计算梯度的幅值和方向;

(3)对梯度幅值进行非极大值抑制;

(4)用双阈值算法检测和连接边缘。

通过检测物料的边缘信息，可以知道其形状信息和轮廓尺寸大小信息。

3.5 物料质心检测

知道物料图像的质心位置之后，通过坐标变换就可以知道物料在传送带上的相对位置以及物料的传送速度了。所谓质心，是指目标图像的灰度中心，它并不是目标的形心(几何中心)。假设目标在二维图像中的尺寸为M×N，目标在位置(i，j)的灰度值为g(i，j)，则该目标的质心(x，y)定义为:

式中:x，y—检测点图像质心坐标。

可见，质心的确定是以目标中各个位置的灰度值为依据的，它实际上相当于对目标的坐标位置进行了加权平均处理，而各个位置对应的加权值即为该点的像素灰度值。另外，由于坐标位置只能为整数，处理过程中需要根据具体情况，对加权求和的结果以得到实际存在的坐标值。经过前面处理得到提取出边缘和质心的图片如图5(d)所示。知道物料的质心后，其运动运动速度由下式得到:

3.6 破损辨识

破损检测是该检测中非常重要的检测参数，货物的破损，在有些情况下人肉眼是很容易区分出来的，然而完全由机器来辨识却不是一件容易的事情。根据被检物料的实际情况，本研究选择一种简单、实用、快速的方法来实现物料破损的辨识，即根据采集图像估计出非破损情况下的图像信息，然后用破损物料的图像信息与所估计的图像信息进行比较，得出破损形状及其位置。二值化处理以后的图片(如图5(b)所示)与经过形态学滤波处理后的背景估计图(如图5(c)所示)做差分后得到货物中的破损部分。同时人机交互面板中的破损显示按钮变红。破损检测的图片流程实例如图5所示。

图5 破损检测

3.7 数据存储

整个检测过程完成后，所得到的有效数据通过LabVIEW的数据存储功能函数Write to Text File分别写进初始化时已经用Open File函数打开的.xls Excel模板文档中，方便用户查询和使用。

4 检测系统性能测试

本研究设计的多参数物料检测系统对所提设计要求的一系列已经标定好的被检物料进行了检测，其中几种标定工件的参数如表1所示。检测结果表明，该系统满足所提检测要求:检测的物料重量范围为1 kg～60 kg;尺寸范围为:长10 cm～50 cm，宽10 cm ～50 cm，高5 cm～30 cm;最大速度不大于1 m/s;误差限定在测量范围的5%以内(长度、宽度的检测误差主要取决于边缘和质心的检测结果)，破损面积大于1 cm2。其中几组(2、4、5组)检测结果如表2所示。

表1 标定工件的参数

表2 检测结果

其中一组测量数据如下:选取第20个运送到检测台的包装箱，尺寸信息如表1(第4组)所示，检测结果如表2所示。图4的人机交互界面中显示了测量结果:长度34.9 cm、宽度21.5 cm、高度18.6 cm、体积1.4×104cm3、位数13 条码6922646102518、重量8.07 kg、传输量20，速度0.34 m/s、货物破损、红灯报警。

5 结束语

笔者研究了基于图像形态学滤波与边缘检测等图像处理算法的物料多参数检测系统，并设计了一套物料多参数检测装置。该系统以LabVIEW和NI Vision为软件开发平台，设计了用于物料传输与检测的控制与多参数检测系统，对物料在传送带上的传输速度、传输量、重量、尺寸以及包装是否破损等情况进行检测。

该系统能够支持柔性物流系统的作业规划需求，并通过友好的人机交互界面进行操作，检测结果以文档形式统一存储，非常方便用户查看。该系统运行稳定，操作简单，各参数平均测量误差在测量范围的5%以内，可检测最小破损面积为1 cm2，满足实际应用要求，大大提高了生产线的检测效率。

［1］ 张云鹤，乔晓军，张云辉，等.采用CCD摄像和图像分析技术的作物叶面积测量仪的研发［J］.仪器仪表学报，2006，27(4):345－352.

［2］ 金 锋，陈高润.虚拟仪器在气固两相流参数测量中的应用［J］.北京理工大学学报，2007，27(9):797－800.

［3］ 贺 斌，胡 静，符欲梅.基于虚拟仪器的多参量测试系统［J］.仪器仪表学报，2004，25(4):335－337.

［4］ 于子江，娄洪伟，于 晓，等.LabVIEW应用于实时图像采集及处理系统［J］.微计算机信息，2007，23(13):98－100.

［5］ 王 阳，王竹林.基于Labview的图像处理技术［J］.兵工自动化，2009，28(1):89－91.

［6］ 袁 娜，宋伟刚，姜 涛.散状物料输送机称重的图像处理方法初步研究［J］.煤矿机械，2007，28(12):59－60.

［7］ 李国平，刘华冠，李长春，等.基于机器视觉的物料袋图像深度信息的提取［J］.济南大学学报:自然科学版，2010，24(2):193－197.

［8］ 陕西科技大学.一种基于图像与光电信息融合的传送带监测装置:中国，CN201020282498.2［P］.2011－02－16.

［9］ 胡 猛，钱东海，申伟锋.基于颜色特征的物料识别方法在烟包解包中的应用［J］.工业控制计算机，2013，26(7):63－66.

［10］ 陈炳权，刘宏立，孟凡斌.数字图像处理技术的现状及其发展方向［J］.吉首大学学报，2009，30(1):63－70.

［11］ 罗焱泽，张有忱.基于图像处理的工业阀门气体泄漏监测法［J］.流体机械，2012，40(5):50－53，85.

［12］ 王树才，文友先，苏工兵.禽蛋检测与分级智能机器人系统的设计［J］.机械工程学报，2008，44(2):182－188.

［13］ 朱 光，朱学芳.基于图像识别的螺纹参数检测系统［J］.计算机与数字工程，2010，38(11):156－158.

［14］ 裘江平，鲍 敏.基于图像处理的刀具角度测量系统［J］.机电工程，2010，27(6):32－39.

［15］ 单晓杭，侯海鹏，张 利.零件分拣系统中图像处理算法研究［J］.机电工程，2010，27(5):94－97.

［16］ 李光亚.基于LabVIEW的模拟实验数据采集与处理系统开发［J］.电子测试，2008(160):52－55.

［17］ GONZALEZ R C，WOODS R E.数字图像处理［M］.2版.阮秋琦，译.北京:电子工业出版社，2007:432－444.

［18］ 徐光宝，姜东换.自适应多尺度Canny边缘检测［J］.山东建筑大学学报，2006，21(4):360－363.

［19］ 刘瑞祯，于仕琪.opencv教程［M］.北京:北京航空航天大学出版社，2009.