基于机器视觉的残缺饼干分拣系统开发

程子华

（广州市机电技师学院，广东 广州 510430）

分拣残缺品是饼干生产和包装过程的重要环节。目前大部分食品企业都采用人工分拣，尤其是中小企业。人工分拣不仅具有劳动强度大的特点，而且容易造成食品二次污染[1]。在人力成本剧增和食品卫生要求日趋严格的今天，饼干生产企业迫切需求采用自动化设备对饼干进行分拣。目前自动化程度比较高的饼干分拣设备是针对合格品进行抓取的，这是由于饼干合格品的识别算法简单，但这种方式存在分拣机器人抓取工作量大的缺点，严重制约着饼干分拣效率。要提高饼干分拣效率，就必须增加饼干分拣机器人数量，这必然会导致企业分拣机器人设备投入和日常维护成本升高，进而造成饼干生产成本增加；或者降低分拣输送带速度，降低分拣效率。

如果能把残缺品分拣出来，分拣机器人抓取饼干的数量就会大大减少，输送带运行速度就能大幅提升，从而提高了生产效率。但由于残缺品没有规律的形状参数，大小形状各异，而且处于识别区分界线上的饼干由于只能拍到部分，会被系统误认为是残缺品，因此识别残缺品的算法比识别合格品的算法复杂很多[2]。本文针对目前市场上分拣方式存在的问题，提出基于机器视觉的三次拍照对比法识别残缺饼干并进行分拣的方案。此方案原理是采用工业相机对匀速运行的输送带上的饼干按设定的时间间隔进行拍照[3]，每块饼干在识别区内至少拍三次（每次拍照得到饼干的中心坐标和半径），然后通过三次中心坐标变化判别是否为同一块饼干；确定为同一块饼干后，再把饼干的半径和标准饼干半径比较，判断是否属于残缺品；如果是残缺品，再把残缺品饼干的中心坐标位置传给并联机器人，机器人对残缺品进行追踪拾取，从而完成分拣[4]。

1 系统构成

1.1 电气控制系统构成

残缺饼干分拣系统包括带用于视觉处理和监控的PC机（安装Labview）、三轴并联机器人、输送带、变频器、PLC控制器、工业相机等，电气控制系统构成如图1所示。

PC机上安装的Labview软件是一个标准的数据采集和仪器控制软件，是采用图形化编辑语言编写程序，它是该系统运算的核心。工业相机按照设定的频率对输送带上的饼干进行拍照，然后通过Labview中的Vision Assistant进行图像处理以获取输送带上各饼干的图像信息，再通过Labview程序运算识别是否为残缺品，当获取的图像数据与标准饼干的视觉参数不同时，判别为残缺品，并将残缺品的中心坐标发送至并联机器人进行拾取。

文中采用三轴并联机器人作为系统的执行机构，用于拾取输送带上的残缺饼干，它具有重量轻、速度快、动态响应好、运行时无累积误差等特点，应用于高速分拣系统；外围辅助设备和变频器采用 PLC控制，输送带运行速度采用变频器控制；各设备均连接到交换机上，进行数据交换；Labview和PLC、三轴并联机器人采用OPC UA的方式进行通讯[5]。

1.2 拍照抓取系统构成

生产出的饼干随机分布在匀速运行的输送带上，三轴并联机器人和工业相机设置在输送带上方，三轴并联机器人位于工业相机前方（输送带运行方向）。工业相机拍照范围定义为视觉识别区，其于识别区的大小、镜头的参数和镜头安装高度有关；定义三轴并联机器人正常抓取的范围为抓取区，不能正常抓取的范围定义为放弃区，三轴并联机器人须在抓取区完成残缺品的抓取，拍照抓取机构示意图如图2所示。

2 三次拍照对比识别原理

2.1 识别特征参数的选择

在视觉识别中，可以选择某一或多个特征参数进行识别，如被识别物体的颜色、外形轮廓、面积、半径等参数以及它们的组合参数。不同的工艺要求，选择的特征参数不尽相同，如饼干出炉后，如果要把烤糊的饼干筛选出来，可选择饼干颜色为识别特征参数，当识别的饼干颜色特征与标准饼干颜色特征相同或相近时，为合格品，否则为不合格品。由于残缺饼干和正常饼干颜色上没有明显的区别，不能选择颜色作为特征参数；同时由于残缺品形状多种多样，没有固定的外形轮廓，外形轮廓也难于作为特征参数。考虑到破损饼干形状各异，它的的面积和半径比合格品要小，因此本文选用饼干内接圆的面积和半径作为特征参数，当r＜R时，被识别为残缺品，并输出内接圆的圆心坐标给机器人，然后机器人根据破损饼干坐标和输送带速度进行计算，实施追踪抓取。

2.2 拍照间隔时间t的确定

工业相机按规定的时间间隔t对输送带识别区上的饼干进行拍照，每一次拍照时都会有部分饼干处于识别区分界线上，处于识别区分界线上的饼干由于只能拍到部分，会被系统误认为是残缺品[6]，如图3所示。第一次拍摄时，某饼干（绿色）拍照刚好处于识别分界线A1位置，识别中心坐标（x1，y1）和半径r1，此时只有部分被拍到，r1＜R，如果只根据该次拍照所得数据会被判断为残缺品；间隔时间t后，当饼干运行到A2位置进行第二次拍照，获得饼干中心坐标（x2，y2）和半径r2，此次所获的数据r2＜R，被识别为合格品，但是在X方向偏移的坐标x2-x1≠tv，此时不能判别第二次拍照处于 A2位置那块饼干的数据和第一次拍照A1位置那块饼干的数据是同一块饼干；间隔时间2t后，饼干运行到A3进行第三次拍照，获得中心坐标（x3，y3）和半径r3，r3≥R，x3-x2=tv，在 X 轴方向坐标偏移等于输送带上饼干在t时间的位移，因此A3位置的饼干和A2位置的饼干可以判断为同一块饼干，并识别为合格品，即同一块饼干有两次被识别为合格品，则可以判别为合格品，如果两次都为残缺品，则可以判别为残缺品。

因此在识别区内，为了处理处于识别区分界线上的饼干需要拍照三次，才能完整判断，三次拍照完成后，输出残缺品的中心坐标，然后对所有数据清零，再进行下一轮的三次拍照，如此循环进行。但是由于输送带是连续不停运行，有的饼干在上一轮可能只被拍照了2次，没有结果输出，数据就被清零，所以必须进入第二轮的3次拍照，因此对这些饼干，在识别区就要被拍照到5次，拍照的时间间隔t的运算如下式：

式中：

v-输送带匀速运行速度，mm/s；

L-在输送带运行方向镜头拍摄范围长度，mm；

R-标准饼干半径，mm。

因此，两次拍照间隔时间输送带行进距离最小为饼干的直径，最大为识别区的五分之一。

2.3 残缺品识别半径的确定

在本文中，以识别品饼干的面积和半径作为识别特征参数。由于面积和半径是存在关联的，所以只需确定半径即可。在视觉识别阈值调整中，测量良品的半径作为标准值，考虑到有些轻微的残缺也作为合格品，文中将合格品半径值设定为标准饼干半径的95%。

当任一个饼干半径r≥R时，判断为合格品；否则，判断为残缺品，并输出残缺品中心位置坐标给机器人[7]，然后机器人开始运行追踪抓取程序。但当被识别到的残缺品小于机器人启动吸盘半径r0时，机器人无法实现抓取，因此三联并联机器人抓取残缺品的半径范围要求是r0＜r＜R，小于吸盘半径的小碎片在下一个环节通过筛孔滤除。

2.4 饼干粘连误识别处理方法

在输送带上的饼干，由于紧密排布，很多饼干会粘连在一起，如图4所示左侧图像中2个饼干粘连在一起，如果系统直接进行识别，会被当成一个整体进行处理，得到的图像半径大于标准值，被判断为良品，出现误判。所以在设置识别区域时，要对图像边缘进行“腐蚀”处理，减小识别范围，腐蚀后粘连在一起的图像就被分开，这就解决了粘连在一起被误判的问题。

3 系统程序设计

系统程序包含Labview图像处理程序[8]、OPC UA通信控制程序、PLC控制程序、机器人控制程序四部分，程序构架如图5所示。

Labview图像处理程序是核心部分，用于运算输出残缺饼干位置坐标给机器人，包含图像处理、运算处理、监控界面三部分[9，10]，控制流程如图6所示。

PLC控制输送带、机器人、传感器等辅助机构。Labview和PLC间的通信通过OPC UA协议实现[11]，其中OPC是用于过程控制的OLE，是一个工业标准，它提供了数据源采集数据的方法，并使用这种标准方法和任何不同客户端应用程序进行数据通信，使得OPC服务器能够使系统中的设备和软件应用程序直接进行通信。基于OPC UA协议，Labview将输出的残缺饼干位置坐标发送给PLC，PLC通过profnet协议将破损饼干坐标位置发至并联机器人，实施追踪、抓取，PLC控制的执行机构运动的数据和状态适时反馈至Labview[12]，并在屏幕上显示出来，如图7所示。

4 实验验证与讨论

4.1 实验材料与设备

实验材料：直径60 mm、厚度2 mm的圆形饼干。实验设备：PC机（Win10系统，I5CPU，内存16 GB，联想），视觉软件（Labview 2019，NI）；PLC（S7-1214DC/DC/DC，SIEMENS），机器人（M-3iA/6S，FANUC）；变频器（G120，SINAMICS），工业相机（ACA1600-60GM，Basler）。

4.2 程序验证

为验证程序运行效果，在光照460 Lux，输送带速度16 mm/s，图像分辨率1600×1200条件下，进行多组实验，每组三次拍照。其中四组实验拍照如图8所示，输出的残缺饼干位置坐标如图9所示。

四组实验实际残缺饼干数量分别3、7、5、7，由图8可知，程序能正确识别残缺饼干数量，并能准确输出残缺饼干位置坐标，验证了程序的准确性。

4.3 实验讨论

4.3.1 镜头安装高度对识别准确率的影响

在光照460 Lux，输送带速度16 mm/s，图像分辨率1600×1200条件下，调整镜头高度分别为330 mm、410 mm、550 mm、650 mm、690 mm，进行拍照识别。实验发现镜头安装高度对识别准确率影响较小。当镜头高度发生变化时，可通过调整视觉阈值，实现准确识别。但镜头高度对可识别最小半径和识别范围存在直接关系，高度越高，可识别宽度越大，即允许输送带宽度越大，但可识别残缺饼干最小半径也相应增大，线性关系如图10、11所示。

4.3.2 输送带运行速度对识别准确率的影响

在光照460 Lux，镜头高度600 mm，图像分辨率1600×1200和800×600条件下，设置输送带运行速度分别为10、13、16、19、22、25 mm/s，进行拍照识别。输送带运行速度越快，生产效率越高，但当速度达到19 mm/s后，拍照质量变差，识别准确率直线下降，实验结果如图12所示。由图12同时可知，当PC配置受限的情况下，可通过降低图像分辨率，在一定程度上提高识别准确率。

4.3.3 光照对识别准确率的影响

在镜头高度600 mm，输送带速度16 mm/s，图像分辨率1600×1200条件下，调节光照分别为100、200、300，400、500、600 Lux，进行拍照识别。由图13可知，随着光照强度的增加，识别准确率逐步增高，当照度达到400 Lux后，识别准确率达100%。

5 结束语

本文基于机器视觉技术，提出三次拍照对比识别残缺饼干的解决方案，解决了拍照区域边缘位置因饼干只有部分被拍到会被识别为残缺品和部分饼干粘连导致误识别等问题，实验验证结果充分证实了程序的有效性和准确性，成功解决了抓取合格饼干工作量大的问题。同时实验研究发现，通过调整程序阈值，可实现不同镜头高度下准确识别破损饼干，镜头高度对准确率影响较小；镜头安装越高，可识别宽度越大，即允许的输送带宽度越大，但可识别残缺饼干的最小半径也相应增大；输送带运行速度越快，生产效率越高，但当速度达到一定值后，拍照质量变差，识别准确率直线下降；光照越强，识别准确率越高，当达到一定值后，识别准确率达100%。