基于改进ENet算法的工业皮带输送中的异物检测方法

连博博，臧蒙特，傅贤君，林忠晨

（浙江安防职业技术学院，浙江温州 325016）

1 背景

在工业生产过程中，物料输送是一个很重要的环节，而皮带运输机就是一个常用的运输装置，应用于煤矿、发电、采矿、冶金、石油化工等领域。在皮带输送物料的过程中，可能会存在携带异物的情况，如坚硬的金属、石头、塑料、玻璃等。异物的存在会对生产设备和生产的产品造成损害和污染，甚至会引发安全事故，因此对皮带输送过程中的异物进行及时、准确、有效的检测非常重要[1]。

机械化的生产带动了工业生产率的迅速提高，也对生产过程中的异物检测效率带来了考验，由于机器视觉技术的迅速发展，产生了多种采用机器视觉技术的自动化监测手段[2]。以往的异物检查技术大多通过人工视觉或计算机视觉检查，目前理论部分比较成熟，有着大量的研究成果[3-4]。但这些方法存在检测效率低、误检、漏检率高等问题。近年来，深度学习的快速发展使其在缺陷检测领域的应用越来越广泛。深度学习在提取图像特征方面表现得非常强大，可以实现异物的自动检测、定位和分级，极大地提高了检测效果和精确度，同时也减少了研究人员成本[5]。Yu等人[6]使用两个FCN 语义分割网络来检测异物。卢等人[7]基于图像重建技术实现异物检测。Mei S等[8]还提供了一个多尺度卷积的去噪自编码器，用于异常测量。另外一些方法通过目标探测方法进行异物的探测[9-10]。不过，在工业生产中的杂质检出领域，目前的这些检验方法的检验结果还是不完美。为此，该研究采用了ENet[11]技术作为主干系统，通过融合了注意力机制等多维度的信息融合方法，有效提高了在皮带运输中的异物探测准确性和有效性。

2 皮带输送中的异物检测方法

产品的实际制造流程中，皮带传输是持续进行的，必须注意光线变化造成皮带图像的对比度不同。同时，在皮带传输图像画面中出现非皮带的背景区域，对实际的异物检测工作也会造成一定影响。所以，通过去除背景区域和进行对图像中的光照归一化操作，可以很有效地降低了图像处理中的噪声影响。下面图1是具体的研究方法。

图1 皮带运输中的异物检查方法流程图

2.1 提取皮带区域

在皮带输送图像中，通常包含一些背景信息，如图2所示(左)。这些背景信息可能会干扰到异物检测的准确性。为了减少背景干扰，可以利用透视变换方法将皮带区域从图像中提取出来。

图2 皮带输送中图像画面

透视变换是一个基于仿射变换的图像处理技术，它能够通过调节图形中四个焦点的相对位置，把一个平面投射到另一个平面上。在皮带输送图像中，通过透视变换能够把皮带区域由一种斜视的角度转换成一个平面角度，从而降低对背景信息的影响。

皮带在输送过程中位置是固定的，而且摄像头的视角也是固定的，这就保证了输送视频画面的稳定性。因此可以通过人工标注的方法来确定皮带区域的四个关键点，如图2(左)中用线条框出的多边形区域。然后利用OpenCV 等图像处理库中的透视变换函数，将原始图像中的皮带区域转换为一个新的图像。去除背景区域后的皮带输送图像如图2(右)所示。通过图2可以看到，透视变换减少了图像中的背景信息，可以进一步提高异物检测的准确性。

2.2 光照归一化

在进行皮带区域的异物检测之前，还需要对皮带区域图像执行进一步的预处理操作，其中包括高斯滤波和光照归一化操作。

高斯滤波是一种常用的图像滤波技术，其可以消除图像中的噪声和干扰，提高图像的质量和清晰度。在对皮带图像的预处理方法中，首先使用高斯滤波对图像进行了平滑化处理过程，去除了图像中的高频噪声和纹理，以此进一步提高了图像的结构特性，并便于后期的异物检测。之后采用光线归一化技术，减少画面中的光线波动和阴影的干涉影响，增强画面的亮度和对比度。光照的归一化主要使用的直方图均衡化方法。

之后，对皮带图像中的异物进行标注，以便后续模型的训练与评估。标注的图像如图3所示，可将图像标注为二个类别，即背景区域和异物。

图3 预处理后的图像标注结果（左：原始图像，右：标注图像）

2.3 改进ENet网络

ENet(Efficient Neural Network)是一种用于像素级语义图形分割技术的网络，与SegNet、UNet 等网络相比，模型较小计算速度高效，被广泛应用于实时图像分割任务[12]。为了进一步提高ENet模型的分割效果，对ENet的解码器结构进行调整，主要调整地方如下：

1）ENet中的编码器共运行了三次下采样步骤，图像下采样虽然能够提高对卷积核的感受野，不过也很容易造成信息数据的流失。为了降低对图形信息的损失，在解码器中引入了跳跃连接结构，将在编码器状态下采集的特征图像和解码器中对应尺度下的特征图像结合。

2）对ENet的解码器结构,采用了多尺度的特征融合方式。多尺度特征融合主要对编码器中的特征进行反卷积缩放，然后对缩放后的特征进行合并。

3）ENet网络在编码器部分主要使用扩张卷积，用于增加感受野。在此基础上，对不同扩张率的卷积进行融合。

4）ENet中的卷积模块主要使用的是残差结构，在每个残差结构中引入SENet[13]中的注意力机制模型，如图4所示。

图4 ENet残差结构中引入的注意力机制模块

修改后的网络结构如图5显示，通过输入一张皮带输送图像，即可得到网络输出的异物分割结果。

图5 改进的ENet网络结构示意图

3 实验结果

3.1 数据集

神经网络的训练需要大量的训练样本，由于没有现成的数据集可供使用，故选择前往工厂获取皮带输送的视频数据，由于视频数据比较大，首先对数据进行采样和剪辑，选择一些典型的场景和时间段进行处理。随后，使用Python 的OpenCV 库对视频数据进行视频帧的获取、处理和标注。最终，共得到了一千个实验图片，画面分辨率也统一为640×640分辨率。从中随机选取了八百张作为训练样本，将剩下的二百张作为试验样本，用于检验和评价训练模型的有效性。在训练中，通过旋转、平移、镜像变换等操作对图像进行扩增处理。

3.2 实验结果与讨论

本文使用的改进ENet 网络模型是基于Python 中的深度学习框架PyTorch 实现，实验使用的硬件环境如下：运行系统为Ubuntu18.04,Intel Core i9-7940X 3.10GHz CPU,内存为64G，显存为8G，显卡型号为GeForce RTX 2080。

模型训练参数设置如下：总共为100个Epoch，学习率初始设置为0.001，并随着训练次数的增加而衰减。使用交叉熵损失函数，并通过Adam 优化器优化模型的训练。模型训练过程的损失下降曲线如图6所示。可以看到，本文提出的改进ENet模型有更快的收敛速度，同时取得了更小的损失值。这里主要有两方面原因：一方面是修改后的ENet模型能更好地关注图像的细节信息；另一方面在训练改进ENet 模型时，提前对编码器进行分类训练，即用有异物和没有异物的皮带图像进行二分类训练，并用训练好的参数对网络初始化。

图6 训练在验证集上的损失下降曲线

图7 中展示了皮带输送图像中的异物检测结果，其中(a)(b)两幅图像是ENet 网络的分割结果，(c)(d)两幅图像是改进后的网络分割结果。通过对比上下两行的结果图可以看出，改进后的模型对异物的分割结果更加精细，视觉上更加精准。

图7 实验结果

为了进一步量化模型的性能，采用了两种最常见的语义分割度量方法[14]，一种方法为像素级的分割精度，简称为MPA；另一个是平均交并比，记为MIoU。两个指标的范围均为[0,1]，且值越大越能说明分割效果越好。表1中记录了不同的模型在200张测试集上的度量结果和模型在单张图像上的推理时间。可以看到，本文改进的模型时间上有所增加，但是取得了更好的分割效果。

表1 分割度量结果和运行时间对比

4 结束语

本文提出了一种基于改进ENet 模型的工业皮带输送中的异物检测方法。采用了透视变换、高斯滤波和光照归一化等的预处理技术，能够提取出清晰、对比度高的皮带图像，并在此基础上进行异物检测。实验结果表明，改进ENet模型在皮带异物检测任务上取得了较好的性能，能够更好地处理光照和背景干扰等问题，并且能够实现实时异物检测。

同时，本文还构建了一个包含多种异物类型的数据集。总之，本文提出的改进ENet模型为工业自动化生产中的异物检测问题提供了一种有效的解决方案。未来还可以进一步探索其他深度学习模型和技术，以提高异物检测的准确性和效率。