基于YOLOv5和DeepSORT的金刚石锯丝磨损监测

袁俊涛　赵礼刚　秦齐　王天旭　刘志强

关键词 金刚石锯丝；目标检测；YOLOv5；DeepSORT

中图分类号 TQ164；TG74；TP391 文献标志码 A

文章编号 1006-852X（2023）01-0096-06

DOI 码 10.13394/j.cnki.jgszz.2022.0065

收稿日期 2022-05-05 修回日期 2022-08-05

金刚石线锯切割技术是对硬脆材料切片加工的常用技术方法之一，主要依靠附着在锯丝上的金刚石磨粒对材料进行切割。金刚石磨粒的脱落是锯丝失效的主要原因，其影响切割加工的质量与效率。

对于金刚石锯丝磨损的研究，大多研究者采用扫描电子显微镜观察其磨损情况。倪永明等[1] 发现金刚石的颗粒掉落过程为金刚石磨粒先破裂，随后碎屑掉落，最后磨粒整体脱落。磨粒在切割过程中破裂，是影响线锯切割能力及生命周期的关键因素。黄波等[2] 发现锯丝的主要失效机理为金刚石磨粒的脱落，其在切削过程中并未完全发挥金刚石磨粒的切削性能，且脱落的磨粒对工件表面质量造成损害。这种静态观察法可以有效分析磨粒变化和锯丝磨损的情况，但无法在切割过程中实时了解。

随着计算机视觉和深度学习的发展，目标检测的实时性与准确性不断提高，但目前尚未有学者把这类方法应用在金刚石锯丝的磨损研究中。利用工业相机拍摄锯丝上金刚石磨粒的照片，根据其磨损程度，将磨粒分为有效（useful）和失效（useless）两类；提出一种改进的YOLOv5 模型检测方法，在YOLOv5 模型中添加注意力机制，将路径聚合网络结构（path aggregationnetwork，PAN） 更改为加权双向特征金字塔网络结构（bidirectional feature pyramid network， BiFPN），提高模型的检测精度；再连接DeepSORT 多目标跟踪算法，对切割过程中锯丝上的金刚石磨粒数量进行统计，进而实时监测锯丝磨损情况。

1 YOLOv5 算法及改进

1.1 YOLOv5算法

目前，基于深度学习的目标检测方法主要有2 种：一是两阶段目标检测模型，主要有R-CNN[3]、SPPNet[4]、Faster R-CNN[5] 等；另一种是一阶段目标检测模型，主要有YOLO 系列[6-8]、SSD[9] 等。YOLO 系列算法在保证检测精度的前提下，检测速度较快，能够满足时效性，广泛用于工业检测领域。

YOLOv5 从YOLOv1 进化而来， 主要由4 部分组成：输入层、主干网络、Neck 层和检测层。在之前的基础上，YOLOv5 在输入层加入Mosaic 数据增强方式，提高网络的鲁棒性。主干网络在YOLOv3 的基础上添加了Focus 模块、CSP 模块和SPP 模块。YOLOv5 中的Neck层采用特征金字塔网络结构（feature pyramid networks，FPN） 与PAN 结合的方法，能更好地融合不同特征信息。检测层有大、中、小3 个检测头，检测不同尺寸的物体目标。

在公开的数据集上，YOLOv5 的检测精度和速度都有着出色的表现，但在自制的金刚石磨粒数据集中问题上仍有很大的提升空间。这是因为在拍摄的图片中，金刚石磨粒所占的图片比例不大，但数量较多且为小目标，目标颜色与背景区分不明显，磨粒形状不规则，磨粒之间的磨损程度差别较小，且边界特征不明显。因此，在YOLOv5 的基础上进行改进，进一步提高检测效果。

1.2 YOLOv5 算法的改进

1.2.1 添加注意力机制

注意力机制使神经网络从关注全部信息到关注重点信息，对需检测的小目标和密集目标来说，能够显著提高网络的检测性能。常见的注意力机制有CBAM[10]、SE[11]、ECA[12]、CA[13] 等。在YOLOv5 网络结构中加入坐标注意力机制（coordinate attention， CA），此注意力机制能够获得所有图片通道上的方向和位置信息，避免二维全局池化造成的位置信息丢失。

因此，将CA 模块融入YOLOv5 的主干网络中，使模型能够注意到较小的金刚石磨粒，提高网络的检测能力。

1.2.2 Neck层改进

YOLOv5 的Neck 层采用FPN + PAN 的结构， 在FPN 后面再建立一条自底向上的通路，解决了FPN 受限于单向信息流的问题，在检测层中同时能够获得图像金字塔的顶层和底层较高的语义信息和位置信息，进而提高目标检测任务精度，但需要更多的参数和计算。

BiFPN[14] 是一种全新的特征融合方法，在PAN 的基础上移除只有一条输入边的节点，因这些节点不仅没有融合特征，还增加计算成本；对位于同一水平的原始输入节点和输出节点增加一条额外的边；将每条（自上而下和自下而上） 路径视为一个特征网络层，并多次重复同一层，实现更深层次的特征融合。因此，相比PAN， BiFPN 不仅简化计算网络，减少计算负担，还更有效地提取融合图片特征。此外，面对输入特征具有不同的分辨率，对输出特征的贡献也不等的情况，Bi-FPN 使用快速归一化融合方法，对每个输入增加额外的权重，能够有效提高计算速度。

因此，将YOLOv5 的Neck 层的PAN 模块替换为BiFPN 模块，使网络更好地融合图片中金刚石磨粒的特征，以提高检测精度。

2 DeepSORT 多目标跟踪算法

DeepSORT[15] 是多目标在线跟踪算法（simple onlineand realtime tracking， SORT） 的改进版，其主要步骤为：获取原始视频帧，即拍摄的不同时间段的金刚石锯丝视频；利用目标检测器对视频中的磨粒进行检测，目标检测器为上述的改进后的YOLOv5 模型；將检测的目标框中的表观特征和运动特征提取出来；计算视频中前后两帧目标之间的匹配程度，为每个追踪到的目标分配ID。

3 试验研究及分析

3.1 试验环境

切割设备为往复式线锯切割机，为满足拍照与录制视频需求，采用230 万像素，150 F/s 的彩色工业相机，并搭配4 倍的高清远心镜头和10 W 点光源，将其安置于切割机上，使镜头垂直于锯丝，拍摄整体布局如图1所示。拍摄视野为2.11 mm × 1.77 mm，拍摄效果如图2所示。

深度学习训练的处理器为11th Gen Intel（R）Core（TM） i7-11800H @ 2.30 GHz； 16 G 运行内存， 显卡为NVIDIA GEFORCE RTX 3060 Laptop GPU；操作系统为 Windows10，64位。

3.2 数据集制作

对切割过程中的锯丝进行采样，共拍摄2 000 张图片作为数据集。图3 为磨粒分类图。对图片中形貌完整且清晰的磨粒进行标注，将磨粒分为有效磨粒和失效磨粒。有效磨粒指的是尚未脱落且具有切割能力的磨粒，其具有明显的颗粒形貌，如图3a 所示；失效磨粒指的是磨粒磨平、脱落后在锯丝上留下黑色痕迹的部分，如图3b 所示。总共标注10 229 个有效磨粒，5 168 个失效磨粒。

3.3 评价指标

为了验证改进后的YOLOv5 算法性能，选择使用精确度、召回率、平均精度均值和推理速度4 个评价指标。

3.4 模型训练及分析

将金刚石磨粒数据集按7∶3 随机划分为训练集和测试集，输入图像尺度的像素为640 × 640，每批训练张数为24，训练过程持续100 批次。

为验证各个改进模块的优化作用，进行消融对比试验，其结果如表1 所示。其中，模型1 是在YOLOv5的主干网络中添加CA 注意力机制；模型2 是将原网络中的Neck 层的PANet 模块改为BiFPN 模块。从表1可以看出：模型1 相比于原始模型的P_re提高了1.4%，R 和M_mAP分别提高2.1% 和2.7%； 模型2 的P_re提高了0.6%， R_re和M_mAP分别提高2.5% 和2.2%。将两个改进模块同时融入原网络中形成最终模型，发现其P_re提高了1.7%，R_re提高了3.7%，M_mAP提高了3.2%，相比前3 种模型有明显提升，并且对每张图片的推理时间为10 ms，依旧有出色表现，能够满足实时检测的需求。

为了更好地验证最终模型的可行性，从测试集中选择图片进行检测对比，图4a 为YOLOv5 检测效果，图4b 为最终模型检测效果，图中数字为对该目标检测分类的置信度。改进后的模型检测精度明显提高，并且能识别出YOLOv5 模型未能识别出的磨粒，如图4中红框所示，表现出了更优越的检测性能和对小目标检测的鲁棒性。

3.5 磨粒统计及分析

试验过程中，切割機上的锯丝缠绕于驱动轮、张紧轮与导轮之间，切割时驱动轮正向转动15 圈后反向转动15 圈，做往复运动，利用拍摄设备对其进行采样拍摄。切割对象为?20 mm 的微晶玻璃；切割参数：线速度为800 mm/s，进给速度为0.01 mm/s。采样时间点：切割前以及每隔1 h 对15 圈锯丝拍摄，拍摄长度为每圈的1/4，累计切割2 h，共录制45 个视频。

将改进后的YOLOv5 连接DeepSORT 跟踪算法对这45 个视频进行检测，检测时设置虚拟检测线，与锯丝的运动方向垂直，如图5 中的红线。当一个目标跟踪框的中心点轨迹与检测线相交时，对应的磨粒数量总数累加。

对失效磨粒数进行统计，结果如图6 所示，横坐标表示锯丝的不同位置，纵坐标表示失效磨粒数。在安装新丝时，锯丝有一定的磨损，磨粒仅有少量的脱落；经1 h 切割后，各个部位的失效磨粒数大量增加； 2 h后，失效磨粒数减少，趋势减缓。

这是因为当金刚石磨粒脱落后，锯丝继续切割使镀层开始磨损，其表面形貌发生变化，处于急剧磨损阶段，不再具有磨粒的形貌，如图7 所示，导致检测模型识别不到磨粒。因此，经过2 h 的切割，失效磨粒的数量开始下降，意味着锯丝的切割能力进一步下降，应及时更换锯丝。

4 结论

为了对金刚石锯丝的磨损情况进行实时监测，改进YOLOv5 目标检测算法，在网络中融合CA 注意力机制模块和BiFPN 模块，使得检测模型的精确度、召回率和MmAP 分别提高了1.7%、3.7%、3.2%，且每帧图片的推理时间稳定在10 ms，具有较快的检测速度。将改进后的YOLOv5 检测模型连接DeepSORT 多目标跟踪算法，对切割过程中锯丝上的有效磨粒与失效磨粒进行数量统计，发现失效磨粒数先增加后增加趋势变缓。从计算机视觉的角度监测锯丝磨损情况，能够及时调整切割设备。