基于深度视觉的GIS内部金属微粒运动特性分析

刘宝林，熊永平，李 杰，师 伟

（1.北京邮电大学计算机学院，北京 海淀 100876；2.国网山东省电力公司电力科学研究院，山东 济南 250003）

0 引言

气体绝缘变电站气体绝缘金属封闭开关设备（gas insulated substation，GIS）凭借轻量化、绝缘性能好等优点被广泛使用，是电力系统运行中的重要设备。虽然GIS 发生故障的概率低于常规设备，但由于GIS 是全封闭组合设备，若出现事故，会造成更加严重的后果。一般情况下，GIS 在生产制造过程不良的加工工艺、搬运中的机械摩擦、开关动作等都可能产生自由金属微粒。金属微粒会对GIS 绝缘性能产生较大威胁，如当GIS 正在运行时，金属微粒会在高压的环境下产生感应电荷，由于电场力等作用力的影响，金属微粒容易受力不均而产生不规则的运动，干扰GIS 设备的正常运行。因此，对金属微粒进行检测并研究其运动特性是非常重要的。

国内外开展大量有关GIS 内部异物的检测识别研究，提出了许多检测方案，尤其侧重对GIS 内部的运动微粒运动行为进行研究。

Ahmed 等人［1］发现利用超声传感器对存在缺陷的GIS 进行检测，判断GIS 内部是否存在异物微粒，但该方法在执行过程中需要充分排除外界干扰和周密控制检测点与间隔距离等。文献［2］基于超声波局部放电检测脉冲模式下检测能够获取具有飞行特征图谱的思路，提出一种依据GIS 内自由导电微粒的飞行轨迹快速获取微粒状态信息的方法，该方法可提高导电微粒状态信息的识别效率，但不同材质、不同尺寸的微粒飞行时间-高度图谱不同，在实际应用中构建飞行时间-高度图谱库较为繁琐。文献［3］提出X 射线成像法是一种检测GIS 设备内部缺陷的有效方法，并在缺乏成熟的参数选择方法的前提下，为220 kV GIS 设备内异物缺陷检测选择合适的参数，对部分微粒能够实现良好的检测，对部分金属微粒检测效果较差，如铝金属微粒，需要借助其他手段进行辅助检测。此外，该方法难以获取金属微粒的运动状态信息。文献［4］提出GIS 现场交接实验中，现场耐压实验能够有效地发现GIS 设备内部的绝缘污秽、损害和遗留异物等缺陷，并进行实验，验证超声波法可行性及准确性，但超声波法在不同的放电类型下，灵敏度存在较大差异，导致放电量范围不易控制问题。

现有研究已经提出了多种可行的GIS 内部异物、微粒等检测方案，且多数方案集中在如何使用超声波、X 射线等方法，但这些检测方式在实验过程中容易被外界条件干扰。图像处理本身具有便捷等优势。近几年，随着计算机领域深度学习的迅速发展，基于深度学习的目标检测取得较大进展，众多具有代表性的物体检测算法被提出并且被广泛应用于工业、农业、医学等领域，例如农业生产生活中的害虫检测，医学领域中对病变区域的检测，常见的视频监控等［5］。这些目标检测方法具有结构灵活、特征自动提取、检测精度高、检测速度快等优点［6］。此外，目标检测方法通用性很强，可做各类目标的识别检测［7］，如在小目标检测领域，已经取得显著的成果［8］。因此考虑将基于深度学习的目标检测方法引入GIS腔体内部的金属微粒检测。

搭建金属微粒在GIS 腔体内部运动的模拟仿真实验环境，但不再基于超声波和X 射线等途径进行金属微粒检测，而是采取视觉分析的方法，利用高速摄像机记录金属微粒运动全过程，使用基于卷积神经网络的目标检测和跟踪算法，实现快且准的运动金属微粒识别与跟踪，有效掌握运动金属微粒的运动轨迹、运动状态等信息。基于获取的数据，对金属微粒运动特性进行研究分析。

1 图像目标检测与跟踪模型

图像目标检测的基本任务是需要判别图片中被检测的目标类别，同时需要使用矩形边界框来确立目标所在位置及大小，并给出相应的置信度。常用的目标检测类型主要分为两类，一类是基于区域的双阶段目标检测算法，主要步骤是先产生目标候选框，然后做候选框的分类与回归，以下为属于该类的3 种方法：

1）用于精确物体定位和语义分割的丰富特征层次结构（rich feature hierarchies for accurate object detection and semantic segmentation，RFH），它首先通过选择搜索提取一组候选区域，随后使用预训练的卷积神经网络模型实现特征提取，最后通过支持向量机（support vector machine，SVM）完成目标预测［9］；

2）用于视觉识别的深度卷积网络空间金字塔池（spatial pyramid pooling in deep convolutional networks for visual recognition，SPP-Net），解决了RFH只能接受固定大小输入的问题，SPP-Net 中使用空间金字塔池化层，用于生成统一尺寸的特征向量的输出，只计算一次全图特征，从而避免重复计算［10］；

3）特征金字塔（feature pyramid network，FPN），把卷积运算后的多个尺度特征进行融合，使不同层次、尺度的特征都能充分发挥其所具有的信息，促进小目标的检测［11］。

另一类是基于回归分析的单阶段目标检测算法，与双阶段检测算法不同的是，单阶段算法从图片输入层到结果输出层之间的隐藏层为只运行一次特征提取的深度神经网络结构［12］，凭借一个卷积神经网络（convolutional neural networks，CNN）直接预测不同目标的类别与位置［13］，以下为属于该类的3 种性能较优的方法：

1）你只看一次（you only look once version 5，YOLOv5）模型，该方法首先调整输入图片大小，送入CNN 提取特征，然后处理网络预测结果，实现端到端的目标检测［14］；

2）全卷积单阶段目标检测（fully convolutional one-stage object detection，FCOS）模型，基于逐像素预测的方式预测特征图上每个空间位置的类别，并直接输出目标的类别，具有检测速度快，消除对锚框的依赖，避免调整锚框相关的超参数，减小训练时的内存占用等优点［15］；

3）飞桨-你只看一次的优化版（an evolved version of YOLO，PPYOLOE）模型采用无锚框机制、动态标签分配算法等方法，性能上超越众多检测算法。

这3 种单阶段检测方法能够有效提高检测速度，在实时小目标检测领域取得了不错的检测结果，尤其GIS 腔体内部环境较为简单，理论上，用于金属微粒检测，可表现出优异的性能。

跟踪可被定义为估计物体围绕一个场景运动时在图像平面中的轨迹，即一个跟踪系统给同一个视频中不同帧的跟踪目标分配相一致的标签［16］。目标跟踪模型的任务是在给定视频或图像中的第一帧目标的位置和状态之后，在同一视频或图像的后续帧中能够识别，跟踪目标的位置和状态［17］。现有的跟踪模型有GOTURN、FCNT、SiamRPN++等。

将利用深度学习进行图像目标检测与跟踪的方法，应用于电网GIS 内部金属微粒的检测，具有不错的实际效果。

2 金属微粒运动模拟实验和视频采集

为更加细致地观测GIS 内部运动金属微粒的运动过程并分析其运动特性，根据GIS 实际运行工况，同时考虑实验的可操作性和观测性，建立真实且比例合理的模拟仿真模型，通过调节外施电压，进而对金属微粒施加电场力，使金属微粒在腔体内部做跳跃运动，并用高速摄像机记录运动过程，为后续对GIS 腔体内部的金属微粒进行检测和金属微粒运动特性分析提供数据需求。

2.1 实验环境

实验中使用的金属的长度为10 mm，半径为0.15 mm；透明腔体内径为60 mm，厚度为10 mm，长度为450 mm，装置实物如图1 所示。

图1 透明腔体装置实物Fig.1 Transparent cavity device physical

搭建环境过程主要按照以下步骤进行：

1）对金属微粒喷洒酒精，然后用清洁布擦拭干净并静置；

2）等晾干后，将金属微粒放入透明腔体底部，位置处于两个绝缘子中间；

3）将带有绝缘子的导杆插到腔体中，安装金属盖板，使腔体气密性良好；

4）用真空泵将腔体抽至真空后，向腔体中充入实验压强的SF6，利用泄漏检测仪进行检测，验证腔体密封性好，确保漏气率满足要求，以确保压强稳定；

5）连接实验电路，接通高速摄像机，预览摄像机视野，使两个盆式绝缘子之间的位置占满高速摄像机的视野；

6）静置装置，使SF6在装置中分布均匀。

2.2 视频采集

视频采集过程主要按照以下步骤进行：

1）在搭建好的平台环境中，接通电源，缓慢旋动高压电源调压旋钮，升高电压，旋转到30 kV 左右，以确保该电压条件可模拟GIS 设备正常运行状态下的金属微粒运动，然后开始录制视频，同时计时器记录运动时间，观察金属微粒的状态；

2）金属微粒跳动起来后停止加压；

3）观察金属微粒的运动状态，记录金属微粒的起跳电压，起跳时间，录制时长，运动结果；

4）实验结束后，旋转按钮降低电源电压直到为零，关闭电源，对装置进行放电。

模拟实验结束后，使用高速摄像机采集的视频帧率为200 Hz，视频时长为69.5 min，分辨率为640×480。视频中，前20 min 跳跃金属微粒的数目较少，金属微粒出现时间主要集中在后40 min 内，并且视频中金属微粒的运动状态自然合理，每一帧中出现的金属微粒数目一般为1～2 个，模拟实验的视频记录效果如图2（图片经过二次处理，红色矩形框内为金属微粒）所示。

3 基于深度学习的运动金属微粒检测和跟踪

选用基于深度学习的目标检测与跟踪的方法实现该场景的金属微粒检测，以达到更加高效且便捷检测GIS 内部运动金属微粒的效果，主要流程如图3所示。

图3 基于深度学习的检测方法流程Fig.3 Flow chart of detection methods based on deep learning

1）输入视频数据。获取运动金属微粒的视频数据，即在模拟金属微粒运动的实验中，使用高速摄像机记录GIS 腔体内部的金属微粒运动的全过程。

2）目标检测模型。目标检测模型进行特征提取等一系列操作，然后目标检测模型将会输出多个目标检测框，这些检测框在图像中的区域即存在目标检测对象。

3）目标跟踪模型。跟踪模型会把视频的每一帧中同一个目标打上相同的标签，如此操作即可完成目标跟踪。

在该具体场景中，图4 是记录模拟实验的视频中带有运动金属微粒的画面截图，按照上述提出的使用深度学习方法，准备使用基于卷积神经网络的目标检测模型，先进行检测运动金属微粒，然后利用目标跟踪模型跟踪运动金属微粒，获得金属微粒的运动状态信息并进行后续的数据分析。

图4 带有运动金属微粒的画面截图Fig.4 Screen grab with moving metal particles

3.1 金属微粒目标检测

由于金属微粒较小，需要进行小目标检测，准备使用3种目标检测模型，YOLOv5、PPYOLOE 和FCOS 模型。

YOLOv5 是一种单阶段目标检测模型，该模型整个网络结构分为4 个主要部分：输入端、主干网络、特征融合网络、预测。

YOLOv5 输入端采用数据增强，通过随机缩放、随机裁剪、随机排布等多种方式将图片进行随机拼接，对于小目标的检测有不错的效果。此外，YOLOv5 模型会根据自定义数据自动调整锚框的边界框大小，即自适应锚框，同时运用自适应图片缩放，这些操作可以提高精度。

YOLOv5 的主干网络由3 个结构组成，分别是Focus 结构、跨级部分网络（cross stage paritial，CSP）结构和空间金字塔池化（spatial pyramid pooling，SPP）结构。Focus 是YOLOv5 中新提出的一种结构，主要对不同的图片进行不同的切片操作。YOLOv5 中设计的两种CSP 结构，如在YOLOv5s 网络中，具有残差结构的CSP1_X 结构应用于主干网络以解决梯度问题，另一种CSP2_X 结构则应用于特征融合网络中。SPP 结构即所谓的空间向量金字塔池化，可实现多尺度特征的融合，减少特征丢失问题。

YOLOv5 的特征融合网络采用特征金字塔（feature pyramid network，FPN）+路径聚合网络（path aggregation network，PAN）的结构以提高网络特征融合能力［18］。FPN 采用自顶向下的方式，将高层的特征以上采样的方式向低层进行传递融合，增强多尺度表达能力，而PAN 则以自底向上方式把低层定位信息传到高层，增强多尺度定位能力。

YOLOv5 的输出端包含3 部分，分别是损失函数、非极大值抑制与检测框。GIOU_Loss 函数作为边界框的损失函数，可以使模型更快收敛、性能更好；同时利用非极大值抑制来处理多个预测框的情况，只保留所需要的最佳预测框。这两者的集合可以更好地识别图像中有重叠的目标。

PPYOLOE 模型的网络架构与YOLOv5 类似，同样由输入端、主干网络、特征融合网络和头部网络4个部分组成。

PPYOLOE 的主干网络包括RepVGG 模块、非线性激活函数、有效的挤压和激励网络（effective squeeze-and-excitation networks，Effective SE Atten tion）模块、CSP 结构和SPP 结构等。其中RepVGG模块是对VGG 模块的改进；SE Attention 模块是CNN 架构中采用的一种代表性的通道注意方法，用于对特征图通道之间的相互依赖性进行建模，以增强表示能力，而Effective SE Attention 模块是对SE Attention 模块的改进，提高了性能［19］。

PPYOLOE 的特征融合网络是FPN+PAN 结构，与YOLOv5 的特征融合网络结构一致，功能一致。

PPYOLOE 的头部网络部分，是任务对齐头部，经过该头部网络得到分类的概率与定位预测结果。

FCOS 模型对多尺度、多形态目标检测具有很好的鲁棒性，是一种基于无锚框的单阶段算法，它的网络架构由3 部分组成，分别是主干网络、FPN 和输出部分头部网络。

主干网络部分的作用为从输入的图像数据中输出不同层次的特征图，然后将输出的特征图输入特征金字塔网络中。

在特征金字塔网络中，进行上采样，实现图像特征融合，产生不同大小的特征图，该过程可以保证微小目标在高层特征中有较强的语义信息。最后将不同大小的特征图中每个像素都送入检测头［20］。

在头部检测网络中，采用分层预测检测目标的类别和位置坐标。

在上述介绍的3 个目标检测模型中，为选择一个综合性能好检测模型，特别进行了对比实验，这些检测模型分别对同一个视频数据集进行目标检测。在检测速度与检测精度的衡量下，实验相关设置如下：

YOLOv5 模型，使用YOLOv5 中的YOLOv5x 模型的权重文件yolov5x.pt 和配置文件yolov5x.yaml 进行实验；PPYOLOE 模型，使用基于PP-YOLOE 的小目标检测场景模型的配置和权重文件进行实验；FCOS 模型，使用FCOS_imprv_dcnv2_R_50_FPN_1x模型的配置与权重文件进行实验。

上述模型及实验文件可在github 上获取。

可以看到这3 个检测模型的检测性能对比情况如表1 所示。在本实验中，采用均值平均精度（mean average precision，mAP）对模型进行性能评估，表1 中mAP@0.5 为交并比（intersection over union，IOU）阈值设为0.5 时的mAP 值，mAP@.5：.95 为IOU 阈值从0.5 到0.95，步长0.05 的平均mAP 值，IOU 值越大，表明预测框与真实框的重合度越高，检测效果越精准。相关计算如式（1）—式（3）所示。

表1 3个模型检测性能对比情况Table 1 Comparison of the performance of the three models

精确率为计算在预测的样本中，预测为正样本的正确率。计算方法为

式中：PT表示实例为正类，预测为正类；PF表示实例为负类，预测为正类。

召回率用来判断所有要检测的对象是否都能检测到。计算方法为

式中：FN表示实例是正类，预测为负类。

多个类别物体检测中，每一个类别可根据精确度和召回率制作一条曲线，AP表示该曲线下的面积，即每类微粒的识别精度，PmA表示多个类别AP的平均值，其值越高，表明模型检测效果越好。平均精度均值计算方法为

式中：N为金属微粒种类数量，此实验中N取值为1。

综合3 个模型在各指标上的表现，训练后的YOLOv5 检测平均精度均值最高，并且实验中金属微粒检测的精确率最高可以达到0.95，因此使用YOLOv5 模型作为最终的目标检测模型。

3.2 运动目标跟踪

多目标追踪算法DeepSort 已经被广泛应用于目标追踪任务中，能够有效改善短时间的遮挡问题，提升跟踪精度。因此使用该算法模型进行目标跟踪，算法的主要流程如下。

1）对每一帧，根据卡尔曼滤波进行轨迹预测。

2）将预测的轨迹与实时检测框进行级联匹配，从而得到3 类结果：未匹配的跟踪框（预测框）、未匹配的检测框、级联匹配成功的跟踪框（预测框）与检测框。

3）对于步骤2）中未匹配成功的跟踪框与检测框再次进行IOU 匹配。对于IOU 匹配中，将匹配不成功的检测框作为新的跟踪目标，进入卡尔曼滤波下一步的跟踪预测。将匹配不成功的跟踪框（预测框）按照确认状态与未确认的状态进行不同处理，对未确认状态的跟踪框（预测框）进行删除操作，对确认状态的跟踪框（预测框），判断连续未匹配的次数是否大于设定的最大跟丢数，若连续未匹配的次数大于最大跟丢数，则删除该跟踪框（预测框）；若连续未匹配的次数小于最大跟丢数，则将其保留在跟踪链中。

4）将步骤2）与步骤3）中匹配成功的预测框与检测框，用来更新卡尔曼滤波中的相关参数，使跟踪效果不断进行改善，并输出每一帧修正后的检测框。

基于YOLOv5 的检测效果，如图5 所示。经过实验验证，DeepSort 跟踪模型在该模拟场景中有较好的跟踪效果，效果如图6 所示。

图5 YOLOv5检测效果Fig.5 YOLOv5 test effect drawing

图6 DeepSort跟踪效果Fig.6 DeepSort tracks the renderings

4 运动特性分析

4.1 运动位置分析

通过修改跟踪模型，保存每一帧中不同标识（identity document，ID）检测框的坐标等数据，记录为（帧序号，目标ID，x坐标，y坐标）。在跟踪结束后，导出跟踪的数据结果并进行分析。

通过记录的运动数据，绘制出每个金属微粒的运动轨迹图，不同的颜色代表不同的金属微粒，如图7 所示。

图7 金属微粒运动轨迹Fig.7 Trajectories of metal particles

部分金属微粒在跟踪时，出现了ID 切换，导致部分轨迹出现了类似跳跃的现象，但所占比例较小，整体上影响小。从图7 中可以看出，金属微粒的轨迹遍布腔体内部的绝大部分区域，运动轨迹几乎没有规律可言。

在获得运动轨迹的基础上，可以得到GIS 腔体内部的运动金属微粒所经过的运动区域的具体分布情况，根据出现的频次做出热力图，其中像素点红色越深，代表该位置出现的频次越高，红色越浅，代表该位置出现的频次越低，如图8 所示。

图8 金属微粒出现频次分布热力图Fig.8 Occurrence frequency distribution heat map of metal particles

根据图8 可知，所给视频中的金属微粒的运动轨迹分布较为分散，但相比于GIS 腔体的上部分区域的金属微粒出现频次，多数金属微粒出现的地方集中在视频中GIS 腔体内部的下方区域，并且金属微粒在下方区域靠近GIS 腔体中间导杆的位置出现频次，相较于其他区域最高。

总体上，就金属微粒的出现位置而言，GIS 腔体内部的金属微粒在电压的作用下，运动范围较广，几乎遍布两个绝缘子之间的全部腔体空间，并且GIS腔体下方区域出现的频次较高，靠近导杆的位置金属微粒的出现频次最高。

4.2 运动速度获取与分析

在获取数据的基础上，为进一步分析金属微粒的运动状态，从速度方面进行分析。设计的速度计算方式为根据前后帧中同一ID 金属微粒的中心坐标（x1，y1），（x2，y2），计算出两个位置的欧氏距离d，然后根据间隔的帧数乘以每帧的时间获得运动总时间t，最终计算出前后两个位置的平均速度v，即

式中：c为间隔的帧数；f为帧频率；t为运动总时间。

为便于计算，考虑金属微粒运动幅度较小，即相邻帧之间同一目标的位移较小，将计算得到的速度v视为两坐标点中后抵达的坐标点所在位置的速度大小。

在处理数据分布时，发现超过每秒100 个像素的速度值占比仅0.001 2。为了显示一般规律，得到的速度大小直方图如图9 所示。

图9 速度大小分布直方图Fig.9 Velocity size distribution histogram

根据直方图的展示结果可知，速度大小主要集中在每秒0～12 个像素距离之间，而超过2/3 的位置，金属微粒速度大小不超过20 个像素距离。

总体上，运动金属微粒的速度较小且数值比较集中。

4.3 运动位置与运动速度的相关系数分析

为进一步挖掘金属微粒所经过的位置与速度大小之间的关系，使用皮尔逊相关系数进行两者的关系分析。相关公式为

式中：r为两个变量p和v之间的线性相关程度，r取值为-1～+1；本实验中p为金属微粒的位置信息p=p1,p2,...,pn；v为金属微粒速度大小，v=v1,v2,...,vn；pˉ和vˉ取值分别为；n为样本数量，即位置（坐标点）数量。

在假设检验中，通常使用皮尔逊相关系数来计算检验统计量，并根据该统计量的抽样分布，计算得到P值，用于衡量相关系数的显著性。P值计算步骤如下：

1）计算检验统计量T如式（6）所示。

2）确定显著性水平α（通常为0.05）和自由度（通常为n-2），其中显著性水平指在进行假设检验时，所选取的判断标准；自由度表示样本的自由信息量。

3）利用数学中t分布表，查找临界值tcrit，使得在确定的自由度和显著性水平条件下，满足式（7）。

4）计算得到P值，判断假设是否成立。如果P值小于显著性水平α，则可以拒绝原假设，即认为两个变量之间存在线性关系，并且P值越小，表明所对应相关系数越显著；如果P值大于显著性水平α，则不能拒绝原假设，即认为两个变量之间不存在线性关系。

在分析前，为使分析结果更加贴近真实区域的具体特性，先将金属微粒经过的全部位置使用kmeans 的方法进行聚类，将整个腔体内部区域聚类成不同的小区域，本次实验中聚类的数量为12，金属微粒位置聚类结果如图10 所示，然后每一个区域内进行相关系数的分析，得到表2 的分析结果。

表2 相关系数分析结果Table 2 Correlation coefficient analysis results

图10 金属微粒位置聚类结果Fig.10 Location clustering results of metal particles

从分析结果表中看出，Label 0、Label 1、Label 2、Label 4、Label 5、Label 6、Label 9、Label 10、Label 11腔体区域的金属所经过的位置与速度大小相关性的显著性水平P值为0，说明位置与速度这两个变量不存在相关性的概率很小。从相关性强弱的角度进行分析，相比于腔体内其他区域，Label 2、Label 5 和Label 9 所标注的位置与速度存在较强的相关性。结合已绘制的热力图等信息可知，Label 2、Label 5、Label 9 所在的腔体区域也是金属微粒出现频次极高的区域，说明在金属微粒经常出现的这些区域，位置和速度的相关性更强。

总之，从位置与速度大小的关系而言，不同的区域的位置与速度大小之间存在不同程度大小的相关性。对于该视频数据集，一般情况下，在出现频次较高的区域中，位置与速度大小的相关性较强；出现频次较低的区域，位置与速度大小的相关性较弱。

5 结论

基于目前使用计算机视觉进行检测与分析的方法已经广泛应用于工业领域，因为其直观、便捷的优势，大大提高检测效率。因此，对GIS 内部金属微粒的运动特性进行研究分析，通过模拟实验，借助于视觉分析的方法进行内部运动金属微粒检测并跟踪分析，可以得到以下结论：

1）在电网GIS 内部运动金属微粒的检测与跟踪方面，由于YOLOv5 在目标检测上有更好的灵活性和更快的速度，DeepSort 在目标跟踪过程中可以改善有遮挡情况下的目标追踪效果，YOLOv5 和DeepSort 进行结合的方法较有效果，并且在测试结果中得到了验证。该方法对GIS 内部运动金属微粒检测提供一种更好、更简便的检测手段，可以及时发现GIS 内部运动金属微粒，为减少运动金属微粒导致的破坏，具有良好的实际应用价值。

2）GIS 内部的运动金属微粒是导致GIS 设备故障的一个主要原因，有必要使用更好的检测手段进行检测。

3）GIS 内部的运动金属微粒的速度总体上较小，而运动轨迹涉及范围较广，几乎遍及腔体的全部区域。

4）GIS 内部的金属微粒经过的位置与速度大小在腔体的不同区域存在不同程度的相关性，其中金属微粒在腔体的下方靠近导杆的中心区域出现的频次最高，并且该处位置与速度有最大的相关性。