基于深度学习的输电线路故障预测方法研究

茹洁宣

（北京博望华科科技有限公司工程咨询分公司，北京 丰台 100071）

输电线路的稳定运行对于保证电力系统的可靠性至关重要，准确地预测和识别输电线路的故障对于保障电力系统的稳定和减少电力故障带来的负面影响具有重要意义。随着人工智能的发展，深度学习技术已成为解决这一问题的有力工具，使用深度学习技术不仅能对多种目标进行特征提取，还能够有效减少干扰区域，提高输电线路部件故障图像检索的准确率[1]。目标检测领域涌现出了大量深度网络模型，如ZFNet、VGGNet、GooleNet 等已被提出，但它们需要大量计算资源，不适用于移动设备。相对地， MobileNet 和混洗网络（ShuffleNet）等轻量级网络则更适合嵌入式设备[2]。使用卷积神经网络（convolutional neural networks，CNN）对图像进行高维数据处理并自动提取特征，从而实现对输电线路故障的高效和准确检测，这成为了检验输电线路故障预测的可行方案。

本文将结合无人机所拍摄输电线路照片和深度学习技术，以实现对输电线路故障的准确预测，为了确保模型的准确性和鲁棒性，本研究将采用迁移学习技术，让模型在有限的标记数据上进行微调，让模型具有更强的泛化能力。

1 所选取的方法

首先通过数据增强技术对少量样本图像（如导线断股和绝缘子“自爆”等）进行扩充，经过图像预处理步骤，选择基于MobileNet 架构的CNN 作为核心模型架构，采用深度分离卷积技术来减少模型的参数数量，利用预训练的模型作为初始化，迁移学习并重新构建了相应的深度学习网络模型[3]，将基于大规模图像数据的预训练深度卷积模型进行定制，为了增强模型对输电线路绝缘子图像中不同区域的关注，提高模型对绝缘子状态和故障的识别能力，本研究引入了Transformer 的注意力机制，增强模型对图像的理解。在模型训练和优化过程中，采用了迁移学习和域自适应技术以提高在有限数据情况下模型的性能和泛化能力。为了优化模型的分类性能，本研究选择了交叉熵损失函数来度量模型的预测与实际标签之间的差异，并采用了自适应矩估计法（Adam）优化器来实现有效的参数更新和快速收敛。

1.1 数据集及预处理

为提高设备缺陷故障识别精度并减少训练过拟合问题，本研究选择了不同视角和高度进行样本拍摄，获取多角度、多尺度的绝缘子图像。选择的绝缘子数据集共有1 800 张图像，其中1 500 张是正常绝缘子（如图1 所示），300 张是带有缺陷的绝缘子合成图像（如图2 所示），并进行了数据标注。

图1 正常的绝缘子

图2 带有缺陷的绝缘子合成图像

合成图像在视觉上逼真且能够模拟发生玻璃绝缘子的“自爆”故障。为了增加模型的泛化能力和鲁棒性，应用数据增强技术对图像旋转、水平和垂直翻转、亮度和对比度进行调整。将所有图像调整为统一的尺寸，进行归一化，将图像中的每个像素值从其原始范围调整到0～1 的范围，提高模型训练的效率，加快收敛速度，提高模型的泛化能力。

1.2 算法结构介绍

1.2.1 MobileNet 卷积神经网络选择及架构细节

本研究选择了MobileNet 卷积神经网络作为基础模型架构，MobileNet 是为移动和嵌入式设备设计的轻量级卷积神经网络架构（如图3 所示），它通过深度可分离卷积（depthwise separable convolution）将传统的卷积操作分解为两个独立的操作，对每个通道单独进行卷积（即深度卷积），然后通过1 × 1 的卷积（即点卷积）将不同通道的信息融合减少了模型的参数数量和计算量，同时保持了良好的图像特征提取能力。在深度卷积中，每个输入通道分别通过一个卷积滤波器进行卷积操作，能够减少计算量和参数数量，同时保留每个通道的特征信息。该架构包括多个卷积层、深度可分离卷积层和池化层，使用ReLU（rectified linear unit）激活函数来增加模型的非线性表达能力。在卷积和池化操作后，MobileNet 包含全连接层和Softmax 层，用于分类任务。全连接层负责学习特征之间的非线性关系，而Softmax 层将网络输出转换为分类预测的概率分布。

图3 模型架构示意图

通过MobileNet 的多层卷积和池化操作，模型能够从原始图像中提取出有用的特征，这些特征能够帮助模型识别绝缘子的状态和可能的故障。在特征提取的基础上，通过全连接层和激活函数完成绝缘子状态的分类和预测。为了度量模型的预测与真实标签之间的差异，并指导模型的训练和优化，本研究选择了损失函数交叉熵损失。

1.2.2 Transformer 的注意力机制引入

本研究中，引入了Transformer 的注意力机制，以增强模型对输电线路绝缘子图像中不同区域的关注，并提高模型对于绝缘子状态和故障的识别能力。Transformer 的注意力机制是通过其多头自注意力（Multi-Head Self-Attention）组件实现的，它能够在多个维度上捕捉图像中的局部和全局依赖关系。这种机制能够使模型在不同的视野范围内识别和关注图像中的关键特征和模式。在模型设计阶段，将注意力机制与MobileNet 的传统卷积神经网络结构相结合，在特征提取的后阶段引入了注意力机制，在捕获绝缘子图像基础特征的同时，能够让模型对图像中的重要区域给予更多的关注。引入注意力机制不仅增强了模型的特征提取和表示能力，还为模型提供了一种有效的方式来理解和解释图像中的复杂模式和结构。通过注意力机制的引入，模型能够在多个尺度上理解图像内容，对于不同的图像区域赋予不同的关注权重，从而更好地捕捉和利用图像中的重要信息。

这种机制的引入为模型带来了更为丰富和多层次的特征表达，有助于模型在绝缘子状态分类和预测任务上取得更好的效果。在模型的设计中，将注意力机制与传统的卷积神经网络结构相结合，在特征提取后的阶段引入了注意力机制，使模型能够在捕获绝缘子图像基础特征的同时，也能够对图像中的重要区域给予更多的关注。通过这种方式，模型能够在处理输电线路绝缘子图像时，具有更强的区分和识别能力，从而提高故障预测的准确率和可靠性。通过引入注意力机制，不仅增强了模型的特征提取和表示能力，也为模型提供了一种有效的方式来理解和解释图像中的复杂模式和结构。

在特征提取和注意力机制的基础上，设计了多个全连接层来进行特征的进一步整合。全连接层能够学习特征之间的非线性关系，并为分类提供必要的信息。在全连接层的输出端，应用激活函数ReLU 以增加模型的非线性表达能力，并将网络输出转化为分类预测的概率分布。最终的输出层是Softmax 层，它可以将网络的输出转化为各类别的预测概率。通过比较这些概率，可以确定模型的预测结果，并判断绝缘子的状态。

为了优化模型的分类性能，选择了交叉熵损失函数来度量模型的预测与实际标签之间的差异。交叉熵损失函数被选为度量模型预测与真实标签之间差异的损失函数。交叉熵损失函数是分类问题中常用的损失函数，可以有效地衡量模型预测的概率分布与真实标签的概率分布之间的差异。模型的输出层包含Softmax 激活函数，该函数将网络的原始输出转换为各类别的预测概率。交叉熵损失函数通过比较这些预测概率与真实标签的概率分布，交叉熵损失函数的值越低，表示模型的预测概率分布与真实标签的概率分布越接近，即模型的预测性能越好。

在训练过程中，通过梯度下降算法和反向传播算法，不断更新模型的参数以最小化交叉熵损失，从而使模型的预测性能逐渐提高。初始学习率设置为0.001，并采取学习率衰减策略，每过10 个训练轮数，学习率衰减为前一个训练轮数的90%。这样的设计有助于在训练初期快速接近优化目标，而在训练后期则可以更精细地调整模型参数，避免在优化过程中产生震荡，从而更好地优化模型。本研究能够有效地指导模型的训练过程，逐渐减小预测误差，提高模型在绝缘子状态分类和预测任务上的准确率和稳定性。

1.2.3 迁移学习和域自适应技术的应用

为了在有限的数据情况下提高模型的性能和泛化能力，本研究引入迁移学习和域自适应。在实现迁移学习时，保留了预训练模型的卷积层，利用它们进行特征提取，而将全连接层替换为适应任务的新层，并对这些新层进行重新训练。预训练模型中的卷积层能够为任务提供丰富的特征表示，而新的全连接层则负责学习特定任务的分类边界。将一个在大型数据集上预训练的模型知识迁移到特定的任务上，同时缩小预训练模型的域和任务域之间的分布差异。为了减小预训练模型与目标任务之间的域差异，本研究引入了域自适应技术。采用最大均值差异（maximum mean discrepancy，MMD）方法，在损失函数中加入了域自适应项，以度量源域和目标域之间的差异。通过最小化该域自适应项，模型可以在减少标签预测误差的同时，也减少源域和目标域之间的分布差异。这样的设计有助于减少模型对源域数据的过度适应，提高模型在绝缘子故障预测任务上的准确率和稳定性。这种方法允许模型更好地适应目标任务的数据分布，从而提高了模型的泛化性能和预测准确性。通过迁移学习和域自适应技术的应用，本研究旨在构建一个能够在有限数据条件下实现高效、准确预测的模型。

1.3 训练过程

1.3.1 模型初始化

加载预训练的MobileNet 模型，这个预训练模型是在大规模数据集上训练得到的，已经学会了一些通用的特征，通过加载预训练模型，可以避免从零开始训练，从而节省时间和计算资源。加载预训练模型后，固化模型的卷积层参数，固化参数可以保留预训练模型学到的通用特征，同时也减少训练时所需的计算量。接着替换MobileNet 模型原有的全连接层，以适应特定的任务需求。新的全连接层将连接到模型的卷积层输出，并负责学习和映射到任务的特定类别。全连接层的参数将在接下来的训练过程中被优化，以最小化分类错误。

通过将标注过的图像数据集作为输入，获取MobileNet 网络中的卷积部分输出，利用输出训练全连接网络，将MobileNet 网络中卷积模型和参数迁移过来，并固化模型中各层参数，使用之前预训练的全连接网络替换MobileNet 原有的全连接层，得到基于MobileNet 深度迁移学习模型。

1.3.2 模型训练

将标注过的图像数据集作为输入，获取Mobile-Net 网络中的卷积部分输出，利用输出训练新的全连接网络。在每个训练轮次（epoch）中，模型会遍历整个训练数据集，每次处理小批量（batch）的数据，计算模型的输出和损失，然后通过反向传播算法更新模型参数以最小化损失。对于本研究的分类任务，选择交叉熵损失函数来度量模型的预测与真实标签之间的差异，以提供清晰的优化目标。初始学习率设置为0.001，并采用学习率衰减策略，每过10 个训练轮数，学习率衰减为前一个训练轮数的90%，以确保模型在接近最优解时能有更细致的参数调整。模型训练的批大小设置为64，以在保证训练稳定性和计算效率的同时，获得较好的模型性能。模型的训练迭代次数设置为100 个训练轮数，期间模型将不断学习和优化，逐渐提高对绝缘子图像的识别和分类能力。为了防止模型过拟合到训练数据，即模型在训练数据上表现很好但在新数据上表现较差，采用了L2 正则化技术。L2 正则化能够惩罚模型的复杂度，避免模型学习到训练数据中的噪声，而是学习到数据的真实分布。正则化系数设置为0.000 5，为模型提供了一定程度的正则化，帮助模型在保持泛化能力的同时，实现对绝缘子状态的准确预测。在训练过程中，不仅监控了训练损失和分类准确率，还利用验证数据集评估模型的泛化性能，确保模型在未见过的数据上也能获得满意的表现。通过不断地迭代和优化，模型逐渐收敛，分类性能得到了显著提高，为后续的绝缘子状态识别和故障预测提供有力的支持。

本研究选择了自适应矩估计法（Adam）优化器，Adam 会为每个参数维护一个学习率，能够自适应地调整这些学习率，这使得它在处理稀疏梯度和非凸优化问题时具有优势。与其他二阶优化方法相比，Adam 的内存需求较低，这对于大规模的数据和参数空间尤为重要，通常能够快速收敛，并且在训练过程中保持稳定。相对于其他的优化方法，它对超参数的选择相对不敏感，经常被证明在多种任务上都能快速收敛，并且需要较少的手动超参数调整，同时结合了多种其他优化算法的优点，它使用Momentum 和RMSProp（root mean square propagation）算法，使得其在深度学习任务中特别有效[4]。Adam 优化器会为每个参数保持学习率，它们均可以独立地调整。由于Adam 使用了基于前面梯度估计的移动平均值，所以在初期可能存在估计偏差，Adam 使用了偏差修正机制来调整这种偏差。

2 实验验证

本实验在Windows11 操作系统上进行，CPU 为英特尔®酷睿TMi9-12900KF，GPU 为12 GB 显存NVIDIA GeForce RTX 3060，深度学习框架为PyTorch。用开源数据集CPLID（chinese power line insulator dataset）[5]进行测试，数据集共848 个样本，与几种检测方法的对比效果，如表1 所示。

表1 检测结果比较

实验分析与优化。为了确保本研究算法的泛化能力，将训练集中每一缺陷类样本分别通过镜像对称、旋转、加高斯噪声、调整亮度等方法将原始数据扩充3 倍，并比较了原始训练集与运用不同扩充方法后的扩充训练集对模型识别输电线路物体匹配度的影响，同时在多个输电线路数据集上进行训练测试，模型在一些复杂场景下的识别能力有待提高。通过分析错误分类的样本，发现模型在极端光照情况下容易出错[6]。

调整了模型中的注意力机制参数，包括多头自注意力的头数和维度，以更好地捕捉图像中的局部和全局依赖关系，考虑到输电线路的类型多样，尝试引入了多尺度特征融合技术，通过融合不同层次的特征，使模型能够获取到更丰富的图像信息。

3 结束语

本文对基于深度学习的输电线路故障预测方法在检测时间和正确率等方面进行研究，提出的算法大大缩短了检测时间，并实现了94.2% 的正确率，这对于未来进行预测输电线路的故障至关重要。本研究证明了其算法在各种场景下的鲁棒性，在大部分场景下本算法都能有效识别和预测，这也得益于迁移学习和域自适应技术的应用，增强了模型的泛化能力。本研究综合运用了深度分离卷积、Transformer 注意力机制、多尺度特征提取等技术，为输电线路故障检测带来了技术创新。未来将关注针对不同缺陷类特点，优化调整计算策略，形成工程方法。随着研究的不断深入，将得到更多的应用和推广。