基于双向长短期记忆神经网络的配网电压异常数据检测

况 华, 何 鑫, 何 觅, 覃日升*, 姜 訸

(1.云南电网有限责任公司，昆明 650011；2.云南电网有限责任公司电力科学研究院，昆明 650217；3.云南电网有限责任公司昆明供电局，昆明 650011)

电力系统运行方式日益复杂，给电力系统安全稳定运行带来诸多困扰，也对调度中心提出了更高要求。数据可信是保障调度可靠性的重要前提，但由于自然环境、计量仪器等因素的影响，量测数据会出现异常，导致调度人员错误决策，对电力系统可靠性和经济性造成影响[1-2]。异常数据检测作为提高量测数据质量的重要方法，可为配电网调度决策提供可靠数据支持，对电力系统安全稳定运行十分重要[3]。

电力系统异常数据检测方法主要分为传统方法和智能方法，传统方法包括最大标准化残差、非二次准则等，智能方法主要为基于数据挖掘技术的聚类分析、神经网络等[4]。近年来，智能方法因能有效解决电力系统拓扑结构和网络参数未知场景而受到重视。基于数据挖掘的异常数据检测是通过算法挖掘隐藏在大量数据中的有用信息，识别不符合数据集的异常数据。聚类分析是数据挖掘的经典方法，常用来做异常数据检测[5-6]。文献[7]基于Spark运行框架，提出了并行K-means聚类算法对不良数据进行检测和辨识，提高了状态估计的速度和准确性。文献[8]先后通过并行化最小生成树方法和并行K-means方法对数据进行聚类来辨识异常数据，最后基于Spark框架设计径向基函数(radical basis function, RBF)神经网络对异常数据进行修正。文献[9]利用极限学习机提取数据特征，通过带有噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise, DBSCAN)算法进行特征识别，最终实现微电网异常数据检测。然而，聚类分析方法不能反映动态数据间的变化规律，且动态数据的正常值和异常值间的差距较小，因而对动态数据的检测效果不理想。神经网络方法是数据挖掘领域中的新突破，它具有处理海量数据的强大泛化能力，在异常数据检测方面应用潜力大。值得注意的是，长短期记忆(long short-term memory, LSTM)神经网络对时序数据有独特的记忆能力，被广泛应用于时序数据异常检测任务中[10-11]。文献[12]基于LSTM神经网络对原始量测数据进行分解重构，实现对不良数据的有效检测。文献[13]提出基于LSTM神经网络和滑动窗口对流数据进行异常检测。文献[14]利用LSTM神经网络提取时间序列的序列特征，结合全连接网络对异常用电数据检测。文献[15]基于集成LSTM神经网络对航天器遥测数据进行异常检测。然而，LSTM神经网络仅考虑正向序列信息，忽略了反向序列信息的作用，在实际异常数据检测场景中效果不够理想，因而双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)神经网络被提出运用到异常数据检测中。Bi-LSTM神经网络包含正向LSTM神经网络和反向LSTM神经网络，在LSTM神经网络的基础上，充分利用反向序列信息，挖掘序列信息间的联系，在异常数据检测方面优势明显。文献[16]基于Bi-LSTM神经网络对变压器故障进行诊断，充分考虑特征序列间的复杂关联关系，挖掘变压器监测数据的时序规律。文献[17]基于Bi-LSTM神经网络对船舶轨迹异常点进行检测，充分考虑轨迹点之间的运动关系，输出轨迹点的分类检测结果。但上述文献基于Bi-LSTM神经网络的检测方法是应用于有标签的数据，实际配网电压数据往往没有数据标签。

针对上述问题，为适用于实际配网电压数据的场景，并充分挖掘配网电压时序数据间的规律，提高配网电压异常数据检测效果，提出一种基于Bi-LSTM神经网络的配网电压无监督异常数据检测方法。利用Bi-LSTM神经网络处理时序数据的优势，构建时序数据预测模型，通过对比预测值和实际值的误差检测异常数据。最后，利用某实际配网电压数据验证所提方法的有效性。

1 异常数据检测方法

配电电压数据属于时序数据，其异常数据具有突然上升、突然下降等特点。异常数据检测主要分为有监督、半监督和无监督。

1.1 有监督异常数据检测方法

有监督异常数据检测方法需划分好数据标签，用分类算法进行数据分类，以此检测异常数据。常用分类算法有决策树、K近邻和支持向量机等，但分类算法在配电网中往往不太适用，因为数据本身存在噪声，且无法明确定义正常和异常，因而很难人为划分数据标签。此外，时序数据分类不同于其他数据，因为时序数据每个时间点不是独立存在的，其前后时间点联系密切。基于分类算法的有监督异常数据检测方法主要检测数据在空间上的离散点，忽视了数据时序特性，导致分类算法难以找到合适的划分边界[18]。

1.2 半监督异常数据检测方法

半监督异常数据检测方法本质上是通过少量有标签数据引导大量无标签数据进行异常检测。该方法仍需划分好少量数据标签，存在和有监督异常数据检测方法一样的缺点，实际难以满足该前提，应用范围有限。

1.3 无监督异常数据检测方法

无监督异常数据检测方法不需提前对数据划分标签，克服了人为划分数据标签困难，比有监督异常检测方法更实用，更符合实际应用情况。无监督异常数据检测方法主要有以下几种。

1.3.1 基于统计的异常数据检测方法

在统计学中，异常数据不属于特定族群的数据点，是与其他值相距甚远的观测值。基于统计的异常数据检测方法假设数据服从某种分布，如高斯分布、韦布尔分布、指数分布等，并比较待检测数据是否符合该分布，若不符合，则判断为异常数据。这种方法检测过程相对简单、处理速度较快，但高度依赖数据统计分布假设是否成立，应用范围有限。

1.3.2 基于聚类的异常数据检测方法

基于聚类的异常数据检测方法是将数据聚为多个类，将与类中心比较远的某个数据或数据量较少某类判断为异常数据，因为通常数据集中异常数据远少于正常数据。当数据集中的正常数据和异常数据的值相差不明显时，该方法检测效果不理想，且该方法也没有考虑数据的时序特性。

1.3.3 基于预测的异常数据检测方法

基于预测的异常数据检测方法是先训练模型，然后通过训练好的模型对数据进行预测，如果预测值与实际值之间误差较大，说明数据不符合正常数据分布规律，判为异常数据[19]。该方法需构建准确预测模型，预测待检测时刻的数值，通过对比预测值与实际值之间误差是否超过阈值检测异常数据，不仅能找出空间上的异常数据，也能找出时序上偏离正常分布规律的异常数据。

2 Bi-LSTM神经网络模型

2.1 LSTM神经网络的数学模型

LSTM神经网络是循环神经网络(recurrent neural network, RNN)的变形结构，其结构如图1所示。

图1 LSTM神经网络结构

RNN能处理的时序信息范围有限，当面对时间序列较长的信息时，容易出现梯度消失问题。因此，LSTM神经网络在原RNN隐含层单元基础上设计了遗忘门、输入门和输出门，通过这些门结构判断哪些输入信息该遗忘和保留，从而记住长序列的信息，避免RNN的梯度消失问题。

首先，LSTM神经网络通过遗忘门决定遗忘哪些信息，遗忘门会读取当前细胞的输入xt和上一个细胞的信息ht-1，通过式(1)决定遗忘门的输出。

ft=σ(Wf[ht-1,xt]+bf)

(1)

式(1)中：ft为遗忘门的输出；ht-1为上一个细胞的输出；xt为当前细胞的输入；σ为sigmoid激活函数；Wf和bf分别为遗忘门的权重和偏置。

然后，通过输入门决定让多少新的信息进入细胞状态中，可表示为

it=σ(Wi[ht-1,xt]+bi)

(2)

式(2)中：it为输入门的输出；Wi和bi分别为输入门的权重和偏置。

此时，细胞的状态更新为Ct，如式(3)所示：

Ct=Ct-1ft+ittanh(Wc[ht-1,xt]+bc)

(3)

式(3)中：Ct-1为上一个细胞的状态；tanh为激活函数；Wc和bc分别为状态的权重和偏置。

最后，输出门的输出ot和细胞状态Ct相乘，得细胞的最终输出ht，可表示为

(4)

式(4)中：ot为输出门的输出；Wo和bo分别为输出门的权重和偏置。

2.2 Bi-LSTM神经网络模型

Bi-LSTM神经网络由两个LSTM神经网络组成，一个是正向LSTM神经网络，利用过去信息；一个是反向，利用未来信息。因此，Bi-LSTM神经网络可同时利用过去时刻和未来时刻信息，在处理时间序列问题上，具有很大的优势。Bi-LSTM神经网络的结构如图2所示。

图2 Bi-LSTM神经网络结构

图2中，实线表示正向LSTM神经网络的运算过程，虚线表示反向LSTM神经网络的运算过程，其表达式为

(5)

将正向LSTM神经网络和反向LSTM神经网络拼接在一起，即可得Bi-LSTM神经网络的输出，其表达式为

(6)

式(6)中：g为激活函数；yt为Bi-LSTM神经网络的输出；U和c分别为相应的权重和偏置。

2.3 检测流程

利用Bi-LSTM神经网络，构建配网电压异常数据检测模型，通过对比模型预测值和配网电压实际值检测异常数据，若模型预测值与配网电压实际值相近，则表明该数据为正常数据；反之，若两者相差甚远，则被判定为异常数据。所提方法的流程图如图3所示。具体步骤如下。

图3 所提方法的流程图

步骤1 将数据样本做归一化预处理，按8∶2的比例划为训练集和测试集。

步骤2 构建Bi-LSTM神经网络模型，输入训练集进行训练。

步骤3 向训练好的Bi-LSTM神经网络模型，输入t-1、t-2时刻的实际数据值xt-1和xt-2，得t时刻的预测值yt，以此类推。

步骤4 计算待检测时刻的预测值与实际值的误差，t时刻的误差记为st，待检测时刻的误差序列记为集合S。

步骤5 通常模型预测误差不可避免，其由很多不可预料的影响因子组成，在大多数定理下，多种不可预料的影响因子叠加在一起，模型预测误差服从高斯分布[20]。因此，将集合S建模为服从均值为μ和标准差为σ的高斯分布。均值μ和标准差σ计算公式分别为

(7)

(8)

式中：m为集合S的个数；st为t时刻预测值与实际值的误差。

步骤6 根据高斯分布的3σ原则，集合S落入(μ-3σ,μ+3σ)区间的概率为99.74%，因此设定检测异常数据的阈值为3σ，即当t时刻的误差st大于3σ时，t时刻的数据记为异常数据；反之，记为正常数据。

步骤7 计算检测结果。

3 实例验证

3.1 数据集

采用某实际配网的电压数据作为数据集，为验证所提方法的普适性，选取3个电压数据集进行实验，每个电压数据集分别记为A、B和C。在每个数据集选取1 000个数据，按8∶2的比例划分训练集和测试集，即训练集为800个，测试集为200个。为验证所提方法的有效性，在测试集样本中加入10%的异常数据，即加入20个异常数据。注意：在测试集中随机抽取20个正常数据，并加上1%～3%噪声，形成异常数据。

3.2 评价指标

配网电压异常数据检测属于二分类问题，可根据实际情况和检测情况，将检测结果分为TN(true negatives)、FP(false positives)、FN(false negatives)和TP(true positives)，具体如表1所示。

如表1所示，TN指实际为正常且检测为正常的数据个数；FP指实际为正常且检测为异常的数据个数；FN指实际为异常且检测为正常的数据个数；TP指实际为异常且检测为异常的数据个数。

表1 检测结果说明

这里采用准确率(Accuracy)、召回率(Recall)、辨识率(Precision)和F1分数作为评价指标。准确率指检测正确的样本数占所有检测样本的比值，其值越大，表明检测效果越好，其计算公式为

(9)

召回率指正确检测出来的异常数据个数与实际异常数据个数的比值，由式(10)计算。辨识率指正确检测异常数据个数与被检测出来异常数据个数的比值，由式(11)计算。理想情况下，召回率和辨识率越

大，检测效果越好。但有些情况下二者是矛盾的，召回率大而辨识率小，或召回率小而辨识率大。

(10)

(11)

F1分数同时考虑了召回率和辨识率，是召回率和辨识率的调和平均数，其值越大说明检测效果越好，其计算公式为

(12)

3.3 实验设置

建立Bi-LSTM神经网络预测模型，包括Bi-LSTM层和全连接层，其中：Bi-LSTM层设置50个隐藏神经元，网络学习算法采用Adam优化算法，最小训练批次为50，总迭代次数为100。基于TensorFlow深度学习框架，在PyCharm集成开发环境上编写计算程序。计算环境为：计算机CPU为Core i7-10700，主频为2.90 GHz，内存为16 GB，操作系统为Windows 10(64 bit)。

3.4 实验结果与分析

为验证所提方法的有效性，针对数据集A、B、C，将所提方法与决策树、K近邻、支持向量机和LSTM神经网络4种方法进行比较，异常数据检测结果如图4所示。

由图4可见，Bi-LSTM和LSTM神经网络比决策树、K近邻和支持向量机检测出的异常数据更多，这是因为Bi-LSTM和LSTM神经网络考虑了配网电压的时序特性。由图4(b)、图4(c)可见，Bi-LSTM神经网络比LSTM神经网络检测出更多异常数据，这是因为与LSTM神经网络相比，Bi-LSTM神经网络考虑了配网电压反向时序信息。

*表示异常点；D表示决策树；K表示K近邻；S表示支持向量机；L表示LSTM神经网络；B表示Bi-LSTM神经网络

为更全面地展示所提检测方法性能的优势，从准确率、召回率、辨识率和F1分数等性能指标进行比较，如表2所示。

由表2可知，Bi-LSTM和LSTM神经网络在准确率、召回率、辨识率和F1分数均优于决策树、K近邻和支持向量机方法的检测效果。决策树、K近邻和支持向量机3种方法的辨识率和F1分数均较小，说明这些方法将正常数据误检为异常数据，主要原因在于：配网电压数据具有时序相关性，但决策树、K近邻和支持向量机3种有监督检测方法仅利用电压本身的特征信息，没有考虑相邻时刻电压信息的时序相关性，因而很难正确检测正常数据和异常数据。然而，Bi-LSTM和LSTM神经网络均考虑了相邻时刻电压信息的时序相关性，适合时间序列数据检测，因而各项指标均较高。

表2 数据集A、B、C下不同指标对比

由表2的数据集A和数据集C可知，与LSTM神经网络辨识率接近1相比，Bi-LSTM神经网络的辨识率均为1，因而LSTM神经网络存在误检测情况，而Bi-LSTM神经网络没有将正常数据误检为异常数据；由数据集B和数据集C可知，Bi-LSTM神经网络的召回率比LSTM神经网络大，说明Bi-LSTM神经网络能检测出更多异常数据；Bi-LSTM神经网络的准确率和F1分数均比LSTM神经网络大，因而Bi-LSTM神经网络的检测效果更好。

4 结论

提出一种基于Bi-LSTM神经网络的配网电压无监督异常数据检测方法，适用于实际配网电压数据的场景，并可以充分挖掘配网电压时序数据间的规律。利用Bi-LSTM神经网络构建预测模型，对配网电压进行预测，通过对比预测值与实际值的误差检测异常数据。得出如下主要结论。

(1)与决策树、K近邻、支持向量机3种检测方法相比，Bi-LSTM神经网络克服了仅利用电压本身特征信息的局限性，同时考虑了相邻时刻电压信息的时序相关性，因而更适合具有时序相关性数据检测。

(2)与LSTM神经网络相比，Bi-LSTM神经网络在考虑正向序列信息的基础上引入反向序列信息，深入挖掘时序电压信息间的规律，能更好地处理了正常数据和异常数据在时间序列的差异性，提高了配网电压异常数据的检测效果。