基于受限玻尔兹曼机的变压器故障分类

许 静，朱永利

（华北电力大学 控制与计算机工程学院，河北 保定 071003）

基于受限玻尔兹曼机的变压器故障分类

许 静，朱永利

（华北电力大学 控制与计算机工程学院，河北 保定 071003）

基于受限玻尔兹曼机可作为非线性分类器独立解决分类问题的特点，构建了分类受限玻尔兹曼机模型，并对其分类性能运用数据集进行测试。结合变压器油中溶解气体监测数据，提出了基于受限玻尔兹曼机变压器故障诊断分类新方法，综合使用油中溶解气体的分析结果作为分类属性，对提出的新方法进行实例测试，结果表明，该方法适用于电力变压器故障诊断分类，不仅在大量无标签样本中提取特征的能力较强，其分类性能优于BP神经网络和支持向量机分类方法。

电力变压器；故障诊断；受限玻尔兹曼机；分类；油中溶解气体

0　引言

电力变压器是电网中最重要的设备之一，如果变压器发生故障势必引起局部甚至大面积的停电，造成巨大的经济损失，也会对人民生活造成不便。随着传感器技术、计算机技术的不断发展，电力变压器的监测与检测装置使用逐渐广泛，监测到的数据也越来越多，如何利用大量监测数据进行分析，并对变压器状态进行准确的判断也变得尤为重要。

电力变压器油中溶解气体分析（Dissolved Gas-in-oil Analysis，DGA）是变压器故障诊断的一种有效方法。DGA易于带电，对过热和放电故障敏感有效，不受外界电场和磁场的影响。DGA最大优点是无需停运变压器，并且可以查明变压器发生的早期内部故障［1-3］。基于此，形成了特征气体法、三比值法、改良三比值法等传统诊断方法。但传统诊断方法存在编码界限过于绝对、缺编码等主要问题，于是人工神经网络［4］（Artificial Neural Network，ANN）、极限学习机（Extreme Learning Machine，ELM）以及支持向量机（Support Vector Machine，SVM）等人工智能方法相继被提出和运用。然而ANN存在易陷入局部最优、易震荡且收敛速度慢等问题；ELM虽然训练速度快，但是稳定性较差；而SVM因其实质属于二分类算法［5，6］，在多分类问题上表现出分类效率低的缺点。

2006年Hiton教授等人提出深度信念网络［7-9］（Deep Belief Net，DBN），并给出该算法的基本框架。由于多层RBM构成的DBN能够提取更抽象的特征而被广泛应用于解决不同的机器学习问题［10-14］，如分类、降维、图像特征提取以及协同过滤等等。

然而，RBM在应用于不同的机器学习问题时，通常是将RBM看作一种特征提取器。Larochell［15］教授等人认为RBM不仅可以作为特征提取器，还可以作为独立的非线性分类器，直接用于解决分类问题，并提出了判别受限玻尔兹曼机（DiscriminativeRestrictedBoltzmannMachines，DRBM），并且这种方法成功的应用于分类问题中，但尚未见其应用于变压器故障诊断。

鉴于此，本文首先构建分类受限玻尔兹曼机（Classified Restricted Boltzmann Machine，CRBM）模型，将RBM直接用于解决分类问题，并使用I-ris分类数据集对其分类性能进行验证。然后结合电力变压器的DGA数据特征以及故障类型，提出了基于分类受限玻尔兹曼机的电力变压器故障诊断分类新方法，该方法利用工程现场采集到的大量无标签样本进行预训练，使用少量标签样本进行微调，通过使用无标签样本有效解决电力变压器故障诊断分类问题，提高变压器故障诊断分类准确率。最后，通过工程实例对该方法进行测试，并与基于SVM与BP神经网络（BP Neural Network，BPNN）故障诊断方法进行分析对比。

1　受限玻尔兹曼机

1.1RBM

RBM是一类无自反馈且对称连接的随机神经网络模型，层内无连接，层间全连接。RBM具有两层结构，如图1所示。v为可见层，h为隐含层，w为两层之间的连接权值。以一层RBM为例介绍训练过程。

图1　RBM结构

若一个RBM可见层包含有n个可见单元，隐含层包含m个隐单元，向量v和向量h可以分别表示可见单元和隐单元的状态，其中vi代表第i个可见单元的状态，hj代表第j个隐单元的状态。对任意的i，j，vi，hj均满足二值分布，即i，j，vi∈｛0，1｝，hj∈ ｛0，1｝，RBM所具有的能量定义为

式中:θ=｛wij，ai，bj｝为RBM的实数参数；wij为可见单元i与隐单元j之间的权值；ai为可见单元i的偏置；bj为隐单元j的偏置。（v，h）的联合概率分布为

Z（θ）为配分函数。由于RBM的特殊结构，可知:给定可见单元状态，隐单元的状态是彼此条件独立的。因此，第j个隐单元的概率为

为了拟合给定的训练数据，需要求出参数θ的值，这也是学习RBM的主要任务。假定样本训练集包含T个样本，参数θ通过最大化RBM在训练集上的对数似然函数求得，其中关键步骤是计算logP（v（t）∣θ）关于参数θ的偏导，即

式中: ＜.＞P表示求分布P的数学期望；logP（h∣ v（t），θ）表示可见单元为已知训练样本 v（t）时；隐层的概率分布；P（v，h∣θ）表示可见单元与隐单元的联合分布。

假定只有一个训练样本，分别用 “data”和“model”来简记概率分布logP（h∣v（t），θ）和联合分布P（v，h∣θ），则对数似然函数连接权值Wij、可见层单元偏置ai与隐含层单元偏置bj的偏导数分别为

RBM可以通过对比散度（Contrastive Divergence，CD）算法对整个模型进行训练，然后通过传统的BP算法对模型进行调优，使模型达到局部最优状态。这种方法也就是比较著名的逐层贪婪训练法。这种训练方法不仅解决了训练速度慢的问题，而且能够找到较好模型参数初始值。

1.2DRBM

DRBM是基于RBM提出的一种可作为独立的非线性分类器。比RBM多一个分类单元y∧。结构如图2所示。

图2　DRBM结构

以图2一层 DRBM为例介绍其训练过程，DRBM能量定义为

式中:sigm为sigmoid的函数。给定隐单元状态，目标分类的条件概率分布

因为DRBM本身是基于RBM提出的模型结构，所以CD算法依旧可以训练DRBM来解决分类问题。通过CD算法求得参数

式中:λ为学习速率。

2　分类受限玻尔兹曼机

2.1CRBM

本文构建了CRBM模型，其底部由多层RBM堆叠而成，顶部增加DRBM分类器作为分类层，输出分类结果，模型如图3所示。

图3　CRBM结构

CRBM用于多问类问题时，训练过程与RBM一样，每层RBM的任务是用来完成输入特征的抽象表示。无监督学习的深层模型是通过自下而上的训练过程构成。预训练过程采用无标签样本作为模型输入，通过CD算法先对底部若干RBM进行训练，分类层的DRBM作为最后一步训练，然后完成整个框架的参数初始化。预训练完成后，采用少量标签样本通过BP算法对整个框架进行局部微调，从而达到全局最优。顶层DRBM的主要训练是通过添加偏置值和相应的参数值到能量函数，为解决无监督学习分类问题而提供独立架构。

2.2CRBM性能分析

用构建的CRBM对典型的数据集Iris进行分类，w、W、U、a、b、c、d初始化为随机选取的最小数值，且服从高斯分布，学习速率初始化为0.1。

将采用构建的CRBM模型、BPNN及SVM对Iris数据集进行测试。CRBM模型中，CRBM层数取6；BPNN训练最大迭代次数为2 000，初始化的学习速率为0.01；SVM核函数参数取0.5，规则化系数取500。三种方法在不同训练集上的分类结果如表1所示。

表1　三种方法的分类情况

从表1中可以发现，训练集样本数偏少时，三种方法的分类结果平均正确率相差很小，但训练集样本数目逐渐增多时，CRBM的平均分类正确率高于BPNN和SVM。同时也表明CRBM模型适合解决分类问题。

3　基于CRBM的变压器故障分类

3.1基于CRBM的变压器故障分类建模

基于CRBM的变压器故障诊断分类模型是通过底部RBM将油色谱监测数据归一化后的特征气体值作为输入，经过每层RBM后，逐步提取有用的相关预测信息，即逐步提取特征的过程，最后被分类器DRBM分类。分类模型如图4所示。

图4　基于CRBM的变压器故障分类模型

3.2CRBM样本选取

在测试过程中为了保证能够得到足够多的样本，而且避免造成数据集偏斜，本文选取的油色谱在线监测数据样本均来自多个工程现场的变压器发生故障前后一段时间内所记录，且这些数据样本都是无标签样本，用于预训练。本文将在实验过程中收集到的少量变压器故障测试样本作为标签样本进行调优。

根据油色谱在线监测数据特点，选取H2、 CH4、C2H6、C2H4、C2H2、CO、CO27种气体作为CRBM的输入。由于各工程现场使用变压器型号不同，导致DGA数据差异较大，为了减小这种差值带来的计算误差，采用式（17）对各样本气体进行归一化处理，保证故障诊断正确率。

式中:Xnew为归一化的气体含量值；X为气体初始含量值；X0为X中该气体含量的平均值；X1为X中气体含量的标准差值。

3.3变压器状态编码

在进行变压器故障诊断之前，要先对变压器可能的状态进行编码，变压器故障分类属于多分类任务，分类情况有6种，编码情况如表2所示。

表2　变压器状态编码

3.4基于CRBM的变压器故障分类方法实现

基于CRBM的变压器故障诊断分类方法实现过程如下:

（1）将归一化后的样本数据和选取的特征变量按照比例分为训练集和测试集。

（2）建立基于 CRBM的变压器故障分类模型。

（3）变压器状态编码。

（4）初始化模型参数。

（5）在训练集中，通过CD算法对模型底部的RBM以及顶层DRBM分类器采用的无标签样本开始预训练。

（6）在训练集中，通过BP算法对整个模型参数采用标签样本进行调优。

（7）对训练好的模型进行测试。

4　工程实例分析

本文采用多个工程现场的变压器发生故障的2 000组油色谱数据，其中1 600组数据作为预训练集，将其他400组数据按照4∶1的比例作为调优集和测试集。从以下两方面进行测试:

（1）RBM层数与故障诊断正确率的关系

在进行实验过程中，发现变压器故障诊断的平均正确率会随着模型层数的变化而变化，分别测试RBM层数从0到10的变压器故障诊断平均正确率，如图5所示。发现RBM层数到达4层时，当RBM层数在继续增加时，故障诊断平均正确率增长速率缓慢，平均正确率趋于最大值，但实际训练时，随着RBM的层数增加，训练的时间也会变大，综合考虑训练时间与变压器故障诊断平均正确率两个变量，在之后的测试中选RBM的层数为4层。

图5　不同RBM层数时故障诊断情况

（2）故障分类正确率与预训练集的关系

对不同预训练集进行测试，故障诊断正确率如表3所示。

表3　不同预训练集的变压器故障正确率情况

由表3可以看出，变压器故障诊断的分类正确率会随着预训练集的增大而不断升高。

对于浅层神经网络中，基于BPNN与SVM的变压器故障诊断分类方法，采用有标签的样本对其进行测试，测试不同训练集时，分类情况如表4所示。经过大量实测数据确定，BPNN的学习速率取0.01，最大迭代次数为1 600，SVM的规则化系数取2 048，核函数参数取0.03。

通过表3与表4的对比可以看出BPNN、SVM要远小于CRBM的训练集，这是因为BPNN与SVM的分类方法，在训练集达到一定时，准确率增长缓慢、趋于稳定；但训练集过大时，训练时间变长，所以BPNN与SVM的分类方法不适于解决样本较大的分类问题。而CRBM适用于解决较大样本数量的分类问题，并且准确率会随着样本数量的增大而逐渐提高。其次，基于CRBM的故障诊断分类方法比基于 BPNN，SVM的准确率更高。

5　结论

本文构建了CRBM分类模型，运用典型数据集对其分类性能进行测试，并将测试结果与BPNN和SVM进行对比分析后发现，该方法的分类正确率高于BPNN、SVM分类方法。提出基于CRBM的变压器故障诊断分类方法，采用无标签样本对模型进行预训练，克服了BPNN，SVM不能使用无标签样本训练的缺点，结合实例分析表明，CRBM比BPNN、SVM方法故障分类的平均正确率更高，而且基于CRBM的变压器故障诊断方法可解决大量无标签样本的分类问题，该方法随着预训练集的增大，其分类准确率增高，能够更好地满足工程需要。

［1］ 王致杰，徐余法，刘三明.电力设备状态监测与故障诊断［M］.上海:上海交通大学出版社，2011.

［2］ 边莉，边晨源.电网故障诊断的智能方法综述［J］电力系统保护与控制，2014，42（3）:146-153.

［3］ 李鹏鹏，彭显刚，孟安波，等.小波贝叶斯神经网络在冲击负荷地区短期负荷预测中的应用［J］.电力科学与工程，2012，28（11）:7-12.

［4］ 肖靓，王磊，陈雷，等.基于BP神经网络的STATCOM主回路故障诊断［J］.电力科学与工程，2015，31（3）:46-51.

［5］ 遇炳杰.基于极限学习机的变压器故障诊断［D］.保定:华北电力大学，2014.

［6］ 尹金良，朱永利，俞国勤.基于多分类相关向量机的变压器故障诊断新方法［J］.电力系统保护与控制，2013，41（5）:77-82.

［7］ 石鑫，朱永利，萨初日拉，等.基于深度信念网络的电力变压器故障分类建模［J］.电力系统保护与控制，2016，44（1）:71-76.

［8］ 张春霞，姬楠楠，王冠伟.受限波尔兹曼机［J］.工程数学学报，2015，32（2）:159-173.

［9］ BENGIO Y.Learning deep architectures for AI［J］. Foundations and Trends in Machine Learning，2009，2（1）:1-127.

［10］ BENGIO Y，LAMBLIN P，POPOVICI D，et al.Greedy layer-wise training of deep networks［J］.Advances in Neural Information Processing Systems，2007，19（8）: 153-170.

［11］ HINTON G E.A Practical guide to training restricted boltzmann machines［R］.UMTL Tech Report 2010-003.Toronto，Canada:University of Toronto，2010.

［12］ CHO K，RAIKO T，LLIN A.Enhance gradient for training restricted boltzmann machines［J］.Neural Computation，2013，25（3）:805-831.

［13］ MOHAMED A，DAHL G E，HINTON G.Acoustic modeling using deep belief networks［J］.IEEE Transactions on Audio Speech and Language Processing，2012，20（1）:14-22.

［14］ 刘凯，张立民，孙永威.基于遗传算法的RBM优化设计［J］微电子学与计算机，2015，32（6）:96 -100.

［15］ LAROCHELLE H，MANDEL M，PASCANU R，et al. Learning algorithms for the classification restricted boltzmann machine［J］.The Journal of Machine Learning Research，2012，13（1）:643-669.

Transformer Fault Diagnosis Classifying Based on Restricted Boltzmann Machine

XU Jing，ZHU Yongli
（School of Control and Computer Engineering，North China Electric Power University，Baoding 071003，China）

Restricted boltzmann machine（RBM）can be used as stand-alone non-linear classifiers，a classicified restricted boltzmann machines model is built，and used data set validate its classification performance.Based on RBM，a new transformer fault classification is proposed initially and tested，which is combined with the classified attribute of power transformer dissolved gas-in-oil analysis data.The experiment results show that it is suitable to classify the fault diagnosis of transformer.It is not only has strong ability to extract features and that performance of classification prevails that of back propagation neural net work and support vector machine methods.

power transformer；fault diagnosis；RBM；classification；gas-in-oil analysis

TM721

A DOI：10.3969/j.issn.1672-0792.2016.07.003

2016-04-08。

河北省自然科学基金（F2014505069）；国家电网基金（2014MS129）。

许静（1990-），女，硕士研究生，研究方向为人工智能在电力系统中的应用，E-mail:ncepuxujing@163.com。