半监督阶梯网络和GAN在滚动轴承故障诊断的应用

丁 煦，王 栋，2，翟 华

（1.合肥工业大学工业与装备技术研究院，安徽 合肥 230009；2.合肥工业大学机械工程学院，安徽 合肥 230009）

1 引言

滚动轴承是旋转机械的重要组成部件，由于轴承工作环境恶劣，容易出现安装不当、润滑不良、转速过高等情况，导致滚动轴承发生故障［1］。因此，实现对滚动轴承故障的快速和精准定位，对提高旋转机械设备生产效率和安全可靠性的具有重要意义。

随着深度学习的发展，神经网络在滚动轴承以及机械装备的故障诊断方面有了很多的应用［2］。文献［3］利用动态学习率改进BP神经网络参数，提高对变速箱未知故障的诊断效果。文献［4］使用改进后的萤火虫神经网络加快神经网络收敛速度，并提高对滚动轴承故障诊断的分类效果。文献［5］提出一种基于卷积神经网络和多传感器融合的旋转机械故障诊断方法，降低训练过程中的过拟合，并在齿轮箱和滚动轴承的实验中获得良好的诊断效果。

但文献［6］指出这些研究要求用于智能诊断模型训练的机械监测数据：典型故障信息丰富、健康标记信息充足。但是，工程实际中监测数据很难满足以上要求，具体原因为：（1）价值密度低，虽然通过信号采集能够获得海量监测数据，但正常状态监测数据多，故障数据少，典型故障信息缺失；（2）可利用率低，装备运行过程中积累的海量监测数据很少拥有相应的状态标记。而工业数据的标记成本居高不下，导致无法使用监督学习模型训练智能诊断模型。寻找有效方法攻破这两个难题是旋转机械智能诊断落地的关键。

2014年，文献［7］受博弈论中二人零和博弈启发提出生成对抗网络（GAN）。这是一种容易理解且有效的模型，在图片合成领域取得了重大的成功，因此可以利用GAN生成多种工况下的信号，解决滚动轴承监测数据中故障数据量过少，即价值密度低的问题。此外，在2015年NIPS会议上，文献［8］提出半监督阶梯网络算法（Semi-Supervised Ladder Network）。半监督阶梯网络是降噪自编码器（Denoising Autoencoder）的衍生算法，该算法在降噪自编码器基础上提出在编码和解码通道隐层增加侧向连接，同时融合半监督学习，利用有标签和无标签数据共同训练分类模型。从Rasmus论文中的实验来看，在数据量充足的情况下可以解决工业实际中监测数据可利用率低，即缺少标签的问题。

这里针对滚动轴承监测数据价值密度低和可利用率低两大问题导致的深度学习模型因此无法很好地解决滚动轴承故障分类的情况，综合使用半监督阶梯网络和GAN，提出GAN-SSLad⁃der模型实现对滚动轴承故障诊断的半监督学习。通过对公开的滚动轴承数据集进行实验，验证了本方法可以达到较好的分类效果，更好地推动数据驱动滚动轴承故障诊断的发展。

2 相关算法

2.1 降噪自编码器

半监督阶梯网络是由降噪自编码器发展起来，而降噪自编码器是一种典型的无监督学习模型结构，如图1所示。

图1 降噪自动编码器示意图Fig.1 Denoising Autoencoder

原始信号x加高斯噪声ε后成为x，经历过编码神经网络f(⋅)和解码神经网络g(⋅)得到还原信号z，最终的要求是重构误差最小，信号经过编码后尽量保存所有信息。添加噪声可以增强模型的鲁棒性，减少过拟合的发生。其中重构误差可以用均方误差表达：

2.2 半监督阶梯网络

文献［9］在降噪自编码器的基础上提出了堆叠多个中间隐层，再加入节点侧向连接的阶梯网络。在此基础上，Rasmus融合监督学习和阶梯网络，提出半监督阶梯网络结构，如图2所示。其具有两个编码通道和一个解码通道，加噪编码通道每层添加高斯噪声，解码通道和加噪编码通道相连，无噪编码通道与加噪编码通道共享权值［10］。训练模型时，输入有标签数据和无标签数据，加噪编码通道中的有标签数据的输出与已有标签比较得到监督损失项；无噪编码通道中的隐层与解码通道隐层重构误差，形成无监督损失项。综合两种损失，使用反向传播训练模型。测试模型时，在无噪编码通道输入测试集数据，得到测试结果。

图2 半监督阶梯网络示意图Fig.2 Semi-Supervised Ladder Network

相对于降噪自编码器，半监督阶梯网络高层网络可以丢弃一些次要分类特征，注重于更抽象，对分类有决定性作用的主要分类特征，而底层网络可以通过侧向连接重构丢弃的次要特征。

2.2.1 编码通道

编码器通常使用多层感知机（MLP）构造，每次循环中，半监督阶梯网络两个编码通道同时输入包括一个批尺寸（batch）的有标签数据和一个批尺寸（batch）的无标签数据。在循环输入更新网络模型权值的过程中，有标签数据的数量M<<无标签数据的数量N。半监督阶梯网络加噪编码通道，每层都引入高斯噪声，增强鲁棒性。在最后一层使用分类函数，输出分类结果。具体结构为：

式中：x—输入信号；ε—高斯噪声；x—加入高斯噪声的输入信号；w(l)—(l-1)层至l层的权值矩阵；h(l-1)—(l-1)层经过激活函数的输出—l层经过线性变换的输入，并且还将被用于无监督损失函数中，z(l)是l层加入高斯噪声后的变量。NB(⋅)和式（6）组成了批标准化操作，NB(⋅)具体为：

式中：系数γ(l)和β(l)—可训练的每层批标准化修正系数；ϕ(⋅)—激活函数，其中，1层到(L-1)层采用的是ReLU函数，第L层选择softmax 函数用来分类。文献［11］表明批标准化可以通过减少协移来加速收敛，防止过拟合化。

半监督阶梯网络无噪编码通道除了每层不添加高斯噪声外，其余结构和加噪编码通道一致，具体结构为：

2.2.2 解码通道

相对于堆叠多层的降噪自编码器，半监督阶梯网络解码通道每个隐层除了能从上一层获得信息，也可以从加噪编码通道的同层得到信息，这种设计也就实现重构编码通道的高层网络舍弃的细节信息，具体结构为：

式中：Vl+1—(l+1)层至l层的权重矩阵，其与编码器上权重矩阵Wl+1的转矩阵置尺寸相同。

不同于传统自编码器中的降噪函数，gi(⋅)是针对每个神经元的操作。式中和都是（1×4）的权重向量是（1×1）的权重向量，也就意味着每个隐层神经元的计算都是一个有包含9个参数的MLP网络。

2.2.3 损失函数

半监督阶梯网络的损失函数由训练监督损失项C1和无监督损失项C2组成［12］。监督损失项C1为加噪编码通道中有标签数据的输出和标签t(n)的交叉熵，即：

无监督损失项C2是每个隐层的均方重构误差，选择zlpre为降噪目标，具体结构如下：

式中：λl—l层损失函数的权重；N—训练样本的总数；ml—l层的宽度，即l层的神经元个数。设计的目的是减少由批标准化操作给zl和zl带来的高度相关的偏置噪声。综上，半监督阶梯网络的总损失函数为：

模型的所有参数都可以通过反向传播训练，训练结束后，往无噪编码通道输入待测数据，即可得到预测结果。

2.3 生成对抗网络

生成对抗网络（GAN）由生成网络（Generator，G）和判别网络（Discriminator，D）组成，是一种典型生成模型结构，如图3所示。生成网络能够学习真实数据的潜在分布，生成数据样本；判别网络是一个二分类器，判别输入是真实数据还是生成样本。两种网络均可以用多种神经网络构成。模型的优化是“二元极小极大博弈”过程，训练时固定其中一方，更新另一个模型的参数，交替训练，最终两者达到纳什均衡［13］。

图3 生成对抗网络示意图Fig.3 Generative Adversarial Network

训练步骤如下：

（1）高斯噪声经过生成网络得到生成样本，真实数据和生成样本再一同输入判别网络，判别网络的最后一层激活函数为sigmod函数，此时真实数据的标签为1，噪声产生的样本对应的标签为0，此时即为一个有监督的二分类问题。保持生成网络的权值不变，通过反向传播可以更新判别网络中的权值，从而达到判别网络有区分真假的能力。损失函数J(D)为交叉熵函数：

式中：G(z)—生成样本；D(x)和D(G(z))—真实数据和生成样本经过判别网络的输出；y—标签。

（2）单独输入噪声信号，经过生成网络和保持权值不变的判别网络，对应的标签设置为1，反向传播训练生成网络的权值使得已经有一定分辨能力的判别网络“信以为真”，从而达到生成网络能够学习到真实数据分布的能力。损失函数J(G)为交叉熵函数：

式中：G(z)—生成样本；D(G(z))—生成样本经过判别网络的输出；y—标签。

（3）交替迭代训练，生成网络的目标是在判别网络的监督下，生成“以假乱真”的样本，而判别网络的目标就是尽量辨别生成网络生成的样本和真实信号。文献［14］指出生成网络和判别网络的损失函数等价于：

总体的损失函数为：

式中：z—输入生成网络的高斯噪声；G(z)—生成网络的输出；Pdata—真实信息的概率分布；Pz—噪声的概率分布；D(x)和D(G(z))—判别网络对真实信息和生成信息的判断结果。因此问题变成了寻找一个V(D，G)使J(D)和J(G)都尽可能小，定义为：

理想状态下，生成网络和判别网络会得到一个纳什均衡点，对于“以假乱真”的生成样本，判别网络无法判定是否真实，即D(G(z))=0.5。

2.4 GAN-SSLadder模型

鉴于生成对抗网络（GAN）优异的生成效果和半监督阶梯网络（Semi-Supervised Ladder Network）在少标签情况下较好的分类效果，这里提出结合二者特点的GAN-SSLadder 模型，尝试使用GAN拓展训练数据集，提高半监督阶梯网络在训练集数量少情况下的分类效果。对应GAN-SSLadder模型，如图4所示。

图4 GAN-SSLadder模型的示意图Fig.4 Flow Chart of GAN-SSLadder Model

可以将上述模型表述成以下几个必要的步骤：

（1）将实验数据预处理，为不同情况下的数据打上相应标签。

（2）针对不同标签的数据，分别使用GAN拓展相应标签下的数据集。

（3）将数据集分成训练样本集和测试样本集，并使用训练集数据训练半监督阶梯网络。

（4）使用测试集评估GAN-SSLadder模型故障诊断效果。

3 仿真实验

3.1 故障诊断实验数据

滚动轴承实验数据来自于美国西储大学电气工程实验室的轴承数据中心［15］。型号为SKF6205-2RSJEM的滚动轴承在不同位置使用电火花加工故障，再进行定转速试验，获得正常运行、内圈故障、外圈故障、滚子故障等四种状态数据。详细信息，如表1所示。

表1 滚动轴承振动信号参数表Tab.1 Rolling Bearing Vibration Signal Parameter

3.2 仿真环境

使用Tensorflow 搭建和训练GAN-SSLadder 模型。Tensor⁃flow是一个由谷歌开发的开源机器学习框架。工作站选择配置为NVIDIA Jetson TX2，工作环境为Ubuntu18.0和Tensorflow 1.5。

3.3 半监督阶梯网络实验

将四种状态下的轴承数据处理进行预处理，规模大小如表1中规模所示，最终得到5120条1024维的振动数据，并为这些数据打上“one-hot”标签。做一组对比实验：

实验1：随机选取128条数据作为训练集和剩余数据中1436条数据作为测试集。监督学习网络和半监督阶梯网络中无噪编码通道网络参数一致，使用训练集训练监督学习网络。

实验2：随机选取3684条数据作为训练集，剩余1436条数据作为测试集。训练集中仅有128 条数据有标签，其余数据无标签。使用训练集训练半监督阶梯网络。

神经网络模型模型的训练效果主要由测试集数据诊断准确率［16］表示，实验1和实验2测试集准确率变化曲线，如图5所示。由图5可知，训练刚开始，两个实验测试集故障识别准确率均约为25%左右，实验1训练稳定后的准确率为45%，实验2训练稳后的准确率为60%。由此可见，随着不断训练，两个实验的模型分类效果都会有所提高，半监督阶梯网络可以在较少标签的条件下有效提高轴承故障诊断的准确率，但是仍然不能满足机械故障诊断的要求。Rasmus的论文中针对mnist数据集［17］，仅用100条有标签数据训练半监督阶梯网络实现测试集90%以上的准确率。其中mnist数据量达到6万个，因此尝试使用生成对抗网络扩充数据集，使用GAN-SSLadder 模型完成在标签少，数据量小情况下的滚动轴承故障诊断。

图5 实验1和2准确率曲线图Fig.5 Accuracy Curve of Experiment 1 and 2

3.4 GAN-SSLadder模型实验

根据GAN-SSLadder模型，首先使用GAN扩充数据集，过程如图6 所示。生成网络输入一个batch*100 规模的噪声信号矩阵，输出一个batch*1024规模的生成信号矩阵，再与一种轴承信号的batch*1024规模的真实信号矩阵合并输入判别网络。生成信号的输出结果和batch规模的值全为0的矩阵比较，真实信号的输出结果和batch规模的值全为1的矩阵比较，计算损失值，根据损失值优化判别网络参数。判别网路参数不变，生成网络输入一个batch*100规模的噪声信号矩阵，输出一个batch*1024规模的生成信号矩阵进入判别网络，输出结果和batch规模的值全为1的矩阵比较，计算损失值，反向传播优化生成网络参数。交替训练，判别网络的损失曲线，如图7所示。最终在0.5左右，说明生成信号“以假乱真”。利用生成对抗网络将每种状态信号扩充为5120条，总共有20480条1024维轴承信号，利用扩充后的数据集完成实验3。

图6 GAN扩充滚动轴承信号流程图Fig.6 Flow Chart of Extend Rolling Bearing Signal Based on GAN

图7 判别网络损失曲线Fig.7 Curve of Discriminative Loss

实验3：随机选取14336条数据作为训练集，剩余6144条数据作为测试集。训练集中仅有128条数据有标签，其余的是无标签数据。使用训练集数据训练半监督阶梯网络模型。测试集准确率变化曲线，如图8所示。由图8可知，实验3迭代（4×103）次后的准确率稳定为95.5%。由此可见，GAN-SSLadder模型在标签少，数据量小的情况下的滚动轴承故障诊断可以达到监督学习下轴承故障诊断的效果［18］。

图8 实验3准确率曲线图Fig.8 Accuracy Curve of Experiment 3

4 结论

这里针对使用深度学习解决滚动轴承故障诊断的问题中数据存在价值密度低和可利用率低两个问题，提出基于半监督阶梯网络和生成对抗网络建立GAN-SSLadder模型，可以实现在标签少和数据量小情况下对滚动轴承故障的精准识别。实验结果表明：（1）针对工程实际中标签数据少的情况，使用半监督阶梯网络可以有效提高滚动轴承分类的准确率。（2）针对工程实际中故障数据少且数据量小的情况，使用GAN-SSLadder模型可以达到监督学习对滚动轴承故障诊断的水平。