基于判别式深度置信网络的智能电缆隧道缺陷检测技术研究

黄振宁，赵永贵，许志亮，温飞，张成

（1.国网山东省电力公司，山东济南 250000；2.国网山东省电力公司临沂供电公司，山东临沂 276000；3.国网山东省电力公司青岛供电公司，山东青岛 266000；4.山东科华电力技术有限公司，山东济南 250101）

随着我国经济的快速发展，电力网络也在不断完善。由于电力资源分布与经济发展水平的不平衡，远程电力运输也成为了一个必然选择[1]。近年来，电缆隧道化布局作为新的发展趋势，其能够适应大容量、长距离密集输电的要求，但也给电缆检测带来了一系列困难。因此，智能电缆隧道缺陷检测也成为了一个新的研究方向[2-3]。

针对电缆隧道缺陷特性，文献[4]提出了基于巡检图像的电缆缺陷检测方法；文献[5]基于机器视觉算法对结构表面的缺陷进行检测；文献[6]提出利用深度学习进行表面缺陷检测。上述方法均在一定程度上利用图像信息来进行缺陷检测，然而在对检测准确率的提高以及缺陷种类的判别等方面仍存在较多不足。

为了进一步提高缺陷检测准确率，文献[7-10]提出利用卷积神经网络进行训练，从而有效识别物体表面缺陷；文献[11-12]利用拓展支持向量机实现网络训练与缺陷判别；文献[13-15]采用判别式深度置信网络方法进行心电图异常判别。此外，文献[16]也将判别式深度置信网络方法用于医学诊断领域，并取得了一定的研究成果。但该研究领域较为局限，且效果也有待提高。

针对研究现状与电缆隧道缺陷检测的实际需求，该文提出了基于判别式深度置信网络的缺陷检测技术。通过提取电缆隧道图像并进行子块分割，将其作为深度置信网络的训练集。然后以三层深度的神经网络为模型，并利用贪婪算法进行无监督判别。采用梯度下降法对网络进行反向监督训练提高了判别精度，文中仿真结果表明，所提算法的电缆缺陷检测能力优于现有算法，且对于多类别缺陷均有较好的适用性。

1 算法框架

该文提出基于判别式深度置信网络的智能电力隧道缺陷检测技术，其通过智能设备采集电缆隧道图形，并进行特征训练匹配。该算法的流程框图如图1 所示。

图1 判别式深度置信网络缺陷检测流程框图

基于判别式深度置信网络的缺陷检测技术主要包括两个部分，即模型训练和特征匹配。

其中，模型训练包括采集训练图像、建立DDBNs模型、特征提取与训练等步骤。其通过智能设备采集电缆隧道图像，建立各类电缆隧道缺陷数据库，并利用DDBNs 网络进行特征提取与训练，从而完成缺陷模型库的构建。

而特征匹配是在完成缺陷模型库训练之后，通过采集电缆隧道待检测图像并进行子块分割以适应于算法模型要求。然后将图像子块与模型库进行特征匹配，并通过最优模型判别以实现缺陷检测。

该算法框架中，最核心的部分为深度置信网络的构建，DDBNs 网络训练的结果将直接影响最终的缺陷检测效果。

2 网络模型构建

该文采用的深度置信网络的深度为三层，前两层采用受限波尔兹曼机GRBM 模型，后一层采用判别式受限波尔兹曼机DRBM 模型。该文构建的模型示意图如图2 所示。此外，可见层输入子块维度以及判别的类别标签数量可根据需求调整。

图2 判别式深度置信网络模型构建示意图

GRBM 模型属于随机生成神经网络的一种，可用于提取样本特征。该模型采用无监督学习方法，并获得深度置信网络的形态特征。深度置信网络中包含隐藏层与可见层，任意一层中不同神经元之间无连接。同时，GRBM 模型又分为二元输入和实值输入两种：第一层为实值输入，第二层为二元输入。

第一层与第二层GRBM 模型的能量函数定义分别为：

其中，wij表示可见层与隐藏层之间的权值参数；bi、cj分别表示可见层和隐藏层的神经元偏置量；σi表示vi的标准差；n和m分别表示可见层与隐藏层的单元数量；vi表示可见层神经元，hj表示隐藏层神经元。

对于第一层GRBM 模型，可见层和隐藏层的条件概率如下所示：

式中，δ表示Logistics 函数，其定义为：

第二层GRBM 模型的可见层和隐藏层条件概率如下所示：

不同于GRBM 模型，DRBM 模型主要是对数据进行特征提取及分类。相较于传统深度学习算法，其在最后一层加上了分类器，从而有效提升算法的效率与分类准确度。DRBM 模型如图3 所示。

图3 DRBM模型

3 网络模型训练

DDBNs 网络模型训练主要包括预训练与反向监督微调。预训练采用对比散度算法，通过最大化训练样本的似然度：

其中，θ1,2表示样本的似然度。

DDBNs 网络模型训练采用贪婪分层算法逐层进行无监督训练，并将每层训练的结果作为后一层的输入，以此获得样本特征。而最后一层通过有监督学习，利用后验概率判别样本的分类。

为了提高网络模型训练的精度，在预训练完成后将DDBNs 网络与Softmax 回归层相结合，构成DNN 网络再执行判别，并进行反向训练直至收敛。其结构示意图如图4 所示。

图4 DNN模型结构示意图

图中的Softmax单元是一种适合于多类别分类的回归模型，通常将其放于置信网络的最后一层以提高网络分类精度。该回归模型的结构如图5所示。

图5 Softmax层模型的结构

图5 中，fm表示由DDBNs 网络最后一层训练的特征向量，yk表示第k个类别样本。特征向量与类别样本可组合为m个训练样本，定义函数gj()fi表示特征向量fi属于类别j的概率，则有：

式（9）中，θk表示深度置信网络模型参数。将式（9）中的θk更新为θk-φ，则假设函数可更新为：

由式（10）可得，当深度置信网络模型参数变化时，其定义的损失函数不变，说明该网络模型存在冗余。为了去除模型冗余度，通过定义惩罚函数来进行训练：

式中，m表示训练样本数量，k表示样本类别数量，ζ(yi=j)为指示函数。

为了最小化损失函数，使用梯度下降法进行求解。对损失函数进行梯度求导：

式中，ψ(yi,j,fi,θ)定义为：

利用梯度求解计算惩罚函数的最小值，并迭代直至收敛。

信号正向传播中第l层的第j个神经元的激活函数为：

假设网络输出判别结果为Oj(n)，则判别误差可表示为：

在反向传播过程中，输出层与隐藏层之间的参数梯度为：

隐藏层与其他隐藏层或输入层之间的参数梯度为：

则权值更新为：

在网络模型训练过程中，计算置信网络判别结果与真实类别的误差并进行反向传导，且利用梯度下降算法修改网络模型参数。网络训练算法的具体步骤如下：

输入：神经元激活值xi；样本标签yj；权值wij；层数L；训练迭代次数N；判别结果Oj(n)。

1）根据式（14）计算激活函数；

2）根据式（15）计算标签判别误差；

3）根据式（16）和式（17）计算参数梯度；

4）根据式（18）更新权值；

5）若n=N，则结束；否则转到1），n=n+1；

输出：网络权值wij。

4 仿真验证与数据分析

为了评估文中提出的基于判别式置信网络的智能电缆轨道缺陷检测技术，通过对比所提算法与现有算法的检测正确率，同时分析多类型缺陷检测概率来说明所提算法的有效性。

从表1 中可以看出，组合分类和自适应阈值算法缺陷检测正确率较低；SVM 和神经网络算法通过学习与训练可在一定程度上提高检测正确率，但其漏检率较高；而所提算法在大幅提高缺陷检测正确率的基础上，同时还保证了误检率和漏检率均处于较低水平，验证了其具有更优的性能。

表1 不同算法电缆轨道缺陷检测率对比

如表2 所示，对于不同类型的电缆缺陷，该文算法均能进行有效检测，且误检率与漏检率满足常规的工程应用要求，同时针对划伤等具有重要隐患的缺陷检测率有进一步提高。对于多种缺陷类型的检测性能，说明所提算法具有较强的鲁棒性与适用性。

表2 不同缺陷类型下算法性能对比

5 结束语

该文提出了一种基于判别式深度置信网络的缺陷检测技术，以解决智能电缆轨道缺陷检测的实际需求。其通过构建多层深度置信网络来进行无监督训练，可有效实现多类型缺陷检测。相对于现有算法，该算法通过梯度下降法对网络模型参数进行反向监督训练，更快速地实现了网络收敛，且在较小样本的情况下仍具有更优的训练效果与较强的适用性。而通过改变网络深度和参数配置可进一步提高算法性能，这将有待后续的深入研究。