基于深度残差LSTM 的视频异常行为识别算法

龚向阳，杨跃平，张明达，王思谨，江炯

（国网宁波市奉化区供电公司，浙江宁波 315506）

为保障电力系统的可靠、稳定运行，在输电网络的定期检修、故障抢修等运维过程中，需要运维人员进行登杆作业[1-2]。目前，运维人员登杆作业主要依赖于登高板、脚扣等辅助工作，依靠人力上下杆塔。随着人工智能、物联网技术的快速发展，有学者研究了自动登杆机器人，其用于辅助运维人员开展登杆作业，具有轻量便携、性价比高等优点[3-5]。

登杆作业过程的安全监督主要依赖于第三方人员现场监督的方式。若能在自动登杆机器人上安装视频图像采集传感器，并结合图像识别技术智能监督登杆作业过程，这将减少电网运维人力资源的投入，大幅降低工作安全风险，提升作业效率[6-10]。针对此问题，该文将深度残差网络、长短期记忆网络应用于智能登杆装置的安全监控系统，实现异常行为的识别，进一步提高电网运维的智能化水平。

1 智能登杆装置及安全监控系统

智能登杆装置能够替代传统的人力登杆方式，大幅度减少日常电力电网维护作业人员的体力消耗，提高作业舒适度，减少工作安全风险，提升作业效率。如图1 所示的智能登杆装置具有自动登杆、轻量便携、体积小巧、平滑可调、自动报锁等诸多优点，其核心功能主要包括：1）采用伺服控制技术，通过模块一体化动力伺服系统在实现自动登杆工具轻量化设计的同时，有效增加其负载能力和控制性能；2）通过基于传感器网络的多维感知信号融合算法为智能化自动登杆工具提供多重安全监测，提高运维人员作业的安全性；3）搭载高清云台摄像头，可在登杆作业过程中多视角地采集图像，记录作业过程便于回溯跟踪。同时配合基于深度学习算法的视频异常行为识别系统，可对违规作业行为进行监测。

图1 智能登杆装置

2 视频异常行为识别算法

2.1 卷积神经网络

随着人工智能技术的发展，神经网络技术在生物、医疗、经济等领域逐步应用广泛。但传统神经网络在处理图像信号时，存在难以准确提取图像特征、识别准确率低的问题。针对上述问题，卷积神经网络通过参数共享有效提高了特征提取和模式识别的效率，在处理图像信号上具有更加优秀的应用价值。典型的卷积神经网络结构如图2 所示[11-12]，其通过多层卷积层、池化层堆叠，并在最后增加了两层全连接层。

1）卷积层主要的操作为卷积运算，而计算机信息处理系统中，以离散化的卷积运算为主，先用卷积核覆盖输入数据中尺寸大小相同的部分数据，将相同位置的元素值对应相乘并加上一个常数值，再对所有计算结果进行求和，得到第一次卷积运算的输出值。随后，按照一定的步长，滑动卷积核进行下一次卷积运算。以此重复，总共需要进行多次卷积运算，得到一定尺寸的输出数据。

卷积运算可以用以下计算公式描述：

2）池化层的滑动操作过程与卷积层类似，只是以池化运算代替了卷积运算，常用的池化运算有最大池化、平均池化。

池化层输出数据与输入数据需要满足以下关系：

3）激活函数实现从输入数据到输出数据的映射，常见的激活函数有Sigmoid、tanh 和Relu 等。由于Relu 激活函数能够有效解决反向传播梯度消失的问题，在深度学习领域应用更为广泛。该激活函数为：

式中，x为输入数据。

4）全连接层为任意两个输入数据与输出数据之间存在的连接关系，与传统BP 神经网络的连接关系相同。

2.2 深度残差网络

残差网络（DRN）与传统神经网络的结构区别如图3 所示[13-14]。图3（a）为传统神经网络，输入数据x经过两层卷积层得到输出数据H(x)；图3（b）为残差网络，其在传统神经网络的基础上，在输入端与输出端之间添加一条捷径，该条捷径的权重为1，由此输出数据为H(x)=F(x)+x。在残差网络中，通过模型学习训练获取到的是准确的映射F(x)，而F(x)=H(x)-x，即目标值与输入数据之间的残差。残差网络相比于传统神经网络，能够有效防止梯度消失问题，在深度学习中应用广泛。

图3 传统神经网络与残差网络的结构区别

在深度神经网络的基础上，在两层卷积层之间均添加上述捷径，由此形成的网络则是深度残差网络。

2.3 长短期记忆网络

在处理视频、文本等信息时，不同序列片段之间存在关联性，对既定的输出目标均有一定影响，这与人脑的学习和处理信号过程相似。传统神经网络并不能有效地实现这种目标，故循环神经网络由此诞生。

循环神经网络的结构如图4 所示。f为神经网络，输入信息为xt，输出信息为ht，循环神经网络允许当前步骤的信息传递到下一步骤，且所有步骤共享相同的网络结构和参数。循环神经网络由于能够处理这种序列数据问题，所以在语音识别、图像字幕等领域有着广泛的应用。

图4 循环神经网络的结构

长短期记忆（Long Short-Term Memory，LSTM）网络是一种经过特殊设计，用于处理长期依赖问题的循环神经网络，其典型结构如图5 所示，该结构包括遗忘门、输入门和输出门三部分[15-16]。

图5 LSTM单元结构

1）如式（4）所示，遗忘门结合上一层神经单元的输出和当前神经单元的输入，通过Sigama 函数获得分布于[0,1]区间的数值，从而决定上一层神经单元状态保留程度。当Sigama 函数输出为1 时，表示完全保留；输出为0 时，表示完全舍弃。

式中，ht-1为上一层神经单元的输出，xt为当前神经单元的输入，σ(·)为Sigama 函数。

2）输入门决定了当前神经单元状态的更新信息，其包括两个步骤：一是通过Sigama 函数决定更新哪些信息；二是通过tanh 函数获得更新信息的内容。具体计算逻辑如式（5）所示：

结合遗忘门和输入门，能够获取当前神经单元状态如下：

3）输出门根据当前神经单元状态决定输出信息，如式（7）所示，其包括两个步骤：一是通过Sigama函数决定输出当前神经单元状态输出的部分；二是通过tanh 函数获得输出信息的内容。

2.4 视频异常行为识别算法

该文提出了一种基于深度残差LSTM 的视频异常行为识别算法。利用轻量化、小型化的自动登杆作业装置获取作业过程的视频图像，将其作为深度残差LSTM 模型的输入数据，输出则为异常行为识别结果，从而实现登杆现场作业风险、违规行为的识别，提高运维人员的作业安全性。

该算法结构如图6 所示。将视频图像分解为序列1，序列2，…，序列n，经过对齐、剪裁、归一化等图像预处理之后作为深度残差网络的输入。通过训练得到不同图像序列的特征，汇总得到序列特征集作为LSTM 网络的输入，再由LSTM 网络模型输出登杆作业异常行为识别结果。

图6 基于深度残差LSTM的视频异常行为识别算法结构

3 算例分析

为了验证该文所提的基于深度残差LSTM 的视频异常行为识别算法的正确性和有效性，选取700段登杆作业视频图像序列进行实验，并按7∶3 的比例随机划分为训练集和测试集。实验的硬件环境如表1 所示。

表1 实验硬件环境

3.1 算法训练过程

以交叉熵损失函数衡量模型训练效果，计算方法如下：

式中，hj为网络的输出值，hyi为训练样本标记的目标值。

算法训练过程中，损失函数值和准确率随迭代次数的变化如图7 所示。

由图7（a）可知，在0～30 轮迭代中，训练集和测试集的损失函数值快速下降；在30～60 轮迭代中，损失函数值缓慢下降；在60 轮迭代以后，损失函数值几乎未有变化。

由图7（b）可知，随着迭代的进行，测试集和训练集的准确率快速上升，然后趋于平缓，最终几乎稳定不变。算法最终的准确率维持在98.5%左右，具有较好的识别效果。

图7 算法训练过程

3.2 算法的性能分析

为验证该文所提算法的性能，将所提方法与传统卷积神经网络进行对比，视频异常行为识别的准确率如表2 所示。分析准确率数据可知，该文算法的最大准确率为99.82%，最小准确率为98.13%，平均准确率达98.93%；而传统神经网络算法最大准确率为86.11%，最小准确率为80.45%，平均准确率达83.64%。该文算法相比于传统神经网络算法具有更高的准确率，这是因为所提算法采用深度残差网络能够有效避免算法梯度消失问题，利用LSTM 模型能够提取不同视频序列之间的内在联系，从而提高异常行为识别的准确率。

表2 算法的准确率

4 结束语

该文基于深度残差LSTM 算法开展了视频异常行为识别技术研究，通过自动登杆作业装置获取视频信息，实现作业人员违规操作等异常行为的识别。实验结果表明，所提算法在60 轮迭代开始收敛，准确率稳定在约98.5%，相比于传统卷积神经网络算法具有收敛快速、准确性高的性能优势。但文中所提算法仅通过视频信息实现对异常行为的识别，而线路开关状态、电压等级等电气参数对于登杆作业监督也具有重要的参考作用，融合多种数据实现登杆作业过程的全方位监督，将在下一步研究中展开。