浅谈基于小样本学习前置图像感知系统的研究

邹帅

关键词：小样本；图像；感知

中图分类号：N945.23 文献标识码：A

文章编号：1009-3044（2023）20-0060-04

0 引言

随着我国国民经济水平的前进与发展，各行业对电力的需求不断增长，推动我国电网数字化和智能化的进步，对电网的稳定性及可靠性提出更高的要求。根据统计分析，电气设备故障产生最直接最重要的原因是其性能发生变性，特别是电网一次设备长期处于高电压、强电场运行环境，并承受恶劣气象影响，达到限值后易发生放电现象，严重情况下会导致设备击穿、闪络等现象，并极易导致“链式反应”，并影响电网的正常运行，存在着巨大的安全隐患，因此缺陷识别与诊断技术是电网建设研究的重要课题。

1 研究意义

在电网缺陷或故障监测方面，历经三个发展阶段。第一阶段是传统监测，通过利用人工巡视和停电试验进行缺陷识别和判断，但作业人员水平参差不齐，效果难以保证，并且停电试验周期长；第二阶段是信息化监测，通过利用在线监测和带电检测技术应用，开展状态检修及无人值守，以输电线路无人机巡视、变电站红外测温、智能机器人应用等各种在线监测和带电检测手段，通过大量图像信息进行人工排查，但是效率低、工作量大，难以保证及时处理海量图像数据；第三阶段是智能化监测，通过“大云物移智”技术应用，建立机器学习、人工智能和深度学习技术的图像识别处理技术链，基于海量监测图像数据，解决图像排查与图像信息急速增长的矛盾，实现电网设备缺陷识别智能化推进。

2 研究内容

2.1 基于边缘计算的前置图像处理

本文通过深度神经网络与小样本学习有机结合的方法，以图像识别处理为技术中心，解决以下图像识别的问题：

1） 摄像过程中由于光照条件的变化，光照强度与角度会随着时间发生变化，使得采集图像的亮度与分辨率得不到保证。

2） 由于图像采集过程中噪声与运动模糊的影响，使得图像产生严重的降质和退化。

3） 在复杂自然背景下输电设备机拍图像的处理非常困难更具挑战性，特别是目标图像的提取与识别问题。

4） 机拍图像由于拍摄角度和视距的变化，同一目标会呈现不同的形状或形式。

2.2 输电设备巡检图像异常特征量的简化分析

基于角度感知技术，研究前置设备的取景修正技术，提高图像采集终端获取的原始数据并进行图像分类[1]，获得输电设备巡检图像智能分析所需要的高可用性图像或视频。由于前置设备计算资源有限，研究输电设备巡检图像异常特征量的简化分析方法，对巡检图像进行有效、快速并且低功耗的预处理与数据过滤，实现部分异常特征量的实时检测与低质量重复图像的快速滤除。

2.3 基于深度神经网络及FPGA芯片研究轻量化的嵌入式图像处理

鉴于前置设备计算资源有限，同时受到重量与功耗限制的问题，研究基于深度神经网络的轻量化图像处理方法，构建适用于前置设备的深度神经网络模型，并依托FPGA芯片，设计实现轻量化的嵌入式图像处理方法，方便在前置端构建快速的现场预处理感知、诊断系统，实现特征的实时判别，解决研究前置FPGA系统的远距离数据传输问题，实现采集图像的可信、高速回传。

3 研究难点

3.1 卷积神经网络模型与FPGA 有限资源的协同

通过CNN层内计算模型的循环计算，以不同的运算结构对层内方式进行划分，完成对所有循环迭代的卷积核算进行调度执行[2]。基于不同分类方法的代价函数，在一定资源条件下，获取不同运算结构的逻辑计算性能，进而为卷积神经网络算法结构提供不同的信息。但因为FPGA 资源限制，运算结构无法在FPGA上实现，只能实现部分卷积核并行运算，本研究将解决大量的卷积核运算逻辑到计算单元的映射问题。

3.2 输变电设备图像智能感知及匹配

在传统的电网巡检图像采集過程中，会出现距离、旋转、角度、遮挡、亮度等因素的影响，导致图像清晰度不高，从而无法从低质量的图像中获取关键数据。因此，通过图像采集技术实现高精度图像是本研究状态感知的关键。传统的变电站巡检中，图像存在大量可见光和红外图像，但存储形式不统一，在进行图像分析时数据处理难度较大。因此，图片的存储模型的研究及快速匹配本研究的关键点。

4 研究方法

电网设备缺陷识别是智能巡检的目的，基于小样本学习的前置感知系统是保证识别准确度的关键，是实现站内智能巡检的有效途径。根据研究内容，采用如下具体研究方法：

4.1 变电设备图像特征的语义分析方法

目标特征的提取是目标识别的基础，提取出良好的特征能够提高识别的精度，针对电力巡检过程中需要识别的典型目标和典型故障，研究针对典型目标和故障的特征提取方法，主要研究内容包括：

1） 巡检图像低阶特征分析方法

变电站内的重点一次设备包括变压器、隔离开关、断路器、避雷器等，需要研究利用设备典型特征，分类识别出设备类型，实现设备在图像中的位置跟踪。

2） 巡检图像的高阶语义理解技术

图像高阶语义理解包含的对象、对象间的关系以及视频场景描述等，针对电力设备图像研究采用基于决策树、贝叶斯网络、朴素贝叶斯等方法对低阶分析结果进行转换和映射并提取视频图像的高阶语义特征。

3） 设备典型故障识别

进行变压器的过热、漏油、外观锈蚀等，隔离开关的开合状态、引线接头过热等典型故障的特征采集及识别。

4.2 基于深度学习的变电设备故障自动辨识方法

1） 基于卷积神经网络的高效训练

通过卷积神经网络，对图像进行有效的学习和识别，针对电力巡检视频图像数据量大、待识别目标较为复杂的特点，基于卷积神经网络的高效训练算法，通过卷积神经网络实现高精度的识别。

2） 传统图像处理方法与深度学习方法的多层次图像识别融合

通过基于深度学习的识别方法，进行大量训练样本的训练，结合传统图像处理和深度学习方法的多层次图像识别方法。将传统图像处理方法和SVM等方法对目标进行粗提取[3]，再进行精细识别，提高图像识别的效率和准确度。

4.3 基于迁徙学习的感知泛化方法

机器学习尤其是深度神经网络模型通常要求有足够大的带标签训练集，但是正如电力系统领域短期时间内不可能出现大规模的故障数据集，通过迁移学习运用，实现训练样本和测试样本服从不同的分布，有效的解决缺乏训练数据的问题，提升视觉感知泛化能力。

5 系统设计

5.1 系统架构设计

系统设计包括图像采集层、数据传输层、服务层、数据管理层及平台管理层，通过移动采集终端及布控球的方式进行现场设备缺陷数据采集，通过无线通信方式将采集图像传输至边缘计算装置，进行设备缺陷的分类及智能识别，同时将分析结果传输至数据管理层进行业务数据的存储，最终通过云端平台进行数据的分析及可视化展示。

5.2 运行环境设计

采用了全异步架构，为系统提供基于Web的访问控制和管理，提供云平台管理服务，包括访问控制、性能监控和配置功能，管理节点将各台计算服务器中的资源统一集中，形成一体化虚拟计算池，通过资源管理策略，将计算服务器资源进行分配，能够实现更快、更小、更强的API请求，降低了IaaS软件的复杂度，实现服务独立灵活扩展，完成对应算法服务、输出存储、系统运行等环境支撑。

5.3 安全防护设计

根据图像采集端、前置服务器、安全接入平台和网络环境贯通方式，采用虚拟专网技术在GPRS APN/WCDMA VPDN上建立的虚拟隧道，前置服务器通过安全加固的接入终端，安全的接入终端可以保证杜绝危险，保证数据的安全传输。

6 功能设计

6.1 数据智能分析

为直观地展示报警监控情况，设计可视化大屏展示，整体上体现总报警数及较昨日相比数量、总处理数及较昨日相比数量、报警类型统计及排名、各月报警信息类型数量趋势、周报警数、周上传数、最新报警信息、共有警情、警情处理状态占比、报警类型统计、警情状态管理、月报警趋势。

6.2 设备位置展示

各区域设备数量、报警类型数量统计以及设备的位置统计展示。

6.3 报警展示

通过时间设定，可显示设备报警图片，并查看当前报警的处理进度。

6.4 设备管理

通过四级维度进行报警类型管理，按照区域、线路、塔杆、设备添加塔杆经纬度，该塔杆下级所有设备将继承该塔杆的经纬度信息，实现定位功能。

7 智能分析设计

通过执法仪拍摄的视频进行分析，提取其中的目标信息，完成对视频的结构化描述。本文围绕对人的安全管理，利用智能分析算法检测五类目标，首先要检测视频中是否有人出现，并能检测到每个人在视频中的位置，在此基础上，在单个人的特定区域内检测其他属性目标。通过五类属性目标要进行检查，分别是安全帽、袖章、绝缘手套、工作服和两票。这五类目标并不一定同时出现在某个人身上，而是根据具体的任务，在人身上检测某个属性目标，以判定是否符合任务规范。

针对以上目标，实现多路视频的实时监控，系统能保持高并发性和反应敏捷性；系统对工作任务进行灵活分解和配置，完成对执法视频的语义分析；对于存量视频，可以进行后期分析，浓缩视频内容，形成视频摘要，方便对视频进行事件检索。根据任务要求，选定目标要素，分析视频中是否检测到了目标要素，也即在返回的视频中要先检测到人，再在人的身上检测是否戴有安全设备，如果视频中以一定比例检测到了这些目标要素，则认为这个视频符合任务规范。

8 关键技术

8.1 面向FPGA 的轻量化深度卷积神经网络模型及实现技术

根据电路的性能和神经网络的影响，较长的字长虽然可提高神经网络的准确性和收敛性，但却增加了电路的面积、提高了成本、减小了速度，而低的精度则会对电路的性能和神经网络的性能产生相反的影响。同时由于FPGA硬件资源的限制，并行的CNN[4]计算结构无法在FPGA上实现，只能对部分卷积核进行并行计算进行，如何把大量的卷积核循环语句映射到数量有限的计算单元仍然是一个需要解决的问题。本项目构建数据驱动的深度学习卷积神经网络模型，建立具有不同神经元个数和层面连接方式的特征抽取滤波器，构建权值共享网络结构进行复杂特征提取和数据重建，解决低数据样本下的模型过拟合问题，提高巡检回传数据智能分析效率和准确率。

8.2 基于混合学习方法的电力设备及故障智能感知技术

训练图像识别模型，需大量的不同设备，不同背景、角度、光照、焦距、气象条件以及不同故障类型的样本数据，通过积累日常运维检修中采集的数据，在进行分类设备故障样本库建设的同时，为了进一步提升图像识别的准确性，提出了基于深度神经网络的图像识别技术；同时，对多神经网络硬件的连接、传递和训练机制进行深入的研究，解决多神经网络的协同交互机制，构建集群计算机多流处理系统的图像识别[5]处理中心。

电力设备多种多样，电力故障各种各样，电力设备所处的环境也是千差万别，因此获取的数据也存在非常大差異。本研究针对这种多样性问题，提出一种多层次混合学习方法，来提升电力设备及故障基于图像的智能感知技术。首先采用深度学习方法，在不同电站实现电力设备与故障的基本识别能力，对于识别特征进行初步提取与保存；然后在此基础之上采用迁移学习的方法，实现不同站点间共享学习，提升感知能力；最后在每个站点采用增强学习方法[6]，采用偏好引导方式进一步提升电力设备及故障的感知能力。

9 结束语

本文针对电力系统的安全性和稳定性需求，引入先进的人工智能技术理念，以深度学习技术为核心，充分利用高性能计算资源，研究基于小样本学习的前置图像感知系统，采用理论分析与设计实现相结合、离线仿真和在线测试相结合的研究方法，构建视频图像智能分析技术框架，研究成果可用于电力输电线路的巡检、缺陷识别及作业监控等业务场景中，解决了YOLOv3模型较大，无法直接在嵌入式端运行、电路加速引擎设计、系统协调执行应用功能等技术瓶颈，实现巡检视频图像常见的故障缺陷和风险识别，为保障电网稳定，提升电网安全生产水平提供有力的信息技术支撑。