基于大数据技术的水电智能决策支持系统

谭文胜，万 元，潘平衡

（五凌电力有限公司，湖南 长沙410004）

0 引言

传统的水电企业在生产运营过程中产生了大量的数据，包括生产领域的工业传感器实时数据和业务管理领域的结构化数据、非结构化数据，但这部分数据分布在各个子系统中，不能保证互联互通，共用共享，从而形成了一系列的“数据孤岛”，不能有效地进行价值挖掘和利用，造成数据资源的浪费[1]。同时受制于存储容量限制，生产中大量实时数据和关系型数据被丢弃，无法有效地发挥其潜在价值，再者由于各类前端感知设备厂家和业务管理软件系统开发厂家各异，数据标准无法统一，缺乏有效技术手段深度融合多源异构数据[2-3]。

鉴于此，本文设计一套符合水电企业自身特色的生产智能决策支持系统，在原有自动化、信息化的基础上，采用统一的数据建模，深度融合生产实时域数据与管理域数据等多源异构数据，将全部数据统一纳入到综合实时数据库系统与Hadoop架构的企业级大数据平台中，并应用机理计算、数据挖掘、机器自学习、人工智能等技术，研究开发智能应用场景，实现设备运行状态监视、故障关键特征指标计算，同时预判设备运行趋势，预警设备故障，为水电企业的运行决策、检修决策等提供支撑。

1 基于大数据的水电智能决策支持系统设计

1.1 系统整体构架

系统采用分层分布式构架，体现了“数据与应用分离”的原则，其整体架构见图1所示。

图1 水电生产智能决策支持系统架构

由图1可知，系统整体架构分成以下3部分：

（1）数据源及统一纳管平台：其中数据源包含水电站实时数据、企业级集控系统数据、ERP数据、梯级水调系统等生产管理系统数据；数据统一纳管平台通过网络获取各类数据后，对数据进行统一建模，以统一的数据命名规则、数据属性标识方法等管理全部数据。

（2）应用平台：包含以数据驱动的工具套件，分别是数据采集、数据存储、数据分析、数据建模、数据统一访问、微服务管理框架、数据治理、系统安全管理及监控等8部分，构建出开放的数据应用开发平台。应用平台对数据进行统一管理，并向业务层提供统一的数据服务。

（3）业务平台：基于应用平台开发的业务功能应用，主要包含设备运行状态分析、设备定值自适应挖掘、设备远程运行特征挖掘、设备远程状态监测与诊断分析、设备故障智能报警和异常预警等。业务平台主要面向于系统应用人员。

1.2 数据融合与建模

1.2.1 数据的融合与集成

数据融合与集成采用下列3种方式：

（1）对于工业实时数据，数据融合与集成采用目前先进的“消息订阅”机制，在五凌统一数据纳管平台与各数据源系统上均布置“kafka”引擎，通过开发“kafka”实现数据的互联互通、共享共用，其中水电站数据接入、集控数据接入作为数据的生产者，五凌统一数据纳管平台作为消费者。

（2）对于设备缺陷数据、人工巡检数据、设备可靠性数据等关系型数据，采用直连数据库读库的方式，五凌统一数据纳管平台直接定时从各业务系统中获取。

（3）对于二进制文件、录音数据、图像数据等半结构化或非结构化数据，五凌统一数据纳管平台采用FTP、SFTP协议直接定时从各业务系统中拷贝数据文件。

1.2.2 数据建模

数据建模是数据统一纳管的核心与关键，唯采用统一、通用的数据建模手段，才可有效实现数据统一管理、查询、分析与计算。数据建模需遵循“唯一性，可辨识性，简洁性”的原则，同时要为后续数据的不断扩展与高级应用的开发而兼顾可扩展、可关联及描绘全面等思想，鉴于此，本系统采用集团级大数据中心的“逻辑统一，物理分散”的数据管理方式，设计编制了统一数据模型标准，构建了包含工业实时数据（设备实时监测数据）、生产管理数据、半结构化数据与非结构数据、中间计算量等的模型规范。

以工业实时数据为例，其数据建模采用3段建模的方式，数据编码共分为以下3段[1]：

（1）KKS码段，KKS码主要标识设备的具体位置，通过KKS码，能准确定位设备的安装位置，所属部件、所属系统等。

（2）测点码段，测点码段主要对测点的名称进行标识，特别有利于分辨同一设备上安装的多个同类型设备。

（3）属性码段，属性码段主要对测点的属性进行描绘与定义，包括测点的安装方位、通道属性（电压通道或电流通道）、采样频率、采样精度、报警阈值等。

1.3 应用开发平台设计

应用平台综合采用实时数据库与Hadoop架构的大数据平台，完成数据的统一采集、统一存储、统一管理、统一分析与计算、统一对外服务。

其中系统存储采用分布式文件系统（HDFS），能实现存储容量、计算资源的线性无限增容。对于工业实时数据分为内存数据、热数据（近3个月的数据）、冷数据（3个月以前的数据），内存数据采用内存库redis存储，便于实时读取及报警，热数据采用实时数据库InfluxDB存储，便于及时读写与挖掘，冷数据采用HBASE存储，便于后台的海量数据挖掘与分析。对于工业实时数据中的一些波形数据，根据波形文件的大小及特征，分别采用MongoDB存储及文件系统存储等方式。对于生产管理域的关系型数据，主要采用HIVE引擎存储。对于二进制文件、录音数据、图像数据等半结构化或非结构化数据，直接以文件形式存储在分布式文件系统上，并在有效建立每个文件索引的基础上定期将小文件合并，防止文件的碎片化而影响系统运行速度。

系统在分析计算中支持大数据的Mapreduce、Spark、SparkSteaming、flink的分析计算框架。其中数据清洗治理和辨识，数据的精确性、完整性、一致性、有效性、唯一性的校验，平滑降噪，基本质量判断，超范围过滤，超阈值报警等均采用流式计算引擎（SparkSteaming、flink）实现，而关联性强，所用数据量大、逻辑复杂的数据挖掘计算在后台采用批量Mapreduce计算引擎实现。平台提供公式编辑器实现模型算法，算法关联数据对象后即可启动功能模块。

应用平台以数据对象的方式向外部或上层业务提供数据服务，只要调用应用平台上的数据服务API，并指定所需数据点名、时长等信息，即可将数据放入指定的缓存中以供使用，从而实现了数据应用的有效分离[4-6]。

1.4 智能业务应用设计

采用工业大数据技术，通过对现有数据的梳理，利用海量数据挖掘、机器自学习、统计分析计算等手段，挖掘设备运行规律、运行特征等，构建设备健康/故障知识库，设计了提高企业生产安全与效益的各种业务应用功能，提前预防事故，减少机组非计划停运，实现水电企业的生产智能化决策，提高设备健康状态监管能力。智能业务应用包括以下几个部分：1.4.1 设备运行状态分析

系统提供专用的、开放式的大数据挖掘平台，用户能利用平台对整合后历史数据进行深度挖掘，总结设备在不同运行工况、不同运行条件下的运行状况与运行规律，获得不同运行参数间的关联关系，能通过与历史数据的对比、同类似运行工况下的趋势对比、同类型设备的运行状况数据对比，实现设备运行状态的分析。系统能采用散点图、折现图、雷达图、玫瑰图等对设备运行状态及历史趋势进行综合展示。

1.4.2 设备远程状态监测与诊断分析

集成设备在线监测数据、离线检测数据（包含设备历年缺陷数据、预防性试验数据、巡检数据、缺陷处理数据等），实现对水电厂主机设备的监测与综合分析功能。系统能结合运行工况和运行状态对数据越限、梯度越限、数据缺失等事件综合分析判断后自动告警，系统具备自动试验分析功能，通过对若干状态量的分析，自动辨识出设备的试验状态及试验内容，并根据试验内容，自动对试验过程的关键数据进行分析，生成试验报告。如：水电机组的开机试验，停机试验，负荷增减试验，甩负荷试验等。

1.4.3 设备故障智能报警和异常预警

针对已有成熟诊断模型的故障，系统构建故障样本及诊断逻辑，通过数据的逻辑判断完成故障诊断。针对尚未有明确诊断模式的故障，由人工智能、机器自学习功能以海量历史数据为基础，以大数据分析方法与模型为核心，在专家的指导下组态数据及设备运行工况，通过大数据挖掘总结设备正常运行时的参数区间形成健康样本，根据与健康样本的偏差程度实现故障的诊断及严重程度的判定、智能报警和预警如图2所示。

图2 智能报警和异常预警

2 基于大数据的集水井系统故障预警

以集水井系统为例，在基于大数据的水电智能决策支持系统上构建其故障诊断模型，模型共分为下列4个部分：

2.1 诊断模型设计

通过对集水井排水泵启动、停止信息的捕捉，结合集水井水位数据、水库水位数据、环境温度数据、人工巡检数据等，构建集水井系统相关故障诊断。其原理是不断统计集水井排水泵的启动时间、停运时间，采用大数据技术从历史数据中挖掘总结不同运行环境下集水井排水泵的启动时间、停运时间统计规律，当启动时间或停运时间脱离原有的历史规律时，给出异常报警，并通过对关联信息搜寻定位故障原因，同时推送维修方案

2.2 诊断知识库

诊断知识库主要给出不同运行状况下集水井故障的类型、原因，具体见表1所示。

表1 集水井系统故障诊断知识库

2.3 诊断逻辑设计

（1）记录集水井排水泵状态发生变化时的时刻值，设连续两次的启动时刻为Ts与Tsl，连续两次的停泵时刻为Te与Tel，启泵时集水井水位值Wls与Wlsl，停泵时集水井水位值Wle与Wlel。计算水泵的启动时间Ton=Te-Ts与停运间隔时间Tstop=Ts-Tel。将Ton与Tstop不断与定值比较，获取相关的异常故障。

（2）计算集水井排水泵启动、停止时的集水井水位（模拟量），与启动、停泵的定值进行比较，计算偏差量，若偏差量较大，判定为自动化元件回路异常。建议对集水井水位（模拟量）传感器进行检查。

（3）当Tstop小于定值Ter-s，判断为停运间隔时间过短异常，判定的故障为厂房渗漏异常。Tstop大于定值Ter-l判断为停运间隔时间长异常，搜寻集水井水位模拟量，若已达到启泵定值但泵尚未启动，判定的故障为自动化元件回路异常。

（4）当Ton大于定值Tsr-l判断为启动时间长异常，搜寻水位模拟量，若未达停泵定值，判定的故障为电机及泵性能下降故障，建议搜寻离线电机振动值，人工巡检数据，电机运行电压、电流历史趋势值，判定电机是否存在问题。若已达停泵定值，判定的故障为自动化元件回路异常。Ton小于定值Tsr-s判断为启动时间过短异常，搜寻集水井水位模拟量，若未达到停泵定值但泵已停运，判定的故障为自动化元件回路异常。

2.4 基于大数据的定值自适应挖掘

定值是关系到诊断正确与否的关键，定值设置不准确将直接导致误判及漏判，从而降低诊断的可靠性及可信度。本模型可采用工业大数据的思想、应用网格动态定值的方式确定诊断定值。定值通过搜寻历史数据自适应产生。

首先通过关联信息量构建信息网格，以水电站上库水位WL、环境温度T为参数构建网格，其中WL在最大水位与最低水位之间划分20个间隔，温度按照5℃为间隔划分。通过网格划分，即可构建W与T的二维网格平面，每种类型的诊断定值即形成了二维网格上的曲面。具体见图3所示。

图3 三维网格定值

采用统计方法获取定值，以1年为周期，从水电站的历史库中搜寻集水井水泵启动时间Ton与停运间隔时间Tstop（要求为集水井排水系统健康运行时的数据），同步记录Ton时间段内、停运间隔时间Tstop时间段内的上库水位WL与环境温度T平均值。采用3δ原则获取定值，同时遍历WL、T的所有网格，获取所有网格的定值，构成一张定值网格表。其格式如表2。

表2 定值网格表

3 工业应用

基于大数据技术的水电生产智能决策支持系统已在五凌电力有限公司成功部署，目前已完成五强溪电站、近尾洲电站的多源异构数据的采集，大数据平台的构建及部分应用功能的开发。

从应用成效上看，该系统能为决策层、管理层、执行层、操作层提供辅助决策支撑，效果良好。

4 结论

鉴于水电企业生产系统数据分散，无法共享共用等一系列问题，研制了基于大数据的水电智能决策支持系统，通过部署大数据平台，整合各个设备和系统的多源异构数据，形成标准化的统一数据，并实现了水电行业内多年来积累的运行管理经验与先进的大数据技术深度融合，开发水电智能决策典型应用案例与场景，可为智慧水电发展战略落地提供技术支撑，将助力传统水电企业的智慧转型和管理进步。