大数据平台在水务行业的探索与应用

张军 白帆 重庆远通电子技术开发有限公司

1. 前言

随着全球云计算、物联网、移动互联网等新一轮信息技术迅速发展和深入应用，城市信息化发展正酝酿着重大变革和新的突破，由对象、过程数字化为主要特征的数字化城市向智慧化发展已成为必然趋势。

现各个水务行业在建设模式上，目前基于传统架构的分散建设模式，存在基础设施建设冗余、重复投资、利用效率低、整合共享难等问题。在业务支撑上，没有形成强大统一的数据计算能力，在遇到业务高峰、复杂运算，响应速度慢甚至无响应，制约了智慧化业务的应用。在数据管理上，对于音视频、图像，物联网等新型数据以及日常业务产生的零散信息、碎片数据，现有架构无法高效汇集存储，且扩展性差、扩容成本高，无法满足业务需求。

为解决上述问题，建设基于云计算技术的大数据平台已势在必行。从国家战略层面看，国家和各省先后出台了大数据发展纲要及行动计划，大数据已经渗透到社会各领域、政府各部门，水务集团需要搭建大数据平台主动对接融入，切实提高智能化水平。从技术发展层面看，大数据收集存储、分析处理等技术快速发展，正在变革着传统的信息化建设途径，也催生了更为强大、更为智能的信息化应用新模式，充分利用云计算、大数据等新技术为水务服务是紧跟社会信息化发展的必然选择。

2. 建设目的

在生产管理上，通过大数据平台，进一步优化管理。一是根据自来水厂、加压站、调节池水位、管网压力等基础数据信息，进行数据分析与挖掘，建立模型深度学习，精准预测，科学调度，从而降低漏损率和实现优质供水。二是对污水处理厂各个关键设备的振动、速度、温度等指标的监测和海量数据进行分析，对工艺和设备故障进行诊断，对出水水质进行预测分析，加强应急处理，从而保障水质达标排放，实现节能降耗的目的。运用大数据平台，实现生产管理精细化，实现降本增效，防范安全风险，进一步提升管理水平。

在为民服务方面，运用大数据分析，实现为民精准服务。建立数据交换中心，对管网地理系统（GIS）、客户服务系统、便民服务系统、供水营销系统等数据抓取，进行数据清洗，针对用户需求，实现精准服务，提升用户满意度。

在公司治理方面，以水厂为基本单元，建立包括但不限于水质、水量、电耗、药耗、漏损率、客服满意率等指标的KPI考核体系。同时，对生产管理中重难点，在大数据基础上，建立数据模型，充分利用人工智能，为生产运营作指导，为领导决策服务，实现公司治理现代化。

3. 建设内容

3.1 大数据标准体系建设

建立水务大数据数据标准、流程、技术架构。对公司数据资源进行梳理和分析，用于指引和指导数据资源的生产和加工、数据仓库的建设、数据的分析挖掘和利用等，为KPI指标体系和决策支持体系提供服务。

3.2 大数据基础平台建设

大数据平台搭建包括集群的搭建和大数据管理及应用软件的搭建。集群搭建需根据自身业务数据的增长需求及大数据平台构建数据集群的基本需要，对大数据平台进行设备选型及采购，以实现大数据平台的硬件要求。

3.3 数据来源及采集

大数据平台最重要的就是数据来源，水务大数据平台数据来源及数据采集类型主要包括结构化数据、非结构化数据、半结构化数据三大类，包括但不限于：生产类数据、管网类数据、营销类数据、安全类数据、水质类数据、客服服务类数据。数据采集将建立统一采集平台，依托大数据数据处理工具对数据进行采集、存储等工作。

3.4 数据处理与治理

集成集团下属给排水厂生产运营监控数据，数据多样化且数据量较大。原始的公式计算、过程批量处理、定时器定时执行等方法对数据库的负荷较大，严重影响平台的展示效果，需使用专业的ETL和Quartz工具对元数据进行提取、转换、清洗和加载、完全集成的关系和维度建模、数据质量、数据审计，以及数据和元数据的整个生命周期的管理。

3.5 算法与模型分析

基于水务大数据平台，优化供水管网监测预警，建立水质预测模型、建立污水处理故障诊断模型、设备健康管理、管网漏损预测模型、供水用水需求预测优化模型。

水质预测模型：对给水、排水两个部分检测数据、历史数据、过程数据等进行分析挖掘，构建给水水质预测分析模型、排水水质预测分析模型。对给水、排水水质进行精准预测，为自来水水厂运营提供参考。具体步骤：根据历史数据搭建深度神经网络模型；采集实时数据，包含给水数据、排水数据以及环境数据。对该类数据进行数据治理，数据清洗，将数据治理后的实时数据分别输入至给水水质预测模型、排水水质预测模型，模型分别输出给水水质预测与排水水质预测。在工艺流程不变的情况下，算法模型能够实时预测给水、排水水质情况等关键参数，进而提供给水厂运营决策，指导给排水策略制定。。

污水处理故障诊断模型：利用现有的一些污水处理方面的数学模型或模拟软件对污水处理厂的运行工况进行诊断并提出优化方案的方法。该方法通过模拟能同时实现诊断与优化。这类方法对操作人员专业水平要求较高，过程较复杂，但是诊断和优化方案比较精确高效。

设备健康管理：分析采集的设备数据与常规数据，实时获取设备运行状态，设备关键参数等信息，通过提供一系列分析预测工具，进行动态监测、早期异常预警与故障预测，提高设备整体健康状况的可见性。

管网漏损预测模型：在保证原有供水流程的前提下，降低管网漏损率。根据实际供水数据、有效供水数据、管网状态数据以及检验数据，通过多种机器学习方法深入挖掘数据相关性，找出管网漏损规律，深入分析各个关键环节对应的漏损影响，结合专家经验，通过神经网络算法，建立管网漏损预测模型，实现预测管网漏损时间，为保养维护提供依据，达到降低管网漏损率目标。

供水与用水需求预测优化模型：在保证原有调度系统的前提下，提供供水预测、用水需求预测，提供调度优化建议降低能耗，提升用户体验。根据历史供水数据、历史用水数据、气候数据、企业个人画像数据、管线水压等数据，通过多种机器学习方法深入挖掘数据相关性，找出供水用水规律，结合专家经验，建立供水用水预测模型，实现预测供水、用水需求，为调度优化提供依据，达到降低能耗，提供用户满意度。

3.6 大数据决策支持平台

建立大数据决策支持平台，整合集团下属的所有给排水单位的生产运营数据为一体进行统一展示和分析。形成对供水企业从水源、制水、出厂、管网到用户的安全生产、水质安全、运营情况以及排水企业的管网、进水、出水等生产运营的全面监控，提供预警报警、应急调度预案、决策分析、报表等功能，对模型进行调用，并考虑大屏显示和操作的方便，实现平台直观、美观、全面的监控和便捷的操作展示。对展示的决策平台进行全方面的运行监控和实现模块化修改配置以及报警设置、信息推送、定时任务等基础配置功能。

4. 结语

就目前国内大数据应用而言，大数据作为一种新技术主要应用于金融行业、互联网行业、制造业等行业，水务行业大数据的应用示例还较少，目前各水务的大数据应用也处于探索与逐步应用阶段。但通过对大数据平台的不断应用与深度学习，以及对算法模型的不断优化，定能对生产管理提供预测性指标意见，逐步辅助和优化改善生产工艺，精准预测，科学调度，从而降低漏损率和实现优质供水；通过对污水工艺和设备故障进行诊断，对出水水质进行预测分析，加强应急处理，从而保障水质达标排放，实现节能降耗的目的。