海量数据快速可视化技术在节能减排监管系统中的应用

陆建伟，周升，张珂珩，王飞

（1.国网浙江省电力公司电力科学研究院，杭州310014；2.江苏瑞中数据股份有限公司，南京210009）

海量数据快速可视化技术在节能减排监管系统中的应用

陆建伟1，周升1，张珂珩2，王飞2

（1.国网浙江省电力公司电力科学研究院，杭州310014；2.江苏瑞中数据股份有限公司，南京210009）

随着电力行业节能减排工作的推进，节能减排监管数据爆炸式增长。为保证节能减排监管系统的正常运行，需要对海量数据进行可视化监控，以定位问题的根源。基于海量数据的快速可视化技术，能实现对海量数据的综合分析，实现节能减排、能源合理利用的创新。通过总结电力行业节能减排监管系统中的海量数据的特点，介绍海量数据的快速可视化技术，重点讨论了如何利用实时数据库的通知服务和本地缓存，来实现海量数据快速可视化技术在节能减排监管系统中的应用。

海量数据；快速可视化；节能减排

随着浙江省电力行业节能减排工作的逐步推进，尤其是发电厂脱硫系统、脱硝系统的建设和推广，产生了大量实时数据，继而沉淀形成了海量历史数据[1]，这些数据是节能减排优化和监管的重要基础。面对如此庞大的数据量，传统的门户系统由于直接访问数据库将导致访问速率过慢，已越来越无法满足对这些数值结果进行可视化分析的需求。为保证节能减排监管系统的正常运行[2]，需要对海量数据进行可视化监控，以定位问题的根源。浙江省节能减排监管系统采用海量数据快速可视化技术，通过对海量数据的萃取、统计分析、图形化等手段，将节能减排概况清晰地展示在用户面前。

1 节能减排工作中的数据特点

电力行业节能减排中的海量数据与其他行业产生的数据相比有以下特点：

（1）数据量巨大。每台运行中的机组都将产生大量数据，将各发电企业所有机组的运行相关数据都采集起来，数据量极为可观。

（2）数据类型多。节能减排监管系统的数据包括节能和环化两部分。节能数据包括基础数据、炉侧的经济性计算数据、机侧的经济性计算数据、电气的经济性计算数据等。环化数据包括基础数据、脱硫数据、脱硝数据等。每类数据又包含很多指标，例如基础数据包括机组负荷、总风量、炉膛负压、燃煤发电量、燃气发电量、供热量、机组MFT信号、机组RB信号、电除尘投运信号、油枪投运信号、引风机开度或频率等。

（3）数据产生快。通常发电厂的机组都处在连续运行状态，产生的实时数据也将不断增长，增加了可视化技术应用的难度，即如何保证在数据快速增长的情况下运用可视化技术，将数据的变化准确实时地展示出来。

（4）计算分析复杂。锅炉热效率、汽机热效率、厂用电率等参数都需要通过复杂的公式计算。以锅炉热效率为例，需要采集主蒸汽流量、主蒸汽温度、主蒸汽压力、再热蒸汽流量、给水温度、给水压力、给煤量等多项数据来进行计算。

2 海量数据的快速可视化技术

数据可视化技术是处理计算或实测数据的方法之一，它运用计算机图形学和图像处理技术，将数据转换为图形或者图像后在屏幕上显示出来，并进行交互处理，为研究、使用人员提供直观的方式来理解大量数据所蕴含的丰富内容，发现通常通过数值信息发现不了的现象[3]。现代可视化技术的概念更为宽泛，是指以计算机图形技术为基础，通过计算机生成对人体视觉刺激的图像，以便于人们接受、理解原始数据和信息的技术方法[4]。它作为一门交叉学科涵盖了许多研究领域，包括计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等。

数据可视化技术拓展了传统的图表功能，使用户对数据的剖析更为清晰[5]。数据经过可视化处理和专业的加工后，最终为用户呈现出动态的、图形化的、令人印象深刻的可视化结果。目前数据可视化技术的应用主要包括：呈现多维混搭信息的可视化应用、揭示数据关联趋势的可视化新服务、有助发散形象思维的可视化新工具以及提供数据可视化交流社区的可视化新平台，这些数据可视化的手段以及可视化过程都有各自的特征。随着用户对数据分析需求的增长，对数据可视化的要求也变得越来越强烈，通过可视化映射可以有效地呈现想要获得的数据，更便捷地理解其中的含义，进而做出决策。

3 海量数据快速可视化应用实例

在浙江省电力行业节能减排监管系统中，将电厂采集的实时数据，经过计算统计服务的加工，最终通过报表和图表等一系列动态、图形化的形式展现给用户。例如报表，在用户的实际业务应用中，通常需要按年、季、月、周、日等时间段查找相关数据，并进行分析对比。浙江省节能减排监管系统提供的历史报表工具，能根据用户需求开发业务报表，以查询到任意对象、任意时刻的历史数据，以及任意时刻的历史断面，并可导出数据，实现系统运行数据的“全息”保存和查询，以满足节能减排的业务需求。

现已开发完成的节能监管报表包括能耗报表、平均能耗指标排序报表、节能查询报表、基础信息报表；减排报表包括全省实时总览报表、设施投运报表、电厂排放报表、全省排放报表、电厂上报报表、环化信息录入报表、基础信息报表；线损统计报表包括线损数据录入报表、月统计报表等。

同时，监管系统提供实时监控画面及组态工具，通过监控画面和组态画面实时刷新测点数据，直观地向用户展示电厂能耗和排放情况。

浙江节能减排监管系统应用B/S架构、服务订阅、本地缓存机制等技术达到快速可视化，加快门户访问速率，性能得到指数级提升。

3.1 B/S架构

浙江省电力行业节能减排监管系统是基于B/S结构的Web门户系统，可为用户提供实时、高效的服务通道[6]。浙江省节能减排监管系统门户可为用户提供访问实时数据中心各种信息资源的入口，具有强大的Web浏览功能，对各类应用服务、参数、图形、报表、实时数据和历史数据等提供灵活、丰富、多样的信息展示，使任何被整合到系统中的信息都能以一定的方式进行浏览和查询，并提供历史追溯与反演、断面查询等高级应用功能。

系统的维护和升级方式简单，可以在任何地方进行操作而不用安装任何专门的软件。客户端零维护，系统的扩展性强，可随时扩展系统范围、增添更多功能，为后台的监管及系统的拓展提供便利。

3.2 服务订阅

实时数据库的通知服务是指向订阅服务订阅所需测点，如果订阅测点的数据发生变化，通知服务自动将数据推送到订阅服务端。

浙江省电力行业节能减排监管系统可方便、快捷地提取节能减排实时数据，生成各种报表，并在门户网站上展示。可以向海迅数据库订阅测点，并维护这些测点的断面。查询某一报表时，通过事件触发使海迅数据库主动推送数据。

3.3 本地缓存机制

本地缓存是指将客户机本地的物理内存划分出一部分空间，用来存储客户机回写到服务器的数据，本地缓存又称为本地回写[7]。该技术的应用使得客户机回写的数据不必先写入服务器硬盘，而是将回写数据先写入本地回写缓存，当缓存空间达到一定的阈值时，再将数据回写到服务器。有了本地回写缓存功能之后，大大降低了服务器读写压力和网络负载。

通常的门户系统是直接访问数据库，获得数据后以页面报表等形式展示给用户。当数据量非常大时，比如达千万点的海迅数据库，如果门户报表每次都要遍历数据库来查找需要的测点，将导致读取速率下降。为此，节能减排监管系统充分利用了实时数据库的通知服务和内部缓存机制，将测点数据缓存在服务器端，以减少访问数据库的次数和时间，提高数据访问性能。测点维护模块根据用户访问记录，保留常用访问测点。当测点较多时，将删除测点队列中相对不常用的测点。测点订阅模块根据测点维护的测点队列向通知服务模块订阅通知。数据监听接收实时数据库推送过来的更新值。缓存管理根据测点队列维护内部缓存。

当数据管理模块接收到业务请求时，先查找内存中有无缓存，如果没有就直接查询数据库。同时测点维护模块记录请求测点，判断是否向通知服务订阅。通知服务根据订阅的测点向数据监听模块推送测点的值。如果在缓存中存在测点值，则直接从缓存中读取。在减排系统正常运行情况下，很多指标变化幅度较小甚至不变化，因此这种通知服务的策略将极大地减少访问数据库的次数，节省访问数据库的时间。数据访问的工作流程如图1所示。

图1 工作流程

同时，在B/S架构下，会有不同的客户同时访问服务器，但由于客户群体相对固定，很可能访问的是相同的数据，即重复的测点，因此本地缓存机制可以大大加快每个用户的访问速率，升级用户体验。

4 结语

将海量数据快速可视化技术应用到节能减排监管系统中，使监管部门可以深入观察各发电企业节能减排情况，对实时监控和及时调整有极大的帮助[8]。应用基于海量数据的快速可视化技术完成海量数据的综合分析，实现节能减排、能源合理利用的创新，能够充分体现“资源共享、低投入、低消耗、低排放和高效率”，已在实际应用中展示出良好的实用效果。

[1]李荣融.中央企业节能减排监督管理暂行办法[EB/OL]. http∶//www.gov.cn/gongbao/content/2010/content-1694232. htm.

[2]胥传普，杨立兵，刘福斌.关于节能降耗与电力市场联合实施方案的探讨[J].电力系统自动化，2007，31（23）∶99-103.

[3]刘勘，周晓峥，周洞汝.数据可视化的研究与发展[J].计算机工程，2002，28（08）∶1-2.

[4]刘大海.海量数据可视化方法的研究[D].天津：天津大学，2009.

[5]王媛媛，丁毅，孙媛媛，等.数据可视化技术的实现方法研究[J].现代电子技术，2007（04）∶71-74.

[6]张恩平.基于B/S架构的代理人综合管理系统的开发与研究[D].上海：华东师范大学，2008.

[7]单中元.面向集群系统的分布式缓存机制的研究[D].沈阳：东北大学，2010.

[8]韩丽娜.数据可视化技术及其应用展望[J].煤矿现代化，2005（06）∶39-40.

（本文编辑：龚皓）

Application of Big Data Rapid Visualization Technology in Energy-saving and Emission Reduction Supervision System of Power Industry

LU Jianwei1，ZHOU Sheng1，ZHANG Keheng2，WANG Fei2
（1.State Grid Zhejiang Electric Power Research Institute，Hangzhou 310014，China；2.China Real-time Database Limited Company，Nanjing 210009，China）

With the advancement of energy saving and emission reduction in power industry,regulatory data of energy saving and emission reduction sees explosive growth.In order to ensure normal operation of energy saving and emission reduction supervision system，big data should be supervised visually to locate source of problems.The big data-based rapid visualization technology can realize comprehensive analysis on big data and innovations of energy conservation and emissions reduction as well as rational utilization of energy.By summarizing characteristics of big data in energy saving and emission reduction supervision system of power industry，this paper introduces big data rapid visualization technology and mainly discusses how to use the notification service and local caching of real-time database to realize the application of big data rapid visualization technology in energy saving and emission reduction supervision system.

big data；rapid visualization；energy-saving and emission reduction

TP311.13

：B

：1007-1881（2014）06-0029-03

2013-10-11

陆建伟（1982-），男，浙江富阳人，工程师，从事电力环保工作。