智能电网建设中云计算大数据处理技术的运用分析

尹君 缪刚 桑遥 李太华

【摘要】 随着社会的发展，电力系统越来越庞大，这使得电力数据的分析与处理越来越复杂，需要引入现代数据科技以使电力系统在新时代获得快速发展，进而更好的为人们生产生活服务。本文以云计算技术为视角，对智能电网大数据处理进行详细分析。

【关键词】 智能电网 云计算 大数据处理

智能电网是电力系统发展的趋势，是在融合传统电力技术与现代自动化技术的基础上对电力系统多个环节采集大量数据，并进行挖掘、分析与决策，从而达到提升电力系统服务质量，增强电网运行稳定性与可靠性。随着电力系统共的不断发展，现代自动化技术不断应用到其中，进而产生海量数据，即电力大数据。

从目前的电力系统大数据分析技术的运用情况来看，多数系统时基于数据库的，但其可伸缩性差，分析速度慢，难以适应智能电网要求，因此在这种情况下，引入云计算技术能够取得良好效果。

一、电力系统大数据特征及云计算分析

1.1电力大数据特征

电力大数据主要涉及发电、配电、输电、营销及管理等各环节所产生的大数据，这些数据最终汇聚到数据中心进行统一存储管理。

一般来说，电力大数据具备以下主要特征：一是数据体量大，智能电网中各环节所传输入数据中心的数据规模成指数级激增，通常会达到TB甚至PB量级；二是数据种类繁多，通常涉及到整个电网中的所有环节的数据，比如传统结构性数据以及营销、管理、服务等非结构化数据等；三是数据采集、传输、处理速度快；四是电力大数据通常蕴含用户用电信息，这对于智能电网的合理规划和安排十分关键；五是跨行业间数据交互频繁。

1.2云计算优势

对于云计算的概念界定来看，学术界及自动化、智能网络等领域对云计算具有以下定义：云计算是一种全新的大规模分布式计算模式，起源于互联网公司对大量计算机与存储资源的需求以及对可仲缩、高性能、高可用等特征的追求。云计算技术对于智能电网大数据处理而言具有突出的优势。云计算聚合了大量分布、异构的资源，能够向电力用户提供海量的数据存储与计算能力。此外，云计算还提供了横向伸缩与动态负载均衡能力，这无疑极大的提升了智能电网大数据存储和处理的效率和质量。

二、电力大数据分析系统体系结构

从本质上来讲，智能电网的大数据系统实时从电力系统多环节的传感器与智能电表中采集数据资料，运用云计算技术进行加工处理，并快速准确的提供给用户查询。因此基于云计算的智能电网大数据系统结构包括以下主要模块：①分布式文件系统模块，用于智能电网大数据持久性存储；②Hadoop分布式系统基础框架；③基于Hadoop平台的数据仓库系统Hive，对电力大数据进行分析计算；④监控工具与运行调度工具；⑤开发工具集包括SQL翻译、并行ETL工具、索引管理、任务管理等工具。

三、关键技术

3.1基于网格文件的多维索引

对智能电力大数据系统中Hive而言，其自身存在一定的缺点，比如较弱的索引支持，这将导致浪费CPU进而影响大数据分析性能。Hive自身却又具备多维区间查询特征，而且查询维度较为固定，因此在此基础上引入索引技术来过滤无关数据将明显提升云计算对大数据的处理性能。对于智能电网的电力大数据特征，且考虑到Hive的弱索引支持，可引入或设计基于网格文件的分布式多维索引，用于提高Hive的索引性能。

3.2基于查询重写的SQL到HQL自动翻译工具

Hive的查询语言HQL是SQL的一个子集，具有显著的语法差异。在智能电网的大数据存储与处理中，电力大数据中存在大量的SQL语句，这些语句中很大比例使用了多项HQL不支持的SQL特性，这使得该语句在向云计算迁移时需要进行必要的翻译，但是又因为HQL与SQL之间的不兼容，导致这些语句需要经过人工翻译，这必然极大的加大了工作量，而且还容易出现差错。在这种情况下，引入自动翻译工具QMapper，能够使SQL语句经过翻译得到多个等价的HQL语句，然后通过JOIN优化器统计与反馈，完成最终的转换结果。

3.3支持数据更新的混合存储模型

在智能电网大数据系统中，云计算技术所涉及的Hive不支持数据更新与删除，智能重写完整数据表文件，但是实际工作中，对数据的更新与删除操作较多，这无疑会造成较多的困难。在此基础上，可设计一种混合型存储架构，由主表与附表组成，其中主表用于存储，附表则用于存储对主表中数据的更改信息。设计的这种混合型存储架构在原生HQL的基础上增加了对大数据的数据更新和语意删除功能，而且当需要读取数据时，则接口同时访问主表与附表。随着存储数据的不断增大，一旦主表定期更新之后，附表数据被清空。

参 考 文 献

[1]黄智鑫.基于云计算的智能电网调度系统的研究[D].天津理工大学.2014.1

[2]孟祥萍，周来.云计算技术在未来智能电网信息处理平台中的应用[J].计算机测量与控制.2015.10

[3]陈杰，张跃宇.云计算在智能电网中的应用及其安全问题研究[J].中兴通讯技术.2012.6