智能电网大数据处理技术研究

马兴明

（国网大庆供电公司 黑龙江 大庆 163458）

1 引言

大数据是指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。随着大数据技术的快速发展，其已经在很多领域比如互联网金融、电商等得到广泛应用，并取得了极好的效果。智能电网作为国计民生的基础性工程，为人们的生活和工作提供了全天候的多元化能量供应。如果借助大数据的技术与理念，将电力系统的众多数据进行整合和挖掘分析，将得到更多的功能和效果。对此探讨智能电网中大数据应用平台的设计架构，以及需要使用的大数据相关技术，是十分必要的。

2 智能电网与大数据技术

智能电网是信息化技术对传统电网的改造，因为引入了实时通信技术和信息处理技术，能够使得传统的电力供应网络具有更高的安全性、实时控制性、环保性、可靠性和节约性。当然，智能电网本身也是一个相对的概念，其相对传统的电力供应系统来说，具有了一定的智能化功能，但随着信息技术的不断发展，更加新颖的功能会进一步被融入进来，使得智能电网本身也得到进步。大数据技术能够根据海量的数据，通过一定的计算方式，找出其中的有效规律，进而得出一定的结论并采取针对性举措的技术。电力的供应也涵盖了很多数据类型，对其进行有效地分析挖掘，进一步在供电的安全可靠性、能源节约性方面进行优化，是十分可取的。

3 电力大数据中心的架构设计

在软件工程领域，业界已经形成了固定的软件开发思路，模板化的系统架构。而在大数据平台领域，同样存在相对城市的结构体系。对于智能电网大数据平台来说，其通常包含了6个层次，从下至上分别是设备层、操作系统层、数据框架层、网络层、访问层和数据应用层。其中设备层是指具有较大存储功能和计算能力的服务器以及服务器群，以最基础的形式来存储各类格式的数据。操作系统则是指安装在服务器中的操作系统，业界通常采用以Linux为集成核心的centos系统，很少采用微软公司推出的可视化操作界面的服务器操作系统。数据层主要利用专业的数据库软件，采用合理的算法对数据进行存储和处理。网络层是指不同服务器、服务器与终端之间的通信功能层面。访问层则在网络基础之上完成安全地访问功能，数据应用层是最高层，也是人们直接使用的层面，利用可视化的界面对数据进行输入，对分析结果进行获取。

4 智能电网大数据关键技术分析

在智能电网中引入大数据技术，其关键需要掌握数据的集成管理、数据的挖掘与分析，数据的处理与数据的展现等技术要素。

4.1 大数据集成管理技术

在计算机领域，数据的概念是所有能够文档化的事务，其形式是多样的，包括文字、数字、图片、音频、视频等，而不同类型的数据有众多存储格式，比如文字数据有存储为文本的，有存储为文档的，有存储为PDF格式等；音频则有mp3格式、m4a等类型。而在实际应用中，因为过去信息技术在实现不同电力功能时，多是单独进行数据捕捉和分析的，由此是多个应用在分别工作。而在大数据技术理念下，这些在不同应用中的不同格式、不同类型的数据，需要有效地集中在一起，以统一的数据格式进行存储，以能够在后期进行合理合适地分析。也就是说，数据集成管理技术是将各个信息孤岛进行整合，形成一个数据大陆。

在智能电网大数据技术领域，主要需要关系型数据库技术、非关系型数据库技术、数据融合技术、数据抽取技术、数据滤过技术、数据清洗技术等。首先在海量的数据中对一些数据进行筛选，过滤掉明显重复和无效的数据，然后对相关的数据进行有效地抽取和集成，利用实体、关系等结构化思想，将数据进行聚合与关联起来，以进一步保障数据的准确性和可靠性。近些年流行的NoSQL 技术则实行了分布式数据存储的形式，摒弃了对关系的依赖，使得数据存储更加简单灵活，并具有相应的可扩展性。

4.2 大数据挖掘与分析技术

这是大数据的核心技术。即通过一定的算法，从海量的数据中找出一定的规律，并得出具有实质性效用的结果，发现问题并解决问题。如何在大数据中找出非明显的规律，则需要计算机通过一定的方式开展关联分析、机器学习、数据挖掘、模式识别、遗传算法、神经网络、时间序列模型等技术。数据的挖掘与分析技术，根本上讲，是传统数据挖掘技术在大数据理念下的进一步发展。正是因为数据量的膨胀，并具有增长快、多元化的特性，结构多样使得传统的分析技术无能为力，只能借助更为先进的理念和技术。其一，由特征抽样选择的理念出发，使得大数据范围缩小；其二，通过聚类、分类算法的实施，使得大数据得到有效地归类；其三，利用并行算法，将数据并行化，进一步将数据的量度缩小。由此可见，借助上述三种理念，再对大数据进行传统的数据挖掘与分析，能够有效地实现大数据技术的效果。

4.3 数据处理技术

数据处理涵盖了分布式计算、内存计算、流处理等技术要素。其中分布式计算能够解决大规模分布式存储和处理的问题，其主要思路是将一个大的问题，通过分布式的方式变成小的问题；内存计算则能够高效地对数据进行读取与处理，并进一步对实时计算的需求进行满足，主要将各类信息置于内层之中，有效地摒弃了对磁盘读写的时间消耗，提升了计算效率；流处理技术则能够处理实时到达的、速度与规模不受控制的数据，在流处理技术中，其把一直涌现的数据视为水流，在经过处理后马上使其流出，不做任何逗留。这种算法比较适合实时性较强的数据处理需求，比如证券买卖。在智能电网领域，通过先进的数据处理技术，能够较好地通过对数据的掌握，进一步对电力的安全隐患技术发现，并提前解决。

4.4 数据展现技术

数据在介质中存储，其形态是无法看得见的，是一种电信号状态，而传播也是电信号、光信号的结合。这种基层的数据形式，需要通过复杂的计算才能够呈现给使用者。在电力系统的智能化供应和管理中，我们需要对数据清晰地可读可见，这就需要采用数据展现技术。数据展现技术涵盖了可视化、空间信息流展示、历史信息流展示等方面。可视化技术提供给电力监控室的工作人员以形象化的电力供应状态；空间信息流展示技术能够基于各类参数对供应系统的各个站点进行建模，使得人们对电力系统的情况知晓得更为具体；历史流展示技术则能够对电网过去的相关数据进行存储和分析，并展示出过去相关数据的发展规律，甚至对未来趋势进行预测。

以电力中用电量趋势为课题，我国可以从一个地区每年的用电量、不同功能区用电量、不同家电用电量等的历年数据进行深度分析，同时和一个地区的经济水平、消费水平、人口、气候等方面进行横向对比，找出不同视角下的用电量与其他因素之间的两两之间的相关性，以及回归相关性，并进一步对未来该地区用电量的增长以及在区域、时间方面的分布进行预测。这就是大数据挖掘与分析技术的最常见的效用。

5 结论

综上所述，智能电网覆盖了社会经济的方方面面，与人们息息相关的同时也能够捕捉大量的数据。这些数据在采用大数据技术之后，对电网的安全运行、灾难预警、并网、用电效率提升等方面都有较高的应用价值。在发电、输电、变电、配电、用电等环节都具有指导意义。对此应用大数据技术改造升级智能电网是十分具有前景的。

[1]黄天恩，孙宏斌，郭庆来，温柏坚，王彬.基于电网运行仿真大数据的知识管理和超前安全预警[J].电网技术，2015，39(11)：3080-3087.