电力大数据应用现状及多源异构数据分析技术研究

马平 徐伟东 沈浩钦 吴杭

(1.国网绍兴供电公司,浙江绍兴 312000;2.深圳市国电科技通信有限公司北京分公司,广东深圳 100070)

电力大数据应用现状及多源异构数据分析技术研究

马平1徐伟东1沈浩钦1吴杭2

(1.国网绍兴供电公司,浙江绍兴 312000;2.深圳市国电科技通信有限公司北京分公司,广东深圳 100070)

智能电网运行、检修和管理过程中会产生海量异构、多态数据,如何将它们进行高效可靠存储,并实现快速分析访问已是当前电力系统中重要的研宄课题。本文在分析电力生产各个环节大数据的产生来源和特点基础上,阐述市场已有大数据技术在电力系统应用的优势和不足。最后,从电网异构多源信息融合及可视化方向提出了一种应用方法。

智能电网 大数据 异构分析 可视化

1 引言

近年来,随着全球能源问题日益严峻[1],世界各国都开展了智能电网的研究工作。智能电网的最终目标是建设成为覆盖电力系统整个生产过程,包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网的基础是电网大数据全景实时数据采集、传输、存储以及快速分析。目前智能电网中的大数据主要来自以下几个方面:

(1)海量电网状态信息采集设备。常规的调度自动化系统含数十万个采集点,配用电、数据中心将达到百万甚至千万级。需要监测的设备数量巨大,每个设备都装有若干传感器,构成了一个庞大的数据网。

(2)高频电网状态信息捕获技术。为满足上层应用需求,设备的采样频率逐渐提高。在输变电设备状态监测系统中,为了能对绝缘放电等状态进行诊断,信号的采样频率必须在200kHz以上,特高频检测需要GHz的采样率。

(3)视频及模式识别系统推广。智能电网视频监控系统不仅要求能够真实地反映电力系统的情况,并且还需自动判断情况的好与坏,同时自动采取相关措施,是一个“会思考”、“能做事”的智能化系统。为此,需要电网具备强大存储及处理能力。

2 现有大数据处理技术局限性

谷歌公司提出的分布式文件系统(distributed file system,DFS)和MapReduce技术,已成为现阶段Facebook、雅虎等网络公司大数据应用的解决方案[2]。

DFS技术,具备高容错性特点,可部署在海量且价格低廉的硬件设备上,而且它为应用程序提供了高吞吐量的数据访问,适合那些有着超大数据集程序。MapReduce为2004年由谷歌公司提出的一个用来进行并行处理和生成大数据集的并行编程模型。应用“解析器”,将复杂数据关系进行映射及化简,配合DFS最终实现快速数据处理。但是,该方法应用在电力系统中直接面向业务对象,就表现出一定局限性。

(1)数据形式多样化。电网业务数据大致分为3类:一是电网运行和设备检测或监测数据;二是电力企业营销数据;三是电力企业管理数据。包含一维数据、二维数据、多维数据、文本与超文本、层次和图形等多种形式。现有大数据技术无法直接或高效的分析处理。

(2)数据价值密度较低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有1～2 s。在输变电设备状态监测中存在同样问题,所采集的绝大部分数据都是正常数据,只有极少量的异常数据,而异常数据是状态检修的最重要依据。

电力系统若要应用成熟大数据技术,首先需对各类异构信息进行预处理,本文将就异构多数据处理技术在电力系统应用进行分析,并简述一种针对低价值密度数据集的可视化方法。

图1 电力系统大数据处理框图

图2 数据自动抽取与格式转换模块结构

3 数据预处理及可视化技术

为更好阐述本文提出的面向电力系统多源异构数据的多维分析与可视化方法,首先结合主要电力环节和信息处理流程,加入数据自动抽取与格式转换模块(含实时在线访问控制模块)、以及多形式的可视化展示模块,形成如图1所示电力系统大数据处理框图。

3.1 数据自动抽取与格式转换

针对各自治系统提供数据方式的不同以及兼顾电力数据的特点,提出并设计了一种多源异构海量数据的实时数据自动抽取与转换模块[3,4],模块结构如图2所示。

该模块包括实时控制监测层、实时抽取格式处理层以及实时存储层等。其中:

实时控制监测层:主要完成多源数据的访问权限的配置与管理、访问的方式配置、访问频次设定以及异常处理等,目的是与各数据来源建立合法可靠的数据访问机制。

实时自动抽取与格式转换处理层[5]:主要完成对实时监测到的数据进行正确性检查,根据各异构数据的不同抽取规则对实时在线获取的数据进行分类多线程的自动抽取,并结合决策基础数据库的存储设计要求进行相应格式转换,形成具体统一规范的数据格式,此层显然是最核心的处理层,在设计时要特别注意转换的效率和转换的正确性,是后期应用的基础性工作。

图3 像素法数据可视化

实时存储层[6]:主要完成对产品数据的保存和数据的实时利用,同时也方便以后历史数据的查询和统计分析等。

3.2 低价值密度数据集可视化

电网智能分析结果可视化是电力大数据应用的一个重要的组成部分[7],可视化的效果直接影响到重要信息展示以及用户决策。目前数据可视化已经提出了许多方法,这些方法根据其原理不同可以划分为基于几何的技术、基于层次的技术、面向像素技术等。基于几何与层次的可视化技术现阶段已在较多领域应用,且不适合含有低价值密度数据的数据集。

面向像素技术是现阶段应用于大数据展示的先进技术,它的基本思想是将每一个数据项的数据值对应于一个带颜色的图片像素,对于不同的数据属性以不同的窗口分别表示。

面向像素的可视化方法包含独立于查询的方法和基于查询的方法两种[8]。

独立于查询的方法将数据库中的数据依从左到右(从上到下)的次序一行一行(一列一列)地排列显示出来,类似于几何可视化方法。

而基于查询的方法是根据数据值同所查询的要求的符合程度来匹配不同的颜色。针对每一个数据项的值(a1,a2,...,an)及查询要求(q1,q2,...,qn)通过一个距离函数计算每个属性值与查询要求的匹配值,得到每个数据的一个总的距离值dn+1以反映数据项与查询要求之间的匹配程度,总的距离值dn+1越小越是用户所希望看到的数据。查询的数据结果按dn+1的值由小到大从屏幕的中央螺旋地向四周展开。这样不仅能看到所查询的数据,而且对于数据从近似匹配到不匹配的走势也能直观地表现。该种方法配合模式识别技术,可对电力系统状态检修及故障专家决策系统有很大帮助。

4 结语

未来的智能电网将是依托大数据分析处理技术的全景实时电网。本文针对行业内海量数据预处理问题,提出了一种面向多源异构数据的多维预处理模型,又针对电力系统低价值密度数据集普遍存在这一事实,提出应用像素可视化方法,最大限度地克服了现有系统分析力度不够和可视化单调的不足,提高了基于电力大数据技术的应用有效性。此外,该方法对非电力行业的分析与处理也有一定的参考价值。

[1]宋亚奇,周国亮.智能电网大数据处理技术现状与挑战[J].电网技术,2013,3(4): 927-935.

[2]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,8(9):8-15.

[3]惠卿,孙翠娟,董鸿燕.基于服务数据对象的异构数据集成系统[J].自动化技术,2010,8(6):79-83.

[4]Peijian Wang.D-pro:dynamic data center operations with demand-responsive electricity prices in smart grid[J].IEEE Transactions on Smart Grid,2012,11(4):1743-1754.

[5]谢华成,陈向东.面向云存储的非结构化数据存取[J].计算机应用,2012,32(7):1924-1928.

[6]张良,佟俐娟.异构数据库集成中数据传输问题的研究[J].北京机械工业学院学报,2011,9(11):65-68.

[7]刘勘,周晓峥,周洞汝.数据可视化的研究与发展[J].计算机工程,2012(8):11-13.

[8]任永功,于戈.数据可视化技术的研究与进展[J].计算机科学,2010,31(12).