基于云计算技术的电力大数据预处理属性约简方法

崔晓优++杨健

摘 要 基于云计算技术的电力大数据预处理属性约简是当前电力企业数据处理的主要发展方向。文中对其发展进行了简单介绍，并对MapReduce在电力大数据预处理属性约简中的应用以及基于MapReduce技术的电力大数据预处理属性约简进行详细分析。

【关键词】云计算技术 电力大数据 属性约简

自进入二十一世纪以来，人类社会便正式进入了网络信息化时代，在信息化大背景的影响下，企业信息化和管理系统化已经成为主流趋势，而在电力企业中，由于其自身数据处理的复杂性和庞大性，其不仅实现了信息化管理，更在此技术上，对云计算技术进行了全面应用，以实现大数据处理。但是，由于受发展时间短以及相关技术人员和管理人员技术水平和职业素质不高的影响，其在云计算以及大数据处理等应用方面依旧存在一定缺陷，需要加强人员和技术投入，不断加强对技术的研究和创新，使其能够更好的满足电力企业的经营和管理需求；因此，接下来，本文就以更好的提高电力企业云计算应用技术为主要目的，对基于云计算技术的电力大数据预处理属性约简方法进行深入研究。

1 电力大数据预处理属性约简方法的发展

在电力企业的经营和管理中，为了能够更好的提升供电的稳定性和质量，并对自身的经济效益进行有效保障，就需要对电网数据进行详细分析，尤其是对大数据进行科学、高效的预处理。电力大数据预处理主要包括数据清洗、集成、转换以及约简等众多环节，其中任何一个环节出現问题，都可能对电力企业的最终决策目标造成影响。因此，在大数据预处理过程中，就需要提高数据的分析效率，并以此为基础对各个环节中的决定性因素进行有效控制，设法降低电网的数据处理规模。比如，在对风速进行预测的过程中，相关技术人员便应用了经典粗糙集理论方式，约简出了影响风速的关键属性；在电力大数据预处理中同样如此，需要根据不同情况采用不同的约简方式约简出其关键属性。

在之前的电力企业经营和管理中，所应用的约简算法虽然也能够在一定程度上降低时间复杂度，也相应的提高了数据预处理属性约简效率，但是这种算法是一次性将所有数据都存入内存中，因此，这种算法只适合应用于传统的电力数据处理中，而不适合应用在现代化的电力大数据处理中。

因此，为了能够有效解决该方面问题，电力企业便开始对CPU、内存以及计算机硬盘等进行扩充和升级，但是这种方式虽然能够在一定程度上解决属性约简中数据规模和时效受硬件制约的问题，可却也提高了成本，会对电力企业的经济效益造成影响。而随着网络以及信息技术的不断发展，云计算技术的出现很好的解决了该方面所存在的问题，与传统网络以及计算机技术相比，利用云计算技术不仅能够提高对计算机硬件资源的有效应用，同时也全方面，大幅度提高了数据处理技术，为电力大数据预处理属性约简提供了科学有效的新途径。

2 MapReduce在电力大数据预处理属性约简中的应用

MapReduce这种比较高效的并行编程模型，就能够很好的解决电力大数据预处理属性约简问题，如下，便是其中较具代表性的定义和定理：

定义1：假设电力知识表达系统为决策信息表S，S=（U，A，V，f），表中，U为对象集合，A=CυD，C为条件属性集，D为决策属性集，V为属性值集合，f为信息函数，并明确对象属性值。

定义2：令P，QA，P∩Q=|，P是Q的正域，记posp（Q）=∪x| U/QPX，Count（posp（Q））表示P中所包含的元素个数。

定理1：假设电力知识表达系统S=（U，A，V，f），P，QA，P∩Q=|，RP，Count（posR（Q））= Count（posp（Q））为posR（Q）= posp（Q）的充要条件；

必须性证明：因为posR（Q）= posp（Q），所以Q的P正域）与Q 的正域R相同，Count（posR（Q））= Count（posp（Q））；

充分性证明：通过反证法进行证明，即设posR（Q）= posp（Q）不成立，而因为RP，所以posR（Q）posp（Q），而因为posR（Q）= posp（Q）不成立，所以posR（Q）posp（Q），则Count（posR（Q））< Count（posp（Q）），与Count（posR（Q））= Count（posp（Q））矛盾，姑不成立。

以上为MapReduce并行编程模型中的部分定义和定理，从中能够看出，在对一个电力知识表达系统属性约简的过程中利用粗糙集理论，可以有效降低关键属性约简的复杂度，不仅能够有效降低整个约简过程的计算量，还能够更好的降低时间和资源的消耗，而基于云计算技术的电力大数据预处理属性约简，就是在由此为基础的前提下，通过加强对云计算技术的应用，来进一步提高其约简效率。

3 基于MapReduce技术的电力大数据预处理属性约简

在基于云计算技术的电力大数据预处理属性约简中，可以将一个电力大数据集当成是一个电力知识表达系统，而在此前提下，再进行属性约简，就可以看作是计算正域的势，其计算方式也可以如下进行：

（1）map函数在同一时间对多个数据分片进行访问，并根据具体要求对其属性以及属性值进行提取，并形成键值对；

（2）Reduce函数对来自不同节点map发送的key值相同的键值对序列，并对其相同等价类的个数进行计算。

而利用Hadoop在对复杂任务进行处理的过程中，其重点在于增加任务数量，而非对map和Reduce函数的复杂性进行增强。因此，在基于云计算技术的电力大数据预处理属性约简中，针对性的设计了两个map，三个Reduce以及一个call_job函数，外带一个主程序，然后，再针对其具体需求，分别给出了相应算法，通过这些给出的算法，便能够对大数据预处理属性进行有效约简。

与传统约简方式相比，基于云计算的约简方式，不仅解决了其不能够对大数据集进行处理的问题，还更进一步提高了整个约简计算的效率，降低了复杂度，节省了时间和空间，因此，在当前的电力企业中，其已经成为电力大数据预处理属性约简的主要方式。

4 结束语

伴随着电力行业的快速发展以及电网规模的不断扩大，传统属性约简方式已经满足不了电力大数据的处理和计算需求，在一定程度上影响了电力企业的经营和管理决策。因此，电力企业应该加强对云计算技术的研究和应用，并基于云计算技术实现电力大数据预处理属性约简，提高电力大数据处理效率，为企业经营和管理决策提供可靠参考依据。

参考文献

[1]杨传健.基于冲突域的高效属性约简算法[J].计算机学报，2012（02）.

[2]翟俊海.基于样例选择的属性约简算法[J].计算机研究与发展，2012（11）.

作者简介

崔晓优（1975-），男，河南省许昌市人。大学本科学历。现为许继电气股份有限公司工程师。

作者单位

许继电气股份有限公司 河南省许昌市 461000