数据自动接入技术在量价费损在线监测中的研究与应用

吴军英，路 欣，常永娟

(国网河北省电力有限公司信息通信分公司，石家庄 050021)

数据自动接入技术在量价费损在线监测中的研究与应用

吴军英，路 欣，常永娟

(国网河北省电力有限公司信息通信分公司，石家庄 050021)

针对量价费损在线监测线下导出存在数据量大、耗时长，不能满足监测要求的问题，结合数据自动接入技术的优点，提出数据自动接入技术应用于量价费损在线监测的实现方法，从数据抽取方式性能和数据质量等方面说明数据自动接入技术在量价费损在线监测中的应用效果。

量价费损；在线监测；数据自动接入；线下导出

“量价费损”在线监测部分业务功能经前期试点及推广运行工作，已在各网省公司完成了轻量辅助工具及系统的部署工作，并通过业务运行取得了良好成效，但不同单位之间，业务异动处理有效性等方面还存在较大差距，不仅如此，“量价费损”在线监测线下导出存在DMP文件数据量大，耗费时间长，浪费人力且不能保证业务监测的实效性等问题，因此采用一种新的方式实现“量价费损”在线监测亟待解决。

1 概述

自“量价费损”在线监测专题的数据监测开展以来，一直由营销业务应用系统和用电信息采集系统线下导出DMP文件，运监侧将其导入到数据库中，再进行数据的转换与异动的计算[1]，且数据是以日频度提供的，此种数据提供方式，不但造成监测数据的延时，浪费大量的人力，而且不能满足监测要求。

为确保“量价费损”在线监测常态、有效的展开业务运行工作，经过细致的调研、深入的技术分析和可行性分析，决定将原有营销业务应用系统、用电信息采集系统线下导出文件发送数据接入方式调整为由海量平台定时自动接入方式，其中“量价费损”在线监测专题所需数据中基础档案信息表和采集业务数据表分别由营销业务应用系统、用电信息采集系统向海量平台推送，最终由海量平台通过API接口为“量价费损“在线监测提供数据，实现数据的自动推送。

2 数据自动接入技术的优点

2.1 及时性、适应性强

定时任务程序见图1。执行该存储过程时，在不填写T_NAME、T_TIME时默认抽取全部需求表，时间为抽取数据时间前一天的数据；当T_NAME为空、T_TIME不为空时默认抽取全部需求表相应时间的数据；当T_NAME中填写表名时，若T_TIME为空，则默认抽取前一天的数据，若T_TIME不为空，则抽取相应时间的数据，因此可根据不同情况进行执行该存储过程，抽取相应时间的数据，适应性强。

图1 定时任务程序

2.2 可扩展性强

若“量价费损”在线监测专题数据需求发生了改变，只需海量平台开通相关权限就可满足数据的需求，只需维护数据库表的抽取信息即可，无需再次进行二次开发，还可以实现改变表的抽取顺序，优化数据抽取时间等。量价费损数据库抽取信息见图2。

图2 量价费损数据库

2.3 可追溯性强

每次数据抽取完成后，均可查询结果表，查询数据抽取明细及数据是否抽取成功等；若抽取不成功，针对数据抽取的报错信息可追溯查询原因，及时做出调整，保证抽取结果准确性。

2.4 可使用性强

由于数据量大，在第1次的数据验证过程中耗时较长，信通公司通过开展存储过程的性能优化，耗时由大约2 h缩短到16 min，极大的缩短了人力、物力，实现了在最短时间内实现数据验证工作，提升了数据验证效率，更好地满足了运监中心的业务监测需求。

3 数据自动接入技术在“量价费损”在线监测的实现过程

数据自动接入技术在“量价费损”在线监测的具体实现过程分为表结构比对、数据抽取、数据验证、数据核查及常态化接入等方面。

3.1 监测需求的相关表结构比对工作

“量价费损”在线监测数据之前全部来源于用电信息采集系统，现由营销业务应用系统和用电信息采集系统2个系统联合提供，2个系统的数据融合匹配问题首先需要解决。因此，首先收集营销侧、用电信息采集系统侧的16张档案信息表的表结构,并结合专题监测的业务数据需求初步完成表结构的比对工作。

针对表结构初步比对结果中，营销系统侧无法支撑部分需求字段以及表字段不全等情况，在业务层面通过程序设计完成了缺失字段的拼接关联，满足了运监中心的数据监测完整性的需求。

3.2 数据抽取工作

经过技术人员与业务人员的协同配合查验后，海量平台中的数据表均达到 “量价费损”在线监测的数据字段需求，运监侧执行存储过程展开数据的抽取验证工作。

一般情况下，基础数据均存在于关系库，通过Oracle进行数据监测的计算抽取工作，而经模拟测算，以上过程计算时耗时为2 h，且会出现主程序卡顿的情况。因此决定引入海量平台分布式实时计算组件，数据流如图3所示。

图3 分布式计算数据流

应用程序通过API将实时数据发送至分布式缓存，分布式流计算从分布式缓存读取数据进行计算，且完成实时数据加载至实时数据库。分布式计算包括分布式流计算与分布式内存计算。其中分布式流计算实现实时计算，数据来源于分布式缓存；分布式内存计算实现历史统计分析计算，数据源来源于数据存储。分布式协调服务负责系统资源信息的协调、同步、统一管理，比如API从分布式协调服务读取信息，实现数据分发策略；分布式流计算通过分布式协调服务实现计算的负载均衡。

3.3 数据验证工作

在验证过程中，出现了抽取到的数据存在大量重复数据，有时程序不能正常执行，有时报错，针对这些问题，相关技术人员协助运监侧业务人员调整数据抽取存储过程、关联程序等[2]，完成数据的抽取验证，最后运监中心验证此种数据的接入方式是否可以真正的满足运监侧业务的监测需求。

3.4 数据质量核查及线上常态化接入

在完成“量价费损”在线监测专题数据线上接入的验证及处理，并实现量价费损轻量级工具中监测内容的展示后，运监中心从业务层面核实了数据质量，满足了运监中心的需求，之后就进入数据线上接入阶段，即将海量平台抽取、验证、核查后的各项数据写入“量价费损”目标数据库，是本次数据接入最为重要的一个环节，有2种方式可以实现。

insert方式:经测试，在无法对Oracle现有架构进行更改的情况，数据库insert效率约为1 min 2万条；针对每天数据量超过1千万条目的场景来说，insert方式显然无法不适合；

sqllrd方式:在海量平台中以上各项数据抽取出来组成可lrd提交的文件，再统一提交写入Oracle库。经测试1 100条数据通过lrd的方式写入Oracle库耗时15 min左右(见图4)，完全可以满足量价费损需求。

图4 sqllrd的方式执行结果

经过以上步骤，信通公司将来源于2个系统的数据在海量平台中进行融合与匹配，实现了“量价费损”在线监测的数据线上接入。

4 数据自动接入技术的应用效果

在实现数据的自动接入后，接入程序稳定，实现数据接入常态化，量价费损轻量级工具的监测工作正常开展，快速提升了运监中心相关业务能力，固化业务模式。数据自动接入技术不但满足了监测实效性、常态化的需求，更提高了工作效率和工作质量，降低了人工成本。实现数据的自动接入后异动结果展示见图5。

图5 实现数据的自动接入后异动结果展示

4.1 数据抽取方式性能方面

相较于数据由用电信息采集系统线下提供的方式，创新的此种数据自动接入方式具有及时性、完整性、适应性及可扩展性，可以实现随意抽取数据，既可以通过定时任务，也可以手工执行抽取自己需要的数据，另外在增加相关需求表时，只需开通相关表的查询权限就可以满足监测需求。

4.2 数据质量方面

采取由营销业务应用系统、用电信息采集系统联合提供专题所需数据，保证了数据的完整性和稳定性。此种接入方式使得数据具有实效性、高质量性，满足运监中心对业务有效的实时监测；且较于之前数据由线下提供方式，数据自动接入后消除了数据的冗余，避免了对服务器造成不必要的压力。

5 结束语

因“量价费损”专题监测的数据均是由档案数据和实时业务数据组成，档案数据源端都是营销业务应用系统，采取从源端接入档案数据可以保证数据的完整性、准确性等。将“量价费损”在线监测的线下数据导入方式调整为数据自动推送的方式，实现了“量价费损”在线监测专题数据的自动接入，保证了监测的实效性、及时性，提升了运监中心相关业务能力，固化了业务模式，因此，量价费损在线监测的数据自动接入方式符合全网省公司的业务运行状况，具有一定的推广前景与推广价值。

[1] 肖基宁，万 磊.公司推广“量价费损”在线监测工具[N].国家电网报，2014-06.

[2] 田 仲,石君友.系统测试性设计分析与验证[M].北京：北京航空航天大学出版社,2003.

Research and Application of Quantity and Price Loss by Automatic Data Access Technology in Online Monitoring

Wu Junying,Lu Xin,Chang Yongjuan

(State Grid Hebei Electric Power Company Co.Ltd.Information & Telecommunication Branch,Shijiazhuang 050021，China)

According to the situation of offline exporting which has a large amount,taking a long time and meeting the monitoring demand hardly,this paper mainly introduces the concrete implementation process of automatic access technology on the on line monitoring of quantity and price loss,combining with advantages of automatic access technology,shows the application effect of automatic access technology on the online monitoring of quantity and price loss from the aspects of data extraction performance and data quality.

loss of quantity and price；online monitoring；automatic access of data;offline exporting

2017-07-24

吴军英(1982-)，男，工程师，主要从事数据中心、生产、线损相关项目建设与系统运维工作。

TM764；TP399

B

1001-9898(2017)06-0045-03

本文责任编辑：王洪娟