基于大数据技术的电力通信光缆监测数据研究及应用

潘 宇，张林林，潘光丽

（中国长江电力股份有限公司，宜昌 443000）

0 引言

当前，信息通信技术对中国电力工业的价值贡献正处于量变到质变的关键节点，电力数据正爆发性增长[1]，电力大数据技术在电力系统的各领域内都开展了相关研究和探索应用。

1 数据来源分析

电力光缆利用置于包覆护套中多根光纤作为传输介质，以光纤通信技术为基础，传输距离远，单位衰耗低，光特性决定了其不能弯折且接续困难的特点。以电力生产常用的OPGW（光纤复合架空地线）为例，光纤被放置在架空高压输电线的地线中，一般不会受到人为损坏，但发生故障时亦不易修复。本次研究的电力光缆数据可分为：光缆监测数据，光缆出厂信息，运维记录，环境信息等。

1.1 光缆监测数据

光缆监测数据是本次研究的主要数据来源，其数据取自光缆在线监测系统。系统利用光时域反射仪、光开关等设备对重要光缆的空余纤芯中各选一芯进行打光监测。光缆监测数据被保存到数据库中，数据类型有文本、数值、大字段数据等。

（1）距离信息数据。系统记录了测试点与到达站点的距离信息，由于光缆在实际布放时多次转接，故每条数据会包含多段距离信息。

（2）衰耗数据。衰耗数据记录了监测光纤在传输过程中光衰减情况，既包含了总衰耗信息，也包含了某段距离的衰耗值。该数据信息量大，作为非结构化数据保存在二进制大对象BLOB 字段中。

（3）时间数据。光缆在线监测系统一般采用轮回打光的方式运行，也就是定期监测每一条光缆，这种测试方式会记录时间信息。

（4）参考数据。参考数据是系统建成时根据初期测试形成的经验数据，是系统判断光缆运行情况的依据。

1.2 光缆出厂信息

光缆出厂信息一般由制造光缆厂商提供，包含了光缆的品牌，应用场景分类、缆芯和内部填充结构、护套类型、规格型号等。各厂商制作光缆的技术水平不等，且不同类型的光缆单位距离的衰耗不尽相同，因此光缆出厂信息可作为光缆数据分析的一项指标。

2 光缆数据的分析过程

2.1 Hadoop 平台的部署

Hadoop 是一个分布式系统基础架构，可以在大量中低端的硬件设备搭建的集群上运行应用程序，构建一个具有高可靠性和良好扩展性的并行分布式系统。作为一个开源的平台，其开发成本低，扩展性高，效率高且具有高容错能力。

2.2 数据的汇聚与清洗

本次分析研究的数据多源化明显，数据量较大且数据结构复杂，既有大字段非结构化数据、excel，word 类半结构化数据，还有气温信息类互联网数据。要研究电力大数据，录入分析数据前，需要充分了解研究对象，从而获取“有用”的数据。

光缆监测系统数据库中包含了大量的库表。通过分析光缆监测系统工作模式，收集整理出待分析的数据库表名、字段等内容，并将相关的数据库表导出收集的数据库表包括光缆事件表、光缆曲线表、光缆站点结构表等。有些数据还存在重复和遗漏信息的情况，需要对数据进行重新审查和校验，纠正存在的错误。

2.3 算法的设计与实现

算法的设计与用户需求紧密联系，其计算结果能给予用户分析结论。下文介绍本次大数据分析中有代表性的算法研究。

2.3.1 温度-衰耗相关性研究

在这项研究中，试图找到光缆所在地的温度与衰耗间的关联，设计了相关性判断算法，即Pearson 相关系数算法：

（1）通过数据汇聚实现每一个衰耗值对应一个气温值。

（2）获取等长度的气温数据temperature、衰耗值loss。

（3）计算temperature 和loss 的相关系数：

根据分析结果得到结论，各条光缆的总衰耗值并不受温度影响，一定程度上印证了本单位电力光缆的可靠性。

2.3.2 光缆的熔接情况研究

光缆经过熔接点时会有单位距离衰耗突然增大的情况，本研究针对这个特点，设计了熔点范围预测算法。该计算方法分为三个步骤：（1）除噪声点；（2）平滑数据；（3）利用平滑后的差分值计算熔点区间。通过这个算法，项目组成功预测了部分熔接点的位置及影响范围。

2.3.3 光缆的运维情况研究

本研究根据读取多张excel 表格，获取了光缆故障信息。通过计数算法，获取关键字的出现次数，给与一个初步的分析。该研究能辅助运维人员了解故障高发地点、光缆段等信息。

3 结束语

本文基于大数据技术，提出了一套低成本、易复制、可推广的大数据分析方法，为电力光缆的运维保障提供了有力支撑，为研究其他电力生产数据提供了研究的新思路，具体表现如下：一是在硬件设备“低投入，零投入”的前提下，可利用现有设备自主搭建Hadoop 大数据平台；二是大数据平台可实现电力通信生产数据的分析并得到有价值的结论；三是多元化的数据来源和灵活的算法设计使其可拓展为其他电力生产数据分析，具备在电力企业内推广的潜力。