基于大数据的光伏电站空地一体智慧运维管理平台应用架构和关键技术研究

郑建文，彭宇，杨东，白雪峰，刘晨明

[摘    要]针对光伏行业快速发展而带来的数据剧增及数据实时处理的现实要求，提出基于Hadoop的大数据光伏电站数据处理体系架构。采用Kafka作为数据接收端、Redis作为实时数据库、Spark及Elasticsearch实现基于分布式OpenTSDB历史数据的分析及检索功能。解决了大规模光伏电站面临的百万级以上数据的实时处理及分析要求。在实践中，基于此架构开发出光伏电站空地一体智慧运维管理平台，在性能及扩展能力方面得到了有效验证。

[关键词]大数据;Hadoop;分布式;Kafka

[中图分类号]TM615 [文献标志码]A [文章编号]2095–6487（2021）12–00–02

Research on Application Architecture and Key Technologies of a Photovoltaic

Power Station Management Platform Based on Big Data

Zheng Jian-wen，Peng Yu，Yang Dong，Bai Xue-feng，Liu Chen-ming

[Abstract]In response to the rapid development of the photovoltaic industry and the actual requirements of real-time data processing， this paper proposes a big data photovoltaic power plant data processing system architecture based on Hadoop. It solves the real-time processing and analysis requirements of large-scale photovoltaic power plants with data above one million levels. In practice， based on this architecture， a photovoltaic power station air-ground integrated intelligent operation and maintenance management platform has been developed， which has been effectively verified in terms of performance and expansion capabilities.

[Keywords]big data;Hadoop;distributed;Kafka

近年來，随着新能源电站建设规模的不断扩大，光伏行业出现了数据增速快、类型多等现象，即监测数据具有数量“多”、类型“广”的特点。其不仅拥有电站实时采集的发电数据以及环境气象数据，且包括光伏电站全生命周期（建设期、生产运维期）的所有数据。传统光伏电站监控平台虽可有效监测电站运行的实时数据，并在设备发生故障及某些监测指标出现异常时进行告警，但往往在监测规模扩展、实时性及数据智能分析领域有着一定的局限性。随着近几年计算机技术及信息技术的突破发展，大数据及人工智能技术在各行领域得到了充分应用，其大规模数据秒级实时处理能力、分布式部署及存储技术、线性扩容的特点非常适合规模化后的光伏行业进行应用。

针对上述情况，本文提出了基于大数据技术架构的光伏电站空地一体智慧运维平台的设计思路，并设计了1 GW规模的光伏电站实时数据及历史数据的分布式集群解决方案，可解决光伏电站规模化后数据剧增带来的数据标准化、数据实时智能分析处理、分布式集群部署等现实技术问题。

1 系统应用架构

采用大数据技术体系框架、基于Hadoop集群技术，将基于大数据的光伏电站空地一体智慧运维管理平台从技术架构上设计为5个层次：数据采集、数据处理、数据存储、数据应用和数据展示（图1）。

（1）数据采集层。数据采集层采用面向服务和组件化设计理念。针对光伏电站各类设备（逆变器、智能汇流箱、升压站设备、环境气象监测设备）数据及生产运维数据（巡检、两票等）接口，定义一套开放的数据接口开发标准和配置标准。基于数据接口标准，定制化开发独立的解析适配器，实现了不同厂家设备及系统之间的数据交换。各解析适配器作为分布式消息中间件（Kafka）的生产者，统一将采集数据推送至Kafka队列中进行缓存，提供给流式处理服务使用。消息中间件Kafka作为生产者和消费者的消息通信媒介，实现了投递消息和接收消息程序之间的匹配和解耦，以及各程序之间的相互独立。

（2）数据处理层。提供在线实时处理和离线批量处理两种应用模式。在线实时处理采用Apache Storm流式处理技术，Spouts作为Kafka消费者，通过Bolts和Streams Groupings对实时采集的站内遥测、遥信、遥脉和告警等消息进行过滤、合并、保存等处理，处理结果保存至内存数据库Redis中。离线批量处理采用Apache Spark技术，实现对分布式大规模历史数据的进行分析计算处理，处理结果直接存储在分布式时序数据库OpenTSDB中。

（3）数据存储层。提供3种数据存储方式：内存数据库Redis、分布式时序数据库OpenTSDB和关系型数据库MySQL。

（4）数据应用层。数据应用层提供统计报表、工作流、搜索引

擎、API接口应用。搜索引擎 Elasticsearch 基于Redis和OpenTSDB构建反向索引并存储，提供搜索应用功能。RESTful提供系统内部和第三方数据访问接口;WebSocket提供数据推送方式，实现实时监测、状态和告警数据即时在网页显示。

（5）数据展示层。提供Web应用、图表应用、移动应用、大屏系统展示等。通过HTTP、SOA、WebSocket等模式为客户端的请求提供查询、实时监视、告警管理、运维管理等服务，通过离线同步模式为移动巡检客户端提供服务。系统通过标准的接口访问内存数据库、ES搜索引擎和历史数据库。

2 关键技术应用

2.1 实时数据服务集群设计

以1 GW光伏电站为例，实时数据服务集群设计如图2所示。

实时数据服务集群通过Zookeeper实现5台服务器的集群管理。所有服务器均部署解析适配器，接入系统与服务器上的解析适配器相对应。通过对Zookeeper集群接口API定制开发，实现对解析适配器的集群化管理，任何一个解析适配器宕机，都会在负载最小的服务器上启动新的解析器，从而实现接入数据无单点故障。

通过Zookeeper对服务器上分布式消息队列Kafka构建集群，各Kafka作为消息代理，其中运行着若干个Partition，由Zookeeper决定Partition对数据的接收，实现负载均衡。当任何接收服务出现故障时，数据流会立即切换到其他负载最小的服务上。

实时数据处理采用流式数据处理服务Storm完成。通过Zookeeper对各服务器上Storm构建集群，通过选举机制实现负载均衡，集群控制单元会选择最适合的Storm服务处理数据流。Storm中的Spouts作为Kafka消费者，通过Bolts和Streams Groupings对实时采集的消息数据进行过滤、合并、保存等处理，处理结果保存至内存数据库Redis中。

实时数据存储采用内存数据库Redis实现，通过Zookeeper集群进行管理，主从节点读写分离，高效运行。Storm处理完的数据发送到Redis进行内存方式实时存储，Redis之间通过集群同步数据。

2.2 历史数据服务集群设计

历史数据服务集群设计图如图3所示。

采用3台服务器搭建历史数据服务集群。采用Zookeeper集群管理技术，基于OpenTSDB+Elasticsearch存储检索模式，通过特征值预定义及聚合技术，利用Spark离线计算处理服务，构建新的ES反向索引，实现历史数据的高效存储及高效检索。

3 结束语

本文基于Hadoop的分布式基础计算架构，采用Kafka作为数据接收端，Redis作为实时数据库，Spark及Elasticsearch实现基于分布式OpenTSDB历史数据的分析及检索功能。解决了大规模光伏电站面临的百万级以上数据的实时处理及分析的要求。经过在光伏电站实际应用过程中，基于本体系架构开发的光伏电站设备缺陷诊断系统及采用无人机巡检光伏组件查找热斑隐裂等缺陷系统可满足单一电站及多电站的统一管理，在系统性能及扩展能力方面得到了较好的预期效果。

参考文献

[1] 孟伟君， 张文华， 朱占利，等. 光伏电站综合监控系统的设计[J]. 太阳能， 2013（17）：29-34.

[2] 付華峥， 陈翀， 向勇，等. 分布式大数据采集关键技术研究与实现[J]. 广东通信技术， 2015， 35（10）：7-10.

[3] 金雯婷， 张松. 互联网大数据采集与处理的关键技术研究[J]. 中国金融电脑， 2014（11）：70-73.

[4] 王建民. 工业大数据技术[J]. 电信网技术， 2016（8）：1-5.

[5] 赵云山， 刘焕焕. 大数据技术在电力行业的应用研究[J]. 电信科学， 2014，30（1）：57-62.

[6] 吴亚坤，郭海旭，王晓明. 大数据技术研究综述[J]. 辽宁大学学报（自然科学版）， 2015（42）：236-242.

[7] 杨巨龙. 大数据技术全解：基础、设计、开发与实践[M]. 电子工业出版社， 2014.

[8] 张东霞， 苗新， 刘丽平，等. 智能电网大数据技术发展研究[J]. 中国电机工程学报， 2015（1）：2-12.

[9] 张锋军. 大数据技术研究综述[J]. 通信技术， 2014（11）：1240-1248.