新能源大数据平台物联网数据接入架构设计与实现

张喜平赵 维王丽杰

(1.中国大唐集团新能源科学技术研究院有限公司,北京 西城100052;2.申能新能源 (青海)有限公司,青海 西宁800001)

0 引言

在全球新能源发电快速增长的背景下,近年来我国风力与光伏发电得到了迅速发展,容量急剧增加。面对分散且数量众多的风力发电机和光伏发电设备,降低设备故障发生率成为各能源集团风电、光伏场站日常运维的主要目标。然而,在新能源发电过程中,没有信息化的数据支持和科学的度量指标体系,无法准确量化资产发电效率损失水平,进而无法有效识别出提升资产发电效率的重点,也难以对生产运维体系团队进行正确的考评与有效的激励。

伴随大数据、云计算的理念融入到风电、光伏产业的各个技术环节,通过对风电、光伏的运行、监控、管理、维护、检修等环节的重构,达到数据互通互联,有望实现新能源场站的智慧化运维与管理[1-2]。

智慧风电/光伏是以数字化、信息化、标准化为基础,以管控一体化、大数据、云平台、物联网为平台,以数字孪生技术为辅助,以计算资源的弹性配置为保障,以异构计算为核心任务,高效融合计算、存储和网络,通过“人-机-网-物”跨界融合,形成边缘+云端结合的全层次开放架构,实现不同层级的智慧,追求不断提升智能化水平目标,完成更加友好、安全、高效、可靠的能源供应[3-6]。

在智慧风电/光伏平台的全层次开放架构中,物连接是一个重要的环节,负责将设备层的数据以标准化的形态接入至大数据平台。本文提出云边协同的工业物联网设备接入大数据平台的物连接方案,设计物连接的功能模块,分析物连接的技术优势。在中国大唐集团新能源大数据中心云平台的环境下,搭建物连接模块,实现了集团上万台风电机组接入中心大数据云平台,有效地验证了该方案的可行性。

1 物连接架构

智慧风电的大数据平台需要接入风电机组实时生产数据,不同品牌风电机组的数据表、数据传输协议等差异较大,需要设计从运营技术(operational technology,OT)到信息和通信技术(information and communication technology,ICT)互联的物连接方案,提供新能源数据标准化接入集团大数据平台的能力。物连接方案能实现设备实时数据接入与其他业务数据的自助数据接入,简化设备数据接入的过程,对协议、设备、模板进行统一管理,并使中心与边缘侧配置始终保持一致。新能源大数据物连接方案如图1所示,可实现多类型能源设备的海量数据接入与并行处理,并提供设备规则配置、支持设备在线管理等高级应用功能,具体功能架构包括设备对象层、物接入中心、应用服务层。图中AGC(automatic generation control)是自动发电控制,AVC(automatic voltage control)是自动电压控制。

设备对象层主要为提供设备接入的数据对象在线注册与接入规则的集中配置,实现通讯协议、设备数据解析与模型库等设备接入规则的统一配置。物接入中心是物联网平台与各设备采集服务的联络中间件,负责多种能源类型设备的实时数据接入与通讯适配。应用服务层为已接入物连接模块的设备通过定义的规则引擎实现互联设备的状态监测、远程控制、固件升级维护等设备管理。

物连接建立了物联网服务的实例,通过对设备进行自动化运维,实现设备与云端的安全可靠双向连接。提供了丰富的电力通讯协议与物联网协议,包括102/104/OPC/Modbus等公有协议、消息队列遥测传输(message queuing telemetry transport,MQTT)物联网协议、主机直连等私有协议[7-9]。同时,可提供设备级别的认证以及基于策略的授权,允许控制设备具有特定主题的读写等权限,保障物联网应用的安全。此外,无缝连接大数据服务,通过分布式文件系统来存储海量数据,进而对接数据分析和机器学习服务,驱动业务的升级与转型。

物联接实现结构化和非结构化数据的实时接入,是数据应用的基础。物连接的数据接入架构可对接多种数据源和数据结构,只需要通过简单配置即可实现数据实时采集与传输,并支持高并发连接,数据请求实现毫秒级响应。对接入的数据缓存可以被多次订阅;对于流式传输数据,可以实现毫秒级数据分发。同时,接入环境的集群中任意单个节点出现故障,能保持数据接入不间断的运行以及数据不丢失。此外,降低接入环境对硬件资源(CPU、内存等)的过度依赖,支持数据压缩,有极高的性价比。从而,实现物连接的数据接入架构采集灵活、传输高效、数据通道可复用、集群环境可靠和成本低廉的技术优势[10-16]。

2 规则引擎

规则引擎能灵活地转发和处理设备消息,可通过结构化查询语言(structured query language,SQL)的形式设定规则,对消息数据筛选、变型,根据不同场景将数据无缝转发至不同的数据目的地,如时序数据库、物接入主题、机器学习、流式处理、对象存储和关系型存储等。

规则引擎主要分为数据采集服务、数据整合服务、数据审计服务、消息通知服务。数据采集服务为在数据包中添加收到数据的时间戳,根据数据类型Kafka中不同的主题,按照收到接入数据的预制审计条件,将接入数据的统计信息写入Kafka的审计数据主题。为了保证接入数据量,数据采集服务支持水平扩展。数据整合服务主要是获取消息缓存中间件的数据,并进行数据解析、清洗与转换,写入平台;同时按照数据质量模型定义,标注质量标记及数据质量统计信息,实现数据持久化。数据审计服务主要是对数据量和数据进行审计,及时发现数据接入、解析、持久化中的异常。此外,平台可提供消息通知服务,当数据接入阶段出现程序异常、程序依赖的组件异常、数据质量异常、事件数据驱动等问题时,可以进行消息推送与提醒。

3 设备中心

设备中心是实现中心端设备在线注册与连接配置的主要操作界面。按照新能源典型的数据接入场景,设备中心主要分为物的注册、连接管理、物的定义规则三大功能模块。

物的注册实现基于数据孪生技术的物影子的定义和操作,包括接入数据的来源采集对象和执行数据采集接入工作的网关接入器对象,通过调用设备注册服务,生成物影子、关联策略和证书,并获得证书公钥、私钥。其中,采集对象包括设备、电站与接入器。设备的定义为风电(风机/测风塔)、光伏(逆变器/汇流箱/环境监测仪)、输变电设备(箱变/电能变/AGC/AVC/母线)等;电站的定义为电站基础物理信息、资产分类树和资产拓扑结构等信息;接入器的定义包括电子证书、激活秘钥、通讯信息等。

连接管理将负责建立接入器与采集对象的关联关系,对采集对象的通讯协议与信息模型等通讯信息进行配置,组成完整的设备接入的通讯连接通道。同时,支持通讯连接的集中管理与增、删、改、查等单机与批量操作,支持连接管理的在线调试,并验证通讯连接配置是否有效。

物的定义规则支持模板列表的集中管理,包括创建、编辑、删除、查询、批量导入和导出。提供电站设备模板管理及自定义,可根据不同类型的设备(如电场、发电设备、箱变、输电线、测风塔、升压站等)设置不同的设备模板。支持用户新增、编辑新的物与物的定义规则,编辑模板内的具体字段,并通过注册时填写相关内容进行物的定义规则的维护。

4 协议中心

由于采集的设备对象不同,一般需要基于标准通讯规约做定制化配置改造,形成专用于某类厂家设备数据接入的通讯协议。物联接内置了丰富的协议库(包括102/104/OPC/Modbus等公有协议、MQTT物联网协议、主机直连等私有协议),并通过协议中心模块进行管理。此外,物连接还设立全球协议中心与企业级协议中心,支持全球协议中心向企业级协议中心共享标准协议库,并支持用户结合自身应用场景调用、管理企业级协议中心。

协议中心负责对数据采集所需的通讯协议进行统一的集中管理,包括协议的预览、编辑、查询、增加、删除与权限管理,支持展示协议的历史版本与被引用的通讯连接,实现在线机制与离线协议中心同步机制,支持通讯协议创建与发布,如图2所示。

图2 协议中心实例Fig.2 Instance of Protocol center

5 信息模型中心

信息模型为按IEC规范在平台中进行唯一标准命名的设备采集点的集合。信息模型中心可以实现对场站及设备级信息模型管理。信息模型中心提供了信息模型字典管理与信息模型管理。根据用途不同,信息模型又可分为企业级信息模型和接入级信息模型。接入级信息模型用于满足接入器与原厂数据转译解析过程中的标准数据点识别,企业级信息模型是在企业组织架构一级推行的标准点集合。

信息模型字典是数据接入、数据治理及后端数据服务的基础,为内置IEC规范定义的标准点的集合,在平台部署时自动导入,支持与全球中心平台的同步机制。企业级信息模型字典可以支持在线/离线更新。为保障配置一致性,离线更新文件需要进行安全加密,可导入执行不可修改。此外,在企业使用过程中,企业客户可以从信息模型字典创建企业级信息模型,企业级信息模型会与业务模型相关联,参与数据分析和处理过程。

信息模型管理包括信息模型创建、基础信息登记注册、新建或批量导入数据点的集合、编辑数据点的基础信息、信息模型的发布、选择信息模型发布的目标和分类目录、选择信息模型层级;支持信息模型的导入与导出、更新、删除等操作;支持信息模型的版本管理与版本应用追溯,如图3所示。

考虑到不同企业可能会定义一套不同的点表命名规范,所提供的平台级信息点表需符合企业级命名规范。因此,通过信息模型映射构建企业级信息模型与信息模型字典的标准点命名映射关系。同时,信息模型映射支持授权用户登录并查询,支持更新、新增、编辑和维护企业点名规范与信息模型字典的映射关系。

6 异构数据接入

根据数据类型,接入大数据平台的数据主要分为设备实时数据(时序数据,如风电、光伏生产实时数据)、对象数据(如故障录波、振动文件、图像与视频)和关系型数据(如生产管理数据)。按照数据类型不同,在数据采集过程需采用不同的前置服务,如时序数据前置、故障日志前置、结构化数据前置、API接口前置等。

接入到大数据平台的时序数据吞吐量大、时间连续度高,且伴有峰值和滞后等波动,因此要求单机吞吐高,每条记录不丢不重。当单点故障发生的情况下,不影响时序数据的持续接入。根据不同使用场景,数据服务平台对时序数据的接入方式有实时接入、批量接入和定时批量接入三种方式,如图4所示。实时接入方式主要针对设备传感器实时产生的监测数据,这些数据需要连续不断的存储下来,以供后续处理。批量接入方式主要用于接入用户从原有系统准备的时序数据。定时批量接入方式主要用于接入用户定期从前置系统中准备的一段时间内的时序数据。此外,物连接集成的Map Reduce/Spark并行计算框架能保障数据高效灵活的接入;其校验过滤的功能可保证接入数据服务平台时序数据的质量;接入统计服务可帮助用户时刻掌握数据服务平台实时数据接入容量。

图3 信息模型中心实例Fig.3 Instance of information model center

图4 时序数据接入Fig.4 Sequential data access

接入到大数据平台的对象数据主要包括视频监控数据和日志文本数据等。对象数据的接入过程包括对象数据注册、MD5校验、对象上传。对象数据注册为基于新能源数据接入标准,为对象数据添加描述信息,如文件名称、类型、用途等,从而形成对象元信息,方便检索应用。MD5校验为基于数据质量执行MD5校验,确保对象数据完整性。对象上传为基于数据存储策略,应用分布式文件系统写入接口并执行对象数据存储。对于不同对象数据接入的应用场景,物连接抽取-转换-存储(extract-transform-load,ETL)工具提供使用管理控制台界面上传、使用Rest API程序上传和使用Java SDK程序上传三种接入服务。其中使用管理控制台界面上传操作简单,但无法处理大量文件;使用Rest API程序上传对网页应用开发友好,适用于中等规模文件数量的上传;使用Java SDK程序上传适合大规模文件数量上传的场景。

接入到大数据平台的关系数据对支撑实际业务需求,实现异构数据间的关联分析具有重要意义。一般将物联网平台传输过来的业务数据(如计划数据、调度数据、运营数据等)接入到数据服务平台的关系数据存储中,并进行数据校验、清洗、集成与聚合。数据校验基于新能源数据接入标准,如数据类型与数值特征,对数据进行校验,以便保证数据的准确性。数据清洗基于新能源数据质量标准,对一些空值数据、单位转换进行处理,得到符合规范要求的数据。数据集成基于新能源数据存储标准,根据数据Schema映射规则,将业务数据存储到符合Schema定义的关系数据存储中。数据聚合基于新能源数据存储标准,将业务数据按地域、时间等各种维度进行聚合。

7 结论

(1)物连接架构能够配合电力安全防护,提供安全可靠的数据传输通道。

(2)物连接架构能协同屏蔽底层设备的差异性,支撑云边协同大数据平台数据采集和接入。

(3)物连接架构使云边协同架构的边平台和中心平台、设备与通信状态的运维变得简单而统一。