基于边云协同的数控机床高频数据采集应用

2022-01-17 08:57过立松陆剑峰胡觉成
自动化仪表 2021年10期
关键词:数据处理内存边缘

杨 越,余 涛,过立松,陆剑峰,3,白 欧,胡觉成

(1.同济大学电子与信息工程学院CIMS研究中心,上海 201804;2.智能云科信息科技有限公司,上海 200082;3.企业数字化技术教育部工程研究中心,上海 201804)

0 引言

2016年,针对我国工业互联网技术的迫切发展需求,工业互联网产业联盟(alliance of industrial Internet,AII)在参考美国工业互联网参考架构(industrial Internet reference architecture,IIRA)、德国工业4.0参考架构模型(reference architecture model industry 4.0,RAMI4.0)以及日本工业价值链参考架构(industrial value reference architecture,IVRA)的基础上,提出了以网络、数据和安全为主要功能体系的工业互联网体系架构1.0。2019年,为了更好地进行体系化的设计、新技术的融合以及实施的可行性,AII在体系架构1.0的基础上结合新一代信息技术进行设计,推出了工业互联网体系架构2.0[1]。在新的体系架构中,工业互联网作为全新工业生态、关键基础设施和新型应用模式,通过人、机、物的全面互联,实现全要素、全产业链、全价值链的全面连接,不仅成为推动实体经济数字化转型的关键支柱,还是实现第四次工业革命的重要基石[2]。

数据是工业互联网的核心。在工业制造过程中,机床监控、刀具数据分析、机器学习等都需要大量的数据。这些数据来源包含分布式传感器、设备控制器、企业制造系统等[3]。基于对这些数据的分析,能够监控设备的工作状态。例如,以工业互联网为平台,通过对大量机床数据的采集、汇总、分析,开发了以机床性能检测为结果的工业APP,从而实现对工业设备的监控[4]。

而如何实现对机床数据的高效采集,是完成机床大数据、工作状态监控的首要条件。因此,工业界对机床数据十分重视,而相关数据采集方法也层出不穷[5-7]。但到目前为止,众多方法都没有同时兼顾机床工作高频的要求,以及通过工业互联网平台将采集的数据进行高效共享。因此,本文提出一种基于边云协同的数控机床高频数据采集应用的方法。边缘设备与网络云平台协同运行,既能充分利用边缘计算的数据采集和局部数据处理能力。又能利用云平台的大数据处理和数据共享能力。两者协同运行能有效利用接入网络的带宽,实现高频数据的传输和下载。同时,运用数控程序对采集起始条件进行灵活定义,能使边缘设备进行机床数据采集的内容和时间可控,从而满足不同的需求。

1 相关综述

1.1 边缘设备

在当今万物互联的背景下,物联网所产生的数据中有45%都将在网络边缘处理。由于云计算具有实时性不足、带宽不足、能耗大、不利于数据隐私等缺陷,这类集中式处理数据的模式不能高效处理边缘侧的数据。为解决上述问题,面向海量边缘设备数据计算的边缘计算模型被广泛应用。这些边缘计算模型在网络边缘处理大量临时数据,不需要再上传云端处理,也不需要请求中心云端的响应,极大地减小了网络带宽的压力,缩短了系统延迟,有利于更好的服务。同时,用户隐私不再上传,而是储存在边缘设备中,在一定程度上保护了用户数据安全[8]。

狭义上,边缘设备是指向企业或服务供应商提供核心网络入口点的设备;广义上,边缘设备是指从数据源到云中心之间的所有资源,其操作对象包括云服务的下行数据及万物互联服务的上行数据[9]。边缘设备集边缘计算的数据、数据处理和应用程序于一体,并安装在边缘网络中。边缘设备包含边缘网络上的交换机、路由器、路由交换机、局域网(local area network,LAN)以及各种城域网(metropolitan area network,MAN)、广域网(wide area network,WAN)设备。

边缘计算及边缘设备的发展得益于网络、隔离技术、边缘操作系统、数据处理平台、数据安全和隐私等技术的综合发展。鉴于此,一系列以边缘计算进行的数据采集得以应用在各领域,包括智慧交通、智能家居、电子医疗、智能工厂[10]等。

1.2 内存数据库与边缘存储

内存数据库是一种实时数据库,可将数据直接放在内存中进行操作。相比于传统的磁盘数据库,内存数据库的读取存储速度显著提高。这是由于存储媒介的不同。内存数据库在索引结构、存储管理、并发控制等技术方面有很大改进[11]。目前,常用的内存数据库有SQList、eXtremeDB、Oracle TimesTen、Redis、Memcached等,具有成熟、易扩展、安全、稳定、支持多种兼容、易开发等优势。

Redis是边缘设备内存数据库存储的一种常见方案。它是一个Key-Value存储系统,支持的存储类型包括字符串、链表、集合、顺序集合和哈希等。为保证效率,Redis将数据缓存在内存中。此外,Redis会周期性地把更新的数据写入磁盘,或者把修改操作写入追加的记录文件,在此基础上实现了主从同步。边缘设备临时存储将存储的数据从远距离的云端迁移到边缘设备或边缘数据中心就近存储,具有更低的网络交互延迟、带宽要求和通信成本,具备更高的自适应力。边缘存储为边缘计算提供实时、可靠的数据存储和访问。文献[12]提供了边缘存储层次结构,其由边缘设备、边缘数据中心和分布式数据中心三部分组成。顶层为分布式数据中心,与云中心共同执行数据存储任务;中间为边缘数据中心,部署在人流量大或蜂窝基站处,提供TB级存储服务;底层由边缘设备组成,将输出采集后存入网络。因此,边缘存储具备地理分布式、存储设备异构性、支持存储架构内部部署等优势。

1.3 边云协同

边云协同是边缘计算与云计算相结合的新的协同发展方向。边缘计算在靠近物或数据源头的网络边缘侧,构建融合网络、计算、存储、应用核心能力的分布式开放体系,提供了设备之间互联互通的机制,促进了新的生态模式。同时,边缘计算能够进行业务数据本地处理,对数据进行实时反馈,支持计算、存储资源的弹性扩展、实施决策和优化[13]。云计算能够将分散的计算机上的计算和存储通过数据中心进行集中的数据处理。其本质上延续了大型主机的集中式处理特点[14]。边云协同下,边缘端靠近数据源,提供就近端服务,为云端传输高价值数据;云端为边缘端提供数据持久化存储,为边缘端复杂计算的应用提供资源[15]。

在物联网行业,文献[16]提出了一种面向物联网的边云协同实体搜索方法。结合云计算与边缘计算各自的优势,通过实体识别算法完成实体识别搜索和实体识别分类,构建边云协同实体搜索系统架构,从而提高物联网的实体搜索速度。文献[17]提出了一种应用于配电物联网的边缘计算标准架构,以及基于数据中心的边云机制,解决了配电物联网海量数据采集、传输、计算给通信信道及主站存储计算系统带来的巨大压力。

2 边云协同数据采集架构和实现方法

2.1 系统结构

为了解决机床工作时高频数据采集会出现超过接入网络带宽的问题,在充分考虑工业互联网、边缘计算等新兴IT技术的基础上,本文提出了一种面向车间数控设备数据采集的总体架构。系统结构如图1所示。

图1 系统结构示意图Fig.1 Schematic diagram of system structure

如图1所示,整个系统由云平台、边缘设备和数控机床(采集对象)组成。其中,云平台负责进行数据的深度处理和共享,有应用层、数据处理和管理层以及接入层这三层结构,包含业务管理模块、数据采集管理模块、通信模块、机床数据处理模块、用户管理模块、机床数据库和内容分发网络(content delivery network,CDN)云存储模块等。其中,CDN云存储模块结合了CDN技术。CDN是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器,通过中心云平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。高频率采集后形成的数据文件通过CDN网络传输,可以提高数据传输效率。边缘设备负责数据的采集和临时存储,包括:①云平台通信接口,负责和工业云平台进行通信,形成高频数据传输通道;②数据采集模块,负责采集对象的数据采集;③本地数据处理模块,负责数据的打包压缩,并根据业务需要进行本地处理;④本地数据库(Redis内存数据库),负责数据的临时存储。采集对象一般为带有不同数控系统的数控机床,包含通信接口和内存模块等。数控机床的状态通过内存模块中某个地址的变量值表示,可以通过通信接口被边缘设备读取。

2.2 边缘数据采集方法

边缘数据采集主要由边缘设备完成。

第一步,边缘设备的云平台通信接口接收云平台的数据采集定义文件。文件中包括采集对象、采集内容、采集频率和采集起止条件。

第二步,数据采集模块根据数据采集定义文件中的采集规则采集所设对象的数据,具体包括以下步骤。①根据采集起止条件,跟踪采集对象的状态变化。如果采集对象的状态符合开始采集条件,则开始数据采集;如果采集对象的状态符合停止采集条件,则停止数据采集。②数据采集模块通过通信模块获取采集对象的相关数据内容,同时,这个数据连同数据采集时间(如时间戳)被一起记录,存入Redis内存数据库。Redis内存数据库具备快速临时存储的能力。它将大量数据进行临时存储,等待本地数据处理模块处理。③本地数据处理模块在数据采集模块采集数据的同时进行数据处理,或者在数据采集模块采集结束后进行数据处理。

第三步,压缩模块将采集的数据压缩成高频数据文件。最后,云平台通信接口将压缩的高频数据文件传输至工业云平台的CDN云存储模块。

2.3 采集起始条件定义

数控设备的数据采集,往往和数控程序的执行有密切关系。如果用户想对数控机床动作的某个过程、某个内容或某段时间进行数据采集,就需要一种灵活的数据采集起止的定义方法。本文采用一种结合了数控程序指令来自由定义数据采集起止条件的方法,可以进行多个条件定义。其数控程序过程如下。

①程序开始。

②无需数据采集的程序段,可以是一行或多行数控程序。

③数据采集开始标志字。

④需要进行采集的程序段,可以是一行或多行数控程序。

⑤暂停采集开始标志字,根据需要,可以不包括暂停采集标志字。

⑥不需要采集的普通程序段,可以是一行或多行数控程序。

⑦恢复采集标志字。

⑧需要进行采集的程序段,可以是一行或多行数控程序。

⑨根据需要,插入步骤⑤~步骤⑦,暂停采集。

⑩采集结束标志字。

利用数据采集开始标志字、采集结束标志字、暂停采集标志字和恢复采集标志字,可以明确需要进行数据采集的区间。标志字是针对不同数控系统进行明确约定的某个字符串。使用该方法可以实现自由定义采集条件,适用于各种业务需求。

2.4 数据采集方法

高频数据采集流程如图2所示。

图2 高频数据采集流程图Fig.2 Flowchart of high-frequency data acquisition

首先,根据数据采集定义文件中的采集规则进行数据采集,即当数控程序检测到采集开始标志字时开始采集数据,检测到采集结束标志字时结束采集。采集后形成数据文件,存放在边缘设备Redis内存数据库中。采集过程中可以通过暂停采集标志字暂停采集、通过恢复采集标志字恢复采集,以此选择需要采集的内容。接着,当数据文件达到设定的上传条件或者采集已经结束,通过边缘设备的本地数据处理模块将采集的数据压缩,存放在边缘设备中;否则,继续采集数据。最后,将压缩的数据文件,通过云平台通信接口与工业云平台的 CDN云存储模块,高效传输和存储数据文件,采集完成。

3 应用案例

结合以上边云协同技术以及所提出的系统方案,在面向实际数控系统业务场景(如数据采集、云端数据接收、数据运算处理等)中得到了应用。以智能云科公司的iSESOL BOX网关、iSESOL云平台以及典型应用加工过程监控为例,“云-边-端”高频数据采集方法如图3所示。

图3 “云-边-端”高频数据采集方法Fig.3 “Cloud-edge -terminal” high-frequency data acquisition method

加工过程监控应用主要对加工过程中的实时数据进行高频采集并记录,用于加工质量一致性分析、加工过程监控等场景。加工过程监控应用采集的参数主要包括机床主轴负载、面板倍率、实际倍率、加工刀具数据以及对应时间戳等。在实际加工过程中,在iSESOL BOX端安装加工过程监控APP后,边缘侧按照设定的采集参数和频率进行数控机床的数据采集,采集的数据缓存到边云设备侧,以数据文件格式存储;加工结束后,对数据文件进行压缩,上传至iSESOL平台对应的CDN云存储。iSESOL平台对相应的加工过程数据进行数据处理以及可视化展示。通过该应用,工厂用户可以实时监控设备加工运行过程,并通过加工原始数据下载,进行线下数据分析处理。同样的采集方法可以应用在围绕振动、噪音、电流等维度的数据采集场景。

4 结论

随着大数据、深度学习的不断发展,对数据采集的需求越来越高,在工业领域尤其明显。针对数控设备的数据采集,本文提出了适用于高频数据采集的方法。该方法通过边缘设备与云端的结合,可以有效完成大量的数据采集、处理和传输,契合当下发展的需要。实例证明,该方法不仅能够在工业数控机床数据采集方面得以应用,还具有高效、可靠、灵活等优势,能满足各种业务需求。

猜你喜欢
数据处理内存边缘
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
“春夏秋冬”的内存
一张图看懂边缘计算
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
内存搭配DDR4、DDR3L还是DDR3?
基于内存的地理信息访问技术
基于POS AV610与PPP的车辆导航数据处理
上网本为什么只有1GB?
在边缘寻找自我