基于NoSQL技术的卫星配载数据管理系统设计

2021-01-16 02:53刘慧慧
关键词:数据处理

【摘要】為解决传统星载计算机系统中卫星数据储存速度慢、数据备份不足和综合管理能力弱等问题,设计了基于NoSQL处理技术的卫星配载数据管理系统。系统数据查询模块通过探测帧操作命令,实现了数据的快速检索和快速回传;数据库综合管理模块实现了地对空数据传输、传感器采集模块的数据储存、操作命令的执行和实时通信。为加快数据传输,传输层采用UDP协议,详细进行了储存帧、数据检索帧和数据传输帧的设计。模拟系统实验测试证实该系统能够实现多源数据的快速存取、复杂查询和传输通信。

【关键词】卫星配载;多源分布;传感采集;数据处理

〔中图分类号〕TP391.1(文献标识码]A[文章编号]1674-3229(2021)04-0034-04

1 系统总体设计

随着卫星飞行器技术的快速进步,卫星配载的计算机系统中海量飞行数据的储存、快速回放和数据检索等需求迅猛提升,而传统数据的处理方式难以满足新一代飞行器的存储检索等功能[1]。传统卫星数据存储管理通过操控存储介质实现空间数据的采集、储存、实时处理和数据之间的互相访问,在地面与卫星之间通讯时数据回放过程会产生间断、丢失等问题[2]。

基于NoSQL处理技术的卫星配载数据管理系统能够实现分布式数据管理、存储和检索等功能,可以大大提高卫星数据存储、检索和回传的速度和准确性[3-5]。

卫星配载计算机系统多元数据的特点是品类多和形式各异,数据整体管理不易[6]。为了满足卫星数据管理系统的多元融合、存储灵敏和实时检索的需求,本文设计了全新的高效率数据管理系统框架,数据管理系统总体架构如图1所示。

图1中,数据源1、2、3代表的是多源传感设备收集的各类数据,包括卫星飞行角度状态、位置信息、速率、温度和科学仪器等。综合管理主要负责地对空的数据交互外部通信和卫星数据的内部交互通信、数据检索、通信接口设计和数据的储存管理等。

数据管理功能主要包括数据的查询搜索和快速储存,数据库技术NoSQL能够满足灵活多变、存储逻辑快捷和检索高效的系统需求,分布式框架实现了数据隔离和容易扩展的数据特征。综合管理模块使用Sqlite技术,提高了卫星配载数据的统一管理与组织,实现了地面数据接收系统与卫星之间的实时数据传输对接[7]。

2 数据查询模块设计

2.1 数据查询功能设计

数据查询功能主要是通过综合管理的数据查询命令实现传感器采集数据的接收与处理,并根据查询命令在NoSQL数据库中搜索相应数据并传输至地面。系统数据查询模块流程如图2所示。

数据查询功能模块主要包括[8]:(1)数据连接探测子模块主要功能为探测命令发出后,完成传感器数据传输通道连接异常检测并进行数据传输通道重启,保障传输信道不会影响数据的采集与接收;(2)控制命令执行子模块主要功能为当地对空命令发出后,数据系统做出相应的操作执行;(3)数据检索与查询子模块主要功能为实时进行数据的查询、检索与传输;(4)NoSQL数据库子模块主要功能为实时完成采集数据的接收与储存。

2.2 数据查询工作流程设计

数据查询的工作流程主要包括[9]:(1)系统初始化实现数据接收端的侦听;(2)当接收到探测命令后,打开客户端接收状态;(3)根据检索命令,实现卫星对应的温度数据、功率数据和飞行姿态的查询存储,并实现存储数据的封装和传送。数据查询模块的工作流程如图3所示。

3 综合管理模块

数据综合管理模块主要可以实现传感采集数据的存储管理、数据接收和查询检索,并通过内部通信和外部通信实现数据的空中对地面的数据回传功能。整体设计结构如图4所示。

图4 综合管理模块设计结构

消息展示子模块主要负责空中对地面的数据传送与界面显示;数据组织管理子模块主要负责卫星采集数据的储存、分析和查询检索;通信子模块主要负责实现卫星内部数据传输信道和卫星外部数据传输信道的控制,完成相应操作命令的执行;控制子模块主要负责数据的组织管理、传输、分析等功能。地对空命令包括了探测命令、简单查询、复杂查询和数据库操作等。具体如表1所示。

4 分布式通信协议

为了提高数据传输效率,数据管理系统的通信协议使用了基于UDP传输的技术,数据帧大小为64字节。帧格式类型主要设计了三种类型:

(1)数据通用格式主要包括1字节的frame type和63字节的数据长度。

(2)查询命令格式主要包括1字节的frametype、1字节的catetyte、22字节的时间戳、22字节的长度检测和18字节的数据校验。

(3)储存数据帧格式主要包括1字节的frametype、1字节的date tyte、1字节的dataSIQ、21字节长的保留未用和40字节的data。三种帧模式可以满足数据的存储、校验和检索等[10]。通信帧结构设计如图5所示。

5 系统模拟测试

为了验证系统设计的可行性,本文编码实现了原型系统并进行了测试。测试所使用的验证开发板为Power837x,其余测试的软硬件配置情况如表2所示。

测试环境搭建中,数据交换设备使用交换机模拟搭建了地对空网络传输环境,业务开发板1、2和3模拟了卫星传感器数据采集。数据库使用了NoSQL技术实现了数据的存储、检索和查询等功能。测试系统环境搭建如图6所示。

测试系统模拟了卫星配载数据储存在NoSQL中,并通过UDP协议传送到开发板。数据库的上传与下载速率如图7所示。从图7可知,传感器采集数据的数目越多,网络传输效率越低,上传与下载速率维持在1.5M/S。

为了验证系统的速率,测试了在缓存技术与不启动缓存的条件下,100条、500条、1000条、2000条、3000条和4000条数据的传送时间。缓存与否传送时间对比如表3所示。从表3可以看出,缓存机制大大提高了数据传送的效率。

如圖8所示,卫星配载数据管理系统的测试运行中,通过系统操作命令的测试,能够准确实现数据的查询、检索和传送。结果表明,该系统可以实现卫星配载数据的存储、检索和空对地的传输。

6 结语

基于NoSQL技术的卫星配载数据管理系统设计了数据查询、综合管理、分布式通信协议和数据帧等模块,实现了多传感器数据的快速采集、检索和地对空数据传输等功能。NoSQL处理技术通过探测帧操作命令,实现了数据的快速检索和回传。数据库综合管理系统实现了地对空数据的传输、传感器采集模块的数据储存、操作命令的执行和实时通信等。通过模拟系统的实验测试,证实该系统能够准确实现数据的查询、检索和传送。

参考文献:

[1]刘阳娜.基于NoSQL数据库下空间大数据分布式存储策略的分析[J].数字技术与应用,2018(2):55-57.

[2]郭鹏,廖韬.航天器热试验查询统计系统的设计与实现[J].计算机测量与控制,2017(11):36-39.

[3]胡剑平,李强.固态记录设备在航天器中的应用及发展趋势[J].遥测遥控,2017(6):112-115.

[4]杜丽娟.关系型数据库与NoSQL数据库的性能对比[J].智能计算机与应用,2017(3):18-21.

[5]马文龙.Key-Value型NoSQL本地存储系统研究[J].计算机学报,2018(8):78-82.

[6]罗平,张形.基于闪存的星载存储数据管理研究[J].计算机应用研究,2018(2):44-46.

[7]吴琼.基于闪存的星载高速大容量存储技术研究[J].通讯世界,2017(4):94-96.

[8]李绍俊,杨海军.基于NoSQL数据库的空间大数据分布式存储策略仁J7.武汉大学学报(信息科学版),2017(2):138-141.

[9]宋琪,李姗,朱岩.星载固态存储器数据管理结构的设计[J].电子设计工程,2016(6):66-68.

[10]贾露娟,李文新,夏加高,等.星载嵌入式容错文件系统的设计与实现[J].计算和时支术与发展,2015(10):146-149.

[收稿日期]2021-05-22

[作者简介]刘慧慧(1994-),女,硕士,郑州工业应用技术学院信工学院助教,研究方向:嵌入式系统、无线通信等。

猜你喜欢
数据处理
一种稳健的高动态GNSS干扰抑制算法
电容式传感系统数据处理电路的设计
基于ARCGIS 的三种数据处理方法的效率对比研究
贵州开建FAST科学研究与数据处理中心
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
高层建筑沉降监测数据处理中多元回归分析方法的应用研究
视频大数据处理的设计与应用
云计算环境下分布存储关键技术研究
大数据时代电力运营监控数据处理技术
浅谈军事物流数据处理的必要性