基于虚拟化技术的民航气象数据库系统的应用设计

2017-12-20 19:58刘韬张英华
科学与财富 2017年29期
关键词:虚拟化技术航空航天计算机

刘韬+张英华

摘 要:虚拟化技术于20世纪70年代开始在IBM System 370等大型主机上应用。通过将硬件层抽象化,减少物理资源的管理,虚拟化技术把应用、数据和物理系统分隔开,从而增加了灵活性,使得物理资源可以更好地配合工作负载和数据要求。虚拟化技术有着如提高资源利用率、执行效率以及数据中心敏捷性等等好处,但它在提供强大功能的同时也增加了系统的复杂度,无论何种虚拟化技术都会带来一定的系统开支,必定会降低整个虚拟化系统的性能。在己经产生数十种虚拟化技术的今天,如何评测虚拟计算系统的性能表现成为一个越来越重要的问题。相对而言,针对虚拟计算系统性能评测的理论与方法,相关的研究刚刚起步,目前这方面的系统理论与方法还不成熟和完善,国内的研究水平与世界水平还有着较大的差距。随着经济的高速发展,我国气象事业也取得了较大的进展,国家气象局与民用航空气象部门分别建成了各自的气象资料传输网络,对应虚拟化气象业务系统也分别建立。

关键词:虚拟化技术;计算机;航空航天

1 服务器虚拟化技术介绍

在计算机中,虚拟化(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式,地域或物理组态所限制。一般所指的虛拟化资源包括计算能力和资料存储。

在实际的生产环境中,虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用,透明化底层物理硬件,从而最大化的利用物理硬件。目前非常热门的Virtualization虚拟化技术的出现和应用其实已经有数十年的历史了,在早期,这个技术主要应用在服务器以及大型主机上面,随着PC性能的不断增长,Virtualization也开始逐渐在x86架构上流行起来。虚拟化可以将IT环境改造成为更加强大、更具弹性、更富有活力的架构。通过把多个操作系统整合到一台高性能服务器上,最大化利用硬件平台的所有资源,用更少的投入实现更多的应用,还可以简化IT架构,降低管理资源的难度,避免IT架构的非必要扩张。客户虚拟机的真正硬件无关性还可以实现虚拟机的运行时迁移,可以实现真正的不间断运行,从而最大化保持业务的持续性,而不用为购买超高可用性平台而付出高昂的代价。

2 民航气象数据库系统介绍

民航气象数据库系统分为气象资料处理子系统和数据库管理子系统。

2.1 气象资料处理子系统:资料处理子系统共有12个进程,气象资料处理子系统对服务器data目录下接收到的气象信息进行分析分解,质量控制后入库。可处理的气象信息包括:民航气象报文、自动观测系统(AWOS)、卫星云图资料以及雷达资料等。

2.2 数据库管理子系统:数据库管理子系统采用客户机/服务器模式,可对资料处理、数据库等进行实时监控和管理,预报平台和服务平台则可通过获取Oracle数据库中的气象资料,以不同的形式展现给用户。数据库管理子系统主要侧重于对数据库中气象资料的管理。主要功能有系统登录、资料处理、数据库管理、数据库恢复、日志和统计、用户管理、进程管理、系统配置等。其告警功能可对资料处理子系统的运行异常、服务器端运行异常、监控进程运行异常、数据库的运行异常以及资料处理中的特殊情况进行告警。

3 民航云南空管分局气象数据库系统的硬件组成

由两台IBM服务器(型号:P520)组成,服务器运行的操作系统是AIX5.3。其中一台服务器为主用服务器,另外一台为备份服务器。

4 应用设计的必要性

民航气象数据库系统维护人员针对中国民航航空气象数据库及传真广播应用系统存在的问题所作的一些拓展和改进工作实例,然而从侧面我们可以看出,系统维护人员所作的这些工作只是一些个体的优化和补充,不能形成系统全面的、广阔覆盖的标准体系,另一方面随着计算机网络技术以及航空气象技术的发展,同时民用航空气象用户也不断增多,民航航空气象数据库及传真广播应用系统的弊端和缺点开始不断显现出来,归纳起来主要表现在以下几个方面:(1)随着客户端数目的不断增加,服务器承受很大的压力,整个系统的性能将大幅下降。另一方面各地区民航气象部门投入了大量的人力和物力来开发、维护和升级各种客户端服务软件以满足不同客户的不同需求,而靠原来那种个体的优化和补充显然是不现实的;(2)在以前用户可以到后台数据库来访问数据,而现在由于网络结构的复杂化,以及用户数量的不断增加,使得这种访问方式的安全隐患不断凸显出来,系统及信息的安全变得至关重要,相应的维护工作也会变得困难重重。

针对上述目前对于民航气象资料的需求量在逐年增加,客服端数量增长很快,而如今民航云南空管分局的民航气象数据库中运行的只有两台IBM服务器,故而存在的服务器承载压力过大。因此需要在现有的两台服务器上应用虚拟化技术,最大化利用硬件平台的所有资源,用更少的投入实现更多的应用,还可以简化IT架构,降低管理资源的难度,避免IT架构的非必要扩张。客户虚拟机的真正硬件无关性还可以实现虚拟机的运行时迁移,可以实现真正的不间断运行,从而最大化保持业务的持续性,而不用为购买超高可用性服务器而付出高昂的代价。

5 具体的应用设计

5.1 航空气象报文资料数据处理程序

如图所示:航空气象报文资料数据处理程序程序由“报文数据处理接口模块”、“公报处理模块”、“报告要素处理模块”、“质量控制模块”、“数据库入库模块”组成。其中除“报文数据处理接口模块”外,都是由一组程序组成。例如公报处理模块,由于有多种不同的公报格式,对应每一种公报就有相应的公报处理程序。

航空气象报文资料数据处理程序长驻内存,为可重入程序。一经启动,虚拟化系统可按控制参数的设定定时扫描通信接口目录,如果发现有报文文件就读入报文,分离一份公报,调用与之相应的处理程序,对一份公报处理完成后继续下一个公报,直到该报文文件处理完成,将该文件从通信接口目录中删除,转入垃圾备份目录,然后处理下一个报文文件。endprint

为了有效解决机场信息系统所面临的难题,本文拟采用两台IBM服务器虚拟平台软件的服务器虚拟化整合解决方案。(如表1)

民航信息系统解决方案主要由两台IBM服务器构成信息系统的资源池,可有效避免服务器出现硬件故障时,只有1台服务器提供服务,导致资源负荷过度集中而形成性能瓶颈;通过1台低端独立的PC服务器安装v Center完成资源池的集中管理;本方案不需要独立的磁盘阵列,系统中需要的共享存储由V M ware的专为中小企业打造的VSA组件、利用服务器的本地存儲来实现;针对集群HA问题,可通过使用V M ware v Sphere自身拥有的HA功能解决,在硬件平台级别,不需要额外的HA软件。

方案分析:

资源利用率提升情况:采用两台IBM服务器虚拟平台软件的服务器虚拟化整合解决方案后,各类资源的利用率明显提升。同时,机房设备采用量减少,包括数据中心机房空间、机柜数量、交换机端口及网线数量、耗电量、空调和人力成本,实现绿色机房、节能减排的目标。

模板功能提升系统的可维护性:模板功能可通过向虚拟化平台申请所需的硬件资源,安装操作系统后,完成配置数据库管理软件和应用服务器,验证确保应用成功运行后,利用克隆功能把所有的IBM制作为模板,放入模板仓库中。后期部署则直接通过VM模板完成部署,简化了现场安装部署工作复杂程度,缩短应用上线时间,简化了系统维护的难度。

系统的高稳定性:方案通过V M ware v Sphere的HA及VSA,可以实现可靠的运行环境,任何一台服务器的失败,V M ware v Sphere虚拟化平台都可以自动发现,并把失败的服务器从可用服务器列表中剔除,从而保证任意时间用户请求的计算资源都是建立的可用的服务器之上。同时,通过功能,还可以保证失败的虚拟机计算资源可以自动迁移到其他可用的服务器上。

5.2 数据结构

数据库的数据结构由数据库目录结构,数据库表和字典组成。

5.2.1 数据表

数据表根据存取的时间和种类不同有不同的表结构。如:公报表,报告表,要素表和图形图象表等,在如有实时库表,历史库表和反演库库表。

5.2.2 数据字典

数据字典是对数据的说明。这种说明数据的数据也称为元数据。数据字典存放在目录字典目录中,数据库建立是由应用程序读出在数据库中建立数据字典表。如控制字典表,清除字典表和区站号字典表。

5.2.3 数据库目录结构

数据库目录结构中由四部分组成,执行程序目录;源程序目录;字典目录;数据工作目录。对于数据目录中又分四个子目录分别为:口志文件存放目录;监控信息文件存放目录;存档备份文件目录;通信与数据库接口目录。不同的目录中存放不同的文件。

5.3 程序结构

整个系统下分为三个子系统:数据库数据生成子系统、数据库数据检索应用子系统以及数据库系统管理子系统。

5.3.1 数据库数据生成子系统的作用是将从通信系统收集到的气象资料进行收集、处理、存储归档作用。按气象资料类型分类主要由气象报文的处理储存、航空报文的处理储存、图形图像及各点资料处理储存三部分程序组成,分别包括地面和探空实况资料处理模块、口常航空报文处理模块、数值预报格点资料处理模块、雷达和卫星云图图像资料处理模块等各类常规数据处理模块,其分类归档主要是依靠文件的命名规则实现。

5.3.2 数据库检索应用子系统的使用对象是用户,其作用是为气象预报人员和航空气象用户提供各机场实况报文、预报、图像图形产品、重要气象信息等丰富的气象产品。数据库检索应用子系统由:程序检索调用接口函数、图形界面用户管理程序组成。

5.3.3 数据库系统管理子系统主要面向系统管理员或维护人员,包括数据存档/恢复程序、数据自动/手动清除、数据库管理程序、数据库监视信息采集程序构成。包括数据存档模块、存档数据恢复模块、数据库手动清除模块、数据库自动清除模块、元数据加载模块、数据表生成模块、字典数据载入模块、数据库进程信息采集模块、数据库口志信息采集模块、数据库数据统计信息采集模块等。

5.4 系统功能设置

(1)库生成功能是指从将通信系统或其它加工系统获取的气象资料进行格式检测和转换,然后按数据库所设计的格式写入库中。民航气象数据库应用系统获取资料方式主要通过通信分系统获得,通信分系统将收到的数据分门别类存放在指定的接口目录,然后由数据库处理程序读出数据进行处理入库,另外系统库生成功能还可以通过分布式恢复功能和存档功能分别从其它的系统数据库中和存档文件中生成数据。

(2)质量控制功能主要是针对实况观测资料而言的。从气象数据特点来看民航气象数据库应用系统需要对实况观测进行两个方面的检测:一是对各种实况观测资料编码格式进行检测,检测项目包括观测资料种类标志检测、台站号检测、经纬度检测、组指示码检测及数字字母变换检测等等,在检测的同时,对于不符合格式规定但又在业务允许范围内的错,则需要按预定的原则自动订正,而对于不能订正的则将其相应的要素作缺测值处理,如果是特别严重错误致使系统无法进行修订的报文则需要将整份报告舍弃。另外一方面是需要对部分气象要素值的物理意义进行质量控制,比如气温的值范围应该在常理范围内等,因此检测内容需要有要素极值检测、要素值和时间一致性检测等。

(3)为了维持库生成程序的正常运行,民航气象数据库应用系统需要检测由于资料异常问题而出现的库生成程序的中断或死循环,并设法跳过该异常资料的处理进程。

(4)针对不同的用户民航气象数据库应用系统需要有不同的方式提供检索服务功能。针对数据库维护人员可以采用程序调用方式,即通过接口提交参数从而获得所需资料;而针对资料使用人员(航空气象用户和气象预报人员)则需要采取分布式的检索方式,用户必须首先通过授权,然后通过系统界面查询检索到分布式数据库系统中的任意节点库数据。

6 结论

过去几年来,基于软件的虚拟化技术在民航系统上迅猛发展,更强大的功能和更简单的管理使得虚拟化己经成为横向扩展硬件资源共享的一项重要技术,迈渐走向成熟和普及。虚拟化技术若要实现其全部潜能并拓宽其应用范围,必须与硬件实现更紧密的结合。随着技术的纯熟,硬件辅助的虚拟化技术,虚拟仕技术投入实用的成本和复杂性大幅降低,虚拟化技术的发展也从此进入了一个全新的时代,正朝着更强大、更高效、更可靠、更灵活的方向迈进。随着民用航空运输的快速发展,各国对民航业务运行系统的投入也不断加大,先后有美国和欧洲在空管运行上提出了发展规划,同时也为我国民航事业的发展特别是空管运行方面提供了借鉴的思路,在各国的运行发展规划虚拟化航空气象系统的建设和运行能力的增强是其发展的重点,而虚拟化数据库应用系统的建立也正好是民航气象业务运行不断发展的一个体现。

参考文献

[1]赵西峰.北京高性能计算机应用中心面向全社会服务[J].中国军转民,2000,3-7.

[2]高华云.数据库在国家气象中心实时业务中的应用.数据库技术在气象领域的应用学术会议论文集,2001:22-24.

[3]徐海.基于Oracle 9i的民航气象数据管理系统设计与实现[D].成都:四川大学,2005,10-20.

[4]李海鹏.从NextGen组织机构看中国民航的体系建设[J].中国民用航空,1-2.

[5]宋贝叶.民航气象数据库及卫星传真广播系统简介[J].空中交通管理,1998.

[6]邓卫国.基于民航气象数据库的远程气象服务[J].空中交通管理,2002,1-3.endprint

猜你喜欢
虚拟化技术航空航天计算机
第十五届航空航天月桂奖
第十五届航空航天月桂奖
计算机操作系统
信息系统审计中计算机审计的应用
虚拟化技术在中职学校校园网服务器中的应用
云计算虚拟化技术在电信领域的应用研究
基于SOP架构的一种轻量级虚拟化防火墙的实现
一飞冲天——中国航空航天史
Fresnel衍射的计算机模拟演示
航空航天