LDM在构建共享数据平台中的应用

杨菲菲 张玺 聂元丁

摘要对LDM软件的工作机制、运行状态、数据分发方式、安装部署等进行了介绍，并与国内通信软件9120进行了对比，分析各软件的优缺点及适用范围，指出LDM的事件驱动及多线程机制对于气象数据共享的优越性，最后对该软件用于合理构建面向共享服务的计算机系统和实现网络数据交换共享时的适用范围提出了一些建议。

关键词LDM；通信软件；计算机应用技术；数据共享

中图分类号TP393文献标识码

A文章编号0517-6611（2017）12-0190-03

AbstractThe working mechanism，operating condition，data dissemination ways，deployment setting of LDM were introduced and it was compared with domestic communication software 9120.The advantages，disadvantages and applicability of these softwares were analyzed.The eventdriving of LDM and superiority of multithreading mechanism for meteorological data sharing were pointed out.Finally，some advices for the applicability of this software were given to reasonably build computer systems for shared service and achieve data exchange of network data for sharing.

Key wordsLDM； Communication software；Computers application technology；Data sharing

由于我国气象预报事业的起步晚于欧洲EC及美国NCAR等国家和机构，他们在气象事业发展的过程中积累了更加丰富的原始数据及预报产品，但是气象数据资料的共享成为摆在世界各国气象组织面前的难题，为了打破气象数据私有化的僵局，数据交换技术上的突破已迫在眉睫。由于气象资料的特殊性，大数据量的数据共享成为提高气象预报准确性的关键。笔者对LDM软件的工作机制、运行状态、数据分发方式、安装部署等进行了介绍，并与其他通讯软件进行了对比，分析各软件的优缺点及适用范围，指出LDM的事件驱动及多线程机制对于气象数据共享的优越性，最后对该软件用于合理构建面向共享服务的计算机系统和实现网络数据交换共享时的适用范围提出了一些建议。

1LDM简述

LDM（Local data manager）是以事件驱动数据分发为机制的软件系统，事件优先的机制决定了数据产品队列处理数据的及时性。LDM软件在世界上许多国家，尤其是发达国家中都有广泛应用，如美国的IDD（Internet Data Distribution）全国雷达资料传输系统（雷达资料收集传输到天气局）等，TIGGE（THORPEX Interactive Grand Global Ensemble）项目也是LDM软件的受益者，承担着世界几大归档中心之间的数据共享[1-3]。

1.1LDM的组成及运行机制

LDM软件包含“产品队列”“LDM服务器”“数据引入器”“产品队列响应进程”“LDM接收进程”“LDM发送进程”，组件中除了产品队列为可查外，其余均为触发后自启的进程（圖1）。LDM的“接收进程”和“发送进程”之间通过“远程过程调用”即RPC进行通信连接，以便于数据传输和数据交换。LDM可以互为服务器端和客户端，多个LDM之间通信可以通过角色自由互换进行[4-6]。

一般情况下，配置LDM时，$HOME/bin目录下的ldmadmin脚本实现了LDM日常管理的功能，包括启动和停止LDM。在启动LDM之前必须先建好产品队列，否则无法启动。LDM软件正常启动后，可以设计测试数据和用例，进行数据的接收发送测试。通过修改upstream、downstream站点的配置文件$HOME/etc下ldmd.conf文件可以设置文件接收类别，$HOME/etc/ 下的pqact.conf文件控制接收到的文件处理规则，$HOME/bin/下LDM软件命令ldmsend可以对数据的发送和接收进行测试，$HOME/bin/下的队列监视命令可以监视队列的接收情况。

1.2LDM的工作方式

LDM的工作方式比较灵活，可以按照任意顺序进行组合，一般常见的组合方式有4种：两站点间连接、一点对多点连接、多点中继连接以及LDM集群方式连接[7-8]。

1.2.1两站点间连接。

两站点间连接的工作方式是指任意2个LDM站点互为“发送方”和“接收方”，来完成通信。两站点间LDM数据交换方式如图2所示。由于此工作方式自身的局限性，仅适用于较少站点之间的通信。

1.2.2一点对多点连接。

一点对多点连接方式一般适用于单向的数据通信，即中心的LDM站点既可以承担发送数据的角色，又可以承担接收数据的角色。

1.2.3多点中继连接。LDM多点中继连接的工作方式其实就是n对两站点连接，这种方式多用于分级的数据链路通信中。多个站点中继传输数据交换方式如图3所示。

1.2.4LDM集群方式连接。

为了提高LDM服务器的实效性和稳定性，LDM还提供了集群的配置方式。

科罗拉多大学（idd.unidata.ucar.edu）的the Unidata Program Center offices已经部署了LDM集群方式来运作，这个集群包括1个主导服务器和一些数据服务器，主导服务器用于向前传递IDD的反馈请求给其他服务器，而数据服务器服务于数据的请求，它们之间使用的联系反馈通过IP虚拟服务器（IPVS）[9-10]，其结构如图4所示。

2LDM在CMA的部署和應用

2.1LDM的部署

LDM软件自从1994年11月发布正式版本以来，已经是较为成熟稳定的通信软件，目前软件的最新版本为6.13.6。

国家气象信息中心最早接触LDM软件是从2006年中期开始，初始的测试版本为6.4.5，2006年10月已经能够通过LDM软件接收来自ECWMF等中心的TIGGE数据，2007年初将测试工作由IBM-RS/6000系统的1个节点移植到1个Linux集群系统上，版本也升级至6.4.6，经部署发现LDM在Linux和AIX系统上具有很好的兼容性。基于此，开发了数据交换平台，并运行良好，迄今已有10多年的历史。

2.2LDM在TIGGE-CMA中的应用

TIGGE项目是世界气象组织的“观测系统研究和预报实验”项目的重要组成部分，中国气象局是其重要成员，也是归档中心之一。LDM软件是TIGGE项目用于进行数据交换的工具，也是TIGGE项目的核心技术之一。

TIGGE平台是一个Linux集群系统，现有平台分为内网、外网2个部分。外网主要是数据交换平台，内网TIGGE系统主要用于数据存储管理。外网部分配置了8台服务器，其中2个节点部署了LDM软件，用于TIGGE数据的实时交换和处理，即数据交换服务器。其余节点用于数据管理（2台服务器承担对内和对外的数据处理和数据服务任务，1台用于数据流程控制与监控，1台用于集群管理，1台是MARS Server）。内网部分配置了2台服务器，用于MARS数据管理、系统监控、内外网数据同步、MARS Client端、数据备份Client端、系统监控客户端和用户检索等，TIGGE平台架构如图5所示。

TIGGE利用LDM软件实时接收来自全世界9个归档中心的数据，即ECWMF（欧洲中期天气预报中心）、UK Met office（英国）、NECP（美国）、CMC（加拿大）、France（法国）、BOM（澳大利亚）、JMA（日本）、KMA（韩国）、CPTEC（巴西），并对ECMWF和NCEP等数据中心发送自己的气象资料，在世界范围内完成大数据的交换。国家气象信息中心已成为亚洲唯一的数据归档中心，其中TIGGE资料在其中扮演着重要的角色。

3LDM 软件与其他通信软件的对比

3.1LDM软件的特点

LDM软件是当前优秀的点对点数据分发软件，具有以下特征：①配置灵活，可以通过对配置文件进行不同配置，来完成对LDM服务器的配置，简单易操作。②事件驱动机制。LDM软件通过事件驱动机制以及对产品队列的调度来完成数据产品的分发。③支持补传。LDM软件具有自己的补传机制，可以通过发送missing文件来完成对缺失数据的补传。④开源软件，方便进行二次开发。⑤软件健壮，几乎支持所有的Linux及Unix平台部署安装。⑥轻量级应用，耗费内存少。

3.2与FTP软件的对比FTP是TCP网络协议，一般运行在20和21端口，因此FTP必须指定端口进行配置，且具有较长的延迟性。FTP具有以下劣势：①明文传输；②必须指定端口；③必须由客户端程序控制，灵活性较差。LDM软件与FTP软件的对比如表1所示。

3.3与国内通信软件9120的对比

国家气象信息中心一直参与负责国内及国际气象通信软件的研发和部署实施工作，9120是其中的一个版本，部署至全国气象部门使用，其主要特点是定制优先级别，对不同的数据类型和工作区建立不同的目录结构进行处理，根据文件和站点节目表进行数据收发的控制，具有自动补调机制。与LDM软件相比，国内通信软件9120具有以下缺点：①单一的轮询方式处理文件，效率低下；②单线程；③收发的文件格式固定，不能进行灵活的对新增数据类型文件进行命名。LDM软件与国内通信软件9120的对比见表2。

4结论

LDM、FTP、9120软件属于不同时代且不同类型的软件，具有各自优缺点。LDM软件更专注于数据的传输，多站点间的通信以及和本地业务的关联性。LDM 软件的事件驱动机制、多线程的文件处理方法，使得该软件完全可以保证传输的优先级，同时也分流解决了数据量较大时的拥塞问题，同时避免了传统传输软件的传输质量不高及数据不统一的问题。因此，LDM软件较适用于我国气象数据共享业务， 一方面可以实现在数据中心内的多层次、数据中继的数据收集和下发工作，另一方面也可以实现多个数据中心间的信息共享及跨区域的数据交换工作。

下一代LDM系统的发展目标是扬长避短，既要维持现有产品的优势，也要解决其缺点。当支持动态路由、数据共享、任意的数据产品时，如何取得最小的带宽消耗将是下一代LDM产品的聚焦点。

参考文献

[1] GANGER T J，ISTOK M J，BLANCHARD W M.The current Linux intel portable WSR88D code distribution and a summary of how it is being used in research，development，and operations[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/85850.pdf.

[2] Unidata.Local data manager（LDM）[EB/OL].[2009-07-09].http：//www.unidata.ucar.edu/software/ldm/.

[3] LIPSCHUTZ R C，MACDERMAID C H.Recent advances in the FSL central facility data systems[EB/OL].[2009-07-09].http：//citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.602.5517&rep=rep1&type=pdf.

[4] MCNITT J，FACUNDO J，SULLIVAN J O.Meteorological assimilation data ingest system transition project risk reduction activity[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/134617.pdf.

[5] MACDERMAID C H，LIPSCHUTZ R C，HILDRETH P，et al.Architecture of MADIS data processing and distribution atFSI[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/86227.pdf.

[6] DAVIS G P，REW R K.The Unidata LDM：Programs and protocols for flexible processing of data products[C]//10th tnternational conference on interactive information and processing systems for meteorology，oceanography，and hydrology.Nashville，Tennessee：American Meteor Society，1994：131-136.

[7] UNIDATA.LDM factsheet[EB/OL].（2007-02-17）[2009-07-09].http：//www.unidata.ucar.edu/software/ldm/factsheet.html.

[8] DROEGEMEIER K K，LEVIT J J，KELLEHER K，et al.Project CRAFT：A test bed for demonstrating the real Time acquisition and archival of WSR88D base（level II ）data[EB/OL].（2002-01）[2009-07-09].http：//www.unidata.ucar.edu/ projects/craft/.

[9] SAFFLEE R E，ISTOK M J，OKULSKIR R.NEXRAD product improvementexpanding science horizons[EB/OL].[2009-07-09].http：//ams.confex.com/ams/pdfpapers/85890.pdf.

[10] 〖ZK（#〗WAKEFIELD J S，MCDONALD P A，SCHULTZL M S，et al.Processing and display of atmospheric electricity data to support launch operations at the Eastern Range[EB/OL].（2004-09）[2009-07-09].http：//ams .confex.corn /ams /11 aram22sls /techprogram /paper_81920.html.