一种基于Hadoop的作战云构建方法

2016-06-29 20:32李亚锋
科技视界 2016年16期
关键词:大数据

李亚锋

【摘 要】军事领域一体化作战大趋势不可逆转,战场上大数据的处理对指挥信息系统越来越重要,因此,作战云的思想应运而生,旨在从应用的作战云体系结构角度,使指挥信息系统对于大数据分析和处理达到更高的要求。本文中首先介绍作战云的技术体系架构,然后提出了一种基于Hadoop技术实现的作战云构建方法。

【关键词】大数据;Hadoop架构;MapReduce模型;作战云

0 引言

网络中心战,其实质是一种集侦查、情报、计算、监控、通信、指挥控制、杀伤于一体的C4KISR系统间的对抗[1]。对于网络中心战的进一步发展,是整合陆、海、空、天、赛博等多维作战力量,各传感器、作战平台、武器系统组成虚拟存在的“云”,在体系层面实现战场资源的动态高效管控、海量异构信息实时、高速、分布式处理共享,构建跨领域、跨军种、分布式、网络化的“云杀伤”协同作战云;

作战云[2]是基于网络化的信息基础设施,采用面向服务的模式,为指挥决策、部队行动、武器打击提供按需、便捷、快速的专业、权威的数据和应用服务。

与民用的“云”相比较,作战云的特点主要表现在以下3方面:

1)信息系统的组织性、计划性的要求更高;

2)在严酷的环境中可靠性和安全性的要求更高;

3)信息服务的正确性、精确性、实时性、专业化的要求更高;

协同作战云作为未来军事作战的核心,其要求是反应快速,决策正确、反馈及时。因此、结合我军现有的军事基础设施,充分利用开源Hadoop技术发展的技术优势,构建一套完整的作战云体系架构,为我军制定未来作战云的作战思想、技术演练以及方案设计都有极深远的影响。

1 概述

1.1 作战云概念

美空军将“作战云”概念定义为情报/侦察/监视、打击、机动、保障综合体,在灵活作战框架内实现当前、未来的海上、空中、空间和网络等能力的综合一体,数据共享和跨域协同,每个平台作为一个节点,可向云端提供信息或从云端下载所需信息。

它所具有的特征可以表述为以下几个特点:

1)动态化、虚拟化资源池。将地理分散的各作战平台、传感器、武器系统、各类数据等战场资源相互链接,构建一个网络化战场资源池。具备分布网络化、虚拟化、动态自组织接入、按需访问等特征,可根据特定作战任务需求,进行动态资源分配。

2)云融合。“作战云”的本质是融合,基于云技术实现战场资源整合管控,实现地域、空域、时间域分散的各有源、无源传感器协同探测,完成战场态势实时共享和决策支持,缩短战术决策时间,提升单元要素间的协同能力与整体杀伤效能。

3)分布式“云杀伤链”。“作战云”打破了作战平台、传感器、武器系统之间的硬链接,以松耦合方式构建“探测-跟踪-决策-打击-评估”的完整“云杀伤链”,从而实现对超视距目标的先敌发现、先敌攻击、先敌摧毁。

1.2 基于作战云的大数据分析

现代战争已步入到了大数据时代[3]。未来战场中,具备大数据优势的一方,就占有了重要战略资源,才能在战场上百战不殆。

在现代信息化战场,其明显特征就是数据体量特别巨大。但是大数据并不是数据量大,而是数据中蕴含着巨大的价值量,因此亟待运用新技术结合大数据和云计算,建立快速处理各种数据的作战云系统。

1.3 作战云系统对大数据要求

从20世纪90年代,信息战成为了军事领域的主流,如何理解信息战,怎样打好信息战,怎样做好打信息战的准备,对每个国家在信息战略层面提出了巨大的挑战。通过信息化作战的方式手段,用“信息流”去控制“能量流”、“物质流”,获取制信息权。但是,在当前战场数据量日益巨大的前提下,构成作战云的数据主要有以下几个特点:

1)数据量巨大,数据形式异构复杂;

2)数据处理的难度增大;

3)数据处理的实时性要求越来越高。

2 Hadoop架构的作战云

2.1 Hadoop架构概念

Hadoop是由Apache基金会开发的一个分布式系统基础架构,用户即使在不了解分布式底层的情况下也可开发分布式程序[4]。从原理概念上讲,它是一套开源、以Java为基础、可对PB级的大数据进行计算和存储的软件开放平台,能让数万计服务器组成一个稳定的、强大的集群,从实现角度上讲,Hadoop是要给实现了MapReduce模式的开源分布式编程框架。

2.2 Hadoop云构建的优点

1)扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据;

2)容错能力强:而Hadoop架构可以有效的保证数据在多个节点上存在备份;

3)成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据;

4)灵活性高:可以帮助指挥系统更快捷地进行新数据的访问、分析;

5)高效率(Efficient):可以在数据所在的节点上并行地(parallel)处理数据;

6)可靠性(Reliable):能自动地维护数据的多份复制、能自动地重新部署计算任务。

3 基于Hadoop的作战云的构建原理

作战云构建过程包括数据信息的获取收集、收据预处理、数据的分析挖掘和结果展示(指令的终结)。

1)数据收集:能接收来自海上、空中、空间和网络的情报/侦察/监视、打击、机动、保障等综合信息;

2)数据预处理:进行数据清理(去除噪声、去除不一致的数据)、数据集成(多数据源的组合)和数据选择(定义数据过滤法则),用户通过定义过滤、正则匹配等;

3)数据的分析挖掘:运用数据挖掘算法[6]对经过预处理的数据执行挖掘算法;

4)结果显示:经过数据分析挖掘,将海量信息数据中的有价值的信息显示出来。

4 对未来云协同作战的思考

通过对基于Hadoop构建的协同作战云模拟仿真,随着战场形势的日益多变,作为指挥信息系统核心的计算机需要处理越来的越巨大的数据量,作战云拥有在新时期应对战场快速的信息变化重构信息处理的机制,而基于Hadoop并行运行的作战云,在体系层面能实现战场资源的动态高效管控及海量信息高速、实时、分布式处理与共享,构建跨域、跨军种、分布式、网络化的“云杀伤”协同作战处理;将对未来的空战体系产生深远影响。

1)空战体系。各域作战平台通过云端实现互联互通,云作战体系呈现虚拟化、无形化趋势。

2)分布式常态空战模式。当前各域平台之间的信息共享有限,空战模式仍采用集中指挥、分散执行的线性模式。构建出灵活多样的动态“蜂窝式”力量结构和分布式作战样式。

3)有人/无人协同成为常态编队形式。在云协同环境下,载荷量较小、但智能化程度不断提升的无人机将从战场支援角色转变为“观察-确定-决策-行动”(OODA)作战链的全程参与者甚至主导者,构建无人-有人编队,共同执行战术任务。

4)多样化协同空战样式。借助云协同技术,空战样式将呈现更加的多样化,实现作战平台、传感器、武器系统等空战资源的聚合优化与空战效能的最大化。

5 结论

这种基于Hadoop的作战云构建方法,能结合我军现有的军事基础设施,充分利用了开源Hadoop技术发展的技术优势,构建了一套完整的作战云体系架构,为我军制定未来作战云的作战思想、技术演练以及方案设计都有极深远的影响。

【参考文献】

[1]李小华,李姝.大数据分析在指挥信息系统中的应用[C]//第二届中国指挥控制大会论文集,北京:国防工业出版社,2014:872-816.

[2]赵国宏.作战云体系结构研究[J].指挥与控制学报,2015.1(3):292-295.

[3]李垚,朱亮,陈国润.Hadoop平台在大数据处理中的应用[J].电信技术,2013(04):34-38.

[4]黄丽萍,葛萌.Hadoop平台在大数据处理中的应用研究[J].现代计算机(专业版),2013(29):12-15.

[5]Dean J,Ghemawat S.MapReuce:Simplified data Processing on large cluster[J].Communication of the ACM,2008.51(1):107-113.

[6]张凯玉,陈磊.一种基于Hadoop架构的指挥系统大数据挖掘方法[C]//第三届中国指挥控制大会论文集.北京:国防工业出版社,2015:195-197.

[7]鲁伟明,杜晨阳,魏宝刚,等.基于MapReduce的分布式紧邻传播聚类算法[J].计算机研究与发展,2012.49(8):1762-1772.

[责任编辑:王伟平]

猜你喜欢
大数据
浅谈大数据在出版业的应用
“互联网+”对传统图书出版的影响和推动作用
大数据环境下基于移动客户端的传统媒体转型思路