面向装备综合保障设计的大数据系统研究

， ，

(江南机电设计研究所， 贵州 贵阳 550009)

0 引 言

根据国内装备综合保障设计现状，以“大数据”为主要技术手段，系统开展面向“精确保障力”的装备综合保障设计研究。通过大数据存储、分析与挖掘等一系列大数据技术，有效利用装备全寿命周期内产生的大量综合保障数据，对装备使用、维修的规律和特性进行数据挖掘，为综合保障设计过程提供决策支持，提高设计效率，创新装备“精确保障力”生成手段，全面提升装备智能化、快响应、主动式综合保障设计能力。

在整合装备全寿命周期产生的大量综合保障数据资源基础上，面向装备精确保障能力构建需求，突破大数据存储、分析与挖掘等技术瓶颈，解决传统综合保障设计过程中设计能力不足、设计手段粗放、资源配备与装备实战化需求差距巨大等一系列问题。在保障模式上实现从粗放型、经验型向集约型、精准型的跨越式转变。在设计手段上，进行设计能力的全面提升，使得装备在交付部队后具备状态感知和自主维修决策能力，能够根据战斗任务需求提前实施精确的维修保障工作。动态优化配置保障资源，减少装备停机和脱离战斗时间，确保装备满足信息化、体系化实战保障需求，对有效打赢未来攻防对抗战争具有重大价值和现实意义。

1 装备综合保障设计现状

装备的传统综合保障设计以任务成功和故障修复作为出发点，不考虑装备在具体使用环境中的个体差异，提供的是一种以“事前计划性维护”和“事后被动维修”为特点的粗放式静态保障能力，缺乏保障资源的灵活重组能力以及保障任务的协调优化能力。

从综合保障设计总体来看，装备在需求论证、保障性分析、保障资源规划、保障方案生成等综合保障关键设计环节中仍严重依赖设计师个人经验，主观性和随意性较大；装备在全寿命周期内形成的大量保障数据、已有型号经验和教训等在设计过程中没有得到有效利用，“老问题”重复出现的情况时有发生，许多问题只能遗留到装备定型甚至使用阶段，逐步发现逐步解决，对装备战斗力的形成造成了十分不利的影响，设计改进的代价巨大；保障方案决策及设计优化能力严重不足，保障资源规模庞大且无法实现精确配置，“用而不备、备而不用”的问题突出。

从综合保障设计方法来看，采用的是面向数据统计和逻辑决策分析的设计方法。由于装备实际问题的复杂性、不确定性，导致装备保障模型难以准确构建，基于模型的设计(MBD)手段一直没有建立。主要模型参数如故障模式、元器件失效率、故障模式危害度、平均故障间隔时间、维修率等数据主要来源于相关标准及手册的典型产品在典型环境的标称值，由于具体装备的实际状态以及多样任务、动态变化(如全天候、多地域)的外界环境数据未充分利用，导致模型参数难以准确确定，综合保障设计结果难以适应复杂动态环境条件下的装备精确保障需求。

从综合保障设计效果来看，相关部队只能按照规定的计划性保障任务机械地开展保障工作，或者在装备故障后进行被动式“救火”，难以利用战场态势、作战任务、装备状态数据等进行动态决策和调整，使得整体保障效能不高，装备任务成功性和战备完好性水平与预期保障设计目的存在较大差异；往往以保障时间和保障资源的消耗为代价来换取装备整体战备完好率和任务成功率，使得已列装装备中出现“保障不足”和“保障过度”并存、保障效果达不到预期设计的情况，无法满足体系化、信息化新形势下带来的精确保障需求。

2 装备综合保障大数据系统总体构建方案

装备精确保障设计需要新的技术方法和创新手段。从精确保障技术内涵来看，数据利用、决策支持是实现精确保障设计与传统保障设计最大的区别。引入“大数据”技术，以大数据分析作为设计决策支持手段，实现保障任务和资源精细化设计，成为解决装备精确保障设计能力的可行手段。

从数据产生及形式来看，装备从论证、设计、研制、生产、交付、使用、维护维修直至报废的整个过程中，会产生大量的指标、设计、仿真、测试、试验以及使用、维修等数据，包括文本、数据、文档记录、模型、程序、图表、图片、视频等多种类型的结构化或非结构化数据。因此，装备的综合保障数据具有装备复杂、交付量大、服役周期长、监测数据多、继承关联性强、多源异构等鲜明的大数据特点。一般而言，这些装备数据量大且价值密度较低，但是，在大批装备经过长期监测的情况下，这些数据中隐含了设计缺陷、使用规律、故障规律、消耗规律、优化规律等一系列对于精确保障设计至关重要的信息，然而用常规数据分析方法去捕捉、管理和处理这些数据却难以获取有价值的信息。因此，将“大数据”引入传统综合保障设计，利用大数据挖掘方法挖掘单因素的趋势信息、多因素潜在的关联关系，通过规律分析获取综合保障设计所需的各种参数，为综合保障设计提供决策支持，以解决传统综合保障设计模型参数设计不准确的问题。

基于“大数据”的综合保障设计能力主要体现在：面向装备全寿命周期，通过综合保障统一数据建模和大数据系统的构建，实现综合保障数据统一收集、处理、分析和挖掘利用，并逐步向知识挖掘发展，为综合保障设计过程提供基于大数据的设计决策支持，提高设计效率。

综上所述，以“大数据技术”作为设计支撑手段，有效利用装备全寿命周期内产生的大量综合保障数据，对使用规律、维修规律、故障规律、消耗规律等进行挖掘，可以大力提升防空装备综合保障设计水平。基于大数据的综合保障设计过程如图1所示。

根据装备在论证、方案、研制各阶段综合保障设计中需要开展的大数据分析挖掘需求，构建集综合保障大数据存储、处理、挖掘为一体的大数据系统；对综合保障异构大数据进行变换及归约处理，完成综合保障数据入库前的清洗；应用综合保障集中-分布式数据存储方法，实现综合保障多源异构大数据的存储；利用面向装备综合保障设计的大数据挖掘分析算法，支撑维修保障任务设计及保障资源设计。大数据系统总体构建方案[1-2]见图2。

图1 基于大数据的综合保障设计过程Fig.1 Integrated support design based on big data

图2 综合保障大数据系统总体构建方案Fig.2 Overall construction scheme for integrated support big data system

3 装备综合保障大数据系统关键技术

3.1 装备综合保障大数据系统构建技术

综合保障大数据系统总体架构包括基础设施层硬件架构和软件系统架构两部分。

基础设施层包括承载数据存储、数据分析和交换的高可靠服务器及网络设备[3]。针对装备综合保障设计的全寿命周期综合保障大数据应用需求，充分调研其他行业和综合保障已有大数据系统基础设施架构的现状，设计一套完整的基础设施的设计方案，包括网络拓扑、存储选型、服务器选型等，用于支持综合保障大数据系统基础设施的采购与实施。

对于软件系统架构层，Hadoop平台目前是大数据平台系统软件的事实标准，可以满足综合保障大数据系统研发与验证，因此，综合保障大数据系统软件架构采用开源Apache Hadoop架构为基础来构建，如图3所示。由图3可见，在大数据集成层进行外部数据的映射转换加载，在大数据统一存储管理层中对各种综合保障类型数据存储系统进行统一管理，并提供统一访问服务；大数据挖掘分析层负责综合保障数据挖掘模型的设计及执行，包括算法库的开发。

图3 综合保障大数据系统架构Fig.3 Integrated support big data system configuration

3.2 全寿命周期综合保障大数据集成与存储技术

在数据集成之前，首先明确全寿命周期装备数据的来源、类型，再针对不同来源、类型的数据开展不同数据的集成方法研究。从来源看，全寿命周期综合保障数据主要包括：来自总体、分系统、设备等设计单位的综合保障指标论证数据，保障性分析数据，装备测试数据，可靠性实验室试验数据，外场试验数据等；装备在使用维修、保障过程中产生的在线和离线数据。这些数据可分为：①可靠性相关数据,失效率、故障模式、故障症状；②工况数据,温度、湿度、应力、载荷；③履历数据,所有正常工作、故障、测试、维修、大修、升级、延寿等数据；④状态数据,装备自身传感器、BIT检测电路的所有测试、状态感知以及工作过程中产生的其他性能相关的数据。从类型看，有结构化的数据、非结构化的数据、半结构化的数据等。

1) 基于适配器的综合保障大数据映射及处理技术

根据综合保障大数据特点，规定统一的数据格式，形成统一的数据模型。采用适配器技术来实现综合保障异构数据与统一数据模型的映射，即针对不同类型数据格式，开发一个专门的适配器，来实现源数据和统一数据模型的模式映射和实例转换工作。

因为异构数据源众多，人工来进行模式映射要花费大量时间，因此,采用基于语义和机器学习相结合的方法，实现模式的预先自动化匹配，然后由人工快速确认，最后自动化形成映射规则，并生成对应的适配器。适配器工具可满足大量异构数据源向统一数据模型转换的任务需求。通过采用适配器的方式实现对大量不同类型的数据资源访问。适配器把一个类的接口转换成期望的另一类接口，使得不同类型数据之间不因为接口不兼容而不能协同工作，使用适配器技术可大大节省用于开发接口与修改接口的时间。在数据交换中，通过为不同类型数据源编写适配器，就可以在交换过程中使用统一接口来访问各种数据源。

为进行保障数据的分析与挖掘，需要在数据映射转换过程中进行数据清理，因此,在每个适配器后，都将进行变换、归约的处理。以综合保障统一数据建模为基础，首先对装备全寿命周期的多源异构综合保障数据进行变换、归约处理，清洗装备全寿命周期过程中产生的“脏数据”，将“脏数据”转化为满足数据分析要求的数据。采用分箱、聚类和回归方式，处理数据中的噪声数据；采用填充空缺值的方法，处理不完全数据；采用WFD技术(完全文件检测技术)方法，处理重复数据。

2) 综合保障大数据集中-分布式存储管理技术

对装备全寿命周期的多源异构数据，采用集中-分布式存储的方式进行存储，将海量的数据分散存储在多台独立的设备中，并采用可扩展的系统结构。

在存储中心建立一个总的存储节点，建立多个机器集群。大数据存储系统基于开源Hadoop平台构建，针对文件、结构化数据、键值对数据的存储需求，对HDFS、Hive、HBase等系统进行优化，并设计统一访问接口，支持上层系统通过RESTful API接口方便地进行数据的管理和获取。在分存储节点，主要是在各分系统针对一些不适合汇聚的数据提供本地存储管理，针对部分大数据分析需求，可以及时按需提供数据，进行数据统一挖掘分析。多源异构综合保障数据集中-分布式存储管理框架见图4。

图4 综合保障大数据集中-分布式存储管理框架Fig.4 Integrated support big data concentration-distribution storage management framework

3.3 面向装备综合保障设计的大数据挖掘技术

针对装备综合保障大数据系统应用需求，对大数据挖掘方法进行分析，总结每种挖掘方法的适用性和特点；根据论证阶段、方案阶段、工程研制阶段综合保障大数据系统的各类应用需求，研究综合保障大数据挖掘分析方法。

选择挖掘方法时应根据数据的来源和类型进行选择，针对综合保障领域常见算法，开发高效的算法库，支持分析应用开发。

常用的数据挖掘方法可分为分类、回归分析、聚类、关联分析、异常检测5种。分类[4-5]、回归分析通常适用于预测建模任务；聚类、关联分析、异常检测的目的是导出概括数据中潜在联系的模式。

分类用于预测离散的目标变量，回归分析用于预测连续的目标变量，因此，在装备综合保障设计过程中，对于备件、人力人员的规划，可使用分类、回归分析的挖掘方法。典型的分类挖掘模型有分类回归树、朴素贝叶斯、决策树、神经网络、支持向量机等；典型的回归挖掘模型有神经网络回归、广义线性回归、支持向量机回归等[6-7]。

聚类旨在发现紧密相关的观测值簇，使得属于不同簇的观测值可比，属于同一簇的观测值相互之间尽可能类似[8]。在装备综合保障设计过程中，对于装备、分系统、设备等综合保障指标的确定，使用聚类的方法把以往型号的数据进行聚类，供设计人员查询参考。典型的聚类模型有K均值聚类、层次聚类、期望最大化EM等。

关联分析用以发现描述数据中强关联特征的模式。在装备综合保障设计过程中，在确定指标时，除了通过聚类分析把指标展现给设计人员，同时还可以应用相关分析的方法，把与确定指标需要考虑的相关因素呈现给设计人员，为指标的确定提供决策支持。典型的关联分析模型有Apriori算法、FP增长算法等。

异常检测的目的是发现真正的异常点，从而避免错误地将正常的对象标注为异常点。在装备综合保障设计过程中进行故障预测时，先使用异常检测方法发现真正的异常点，进而进行准确的故障预测。典型的异常检测模型有基于临近度的模型和基于密度的模型等。经归纳总结可得常用数据挖掘方法分类如图5所示。

图5 综合保障大数据挖掘方法Fig.5 Integrated support big data mining

以综合保障设计中备件的确定为例，根据装备综合保障大数据系统应用需求分类，选择分类预测方法，采用神经网络模型算法进行预测。从综合保障数据中进行特征值提取，即与类似备件有关的故障模式、维修策略、满足率、通用性、重要性、备件在存储的过程中有无损耗及备件的供货来源情况等特征，采用五折交叉检验的方法进行模型评估，给出合理的预测结果，为备件的规划提供合理的、完备的决策信息。

在现有数据挖掘方法无法满足综合保障设计需求时，针对具体的装备综合保障设计需求，需要研究专门的挖掘算法。进行综合保障大数据挖掘，需进行综合保障关键设计因素及数据关联分析，找出影响综合保障设计的关键因素及与这些因素相关的数据，进行设计与使用过程中离线批量数据的处理等。针对综合保障常用模型和算法，开发高效算法库，为装备的综合保障设计提供决策支持。

4 结束语

本文首先针对装备精确保障需求，突破大数据存储、分析与挖掘等技术瓶颈，规范数据格式与模型，充分利用数据挖掘知识并逐步沉淀，找出装备使用与维修相关规律，为综合保障设计过程提供决策支持。然后，对综合保障大数据系统架构、全寿命周期综合保障大数据集成与存储技术、综合保障大数据挖掘技术进行分析，提出一套覆盖装备综合保障大数据集成与存储、大数据挖掘以及网络基础支撑环境的总体框架方案，以期指导综合保障大数据系统的构建。