典型航天装备在役考核指标体系构建*

齐分岭,韦国军,侯 炜,孙 金,施力琪

(1. 航天工程大学,北京 102206;2. 中国人民解放军66389部队,山西 太原 030031)

当前我军试验鉴定进入新的历史发展时期。新体制下的装备试验鉴定包括性能试验、作战试验、在役考核三个阶段。其中，在役考核是我军提出的新的试验鉴定类型,在役考核是在装备列装服役后进行的鉴定考核,主要目的是检验装备满足部队使用与保障要求情况,及时发现服役装备在实际运用中存在的问题隐患,为装备改进升级提供意见建议。航天装备主要包括在轨运行的卫星、空间站、运载系统、测控系统、运控系统及应用系统。开展航天装备在役考核研究有助于摸清航天装备性能,验证装备在实际使用环境下的任务效能,探索装备运用模式,为同型装备改进升级或新型装备立项论证提供理论依据。指标体系构建是在役考核的基础性工作,其构建过程是否科学,指标设计是否合理,是装备在役考核的关键。

孟庆均等分析了在役考核评估的逻辑过程,通过提出关键在役考核问题,界定了在役考核重点内容,构建了装备在役考核指标体系,为规范在役考核评估设计提供理论支撑。朱闽等采用专家打分与问卷调查法确定陆军主战装备在役考核指标体系,综合运用优序图法和差异修正法计算指标权重。彭文成等对指控分系统体系能力进行自顶而下分解,运用映射、聚类方法构建在役考核指标体系。张超等从在役考核的概念和内容出发,运用改进的灰色关联分析法对指控分系统在役考核指标体系进行优化,运用实例对模型进行了验证。吴溪等通过确定作战试验目标,提出装备关键作战问题,运用基于映射分解、基于质量功能展开及基于树状分析3种方法解析关键作战问题,采用ISM模型构建了作战试验评估指标体系。当前对航天装备在役考核指标体系构建的研究较少,本文借鉴上述文献中指标体系构建方法,紧密结合航天器装备工作环境及任务特点构建典型航天装备在役考核指标体系。

1 典型航天装备在役考核指标体系构建方法

1.1 装备在役考核内容

在役考核指标体系构建之前要明确装备在役考核内容,只有搞清楚在役考核主要内容才能建立科学全面的指标体系。在役考核是考核在役装备在训练演练、完成任务、值勤保障等实际使用过程中满足需求的程度,是对装备进行的持续性考核鉴定,通过科学评估,及时发现问题缺陷,检验装备是否真正“好用”,通过全方位的在役考核为装备采购、改进升级及退役报废提供意见建议。如图1所示，装备在役考核主要包含以下3个方面内容。

图1 装备在役考核内容示意图

1)在役适用性指标。在役适用性是考核装备在列装后装备与使用人员、装备与装备之间结合的效能,装备服役后基本性能保持及执行任务中效能发挥情况,是否满足装备使用单位任务要求,包括装备适编性、适配性、服役经济性、部队适用性和质量稳定性,重在考核装备在实际使用环境中的表现及作用发挥,是在役考核的主要内容。

2)性能试验及作战试验考核不充分或未能考核指标。在性能试验及作战试验阶段,由于装备试验样本量少或者考核条件不具备,导致部分指标考核不充分或者无法考核,就本文所研究的典型航天装备而言，这一特点更加明显,多数卫星可靠性、可用性的测试在发射入轨前后是有差别的,另外，由于使用寿命的限制，卫星入轨后的任务测试试验不可能占用太长时间,需要结合在役考核进一步试验验证。

3)装备鉴定定型时遗留问题改正情况及以往在役考核问题解决情况。新的试验鉴定体制下,考虑研制成本及战斗力生成周期等因素,允许装备存在部分不影响装备整体功能的问题,这些遗留问题需要在批量生产时消除。新装备列装后,再结合在役考核验证这些遗留问题的解决情况,对以往在役考核排查出的问题解决情况进行回头看,检验装备效能提升情况,调查官兵对装备改进后的满意度。

1.2 在役考核指标体系构建基本思路

指标体系的构建是在役考核的基础性、关键性工作,是在役考核数据采集与评估的依据,指标体系是否合理直接影响到在役考核效益。构建在役考核指标体系首先应当明确考核目的,基于装备完成不同工作任务的满足度,从装备担负使命、用户使用体验以及部队工作任务三个方面提出关键在役问题。然后采用树状分析技术，结合装备在服役过程中所需完成的工作任务，解析关键在役问题,初步确定在役考核评价指标,最后通过灰色关联模型和专家咨询法进行指标筛选优化,从而形成优化后的指标体系。总体构建思路如图2所示。

图2 典型航天装备在役考核指标体系构建基本思路

1.3 在役考核指标体系构建步骤

1.3.1 确定在役考核目的

以构建先进实用的航天装备试验鉴定体系为总体目标,探索装备在役考核科目设计、指标体系和效能评估方法等,进一步验证在役装备完成各项任务的实际效能,跟踪掌握部队装备战法运用、使用管理、保障维修情况,考核装备适编性、适配性和服役期经济性等指标,为装备运用以及改进升级提供意见与建议。确定在役考核目的要结合装备担负使命、用户使用体验、部队工作任务3方面内容分析。其中，装备担负使命分析主要围绕装备担负的具体使命讲清航天装备载荷及平台性能、效能是否满足任务需求;用户使用体验分析主要是分析航天装备人员编制、数量编配是否合理以及维修保障性如何;部队工作任务分析主要是围绕部队日常多样化的工作任务，分析航天装备在战备、训练、演习、管理等工作中的性能保持、效能发挥、操作使用满意度、经济性、稳定性等综合表现情况。

1.3.2 提出关键在役问题

关键在役问题是在役考核关注的重点内容,是在役考核重点解决的问题,能够直接反映装备列装服役后“好不好用”“耐不耐用”等现实表现,在役考核指标必须围绕关键在役问题进行分解,确保在役考核指标具有针对性和有效性。航天装备在役考核指标必须围绕航天装备的关键在役问题构设,与列装服役后的工作任务紧密相关,“装备在多样化军事任务中的性能保持、效能发挥及是否满足当前任务需要”是关键在役问题所在。关键在役问题的主要任务是在分析装备担负使命、部队工作任务及用户使用体验的基础上,将模糊的在役考核要求转化为比较明确的问题,便于考核人员理解和构建指标体系。对于装备使命层面而言,考核人员主要关心的是卫星性能保持及效能发挥情况；对于部队工作任务,考核人员主要关心的是卫星在实际使用中的组织运用、操作流程、维修保障等方面的情况；对于用户使用体验,考核人员主要关心的是卫星编配是否合理、能否保持信息优势。结合在役考核目的分析,关键在役问题可分解为装备适编性问题、适配性问题、部队适用性等问题。关键在役问题需要紧密结合装备担负的训练、演练、保障、管理等具体任务分解,以便有利于后续数据采集工作开展。以航天装备中的某型卫星系统为例,结合实际工作任务,提出关键在役问题,部分关键在役问题如表1所示。

表1 关键在役问题

1.3.3 解析关键在役问题

装备试验鉴定考核评估依据具体的评估指标体系来考核,解析关键在役问题的目的也是为了建立合理完善的在役考核指标体系。不同类型的在役考核目的不同,对应的指标体系和分解方法也不同。

本文选取基于树状分析的方法构建在役考核指标体系,主要将装备服役寿命周期中需要关注的关键在役问题转化为评估指标体系。树状分析的技术思想产生于还原论,是一种逐层分解剖析问题的方法论。

运用树状结构将复杂的系统研究对象进行多种属性的描述,对系统进行逐级逐层地解析,由上到下、由高层次到低层次、由抽象到具体。结合在役考核目的定义分析可知,在役考核的内涵也可理解为是对装备在役效能的考核,具体包含适用性、适配性、经济性等指标,这些指标再结合装备日常战备、维护管理、演习训练等工作又可以进一步分解,直到分解到可以直接采集的底层数据元为止。

树状分析技术是将关键在役问题层层分解为层次清楚的树状结构,结合航天装备在役考核内容及服役后所涉及的主要任务,可以将关键在役问题分解为装备适编性、适配性、服役经济性、部队适用性和质量稳定性5类问题,并据此设置在役考核的一级指标。每个关键问题可以进一步分解为几个子问题,每个关键在役问题或子问题可以分解为一个或多个与其相关的效能指标,每个效能指标可分解为多个性能指标,每个性能指标则与最终数据元相对应。例如，适编性问题可以分解为：在轨卫星数量资源是否满足实际任务需求?地面应用系统值勤人员配备是否合理?地面应用系统与任务适应性如何?将这些关键在役问题用指标来衡量,可以分解出所有可以回答关键在役问题的指标数据。基于树状分析构建在役考核指标体系的方法如图3所示。

图3 基于树状分析的在役考核指标体系构建

1.3.4 生成初始指标体系

由于篇幅有限，本文仅以典型航天装备在役考核中部队适用性及服役经济性指标的构建为例进行详细阐述。

1)以某型卫星为研究对象构建部队适用性指标体系

卫星是航天装备中数量最多的一类,部队适用性指标是衡量卫星在实际使用中是否适应当前任务的重要指标。部队适用性是指装备完成战备训练等任务的满足程度,在役考核阶段进行适用性考核的内容主要是前期性能试验与作战试验期间不具备条件考核或者未能充分考核的一些指标。由于航天装备工作环境特殊,卫星地面模拟空间环境试验不可能完全代替真正的空间环境试验,因此部分适用性指标仍须在卫星入轨后进行持续考核,例如可靠性、测试性、环境适应性等指标均需在实际使用的空间环境中进行长周期的考核。运用树状分析技术解析部队适用性关键问题,可得到部队适用性指标,如表2所示。

表2 部队适用性I1(一级指标)

2)以某型测控装备为研究对象构建服役经济性指标体系

测控装备是测控系统的重要组成,主要用于跟踪测量航天器的姿态状态,发送遥测遥控信号。服役经济性是指装备在服役期间消耗维持经费的合理性,主要考核费效比情况,一般以年为时间单位计算,考核装备在训练、使用、管理、维护及完成其他日常任务中的经费消耗是否合理。考核测控装备的服役经济性有助于考察测控装备经济性是否合理,为装备退役更新提供决策参考。运用树状分析技术解析服役经济性关键问题,可得到测控装备服役经济性指标,如表3所示。

表3 服役经济性I2(一级指标)

2 典型航天装备在役考核指标体系优化

经过树状分析初步建立的典型航天装备在役考核指标体系,存在某些指标与上一级指标相关性较差、部分指标的重要性不易区分以及部分指标不适于实施考核等问题,因此应该进一步优化初始指标体系。

2.1 基于灰色关联度分析的初始指标体系优化

初始指标体系中包含定性指标和定量指标,而且部分指标之间不存在明确的数量关系,可以看作一种灰色系统,可利用灰色关联度对在役考核指标体系进行优化,进一步剔除相关性不大的指标。

2.1.1 初始指标值的获取与标准化

在役考核初始评价指标体系中，既有可以直接从工作任务中获取的定量指标,也有需要根据试验鉴定专家、部队操作维护人员主观评价的定性指标。对于定性指标,如“人员数量合理性”“专业岗位合理性”“太空温度适应性”等,可以采用问卷调查以及德尔菲法进行获取。

指标值的类型主要分两类：一类是效益性指标,或者称正向型指标,即越大越好,如指标“任务完成可靠度”;另一类是成本型指标,或者称负向型指标,即越小也好,如指标“故障检测虚警率”。数学中一般使用阈值法对数据进行标准化,阈值法是指将原始值与指标中的某个阈值进行比较,进而转化为标准值的方法。标准化公式可表示为:

效益性指标标准化:=max()

(1)

成本型指标标准化:=min()

(2)

其中,为第个考核对象的第个指标的实际采样值,max()、min() 分别为试验中采集到数据中的最优值。

2.1.2 灰色模型建立

灰色关联分析法是根据系统中各个指标之间的内在关联程度进行分析,通过对实例指标数据的处理发掘指标之间的相关性,应用灰色关联分析法分析各个指标之间的关联性是否密切,剔除关联性弱的指标,从而达到优化指标体系的目的。灰色关联模型构建步骤一般如下:

1)确定评价对象指标集,包括参考数列和比较数列

={(1),(2),…,()}

(3)

={(1),(2),…,()}

(4)

式(3)中，()表示第个指标的参考值、最优值,式(4)中，()为第个考核对象第个指标的某次采样值、实测值。

2)求解差值数列矩阵

先对指标进行标准化处理,以()为标准参考数列,以()为比较数列,求解差值数列矩阵:

(5)

式(5)中，Δ()表示第个评价对象第个指标与标准值的差值。令=()*,()=|()-()|。

3)计算灰色关联系数

在上一步的基础上，依据公式计算关联系数:

(6)

其中，为分辨系数,取值范围为[0,1]。一般情况下，取大于04的数,通常在05～1之间,可取05。

4)计算关联度

关联度表示指标之间关联性的大小,即密切相关程度:

(7)

对进行排序,可得到各指标相对于评价对象的重要程度,剔除相关性较小的指标。

2.2 专家咨询法优化调整

卫星运行空间环境复杂、工作方式特殊,部分考核指标的确定区别于通用装备,经过灰色关联模型筛选的在役考核指标体系还需结合专家经验进行意见征询,优化调整与实际不符的部分指标,以使指标体系更加完善。

3 实例分析

下面以部队适用性指标为例,利用灰色关联分析法进行优化。选取某型卫星不同时期统计的相关数据四组,分别记为data1、data2、data3、 data4,采用灰色关联度模型对指标体系进行筛选优化。

1)获取指标值

对于所选取的指标数据样本中定性或主观数据采用专家打分法获取；对于定量型数据则从卫星运行历史数据中采集,从而得到各指标原始值,所有数据应用前均做脱密处理,而后用式(1)、式(2)对数据进行标准化处理,如表4所示。

2)指标分析

设定所取的4组数据数列的参考数列为={1,1,1,1},比较数列分别为,,,,数列中的数值由表4得到。然后计算差值矩阵=()*,()=|()-()|,得到矩阵后转化为表5。

表4 指标标准化值

表5 D值

利用MATLAB求解出中最大值为0988,最小值为0,由式(6)求出关联系数(),如表6。

表6 关联系数

最后由式(7)计算关联系数，可得关联度矩阵=[0745 0416 0426 0721 0542 0641 0557 0472 0351 0615 0904 0842 0464 0890 0685 0734 0352]

3)指标筛选

根据指标关联度值的大小判断指标的重要性,值越小说明关联程度越低,指标测试规程合理性、指标干扰环境下工作适应性与在役考核部队适用性关联度均低于04,可以剔除。

4)指标优化

对于筛选出的指标体系再组织试验鉴定领域、航天工程领域及卫星管控部队专家通过德尔菲法广泛征询意见。综合专家意见,该指标体系比较合理,但认为“卫星在轨维修性”指标表述不合理,因为在轨维修技术目前尚未实现,卫星可恢复性故障一般是通过上注遥测指令进行重置恢复,致命性故障一般无法维修,建议将指标“在轨维修性”更改为“遥测维修性”。

5)指标体系的最终确定

通过灰色关联模型及专家咨询法进行筛选优化,最终确定了比较完善的部队适用性指标体系,如图4所示。

图4 典型航天装备(卫星)部队适用性指标体系

运用同样的方法可得到典型航天装备适编性、适配性、服役经济性及质量稳定性指标。

4 指标体系评估应用

为验证上述指标体系的合理性与有效性,本文采用模糊综合评价法进行在役考核评估,拟对某星座中3颗卫星(编号为1-3号星)适用性进行考核,指标体系采用优化后的部队适用性指标体系,数据来源为经处理的历史数据及仿真数据。

1)确定评价对象集={,,},其中,,分别代表待评估对象1-3号卫星。

2)确定评价因素集={,,,,},其中,,,,分别代表准则层指标,即5个二级指标:任务可靠性、卫星维修性、卫星测试性、卫星安全性、环境适应性,每个准则层指标包含对应的项目层指标,分别为、、等15个三级指标。

3)确定评价评语集={,,},其中,,分别代表优秀、良好、一般、差。

4)运用层次分析法计算各层次权重,生成权重向量,其中准则层权重矩阵记为,指标层权重矩阵分别记为1、2、3、4、5。

5)建立综合评价模糊关系矩阵。由10名来自任务部队、院校、科研单位的专家结合卫星历史数据及仿真数据进行评价打分,每名专家对每个卫星具体指标评价选择仅为一类,并采取10分制打分。分别求出3颗卫星的模糊关系矩阵、、。

6)综合评判。通过公式=°计算3颗卫星的模糊综合评价向量,根据最大隶属原则确定卫星部队适用性综合评判结果。

依据上述步骤1-6,代入数据计算即可得到综合评价向量,由于篇幅有限,具体演算过程不再详细描述,只给出评价结果向量。

=°=(0287 0471 0205 0037)

=°=(0526 0277 0197 0000)

=°=(0026 0226 0483 0265)

根据最大隶属原则可知,1号星适用性为良好,2号星适用性为优秀,3号星适用性为一般。实际上,1号星综合表现良好,处于寿命中期;2号星为近期发射的改进型卫星,性能优秀,适用性强;3号星服役时间长,故障率偏高,综合表现一般,可见评估结果与实际相符,说明本文所建立的指标体系科学有效,能够较好地反映典型航天装备实际状态。

5 结束语

典型航天装备在役考核是摸清装备性能底数、了解装备效能发挥、发现装备实际运用中存在问题隐患的重要手段,可以为装备研发论证、改进升级提供意见建议。

本文结合文献研究成果,以典型航天装备为在役考核研究对象,从装备在役考核内容出发,梳理在役考核指标体系构建思路,突出在役问题的分析分解,构建初始指标体系,运用灰色关联分析法与专家咨询法进行优化,以优化后的指标体系为基础进行综合评估仿真,验证了指标体系的合理性与有效性,为下一步组织典型航天装备在役考核数据采集工作打下基础。