事件驱动的航空制造流水线预测性维护决策研究

张文沛 崔鹏浩 李洋 延爽

摘要：预测性维护决策旨在提高维护效率的同时，降低维护停机对生产的影响。预测性维护根据设备的实际健康状态进行维护决策，能有效避免过度维护造成的浪费和维护不及时造成的设备随机故障。然而类似于设备故障停机，预测性维护需要关闭设备进行维护作业。如果维护时机选择不当，维护过程会引起生产线的饥饿和阻塞，造成生产损失。因此，预测性维护不仅需要关注设备自身的维护需求，还需要与实际生产进行联动。以考虑机器状态劣化的航空产品流水线为研究对象，在流水线产出损失分析的基础上，研究流水线预测性维护决策问题。首先，针对缺料停机、设备故障等扰动停机事件和预测性维护事件，分析停机事件对流水线产出的影响，量化造成的流水线产出损失。其次，考虑流水线产出损失和维护成本构建奖励函数，建立基于马尔可夫决策过程的流水线预测性维护决策模型，结合深度Q网络算法求解模型获得优化决策方案。最后，通过仿真试验对比其他三种维护方法，验证了所提出决策模型的有效性。

关键词：预测性维护；流水线；决策优化；马尔可夫决策过程；深度Q网络

中图分类号：V37文献标识码：ADOI：10.19452/j.issn1007-5453.2022.05.008

航空制造业作为高端制造业的代表，体现了国家制造业的整体实力。随着我国航空制造业的大力发展，装备的智能化水平和复杂程度显著提升，传统的维护作业模式和技术实施手段无法充分发挥智能生产系统带来的信息和互联优势，越来越难以满足航空制造流水线的生产和维护决策新需求[1]。

预测性维护基于机器健康状态信息进行维护决策[2]。区别于传统的定周期预防性维护模式，预测性维护通过连续的设备状态监测，按需实施设备停机维护，减少了定周期维护可能造成的过度维护和维护不及时问题，提高了航空生产线维护决策的适应性、即时性和有效性。虽然预测性维护可以提高设备的可靠性，在一个较长的时间段内有效减少停机故障引起的生产损失，但是维护时常需要将设备关闭，不仅会影响机器自身的产出，还会因为引起上游机器阻塞和下游机器饥饿，在短期内降低航空生产线性能[3]。因此，预测性维护需要平衡维护工作带来的长期性能提升以及短期性能劣化。

目前，针对航空生产系统的预测性维护决策研究多集中在单机维护决策层面，维护方案过多关注设备本身。Gandhi等[4]利用數据挖掘技术产生的量化结果支持生产设备的维护决策，通过数据挖掘中的分类方法实现特征分裂值或构件测量频率等估计，用于评估代表设备健康状况的特征，以此支持生产设备的预测维护操作。Neves等[5]针对系统劣化的生产线维护决策问题，基于隐马尔可夫模型理论将优化模型与参数估计模型相结合，提出基于状态的维修策略。Florian等[6]针对同时考虑维护成本与投资成本的单个组件维修问题，提出了一种基于机器学习的预测维修方法，与传统的决策阈值优化方法相比，该方法的维护费用最小。Lu等[7]针对单级多状态系统，以产品质量为指标构建了设备的剩余寿命预测模型，并提出了一种基于部件功能重要性的预测维护决策方法。赵洪利等[8]针对航空发动机退化建模和剩余使用寿命预测，提出了基于融合数据建模方法的后期剩余使用寿命预测方法。徐钊等[9]提出了基于遗传算法-支持向量机的航电模块故障分类方法，并通过仿真试验验证了方法的有效性。

在多机生产线预测维修方面，当前研究相对较少。Borrero等[10]提出了一种针对多阶段串行生产系统的预测维修控制策略，该策略利用全局目标模型进行机器级维修决策，利用维修时间窗方法进行系统级决策。Neto等[11]针对串并联生产系统建立了维修优化模型，用间隔检测方法确定设备状态，并以此为依据选择系统维修方式。曲昌琦等[12]提出了一套具有航空装备特色的故障预测与健康管理数据体系架构，完善故障预测与健康管理不同数据要素之间的逻辑关系。崔鹏浩等[13]针对考虑机器劣化过程的多机流水线，以生产线性能评估为基础，提出了基于深度强化学习的流水线预测性维护决策方法。综上所述，现有预测性维护决策研究大多针对小规模航空生产系统，多关注设备自身，缺少与生产线性能研究的深度融合，忽略了维护造成的停机事件对生产系统运作效率的影响，因而难以实现维护决策与生产效率的耦合优化。

本文面向动态环境下的航空制造流水线维护需求，研究将数据驱动的生产线性能分析模型与预测性维护决策模型相结合，在满足维护需求的前提下保障产能最优。首先建立数据驱动的产能分析模型，揭示停机事件对生产过程影响的运作机理，利用生产信息量化对缺料停机、设备故障等扰动停机事件和预测性维护事件对流水线产出损失的影响。而后结合马尔可夫决策过程建立预测性维护决策模型，综合优化流水线产出损失、维护成本。本研究揭示了流水线高效产出的运作机理，丰富了航空流水生产线维护决策手段，对提升生产效率、降低运维费用具有重要的支撑作用和研究应用价值，研究成果可应用在航空发动机零部件生产线、航空仪表等机载装备生产线等航空制造流水线上。

1航空制造流水线定义与假设

每台机器均是有多个离散状态的不可靠机器。在不进行任何维护的情况下，机器的运行状态会不断劣化，最终处于故障状态且无法自行恢复。流水线生产过程考虑两种维护方式，分别是预测性维护和事后维护。预测性维护指在机器故障之前提前采取维护措施，将机器恢复到更健康的运行状态；事后维护指在机器发生故障停机后，再采取维护措施将其恢复到运行状态。在每一时刻，需要对系统内所有机器进行决策是否执行预测性维护或事后维护。

4.1.2結果分析

在试验过程中，暖机时长为50天，运行时长为1000天。为了验证预测性维护决策方法的有效性，本文将所提方法与事后维护、定期维修和基于状态的维修决策等方法进行比较。

（1）事后维护方法只有机器发生故障处于故障状态时，才会对其进行维修。对于本试验而言，只有机器Ml，1≤l≤10处于状态al= 3时，才会使用事后维护。

（2）定期维护方法基于时间的维修决策，根据经验等来确定合理的维修时间间隔对机器进行维护。对于本试验而言，本文使用模拟仿真来确定每台机器的最优维护时间间隔，从而获得定期维修方法下的最低系统运行成本。

（3）基于状态的维护决策方法根据状态检测技术判断机器所处的状态，基于此确定是否对正常机器进行维护。若机器发生故障，则执行事后维护。对于本试验而言，本文使用模拟仿真来确定每台机器需要维护时的机器状态，从而获得基于状态的维护决策方法下的最低系统运行成本。

试验结果显示，所提预测性维护决策方法在流水线产出损失成本、维修成本等方面均优于其他策略。以事后维护方法为基线，定期维护方法将流水线产出损失降低了3.04%，维修成本降低了1.17%；基于状态的维护决策方法将流水线产出损失降低了6.08%，维修成本降低了8.62%；所提预测性维护决策方法流水线产出损失降低了10.40%，维修成本降低了26.14%，4种维护决策方法的执行效果见表13。为了分析预测性维护决策方法所得结果的特点，随机选择250个工作周期的时间段，分析该时间段内流水线的产出损失和加工机器维护决策变化情况，具体如图3所示。

结果表明，所提预测性维护决策方法能够有效地把握维护时机，在降低流水线生产损失的同时提高系统维护效率。具体分析结果如下：（1）最后一台最慢的机器M7是最少进行预测性维护的机器。这是因为机器M7的停机会直接造成流水线产出损失。（2）预测性维护更频繁地作用在距离机器M7最远的机器M1上。这是因为只有机器与机器M7之间的缓冲区全为空时，机器M1才会造成流水线产出损失。因此，预测性维护作用在机器M1上造成流水线产出损失的风险最低。（3）所有加工机器倾向于同时执行维护活动。当机器Ml，1≤l≤10进行停机维护时，可以同时对其他加工机器进行维护。此时，对其他机器进行预测性维护不会造成额外的生产损失。

4.2成本参数的敏感性分析

为分析产出损失成本、事后维护成本、预测性维护成本等成本参数的变化对所提维护方法的影响，本文生成150条具有不同成本参数的流水线，机器与缓冲区参数、机器的转移概率等参数不变，成本参数的取值范围见表14。

在执行4种维护策略的情况下，暖机时长为50天，运行时长为1000天。对于每条生产线，统计4种维护策略情形下流水线产出损失、维修成本和总成本等指标。在此基础上，计算这150条流水线的流水线产出损失、维修成本和总成本等指标的平均值，具体结果见表15。

试验结果表明，以事后维护方法为基线，定期维护方法将流水线产出损失平均降低了1.90%，维修成本平均降低了1.86%，总成本平均降低了1.90%；基于状态的维护决策方法将流水线产出损失平均降低了5.37%，维修成本平均降低了3.59%，总成本平均降低了4.78%；所提预测性维护决策方法流水线产出损失平均降低了18.16%，维修成本降低平均了13.40%，总成本平均降低了10.37%。

5结束语

本文面向动态环境下的航空制造流水线维护需求，以考虑机器状态劣化的流水线为对象，以生产线性能评估为基础，将数据驱动的生产线性能分析模型与预测性维护决策模型相结合。首先，分析停机事件对流水线产出的影响，提出流水线产出损失量化与归因方法。其次，考虑流水线产出损失和维护成本，建立基于马尔可夫决策过程的流水线预测性维护决策模型，利用深度Q网络算法求解模型，提出流水线预测性维护决策方法。最后，通过仿真试验，验证了所提出决策模型的有效性。

本文所提出的流水线预测性维护决策方法能够捕捉维护时机降低维护成本，提升流水线的产出。研究成果可应用在航空发动机零部件生产线、航空仪表等机载装备生产线等航空制造流水线上。本文的研究对象为流水生产线，未来将拓展到脉动装配生产线和考虑产品质量缺陷事件的生产线，进一步研究航空制造系统的智能维护决策问题。

参考文献

[1]王海峰.战斗机故障预测与健康管理技术应用的思考[J].航空科学技术， 2020， 31（7）： 3-11. Wang Haifeng. Research on application of prognostics and health management technology for fighter aircraft[J]. Aeronautical Science & Technology， 2020， 31（7）： 3-11. （in Chinese）

[2]Raza A，Ulansky V. Modelling of predictive maintenance for a periodically inspected system[J]. Procedia CIRP，2017，59：95-101.

[3]Li Y，Tang Q，Chang Q，et al. An event-based analysis of condition-based maintenance decision-making in multistage production systems[J]. International Journal of Production Research，2017，55（16）：4753-4764.

[4]Gandhi K，Schmidt B，Ng A H C. Towards data mining based decision support in manufacturing maintenance[J]. Procedia CIRP，2018，72：261-265.

[5]Neves M L，Santiago L P，Maia C A. A condition-based maintenance policy and input parameters estimation for deteriorating systems under periodic inspection[J]. Computers& Industrial Engineering，2011，61（3）：503-511.

[6]Florian E，Sgarbossa F，Zennaro I. Machine learning-based predictive maintenance：a cost-oriented model for implementation[J]. International Journal of Production Economics，2021，21：108114.

[7]Lu B，Chen Z，Zhao X. Data-driven dynamic predictive maintenance for a manufacturing system with quality deterioration and online sensors[J]. Reliability Engineering & System Safety，2021，212：107628.

[8]赵洪利，郑涅.基于融合数据和维纳建模发动机余寿预测[J].航空科学技术，2021，32（5）：23-30. Zhao Hongli， Zheng Nie. Engine RUL prediction based on the combination of fusing data and wiener modeling[J]. Aeronautical Science & Technology， 2021， 32（5）： 23-30. （in Chinese）

[9]徐钊，张一童，潘震，等.基于遗传算法：支持向量机的航电模块故障分类研究[J].航空科学技术， 2021， 32（10）： 80-86. Xu Zhao， Zhang Yitong， Pan Zhen， et al. Avionics module fault classification based on genetic algorithm-support vector machine[J]. Aeronautical Science & Technology， 2021， 32（10）： 80-86. （in Chinese）

[10]Borrero J S，Akhavan-Tabatabaei R. Time and inventory dependent optimal maintenance policies for single machine workstations：an MDP approach[J]. European Journal of Operational Research，2013，228（3）：545-555.

[11]Neto R F T，Godinho Filho M. An ant colony optimization approach to a permutational flowshop scheduling problem with outsourcing allowed[J]. Computers & Operations Research，2011，38（9）：1286-1293.

[12]曲昌琦，周銳，杜宝，等.航空装备故障预测与健康管理的数据体系研究[J].航空科学技术，2020，31（12）： 61-67. Qu Changqi， Zhou Rui， Du Bao， et al. Research on PHM data system architecture for aviation equipment[J]. Aeronautical Science & Technology， 2020， 31（12）： 61-67. （in Chinese）

[13]崔鵬浩，王军强，张文沛，等.基于深度强化学习的流水线预测性维护决策优化[J].计算机集成制造系统， 2021（9）： 1-19. Cui Penghao， Wang Junqiang， Zhang Wenpei， et al. Optimizing predictive maintenance decision for serial production lines based on deep reinforcement learning[J]. Computer Integrated Manufacturing Systems， 2021（9）： 1-19. （in Chinese）

[14]Colledani M，Gershwin S B. A decomposition method for approximate evaluation of continuous flow multi-stage lines with general Markovian machines[J]. Annals of Operations Research，2013，209（1）：5-40.

[15]苟艺星，王军强，李洋.事件驱动的流水线建模与质检机器配置优化[J].计算机集成制造系统， 2021， 27（2）： 487-500. Gou Yixing， Wang Junqiang， Li Yang. Event-based modeling of serial production lines and optimal allocation of quality inspection machines[J]. Computer Integrated Manufacturing Systems， 2021，27（2）： 487-500. （in Chinese）

[16]刘全，翟建伟，章宗长，等.深度强化学习综述[J].计算机学报， 2018， 41（1）： 1-27. Liu Quan， Zhai Jianwei， Zhang Zongzhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27. （in Chinese）

[17]Aggarwal C C. Neural networks and deep learning[M]. Berlin：Springer，2018.

Event-Based Predictive Maintence Decision-Making of Aerospace Manufacturing Systems

Zhang Wenpei，Cui Penghao，Li Yang，Yan Shuang Northwestern Polytechnical University，Xi’an 710072，China

Abstract： In production lines， predictive maintenance is adopted to improve the maintenance efficiency while achieving a desirable throughput. Predictive maintenance makes maintenance decisions based on the status of equipment， which is important to reduce the waste resulted from excessive maintenance and the unexpected equipment breakdown. However， it is not uncommon that machines need to be shut down for maintenance. Similar to random machine failure， predictive maintenance can cause significant production loss if it is not planned appropriately. Therefore， this paper proposes a predictive maintenance decision-making model for a serial production line based on a thorough understanding of production dynamics. Firstly， the impact of disruption events and maintenance events are evaluated in terms of the permanent production loss. Then， a Markov decision process model is established for predictive maintenance decision making. The model considers the penalty cost by permanent production loss and the maintenance cost. Deep Q network is adopted to exploit the optimal maintenance policies. Lastly， case studies are performed to validate the effectiveness of the proposed predictive maintenance decision-making model by comparing with other three maintenance decision-making models.

Key Words：predictive maintenance；serial production line；decision-making optimization；Markovdecision process； deep Q network