神经网络在飞行疲劳检测中的应用综述

沈 锋，罗文田

（中国民用航空飞行学院航空工程学院，四川德阳 618307）

0 引言

国际民航组织认为飞行疲劳是一种因睡眠不足、昼夜节律紊乱、工作负荷过重等导致机组人员工作能力下降的状态，会对航空安全造成一定影响［1］。在飞行过程中，长航线、多航段飞行以及不规律的跨时区飞行会使机组人员疲劳程度加深、机体恢复进程减慢，给飞行安全带来极大隐患［2］。针对飞行疲劳问题，国际民航组织提出疲劳管理体系，各个国家在此基础上制定了详细的疲劳管理规章，对飞行疲劳进行了严格管控［3］。

飞行疲劳一般分为视疲劳、脑力疲劳、体力疲劳等。人体在长时间或高强度工作后会逐渐进入疲劳状态，反应速度、专注力、警觉度会迅速下降。在飞行过程中，尤其是多航程任务中，飞行员需要注意舱外视野区及舱内各仪表信息状态以便及时执行飞行指令［4］，不仅会加深视疲劳和脑疲劳，还会产生体力疲劳。人体肌肉长时间处于收缩舒张的切换状态或只处于收缩状态下会导致肌肉疲劳，也属于体力疲劳的一种。肌肉出现疲劳时，肌电信号会发生明显变化，具体表现为肌电信号时域幅值增加，频域频谱发生左移。肌肉疲劳还会伴随人体诸多物理、生理、化学信号改变，这些信号特征可以反映肌肉疲劳程度［5］。

由于民航领域的特殊性，针对管制员、乘务人员、飞行员的疲劳监测研究相对较晚，大多数实验只能在模拟状态下展开，相应的疲劳检测方法也更倾向于精度较高的生理信号监测。近年来，基于神经网络的疲劳检测方法不断创新，一些算法精度甚至媲美基于生理信号的方法。神经网络对人脸特征的提取和关键点的定位能力非常好，在检测速度、精度、鲁棒性和便捷性方面表现优异。随着样本容量的提高以及训练硬件水平的提升，基于神经网络的疲劳检测方法会越来越快速和准确。

1 传统飞行疲劳检测方法

1.1 客体检测

人体疲劳程度是非连续变量，对于疲劳程度的评估一直处于量化模型的建立阶段。睡眠调节的双机制模型（Two-process Model of Sleep Regulation，TPMSR）是众多疲劳相关生物模型的基础，该模型由Borlely［6］于1982 年提出，此后许多疲劳模型均以双机制模式为基本理论进行补充和扩展。采用生理信号对疲劳进行研究是一种直接测量方法，通过对受试者的脑电、心电、肌电、心率变异特征、皮肤电阻、激素含量进行分析［7］，可评估其疲劳程度，但直接测量方法会对受试者造成一定干扰，只能获取模拟状态或睡眠剥夺状态下的疲劳状态，不能反映受试者在真实工作状态下的表现。因此，学者们尝试采用间接手段进行疲劳测试。由于疲劳程度积累会造成生理机能下降，PVT 警觉度测试［8］、CFF 闪光融合测定［9］以及操作水平绩效都能在一定程度上对疲劳状态作出评估。一些特征检测方法，例如眼睑闭合度（perclos 值）、眨眼频率、哈欠次数等也可作为疲劳程度的检测手段。

1.2 主体检测

与客体检测思路不同，主体检测是对受试者进行评估，首先记录受试者的睡眠状况，每隔一段时间就要求受试者填写嗜睡表或疲劳检查单［10］。该表形式简单，只需受试者填写当时的疲劳程度，也可通过面部表情、膝跳反应等直接反映疲劳程度。

1.3 疲劳测量方法比较

直接检测受试者的生理信号虽然精确度较高，但侵入性过强，对处于工作状态的受试者干扰很大，且该方法成本很高，测试设备不易普及。一些间接测量方法虽然精度不高，但不具有侵入性，成本低廉，检测速度也更快［11］。传统飞行疲劳检测方法比较见表1、表2。

2 基于神经网络的飞行疲劳检测方法

2.1 视疲劳检测

视疲劳又称为眼疲劳，现代医学认为其由眼部生理因素、环境、精神等因素共同导致。眼部因素主要为屈光不正，包括散光、近视和远视。当环境光线过弱，所观察物体对比度不足会引起睫状肌工作超荷，引发视疲劳。此外，飞行人员眼球运动频繁，处于持续紧张状态，累积到一定程度将发生视疲劳［12］。

视疲劳是飞行人员常见症状之一［13］，因此对人眼状态进行检测是表征疲劳程度的理想方法。在特殊情况下，飞行人员需要佩戴眼镜，包括近视矫正眼镜和墨镜，此时无法通过机器视觉方法检测视疲劳，解决方法为在模型训练阶段将佩戴墨镜的数据集一起进行训练，检测时将该种状态下其他指标权重增加，或使用防滤相机采集训练数据。

Table1 Traditional flight fatigue detection methods表1 传统飞行疲劳检测方法

Table 2 Comparison of fatigue detection methods表2 疲劳检测方法比较

人眼状态的检测前提为人脸检测，不同环境下的人脸信息非常复杂，脸部移动、外部光线、非目标物遮挡都会影响人脸识别精度［14］。20 世纪90 年代诞生的主动形状模型（Active Shape Model）可对人脸关键点进行检测，进而形成特定形状。在此基础上，AAM（Active Appearance Model）算法融合人脸纹理特征进一步提高了检测精度。2010 年，级联姿势回归算法（Cascaded Pose Regression）［15］被提出，该方法通过回归器不断细化预测值，每一个回归器级联只需采用少量样本便可进行训练预测，在特征提取方面可人工设计HOG、Harr、Sift 等特征对脸部进行检测。例如，王剑楠等［16］采用基于Harr 特征的Adaboost 方法对人脸进行定位，之后使用ASEF（Average of Synthetic Exact Filters）算法对人眼初定位后，再采用灰度积分投影法进行二次精确定位；犹轶［17］使用神经网络检测人眼，计算双眼复杂度，结合perclos 准则选择其中较高的复杂度进行飞行疲劳判定。

判定视疲劳程度的perclos 准则于20 世纪70 年代被提出，其理论基础为人眼视线角度、眨眼频率、瞳孔遮挡率等与驾驶人员的疲劳程度具有相关性［18］。该方法被美国联邦高速公路管理局相关专家认为是非接触、实时的驾驶员疲劳评估方法，也是经过实践验证、公认有效的疲劳判定准则。该准则在疲劳检测领域运用广泛，例如鲁胜华［19］采用飞行员眼部数据对BP 神经网络进行训练，结合perclos准则对飞行员疲劳程度进行了融合判定。

perclos 准则认为人眼闭合程度与闭合时间在单位时间内的比例能有效反映驾驶人员的疲劳程度，共有3 个标准，分别为EM、p70、p80：①EM 标准认为当人眼瞳孔遮挡接近50%时即处于闭合状态；②p70 认为当人眼瞳孔遮挡70%时即处于闭合状态；③p80 认为人眼瞳孔遮挡80%时即为闭合状态。虽然判断标准不同，但原理相同，且单位时间内眼睛闭合时长能判断疲劳程度。

如图1 所示，以p80 标准为例，在眼睛睁闭的T4-T1时间内，当眼睛瞳孔闭合程度超过80%即认为闭合，则该时间段为T3-T2，perclos 比例计算公式为：

在采用机器视觉方法计算perclos 值时，需要将时间比换算成帧数比，即在单位时间内闭眼帧数占总帧数的比值，计算公式为：

式中，Nc表示闭眼帧数，N表示单位时间内的总帧数。

Fig.1 Degree of opening and closing of human eye pupil图1 人眼瞳孔遮挡程度

大量研究表明，p80 准则最能反映驾驶人员的疲劳程度［20-21］。

2.2 脑疲劳检测

脑疲劳表现不易察觉，但会使人的注意力、记忆力和警觉度出现不同程度的下降，严重影响工作效率。研究表明，高强度用脑会导致大脑出现疲劳相关的α 波与β 波，极度困乏状态下θ 波会明显增加，α 波与β 波波长会增加［22］。基于此，裘旭益等［23］设计了基于高斯牛顿在线变分方法的卷积神经网络参数优化方法，构建了一种新型脑功率图深度网络模型，有效实现了飞行员疲劳状态的监测；储银雪等［24］通过分析脑电波频域特征，运用深度稀疏自编码网络构建飞行员疲劳识别模型，并与传统结构模型和单层稀疏自编码网络模型进行比较，结果显示该模型具有更好的分类识别效果；罗映雪等［25］通过分析脑电波信号并计算其频域瞬时值，提出基于Gamma 深度信念网络的疲劳状态分类算法，然后改进用于训练深度信念网络的Gibbs 采样算法，提出向上向下Gibbs 采样以推断网络参数，结果表明该算法在识别准确率、稳定性、迭代时间等方面表现优异。

脑电信号的获取方式直接影响分析精度，根据脑电极的放置方式可将其分为进入式（电极放在颅内）、半进入式（电极放在颅内大脑皮层外）和非进入式（电极放在头皮处）等，其中进入式和半进入式对脑信号的采集效果较好，但技术要求较高，需要专业医疗保障。因此，一般疲劳检测方法通常在脑皮层采集脑电信号，飞行员在飞行前或飞行后期佩戴脑电仪，分析其脑电特征和疲劳表现。该方法不具有实时性，成本高昂且不适宜进行商业推广。

2.3 特征融合检测

对人体疲劳特征进行融合检测能提高疲劳识别精度。例如，在精确定位人脸特征点后，使用眼睛纵横比（Eye Aspect Ratio，EAR）和嘴唇纵横比（Mouth Aspect Ratio，MAR）可进行疲劳特征的识别，识别点见图2、图3，EAR、MAR 计算公式分别为：

Fig.2 Human eye markers图2 人眼标记点

Fig.3 Mouth markers图3 嘴标记点

人体疲劳时，头部姿势和行为会出现变化，使用基于卷积神经网络的openpose 模型进行姿势识别，设定相关阈值，利用支持向量机将多种特征融合起来可进行疲劳检测［26］，见图4。

Fig.4 Human posture indentification图4 人体姿势识别

2.4 检测效果比较

基于神经网络的视疲劳和脑疲劳检测均取得了不错效果，然而其缺点也很明显。视疲劳检测虽然快速便捷，但在头部动作变化剧烈或有光线遮挡的情况下，精度容易受到干扰；脑疲劳检测中的脑电信号需要进行滤波处理后才能进行时域和频域分析，而且脑电信号提取复杂、成本高昂；多特征融合检测的方法虽然较单一特征检测方法更加精确，但也意味着模型需要处理的任务更多更复杂，检测速度会大大降低。以上3 种检测方法的详细比较见表3。

Table 3 Comparison of detection methods表3 检测方法比较

神经网络模型更新迭代快，更轻量、检测效果更好的模型不断产生。视疲劳、脑疲劳、多特征融合检测方法均在不同阶段运用到了神经网络，其总体检测过程详见图5。其中视疲劳检测过程中，神经网络主要用于人脸识别和人眼定位等步骤，例如MTCNN 网络主要用于人眼定位和状态判断，在其基础上增加定位网络和状态判定网络，最终疲劳检测准确率将高于单纯的MTCNN 网络。

3 飞行疲劳检测方法展望

目前针对飞行人员的疲劳检测往往需要依赖大型、高精度、专业化的医疗设备，无法满足实时、非侵入性的需求。鉴于此，未来飞行疲劳检测方法的发展趋势为：①实时性。飞行疲劳检测往往是飞行前或飞行后对飞行人员进行自评或器械检测，不能在飞行状态下进行快速检测，对其疲劳状态作出实时预警。使用轻量级神经网络能提高检测速度，接近实时要求；②多融合性。单一疲劳状态指标具有局限性，受到干扰后对精度影响较大，将多种疲劳判断标准进行融合，利用多任务卷积神经网络融合面部检测和头部姿态分析，使用级联策略，在进行面部检测的同时完成头部姿态分析［27］，并加入眨眼频率、哈欠次数、头部姿势等多项指标综合判断，可极大提高检测精度；③非侵入性。在进行疲劳评定的同时不能对工作人员产生干扰，通过机器视觉技术或可穿戴化微型检测设备可满足该要求。

Fig.5 Process of detection图5 检测过程

4 结语

超负荷飞行、不规律跨时区飞行会使航空工作人员产生飞行疲劳，其对民航安全的威胁不容忽视。本文梳理了传统飞行疲劳检测方法的原理与特征，比较其优缺点，并分析了神经网络在飞行疲劳检测方法中的应用，对于其他领域疲劳检测方法迁移运用到飞行疲劳检测中具有重要参考价值，可对飞行疲劳的检测、量化、评估起到促进作用。