民机复合材料目视检查中的眼动与疲劳检测

贺强，谭德强，程林

中国民用航空飞行学院 航空工程学院，广汉 618307

目视检查是民机复合材料结构持续适航的重要工作，是保证大量应用复合材料的民机飞行安全的第一防线[1]。近20年的航空事故统计表明，由机务维修差错导致的事故增加了4%，而大部分维修差错都与维修人员的疲劳作业有关[2]。疲劳会诱发维修作业中的错、忘、漏等安全风险[3]。因此，对维修人员在复合材料结构目视检查中的疲劳状态进行监测，对于减少维修差错，保障飞行安全具有重要意义。

人的因素已经是现代民用航空事故的关键致因，疲劳作为人的因素的一项重要内容也成为影响航空安全的重要因素之一[4]。飞行员疲劳的影响因素与评价[5-6]、空中交通管制员的疲劳及疲劳状态检测[7-8]、机务维修人员的疲劳管理[9-10]等已经成为民航的热点研究主题，形成了基于量表的主观疲劳检测和基于生理信号的客观疲劳检测方法。基于量表的主观疲劳检测方法主要利用疲劳量表采样数据，通过数据统计分析疲劳状态或分布[11]。基于生理信号的客观疲劳检测方法利用心跳、皮电、脑电、眼动和面部表情等生理信号来估算疲劳程度，已经成为疲劳状态检测的发展趋势[12]。其中，基于眼动的疲劳状态检测具有的客观性和非接触性使其广泛应用。牛清宁等[13]利用4类眼动指标，建立驾驶疲劳检测模型。Lenskiy和Lee[14]利用眨眼频率和眼睛闭合时间进行疲劳状态的检测。Mandal等[15]鲁棒地提取眼动数据并进行疲劳检测。Yamada和Kobayashi[16]提出了多种基于眼动的疲劳检测模型。当前，基于眼动的疲劳检测模型虽然采用了支持向量机、决策树、逻辑回归、贝叶斯网络等方法，但这些方法直接利用可能度量疲劳的眼动信号，缺少眼动信号与疲劳的相关性分析，以至疲劳检测精度有待进一步提高。在基于眼动的民航从业人员疲劳检测方面，平均注视时间、扫视速度、扫视幅度、瞳孔直径等用于分析其与空中交通管制疲劳[8,17-18]、飞行疲劳[19]的关系，并建立了的管制疲劳检测模型[17]。

相对于主观的疲劳检测方法，基于眼动的飞行和空中交通管制疲劳检测可以更主动且有效地保障民航安全。综合文献[17-21]，机务维修具有与飞行和管制类似的轮班和昼夜节律的扰乱以及高工作负荷等疲劳致因。疲劳导致3类从业人的差错，从而影响航空安全。因此将眼动应用于机务维修人员的疲劳检测对于民航安全水平的提升具有重要意义。但现有的针对机务维修人员疲劳检测的研究，仍然以主观问卷的方式识别疲劳风险，度量企业级或行业级的疲劳分布，以及疲劳的风险管理为主[20-21]，鲜有应用于机务维修人员疲劳检测的眼动指标研究，也未涉及针对目视检查的基于眼动指标的疲劳状态检测模型。为此，本文通过复合材料结构目视检查实验，利用Tobii眼动仪提取了机务维修人员在正常状态和疲劳状态的眼动数据，基于数据分析提取与疲劳相关的眼动指标。在此基础上，利用支持向量机(Support Vector Machines, SVM)方法构建了目视检查疲劳状态检测模型。

1 复合材料结构目视检查实验

1.1 实验人员与设备

某高校飞行器适航技术专业的13位大四本科生参加了民机复合材料结构目视检查实验。其中，男生8名，女生5名。实验人员平均年龄22岁，均参加并通过了CCAR147部的技能培训，掌握了基本的维修技能，且经过专业课程学习具有一定的复合材料结构持续适航专业知识，对目视检查也有一定的了解。13名实验人员会以正常状态和疲劳状态进行复合材料结构目视检查实验，并利用瑞典Tobii公司的Tobii Glasses 2眼动仪记录目视检查过程中的眼动数据。

Tobii Glasses 2是一款测量精度高、采集高效、使用方便、可用于现实和虚拟场景研究的眼动设备。该设备是头戴式的，由一副眼镜、一个辅助记录器、从不同维度采集双眼眼动信息的四部眼动摄像机和广角高清场景摄像机构成。眼镜只有45 g，保证了实验人员的舒适性和行动自由。该眼动设备记录的数据通过Tobii ProLab Analyzer 软件导出，可根据用户需求提取相应的数据。该软件集成了新的数据叠加工具，可以将来自眼动追踪视频的数据智能地叠加到指定的场景目标上，便于生成可视化的眼动数据。

1.2 实验场景

1.2.1 实验件

实验件为某型民用直升机的复合材料桨叶，在桨叶上规划出3块长和宽均约为120 mm的区域作为待检区，每个待检区在实验前都用白色覆盖物遮盖以免落尘，如图1所示。在每个待检区域人工制造出7～8个位置随机分布的凹坑或裂纹等目视检查中常见的复合材料结构损伤，每个损伤的尺寸必须达到勉强目视可检标准及以上。根据波音公司的复合材料结构的勉强目视可检损伤尺寸标准，损伤的尺寸在0.01～0.02 in(1 in=2.54 cm)范围内。

在设置好典型的复合材料结构损伤后，预先进行检查以保证每个构建的损伤的尺寸符合波音公司的勉强目视可检标准，并在复写纸上标记出每个损伤的位置，以便之后与每个实验人员的目视检查结果进行比对，从而得到实验人员目视检查的准确率。

图1 复合材料结构损伤目视检查场景Fig.1 Visual inspection scene of composite material component damage

1.2.2 实验环境的控制要素

导致维修差错的因素很多，本文专注疲劳，因此必须对除疲劳外的其他因素进行控制，以提高实验结果的准确性和可靠性。针对环境因素，结合复合材料结构目视检查要求，控制实验环境的照明条件、使得每个实验人员所处环境的光照强度和角度都相同；选择的损伤区域均为黑色，避免其他颜色区域的损伤干扰实验结果；将实验件水平放置在位置固定的架子上，按照目视检查标准，固定检测距离50 cm，由于待检区相邻，因而上述措施避免实验人员频繁变换体位，能够有效地将检查角度控制在一个较小的范围内。目视检查实验场景如图1所示。

1.2.3 实验人员的状态控制

为模拟真实疲劳维修场景，采取下列措施使得实验人员处于疲劳状态，具体为：

1)睡眠剥夺[17]：实验人员实验前一天需熬夜(推迟入睡时间2 h以上、次日早晨起床时间照常)；疲劳状态下的复合材料桨叶目视检查实验在下午两点半到三点半之间进行且剥夺当日午睡休息(每个实验人员都有午睡习惯)。

2)脑力消耗：为增加实验人员的大脑疲劳程度，要求实验人员在目视检查之前完成一个低难度和一个中等难度的数独游戏以增加其脑力负荷。数独游戏如图2所示。

图2 疲劳实验中的数独游戏Fig.2 Sudoku in fatigue experiment

3)连续作业：连续的脑力作业会使实验人员产生精神疲劳。在进行目视检查实验前，每个实验人员必须完成时长约40 min的背单词任务。根据个人词汇量，单词软件会自动生成任务，并对未回答正确的单词进行重复显示直到完成任务。

为保证实验人员的正常状态，除良好的睡眠和休息外，实验前可以喝适量的咖啡用于提神。正常状态实验在早上十点到十一点不易犯困的时间段进行。

1.3 实验过程及眼动数据

复合材料结构目视检查实验过程分为正常状态和疲劳状态下的目视检查2个阶段进行。每个实验人员都参加2个阶段的实验。首先对实验人员进行统一的航空复合材料结构目视检查操作培训和眼动设备使用培训，然后进行正常状态下的目视检查实验。间隔2周后进行疲劳状态下的目视检查实验。根据“艾宾浩斯记忆曲线”，正常实验后2周再进行疲劳状态下的实验可以有效排除2个阶段顺序进行实验所带来的学习或记忆绩效对实验结果的影响。在目视检查实验开始时，首先利用NASA_TLX疲劳量表[21]检查实验人员是否处于疲劳状态。

按照实验场景的要求组织开展实验，同步采集实验过程中产生的眼动数据，包括眼动记录持续时间、视线位置、组合视线3D位置、左右注视方向、左右瞳孔位置和直径、左右眼位置、眼动时间持续时间、眼动时间类型索引和热点区域等。

2 实验结果分析

本次实验中，参与实验的13名学生中有一名男生在实验过程中长时间关注实验室的其他区域，导致数据作废，最终获得12名学生的在正常和疲劳工作状态下目视检查的24份有效眼动数据。以该数据为基准，进行目视检查结果、与疲劳相关的数值型眼动指标和可视化型眼动指标的相关性分析。

2.1 目视检查结果

根据实验开始的NASA_TLX疲劳量表问卷结果，正常状态下的目视检查实验前，实验人员的疲劳指数均处于正常状态，疲劳状态下的目视检查实验前，实验人员的疲劳指数均处于疲劳状态。实验人员在正常状态与疲劳状态下对复合材料桨叶目视检查的结果如表1所示。表1的结果表明疲劳状态下实验人员进行目视检查容易出现漏检和错检的情况，平均差错率达14.13%，其中，人均差错1.08，标准差0.67，正常状态下实验人员进行目视检查的差错为零。实验结果表明疲劳是导致维修差错的重要致因。

表1 不同工作状态下的目视检查结果Table 1 Visual inspection results under different working conditions

2.2 疲劳相关的眼动指标分析

2.2.1 数值型眼动指标

结合与疲劳相关的眼动指标现状和Tobii Glasses 2眼动仪所支持记录的眼动行为，本文根据目视检查任务持续时间、左右瞳孔直径、注视次数、注视总时间、眼跳次数、眼跳总时间、扫视速度等指标数据提取与疲劳相关的眼动指标。首先根据记录数据计算正常状态下和疲劳状态下的上述指标的实验人员的平均值，结果如图3所示。疲劳状态下，实验人员的目视检查任务持续时间、注视次数、注视总时间、眼跳次数和眼跳总时间数据均高于正常状态，而瞳孔直径和扫视速度小于正常状态。以此初步判定与疲劳相关的眼动指标包括左右瞳孔直径、平均注视时间=注视总时间/注视次数、平均注视频率=注视次数/任务持续时间、平均眼跳时间=眼跳总时间/眼跳次数、平均眼跳频率=眼跳总次数/任务持续时间和扫视速度。上述与疲劳相关的眼动指标需要根据实验人员眼动数据的方差齐次性检验和方差分析(ANOVA)检验以进一步确定其与疲劳的相关性，为疲劳状态检测模型的构建奠定基础。

图3 不同工作状态下实验人员的眼动数据均值Fig.3 Eye movement data mean under different working conditions

表2为疲劳状态和正常状态下实验人员的上述眼动指标的方差齐次性检验结果，其中df为自由度，df1=工作状态数-1，df2=工作状态数×(同一状态样本数-1)。根据初步选定的与疲劳相关眼动指标的方差齐次性分析结果，所有的眼动指标的显著性结果都大于0.05，说明上述眼动指标的方差在0.05水平上不存在显著性差异。

表2 眼动指标的方差齐次性检验Table 2 Homogeneity test of eye tracking indexs’ variance

根据表3眼动指标的ANOVA单因素方差分析结果，左右瞳孔直径、平均注视时间和扫视速度的显著性概率值小于0.05，表明工作状态对实验人员的瞳孔直径、平均注视时间和扫视速度有显著性影响。其中F值是组间均方差与组内均方差的比值，P值为显著性概率。特别地，表3的结果表明右眼瞳孔直径受工作状态的影响更大。平均注视频率、平均眼跳频率和平均眼跳时间对应的显著性概率值高于0.05，表明工作状态对实验人员的平均注视频率、平均眼跳频率和平均眼跳时间没有显著性影响。

图4给出了实验人员的左右瞳孔在不同工作状态下的瞳孔直径的均值，从图中可以看出，疲劳状态下，瞳孔直径变小。分别计算不同工作状态下，左右瞳孔直径的差异值的均值。其中，实验人员正常和疲劳状态下左瞳孔直径差异值的均值为0.276 mm，右瞳孔为0.367 mm，每个实验人员的不同工作状态下，瞳孔直径的差异情况如图5所示。瞳孔直径差异值的均值和图5的数据表明不同工作状态下右瞳孔直径差异更大。为了排除非疲劳因素导致这一现象，通过视频回放整个实验过程，所有有效数据的实验人员的光照强度和角度没有明显差异，注视方向也都集中在待检查区域范围。同时统计每个实验人员的视力情况，发现右眼视力均优于左眼，由此推断目视检查中，由于左右眼视力差异，导致检查更依赖右眼，因此右眼受疲劳的影响更大。

表3 ANOVA分析结果Table 3 ANOVA analysis results

图4 目视检查中的瞳孔直径Fig.4 Pupil diameters in visual inspection

2.2.2 可视化型眼动指标

利用Tobii Pro Lab软件的Visualizations功能，生成注视热点图和注视轨迹图，以获取不同工作状态下实验人员在目视检查时的注视点分布情况。由于每个实验人员均有6幅注视热点图与轨迹图，限于篇幅，仅给出一个目视检查区域的情况，其中绿色、黄色、红色代表注视点重叠次数的增加，且相同颜色色度越深代表重叠次数越多，具体如图6所示。

从正常与疲劳状态下的注视热点图及注视轨迹图的对比中可以看出，正常状态下的注视点的重叠次数明显比疲劳状态下多，且正常状态下的注视点几乎覆盖了损伤区域的主要检查范围，而疲劳状态下的注视点主要在损伤区域的中上位置成横条状分布，且较正常状态，疲劳状态的注视点重叠数量明显减少。

图6 不同工作状态下的注视热点与注视轨迹Fig.6 Fixation hotspot and trajectory under different working conditions

3 基于SVM的疲劳检测模型

3.1 SVM方法

SVM[22]具有优秀的泛化能力和小样本学习分类能力使其成为目前最常用和效果最好的分类器之一。疲劳检测模型的根本目标是能够将实验人员在疲劳状态和正常状态下的由眼动指标构成的特征向量之间的距离最大化，这与SVM方法的思想一致。本研究的特征向量数量为24，是小样本，眼动指标与疲劳之间存在非线性关系，且眼动指标构成的特征向量维数较高，这类模式识别正是SVM方法特有的优势，因此本文选用SVM来构建目视检查疲劳检测模型。SVM是一种有监督的统计学习方法，通过构建一个能将两类数据正确分开，且两类数据点距离分类面最远的最优超平面来实现分类。对于线性不可分数据，通过核函数将数据映射到高维空间使其线性可分。根据目视检查实验中与疲劳相关的眼动指标分析，选取左眼瞳孔直径、右眼瞳孔直径、平均注视时间和扫视速度4个指标作为SVM方法的支持向量，建立疲劳状态检测模型。

对于该模型，i为样本序号，工作状态yi=1时，表示正常工作状态，yi=-1时表示疲劳工作状态，xi为与疲劳相关的眼动指标构成的特征向量。(xi,yi)构成训练集Ⅰ、Ⅱ被超平面区分。疲劳状态检测模型的核心为确定训练集的最优超平面，利用超平面自动确定工作状态。训练集的超平面和状态判别函数分别为

(1)

(2)

式中:w为超平面的法向量;b为参数。

超平面能对训练集所有样本进行分类，需将判别函数归一化，即

(3)

(4)

为求解最优超平面，引入Lagrange函数将该问题转化为对偶问题求解。通过式(5)求解Lagrange乘子α，得到最优超平面的参数如式(6)和式(7)所示。

(5)

(6)

(7)

3.2 疲劳检测模型构建

在分析目视检查中与疲劳相关的眼动指标基础上，构建了眼动指标特征向量，对该特征向量进行归一化处理，将处理后的数据结合其状态进行SVM的最优超平面求解，以最优超平面构建状态判别函数，从而完成模型的构建，具体流程如下：

步骤1 构建由与疲劳相关的眼动指标组成的特征向量Xi=[LpiRpiMtiSvi]，工作状态集Y={yi|yi∈{1,-1}}。其中，Lpi、Rpi分别表示第i个样本的左、右眼瞳孔直径(单位为mm)，Mti表示第i个样本的平均注视时间，Mti=Mti/100(单位为ms)，Svi为第i个样本的扫视速度(单位为像素/ms)；此方式下，眼动指标值不存在量级差异，利用式(8)进行归一化处理，能有效保持眼动特征。处理后的每个特征向量Xi与yi一一对应。

(8)

步骤2 通过MATLAB2018b的fitcsvm函数实现Xi的线性分类。

步骤3 调用MATKAB2018b的predict函数计算分类的错误率，如果错误率太高，选择核函数将特征向量映射到高维特征空间，重复步骤2和步骤3 直至错误率可接受，完成模型的构建。

应用该模型时，只需输入待检测工作状态人员的眼动特征向量，模型利用式(2)计算该特征向量的工作状态，实现疲劳状态的自动检测。

3.3 基于模型的检测结果

以目视检查实验中获取的12个实验人员的眼动数据构建疲劳检测模型的训练集和测试集。其中，训练集以12个实验人员在正常和疲劳工作状态下的前2/3实验过程时间的眼动数据构建；测试集以12个实验人员在正常和疲劳工作状态下的后1/3实验过程时间的眼动数据构建。训练集和测试集的眼动特征向量样本数均为24。测试集的眼动特征向量集如表4所示。

通过MATLAB工具包实现基于SVM的疲劳检测模型，分别采用线性方法和核函数实现特征向量的二类划分。其中，线性分类获得的最优超平面的法向量为(0.442, 0.444, 0.669,0.331)，b=0.025。基于该模型的正常状态检测和疲劳检测结果如表5和表6所示。表5和表6中的L、R、G、P分别表示线性SVM、核函数为径向基函数、高斯函数和多项式函数的SVM。Score表示样本与决策边界的符号距离，正数表明样本属于该类，负数相反。基于4种不同内核的SVM疲劳检测模型的正常和疲劳工作状态整体识别结果的准确率分别为75%、91.7%、91.7%和79.2%。针对正常工作状态和疲劳工作状态的识别准确率分别如表5和表6所示。其中，基于径向基函数和高斯函数的疲劳状态识别准确率为100%，线性方法准确率最差；针对正常工作状态识别，基于径向基函数和高斯函数准确率高于线性方法和多项式方法。模型检测结果表明，基于径向基函数和高斯函数的SVM方法能有效检测由眼动指标度量的目视检查中维修人员的疲劳状态。

表4 实验产生的测试向量集Table 4 Feature vectors derived from experiment

表5 正常状态检测Table 5 Normal status detection

表6 疲劳状态检测Table 6 Fatigue status detection

4 结 论

1) 采用民机复合材料结构目视检查实验，对正常状态和疲劳状态下的眼动数据进行采集与分析，疲劳状态下的任务持续时间、注视次数、注视总时间、眼跳次数和眼跳总时间数据均值都高于正常状态，瞳孔直径和扫视速度小于正常状态。两种状态下的注视热点与轨迹差异明显。

2) 眼动指标的方差齐次性检验和ANOVA分析表明与工作状态显著相关的眼动指标为左右瞳孔直径、平均注视时间和扫视速度。

3) 基于径向基函数和高斯核函数的SVM方法建立的疲劳检测模型较线性、多项式SVM方法等的效果更优，能支持机务维修人员疲劳的客观监测。