基于fNIRS 和ECG 的大脑警觉度客观检测研究

王璐琪 姜 劲 孙子恒 代艳莹 曹 勇 焦学军 周 鹏

(1.天津大学精密仪器与光电子工程学院, 天津 300072; 2.天津大学医学工程与转化医学研究院, 天津 300072;3.中国航天员科研训练中心人因工程重点实验室, 北京 100094)

1 引言

警觉度是用来检测操作者对于应急事件的反应能力以及是否产生疲劳的重要指标[1]。航天员在太空生活时,人为因素和自然因素都会造成航天员的睡眠质量下降,导致执行在轨飞行任务时警觉性水平降低,影响工效,甚至引发重大安全事故[2]。因此,检测航天员警觉度水平,建立警觉度检测系统,探究警觉度变化规律具有重要意义。

当前警觉度检测方法主要分为主观和客观两类。主观检测方法虽简单成本低廉,但是无法保证被试填写过程中的真实性[3]。客观检测方法中基于生理信号的方法能够直接反映出人体状态的改变[4],已经成为警觉度检测研究的热点。目前使用较多的生理信号有心电(Electrocardiogram, ECG)、眼电(Electrooculography, EOG)、脑电(Electroencephalogram, EEG)和脑血氧饱和度等[5]。其中具有较高的时间分辨率和精度的EEG,被誉为检测人体疲劳状态的金标准[6],但EEG 易受环境电磁和用户运动的干扰且具有较强的功能特异性,因此EEG 不易建立通用的警觉度模型[7]。与EEG 相比,ECG 的检测与分析手段操作相对容易,同时可以在运动中被持续精确测量。此外还有基于功能性近红外光谱(Functional Near-Infrared Spectroscopy,fNIRS)信号特征来评估大脑警觉度水平的研究。与EEG 相比,fNIRS 具有更高的空间分辨率和更强的抗运动、生理和电磁干扰的能力[8],但通常和其他生理信号联合使用,以获得更好的分类效果[9]。警觉度作为一种涉及生理、精神和行为的复杂状态,单一指标检测往往会因个体差异性大等原因而导致结果的不可靠[10]。故综合利用被试的fNIRS 和ECG 信号提取特征进行警觉度检测,既可反映大脑高级认知活动,亦可表征交感神经的活动,较单生理信号的分辨能力提高,可弥补各自信号的不足,提升了检测结果的可信度、可靠性和对不同环境的适应性。

本文为探究航天员在轨警觉度的变化情况,设计地基实验,采用经典的工作记忆任务2-back范式与精神运动警觉度测试任务(Psychomotor Vigilance Task,PVT)交叉进行的实验范式模拟警觉度下降的情况,并采集被试在实验过程中的ECG 和fNIRS 数据。通过指标变化的显著性分析对指标进行筛选,建立融合多生理参数的特征集,最后利用支持向量机(Support Vector Machine,SVM)、随机森林(Random Forest,RF)和K 近邻分类器(K-Nearest Neighbors,KNN)建立了警觉度三分类识别模型,以期为警觉度的实时监测和预警提供理论基础。

2 实验设计

2.1 受试者

共招募14 名受试者,其中女性5 名,男性9名,年龄在22 ～35 岁。所有受试者均为右利手,身体健康,无任何神经疾病,并具有正常或校正到正常的视觉能力。

2.2 实验范式

诱导警觉度下降实验范式采用字符2-back范式来加速被试的警觉度状态的降低,实验流程如图1(a)所示;选择PVT 任务来对大脑警觉度进行实时检测实验流程如图1(b)所示。整个实验过程由18 组PVT 任务与17 组2-back 任务交叉进行,整个实验持续122 min,总实验流程如图1(c)所示。

图1 实验流程图Fig.1 Flow chart of the experiment

2.3 数据采集

ECG 数据采集采用Biopac MP160 型设备获取。fNIRS 数据获取使用荷兰Artinis 公司的Brite24 型设备,采集受试者前额部位的血氧数据,光学配置为10 探头与8 探测器,组成24 路光通道,如图2 所示。

图2 fNIRS 前额区域光学通道设置Fig.2 fNIRS frontal area optical channel setup

2.4 行为学结果

绩效数据选择了PVT 任务的反应时间,第1个block 的反应时间(mean= 339.13 ms,std=21.93 ms),第18 个block 的反应时间(mean=432.26 ms,std=60.50 ms)。经过重复测量方差分析ANOVA 发现第1 个block 与第18 个block的反应时间存在显著差异(F=29.32,P＜0.001)。反应时间的变化如图3 所示:

图3 行为学数据结果Fig.3 The result of behavioral data

通过计算PVT 任务时间段的fNIRS 与ECG信号数据的各特征值,并根据每个block 反应时间(Reaction Time,RT)的临界值对警觉度状态进行三分类,分类标准如表1 所示。

表1 警觉度状态三分类标准Table 1 Three classification criteria of alert state

3 数据筛选与分析

3.1 生理信号预处理

对ECG 信号预处理包括20 Hz 低通滤波、50 Hz 带陷滤波器抑制工频干扰以及IIR 零相移数字滤波器纠正基线漂移,预处理前后波形图如图4 所示。之后选用MATLAB 自带的findpeaks函数来捕捉R 峰[11],使用三次样条插值法按照5 Hz 的采样率获取心率变异性(HRV)信号[12]。

图4 ECG 信号预处理前后波形图Fig.4 Waveforms before and after ECG signal preprocessing

fNIRS 信号预处理使用MATLAB 软件中的Homer3 工具包,将原始的光强信号转化为光密度信号,进行0.01～0.4 Hz 的带通滤波,fNIRS 预处理前后频谱图如图5 所示。再利用Beer-Lambert定律将光密度信号转换为氧合血红蛋白(HbO)和脱氧血红蛋白(Hb)的浓度。

图5 fNIRS 信号预处理前后波形图Fig.5 Spectrogram before and after fNIRS signal preprocessing

3.2 特征提取

3.2.1 fNIRS 特征提取

式中m=2,r=0.2×std,为相似容限,SampleEn值越低,复杂度越高[13]。

对14 名被试在相同警觉度状态下的各个特征值归一化后进行平均,分析上述4 种fNIRS 特征随警觉度下降的变化情况,并绘制前额区地形图观察HbO、Hb 以及HbT 特征变化。3 个信号的均值、幅值、标准差以及样本熵变化趋势相似,以HbT 为例进行分析结果如图6 所示。HbO、Hb 和HbT 浓度均值能够代表当前时段的血氧水平[14],由图6(a)可知,随着警觉度的降低,均值在前额大部分区域显著增加,即局部神经元激活会增加代谢率,导致血流量和容量增加[15];由图6(b)与图6(c)可知幅值和标准差在前额全域减小,表示随疲劳程度加深前额区耗氧量变化程度减小,即耗氧量稳定增长;图6(d)表示样本熵在前额全域降低,表明脑区复杂度增加,亦可表明脑区活跃度上升。

图6 3种警觉度状态下fNIRS-HbT信号特征分析图Fig.6 Analysis diagramoffNIRS-HbTsignalcharacteristicsunderthree vigilance states

3.2.2 ECG 特征分析

本文提取ECG 信号特征包括心率(Hearth Rate,HR)以及心率变异性的时、频域特征定义[16]及其生理意义[12]如表2 所示。

表2 ECG 信号特征定义Table 2 Definition of ECG signal characteristics

除此之外,心率由于多种因素的叠加而呈现非线性的特点,因此采用RR 间期形成的庞加莱(Poincare)散点图[17]作为非线性特征,提取散点图的角度指标(VAI)与长度指标(VLI)进行定量分析。首先通过式(4)、式(5)计算散点图覆盖范围。

计算得到的VAI主要反映人体副交感神经活性,VLI表征心率变异性的总体变化。

14 名受试者的平均结果如图7 所示,图7(a)显示随着警觉度下降,心率显著降低,RR 间期、SDNN、RMSSD、PNN50 和CV 显著增加,符合人体在疲劳状态下心率减慢,副交感神经的调控作用加强的事实。由图7(b)可知总功率TP 和LF 随警觉度降低显著增高,但HF 和LF/HF 变化趋势不明显。由图8 可知,HF 随实验进行波动上升,LF/HF 波动下降,可能二者波动幅度较大导致图7(b)特征不明显。上述特征表明自主神经系统整体活性的增加,副交感神经活性的上升幅度高于交感神经因此导致自主神经系统向副交感神经倾斜,这与时域特征变化结论一致。由图7(c)可知,VAI 先上升再下降,反映副交感神经活性先增强再大幅度下降。低警觉度状态下VLI 值最大,表示HRV 总体变化最大则心率最慢,这与上述结论保持一致。

图7 3 种警觉度状态下ECG 信号特征分析图Fig.7 Analysis chart of ECG signal characteristics under three alert states

图8 18 个block 下ECG 信号频域特征变化图Fig.8 Frequency domain characteristic changes of ECG signals in 18 blocks

将上述特征进行显著性分析后,选取fNIRS信号中共同的具有显著性差异的特征包括均值(P＜0.05)、幅值(P＜0.05)、标准差(P＜0.01)以及样本熵(P＜0.01)。ECG 信号特征中除HF 以及VLI 特征外,其余特征均具有显著性差异(P＜0.05)。根据上述特征建模对警觉度进行识别研究,探究fNIRS 信号和ECG 信号对警觉度下降模型的影响。

4 警觉度识别分类模型及结果

4.1 警觉度识别模型

为了研究fNIRS、ECG 和fNIRS-ECG 特征集的分类效果,使用SVM、KNN 和RF3 种分类器建立识别模型。

SVM 是有监督的模型,可以解决分类及回归问题[18],有效避免欠学习和过学习的现象。对于要分类的样本,采取寻找平面的方式进行分类,这些平面中最优的是最优分类超平面。对于大脑高警觉、一般警觉、低警觉进行分类的数据是线性不可分的,因此需要引入核函数,本文采用高斯径向基核函数,如式(8)所示,其中γ表示支持向量的数量。

KNN 算法主要是依据训练数据的类别来判断测试数据类别的方法。判断测试数据的类别和训练数据之间的关系是通过求2 个数据集的点之间的相似程度,计算主要依据的是2 个点之间的距离,本文采用的距离度量的方法是欧氏距离,如式(9)所示。

RF 算法是Bagging 技术与决策树的融合,利用决策树作为子分类器,并且其输出的类别由决策树分类结果的众数决定。在本文建立的模型中,随机森林的决策树个数为10。SVM、KNN 和RF 已被证明在大量脑认知科学领域和大脑状态检测研究中分类表现良好[19-22]。此外,为避免模型过拟合,使用十折交叉验证来评估模型的有效性。

4.2 警觉度分类结果

对每位受试者数据进行10 s 滑动时间窗口处理,将获得的647 个样本进行3 个警觉度等级的测试。Only-fNIRS 是仅使用fNIRS 特征的数据集,其维数为647 个样本×288 个特征。Only-ECG特征集是仅使用ECG 信号提取特征的数据集,其维数为647 个样本×10 个特征。fNIRS-ECG 特征集的维数为647 个样本×298 个特征。

从表3 中信息可以看出,SVM 模型下3 个数据集的表现均优于其他模型。采用双因素法分析不同分类器对准确率的影响,结果表明,不同分类器(F=39.19,P＜0.01)之间的准确率均具有显著性差异,SVM 分类器在3 个特征集上均显著优于RF 和KNN。

表3 不同特征组合在3 种分类器下的分类正确率Table 3 Classification accuracy of different feature combinations under three classifiers 单位:%

单特征集Only-ECG 的平均分类正确率达到71.04%,与薛然婷[12]的分类精度水平相当。使用Only-fNIRS 特征集, 平均分类正确率为79.44%,略高于曹勇等[23]的分类结果,与心电特征正确率相比也有所提高,这说明fNIRS 信号对警觉度更加敏感。fNIRS-ECG 特征集建模后的结果,正确率最高可达88.72%,平均分类正确率为80.37%,即两种信号融合后对模型的分类效果提升显著,证明了多参数特征的三分类优于单纯心电或是单纯功能性近红外信号的分类方法,这与Parent[24]的结论一致。除此之外,fNIRS-ECG 特征集的警觉度水平识别准确率的标准差小于单纯fNIRS 特征集和单纯ECG 特征集,即fNIRS-ECG特征集不仅显著提高了分类精度,而且使模型更稳定、鲁棒性更高,这在实际应用中尤为重要。

5 讨论

警觉度在航天领域、交通安全领域和军事作战领域都具有重要意义,而警觉度下降可能会导致任务失败,甚至人员伤亡[25]。因此,在警觉度水平降低时采取相应的措施对警觉度进行调控,实现对警觉度的在线监测是国内外在航天研究的重点课题。进行警觉度实时监测首先需要建立警觉度识别模型,本文基于此设计了2-back 和PVT任务交叉进行,既加速了受试者警觉度的降低过程,促进警觉度下降模型的建立,同时也对警觉度进行了检测。对受试者在整个实验过程中的反应时间变化进行了分析,结果显示此实验范式成功诱导了警觉度下降。

本文旨在为航天员警觉度检测进行地基实验,因此生理信号在保证一定分类正确率的前提下,采样难度越低,应用性就越高。EEG 信号采集虽被广泛应用于警觉度检测,但实验室环境与在轨环境有所区别,EEG 采集需要佩戴全脑电极帽且操作清洗较复杂;EOG 采集难度较低但采样时间过长,模型的实时性难以保证。故本文采用操作简单、采集时间中等的ECG 信号和仅在前额区采集、空间分辨力高的fNIRS 信号进行警觉度检测。

根据fNIRS 信号特征分析可知,随着警觉度降低,前额区耗氧量稳步上升,表明在疲劳状态下完成同等强度的任务需提高大脑代谢水平,也可能由于前额叶与工作记忆、注意力、活动控制和情绪控制有关。受试者随着任务进行出现消极情绪以及认知负荷增加导致前额叶激活程度增加[26],且耗氧量趋于稳定原因可能是在低警觉状态下前额叶激活程度达到最大,耗氧量逐渐饱和,这一结论与Borragán 等[27]和Chuang 等[28]研究结果一致。根据ECG 信号特征分析可知随着警觉度降低,人体的应激能力下降,心率、注意力和反应能力下降,并通过增强自主神经活性和副交感神经活性来缓解自身疲劳程度,这与赵小静等[29]和周春远等[30]的研究结果相一致。

由表3 可知,从单个信号分类正确率来看Only-fNIRS 特征集正确率的平均值较Only-ECG特征集高。但是有个别被试Only-ECG 信号特征准确率高于Only-fNIRS 信号特征的准确率,即生理响应存在个体差异性。融合二者特征后分类正确率显著上升且方差较低,与王韬[11]和Parent等[24]的结论一致,表示综合了自主神经系统特征和大脑神经元激活特征的方法能够弥补这种差异性,构建的分类模型也更加稳定,对发展完善的生理特征融合理论体系和警觉度模型建立方法具有实际意义。通过对比SVM、RF 以及KNN 算法构建的警觉度检测识别的分类模型,发现SVM 的分类效果最优,证实了ECG 和fNIRS 信号特征融合对于警觉度检测的可行性,为方便航天在轨实验奠定了实验基础。

6 结论

1)PVT 与2-back 任务交叉进行的实验范式成功诱发了警觉度下降。

2)分析了3 种警觉度状态下生理响应随警觉度降低,前额叶活跃度增强,副交感神经系统占主导地位。

3)融合fNIRS 和ECG 信号的特征,采用SVM识别高、中、低警觉度三分类正确率达到了(80.37±5.76)%,高于单个信号分类正确率,证实了多种生理信号可以提供更多的用于警觉度分类的信息。