基于便携式脑电设备的快乐和悲伤情绪分类①

姚娟娟,路 堃,许金秀

1(北京市地铁运营有限公司 地铁运营技术研发中心 地铁运营安全保障技术北京市重点实验室,北京 100044)

2(上海帝仪科技有限公司,上海 200232)

情绪在日常生活中扮演着重要角色,消极的情绪会影响人的身心健康及工作状态.研究证明驾驶员的情绪状态对其警觉度、危险意识和操控能力等方面有直接影响[1].据统计,与情绪化驾驶相关的交通事故约占事故总数的9.2～14.8%[2],其中与驾驶员开心和兴奋状态相关的事故占比约为5.6～7.4%,而与驾驶员悲伤状态相关的事故占比约为3.3～4.6%.因此,情绪化驾驶行为是交通安全的影响因素之一,驾驶员情绪状态的识别技术研究对于车辆主动安全技术和道路交通安全系统都具有一定的应用价值.

目前,在众多情绪研究手段中,脑电信号(Electro Encephalo Graphy,EEG)因其时间分辨率高、不可伪装、能够客观的反应人的状态而受到研究人员的重视,成为情绪研究中常用的手段之一.由于情绪涉及的脑区较广,大部分研究者利用多通道脑电设备进行情绪识别的研究.Lin 等通过32 通道脑电数据对称电极位点功率的差异,使用SVM 分类器得到情绪4 分类的准确率为90.72%[3].Schaaff 等利用16 导脑电,基于短时傅里叶变换提取特征,得到情绪3 分类的准确率为62.07%[4].Li 等通过对62 通道的EEG 频率信息进行特征统计,基于KNN 算法得情绪5 分类的准确率为83.04%[5].同时也有研究者利用较少导联脑电信号来进行情绪的划分.Liu 和Sourina 等通过4 通道脑电数据的分形维度,基于SVM 分类器对8 种情绪进行了分类,得到了53.75%的识别准确率[6].Ishino 等基于3 通道脑电数据,对小波变换和傅里叶变化后提取的特征进行统计分析,最终提取其均值和方差特征,使用神经网络算法得4 种情绪的识别准确率为67.7%[7].Schaff 等对4 通道数据,使用统计的方法对其功率特征和互相关特征进行提取并对提取的有效特征进行融合,最终针对3 种情绪的分类,仅得到47.11%的准确率[8].

本研究拟使用便携式双通道脑电信号研究受试者快乐和悲伤两种情绪状态下的脑电特征变化,选择相对较优分类器,为未来将脑电识别情绪技术应用于驾驶员情绪状态的识别奠定理论基础.

1 对象和方法

1.1 对象

被试共17 人(男13 人,女4 人),年龄25～44 岁,平均(34.5±5.34)岁.身体健康,视力或矫正视力正常,听觉正常,经过症状自评量表(Symptom Check List 90,SCL90)、态-特质焦虑问卷(State Trait Anxiety Inventory,STAI)、抑郁问卷(Beck Depression Inventory,BDI)检查无明显情绪问题和精神疾病[9–11].实验开始前24 小时内未服用咖啡、酒精饮品.实验开始前被试充分了解实验内容和流程,并自愿签写知情同意书.被试如在实验过程中无法接受影片所播放的内容,可以选择不观看该影片或者终止实验.其中有1 个被试实验开始没多久选择终止实验,共收集了16 人数据用于后续分析.

1.2 刺激方法

本研究采用视频诱发情绪的方法.影片片段选择罗跃嘉研究组制作的《中国情绪影像材料库》中诱发快乐和悲伤的影片片段[12],每种情绪影片包含5 个片段.所用的影片片段示例如图1所示,图1(a)和图1(b)拟诱发被试快乐的情绪;图1(c)和图1(d)拟诱发被试悲伤的情绪.

1.3 实验流程

被试平静放松准备1 min 后,进入实验任务状态.根据实验任务指令,被试先完成睁眼/闭眼实验各2 分钟,完成后休息1 分钟,然后开始情绪实验.被试首先进行PAD (Pleasure Arousal Dominance)情感量表评估受试者的初始情绪状态[13],接着被试被要求观看一系列的电影片段,感受电影的情境中的情绪.电脑屏幕全屏显示不同的刺激情绪的影片片段,被试根据影片片段所呈现出的情绪类别以及任务提示进行试验.所选择的情绪库中的影片随机顺序播放,但同种情绪类型的片段最多连续呈现两次.每次观看影片片段完成后受试者需要填写唤醒度问卷,要求受试者报告看完该片段后的实际感受,而不是看完该片段后应该有的感受.

对于唤醒度,参考罗跃嘉研究组、Schaefer 等及Gross 等的研究,使用自我报告的5 点量表评分方法[14–16],对被试所诱发的主观情绪强度进行评定.观看影片时,产生的情绪越强烈,评分越接近4,越不强烈,评分约接近0,如:“你在观看这个片段时,0=没有产生任何情绪,4=产生了强烈的情绪”.被试评价完唤醒度后,休息的同时听1 分钟音乐,使情绪状态恢复后再进行下一个片段的观看.本研究中每个受试者对每个影片片段进行唤醒度评分后,结果显示快乐和悲伤影片片段的唤醒度分别为(2.59±0.57)和(2.39±0.77).

2 数据采集与分析方法

基于视频诱发情绪的方法,使用前额双通道设备进行脑电信号的采集,为消除噪声和冗余信号对脑电数据进行预处理,之后进行特征向量的提取与降维处理,最终基于机器学习分类算法进行情绪的分类.本研究整体流程如图2所示.

2.1 数据采集

脑电采集装置为自主研发的双通道干电极脑电采集设备采集前额Fp1 和Fp2 位置的脑电信号,电极的阻抗保持在5 kΩ 以下,采样频率500 Hz.每位受试者每次实验信号采集过程如表1所示.

表1 信号采集过程

2.2 数据预处理

采集的脑电信号有噪音等干扰信号,需要对脑电信号进行处理.依据表1信号采集过程采集数据,对采集的前额Fp1 和Fp2 通道数据进行研究,由于该算法拟用于交通行驶过程中对驾驶员情绪的实时识别,因此在处理阶段采用实时处理的方法进行特征的提取,所有处理过程不涉及当前时间之后的数据作为研究对象.

将时序信号按照4 s 一个窗长,步长为2 s 进行划分,本研究中共划分出快乐情绪帧数940 帧,悲伤情绪帧数245 帧.对每帧信号使用去直流处理,即每帧数据中的每个数值均减去每帧数据的均值.之后进行0.1–50 Hz 的带通滤波器去噪处理.并且为缩短芯片的计算效率,对数据进行4 倍降采样处理.

2.3 特征提取

本研究通过二阶统计原理的盲源分离算法[17]将设备采集到的脑电信号中的眼电信号进行分离,基于提取的脑电信号通过时频域分析的方法进行特征提取,最后对所有特征向量进行PCA 降维.对单帧脑电信号进行特征提取的具体方法如下.

数据预处理后,将两通道矩阵按式(1)计算协方差矩阵,并计算该协方差矩阵对应的特征值和特征向量,将特征值进行降序排列,且将特征向量依据其对应特征值的顺序进行重新排序.

式中,vector即对应的双通道数据vector'表示双通道矩阵的转置矩阵,N为双通道矩阵的长度,此处固定值为500.

对进行排序后的特征向量和特征值再进行白化处理,通过式(2)计算白化矩阵,以及式(3)计算白化矩阵的观测信号矩阵.

其中,D和E表示通过式(1)计算得到的特征值和特征向量,Inv表示计算特征值平方根的逆矩阵,g(x)为经预处理后双通道矩阵.

对于白化后观测信号矩阵通过式(1)计算其协方差矩阵与其协方差矩阵二范数的乘积矩阵M,并进行联合近似对角化计算,最终输出分离的源矩阵S和估计混合矩阵H.

2.3.1 基于时序序列的特征提取

对盲源分离后的源矩阵S中的每个通道内的每帧时序信号进行研究,基于Katz 算法对其分形维数进行估算[18]具体公式为:

式中,D为分形维数,N为盲源分离后源矩阵S的长度,d为所有采样点距离与第一个采样点相距在最大距离.

由于任一段数据的概率分布往往都是不可知的,因此本研究中使用样本熵对每一帧脑电序列的熵进行估计.

对任一时间序列,其样本熵的计算公式为:

其中,m为设定的固定子序列长度,r是判断两个子序列相似距离的误差阈值,Bm(r)为序列中满足误差阈值条件的且长度为m的子序列个数.

因此每帧数据在时序中提取四维特征向量:2(分形维数和样本熵)×2(2 个通道)=4.

2.3.2 基于频域的特征提取

对分离出的源信号矩阵S进行特征提取.对于每帧数据共有4 s 信息,将每帧数据分成4 段进行研究.首先使用海明窗(hamming)将时域信息转变成频域信息,对于每帧数据进行如下公式的转换.

式中,f(x)为频域信号,S(x)为盲源分离后的源矩阵,mean(S)和std(S)分别表示为该帧信号时域信息的均值和标准差,hamming为海明窗结构体.

同时为了研究序列的复杂程度,引入微分熵进行度量,如式(7)所示.

其中,f(x)是序列X的概率密度函数.

此研究中,根据每帧数据的时间序列,对每秒的信号进行提取其theta,alpha,beta1,beta2,gamma 波段的能量值,通过每个波段每秒的能量构成一个时间序列,计算其微分熵.

统计上述4 段数据其频域上每个通道内theta,alpha,beta1,beta2,gamma 波段的能量,并分别计算其微分熵和均值,作为特征向量,即:2(2 个通道)×2(微分熵和均值)×5(5 个能量段)=20.

2.3.3 不对称指数

Coan 等(2004)研究表明了大脑额叶不对称现象与情绪分类有关[19],本研究主要针对大脑前额叶Fp1 和Fp2 脑电信号进行研究,分别计算了其特征参数.最后基于上述特征计算其不对称指数,分别使用式(8)～(10)计算各个特征参数下的不对性,每个公式计算可计算得到12 维特征向量,共计36 维特征向量.

式中,fea_Fp1 为Fp1 通道的特征,同理fea_Fp2 为Fp2 通道的特征.

基于上述方法,每帧数据共提取60 维特征向量,使用主成分分析(PCA)降维的方法提取其前5 维特征向量进行模式识别.

2.4 模式识别

情绪信号分类是根据不同的行为意识,使脑电活动产生差异响应的特征性来确认行为的类型与特征信号之间的关系[20],本研究中选用4 种分类器对快乐和悲伤情绪进行分类,分别为RBF-SVC 和朴素贝叶斯分类,以及集成学习算法——梯度提升决策树(Gradient Boosting Decision Tree,GBDT)和随机森林(Random Forest,RF).

训练集和测试集样本分配比例为8:2,即训练集快乐样本为752 帧,悲伤样本196 帧,测试集快乐样本188,悲伤样本49 例.

训练集选用十折交叉验证的方法分别计算每折特征快乐样本和悲伤样本各自的识别率以及总识别率.通过十折平均的方法计算训练集的识别率,最终通过所有训练集样本预测最终测试集识别率.

3 结果与讨论

最终基于上述训练集和测试集划分方法以及分类策略得各个分类器的结果如表2所示.

表2 各分类器识别结果(%)

从表2中可以看出,不论总识别率还是各状态的识别率,基于集成学习算法的识别率高于朴素贝叶斯分类和RBF_SVC,且由于样本的不均匀性,导致了RBF_SVC 和朴素贝叶斯分类的快乐样本的识别率极高,而悲伤样本的识别率很低,因此识别结果不具备代表性.对于此类问题,说明基于单核分类算法在划分超平面时对样本进行分类的能力略弱于基于多核分类的集成算法.且从表2可以看出,同样是集成学习,GBDT 的分类效果优于RF,说明建立使之前模型残差往梯度方向减小的方法在本研究中比生成并行化决策树的方法具有更加的分类效果.

现有的EEG 情绪算法大多基于被试的个人情况,在实时识别之前需要进行训练,通过刺激(如声音或影片)来诱发被试的情绪,并同时记录实时EEG 信号,再基于采集到的信号进行特征提取和分类建模.现在已有一些研究通过机器学习的方法对情绪分类,而情绪分类的关键在于不同情感的特征提取过程,针对这个问题,研究人员从不同角度做了大量的工作,比如分别提取能量特征量、功率谱特征量、熵值等非线性参数以及统计特性量等.例如,刘爽等提取脑电的功率谱特征,使用SVM 对四分类进行分类,文章提出了使用同源样本捆绑法,剔除非情绪因素的影响,避免传统的样本划分方法带来的虚高情绪识别率,提高了情绪识别的正确率,视频诱发任务的平均识别率为72.53%[21].李昕等比较使用单一小波特征(小波系数能量和小波熵)、近似熵和Hurst 指数特征量与融合特征在情绪识别上的准确性,单一特征的正确率情感识别的均值分别是73.15%、50.00%和45.54%,而改进算法识别准确率均值在85%左右[22].钟铭恩等利用db5 小波分解算法分解信号,提取情绪状态显著的脑电信号成分,并计算相应的功率谱,识别出平静、兴奋和悲伤3 种情绪状态[23].Nie D 等使用多特征融合的方法,采用SVM分类器,进行2 分类,得到87.53%的准确率,对特征进行处理,去除与情绪无关的特征,得到89.22%[24].本文采用特征融合的方法,将分形维度、样本熵、微分熵等特征进行特征融合,得到了较好的情绪识别的特征.

也有研究者对情绪识别的分类器进行的研究,例如,Zheng WL 等将深度学习与传统的分类器KNN、SVM、GELM 等分类器进行对比,对情绪进行二分类[25].本文也选取了几种分类器对情绪进行分类,结果显示GBDT 的分类效果优于RF.

在实际应用场景中,多通道脑电产品不适用,影响客户体验,虽然有研究使用较少的通道来进行情绪识别,但是有效率低,实际试用中可能出现识别不出或者区分错误的情况.本研究使用双通道便携式脑电设备采集前额脑电信号(Fp1 和Fp2),提取多种特征进行融合,比较多种分类器,表明了仅采集两通道数据的情况下,也可以达到较高的识别率,成果可为驾驶员情绪化状态的实时监测和识别提供新方法,以利于提高行车的安全性.

然而,本研究只是针对特定的视频片断进行特征提取以及分类,还未达到对真实环境下的实时判断,由于脑电信号中的时间动态信息至关重要,而深度学习理论下长短时记忆网络在时间上的递归结构,可以有效地解决这个问题,因此在后续的实时环境下,可采用LSTM 分类模型对不同情绪进行了分类.

4 结论

本文采用便携式设备采集前额双通道脑电数据,通过视频诱发情绪的方法,对被试观看快乐和悲伤视频时提取的脑电信号作为研究对象,基于二阶统计原理的盲源分离算法剔除前额脑电信号中的眼电信息,之后分别从时域、频域以及特征对称性3 个方面进行特征向量的提取,并对所有特征向量使用PCA 降维.通过比较不同分类器的识别结果,得到GBDT 算法对快乐和悲伤情绪分类的准确率最高,为95.78%.本研究采用便携式设备,在仅采集了双通道数据的情况下完成了快乐和悲伤情绪的分类,得到了较高的识别率,为将来对驾驶员情绪化状态的实时监测和识别奠定了基础,为提高行车的安全性提供了理论保障.