深度学习在脑电情感识别方面的应用研究进展

尹旺　李惠媛

摘要：情绪状态在人与人的交流中发挥重要作用，人类脑电信号（EEG）在情绪识别上的应用具有良好的效果。目前深度学习算法在脑电信号情绪识别上的研究主要针对两个目标，一是提高情感识别的平均准确率;二是对多维情感进行多分类准确识别。文章在二分类、三分类、四分类三个方面概述了近几年深度学习应用于EEG情绪识别的研究进展，总结了深度学习算法在脑电信号（EEG）解码情感状态中一些仍待解决的关键问题和发展方向。

关键词：深度学习;脑电;情绪识别;分类

中图分类号：TP391 文献标识码：A 文章编号：1006-8228（2020）08-1 4-04

0 引言

脑电（Electroencephalogram，EEG）是一种使用电生理指标记录大脑活动的方法，它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映[1]。人类的情绪变化就是一种大脑皮层上的高级神经活动，通过脑电来实现情绪識别具有很好的前景。EEG情绪识别的本质是选择有监督机器学习和无监督机器学习分类器，通过提取好的脑电特征与未经训练的特征样本经过学习和分类来确定各种情绪状态，从而达到情绪识别的目的[2]。

在以前的情绪识别研究中普遍采用浅层分类器，需要人工进行特征选择和提取，但是这些特征是否能稳定和准确地反映情绪信息，在很大程度上需要依靠研究者的专业知识和长期经验积累[3]。在基于EEG的情绪识别研究中，利用传统的分类器进行应用是比较困难的，主要原因是不同情绪的边界较为模糊，如何提取并有效地识别与情绪相关的特征是一个巨大的挑战，随着机器学习近年来的迅猛发展，研究者逐渐将新型高效的机器学习算法（如深度学习）应用于EEG解码中，并初步展现出其强于传统机器学习的优势[4]。深度学习是以不少于二个隐含层的神经网络对输入进行非线性变换或表示学习的技术，强调直接从原始数据开始进行“端到端（end-to-end）'的学习，而不像过去一样要从人工设计的特征开始进行学习，因此深度学习在很多场合下也被称为表示学习[5]。目前，有一些用于分析人类情感状态的多模态脑电情感数据库供研究者们使用，例如DREAMER[6]，MPED[7]，DEAP[8]，SEED[9]等。这些数据库通常以愉悦度（Valence）、唤醒度（ Arousal）和支配度（Dominance）三个维度作为受试者的情感评价指标，即通过对P-A-D这三个维度进行评分来判断受试者当前的情绪状态。本文是对现有研究的综述，为该领域下一步研究方向提供参考。

1 论述

1.1 研究进展

（1）二分类研究进展

愉悦度（ Valence）表示积极或消极的情绪状态，如兴奋、爱、平静等积极情绪及羞愧、无趣、厌烦等消极情绪。唤醒度（Arousal）表示生理活动和心理警觉的水平差异，低唤醒如睡眠、厌倦、放松等;高唤醒如清醒、紧张等。由于通过Valence和Arousal两个维度就可以解释绝大部分情绪变化，所以目前基于Valence和Arousal两个维度的二分类器成为热点[10]。

情绪识别在传统的机器学习浅层分类器下已经取得了较好的分类效果。Zhang[11]等人将概率神经网络（Probabilistic Neural Networks，PNN）作为分类器，以4个EEG频带的功率为特征，最终得到了对Valence81.21%的平均准确率，对Arousa181. 76%的平均准确率。李昕[12]等人提出了一种基于小波包熵和自回归模型相结合的脑电信号特征提取算法，得出单一类型的特征量分类识别率明显低于二者融合的结果，融合特征的算法情感识别分类正确率均在90%以上，平均分类正确率为95.51%。Liu㈣等人提出了一种利用融合的ResNet-50和LFCC特征以及多种分类器来解决脑电信号情感识别问题的自动方法，当使用k近邻（KNN）作为分类器时，性能最好，对Valence得到90.39%的精度均值，对Arousal得到89.06%的精度均值。陈景霞[14]等人提取PSD功率谱密度特征和微分偏侧与因果差异特征，利用DSA-CSP迭代的空间滤波算法，缓解了日间脑电信号的波动和差异导致情感分类性能下降的问题。

人工智能的革命式发展为深度学习网络的实现提供了技术支持，也逐渐拓宽了深度学习的应用领域，现被大规模应用于EEG脑电信号的信息解码。Li[15]等人提出了一种融合CNN和RNN的深度学习模型C-RNN，得到对Valence的平均识别精度为74.12%，对Arousal的平均识别精度为72.06%。Xu[16]等人采用的两种半监督的深度学习方法：叠加去噪自编码器（SDAE）和深信念网络（DBN）显著提高了当前最先进的分类性能。Yang[17]等人使用卷积神经网络（Cnn）和递归神经网络（Rnn）对人的情绪状态进行有效学习，模型在Valence和Arousal分类任务上的平均准确率分别为90.80%和91.03%。Yang[18]等人以差分熵（differential entropy，DE）为最终特征，提出了一种利用时间卷积网络（TCN）处理基于脑电的情感识别问题的新序列模型。Chen[19]等人提取时域、频域特征及其时频域组合特征，使用卷积神经网络（ ConvolutionNeural Network.CNN）作为分类器，证明了深度CNN模型在时域和频域组合特征上均取得了目前最好的两类识别性能。

近年来，情绪二分类研究不断成熟，根据上述描述可知，未来研究的方向是特征的融合和网络模型的融合。

（2）三分类研究进展

三个情感类别的识别研究相对来说比较少，同时分为三种情感类型的脑电情感数据集也比较少。目前三分类应用最多的是上海交通大学提供的情绪脑电数据库SEED，此数据集采用电影视频片段来诱发受试者的情绪，一般分为三类情感：积极（Positive）、消极（ Negative）、中性（Neutral）[9]。魏琛[20]等人采用小波包分解，产生64个节点，各个节点的能量作为特征，利用深度学习中的集成卷积神经网络（CNN）借助集成学习的优势，集成了6个深度不同的基分类器，获得了93.12%的平均分类精度。Shao[21]等人的创新之处在于将CNN的卷积核进行调整以适应脑电信号的输入，最终在三分类的情绪脑电信号中，分类精度达到了85. 7go-/o。Wang[22]等人以差分熵（DE）特征作为输入数据设计了一种鲁棒的脑电情感识别系统广义动态图学习系统（BDGLS），在DE特征的全频段性能上，BDGLS的平均识别准确率最高，为93.66%，标准偏差为6. 11%。可以提供试验数据的不只有此SEED数据集，DEAP也曾被应用于三分类。Mei[23]等人研究了一种用卷积神经网络（CNN）直接利用函数连通矩阵和特征提取的方法，利用cnn技术同时完成了二分类任务、三分类任务和四分类任务，其平均准确率分别达到了85%、78%、75%。

（3）四分類研究进展

对比近几年一些采用DEAP数据集进行四分类的情感识别研究，识别的准确率和稳定性都有所上升。早期Chen[24]等人将视频实验数据进行分段求取每段的alpha和beta波段的能量、beta和theta波段的能量比率、3个Hjorth参数、CO复杂度、方差和谱熵共计9个特征，运用KNN算法实现了70.04%的高准确度。随后Ali[25]等人将小波能量、修正能量、小波熵和统计特征相结合，使用三个不同的分类器（二次鉴别分析、k-最近的邻居和支持向量机）来鲁棒地识别患者的情绪，获得了83 .87%的总体分类精度。影响深度学习算法的识别率的因素还有生理信号的单模态和多模态，李幼军[26]等人提出一种将栈式自编码神经网络（SAE）和长短周期记忆单元循环神经网络（ISTM RNN）融合的多模态融合特征情感识别方法，发现了皮肤电信号、眼电信号以及肌电信号在进行情感分类识别过程中，对于脑电信号来说是有益的补充，能够提高情感分类的准确率。

总体来说，三分类和四分类的识别准确率整体偏低，提高识别准确率的方法有待探索。

1.2 未来发展方向

（1）情绪刺激材料的专业化。目前研究常用例如电影片段，音乐视频等视听刺激结合的方式作为情感刺激材料。利用这种方式产生的脑电信号在动态性方面固然有一定优势，但是更有研究意义的脑电信号应该是通过人与刺激材料的互动而产生的。这种方式下产生的脑电信号，才能更直接的呈现出情感的差异变化，并具有稳定性。

（2）情感脑电数据库的丰富化。已有情绪库中的正性情绪种类较少，正负情绪材料和样本数量不平衡，不利于情绪模型建立和应用[27]。P-A-D三个维度作为受试者的情感评价指标有时候很难描述更复杂的情绪状态，所以在未来应该增强情感脑电数据库的平衡性和多样性。现有数据库的标注也不是完美准确的，所以数据库的优化将有比较大的空间。

（3）情感特征的最优化。PAD维度是基于情感特征客观预测的结果，情感特征的选择对PAD维度的预测效果有影响作用[28]。研究表明，基于多种情感特征的融合特征作为深度学习模型的输入特征能提高识别的准确率。在今后的研究中，寻找对情感维度贡献大的最优情感特征集是主要的研究方向。

（4）深度学习模型的高效化。为了具有更高的识别准确率，对于不同的受试者通常需要对模型进行重新训练，而深度学习模型的训练时间一般较长，故迁移学习将是未来应用广泛且高效的深度学习模型。此外，单一的深度学习模型或无法满足应用的需求，集成深度学习算法为这个问题提供了思路。

（5）交叉学科的融合性。对于人体生理信号的相关研究属于交叉学科，在相关研究中，涉及到了认知心理学、计算机、脑科学等多个学科[29]。通过多学科的知识，全面了解生理信号与情绪的关系，有助于找出与情绪状态最相关的脑电特征或大脑区域。

2 结论

情绪识别作为人机交互的一项重要内容，近年来由于深度学习算法的大热而取得了前所未有的进展。脑电信号EEG可以用于评估和理解大脑中与心理、生理状态相关的变化，所以，作为情绪状态的识别指标具有明显的优势。结论是提取与情绪关联性最大的脑电特征或者融合特征有助于提高平均识别准确率，采用集成学习的原理集成深度学习算法可以使深度学习模型更高效，从而提高识别准确率。未来需要攻破的难点是实现多种情绪的准确识别。

本文从二分类、三分类、四分类三个方面叙述了近几年深度学习应用于EEG情绪识别的研究进展，不只是识别准确率的提升，深度学习模型也正在向着易操作、时间成本低等方向发展。我们在总结已有成果基础上，提出了目前存在的问题和未来解决的方向，为进一步研究提供思路。相信在不久的将来，基于深度学习模型的情绪识别研究一定会有更大的进步，在相关领域得到实际应用。

参考文献（References）：

[1]张海军，王浩川.多导联EEG信号分类识别研究[J].计算机工程与应用，2008.24：228-230

[2]马新斐，刘志宏，姜添浩.脑电波情绪分类算法的研究[J].成都信息工程大学学报，2018.33（4）：365-369

[3]杨豪，张俊然，蒋小梅，等.基于深度信念网络脑电信号表征情绪状态的识别研究[J].生物医学工程学杂志，2018.35（2）：182-190

[4]韦梦莹，李琳玲，黄淦等.深度学习算法在脑电信号解码中的应用[J].中国生物医学工程学报，2019.38（4）：464-472

[5]山世光，阚美娜，刘昕等.深度学习：多层神经网络的复共与变革[J].科技导报，2016.34（14）：60-70

[6]Katsigiannis S，Ramzan N.DREAMER： adatabase foremotion recognition through EEG and ECG signalsfrom wireless Low-cost Off-the-Shelf devices[J]. IEEEJournal of Biomedical and Health Informatics，2018.22（1）：98-107

[7] Song T， Zheng W， Lu C， et al. MPED：a Multi-ModalPhysiological Emotion Database for discrete emotionrecognition[J].IEEE Access，2019.7：12177-12191

[8] Koelstra S， et al. DEAP： adatabase for emotion analysisusing physiological signals[Jl. IEEE Transactions onAffective Computing，2012.3（1）：18-31

[9] Zheng W， Lu B. Investigating critical frequency bands andchannels for EEG-based emotion recognition with deepneural netxvorks[J]. IEEE Transactions on AutonomousMental

Development， 2015.7（3）： 162-175

[10]宋振振，陈兰岚，娄晓光.基于时序卷积网络的情感识别算法[J].华东理工大学学报（自然科学版），2020.1：1-9

[11] Zhang J，Chen M， Hu S， et al. PNN for EEG-basedemotion recognition[C]//2016 IEEE InternationalConference on SIJstems， Man， and Cybernetics（SMC）， Budapest：IEEE， 2016：002319-002323

[12]李昕，孙小棋，王欣等.基于自回归小波包熵特征融合算法的情感识别研究[J].生物医学工程学杂志，2017.34（6）：831-836

[13] Liu N， Fang Y， Li L. et al. Multiple feature fusion forautomatic emotion recognition using EEG signals[C]//2018 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）， CalgaW：AB，IEEE，2018：896-900

[14]陈景霞，郑茹，张鹏伟等.基于数据空间自适应与共空间模式的脑电情感分类[J].计算机工程，2019.45（4）：296-301

[15] Li X， Song D， Zhang P， et al. Emotion recognition frommulti-channel EEG data through ConvolutionalRecurrent Neural Network[Cl//2016 IEEE IntemationalConference on Bioinformatics and Biomedicine （BIBM），Shenzhen：IEEE，2016：352-359

[16] Xu H， Konstantinos N. Plataniotis. Affective StatesClassifification using EEG and Semi-supervised Deep Learning Approaches[C]//2016 IEEE 18th Interna-tional Workshop on Multimedia Signal Processing（MMSP）. USA： IEEE，2016：1-6

[17] Yang Y， Wu Q， Qiu M， et al. Emotion recognition from Multi-Channel EEG through Parallel ConvolutionalRecurrent NeuralNehAiork[CV/2018 InternationalJoint Conference on Neural Nehvorks （UCNN），Rio deJaneiro：IEEE，2018：1-7

[18] Yang L， Liu J.EEG-Based emotion recognition usingtemporal convolutional net.^iork[C]//2019 IEEE 8thData Driven Control and Learning Systems Confer-ence （DDCLS）， Dali， China：IEEE，2019：437-442

[19] Chen J，Zhang P， Mao Z，et al. Accurate EEG-Basedemotion recognition on combined features using deepconvolutional neural networks[J]. IEEE Access， 2019.7：44317-44328

[20]魏琛，陳兰岚，张傲.基于集成卷积神经网络的脑电情感识别[J].华东理工大学学报（自然科学版），2019.45（4）：614-622

[21] Shao H， Wang J，Wang Y， et aL EEG-Based emotionrecognition with deep convolution neural network[C]// 2019 IEEE 8th Data Driven Control andLearning Systems Conference （DDCLS）， Dali， China：IEEE，2019：1225-1229

[22] Wang X， Zhang T， Xu X， et al. EEG emotion recognitionusing dynamical graph convolutional neural networksand broad Iearning system[CV/2018 IEEE Interna-tional Conference on Bioinformatics and Biomedicine（BIBM）， Madrid， Spain：IEEE，2018：1240-1244

[23] Mei H， Xu X. EEG-based emotion classification usingconvolutional neural nehAiork[C]//2017 InternationalConference on Security， Pattern Analysis， and Cyber-netics （SPAC）， Shenzhen2017：130-135

[24] Chen J，Hu B， Wang Y， et al.A three-stage decisionframework for multi-subject emotion recognition us-ing physiological signals[CV/2016 IEEE IntemationalConference on Bioinformatics and Biomedicine （BIBM），Shenzhe：IEEE， 2016：470-474

[25] Ali M， Mosa F，Machot F，et al. EEG-based emotionrecognition approach for e-healthcare applications[C]//2016 Eighth Intemational Conference on Ubiquitous andFuture Net.^iorks （ICUFN），Vienna：IEEE，2016：946-950

[26]李幼軍，黄佳进，王海渊，钟宁.基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究[J]，通信学报，2017.38（12）：109-120

[27]张冠华，余更睛，陈果，韩义恒，张丹，赵国朕，刘永进.面向情绪识别的脑电特征研究综述[J].中国科学：信息科学，2019.49（9）：1097-1118

[28]孙颖，胡艳香，张雪英，段淑斐.面向情感语音识别的情感维度PAD预测[J].浙江大学学报（工学版），2019.53（10）：2041-2048

[29]侯晓莹.基于深度学习和脑电信号的情感分类方法研究[D].山东大学.2019.

作者简介：尹旺（1998-），男，湖南人，研究生，主要研究方向：机器学习深度学习。

通讯作者：李惠媛（1998），女，云南人，研究生，主要研究方向：机器学习深度学习。