虚拟现实结合脑电研究进展

李颖洁 李海宝 杨帮华 田丰

1上海大学上海先进通信与数据科学研究院200444；2上海大学通信与信息工程学院200444；3上海大学钱伟长学院200444；4上海大学机电工程与自动化学院200444；5上海大学上海电影学院200072

0 引 言

头皮脑电是通过电生理方法记录到的脑细胞群的自发性、节律性电活动。通过分析试验记录的脑电来进行脑科学研究是一种常用方法，已广泛应用于神经生理学、心理学、认知神经科学、神经工程等诸多领域[1]。在试验设计中，研究人员通常将声音、文字、二维图像或视频作为试验刺激材料，研究受试者在完成特定任务时的脑电特征，探究背后的生理意义。但这样的实验室研究在某些特定问题上往往和实际生活场景带给人的感受存在差别，例如在空间记忆研究中，运动和动作对记忆的影响很大，而传统试验中被记忆的物体只能呈现于显示器上，受试者无法真正行走，使得研究结果的有效性受到试验条件的局限[2-3]。虚拟现实（v irtual reality,V R）是指生成的沉浸式三维环境，使用者可从中体验类似于现实世界的活动[4]。VR试图用受试者在计算机生成的人造三维环境（VR场景）中的感知替代其在现实世界的感知，且由于VR场景并不一定需要基于现实世界进行创建[5]，故设计者可创建出现实中不具备的、受试者想象的场景，以满足研究的需要[6]。当前，脑认知科学领域已开始使用VR技术来提供研究的场景，Bohil等[7]指出VR越来越多地被神经科学家用来模拟自然事件和社会互动的发生，与其他神经科学研究和应用方法相比，VR可创造互动的多种感觉刺激，因而具有独特优势。同时，VR技术已被用于神经系统疾病的康复训练中，以增强传统心理治疗的效果[8]。例如在特殊恐惧症的暴露治疗中，可通过将该人群暴露于其害怕的VR场景中来改善传统认知行为疗法的效果[9-10]。此外，也有一些研究利用VR针对特殊环境提供脑科学理论支撑，如Occhialini等[11]利用VR创建火灾场景，结合脑电研究逃生信号的种类及其放置位置对受试者在火灾中逃生的影响。对VR环境带来行为改变的背后的脑机制进行深入理解，将有利于相关研究的深入和应用方案的精准设计与实施。当前利用VR沉浸式及可交互性的特点，结合脑电技术探究调节大脑活动正成为研究热点[12-14]，但尚缺乏相关的研究综述。

本文对2000年至2019年间发表的文献进行了条件检索，分别于web of science、谷歌学术和百度学术上键入关键词“virtual reality EEG”、“VREEG”、“virtual reality neuroscience”、“VRneuroscience”进行搜索，剔除结果相同的部分，得到本文的主要参考文献。在后续文献梳理过程中，若搜到符合本文主题的其他文献，也将其纳入。最后本文从实验范式、研究方法以及主要结果3个方面进行综述，并对未来可能的发展趋势作了思考。

1 实验范式

根据实验范式的特点，VR结合电脑的研究可分为非交互型和交互型。非交互型研究只记录特定VR场景下的脑电信息，后续从分析中获取特定场景的脑电特征，研究该场景下的神经活动特性。在理论研究中，与空间认知相关的研究占据了主导，这类研究的范式往往会在传统空间认知研究的基础上结合VR特性进行改造。如2006年Baumgartner等[15]第一次使用脑电研究了空间导航中儿童和青少年空间临在感的差异。Kober和Neuper[16]比较了男女性受试者在VR迷宫中行走时的脑电活动差异。Clemente等[17]将观看与迷宫中行走任务相结合比较无任务和有任务情况下空间导航的大脑活动差异。Barbosa等[18]则通过做oddball任务的同时观看带有情绪的VR场景的双任务范式研究大脑如何进行认知分配。在应用研究中，研究者通常会选用较成熟的脑电特征。如借助脑电能量和认知负荷之间的关系，发现二维桌面呈现的视觉刺激比三维VR需要承受更多的认知负荷[19]；利用脑电特征评估基于VR的情绪放松系统的性能[20]；通过分析受试者在VR场景中进行运动想象时的脑电，探究VR系统对面瘫患者的干预治疗作用[21]等。

在交互型研究中，通常需要受试者根据要求作出反应，同时采集脑电信号，通过分析脑电特性研究在交互中完成不同任务诱发的脑活动特征，即需要受试者与VR场景进行交互，而受试者作出的反应会实时影响VR场景的内容。例如对于采集到的脑电信号，通过特征提取来控制VR场景中虚拟物体的运动[13，22-23］、改变VR场景[24]、改变虚拟人物的动作[25]等，从而有针对性地训练受试者的脑功能。当然这种实验范式对试验系统有着非常高的要求，例如Shih-Ching等[23]通过脑电控制VR场景中赛车前进的速度和方向，则需要系统低延迟、拥有最佳带宽和最小能耗。

2 脑电分析方法

研究VR场景下的脑电信号，采用的分析方法主要包括事件相关脑动力学、谱分析和源定位等。此外，随着交互型研究的深入，通过模式识别对脑电信号进行分类也成为不可或缺的一种分析方法。需要说明的是，无论是交互式还是非交互式，均可使用上述方法，方法本身不具有试验类型的特异性，而具体选用哪种方法要根据研究目的加以选择。

2.1 事件相关脑动力学

事件相关脑电位（event-related potential,ERP）是从脑电中提取出来的与事件相关的脑活动，是认知神经科学研究的常用方法之一[26]。在VR结合脑电的研究中，大部分文献均采用了传统的ERP分析，即分析ERP成分的潜伏期和幅值[27]。研究通常会选用传统的ERP研究范式，分析经典ERP成分，如认知功能研究中多采用P300成分[18,22]，情绪调节研究中多采用晚期正成分（la te positive potential,LPP）[28]。也有一些研究采用了事件相关去同步/同步(event-related desynchronization/event-related synchronization,ERD/ER S）分析。ERS代表相对于无事件刺激时基线能量的升高，被认为是调节感觉过程中皮层兴奋性降低；ERD代表相对于基线能量的降低，被认为是皮层激活，兴奋性增加[29]。例如Baumgartner等[15]通过分析alpha振荡比较青少年和儿童在同样VR场景下的临在感差异。Wamain等[30]通过比较alpha活动的ERD/ERS，研究在近身空间（peripersonal space）中对物体进行操控时大脑的运动编码（m otor coding）。此外，Zhao等[31]以受试者的ERD/ERS为控制参数，使受试者可以控制VR场景中的汽车运动。

事件相关谱扰动（event-related spectral perturbation,ERS P）也是常见的分析方法之一，其分析诱导的脑电信号的时间和频率特性，主要应用于与运动相关的研究中。如Wu等[32]利用VR和ERSP研究触觉刺激对运动训练的作用，通过训练受试者控制虚拟手柄，研究触觉反馈影响手运动时左右感觉运动皮层的调节功能。Yazmir和Reiner[27]让受试者在VR场景中击打羽毛球，分析他们击中成功和失败时的ERSP，为将来用于训练反馈系统寻找特征指标。有文献报道，借助VR进行运动训练已在唐氏综合征患者中取得了令人振奋的结果[33]。Lopes等[34]让唐氏综合征患儿在VR中做运动训练的同时进行经颅直流电刺激（transcranial direct current stimulation,tDC S）干预，通过ERSP分析训练时患儿脑活动的平均动态变化，研究tDCS干预结合VR的治疗效果。

此外，还有比较ERP的全局能量和脑电地形图的方法。为了研究人类在空间中快速重定向的神经机制，Torok等[35]让受试者处于VR迷宫中，试验开始时受试者所处迷宫的位置为随机分配，在此过程中记录受试者的脑电信号，使用软件工具随机化图形用户接口分析比较不同起始位置情况下受试者在迷宫中行走时大脑区域能量和事件发生时的地形图差异。

2.2 谱分析

在搜集的文献中，无论是交互型还是非交互型，谱分析多用于空间导航的研究中。如对不同类型VR场景中记录到的脑电进行谱分析，结果发现在二维VR和三维VR环境完成空间导航任务时的脑电表现出不同的谱特性[36-37]。谱分析也被用于特定VR场景中认知和情绪的研究，如通过计算alpha波能量，比较二维桌面和三维VR下的注意力[14]和认知负荷[19]；通过分析焦虑人群在特定VR系统下的脑电alpha和beta波能量，研究VR对于降低焦虑感所起的作用[38]。在应用研究中，训练多动症患者注意力的VR系统常采用脑电的谱分析结果作为生理反馈指标[24]。

2.3 源定位

脑电图源定位是揭示大脑活动皮质来源的一类方法，包括最小范数法、低分辨率电磁层析成像（lowresolution electromagnetic tomography,LORET A）、加权最小范数、FFT偶极子近似、焦点欠定系统解、多信号分类、标准化低分辨率层析成像（standardized low-resolution electromagnetic tomograph,sLORET A）等多种方法[39]。在VR结合脑电的研究中常使用的方法是sLORETA。因分析步骤较复杂，sLORETA通常于非交互型研究中用作后续的离线分析。

在空间导航研究中，尽管使用VR结合神经影像学的研究大大增加了人们对相关皮层和皮层下机制的理解，但这些方法均不能直接考察空间导航的神经生理学基础，脑电的源定位方法则填补了这一空白。有研究人员使用sLORETA方法研究在空间导航中相同VR场景下青少年和儿童大脑电活动的差异[15]，还有研究者利用该方法研究比较在不同类型VR的空间导航中大脑电活动的发生机制[17]。在情绪研究中，研究者也会使用源定位法探究VR情绪场景中与特定情绪相关的大脑区域活动[40]。同时，研究者也使用源定位法研究使用VR系统干预前后受试者的情绪变化。如Tarrant等[38]通过估算前扣带和后扣带的电流源密度（current source density）来评价焦虑感；Rodríguez等[41]使受试者处于悲伤VR场景中，分析他们采用不同情绪调节策略时的相关脑电源定位，探讨不同策略是如何影响受试者的情绪反应。

2.4 模式识别

研究结果表明，通过提取受试者在VR系统中完成不同类型任务时的脑电特征，采用模式识别算法可自动识别任务类型，这种方法在交互型研究中起到了非常重要的作用。例如在基于运动想象的脑机接口研究中，Ahn和Jun[42]指出未结合VR运动想象脑机接口的平均识别成功率为70%，而结合VR的类似研究可显著提高识别成功率[43]。有研究针对受试者在驾驶VR场景中的汽车时对红绿灯的认知反应进行识别，以认知成分P300为特征，利用自构造神经模糊推理网络识别的准确率达87%[12]。还有研究针对VR场景下的识别任务，使用人工蜂群算法对是否抬起手指的运动想象任务进行识别，平均准确率达83.5%～87.1%，优于当时（2017年）常用的几种先进方法，证明了该算法的可行性[43]。在情绪识别研究中，通过计算受试者观看带有情绪的VR场景时的脑电平均相位相干特征对情绪效价和唤醒度的分类准确率分别在70.00%～75.00%和70.00%～71.21%[44]。

基于特征识别的研究可将基础研究结果用于解决实际问题。例如在神经反馈系统中，研究结果表明VR系统可为使用者提供更高的化身感，这种化身感使使用者对于VR场景中的行为具有更强烈的感觉，对应的神经反馈表现更好[45]。通过判断驾驶人员在VR场景中的状态来训练其集中注意力，若ERP结果显示驾驶者注意力不集中，则不能通过ERP控制虚拟汽车在VR场景中停止或前进[13]。

除了上述几种方法，还有一些研究使用了其他方法。例如有研究者为了验证结合VR、脑电和香薰实现的放松系统的有效性，记录了受试者在试验时的脑电，用其alpha和theta频带的熵来评估受试者的放松程度[20]。又如在运动想象分类任务中，由于Higuchi分形维数和Katz分形维数（Katz fractal dimention,KF D）在任务中显著变化，且KFD不涉及自由参数，计算成本低，比较适合在线提取脑电特征，因此Shih-Ching等[23]采用该法提取脑电特征，用来控制VR场景中与虚拟汽车的交互。此外，还有平均相位相干性，因其对噪声的鲁棒性，被用于VR情绪场景中提取脑电特征来识别情绪[46]。也有研究为了使VR远程医疗反馈系统能自适应受试者的差异，使用自定义算法对脑电进行特征提取[47]。

3 研究结果

3.1 脑功能研究

笔者搜索到的与脑功能研究相关的文献主要包括空间导航能力与临在感研究、认知与注意力研究、运动功能研究以及情绪研究。综合考虑脑科学研究中关注的核心问题[48-49]，本文主要选择从空间导航、运动以及情绪3个方面进行论述。

3.1.1 空间导航

对于空间导航的研究主要包括知觉感知、记忆、决策、对地标和其他特征的关注以及对目标的短期记忆等[50]。

在知觉感知研究中，Kober和Neuper[16]的研究结果表明在VR迷宫中找寻指定地点最短路径的条件下，男性与女性的脑电特性及工作模式不同，女性的theta振荡高于男性，且对女性来说，高theta能量时任务行为学表现更好，男性则相反。由于脑电的theta能量升高反映感觉运动整合能力的增强，由此推测女性的感觉运动整合能力高于男性。

在针对地标特征的关注研究中，Torok等[35]首次使用脑电研究了人类的空间重定向问题，结果显示，最早在随机分配位置事件发生后100 ms时就会在受试者枕顶叶区域观察到快速的重新定向效应，这意味着尽管传送具有随机性，参与者还是建立了对到达地点的期望。

VR场景中的空间导航研究还针对其临在感进行探究。例如Baumgartner等[15]通过让受试者观看VR场景中的过山车，分析了相同场景下不同受试者的脑电，结果发现儿童比青少年的临在感更高，且相比于不在VR场景中观看，儿童额区的脑电活动减弱，青少年额区的脑电活动增强。

3.1.2 运动

在有关运动功能的神经机制研究中，研究者借助VR产生运动相关的场景，重点针对手的运动功能进行探讨。Wamain等[30]通过VR技术改变虚拟物体与受试者的距离，让受试者判断VR场景中的物体是否可通过手接触到，并结合脑电分析研究受试者对近身空间视觉对象的运动编码，结果表明在近身空间视觉对象的运动编码过程中，alpha波ERD/ERS的变化是任务依赖的。Wu等[32]的研究结果表明有触觉刺激参与的反馈影响手运动时左右侧感觉运动皮层beta频带的活动。另外，VR结合脑电的研究还可帮助研究者探究一些临床治疗方法的有效性。例如Kim等[51]综述了tDCS用于创伤性脑损伤引发的运动功能问题恢复的可行性，指出通过ERD的变化来反映大脑活动及功能改变，将VR与tDCS相结合的任务导向训练可被视为家庭环境中的一种有效远程康复工具。Lopes等[34]的研究结果则表明虽然结合tDCS在VR中训练唐氏综合征患儿对组内脑电信号有显著影响，但与伪tDCS组间比较脑电差异无统计学意义，因此这种影响可能来自“安慰剂”效应。

3.1.3 情绪

在情绪研究中，VR更多地被用来提供各种诱发情绪的场景。Rodríguez等[41]发现在悲伤VR场景下不同的调节策略影响的大脑区域亦不同，诱发的情绪下theta频带存在明显差异，右颞叶、前额和扣带回的活动与悲伤情绪的诱发有关。Stolz等[28]研究了安全场景和威胁场景下中性人脸和愤怒人脸分别诱发的LPP，结果表明相对于安全场景，威胁场景下的中性脸部表情增加了LPP的幅值，而不论在何种场景下，愤怒的脸部表情均增加了早期LPP的幅值，此研究同时表明VR结合脑电在情感神经科学研究中具有独特的优势。

3.2 应用研究

在交互型研究中，研究者往往通过提取脑电特征来控制VR沉浸式场景的变化。Cho等[24]比较了不同频带的脑电信号作为控制参数训练儿童在VR场景中的注意力，发现beta频带作为控制参数的有效性最高。Bayliss和Ballard[13]使用鲁棒卡尔曼滤波器（r obust Kalman filte r）提取脑电特征，并通过2位受试者测试其有效性，结果表明这2位受试者控制VR中物体的成功率分别达69%和82%。Herweg等[22]则利用P300在VR系统中训练触觉，使得受试者能借助ERP控制虚拟轮椅通过行驶路线，准确率可达95.56%，表明ERP和VR结合的有效性。ERD/ERS也可在交互研究中作为参数，Zhao等[31]让受试者控制虚拟汽车通过指定行驶路线，以ERD/ERS作为控制参数，准确率范围为70%～91%。而Shih-Ching等[23]的研究结果则显示在VR系统中控制赛车时，使用beta能量和Higuchi分形维数作为特征的交互结果优于以theta能量和KFD作为特征。

还有一些特殊场景下的研究。例如，Amores等[20]的研究结果显示，在VR放松场景使用中、使用后与使用前alpha频带和theta频带的Renyi熵差异均具有统计学意义，表明VR放松场景对于受试者有效。有研究者让受试者在VR火灾环境中完成逃生任务，通过分析他们对出口标识作出反应时的脑电信号，研究不同环境、不同出口标识种类及其放置位置对受试者的影响，结果发现上述参数均会影响最终逃生任务的完成[11]。因此，可通过研究VR火灾发生时安全标识种类及其放置情况对脑电信号的影响进行安全标识的选择和安放，而无需在实际火灾中演习。还有研究者通过分析在VR场景中成功击中目标和未击中目标诱发的ERP峰值、潜伏期、头皮信号分布、时频模式及sLORETA，研究不同行为结果下的大脑电活动，解决如何为目标人群提供行动的预测结果并进行干预训练的问题[27]。这些结果均充分利用了VR的沉浸感带来的真实感以及脑电对大脑活动的瞬态反应，针对现实中很难完成的任务，通过VR进行模拟，对于现实应用具有重要意义。

4 结语与展望

VR结合脑电的研究已被许多试验结果证明其优越性，在运动、空间导航、情绪、认知等领域已取得初步成果，并开始用于临床研究和治疗。

在实验范式上，各研究领域均有非交互式、交互式以及混合型。未来随着VR技术的进展以及对VR下脑电特征的深入了解，会形成更多逼真可操控的虚拟场景，为理论研究和应用提供支撑。

在研究方法上，VR结合脑电的研究多采用传统分析方法，尚缺乏不同方法之间的对比研究。在应用上，虽涉足广泛，但因神经机制尚不明晰，多局限于一般的观看式应用，未能很好地发挥VR和脑电结合的优势。

此外，虽然由于存在感和沉浸感的优点，三维VR在脑功能研究领域已得到应用并取得了相关结果，但目前仍存在技术上的一些问题，如一些受试者在VR场景中会不同程度地感到恶心、眩晕、疲劳或头痛，这些均会直接影响脑电结果[52]。因此，寻找技术解决方案将是VR技术工程师提高VR适用性的一个重要挑战。总之，随着VR设备的逐渐更新及其交互性、便捷性的不断提高，VR结合脑电的研究也将越来越深入。

利益冲突所有作者均声明不存在利益冲突