混合脑电信号及视觉信息的智能轮椅人机交互系统

张毅，尹春林，蔡军

(重庆邮电大学 信息无障碍工程研发中心，重庆 400065)



混合脑电信号及视觉信息的智能轮椅人机交互系统

张毅，尹春林，蔡军

(重庆邮电大学 信息无障碍工程研发中心，重庆 400065)

针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏，导致脑电信号有用信息量不足造成系统误识别的问题，本文提出一种视觉信息辅助脑电信号的人机交互系统。该系统通过在脑电信号实时操作中不断地识别眼睛状态，产生一种新的样本更新策略，更新的视觉信息作为系统的反馈，对人机交互闭环控制系统起到有效的校正作用。通过在智能轮椅平台走一个“8”字形固定轨迹的实验，实验结果表明：视觉信息的加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题，具有较好的稳定性和鲁棒性，表明了该人机交互方法的可行性。

EEG；视觉信息；样本更新；人机交互

脑机接口(brain computer interface，BCI)是不依赖于大脑外周神经与肌肉系统，在人脑和计算机或外部设备之间建立起来的一种通信系统[1]。它能够为那些失去对所有身体机能控制但思维意识正常的残障人士提供一种新型的对外信息交流手段，提高他们的自主活动能力，并在残疾人康复和正常人辅助控制领域有着广泛的应用前景[2-5]。虽然脑电信号控制智能轮椅的种类在增多，识别率在不断地提高，但都是单一脑电人机交互系统，由于脑电信号(electro encephalo gram， EEG)的非平稳性和非线性等问题，且受试者运动想象过程中精神需要长期处于高度集中状态，极易疲乏，则容易造成系统的误识别，降低系统的稳定性。在混合控制方面，国内的研究的较少。早在2011年，英国Essex大学的Huosheng Hu就指出未来的人机交互应是多模态融合，通过被赋予的多功能选择行为提高其鲁棒性和可靠性[8]。

针对上述研究，本文提出了一种新型的视觉信息辅助脑电信号的人机交互系统。该系统通过对脑电信号进行特征提取、特征分类的同时不断地检测眼睛状态，把更新的视觉信息作为系统的有效输入，不断调节模型参数使得整个人机交互系统随着视觉信息的变化做相应的调整。视觉信息与脑波信号的结合，有效降低了使用者针对传统单一脑电信号由于疲乏等问题造成的误识别，使得系统不受时间、使用者状态的影响而可以简单、自然地进行人机交互。

1 系统架构及疲劳状态下脑电信号的特征

1.1 系统架构

本系统主要包括对信号的预处理、特征提取、特征分类以及通过无线通信系统对智能轮椅的控制几个部分。脑电信号采集和预处理部分都是通过Emotiv SDK Headset脑波仪和其中的信号处理软件完成的。所用的Emotiv脑波仪如图1(a)所示，电极安放位置如图1 (b)所示，其采样频率为128 Hz。

(a)Emotiv脑电采集仪

(b) Emotiv电极安放位置

图2为该控制系统框图。

图2 系统框图

1.2 疲劳状态下脑电信号的特征

由于EEG人机交互系统受试者需要长时间进行单一的重复想象操作，很容易造成精神的疲劳[9]。图3为2种状态下与精神状态有关的AF3信号的波形。

(a)正常状态波形

(b)疲劳状态波形

图3所示，不同状态下的脑电波形虽然存在着一定的差异，但是却看不出2种状态下EEG信号所包含的基本节律波。为了进一步研究2种状态下脑波信号的特征，本文对脑波信号进行了频谱分析，得到2种状态下EEG信号的频谱图。

图4可知当受试者处于正常状态时主要以α波(8～13 Hz)、β波(14～30 Hz)为主；疲劳时主要以α波和θ波(4～7 Hz)为主，此时δ波(0.5～3 Hz)增多，而β波越来越少(几乎为零)，波段的变化使得脑电信号特征值稳定性低、特征向量区分度差，严重影响了BCI系统的性能。随着时间的增长和脑电疲劳的加剧，脑电信号的识别率更低。

(a)正常状态频谱图

(b)疲劳状态频谱图

2 控制方案设计

2.1 脑电信号控制

脑电信号是该控制系统的基础。通过对Emotiv脑电信号采集仪的各通道脑电信号的分析，发现O1通道对睁闭眼脑电信号反应最明显，FC5和FC6通道对左右手运动想象脑电信号反应最明显，闭眼放松与左右手相比很容易被区分出来，这里不是本文重点，而左右手的区分是特征分类的难点，因此本文选择F3、F4、FC5、FC6、T7和T8通道的脑电信号来提取左右手运动想象脑电信号的特征。选用一种改进的CSSD算法作为其特征提取方法[10]提取脑电信号特征，经过实验验证，该特征提取算法能使左右手运动想象脑电信号的在线平均识别率高达95.01%。

2.2 视觉控制

EEG是一个非线性且非平稳的信号，当使用者处于疲劳状态时，大脑产生的瞬时状态信号并非是使用者本身的思想意识，这种非意识动作往往引起人机交互系统的不稳定。所以视觉信息的有效监测在引导控制信号正确运动中起着至关重要的作用。

图5 改进前后正负误差对比

由图5可见，在正负误差比方面改进后的Adaboost不会出现太大的波动，避免了权重分配不均造成的过适应，改进的Adaboost算法亦可用较少的特征得到较高的准确率，在图像检测速度方面得到了很大的提升。眼睛状态检测具体步骤为：用上述改进的Adaboost算法先定位人脸，然后将人脸的上半部分的左右两边分别切割开，在此基础上再用一次改进Adaboost算法精确定位出人眼图片[14]，如图6。

这种眼睛定位方法速度很快，2次用同样的改进Adaboost算法，避免了第2次分类器的重构，节省了时间。训练目标分类器时，需要构造正负样本图像集，本文实验中采集了50个人的左右眼状态图，图像分类器的正样本釆用了左右眼各400张人眼图像，图像分辨率归一化为40×20的灰度图像，然后对图像的分类器进行训练。负样本为除眼睛外的人脸其他区域、风景以及室内环境等任意图片800张，将负样本统一转换为灰度图像。图7为不同光照、不同姿态、不同距离下的部分人眼和非人眼样本。图7(c)为3位受试者眼睛状态的识别效果实例。可以看到复杂背景下迎光、背光、侧光3种光照条件，大小和形状不同的眼睛状态都可以被检测到，从而满足系统要求。

图6 眼睛定位步骤

图7 部分人眼样本和非人眼样本及识别结果

随机选取4位受试者对训练好的分类器进行测试，结果如表1所示。由表1可以看出,采用改进的Adaboost对睁眼样本的识别率最高达98.7%，闭眼识别率最高达98.2%，不管人眼样本还是非人眼样本，平均识别率均在97%以上。采用此分类器可以较好地识别人眼样本，为脑电信号的正确控制提供可靠的校正信息。

表1 眼睛状态识别率

由于系统是对受试者的疲劳状态进行识别，所以必须有较高的实时性。为了进一步验证系统的实时性，本文用摄像头拍摄3段视频，分辨率为640×480，在Intel(R) Core(TM)2 Duo CPU E7500，2.93 GHz，1.99 G硬件环境，VS2010实验平台下对3段视频进行测试，系统达到22帧/s的速度。与文献[15]中单独使用睁闭眼分类器92 ms和传统Adaboost算法49 ms的检测时间相比，本文改进Adaboost算法的检测时间达到30 ms,满足实时要求。

2.3 视觉信息辅助脑电信号样本更新策略

在智能轮椅硬件平台和VS2010软件平台和Emotiv人机交互闭环控制过程中，眼睛状态的实时监测作为一种重要的反馈信息，对系统稳定性有着重要的影响。在对眼睛状态的识别中眨眼动作是影响系统安全的一个重要因素。本文采取2 s内perclos准则设定，如果perclos>40%，则认为受试者处于疲劳状态，不进行任何的动作；如果 perclos≤40%，则要进行眨眼频率的比较，如果每次眨眼时间为0.3～0.4 s，或者在2次运动想象内至少检测到一次眨眼则按照受试者的想象运动执行相应的动作。否则认为没有进行任何运动，不对轮椅发出指令。视觉信息辅助脑电信号人机交互系统流程图如图8。

具体步骤为：

1)人机交互系统启动，同时启动眼睛状态实时监测程序和EEG信号采集程序。

2)运动想象脑电信号分类识别，同时监测规定时间内眼睛状态。

3)若检测到眼睛状态则利用改进的Adaboost识别并进一步判定是否符合perclos准则，若没有检测到眼睛状态则返回步骤1)。若眼睛状态与perclos准则匹配则将EEG信号作为更新样本，进行在线训练，同时向智能轮椅发送控制指令，执行前进或者左、右转运动中的一种；若不匹配则返回步骤1)。

图8 混合人机交互系统流程图

3 实验结果及分析

3.1 系统性能验证

为了验证设计的混合EEG人机交互系统的性能，通过让4位受试者使用引入视觉信息的EEG人机交互系统和单一的EEG人机交互系统在智能轮椅平台进行重复性实验，完成如图9所指定的路线。本文设定的轮椅控制方式为：左右手运动想象脑电信号控制智能轮椅左转和右转，闭眼放松脑电信号控制智能轮椅前进。在轮椅运动方向与自己期望运动方向不一致或轮椅运动到自己期望的位置时，受试者就可通过咬牙使得F7通道产生的高幅度脉冲信号控制智能轮椅停止。通过分析，发现4位受试者在相同状态下采用2种控制方式操作智能轮椅完成该路线在不同时间段的轨迹基本一致。图10为其中1位受试者利用2种控制方式操作智能轮椅完成该路线时在不同时间段的轨迹。图11(a)为4位受试者在不同时间段利用单一EEG人机交互系统完成指定路线的时间。图11(b)为4位受试者利用混合EEG人机交互系统完成指定路线的时间。

图9 实验路径

图10 Emotiv脑电采集仪及电极安放位置

图11 4位受试者在不同时间段利用两种控制方式完成指定路线的时间

图11中4个柱状条分别为4位受试者在规定的受训时间：0～10 min，10～20 min，20～30 min，30～40 min内完成指定路线所用的时间。由图10(b)和图11(b)可知混合EEG人机交互系统在不同时间段都能够安全平滑地完成指定路线，完成指定路线所用时间也将大大减少，并且随着受训时间的延长，消耗时间也只增加10 s左右。图10(a)和图11(a)中虽然单一的EEG系统也能完成指定路线，但当受训时间为30～40 min轨迹曲线开始出现较大的波动且不光滑，轮椅开始原地打转、向非意识方向运动，这是因为脑电采集系统本身或者受试者运动想象过程中精神需要长期处于高度集中状态，极易产生疲乏，使得脑电信号特征值发生变化[16-17]，稳定性降低，产生很多误识别动作，进而完成指定路线的时间也随着延长约100 s。

3.2 算法识别率验证

为了验证改进的CSSD算法的性能，4个受试者分别控制智能轮椅左转、右转各40次，然后从中各随机抽取20次作为训练样本，其余作为测试样本，将上述所得的特征向量分别输入支持向量机分类器进行分类，经交叉验证得到几位受试者在不同的特征提取下左右手的正确识别率如表2、表3所示。

表2 采用传统CSSD特征提取的正确识别率

表3 采用改进CSSD特征提取的正确识别率

由表2、3可知，使用改进CSSD特征提取算法得到的左右手平均正确识别率均在87%以上，最高平均正确识别率为95.01%，最低值为87.80%，较传统CSSD算法有效提高了脑电信号的正确识别率。

4 结束语

本文提出了一种混合脑电信号及视觉信号的智能轮椅人机交互系统。该人机交互系统通过改进Adaboost算法不断地检测眼睛状态，视觉信息的加入大大避免了受试者利用单一EEG人机交互系统时由于疲乏问题造成的有用信息缺失导致的系统误识别问题。通过“8”字形轨迹的固定实验，验证了该智能轮椅人机交互方案是可行的。

[1]涂建成. 脑电信号控制智能轮椅的研究[D]. 杭州: 杭州电子科技大学, 2011. TU Jiancheng. The research for control intelligent wheelchair based on EEG[D]. Hangzhou: Hangzhou Dianzi University, 2011.

[2]REBSAMEN B, GUAN Cuntai, ZHANG Haihong, et al. A brain controlled wheelchair to navigate in familiar environments[J]. IEEE transactions on neural systems and rehabilitation engineering, 2010, 18(6): 590-598.

[3]HOW T V, WANG R H, MIHAILIDIS A. Evaluation of an intelligent wheelchair system for older adults with cognitive impairments[J]. Journal of neuroengineering and rehabilitation, 2013, 10(1): 90.

[4]JI Y, HWANG J, KIM E Y. An intelligent wheelchair using situation awareness and obstacle detection[J]. Procedia-social and behavioral sciences, 2013, 97: 620-628.

[5]ORTNER R, ALLISON B Z, KORISEK G, et al. An SSVEP BCI to control a hand orthosis for persons with tetraplegia[J]. IEEE transactions on neural systems and rehabilitation engineering, 2011, 19(1): 1-5.

[6]何海洋. 基于多类意识任务识别的电动轮椅脑电控制方法研究[D].杭州:杭州电子科技大学, 2012. HE Haiyang. The research of EEG control methods of power wheelchair based on muti-class mental tasks recognition[D]. Hangzhou: Hangzhou Dianzi University, 2012.

[7]李恋. 结合EOG和EEG的人机交互系统的研究与实现[D]. 合肥: 安徽大学, 2012. LI Lian. The research and implementation of the human-computer interaction system based on the combination of EOG and EEG[D]. Hefei: Anhui University, 2012.

[8]WEI Lai, HU Huosheng. A multi-modal human machine interface for controlling an intelligent wheelchair using face movements[C]//Proceedings of IEEE International Conference on Robotics and Biomimetics. Karon Beach, Phuket: IEEE, 2011: 2850-2855.

[9]ROY R N, BONNET S, CHARBONNIER S, et al. Mental fatigue and working memory load estimation: interaction and implications for EEG-based passive BCI[C]//Proceedings of the 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Osaka: IEEE, 2013: 6607-6610.

[10]张毅, 梅彦玲, 罗元. 基于改进CSSD的运动想象脑电信号特征提取[J]. 青岛科技大学学报: 自然科学版, 2015, 36(1): 94-101. ZHANG Yi, MEI Yanling, LUO Yuan. Feature extraction of motor imagery in EEG based on improved CSSD[J]. Journal of Qingdao university of science and technology: natural science edition, 2015, 36(1): 94-101.

[11]SHI Jianjun, YUAN Qingwu, ZHOU Lawu, et al. Melancholia EEG classification based on CSSD and SVM[C]//Proceedings of SPIE 8285, 2010 International Conference on Graphic and Image Processing. Cairo, Egypt: SPIE, 2011: 14-18.

[12]SHIBANOKI T, SHIMA K, TSUJI T, et al. A Quasi-Optimal channel selection method for bioelectric signal classification using a partial Kullback-Leibler information measure[J]. IEEE transactions on biomedical engineering, 2013, 60(3): 853-861.

[13]PERDUCA V, NUEL G. Measuring the influence of observations in HMMs through the Kullback-Leibler distance[J]. IEEE signal processing letters, 2013, 20(2): 145-148.

[14]熊池亮. 基于AdaBoost算法的驾驶员疲劳驾驶检测[D]. 成都: 电子科技大学, 2013. XIONG Chiliang. Detection of driver’s fatigue driving based on Adaboost algorithm[D]. Chengdu: University of Electronic Science and Technology of China, 2013.

[15]王奕直, 周凌霄, 孔万增. 基于Adaboost的疲劳驾驶眨眼检测[J]. 杭州电子科技大学学报, 2013, 33(4): 35-38.

WANG Yizhi, ZHOU Lingxiao, KONG Wanzeng. Eye blinking detecting in driving fatigue based on Adaboost[J]. Journal of Hangzhou dianzi university, 2013, 33(4): 35-38.

[16]YOO J, YAN Long, EL-DAMAK D, et al. An 8-Channel scalable EEG acquisition SoC with patient-specific seizure classification and recording processor[J]. IEEE journal of solid-state circuits, 2013, 48(1): 214-228.

[17]NEU D, MAIRESSE O, VERBANCK P, et al. Non-REM sleep EEG power distribution in fatigue and sleepiness[J]. Journal of psychosomatic research, 2014, 76(4): 286-291.

张毅，男，1966年生，教授，博士生导师,主要研究方向为机器人及应用、数据融合、信息无障碍技术。

尹春林，男，1990年生，硕士研究生，主要研究方向为多模人机交互。

蔡军，男，1977年生，副教授，主要研究方向为机器人技术及应用、生物信号处理及应用、模式识别。

On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system

ZHANG Yi, YIN Chunlin, CAI Jun

(Information Accessibility Engineering R&D Center, Chongqing University of Posts and Telecommunications, Chongqing 400065, China)

To address error recognition problems created by mental fatigue when a human subject partakes in a single motor imager process for a long period of time, a visual information assisted EEG (electroencephalograph) human-machine interactive control system was proposed. The system produces a new sample updated strategy, with the ‘state’ of the eyes being recognized by the improved Adaboost algorithm in real-time and the recognition result being used to decide which EEG signal to update as the model parameter for human-machine interaction. An experiment on controlling an intelligent wheelchair off a fixed trajectory with a ‘8’ glyph was undertaken. The results show that visual information is adopted effectively by the intelligent wheelchair users to avoid the fatique-related error recognition problem with good levels of efficiency; thus proving that the interactive method is feasible.

EEG; visual information; sample updated; human-machine interaction

2015-11-05.

日期：2016-08-24.

科技部国际合作项目(2010DFA12160)；国家自然科学基金项目(60905066)；国家自然科学基金项目(51075420).

尹春林. E-mail：659825946@qq.com.

TP242.6

A

1673-4785(2016)05-0648-07

10.11992/tis.201511004

http://www.cnki.net/kcms/detail/23.1538.TP.20160824.0929.010.html

张毅，尹春林，蔡军.混合脑电信号及视觉信息的智能轮椅人机交互系统[J]. 智能系统学报， 2016, 11(5):648-654.

英文引用格式：ZHANG Yi, YIN Chunlin, CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system [J]. CAAI transactions on intelligent systems, 2016,11(5):648-654.