手控人机交互技术综述

党英霞

（国家知识产权局专利局专利审查协作湖北中心 湖北省 武汉市 4300470）

摘 要：人手作为仅次于语言的一种自然交流方式，通过手势控制人机交互的应用取得了较大发展，本文从手势控制人机交互方向切入，首先根据全球的申请量变化分析本领域的专利申请趋势，进而对其技术分支进行分析。

1概述

人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。传统的交互方式要求用户通过键盘、鼠标等进行信息传递，这导致传统方式不够高效自然。近年来，针对传统交互的弱点，逐步发展了一些新的交互方式，如：人脸识别、语音识别、手势识别等，它们以人为中心，以多媒体、多通道为交互模式实现对人机交互技术的升级。

作为一种不需要中间媒介非常人性化的人机交互方式，手势是一种表达用户的意图的理想且自然的方式。通过手势表达信息能够降低人们的认知负担，越来越多的应用系统以手势识别控制作为人机交互的接口，下面对手势识别控制的人机交互发展作一个综述。

2国内外研究发展分析

手控人机交互研究根据采集设备的不同可以分为基于视觉技术的手控人机交互技术和基于传感器技术的手控人机交互技术。前者是通过摄像设备采集手势信息来完成交互任务；后者则是要求用户通过佩戴传感器来获取数据信息以完成交互工作。

从图1给出了全球专利按年度分布的分布情况，可以看出2000-2010年两者的申请量较小，在此阶段人机交互还处于传统借助设备的阶段，以用户为中心的人机交互手段开始兴起。从全球申请量逐年增长比较平稳。在2011年之后进入迅猛增长期，具有优良性能的电子产品面世为手控人机交互研究带来机遇，总体来看，基于视觉的手控人机交互相较于基于传感器的手控人机交互更受青睐，原因是后者需要用户佩戴感应装置导致用户的体验不够自由，人们更倾向于自然手的交互方式。但是基于视觉的手控人机交互受环境影响较大，算法较复杂，实时性相对较差，而基于传感器的手控人机交互却可弥补这些不足，所以后者的研究仍然得以继续。

基于视觉的

基于视觉的手控人机交互方法是应用摄像机拍摄图像或视频，从中检测和分割获取目标，然后提取特征识别。

早期基于视觉的交互方法主要是利用一个图像采集设备获得手势的平面模型，与预先建立的手势数据进行匹配识别，由此可通过手势控制计算机进行指令切换的操作，即基于二维成像的手控人机交互。以索尼公司申请号为JP2003193738的申请专利为例，提出了一种个人计算机的用户控制系统。在这个系统中，利用摄像机拍摄用户手部或手指在屏幕前的运动，然后该系统根据拍摄到的用户手指或者手部的运动识别出这个手势所代表的真实含义，并将其转换成计算机能够识别的指令予以执行，实现非接触式指令控制，利用手势进行计算机的远程控制所带来了极大便利性。

二维成像方法采集简单、计算速度较快，但是由于光照、遮挡等问题对其所限制，随着三维成像技术的推动，产生了基于三维成像的交互技术，该方法利用立体成像设备获得手势的三维空间信息。三维成像根据其成像原理又可分为基于多角成像的、基于深度相机的。

（1）基于多角成像是使用至少两台摄像机同时拍摄图像，通过比对这些在不同位置上的摄像机在同一时刻获得图像视差，根据几何原理计算深度信息。以松下电器申请号为JPH11174948的申请专利为例，提出了一种手势识别装置。在该装置中，使用至少两台摄像机同时拍摄图像，通过比对这些摄像机获得图像视差，计算用户的三维空间信息，进而检测用户手部的三维移动，提取特征执行分类识别多个种类的手语手势。

（2）基于深度相机是利用激光通过光栅发生折射位移后检测图样变化计算得到深度信息或者利用光子反射回来的飞行时间计算物体距离，代表产品为Kinect一代、TOF相机。以中兴通讯申请号为CN201210264265的申请专利为例，提出了一种三维手势识别方法。实时获取深度图像，使用阈值分割出目标位置，计算深度图像轮廓的深度特征，形成特征向量，基于概率算法抽取手部的运动轨迹，与预定义的模板进行匹配，识别出动作类型，适用于一般计算性能的终端。

基于传感器的

基于传感器的手控人机交互方法是用户通过佩戴可感知运动状态的设备采集跟踪手部相关信息进行分析识别。按照传感器的类型大致可以分为加速度传感器、表面肌电信号传感器以及数字传感器数据手套三类。

（1）加速度传感器可以采集人手的运动信息，并通过设备传输到信息解析模块实现手势识别。以浙江大学申请号为CN200910154018的申请专利为例，提出了一种基于加速度的手势识别的方法。利用三维加速度传感器检测手持该传感器的用户整个手势变化过程中的三维加速度数据序列，即前后方向x轴、左右方向y轴、上下方向z轴的三个正交方向的加速度数据列，得到整体特征描述，训练测试得到手势数据的识别，以实现对家电设备的控制。

（2）表面肌电信号数字传感器是根据人体不同肌肉群收缩所产生的微弱电生理信号，可以反映出肌肉的活动状态、强度等信息，进而识别手势。以中国科技大学申请号为CN200910252098的申请专利为例，提出了一种盲人用移动电话交互装置。利用放置在盲人手前臂皮肤表面作为信号采集模块，用于检测相关肌肉活动而产生电信号，基于电信号传输给信号处理模块以获取手势动作输入集，手机系统可根据输入集理解其表达的控制意圖，继而执行相应的指令。

（3）数据手套是利用传感器传输手部的参数信息，利用这些信息内容进行手势的识别。以NAVIGATION科技公司申请号为US20020045804的申请专利为例，提出了一种基于数据手套实现数据收集的方法。操作人员能够通过在手上佩戴数据手套并做出手势动作来实现数据的输入，传感器收集动作数据经由数据手套传输到收集系统中，进而根据该传感数据识别出手势。

总结

基于手控人机交互研究已经取得一些令人振奋的成果，但它仍旧是一门新兴的研究领域，其中基于深度图的和基于新型传感器的手控人机交互仍然面临许多挑战性的课题，手控人机交互中的应用还处于起步阶段。

参考文献

[1]袁保宗， 阮秋琦， 王延江， 等. 新一代 （第四代） 人机交互的概念框架特征及关键技术[J]. 电子学报， 2003， 31（12）： 1945-1954.

[2] 蒋庆全. 国外 VR 技术发展综述[J]. 飞航导弹， 2002， 1（272）： 34.