人机交互中的手势设计原则分析

2018-05-15 08:31娄泽华殷继彬
软件导刊 2018年4期
关键词:人机交互

娄泽华 殷继彬

摘 要:手势是一种直观自然的人际交流模式。设计手势输入方式交互系统时,需要考虑手势集的设计原则。在以往对手势设计的研究中,设计原则被陆续提出。已总结出的手势设计原则之间具有交叉重复性,导致设计出的手势缺乏系统性,用户体验较差。针对该问题,依据手势原则适用范围差异,采用自顶向下的方法,从人、计算机以及交互过程3个角度分析了手势交互设计原则。提出一种树状结构组织手势设计原则集,为手势交互系统中的手势设计提供一个立足点,并为已设计的手势集提供一个综合评估标准。

关键词:手势设计;设计原则集;人机交互;输入方式;自然交互

DOI:10.11907/rjdk.172677

中图分类号:TP301

文献标识码:A 文章编号:1672-7800(2018)004-0019-06

Abstract:Hand gesture is an intuitive interpersonal communication mode. When designing gesture-based interaction system, it is necessary to consider the design principles of gesture set.The design principles are gradually concluded from previous researches. Consistency and interactional overlap of these gesture design principles lead to their lack of systematicness and poor user experience. To solve this problem,based on the different application scopes of gesture principles, we analyze the gesture interactiondesign principles from three perspectives: human, computer, and interactive processusing top-down method. Finally tree-structure is proposed to organize the gesture design principles set. It provides a foothold for gesture design in gesture interaction system and a more comprehensive evaluation criterion for designed gesture set.

Key Words:gesture design; design principles set; human-computer interaction; input mode; natural interaction

0 引言

在人機交互不断发展的过程中,人机交互界面已经历了3个主要时代,分别是批处理、命令行、WIMP图形用户界面,目前的研究阶段则正处于自然交互界面的研究中[1]。交互设计已不仅仅考虑完成任务,而需要在此基础上越来越多地考虑用户体验,使交互过程更自然。手势是一种自然直观的人际交流模式,也是自然交互方式中比较常用的输入方式之一。近年来学者和产业界开展了大量对于手势的研究,产生了许多手势输入交互系统。通过考虑人文、技术以及用户心理等因素,为交互系统设计出配套手势集。在手势集设计过程中,不可避免地需要参考交互设计原则,从而以当前输入方式给予用户更好的体验。

在以往研究中,虽然有交互原则被陆续提出和验证,但这些结论分散在不同的研究文献中,只在特定的手势交互系统设计中被提及或引证。而且由于各个文献设计的手势集不同,侧重角度也不同,使手势交互原则局限于具体情境,缺乏系统性。市场上,多数手势输入交互产品中的手势受系统功能影响而非一个独立的交互资源[2],其设计即使很成功,也不能成为以后交互设计的通用参考。显然如果没有系统的交互原则作为指导,设计出的手势可能可用性较差,评估标准也不统一。因此,尝试使交互方式设计与具体应用场景分离,建立一种比较完备的理论指导原则是必要的。根据交互对象不同,可定义人机交互(Human-Computer Interaction)是研究人、计算机及其相互影响的技术[3]。如图1所示,本文基于人机交互研究的不同对象,从人、计算机及其交互过程3个角度,对手势交互设计原则进行综述与分析,为后续手势交互系统中的手势设计提供立足点,并为已设计的手势集提供一个相对完备的评估标准,以便对目标手势集进行评估和优化。

1 手势设计原则对比

(1)从某类场景角度总结设计原则。王中宝、任丽月等[4]总结性地研究了触屏手机中的手势交互种类与设计原则。此类原则的优点是对相似情境有非常强的针对性,缺点是无法保证在不同场景中同样适用。

(2)从某类输入方式角度总结设计原则。徐礼爽、程铁刚、田丰等[5]从笔式输入方式入手,提出笔手势设计原则;张国华、衡祥安等[6]则提出基于多点触摸输入方式的交互手势分析与设计方法;吴金铎等[7]分别设计2D和3D手势进行实验(并未融合手势),相互对比得到一些较为通用的原则。此类原则的优点是可以更清楚地了解某些特定输入方式的交互命令是否有效,缺点是输入方式整体发展趋势是从单一趋向多模态,而在多模态融合时需要重新制定设计原则,而且多种输入方式组合得出的手势集会过于庞大,无法通过此方式进行有效分析。

(3)从交互设备角度总结原则。李文生、邓春健等[8]针对触摸显示屏的操作特点提出一种手势分类和表示方法,并设计了一套笔画触摸手势;曾丽霞、蒋晓[9]则从可穿戴的便携智能设备入手,对其手势交互设计原则进行探究。此类原则的优点是对某一类设备的交互特性进行具体分析,可罗列出易用的一些手势进行试验。但是交互设备种类繁多,多设备共同完成手势时,组合手势集会迅速增大,无法全部具体地罗列分析。

(4)从系统设计本身特性的角度总结设计原则,比如稳定性和可靠性。孙效华、周博等[10]从隔空手势交互的优缺点和适用性出发,分析交互手势系统构建过程并提出设计原则。此类原则的优点是使手势交互系统更加稳定,操作准确率更高,缺点是忽略文化约定和疲劳度等因素可能造成设计的手势无法为用户所接受。

(5)从用户角度总结原则。任雅祥等[11]主要从用户手势操作的完成阶段和手势的用途分类角度总结原则;Jaime Ruiz、Yang Li等[12]让用户按一定规则自行设计手势,统计得到用户倾向;郑海彬等[13]在进行无人机的手势动作定义时直接定义了符合直观感觉的语义列表。此类原则的优点是站在用户角度思考,设计出的手势交互系统更加自然且没有歧义,但不能保证命令识别的效率和精确度,并且其语义扩展性较差。

(6)从实验结果角度总结原则。黄璐等[14]采用三维加速度传感器识别手势,设计了一组测试手势以测试其精度与效率。此类原则的优点是可以保证手势识别的精度与效率,但未搜集和整理用户交互感受。

(7)从经验角度总结原则。王锦等[15]虽然使用非接触手势设计了交互应用,但在设计手势时是对以往鼠标输入方式的模仿;Stefan G Pentiuc、Christophe Chaillou等[16]对虚拟环境中经常遇到的3个主要任务手势(选择、操纵和移动)进行了讨论,在手势设计时根据WIMP任务完成步骤设计手势。此类设计不主动考虑设计原则,而是使用一种成熟的输入方式对新输入方式进行手势的直接映射。此类原则的优点是可以类比已成熟的交互手势,快速得到一个系统性的手勢集,而原有手势集的普及可以大大减少用户适应时间。但是新的手势有自己的新特性,针对其优势和劣势,需要对某些手势的模仿进行一定取舍。

另外,也有兼顾了多种角度的文献。梁荣荣等[17]针对教学过程多点触控手写环境,为常用功能设计了一套操作手势,兼顾了场景角度、设备角度、用户角度等;FarzinFarhadi-Niaki、S Ali Etemad等[18]设计并实现了一个能够与用户手臂和手指手势交互的系统,通过不同的简单和复杂任务得出结论:从长远看,基于手指的输入优于基于手臂的输入。其中考虑了精度、效率、易用性、趣味性、耐力、自然程度和整体满意度等几个因素。

以上是进行手势设计时的一些主要角度,对比这些系统总结的原则,发现这些原则之间具有一致性和交叉重复性。如文献[4]、[7]、[12]等都提出暗含隐喻的设计原则,且一些不同原则有交叉重复的部分,如文献[6]提出的直觉性原则和Alethea L Blackler、VesnaPopovic等[19]从用户角度总结的3个辅助设计人员开发直观使用界面的原则,文献[6]、[19]提出的设计原则也有很多重复和交叉。总结原则的适用范围不同正是不同手势设计原则会发生重复的原因。一致性意味着可以抽取出共同的设计原则对手势设计过程进行指导,交叉重复性则意味着抽取出的原则不是并列存在的。本文认为根据手势原则的适用范围形成树形结构可以更系统地描述手势原则集。有些原则是由不同角度交叉产生的,事实上是一种重复,需要对其进一步分析。下面将已提出的手势设计原则进行分类整理。

2 手势设计原则分类

将以上系统中的主要原则进行归类,主要从人机交互定义出发,从3方面进行展开:用户角度、交互过程角度、交互系统角度。

2.1 用户方面

McNeill[20]将生理和动力学相结合作为基准,定义了隐喻、语言和节奏;Jacob O Wobbrock、Meredith R Morris、Andrew D Wilson等[21]对桌面手势进行研究,要求用户按自己对手势效果的理解设计驱动手势,提出了手势集,在这期间深入了解非技术用户的心理模型,并将其转化为对技术和设计的影响。此外,文献[4]-[5]、[7]-[13]、[16]、[17]中亦有提及用户方面需要遵循的原则。综合来看可以划分为两方面:文化背景等间接影响,以及与用户个人习惯有关的直接影响。分别概括为隐喻合理、符合习惯。如图2所示,文化背景间接影响用户习惯,使用户形成一定的惯性思维,从用户个体的习惯中抽取出通用的惯性行为。不论是惯性思维还是惯性行为都与用户个人的生活经验相对应,按照这些特性设计出的手势能够更大程度地引起用户共鸣,即更贴近与用户的自然交互。

2.1.1 隐喻合理

隐喻在这里表示手势与用户的背景文化、理解的意图以及生活经验等保持一致,使手势意义与用户主观理解的意义对应;合理在这里代表合情理,意味着同时考虑某些文化中对一些手势的文化理解。如图3所示,手势设计时,背景文化方面,手势要与当前的时代潮流和当地历史文化保持一致;手势指代的功能方面,手势代表的功能要能避免用户理解歧义。手势实现时,从手势与用户生活经验的映射关系看,使用实物或符号隐喻更符合人的直观感受。

手势要设计得直观自然,符合当前的时代潮流,能够被大部分人所接受[22],同时应考虑将手势表示的生活意义与系统实现的功能对应起来。因此,设计手势时常使用实物或符号隐喻。

设计的手势应符合社会文化约定,注意避免与文化冲突的手势。若针对特定国家或地区的系统设计手势,则需要符合当地的历史文化约定[23],使手势能最大程度地被该地区的人所接受。例如拇指与食指指尖接触、其余三指伸直的手势虽然很多情况下表示“OK”,但在日本表示金钱,在马耳他则是一句恶毒的骂人话。另外值得注意的是,右手左划的动作在文献[4]、[24]中都有提及,使用此动作时,惯用左手者在操作功能的意图上没有明显区别,右手左划的意义是由文化决定的,而不是惯用手决定的[24]。因此,右手左划的动作本质上是文化约定问题。

手势应指代明确,避免用户理解的二义性导致手势操作目的混淆。有些手势如指示手势、单选手势等可以明确表示某些意图。因为这些手势没有文化差异,手势的意图在不同时代或地区都基本固定,在设计手势时应优先考虑这些手势。

原则一:直观自然。手势映射的生活意义与系统中该手势的功能相对应;使用实物或符号隐喻,符合人的直观感受。

原则二:符合文化约定。考虑手势在研究地区的历史文化内涵,避免冲突。

原则三:指代明确。优先考虑指示手势、单选手势等可以降低歧义性的手势。

2.1.2 符合习惯

符合用户个人行为习惯,但应抽取绝大多数用户的习惯,且保留对交互有重大影响的特征。设计时应主要考虑区分惯用手特征,惯用手为右手的单手和双手手势语的主要动作手全部是右手,而左利者(左手为优势手)则完全相反[25]。如图4所示,设计单手手势时,使用惯用手完成最常用的操作可以提高效率;设计双手手势时,惯用手也应完成最常用操作,但双手动作意图应尽量一致,否则会增加使用难度。

最常用的操作一般是主要操作,应由惯用手承担。如Sukeshini A Grandhi、Gina Joue等[26]提出在空间中应该双手手势触发物体操作,其中非惯用手通常提供一个参照框架,而主要手势由惯用手传递。

关于左手和右手参与的活动通常分为3类:单手参与的一些特殊的显著不对称活动,如投掷或刷牙;双手参与的显著不对称活动,如击打乐器、弦乐器等;双手基本发挥相同作用的对称活动,如同步的跳绳动作或异步的爬绳动作。与Guiard的不对称双手行动运动链模型一致[27],在虚拟三维空间中,双手比单手能更好地完成任务[28]。这意味着双手动作在某些场景中更具有优势。

然而双手动作时,用户很难适应两只手做不同目的的运动,如一手画方,一手画圆,这不符合人的认知习惯[6]。因此,需要尽量设计同向或对称操作,以确保双手动作的意图一致。其中对称操作包括轴对称或中心对称轨迹,如拇指食指对向运动的放缩手势和模仿方向盘的手势。

原则四:优势手完成常用操作。最常用的手势优先使用惯用手完成。

原则五:双手动作意图一致。双手同时操作在某些场景中有优势,但双手动作尽量同向或对称,以降低难度。

2.2 交互过程

S Finlayson、V Forrest等[29]探究演讲者在3个条件(双手解放,单臂固定,双臂固定)下演讲的手势流畅性和使用率。很多研究者都将空中互动的手臂限制与手臂疲劳度或流畅性相关联,但并没有评估疲劳的定量方法。为了表征大猩猩臂效应,Juan David Hincapié-Ramos、Xiang Guo等提出一种从上臂生物力学结构得出的新度量标准:Consumed Endurance(CE)。CE和Borg CR10量表之间有强相关性,研究人员不再需要询问参与者感觉身体付出多少力气完成动作。通过定量化的研究得出结论:当动作在身体的竖直中心、在移动臂的一侧并且是弯曲姿势时,平面位置且手臂伸展的动作组合对耐力需求最小[30]。此外,文献[4]、[7]、[10]、[13]、[16]-[18]中亦有提及交互过程方面需要遵循的原则。综合来看可以划分为两方面:短期使用时,在手势设计方面尽量优化手势自身所能提供的交互体验;长期使用时,在手势使用过程方面保障用户有持久的良好使用感受,因此分别概括为交互流畅、降低疲劳。如图5所示,短期使用阶段主要依靠改善手势设计的流畅性以贴近自然交互,持续使用阶段主要依靠降低手势疲劳度以延长手势的可使用时间。短期使用阶段和长期使用阶段都是用户体验不可缺少的环节。按照这些特性设计出的手势能够有更长的使用周期,给用户持续提供良好体验。

2.2.1 交互流畅

用户使用手势与系统交互时,需要在保证准确的前提下尽量降低用户学习成本,并在交互过程中通过合理的提示和反馈防止用户错误操作,例如确认重要決定和错误警告,并且有及时的反馈信息。一个完整的手势过程中动作应该是流畅的,如多点触控的某些笔画手势将多个笔画增加连接线后合并为一笔。

原则六:动作流畅。保持手势意图的连贯性和动作的流畅性。

2.2.2 降低疲劳

设计手势要考虑用户使用时长,长时间使用的手势要重点考虑其带来的疲劳和不适程度。长时间的疲劳不仅降低用户体验,还可能威胁用户健康。

现实中绝大多数人很难快速有效地做出某些手势,如当人握紧拳头,单独打开无名指则比较吃力[31],这些绝大多数人较难做出的手势需要被舍弃。

避免大猩猩手臂效应。长期使用手势界面而使用户不能休息被称为“大猩猩手臂”(Gorilla Arm)[32]。如果在工作环境中经常使用不合理手势,由于过于疲劳可能导致酸痛,甚至重复性压力伤害[33]。此类场景下的解决方案是允许用户将手或手臂放在输入设备或其周围框架上。另一解决方案是设计手势时尽量避免手臂水平外展过久的姿势。

原则七:手势难度适当。设计的手势现实中要能够快速准确做出来。

原则八:使用不疲劳的手势。避免手臂水平外展过久的姿势。

2.3 交互系统

L Anthony、RD Vatavu等[34]针对笔画类型、笔画方向和笔画顺序等特征,基于几何和运动学手势描述符度量手势差别,提出分析用户手势的一致性方法。通过该方法发现用户使用某些手势的一致性较高; Robin Vivian、Jerome Dinet等[35]试图证明由3个基本动作 (tap,pinch/spread,drag)发展而来的多点触控手势集可以被简化。此外,文献[5]-[8]、[12]、[14]-[18]中亦有提及交互系统方面需遵循的原则。综合来看可划分为两方面:一方面设计的手势之间要有一致性和系统性,另一方面单个手势本身需要简化。分别概括为系统化定义、简化手势。如图6所示,从手势集整体角度看,一致性和系统性约束可以提高手势集的稳定性及可扩展性,需增加常用手势占手势集的比例;从单个手势角度看,简化手势可以提高输入效率,并降低手势记忆难度。

2.3.1 系统化定义

要合理设计手势系统,形成系统性的手势集,令用户更容易使用,同时减少误操作及因此带来的负面影响。

一致性原则可以帮助用户学习和使用系统,减轻学习和记忆负担,同时减少错误操作概率[36]。系统性的手势集也能帮助用户减轻记忆负担,增加用户使用手势的平均频率。如Windows系统下的Ctrl、Shift、Alt快捷键形成了点选、块选、矩形选择的快捷键群,使很多复合操作不用单独记忆,完成任务时能够节省更多时间。并且一致的手势系统可扩展性好,且更加健壮,不易出现命令冲突。

手势与其本身映射的任务命令在系统中不能有二义性[6],一个手势能且仅能实现一个功能,且复合手势要依据操作目的设计。如Windows中常用的移动操作不必通过统一化的剪切、粘贴,还可直接拖动文件到指定文件夹完成。近似目的的复合手势尽量分解为统一风格的手势组合完成。

原则九:统一风格。必须形成一致的风格,在各项指标相差不大时,以风格一致性为主。

原则十:功能交叉少。一个手势固定完成一个任务,尽量避免具有交叉重复功能的手势出现。

2.3.2 简化手势

在保证手势的系统性前提下,简化手势可减轻用户记忆负担、节省交互时间,并提高准确率。但单个手势简化必须与手势系统保持一致,否则会加重用户记忆负担。

在手势动作设计时,常用任务尽量设计为单手操作。设计双手操作要尽量不引起冲突,以达到更好的兼容性和扩展性。

手势组合不能太复杂,研究表明个体对于肢体动作的工作记忆容量只能保存 3~4个[37-38]。

原则十一:手势兼容。已有的常用单手手势尽量保留,在不引起冲突的前提下增加双手操作。

原则十二:组合简单。在组合设计手势动作时,最多不要超过3个动作组合。

2.4 手势设计原则汇总

将以上原则进行汇总,得到手势设计原则汇总表如表1所示。

树状结构的手势设计原则分类如图7所示。

3 指导性分析

以上设计原则具有一定指导性,以多模态手势设计中接触性和非接触手势的混合模态手势设计为例进行分析,即笔手势和触控手势、触控手势和非接触手势、笔手势和非接触手势等的混合。其中,非接触手势只讨论手腕至指尖之间的手势。

在手势组合的过程中,考虑到原则五“双手手势动作应同向或对称”,尽可能同一时间只有一种输入方式动作。当双手动作是同一种模态时,应尽量以同向或对称动作完成手势设计;当双手动作是不同模态,同一时刻两只手做不同类别动作,无法进行同向或对称动作时,设计手势则让一只手动作时另一只手暂停,以降低输入难度。

考虑到原则四“惯用手使用常用操作”,手势的主要动作应由最具优势的输入方式承担,以达到优势互补。惯用手本质上是优势手,叠加的分步手势该由哪一种模态完成,本质上是选择哪种模态完成任务更有优势。手势组合的一种方式是在空间上加入另一只手,另一种方式是在时间上将多个简单手势叠加起来,多模态的混合手势可认为多数情况下是由时间上的叠加而生成的。将多模态的混合手势按时间分片,主要时间片中的手势由最有优势的输入模态实现,其它时间片的手势则主要以保持手势流畅性等为原则,采用合适的模态。根据组合简单的原则“在组合设计手势动作时,最多不要超过3个动作组合”,时间分片一般不超过5个(开始判定、结束判定与中间的3个动作),主要时间片是核心动作,数量应为1~2个。根据各个模态特点分析输入模态,可以达到优势互补的效果。混合手势时间分片如图8所示,其中重要性可以通过意图相关性、占用时间比等指标计算权值,取top-k作为主要时间片。

以下為指导性例证。HildebertoMendonc、Olga Vybornova等[39]判断哪种交互更适合某个任务,从而将用户任务、模式和技术融合在一起,得到用户任务列表及其各自的兼容模式;程国军[40]设计的笔和触控混合手势在操作时一个阶段只进行某一个模态的输入,从而很自然地降低了记忆和输入难度。这些处理方式分别验证了以上结论。因此,本文提供的设计原则能够提供一个全局性指导。另一方面,这些原则还可看作是对已设计手势集的评价指标。针对手势原则树不同层的手势设计原则进行评价,可以得到已设计手势集在不同层面的系统性评价,从而能更客观地指出目标手势集的优点和缺点。

4 结语

本文通过分析不同手势集设计方法的优缺点,根据手势设计原则的一致性和交叉重复性,发现可以根据不同手势设计原则的适用范围不同,将各手势设计原则之间的关系设想为树形结构。从人、计算机以及人机交互过程3个角度对手势交互设计原则进行了梳理汇总,得到树状结构的手势设计原则集。最后通过手势设计原则进行了特定混合手势的理论分析,并提出了指导性例证。

可以看出这是一个自顶向下填充手势原则树的过程。不足之处在于:①过于泛化,仅能提供大致的指导,具体的手势设计仍然需要针对性的详细分析;②填充手势原则的全面性与搜集的相关研究文献数量有着很大关系,因此在一定程度上会有所疏漏。

未来工作中,对于过于泛化的问题,可以将手势设计原则集用于对已设计的手势进行系统评价。一方面可以对照几个候选手势集不同方面的评价推荐最优候选手势集,另一方面可以通过某一候选手势集不同方面的评价找到该手势集的改进方向。对于相关文献的研究了解不足的问题,需要通过不断搜集相关研究成果继续完善。另外,并非所有因素影响权重都是相同的,对其进行主要特征提取也能弥补此方面带来的缺陷。

参考文献:

[1] 黎鹰,李亮.图形用户界面的发展与分类[J].工程地质计算机应用,2006(4):24-28.

[2] 谭征宇,戴维,谭浩.基于意象的三维手势设计研究[J].包装工程,2016(4):61-65.

[3] 王紅兵,瞿裕忠,徐冬梅,等.人机交互的若干关键技术[J].计算机工程与应用,2001,37(21):129-131.

[4] 王中宝,任丽月,张宇红.触屏手机中手势交互种类和设计原则的研究[J].硅谷,2012(9):108-109.

[5] 徐礼爽,程铁刚,田丰,等.意义性笔手势的分类及其实验评估[J].软件学报,2006,17(zk):46-56.

[6] 张国华,衡祥安,凌云翔,等.基于多点触摸的交互手势分析与设计[J].计算机应用研究,2010,27(5):1737-1739.

[7] 吴金铎.2D和3D交互手势的可用性研究[D].杭州:浙江理工大学,2016.

[8] 李文生,邓春健,吕燚.基于触摸显示屏的人机交互手势分析[J].液晶与显示,2011,26(2):194-199.

[9] 曾丽霞,蒋晓,戴传庆.可穿戴设备中手势交互的设计原则[J].包装工程,2015(20):135-138.

[10] 孙效华,周博,李彤.隔空手势交互的设计要素与原则[J].包装工程,2015(8):10-13.

[11] 任雅祥.基于手势识别的人机交互发展研究[J].计算机工程与设计,2006,27(7):1201-1204.

[12] RUIZ J, LI Y, LANK E. User-defined motion gestures for mobile interaction[C]. SIGCHI Conference on Human Factors in Computing Systems,ACM,2011:197-206.

[13] 郑海彬.手势识别及其应用研究[D].南京:南京航空航天大学,2016.

[14] 黄璐.面向交互的手势识别研究[D].武汉:华中师范大学,2011.

[15] 王锦.基于视觉的非接触式手势交互技术研究[D].北京:北京工业大学,2016.

[16] VATAVU R, PENTIUC S, CHAILLOU C. On natural gestures for interacting in virtual environments[J]. Advances in Electrical and Computer Engineering,2005,5(2):72-79.

[17] 梁荣荣.教学环境中多点触控手写场景下编辑手势设计与识别[D].武汉:华中师范大学,2016.

[18] FARHADI-NIAKI F, ETEMAD S A, ARYA A. Design and usability analysis of gesture-based control for common desktop tasks[C]. International Conference on Human-Computer Interaction, Springer Berlin Heidelberg,2013:215-224.

[19] BLACKLER A L, POPOVIC V, MAHAR D P. Intuitive interaction applied to interface design[J]. Proceedings of International Design Congress Douliou,2005,6(1):1-8.

[20] MCNEILL D. Hand and mind: what gestures reveal about thought[M]. Leonardo,1992.

[21] WOBBROCK J O, MORRIS M R, WILSON A D. User-defined gestures for surface computing[C]. Proceedings of ACM CHI 2009 Conference on Human Factors in Computing Systems (CHI 2009),NY,USA:ACM New York,2009:1083-1092.

[22] 王鸿.基于用户体验的触屏手势设计研究[D].武汉:武汉理工大学,2012.

[23] MEIER A, GOTO K, WRMANN M. Thumbs up to gesture controls? a cross-cultural study on spontaneous gestures[C]. International Conference on Cross-Cultural Design, Springer International Publishing,2014:211-217.

[24] 钱堃.基于智能手机的3D运动手势设计方法的研究[D].天津:南开大学,2014.

[25] 王乃怡,林涵瑾.聋人手势语用手的非对称性[J].心理学报,1989,21(4):50-54.

[26] GRANDHI S A, JOUE G, MITTELBERG I. Understanding naturalness and intuitiveness in gesture production: insights for touchless gestural interfaces[C]. SIGCHI Conference on Human Factors in Computing Systems,ACM,2011:821-824.

[27] GUIARD Y. A symmetric division of labor in human skilled bimanual action: the kinematic chain as a model[J]. Journal of motor behavior (J Mot Behav),1987,19(4):486.

[28] HINCKLEY K, PAUSCH R, PROFFITT D. Attention and visual feedback:the bimanual frame of reference[C]. Proceedings of the 1997 Symposium on Interactive 3D Graphics (Si3d '97), Providence,RI,USA:DBLP,1997:121-126,192.

[29] FINLAYSON S, FORREST V, LICKLEY R, et al. Effects of the restriction of hand gestures on disfluency[J]. Gothenburg Papers in Theoretical Linguistics,2003:21-24.

[30] HINCAPIRAMOS J D, GUO X, MOGHADASIAN P, et al. Consumed endurance: a metric to quantify arm fatigue of mid-air interactions[C]. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI'14),Toronto, Canada:ACM,2014:1063-1072.

[31] CHEN CC, CHU CC, CHEN T K, et al. An investigation into the effect of gesture interaction in relation to human performance for identifying possible design failures[J]. International Transactions on Systems Science and Applications (ITSSA),2010,6(1):1-12.

[32] GUO X, IRANI P. The consumed endurance workbench: a tool to assess arm fatigue during mid-air interactions[C]. Companion Publication on Designing Interactive Systems, ACM,2014:109-112.

[33] GREENSTEIN S. Repetitive stress injuries[J].IEEE Micro,1996,16(5):72-73.

[34] ANTHONY L, VATAVU R D, WOBBROCK J O. Understanding the consistency of users' pen and finger stroke gesture articulation[C]. Proceedings of Graphics Interface (GI'13), Toronto, Canada: Canadian Information ProcessingSociety,2013:87-94.

[35] VIVIAN R, DINET J, BERTOLO D. Three gestures, the context does the rest some ideas to simplify interactions[C]. Proceedings of the 11th Asia Pacific Conference on Computer Human Interaction (APCHI'13),NY, USA: ACMNew York,2013:252-257.

[36] CHAO G. Human-computer interaction: process and principles of human-computer interface design[C]. International Conference on Computer and Automation Engineering,IEEE Computer Society,2009:230-233.

[37] BADDELEY A. Working memory[J]. Science,2010,20(4):136-140.

[38] GAO Z, BENTIN S, SHEN M. Retaining biological motions in working memory: an EEG study[J]. Journal of Vision,2013,13(9):183.

[39] MENDON, HILDEBERTO A, VYBORNOVA O, et al. Multi-domain framework for multimedia archiving using multimodal interaction[J]. Integrated Computer Aided Engineering,2011,18(1):15-28.

[40] 程國军.基于多点触控界面的笔+触控交互手势设计与研究[D].昆明:昆明理工大学,2014.

(责任编辑:黄 健)

猜你喜欢
人机交互
人机交互课程创新实验
图像处理耦合模板定位的答题卡识别研究与应用