基于Kinect体感交互式虚拟学习环境的构建

董 丽，陈仕品

（西华师范大学教育学院，四川南充637002）

基于Kinect体感交互式虚拟学习环境的构建

董 丽，陈仕品

（西华师范大学教育学院，四川南充637002）

和传统设备相比，交互式电子白板在学习交互性特征方面显示出它的优越性。然而，它高昂的价格让人望而却步，同时初始化设备繁杂。Kinect体感硬件可以运用手势、体态、语音等自然方式实现人机交互，同时价格适中无需任何外设。文章运用Kinect、投影仪、计算机等硬件从环境外设层面、功能实现层面、程序设计层面来设计，构建体感交互式虚拟学习环境，真正实现低成本交互式电子白板。

kinect；交互式电子白板；体感交互；虚拟学习环境

一、引言

交互式电子白板由于其在学习交互性特征方面显示出的优越性广受欢迎，逐渐被应用在教育教学过程中。这项技术得到了广泛的支持，对教学质量的提高也起了不可估量的作用。［1］但是，由于成本昂贵，并不是所有学校都可以承受。这项技术主要被分为两大类：主动识别与被动识别，主动识别的结果更稳定有效，价格也更昂贵一些。大部分电子白板都是通过电子笔、手指触摸或者其他设备来控制。但是，随着体感技术的出现，这些问题就不难解决了，它可以提供人与计算机之间的自然交互。自然交互就是指通过一些自然交互设备如Kinect等来捕捉人体动作和声音来实现与计算机之间的交互。［2］

所以，我们就希望通过利用体感技术，运用Kinect传感器、投影仪、计算机来构建一个体感交互式虚拟学习环境，既实现交互式电子白板的功能，又可以降低成本消费，同时运用在教学中又可以取得很好的效果。

二、交互式虚拟学习环境的设计

近几年，有关研究Kinect体感技术在教学中的应用越来越多。Avancini［3］在其研究中运用Kinect技术模拟制作了一台交互式白板，运用九点刻度技术来匹配手部与鼠标之间的协调功能，并且加强检测手部手指动作。中国学者提出了一个基于Kinect技术的交互式白板，在机器视觉理论基础的指导下，运用具有红外线扫描技术的红外线LED笔来研制。［4］我们所要研究的就是运用Kinect体感技术模拟制作一个低成本的交互式电子白板，创建一个交互式虚拟学习环境，实现人机之间的自然交互，提高学生的学习机会。

我们创设的体感交互式虚拟学习环境主要包括环境外设层面、功能实现层面、应用程序层面三大部分。它的环境外设主要是运用Kinect体感外设来开发，是环境设计的硬件部分；功能实现层面主要是软件部分实现的，主要是运用人体检测和识别技术来识别真实世界人体与手部动作与虚拟鼠标坐标的匹配协调；应用程序层面主要是将教育教学材料与系统相关联，到达系统教育性特点。

1.环境外设层面

体感交互式虚拟学习环境中交互式电子白板的硬件开发主要是依赖于Kinect的使用，Kinect是微软公司最近发布的XBox360外接体感设备，具有两个深度传感器，可实现对人体骨骼的捕获功能，它具有机械转动结构的底座，在底座的支持下Kinect可以上下移动，以便扩大它的体感交互范围以及人体捕捉界面。Kinect包含的体感交互技术主要包括语音、红外线感应及摄像头，不需要借助任何外部设备就能进行体态动作捕捉和语音识别［5］。它主要是通过一个体感输入设备来控制人与计算机的交互，人通过手势声音等命令通过自然用户界面与计算机进行自然交互。［6］

基于Kinect的交互式虚拟学习环境下，不需要任何外部设备，如笔、鼠标等，人只需要通过手势、声音等即可与交互式电子白板进行自然交互，Kinect由四个主要组件组成：深度传感器是由红外线激光投影仪与单色CMOS传感器相结合而成；Kinect应用程序通常依赖于获取对象目标的被动标记和可以同时发出和接受红外线的深度传感器；Kinect软件可以自动校准传感器并且可以调节它的传感范围；Kinect还包括一个普通8位VGA摄像头，多阵列麦克风用于声音识别和机动倾斜定位。为了提高使用Kincet的效率，我们将实用范围限制设为1.2-3.5米的距离，面积控制在6平方米，Kinect传感器观看距离的水平磁场至少为0.8米，垂直场大约为0.63米。［6］

2.功能实现层面

对于系统来说，硬件与软件是不可分割的一个整体。在我们所研究的基于Kinect交互式虚拟学习环境中，软件的主要作用就是运用java语言来解析Kinect传感数据并协调现实与虚拟环境中的无缝对接。软件可以检测人体数据并且识别手指动作，也可以用手来控制鼠标。

（1）人机数据匹配。基于Kinect交互式虚拟学习环境的构建主要实现的就是人机之间的自然交互，我们可以运用身体运动、手势、声音等来控制计算机，只有体感外设感应到我们手部的动作或者声音、手势等，便会传送数据到计算机，计算机快速计算数据然后将数据反映到投影屏幕上，实现真实场景中手部数据与虚拟三维鼠标数据进行匹配，然后达到人机自然交互。这些功能的实现必须是硬件配置加以软件支持，才能达到真正的匹配。

（2）手部动作控制计算机。当真实数据与虚拟数据匹配之后，开始进行交互，我们研究的自然人机交互主要是让计算机来适应人的变化，所以功能实现层面需要通过软件来实现人通过声音、手势等来控制计算机，计算机会随着人手势的变化做出不同的反应，实现我们手部动作来控制虚拟鼠标。

（3）克服手部动作的不协调性。当手部动作变化过快时，虚拟手部数据就会与真实手部数据不协调，不能及时转换，导致交互延后，但是使用相关软件程序后，会通过不同算法提高运行速度，克服其他无关动作，及时响应真实手部动作，不会出现延迟、卡死等情况。

（4）检测用户身体数据变化。Kinect无法直接识别到用户的转身，当用户在设备前转身，左右手的位置就进行了颠倒，Kinect就无法识别出当前左右手的位置，甚至错乱，导致手部动作与虚拟鼠标动作不一致，所以为了克服这方面的缺陷，我们运用一个软件来跟踪面部变化，这个软件就是计算机视觉库OpenCV［6］。当软件检测不到面部数据时，说明用户转身或者离开了，接下来就会对左右手的数据进行转换。

3.应用程序层面

应用程序设计层面主要是实现将学习材料、学习资源植入系统中，实现环境的教育性特点。这是环境构建的最后一部分。体感交互式学习环境的应用程序的设置主要是这些程序的编程，动作脚本语言用来开发交互式应用程序。Adobe多媒体设计软件应用程序主要用来帮助教师处理教学资源，教学材料如图片、动画、视频、演示文稿、三维目标等，并且可以随时访问互联网。

这项环境构建过程中成本预算中，投影仪、计算机、Kinect传感器三个主要硬件部分是必须的，三者的价格分别大约是1600元/台、3600元/台、500元/台，合起来大约5700元，这只是半台交互式白板价格。

三、总结

运用体感技术进行人机交互是当前人机交互技术的发展方向，显示出我们现在对技术的运用注重人本主义，主要向着计算机的发展适应人的发展方向，这在人机交互发展史上是一个转折点，同时也是一个里程碑。传统的人机交互技术构建的交互界面事实上成为隔离物质世界和信息世界之间的屏障。［7］

我们主要是通过运用Kinect来构建一个体感交互式学习环境，学生在这样的环境中学习，提高了学习积极性、学生参与度，不仅提高学习成绩，而且可以树立自信心。最重要的是以低廉的价格实现交互式电子白板的功能，大大缩减了成本投资，提高了学校使用率。除此之外，还可以让大家多多了解体感技术，感受体感技术乃至信息技术为学习带来的好处。当然Kinect也有自己的局限性，当用户转身时，不能及时转换左右手监测数据，导致动作扑捉不准确。同时由于能力有限，我们现在只能实现体感交互等功能，还不能达到多点触控，也不能对用户的行为进行准确评估，为了使构建的环境更加完善，今后要加强这方面的研究。

［1］BECTA.What the researrch saysabout Interactive Whiteboards［DB/OL］.http://dera.ioe.ac.uk/5318/1/w trs_white boards.pdf，2003.

［2］OpenN I［EB/OL］.http://en.w ikipedia.org/w iki/ OpenN I.

［3］Avancini.Using Kinect to emulate an interactive whiteboard［M］.Unpublished Disserta-Tion，2012.

［4］Zhang，S.，He，W.，Yu，Q.，Zheng.Low-costinteractive whiteboard using theKinect［J］.InternationalConferenceon ImageAnalysisand SignalProcessing（IASP），2012:1-5.

［5］Kalal Z，Mikolajczyk K，Matas J.Face-tld:Tracking-learning-detection applied to faces［C］.Proceedings of the International Conference on Image Processing. Hong kong，2010:3789-3792.

［6］Kinect［DB/OL］.http://en.w ikipedia.org/w iki/Kinect.

［7］孙正兴.人机交互技术概论［EB/OL］.http://blog. sciencenet.cn/blog-39479-332668.htm l，2010，06.

（编辑：鲁利瑞）

G434

B

1673-8454（2016）14-0086-02