增强现实与智能交互研究生课程教学设计与实践

王菖 叶磊 牛轶峰

摘要：分析目前增强/虚拟现实（AR/VR）课程教学设计与实践经验的不足，提出以交互技术、成像技术、跟踪定位技术为教学重点，面向全校范围选课的研究生学员，通过难易适度的课程实践设计，激发学员的学习热情，培养学生的动手能力和创新能力，帮助学生深入理解增强现实与智能交互的基本理论，从而实现培养新型高素质AR/VR专业技术人才的目标。

关键词：增强现实人机交互智能系统课程设计课程实践

中图分类号：G64文献标识码：A        文章编号：1672-3791（2022）01（a）-0000-00

The Design and Practice of a Graduate-level Course： Augmented Reality and Intelligent Interaction

WANG ChangYE Lei NIU Yifeng

（National University of Defense Technology， Changsha，Hu′nan Province，410073 China）

Abstract： The limitation of the design and practice of the current Augmented Reality/Virtual Reality （AR/VR） is discussed， and it is proposed that interaction， imaging and tracking are the three core technologies. Considering the diverse source of graduate students that join the course， flexible levels of difficulties are designed for practicing the theories of the course， in order to motivate the students to improve their innovative and hands-on abilities. In this way， the students are expected to understand better the theories of augmented reality and intelligent interaction. As a result， the goal of educating high-quality AR/VR talents could be achieved.

Key Words： Augmented reality; Human-machine interaction; Intelligent systems; Course design; Curriculum practice

2021年3月13日，《中華人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》正式公布，在“建设数字中国”篇章中框定了数字经济重点产业的七大产业方向，增强现实和虚拟现实位列其中。增强现实技术将计算机生成的图形、数据叠加到真实世界的图像上，为信息交流、过程可视化和思想的创造性表达提供了新方法，代表人机界面发展趋势。《增强现实与智能交互》作为面向全校研究生学员的选修课，旨在帮助学生理解增强现实的基本原理和生成虚拟环境的过程，掌握增强现实系统实现方法。目前，国内高校开设的增强/虚拟现实相关专业课程资源较少，课程的理论教学缺乏系统性和科学性，尤其是实践方面尚未充分考虑选课学员专业的差异性。该课程面向学校不同专业基础的研究生学员，注重实践环节的教学设计，使学员能自主选择合适难度的增强现实软件工具完成典型的人机智能交互设计任务。

1  增强现实相关概念内涵

增强现实（Augmented reality，简称AR）是一种将计算机生成的图形、数据等虚拟对象叠加到真实场景上，并且可以通过多种方式与虚拟对象实时交互的一种技术。虚拟现实（Virtual Reality，简称VR）是指用计算机图形学和仿真技术生成三维人工环境，使用者利用各种传感器设备融入虚拟空间，以自然的方式与三维环境交互，使人感觉到完全沉浸在另一个世界中，使人能做在真实世界中不能做的事情[1-2]。将真实环境和虚拟环境分别作为连续统的两端，位于连续统中间部分被称为混合现实（Mixed Reality，简称MR），如图1所示。

2 增强现实与智能交互课程学情分析

该课程面向全校研究生学员，历年选课人数一般在10～20人左右。本课程要求学员具备计算机图形学、图像处理、程序设计语言等相关基础知识。但是，近几年的教学情况表明，部分学员不具备上述预修知识。例如，2020年春季学期有 9名学员选课，其中2人具备一般水平的计算机图形学基础知识，7人没有接触过相关知识。由于计算机图形学是学习增强现实的必备知识，因此，该课程计划安排6课时进行简介。此外，选课学员的计算机编程水平参差不齐，计算机、自动化、电子信息等工科专业的学员编程基础较好，但文科专业（例如语言学、政治学）的学员编程基础薄弱。因此，本课程的实践环节需要考虑学员的基础差异较大的问题，因材施教，设置难度可选的作业。

3 增强现实与智能交互课程教学总体设计

3.1  教学目的与课程设计总体思路

该课程以交互技术、成像技术、跟踪定位技术为教学重点，帮助学生掌握增强现实基本概念和原理，学习运动跟踪和三维图形生成技术，学习增强现实界面支持的新型人机交互模式，掌握设计增强现实系统的基本方法，了解增强现实的主要研究方向和应用领域，了解增强现实环境下的人机交互基本原理和技术。该课程采用的是两本国外的经典教材[3-4]。该课程共36学时，其中课堂讲授26学时（如图2所示），课程实践10学时。

3.2  线上线下混合式教学模式

受新冠疫情影响，该课程于2020年春季学期首次采用线上线下混合式教学模式。按照学校统一安排，理论课教学环节全部采用线上教学模式，实践课环节采用线下教学模式。具体而言，线上教学采用腾讯会议结合长江雨课堂的方式。其中，腾讯会议的优势在于网络信号较好，具备多种屏幕共享模式，支持多人在线互动。长江雨课堂的优势在于可保留教学过程视频，支持教学过程中的随堂测试和问卷，方便教师了解学员掌握相关知识点的情况，如图3所示。

“增强现实与虚拟现实的差别”属于较容易的知识点，通过一次讲解，学员的掌握效果显著。然而，对于较难的知识点，例如“增强现实系统基本功能结构”，通过一次讲解，学员仍不能完全理解该知识点，需要教师及时调整授课策略。

4 增强现实与智能交互教学实践环节

4.1 课程实践环节的必要性和目的

增强现实与智能交互是一门实践性很强的课程，主要涉及计算机图性学、计算机视觉、图像处理、人机交互、机器学习、计算机程序设计等许多学科，所以该学科具有知识点多、涉及面广、理论性强，需要学生具备较好的逻辑思维能力和数理基础等特点，因此，必须通过实践才能加深对知识的理解。从加强学生的实践能力出发，考虑到课程的建设需要，需要加强增强现实与智能交互课程的实践教学内容。

4.2 面向学员基础差异性较大的实践设计思路

目前研究生学员的学习任务较重，并且学生的基础参差不齐，所以在设计实践环节时，必须把握如何能在较短的时间内让学生得到最大的能力锻炼。在这种情况下，教师必须进行充分的准备，事先搭好通用的软件框架，减轻学生不必要的负担，为学生营造良好的氛围，将学生的主要精力集中在创新实践上，这样才能提高实践教学的效率。结合该课题组在人工智能[5]、无人机系统[6-7]、智能系统[8]等课程实践的设计经验，该课程的实践环节推荐学员使用Unity软件，可根据学员自身的编程基础和偏好，自选Vuforia、ARcore、easyAR等组件。

4.3 课程实践小结

2020年春季学期，9名学员自愿分为6组完成了实践环节。部分实践作业完成情况如图4所示。

图4（a）所示实践作业采用Unity+Vuforia平臺，用校园卡背面的图案对着摄像头，通过图像匹配和视频叠加，可在校园卡表面播放指定视频，视频具有暂停按钮和播放按钮等人机交互方式。

该组两位学员来自于政治学专业，无任何计算机图形学、计算机编程基础。教员和他们自己起初都很担心无法完成课程实践环节，后来他们自学软件使用方法，开发了增强现实小应用，提升了能力和信心，并计划将增强现实技术用于政治工作的宣传上，实现了多学科的交叉融合运用。

图4（b）所示实践作业采用Unity+Vuforia平台，选择C#编程语言。通过手机拍摄图片，识别之后，会在图片上方产生相应的动态背景与虚拟人物，并伴随音乐背景。人物模型自下而上缓缓升起，当人物完全出现后，动态背景消失，系统会播放欢迎语句[9]。在不同的图片上，会产生不同的人物的模型，每个人物模型会有不同的动作。通过手指操作手机屏幕，可以对人物模型进行操作，对人物进行放大或缩小，也可以旋转人物模型，从不同角度观察人物模型。扑克牌1中的人物模型的动作包含：“走路”“跳舞”“跑步”“射箭”。扑克牌2中的人物模型的动作包含：“跑步”“跳舞”“俯身”“眺望”“射箭”。

该组学员来自于计算机学院，具备较好的编程基础，且具有较高的学习热情，因此自选较高难度的实践作业。通过课程实践，该学员加深了对AR理论和技术的理解，初步具备了AR项目开发的经验。

5  结语

增强现实与智能交互课程以交互技术、成像技术、跟踪定位技术为教学核心内容，结合难易适度的课程实践设计，帮助学员深入理解增强现实的基本理论，培养了学员的创新能力和信心，最终提高了课程的教学效果。2020年，首次实现了线上理论结合线下实践的混合式教学模式，取得了较好的效果。学员们反馈，实践环节难度合适，加深了他们对增强现实理论知识的理解，激发了他们对增强现实技术的兴趣。该课程拟构建实践教学案例库，实现具有持续性和继承性的实践教学新模式。

参考文献

[1] 张竑.虚拟实践研究[D].北京：中共中央党校，2019.

[2] 韦艳娇.沉浸式虚拟现实课堂设计方案研究[D].上海师范大学，2017.

[3] 迪特尔·施马尔斯蒂格，托比亚斯·霍勒尔.增强现实：原理与实践（英文版）[M].北京：机械工业出版社，2018. [4] 卢强.信息技术环境下课程学习生态研究[D].华中师范大学，2017.

[5] 张国忠.浅谈人工智能课程的教学实践环节[J].科技资讯，2007（15）：139-140.

[6] 李杰，王菖，牛轶峰，等.无人机系统智能决策课程教学设计与实践[J].计算机教育，2016（10）：11-14.

[7] 牛轶峰，贾圣德，李杰，等.以智能为核心的无人机系统课程体系设计[J].计算机教育，2016（10）：37-41.

[8] 王慧，姜守岭.数字液压缸反馈螺杆库伦摩擦仿真研究[J].控制工程，2020，27（4）：662-668.

[9] 韩雨江.当代数字视觉艺术研究[D].长春：东北师范大学，2019.