结合“嵌入式系统”和“虚拟现实技术”创新实践教学探索与研究

王丽 陈亚东

摘要：虚拟现实开发技术实验课程，存在实验内容单一、固化等问题，结合虚拟现实硬件与嵌入式系统课程的相关性，展开了以虚拟现实技术为主导，嵌入式系统课程为辅助的创新实践教学研究。研究设计了两者相结合的实验内容，包括基础性实验和开放性实验，不仅锻炼学生的基础知识开发能力，又开发了学生自主创新的能力。该套实验内容结合了学科前沿技术，激发了学生学习兴趣和主动性，有效地解决了现有问题，并在毕业设计成果中取得了验证。

关键词：虚拟现实;嵌入式系统;HTC Vive实验;实践教学;创新教学

中图分类号：G642        文獻标识码：A

文章编号：1009-3044（2022）12-0151-02

开放科学（资源服务）标识码（OSID）：

实践和创新是工程教育过程中重要的环节之一，因此在教学方法和教学内容方面需要多层次、多融合的实践探索与研究。随着医疗保健、教育培训、文教娱乐等领域对虚拟现实产业的需求不断增加，虚拟现实技术在远程医疗、春晚直播、红色教育、在线旅游等一系列典型应用项目不断涌现。而5G、人工智能、云计算、大数据、嵌入式等技术的高速发展[1-2]，使得虚拟现实设备的体验感大大增强，用户对虚拟现实设备的认可程度也在不断提高。根据 IDC的数据[3]，2019年第一季度全球 AR/VR头显设备出货量为130万台，比去年同期增长了27.2%，其中VR头戴式显示器占到了96.6%。

虚拟现实技术课程是一门应用型课程，虚拟现实技术融合了传感器、三模建模、人机交互、视觉呈现等技术。随着虚拟现实时代的迅猛发展，高校对虚拟现实技术的课程、实践、教材等建设方面也在推陈出新[4-7]，以满足虚拟现实应用型人才的培养。程雷相[4]将虚拟现实技术融入到化工专业实训教学中，可解决化工实训教学面临的一些实际问题。邓逸钰[5]认为搭建协同育人实践平台、以赛代练跨专业组队参加学科竞赛等方式实现人才培养模式的优化与创新。廖爱华[6]等人利用虚拟现实技术，在城市轨道交通车辆认识实习课程教学方面进行了改革。林宇[7]数字媒体专业在课程教学中，引入虚拟现实技术，提高教学模式的合理性。

虚拟现实系统在追求无限逼真的视觉效果时，融入了大量交互、传感器等嵌入式系统技术。我院虚拟现实课程团队，拟将嵌入式实践内容引入虚拟现实课程，在实践创新教学环节增设虚拟现实和嵌入式系统实验，对工程化实践教学实施方法进行了探索，培养学生工程实践能力和创新意识。

1 教改目标和内容

1.1 教改主要目标

虚拟现实硬件的发展离不开嵌入式系统的应用，特别是在虚拟现实的交互、头盔显示、便携投影等方面。因此，有必要在虚拟现实课程中拓展嵌入式系统课程实验，也是工程教育的需要。

目前，一些大场景嵌入式系统的开发成果，仅仅通过小单片机版展示。而虚拟现实技术的应用创新可以弥补大场景的仿真，达到逼真的效果[8]。将虚拟现实开发技术与嵌入式系统开发技术相结合，开发融合实验，让学生们掌握用嵌入式的控制信号控制虚拟现实场景中的场景，从而开发自己的虚拟现实应用。

1.2 教改的主要内容

要清楚嵌入式系统技术在虚拟现实领域中的应用和发展，分析新的软硬件技术，使学生熟悉相关的软硬件开发工具，培养其开发能力，需要设计以嵌入式系统技术和虚拟现实技术为主题的实验内容，形成对现有嵌入式系统技术和虚拟现实开发技术实验体系的扩充与拓展。

编写融合实验库。基础性实验，对基础知识点进行实验练习。开放性实验，提供一定的实验指导和实战项目，为学生提供合适的训练和实践机会。

2 教学内容设计

项目组成员结合自身在虚拟现实课程和嵌入式课程的教学经验，拓展课程实验库。基于两者的结合主要设计了以虚拟现实技术搭建单片机的虚拟环境、虚拟现实头显为中心的教学实验。

目前比较流行的头显设备主要有HTC Vive和三星Gear VR。其中HTC Vive搭载精确的定位系统Lighthouse，通过头显显示立体图像，手持控制器与虚拟场景的物体进行沉浸式交互，提供了完善的二次开发包。因此，我们选择HTC Vive头显设备作为实验库的设备首选。实验中理论教学内容结构如图1所示，主要包括基于HTC Vive的虚拟现实系统的开发案例库构成。

HTC Vive包括一个VR头戴式显示眼镜、两个用来交互的手柄控制器、两个空间定位的激光发射装置。头显为AMOLED屏幕，双眼合成分辨率可以达到20160*1200像素，视场角达到90Hz，内置前置摄像头和麦克风，内置加速度计、陀螺仪和光电传感器。手柄内如单片机布局如图2所示。

HTC Vive头显设备中的定位系统Lighthouse技术是利用激光和光敏传感器来确定空间中物体的位置。在3米×4米×基站高度的空间对角线上安装两个激光发射器。激光发射器内部有两个激光扫描模块，分别在水平和垂直方向轮流发射激光，每秒发出6次激光束。头显上的32个光敏传感器接收器和两个手柄上的48个光敏传感器接收器，通过计算机计算两束光线到达头显或者手柄的角度差，从而实现头显或者手柄的空间位置及方向。

3 教学实践设计

虚拟显示应用开发软件主要有Unity3D，Unreal Engine 4等。实验案例的开发平台，选择的是Unity3D软件，主要是其开发可定制性高，可以根据实验需求，通过渲染工具、动画编辑器等，定制出很强逻辑性结果。脚本语言为C#语言，该引擎在渲染方面、多线程计算、内存管理和显存管理方面比较稳定。

开发HTC Vive应用程序需要下载安装SteamVR插件，SteamVR是基于OpenVR的虚拟现实开发体验方案，提供Unity在头盔环境中的开发框架。Vive的交互实现方式，比如手柄发出的射线、凝视、瞬移、拾取，UI交互等功能。

3.1 基础性实验

让学生了解基于HTC Vive的基本开发流程，SteamVR的使用。基础实验内容包括：

（1）SteamVR的基础配置，包括手柄的左右手配置等。

（2）UI控件实验，HTC Vive需要跟场景中的物体进行交互，需要有一些UI控件作为选择、切换，是进行交互的重要功能之一。

（3）瞬移实验，是用来进行场景中的走动，由于人在定位控件中的移动位置是有限的，所以得通过手柄移动到场景中固定位置，利用瞬移实验可以让学生实现在场景中的位置更新。

（4）射线交互实验，利用手柄实现抓、扔、远距离相应等功能，得需要有射线碰撞检测功能来实现。通过射线交互实验，让学生掌握HTC Vive手柄在场景中基本交互动作。

3.2 开放型实验

提供了几个题目供学生自由选择：

（1）模拟做菜过程：HTC Vive的最大特色就是交互性能强，借助手柄，模拟场景中的双手，实现洗菜、切菜、炒菜的过程。在模拟场景中，需要学生学会HTCVive头显在Unity3D中的显示原理及交互方法，制作做菜的交互模拟。

（2）化学实验类设计：虚拟化学实验系统是一个利用虚拟现实技术实现人机交互的系统。传统教学中，学生遇到需要进行实验的时候，只能是在学校的实验室中，在有老师的指导下进行一项项实验。虚拟化学实验系统作为一种新型教学方式，学生可以体验到如同在真实的实验室中一样进行化学实验。学生可以完成一些在现实生活中不容易实现的试验，教师则可以在教学中应用模拟实验，为学生形象地指导各种化学变化、结构精巧的化学仪器，提高教学效率。

（3）计算机系统的仿真教学设计：为了能够使大部分学生学习计算机硬件知识，模拟了计算机硬件三维模型。利用虚拟的硬件模型，指导学生计算机硬件的组装。在计算机组成原理课程中，几乎都是以平面图标及箭头演示计算机内部进行加法操作过程，通过VR技术，可以让这样的仿真更加逼真，学生们更加直观地學习内部的硬件工作原理。

（4）智能家居系统：引入ArdUnity插件，可以在Unity的开发环境中，利用Arduino串口通信控制智能家电，比如智能窗帘的闭合、设置智能空调温度、设置智能热水器的温度等。

4 总结

结合“嵌入式系统”和“虚拟现实技术”两门课程实践案例是一次新的尝试，积极调动了学生的学习兴趣。在2016级和2017级学生的课程中开展了教学初步尝试，效果不错，并且每年都有1～2名学生的相关毕业设计获得校级优秀毕业设计。目前案例主要还是以虚拟现实技术为主，嵌入式技术为辅助的实践模式，后期还要注重两者的结合，开发结合的新形式，提炼技术融合的实践内容。“新工科”要求交叉学科领域，培养能够服务于技革新、产业结构升级形成的新环境的大量新型人才。作为课程建设者，在课程建设和学课拓展中，紧扣创新，学习前沿科技，加强创新创业实践，培养复合型、创新型人才。

参考文献：

[1] 尉粮苹，马泽正，王晓晴，等.虚拟现实技术在旅游文化遗产数字化保存中的应用分析[J].中国信息化，2021（7）：94-96.

[2] 钱文君.5G时代下，虚拟现实技术在VR游戏中的应用发展[J].新闻传播，2021（14）：28-29.

[3] 赛迪智库电子信息研究所虚拟现实产业联盟. 虚拟现实产业发展白皮书（2019年）[N]. 中国计算机报，2019-11-25（008）.

[4] 程雷相.虚拟现实技术在化工专业实训课程中的应用[J].当代化工研究，2021（14）：129-131.

[5] 邓逸钰.虚拟现实技术专业人才培养的创新与应用研究[J].科技风，2020（16）：251+255.

[6] 廖爱华，胡定玉，师蔚，等.虚拟现实技术在《城市轨道交通车辆认识实习》中的应用分析[J].产业与科技论坛，2021，20（13）：135-136.

[7] 林宇.虚拟现实技术在数字媒体人才培养中的应用与创新[J].软件，2021，42（5）：181-183.

[8] 刘肖佑，田立国，张驰宇，等.智能体感虚拟现实交互运动系统[J].科技创新与应用，2019（3）：37-38.

【通联编辑：王力】