增强现实的系统结构与关键技术研究

麻兴东

摘要：首先概要介绍了增强现实技术的概念、相关特性，并总结了增强现实系统的总体结构，概略介绍了各组成部分的功能以及对应的关键技术。然后在此基础上论述了关键技术中的显示技术和跟踪注册技术，最后对增强现实的当前应用和未来趋势做出了概要总结。

关键词：增强现实；跟踪注册；实时跟踪；虚实配准

1引言

增强现实技术AR（Augmented Reality）是在虚拟现实VR技术（Virtual Reality）的基础上发展起来的典型的交叉学科，具有十分广泛的研究和应用范围，涉及到诸多技术领域，如计算机图形和图像处理、人机界面交互设计、移动计算、计算机网络技术、信号处理技术、以及新型显示器和传感器的设计等。

与传统虚拟现实技术所要达到的完全沉浸的效果不同，AR将计算机生成的虚拟影像实时准确地叠加在实景对象上，从而允许用户使用实景对象与虚拟的影像进行实时无缝交互。AR技术需具有3方面的特点：（1）真实与虚拟图像的结合，（2）实时互动，（3）根据实景物理对象对虚拟影像进行定位。由于增强现实具有将真实场景同虚拟物体加以融合并实现实时交互的特性，能够增强用户对现实环境的理解和认知。

本文首先讨论增强现实系统的总体架构，在此基础上着重论述增强显示的关键技术，即：显示技术、跟踪注册技术、相关方法及其各自的特性，在本文的最后，对增强现实应用和未来趋势概要地作出总结。

2增加现实系统架构

增强现实的整体系统通常由场景采集、跟踪注册、虚拟场景发生器、虚实合成、显示系统和人机交互界面等多个子系统构成，如图1所示。

增强现实系统中，通过处理现实实景的图像建立起实景空间，根据跟踪注册技术确定摄像机的姿态以及虚拟图像的空间定位，虚拟图像与实景图像通过配准排列，合成未虚实融合的增强现实环境，这个环境再输入到显示系统呈现给用户，最后用户通过交互设备与场景环境进行互动。其中，让虚实准确结合的注册步骤非常关键，和最后的显示输出端一起，决定了用户对增强现实环境的最终感知效果，

3增强现实系统的显示技术

增强现实系统的能够利用融合计算机视觉、显示技术、多传感器等技术对真实场景进行扩展和增强，根据Eitoku提出的标准，AR的显示装置的设计应该有4个准则：（1）虚拟信息与现实世界共存；（2）支持协同工作；（3）不给用户增加特殊仪器的负担用户；（4）支持显示自然的三维图像。主要集中在3种类型：透视式的头部佩戴显示器，基于投影显示器和手持式显示器。

3.1头部配戴显示设备

透视式HMDS通过光学或视频技术，使用户看到将虚拟物体与现实实景融合后的场景。这类显示器又可分为光学透视OST（Optical See Through）和视频透视VST（Video See Through）的HMD。

用户通过OST HMD可以直接看到现实实景与虚拟信息叠加融合后的场景。例如Google正式发布的眼镜项目“Google Glass”，这款眼镜集智能手机、GPS、相机于一身，所有的信息都能即时展现在眼前，比以往的设计头盔式显示器更小更薄的头部佩戴装置。

OST HMD对真实环境几-乎无损显示。用户获得的信息比较可靠全面，对真实环境与虚拟图像融合匹配的精确度要求较高。首先由摄像机摄取实景图像，然后将生成的信息或虚拟影像图像叠加在摄像机视频上，通过显示系统呈现给用户。VST HMD的优点在于较好地处理诸如被遮挡场景、色彩强度等问题，以保持真实场景与虚拟图像的一致性。

3.2投影显示设备

基于投影技术的显示，不需要用户佩戴设备，对用户的体验保持最低限度的侵扰。现有多种投影显示技术，将图像信息直接投射到真实物体的表面，通常是在固定的物体的表面。投影设备同时能够将图像投影到更大范围的环境中。

投影显示设备更加适合室内增强现实环境，生成图像的焦点不随用户视角的改变而改变。投影显示设备与固定的跟踪定位设备相配合，将虚拟物体投影到真实世界中的相应位置。例如大众研究集团与大众服务学院联合开发的投影式增强现实系统，可用于新车型的开发与技术创新的培训。

3.3手持显示设备（Hand Held Device）

手持设备的增强现实应用不需要额外的设备和应用程序的能力，对用户体验没有侵扰，易于携带和高度移动自由度等优点，广泛为社会所接受，因此经常被用于在广告，教育和培训吸引用户注意的重要设备。

Layer App是典型的智能手机上的增强现实应用程序之一。用户在指定的位置，使用手机内置罗盘以确定镜头所指的方向，在手机显示屏上即可显示出场景中的细节信息，当用户平移其设备的摄像头左右，屏幕上会填充不同的景点信息，包括快速通道的可用性，景点的描述等等。

4增强现实系统的跟踪注册技术

跟踪是指跟踪3D空间中的一点或几点的3D坐标与6DOF的姿态信息，注册即是虚拟物体和真实场景在三维空间中位置的一致性，即在空间上的整合，跟踪注册是一个持续的动态过程。跟踪注册是增强现实系统中的紧密相关的关键技术。目前广泛应用的注册跟踪技术可以分为3类：基于传感器的注册跟踪技术、基于视觉的跟踪注册技术、和基于传感器与实际的混合跟踪注册技术。

4.1基于传感器的跟踪注册

基于传感器的跟踪注册技术，首先记录实际场景中用户的方向和位置，在便保持虚拟空间和真实空间连续性的基础上，实现虚拟对象与实际场景的精确配准融合。常用的传感器技术主要有：磁场（magnetic）跟踪注册、声学（acoustic）跟踪注册、光学（ortic）跟踪注册、惯性（inertial）跟踪注册。

磁场跟踪注册系统，由控制器、磁场发射器和接收器组成，利用磁场相关的参数，从而确定用户的位置和方位。例如徐彤等设计的六自由度电磁跟踪系统。

声学跟踪注册系统包括超声波发射器、接收器、和处理单元。利用同一声源到达不同地点或者不同声源的超声波到达同一地点的时间差、声压差等参数进行跟踪注册。超声波跟踪注册系统成本低，抗电磁干扰能力强，但是非常容易受周围环境的噪声、温度、湿度以及遮挡问题的影响。

光学跟踪注册系统使用感光设备，接受发光元件产生的光线，用以测量目标的方位。该类系统的精度高，不受噪声和电磁场影响。主要缺点是易受视线和遮挡的影响，而且设备昂贵。

惯性跟踪注册系统使用惯性传感器，获取用户或摄像机的运动方向和姿态，获取摄像机的运动位置和速度。使用惯性跟踪注册技术存在着漂移和误差累计，因此精度不高，必须与其他注册跟踪技术联合使用，才能达到较高的精度。

基于传感器的跟踪注册系统，可以记录真实场景中用户的方向和位置，在此基础上保持虚拟空间和真实空间的连续性，实现精确配准与虚实图像的融合。

4.2基于视觉（vision-Based）的跟踪注册

基于视觉的跟踪注册基于视觉跟踪的跟踪注册则不需要使用传感器设备，由于硬件成本相对低廉，而受到越来越多地关注。

基于视觉的跟踪注册过程为：首先根据摄像机摄入的图像或视频流进行处理，检测图像中目标物体的特征，并欲与预存的场景图像的特征进行匹配。若匹配成功，通过图像特征可以获得摄像镜头的单应性矩阵，据此可以计算出摄像镜头相对于场景中物体的位置及姿态。跟踪注册主要是基于标识的跟踪和无标识的跟踪。

基于标识的跟踪注册技术，由于标识是人工放置，由此根据计算机视觉中的透视投影算法，即可获取摄像机相对于标识的转换矩阵，从而获得注册信息。目前基于标识的跟踪注册系统，已有ARToolKit，ARTag等。ARToolKit较为适用小规模的应用，而ARTag在处理较大规模的应用时则处理速度更快。基于标识的跟踪注册计算复杂度较低，具有较好的精确性，但同时也易受遮挡的影响。

无标识跟踪注册技术，又称为基于自然特征点的注册跟踪技术，是直接利用场景中存在并且容易识别的实景物体的自然特征，提取识别的基准点。经典的算法有Ferns算法、SURF算法、和SIFT算法。在手持设备上运用时，由于真实的场景往往比较复杂无标识跟踪注册的计算量较大，实时性较差。

4.3混合跟踪注册技术

混合跟踪注册是指在同一增强现实系统中采用两种以上的跟踪注册，以实现各种跟踪注册的优势互补。基于传感器的跟踪注册技术跟踪需要较为昂贵的硬件设备，易受外部环境变化的影响，但是实时性好，鲁棒性高。基于标识的跟踪注册的主要性能特点是精度高，实时性较差。把这两种注册跟踪技术相结合，则可以综合各自的优点，弥补各自的缺点，使其成为一个鲁棒性较强、实时性较好、精度较高并且受外界干扰较小的综合跟踪注册系统。例如Azuma等在1998年提出的将GPS、视觉跟踪注册技术和惯性传感器三种技术综合户外增强现实系统。

5结语

增强现实技术虽然和虚拟现实技术可以追溯至同一个起源，但对它的研究要比虚拟现实技术落后很长的时间。尽管如此，增强现实一经出现就引起了国际工业界和学术界的极大重视，国际上众多科研机构、学术组织，商业公司，如波音、索尼，罗克韦尔都竞相展开对它的研究。

实时视频图像处理技术、计算机图形系统以及新的显示技术和触觉技术的发展使得虚拟图形与3D真实场景的结合，增强环境的创造成为可能。在这一增强环境之中，三维的虚拟物体图像能准确的与用户周围的三维环境视图进行配准，同时用户可以以自然的方式与虚拟物体交互。在医学成像、机械设计与制造、军事应用、机器人遥控、新闻娱乐等各行业，增强现实技术正在逐步从实验性研究转化到商业性开发，在有着巨大的发展前景。