增强现实技术及其在汽车和汽车维修服务上的应用（一）

许昌职业技术学院 张贵明，金梦涛

1 增强现实技术简介

增强现实（Augmented Reality，简称AR）最早于1990年提出，是在虚拟现实的基础上发展起来的新兴技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，通过计算机系统提供的信息增加用户对现实世界的感知，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，是一种能将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息、声音、味道、触觉等），通过计算机等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，让真实的环境和虚拟的物体实时地叠加到同一个画面或空间同时存在，它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。AR是虚拟与现实的连接入口，注重虚拟与现实的连接，是为了达到更震撼的现实增强体验。其定义很广泛，技术种类众多，目前主流的AR是指通过设备识别判断（二维、三维、GPS、体感、面部等识别物），并将虚拟信息叠加在以识别物为基准的某个位置，并显示在设备屏幕上，可实时交互虚拟信息，总结起来即识别、虚实结合、实时交互。AR技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段，提供了在一般情况下，不同于人类可以感知的信息，通过计算机系统提供的信息增加用户对现实世界感知，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的“增强”。它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强，同时由于用于与真实世界的联系并未被切断，交互方式也就显得更加自然。

1.1 AR技术的主要特点

AR技术可广泛应用到军事、医疗、交通、汽车、建筑、教育、工程、影视、娱乐等领域，它具有以下3个突出特点。

（1）虚实结合。它可以将显示屏幕扩展到真实环境，使计算机窗口与图标叠映于现实对象，由眼睛凝视或手势指点进行操作；让三维物体在用户的全景视野中根据当前任务或需要交互地改变其形状和外观；对于现实目标通过叠加虚拟景象产生类似于X光透视的增强效果；将地图信息直接插入现实景观以引导驾驶人的行动；通过虚拟窗口调看室外景象，使墙壁仿佛变得透明，使真实世界和虚拟世界的信息集成为一体。

（2）实时交互。它使交互从精确的位置扩展到整个环境，从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中；运用信息系统不再是自觉而有意的独立行动，而是和人们的当前活动自然而然地成为一体；交互性系统不再是具备明确的位置，而是扩展到整个环境。

（3）在三维尺度空间中增添定位虚拟物体。

1.2 增强现实系统的组成形式

一个完整的增强现实系统是由一组紧密联结、实时工作的硬件部件与相关的软件系统协同实现的，常用的有如下3种组成形式。

（1）Monitor-Based增强现实系统（图1）。在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到计算机显示器，用户从计算机显示器上可看到最终的增强场景图片。它虽然简单，但不能带给用户多少沉浸感。

（2）光学透视式增强现实系统（图2）。头盔式显示器（Head-mounted displays，简称HMD）被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为2大类，分别是基于光学原理的穿透式HMD（Optical See-through HMD）和基于视频合成技术的穿透式HMD（Video See-through HMD）。光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等不足。

（3）视频透视式增强现实系统（图3）。视频透视式增强现实系统采用基于视频合成技术的穿透式HMD（Video See-through HMD）。视频透视式头盔显示器通过一对安装在用户头部的摄像机，摄取外部真实环境的景象，计算机通过计算处理，将所要添加的信息或图像信号叠加在摄像机的视频信号上。用视频透视式头盔显示器的增强现实系统中，使用者看到的周围真实世界的场景是由摄像机摄取的。因此，图像经过计算机的处理，不产生虚拟物体在真实场景中的游移现象。但由于处理速度等原因，图像显示会有迟滞现象，而且在处理过程中可能会丢失一些细节。

2 AR技术在汽车上的应用

尽管AR技术呈现出爆炸性的增长，但AR软件和内容目前主要还是为小屏幕设备（比如智能手机和平板电脑）打造的，而真正的AR应用意味着虚拟物体和真实环境能够结合，可以在视野不同深度的地方呈现画面，不仅仅限于在屏幕的表面。因此，真正的AR要想在大众市场得到广泛应用，不仅需要丰富的应用程序和内容生态，更需要性能强大的硬件设备支持，然而相关硬件还远远没有准备好，开发商们只能依靠智能手机的屏幕作为推销AR的主要手段。其实，即使是可穿戴设备，也不是AR技术呈现的最好的选择，因为几乎不可能将真正AR的高渲染性能、实用性和高质量的广角图片等优点塞到一个很小尺寸的系统中去呈现。如果智能手机、平板电脑、可穿戴设备都没有准备好迎接真正的AR，那么不可佩戴的设备一定会出现。什么样的设备最有可能将虚拟景象与现实环境进行深度整合呢？答案来自于汽车领域，因为，拥有足够透明表面的汽车是非常理想的AR硬件平台。随着汽车产业朝着无人化驾驶方向的迅速转变，AR技术可以帮助用户适应新的现实，借助AR技术，乘客可以通过可视化的方式了解汽车的决策过程，有利于增强其乘车的安全感和自信。总之，一方面汽车行业给了AR技术更多繁荣的机会，提供了更智能的硬件平台；另一方面，AR在帮助市场顺利过渡到无人驾驶运输上有很大潜力。这意味着未来汽车配备AR应用是一种趋势，这将不断壮大AR技术的实力，同时为AR在其他行业的发展铺平道路。

图1 Monitor-Based增强现实系统的实现方案

图2 光学透视式增强现实系统的实现方案

图3 视频透视式增强现实系统的实现方案

2.1 AR HUD（增强现实抬头显示器）

相信大家对HUD（Heads Up Display，抬头显示系统，又叫平视显示系统）都不太陌生，它可以把重要的信息映射在风窗玻璃上（图4），使驾驶人无需低头就能看清汽车的重要信息，从而避免分散对前方道路的注意力，以将更多的精力放到观察路面的情况，并可以减少驾驶人观察远处道路情况与近距离查看导航、车辆信息视线频繁转换引发的视觉疲劳，从而提高了汽车的行车安全性。不过HUD中的内容非常少，且更多的是将原本需要低头去寻找的信息（如车速、导航等）挪到了与正常驾驶视线更贴近的位置。HUD这项从航空领域引进的技术本身就是为了让驾驶人能够集中注意力而存在的，最早的HUD需要有一个单独的屏幕来辅助信息呈现，被称为C-HUD；而进阶的HUD则去掉了这块屏幕，直接将信息显示在风窗玻璃上，被称为W-HUD。AR HUD其实也还是将信息投射到风窗玻璃上，不同之处在于其投射的内容与位置会与现实环境相结合，显示的范围也不局限在某一处，而是扩展到整个风窗玻璃，从本质上来说，AR HUD是信息显示与驾驶辅助技术的结合。

从现阶段各家企业的概念开发展示来看，AR HUD显示的信息依然是驾驶人最需要注意的内容，包括导航路径规划与指示、其他道路使用者（包括车辆、行人、骑行者等）提示等。如果要往更远畅想的话，未来也可能作为人机交互的进阶方式，比如通过AR HUD的方式显示周边车辆和建筑的信息，又或者是交通灯与标志的指示灯。相比传统的C-HUD与W-HUD，AR HUD显示的范围更大，距离更远。AR HUD可以让驾驶人几乎不用低头看，低头的角度可以调整到1°以内。

AR HUD要怎么实现呢？图5所示为使用全息膜方式的AR HUD。所谓全息膜，是一种透明的显像元件，能够在显像的同时让人看到其背后的景物。那么。如果不用全息膜这种“便捷”的方式，如何实现AR HUD呢？其实可以反推一下。要在路面上显示指示箭头，系统首先需要知道路口在哪里，车辆与路口之间还有多远的距离，在什么时候显示出这个信息比较方便。总体来说，要解决什么时候在什么位置显示哪一类信息的问题，因此环境建模是必须的，系统必须要知道周围环境是什么样子，再根据周围环境决定显示哪一类信息，然后还要处理好显示出来的信息是否与环境贴合的问题，更进一步，还要知道驾驶人在看哪儿，然后根据驾驶人所看的位置去显示对应的信息，因此AR HUD涉及到的技术包括环境建模（传感器、算法、芯片）、信息显示（光学元件、算法）和驾驶人眼球追踪等。

为实现人车新对话形式，国际汽车零部件供应商大陆集团开发出增强现实抬头显示器（AR-HUD）。该增强现实抬头显示器通过内部特殊设计的光学系统将图像信息精确地结合于实际交通路况中，从而扩展了或者说增强了驾驶人对于实际驾驶环境的感知。因此，AR-HUD技术极有可能成为汽车人机界面（HMI）最具创新性的发展方向。大陆集团的AR-HUD可以实现由2个不同投影距离产生的投影面，也被称为近投影或状态投影面和远投影或增强投影面（图6）。近投影出现在驾驶人前方的发动机罩末端，能够显示驾驶人所选的状态信息，如即时速度、有效距离限制（如禁止超车和限速）或ACC当前设置等。如要查看这些信息，驾驶人只需稍稍将视线下调约6°即可，状态投影信息的视域尺寸为5°×1°（相当于210 mm×42 mm），投影距离为2.4 m，相当于传统抬头显示器的虚拟图像。AR-HUD中的主角是增强投影面，它的投影距离在驾驶人前方7.5 m，可将增强的显示符号直接投射在道路上，与当前交通状况相融合。在大多数交通情况下，用7.5 m远投影面直接在行驶道路上增强内容，而2.4 m近投影面则用于显示状态信息。

图4 HUD系统的基本原理

图5 使用全息膜方式的AR HUD

图6 大陆集团的AR-HUD可实现由2个不同投影距离产生的投影面

2.2 增强现实（AR）导航系统

“你想用HUD做什么？”很多驾驶人的回答是“希望HUD在导航时可以直接将箭头画在道路上，而不是告知在第几个出口驶出！”在很多知名汽车品牌，如宝马、现代等发布的未来概念片中都出现过AR（增强现实）导航，从驾驶人的视角来看，就是将导航箭头等提示直接“放在”路上（图7），使驾驶人在开车时不用低头，直接可以在车窗上看到各项导航信息和运行数据，还可以进行例如接听电话、回复信息等操作。

瑞士高科技公司WayRay还推出了世界上第一个真正的增强现实汽车导航系统NAVION。NAVION安装在汽车仪表盘上，可以指示行车方向、行程细节，并显示例如行人、兴趣点（POI）或驾驶人必须了解的前方道路上的危险情况实时提醒信息，而无需使用头戴设备或眼部设备。NAVION还能以免提模式工作，帮助驾驶人安全到达目的地，并可以对简单的语音命令或独特的手势做出响应。

英国公司 Blippar最新发布了一款AR导航应用——AR City。该应用涉及到AR和计算机视觉技术，可帮助用户导航全球300多个城市，显示的信息包括街道名字、建筑物名称和当地的风景名胜点，也就是说，当驾驶人分不清东南西北时，可以通过AR City得知身边建筑物的名称，跟传统的路线导航相结合，会更清晰地看到自己所走的方向。Blippar讲到AR City可实现的功能包括3个方面：一是基本的AR导航，在AR模式下道路信息显示；二是丰富的地图内容，用户所处位置的AR信息显示，如用户所在的街道、风景名胜等；三是城市视觉定位（Urban Visual Positioning，UVP），通过计算机视觉可识别、定位和判断方向信息。特别是，在一些选定的地方，可将城市视觉定位与AR结合，可实现比GPS（全球定位系统）更精准的定位，用户拿着手机对准身边的建筑物，即可实时呈现该建筑物的名字（图8）。未来AR City想要实现的功能如图9所示。

2.3 捷豹路虎的360虚拟城市风挡

图7 导航信息直接显示在路面上

图8 手机上显示出建筑物的名称

图9 未来AR City想要实现的功能

除了在对开式车门车身上，A柱、B柱、C柱是保证安全必不可少的存在。但A柱在行车中造成的驾驶人视觉盲区，又成了行车安全的最大隐患。而如果让A柱隐身不见，会是怎样一番景象？捷豹路虎的360 Virtual Urban Windscreen（360°虚拟城市风挡）便利用AR技术，让A柱处于透明状态，从而极大减少驾驶人的视野盲区。简单来说，捷豹路虎借助汽车外部摄像头来捕获实时视频流，并将视频信息通过嵌入在A柱中的显示屏呈现给用户（图10），如此一来，驾驶人便能看到原本由汽车A柱造成的视野盲区。捷豹路虎表示，这项技术能让驾驶人看清汽车周围路人、骑行者、其他汽车。有趣的是，A柱显示屏默认为关闭，当驾驶人转头看向汽车一侧时，系统会自动让相应的A柱变为透明状态，也就是该公司所宣称的“在恰当的时间给驾驶人恰当的信息。”此外，360 Virtual Urban Windscreen 还能与云端结合，A柱显示屏可以展示附近可用的停车位数量或是加油站燃油价格等信息。捷豹路虎希望将所有驾驶所需的外部信息都展示在驾驶人前方的抬头显示屏上，如此一来，驾驶人的视线就不会离开路面，从而大大提高行车安全性。基于相同的原理，不仅A柱，B柱、C柱一样可以变为透明状态。

此外，捷豹路虎还有一项名为Follow-Me Ghost Car Navigation的技术（图11），该技术在风窗玻璃上可以展示虚拟的汽车，以方便驾驶人跟车行驶，达到导航的作用。

图10 捷豹路虎的360虚拟城市挡风

图11 Follow-Me Ghost Car Navigation的技术