增强现实在汽车设计中的应用研究

陈熠璇 徐娟芳

摘要：研究增强现实技术在汽车设计领域的理论基础与应用现状。文章通过对国内外增强现实技术实践应用的解读，初步研究了增强现实技术在汽车设计中的应用分类，以及设计难点，并对应用案例进行了具体分析。最终归纳出设计实现时需注意的要素，为后续设计研究者提供一定的参考。

关键词：增强现实增强装配AR-HUD人机交互空间增强现实系统汽车设计

中图分类号：U462

文献标识码：A

文章编号：1003-0069（ 2021） 08-0082-04

Abstract ： To study the theoretical basis and application status of augmented realitytechnology in the field of automobile design. By interpreting the practical applicationof augmented reality technology at home and abroad， this paper preliminarily studiesthe application classification and design difficulties of augmented reality technologyin automobile design， and makes a concrete analysis of application cases.Flnany，it summarizes the elements that need to be paid attention to in the design andimplementation， and provides some reference for the follow-up researchers.

Keywords： Augmented reality Augmented reality assembly AR-HUD HCI Spaceaugmented reality Automobile design

引言

增强现实技术（Augmented Reality）最早在1990年被提出，步入2000年后在企业和学术界引起热议。AR技术指的是，利用物体检测和识别技术、运动跟踪技术以及自然人机交互（Nature UserInterface），将物理现实世界中的环境元素与增强计算机生成的图像融合在一起，从而使真实世界的信息拥有了可交互和数字化的特性。与完全沉浸在数字空间里的虚拟现实技术（Virtual Reality）不同，AR只是将符号，场景和物体等数字信息融入现实空间，因此具有更强的可操作性和更广泛的应用场景。AR技术自出现以来一直存在特制设备以及价格的壁垒，并且没有一套权威可参考的交互规范，因此没有得到普遍应用，今年随着5G技术的到来，实现了更快的传输速度运算速度以及更低的时延，可以预见无处不在的AR交互将逐渐由畅想变为现实，更多消费级别的设备将会出现在我们的日常生活中，作用于医学可视化、娱乐、教育、智慧物流、维护和维修等等领域。

由于AR技术具有真实性和交互性，适用于产品生产流程中的一系列问题，因此AR技术也逐渐引起汽车设计制造人员和企业的重视，在进行方案规划、工程装配、评估人因功效，或对人员进行训练时，AR技术都有助于提高效率和正确率。但目前还没有文章对AR在整车设计流程中的应用进行全面的整理，因此本文对1990年至2020年发表的AR在汽车设计装配流程和汽车人机交互设计的应用现状进行了归纳，并分析后续的研究趋势。

一、AR系统组成

（一）AR系统结构

1.基于显示器的Monitor-based系统。此系统是以显示器为载体的AR系统，在系统中摄像机采集真实环境中的图像视频信息，并将方位信息输入图形系统进行解析，计算机处理环境信息和数字信息，合成虚拟影像输出到显示器，虚实混合场景通过屏幕进入人眼。它是一套最易实现的AR方案，因此广泛应用于各领域。

2.基于视频合成技术的Video see-through系统。头戴显示器（Head-mounted displays-HMD）根据不同的显示原理可分成基于视频合成技术的穿透式头显（video see-through HMD）以及基于光学原理的穿透式头显（optical see-through HMD）。Video see-through系统由一个封闭式头戴显示载体和一个或两个摄像头共同组成，摄像头采集到的视频图像与计算机生成的图像合成后在头戴显示器上，进入人眼。

3.基于光学原理的Optical see-through系统。在上述的两个AR系统中，信息要经过两个通道：摄像机采集物理环境信息、计算机编码虚拟信息。而在optical see-through系统中虚拟图像由设备反馈到真实世界中与真实世界中的信息进行合成，经光学透镜减光处理后直接进入人眼，三种系统的结构如图l所示。

（二）汽车设计中的AR硬件

计算机中央处理器（CPU）性能提升、传感器微型化以及通信网络的发展等多领域的条件驱动了AR硬件的技术进步，目前在汽车中的应用到的硬件主要有：

1.移动手持设备。智能手机和平板电脑是移动手持设备的代表，这些智能终端拥有高移动性、可消费性以及陀螺仪、GPS等功能，对AR技术的普及和推广起了重要作用，借助移动设备体积和重量的天然优势，AR技术得以在各领域得到应用。在汽车领域中，主要运用在两个方面：汽车装配和维修、汽车展示和销售。[1]

2.头戴式显示器（Head-mounted Display）。HMD的主要载体有头盔、眼镜等，它既是一个真实世界图像的减光镜也是一块能显示数字信息的显示屏。目前Magic Leap One、HoIoLens 2等头戴式产品都已进入消费级市场，许多车产也致力于研究提高HMD的光学效率，降低体积和重量，以便更好的运用到汽车工业中。例如MINI在2015上海车展展出了新研發的现实增强型智能眼镜一它能在驾驶者眼前投射出一系列行车信息，见图2。

3.空间增强现实（Space Augmented Reality）系统。与其它所有硬件不同的是，SAR系统嵌入了我们周围的环境，空间中的任意位置都能成为交互的载体，SAR系统的优势在于不需要透过显示屏就能够让图像直接进入人眼，减小了信息在传递过程中的流失。在汽车制造中，图纸是主要检测对照工具，如车身点焊质量检查主要依赖于在图纸上标记检查点，但图纸缺少三维特性，易造成偏差，而SAR能够在车身表面投影数字信息，帮助技术人员更有效、更高效地进行检查工作。

二、AR在汽车设计工程中的应用

目前增强现实技术在汽车设计工程中的应用最广泛的是增强装配（Augmented Assem bly），指在增强环境中，工程师运用虚拟模型辅助产品装配，使得汽车设计早期的装配速度提升，从而达到更佳的完成效果。X.Wang[2]收集了谷歌学术和多个国际会议上的论文，将基于AR的装配分为装配指导、装配训练、装配设计仿真和规划，每个主题下又细分出了对应子分类，如表l所示。

（一）AR装配指导 AR技术对于汽车装配的意义不是用机器代替人力来提高工作质量，而是辅助装配人员完成难度系数更高的任务。

目前AR装配指导系统有两种应用形式，分别是步骤指引和交互式指引。步骤指引常用于移动式AR指导系统，用于指导装配新手快速熟悉和完成各种形式的装配任务。步骤指引系统着重于为用户呈现操作步骤的总结，而忽略了装配过程中实时的交互和反馈，很少能做到实时跟踪装配状态，因此许多研究者也开始研究交互式指导系统，来实现汽车装配过程中实时的交互操作和反馈，这种交互方式更加直观高效，能提高使用过程中的体验。

（二）AR装配训练

增强装配训练指的是系统模拟出装配步骤画面，用户可以操纵虚拟装配工具和组件，根据提示完成任务。

汽车装配设计被认是复杂任务的集合，这些任务涉及机器特定程序和技术的知识，需要较高的认知和时间成本，因此，快速可靠地培训操作员有效地执行任务已经成为许多研究的焦点。许多团队在装配过程中使用AR技術进行注释，证明AR能提供更强的交互性，帮助训练人员更高效完成任务[3]。

在汽车设计中，AR装配培训的最大挑战是如何处理不同装配任务在安全性、装配难度和装配技能上的差异，因此，在将来应该对AR装配训练系统的兼容性展开研究，以提高用户对系统的理解能力。

（三）AR装配设计仿真和规划

AR装配设计的优点就在于能精准反馈空间中的信息，强化工程人员的三维空间感知。

AR装配设计系统能让用户在装配过程中看到单个装配零件的准确位置和方向信息，与传统图纸相比，它能通过不同交互方式（包括鼠标、触控设备、手势运动捕捉系统）对装配任务中虚拟对象进行操纵，从而更好的完成装配指令到实

总的来说，将增强现实技术运用于汽车工程中可以减少许多因缺少信息而造成的错误，极大的提高生产效率，但目前的关注点集中在技术实现上，对于应用过程中的易用性和用户体验仍不够重视。

三、AR在汽车人机交互设计中的应用

（一）汽车人机交互应用增强现实技术的优势

目前增强现实在车载人机交互系统中大部分的研究是围绕与HUD （Head-Up Display）的结合展开。1988年，通用汽车在其旗下的Olds Mobile Cutlass Supreme上采用了HUD抬头显示器，是最早应用该技术的汽车。自此之后，HUD系统逐渐出现在跑车和轿车上，并且从最初以单一色彩投影驾驶信息朝数字化的方向不断发展。

AR技术的出现为车载HUD创造了新的交互范式。信息不再需要固定的显示器作为载体，而是在需要信息呈现的地方出现，这就需要设计师考虑如何AR信息的显示模式和放置位置，从而改善驾驶员的注意力分配以及完成驾驶任务的方式。

比传统驾驶座舱相比，AR-HUD的优势主要体现在以下几个方面：

1.AR-HUD系统能提高驾驶安全性。与智能手机或平板电脑上的AR应用程序相比，挡风玻璃提供了更直观更大的视野，合理的信息增强有助于减轻驾驶员的认知负荷。美国国家公路交通安全管理局（NHTSA）定义了三种驾驶分心类型[3]：视觉分心（眼睛偏离道路），认知分心（分心驾驶）和操作分心（手部离开方向盘），AR-HUD可以直接影响前两种情况，让驾驶员的视线始终跟随道路而不是仪表板上的辅助显示器。

2.AR可作为现实和虚拟世界的中介，沉浸式呈现环境信息。在车联网时代，汽车将通过传感器和互联网感知环境信息，AR则可以提供一种自然的方式来传达环境的深度信息，真正实现“人一车一环境”之间的交流。

3.AR-HUD可为驾驶员提供个性化信息显示，以匹配驾驶员的视觉和认知能力。未来的汽车不仅要考虑软硬件的设计，还需要考虑到社会因素[5]，当前的趋势是老年驾驶员的数量正在增加，设计车载系统时要将视力因素和认知能力纳入思考，AR与其他交互通道（例如听觉或触觉）相结合，可以充当驾驶员与汽车协作的中介，在内容和视觉参数方面定制信息，以凸显驾驶员视野中重要元素，并增强驾驶员对当前情境意识的感知。很多企业都在探索将AR与ADAS相结合，更好地为行车检测和盲点检测等主要驾驶任务提供辅助。

（二）汽车人机交互应用增强现实技术的分类

1.AR-HUD与车载导航系统的结合

传统的车载导航以二维界面为载体显示信息，驾驶员需要对二维信息进行编码，转化为与环境相匹配的三维信息，这个信息加工的过程占用了部分注意资源，影响了驾驶员对真实环境的认知效率，带来了潜在的驾驶安全问题。

AR-HUD具有在现实世界中叠加虚拟提示的特点，能清晰直观地描述和感知信息，实现友好的自然交互界面，因此导航是AR技术在车载人机交互系统中最有应用前景的功能。AR技术使汽车成为一个可访问、视野范围大的透明显示器，用户只需像往常一样输入，就可以立即通过挡风玻璃感知环境信息，并与系统交互，而无需携带额外的电子导航设备或改变交互习惯[6]。

增强现实导航系统的应用可细分到四个维度[7]：1.帮助驾驶员寻找道路。运用新的可视化范式，如3D箭头、立体地图等方式消除影响判断的模糊选择，如图3 （a）所示道路前方出现两个相距不远的左转路口时，可帮助司机快速做出判断;2.跟车辅助。当道路前方出现车辆，系统可对前车车距车速等信息增强显示，如图3 （b）所示视野被前车或景观遮挡时，能通过隐藏路线增强辅助驾驶;3.交通信号&街道信息增强。前方出现交通信号灯和警示信号标志时，系统会进行二次显示，以防驾驶员忽略这些信息，或对周围建筑进行信息增强，帮助驾驶员识别和记忆当前所处位置;4.公共交通信息增强。系统可对公交巴士移动和停止信息进行预判，同时对周围的行人位置进行增强，提高公共交通安全性，如图3 （c）所示。

2.以驾驶安全性为目的的AR车载人机系统

当前，大多数车载显示系统都位于主副驾中间或仪表板区域，需要驾驶员将视线从道路上移开，因此车辆中的增强现实（AR）挡风玻璃概念具有提高行车安全性的巨大潜力。現在的应用大致可分为车内（车况、驾驶员等）信息和车外（环境、行人等）信息的增强。

1.车内信息增强。

车内信息包括了传统仪表盘（Head-Down-Design）上的车速、车况等信息，这些信息在不同情境下的需要有不同的显示模式。光线的强弱，天气的变化。目前已有多个汽车企业正在开发和完善AR-HUD信息系统，例如宝马在2018年宣布了和FUTURUS公司的合作，是将前挡风玻璃作为显示屏，这块显示屏运用了光场和超材料技术，驾驶员能在上面看到跟随情境变化的数字信息。

2.车外信息增强。与日常环境不同，驾驶环境是快速变化且复杂的，不仅受到天气条件、交通指示灯、行人的影响，还有很多突发事件都会对驾驶行为产生干扰，但人的注意力资源是有限的，运用AR-HUD系统设计车外信息显示模式可以很好地帮助卸载视觉通道上的负载。Ng-Thow-Hing教授[8]设计了一个车载系统，能在前挡风玻璃上显示重要交通信息，当检测到红灯时，会触发虚拟STOP信号，绿灯则显示GO标志。Vassilis Charissis[9]在论文中评估了恶劣的天气条件下的警示增强显示（包括交通拥堵标志和急转弯符号），验证了增强显示能改进预警系统，提高驾驶安全性。

3.AR车载人机系统与娱乐的结合

随着AR技术的发展，许多汽车巨头纷纷试水，2016年的世界移动通信大会（Mobile World Congress）上，克莱斯勒集团发布了一款汽车销售应用程序，该应用的特点在于用户无需出现在现场，只需借助Project Tango套件在空间中的运动捕捉能力，即可体验到汽车会场沉浸式的感受，实现自查看汽车参数，甚至对汽车进行个性化定制。

许多汽车企业也在积极探索AR在汽车设计中的可能性。哈曼、大陆和伟世通等公司都在尝试让导航信息、娱乐系统和环境信息与真实路况相结合，旨在减小司机视线的负载。增强现实不仅作用在驾驶安全上，更多汽车企业也在考虑副驾驶和后排乘客的乘坐体验，奔驰汽车研发了一款AR车窗让乘客在玻璃上为外面的世界添加任何想要添加的元素。CES展上，丰田公司的Fine-Comfort Ride研发了后座的概念车窗显示屏，能根据情境感知技术感知环境和乘客的信息，呈现出不同的元素以供交互。国内的威马汽车EX5也研发了以车窗作为显示载体的技术，为车内外的交互提供了新思路，如图4所示。

（三）汽车人机交互应用增强现实技术的设计原则

不同于传统的车载界面，设计师需要在基于增强现实的车载系统中考虑不同的因素，要同时思考真实视野与虚拟UI的关系、AR近眼显示特征、交互方式等。根据增强现实的特性，可以总结出以下几条设计原则。

1.显示区域大小。增强现实中的显示技术既要保证足够大的区域对周围环境进行覆盖，又要控制显示区域的阈值以保证驾驶安全性，用户视野与虚拟UI的关系决定了显示区域的大小。因此最佳设计方案要从人的视角场出发，水平方向上人眼单目范围为150。左右，竖直方向上则为120°，双眼重合区域50°～60°为最佳转动区，如图5所示。此外人眼对于不同元素的识别也有特定的区域，在30°～60°范围内眼睛能对颜色有很好的识别，但字母的识别区域就只剩下5°～30°，文字由于其复杂程度只能在10°～20°区间被人眼辨别，对于挡风玻璃上的设计，人的视角场是很重要的设计参考，不同信息的显示区域应当满足人眼立体视觉的特性。慕尼黑大学的教授[IO]建议将驾驶员水平和垂直面视野的至少40%归类为挡风玻璃显示器的主要显示区域。

2.显示条件。与移动端增强现实的运用不一样，AR-HUD系统处于暴露于变化的环境中，因此光源需满足车内特定的使用要求。首先要保证光源在阳光直射下仍可见，根据研究显示器的亮度需高于lOOOOcd/㎡;另一个需考虑的因素是显示透明度，目前挡风玻璃要满足至少透过70%的外部亮度，以确保驾驶安全性;若未来有了成熟的自动驾驶技术，驾驶员不必监控车外环境时，可以在汽车中提供沉浸式画面，届时挡风玻璃上就需要更高的分辨率和更丰富的色彩空间，目前市面上平视显示器分辨率在480*240到800*400像素之间[ll]。

4.多模态交互。现阶段量产车上驾驶员与车载屏幕的接触都是以触控为主，但挡风玻璃与驾驶员的距离已经超越了正常人的臂长，触腔交互不再是最佳选择。在AR-HUD系统中，多模态交互正在成为各大汽车厂商研究的方向，通过语音、触控、手势等方式将信息分散到多个输入通道，以提高驾驶员的操作效率、减轻认知负荷，带来更舒适更自然的交互体验。如LUXOFT公司推出的概念AR-HUD产品LUIAR，就运用了手势交互操纵系统，可以手写输入命令完成与系统的交互、模拟拖拽动作操控地图播放音乐等等;配备了AR眼镜辅助驾驶员用眼部注视完成操作、还能捕捉人眼状态进行疲劳驾驶提示等多种交互方式进行不同的操作，如图6。

4.尽量减少页面层级，避免深层树状结构。AR的特性使其在人机交互中具有实时变化，且移动速度快的特点，若在一个界面中承载过多信息，层级过深，很容易造成用户的视觉疲劳。

5.有充足的指引，突出显示可交互物体。尤其是在可选择多个物体的情况下，这一点非常重要;应保持虚拟物体原本的视觉完整性，同时注意不要让视觉的显示干扰到虚拟画面。目前市面上相对成熟的AR-HUD车载系统——车萝卜很好的做到对用户的指引，语音组件在底部固定区展示，发出指令后出现Toast提示，2s后消失，并且采用了“渐显出现渐隐消失”的过渡动效，不会对驾驶员视觉产生冲击，提升了驾驶安全性和舒适度。

6.交互动作应对应真实世界用户熟悉的操作习惯。由于是虚拟成像，用户需要对虚拟信息进行转化，需要更高的认知成本，因此在交互操作上要尽可能减小用户的认知负荷，如模拟投掷垃圾过程，用户可以拖动界面元素到垃圾桶标志来进行删除。

7.沉浸式UI组件。UI设计应服务于增强现实的应用场景，以沉浸式浏览为设计目标，尽量创建视觉上与真实世界相近的图标和画面，以免造成虚拟世界和现实空间的割裂感。宜家推出的增强现实应用《IKEA PLACE》就是很好的案例，用户可以通过移动设备将虚拟家具放置在现实家庭里，完成家具的在线选购，这款应用里呈现的虚}以家具都使用了拟物设计风格，能够很好的与周围的环境融合，给用户带来沉浸式的体验，从而帮助用户预览家具放置的效果，促成用户的购买行为。还有多款汽车展示应用，也都完成了1：1实体模型的构建，甚至可以看到汽车的内饰细节，让用户有更真实的体验感。

（四）汽车人机交互应用增强现实技术的难点 虽然AR技术能帮助提升驾驶安全，但目前还是存在着很多未知的问题：AR车载系统大部分搭载于概念车上，很多结论都来源于实验室环境下，未经过真实环境的考验，因此对于注意力资源分配的影响并未得到科学的验证;2.数字信息的颜色、透明度、位置等不能保证不受环境变化的影响，无法保证驾驶员能有效的接受信息;3.系统间优先级的排序对驾驶车的影响很少被提及。为了克服这些问题，之后的研究应该从两个方面考虑，一是结合情境感知技术探究不同环境下的系统模式;二是从人因工程学和用户体验的角度来分析驾驶员的活动和操作模式，从而确定一种整合车外车内信息显示的规范，用于提高未来AR车载系统的安全性和可用性。

结语

随着5G时代的到来，其高速度低时延等特点为虚拟现实和增强现实技术提供了生长的土壤，毫无疑问增强技术会在教育，医疗，娱乐，工程等各领域得到广泛的应用，与虚拟现实不同，增强技术是在现实世界中拓展人类的能力，因此有更适用于工业领域。目前，技术门槛与经济成本是阻碍增强技术发展的最大因素，但增强现实的理论基础，系统开发和应用推广等方面一直持续发展，在未来无疑会有更多消费者级别的混合现实产品进入日常生活，为普通人提供巨大的便利。纵观当前的文献和研究，不难发现大部分都集中在技术实现和程序设计上，对设计师来说真正的机遇会在增强技术普及大众时到来，如何设计自然易用的交互方式，为用户带来更好的体验，使虚拟世界与现实世界无缝结合是设计领域全新的挑战。

[1]刘思源，曾传华，夏茂栩，张一寒AR技术在汽车工业领域的应用[J].科技创新报. 2017， 14 （19） ： 110-111.

[2] Wang X， Ong S K， Nee A Y C A comprehensive survcy of augmcnted rcalicy asscmbly rcscarch[J].Advanccs inManufacturing， 2016. 4 （1） ： 1-22.

[3] Novak-Marcincin J. Barna J. Torok J Precision assembly proccss with augmented reality technology support CKey Engineering Materials Trans Tech Publications Ltd. 2014. 581 ： 106-111

[4] Webel S. Bockholt U， Keil J. Design criteria for AR-based training of maintenance and assembiy tasks[C]international Conference on Virtual and Mixed Reajity. Springer， Berlin， Heidelberg， 2011 ： 123-132

[5] Ng-Thow-Hing V， Bark K. Beckwith L. et al. Usereentered perspcctives for automotive augmented reality [C]IEEE International Symposium on Mixed and Augmented Reality. 2013： 13-22

[6] S. Sridhar and V Ng-Thow-Hing， "Generarion of virlual display surfaces for in-wehicle contextual angmentedreality. " 2012 IEEE International Symposium on Mixed and Augmented Reality （ISMAR） . Atlarua. GA， 2012， pp. 317-318

[7] Vassilis Charissis， A Comparative Study of Head - Mounted and Table- Mounted Augmented Vision Syscems forAssembly Error Detection [J] . Human factors and ergonomics in mamufacturing &service 2021.24（1）： 105-123

[8] NHTSA.Distraction.http：// wwwnhtsagov/Research/Crash+Avoidance/Distraction . 201O

[9] Henderson S J， Feiner S Evaluating the benefits of augmented reality for task localization in maintcenance of anarmored personnel carrier turret[C] //2009 8th IEEE International Symposium on Mixed and Augmented Reality. IEEE. 2009： 135-144.

[IO] Renate Haeusischmid （Haeusischmid R， Pfleging B . Ait F A design space to support the developmen ofwindshield applicatious for car[C].//Proceeding of the 2016 CHI Conference on Human Factors in ComputingSystems. 2016： 5076-5091

[ll]黃博渊增强现实技术在汽车内饰中的应川研究[J].设计. 2016， （7）： 58-59