基于三目立体的场馆数字再现增强现实技术

汤 安，樊海玮

(长安大学，陕西 西安 710064)

1 引言

增强现实就是在虚拟现实技术基础上信息计算机应用在人机交互上的技术。其借助光电显示技术、交互加速、多传感器技术、计算机图形和多媒体技术通过计算机生成虚拟环境和用户周围的真实场景的组合部分，使得用户从感官上确信虚拟环境是其周围真实场景的组成部分。和沉浸式虚拟现实不同，增强现实技术关键是在现实世界的基础上，为用户提供一种新的感官复合的视觉效果。增强现实技术不仅拥有真实感强、建模工作量小的优点，并且更为安全可靠。所以该技术在教育机构、医疗研究等领域的得到了广泛的应用，其中这种增强现实技术在体育场馆中的应用是当前的热点研究话题，为了让人们能够更加充分的了解体育场馆，国内外学者也通过以下方法对其进行增强现实。

文献[1]首先分析现实增强概念，获得其特征，然后在将场馆内的资源进行排列整理，得到场馆源序列，再进行可视化检索，得到场馆的信息交互，随后将上述得到的资源进行整合，从而构建出移动资源展示系统，通过该系统对场馆进行增强现实。但是该方法，只是通过普通的检索来得到场馆图像，并没有过硬的滤波器，这就导致在完成现实增强后图像会出现模糊现象。

文献[2]首先拟定包装的基础资源信息，之后通过扫描叠加对包装进行处理，获得包装的具体信息状况，并将其进行分类，再进行现实增强包装设计，随后将信息转换成二维图像，再通过AR叠加信息技术转换为三维视觉图像，最后将上述得到的信息进行整合，并融入三维视觉图像内，从而得到包装的增强现实。但是该方法需要反复对信息进行状态索取，这种操作会浪费大量的时间，导致了在构建增强现实时效率过低。

文献[3]首先收集零件图纸特征点信息，并将其匹配得到零件图纸的虚拟模型信息，然后通过Uni-ty3D将模型信息转换成虚拟的三维模型，并生成其周边场景，随后通过VuforisSDK添加虚拟对象和人机交互系统。最后将上述资料进行融合，就可以得到机械零件的增强现实。但是该方法并没有进行模型锐化，导致其会出现边角模糊和线条不均匀问题，使其首到很大的环境限制。

针对上述问题，本文提出了一种基于三目立体的场馆数字再现增强现实技术，以体育场馆为例，通过多尺度边缘提取与互能量交叉获得场馆边缘特征，并进行噪声消除，然后利用三目极线约束与梯度方向约束将线条约束，使得后续做出的场馆增强现实不会受到场地限制，之后利用扫描仪收集场馆的三维点云数据，从而得到完整的场馆三维立体模型，最后录制增强现实虚拟解析人物模型、声音解锁和文字介绍，并将其融入到三维立体模型内，完成场馆的增强现实。

2 基于三目立体的场馆数字再现增强现实技术

2.1 场馆数字多尺度边缘提取

(1)

经过对小波分解图像的带通特质分析得出，体育场馆数字边缘处于高频分量中，通过视觉特性可以知道，人眼视觉对图像的垂直方向和水平方向边缘较为敏感，其代表了图像的关键边缘。为了收集此类图像的主要边缘，对小波分解的三幅高频分量子图像D1，j、D2，j和D3，j选取适合的门限，进而得到每个图像自己的边缘图像，再通过不同的集合产生所需要的边缘图像，将三幅高频子图像进行计算

De，j=D1，j⊕D2，j⊕D3，j

(2)

互能量交叉是噪声抑制方法的关键出发点，一般边缘在小波分解的每个长度都含有非常大的能量，而噪声的能量会随着长度的增加而对应的缩小，所以互能量交叉可以分别把通道分量进行相邻通道能量交叉，从而将主要边缘突出。

通过互能量交叉抑制方法对噪声处理的拟定成

De=sgn{De，j}×|De，j|×|De，j+1|

(3)

式中，sgn{·}代表取整函数的符号，即在确保原始边缘图像质量[5]不变的状态下，把边缘图像做临近两层交叉处理，进而得到完整的边缘图像，在处理的过程内得到抑制噪声的效果。

其中的原因有两种：①小波分解把噪声散播至所有通道，因为噪声在通道的能量位置都各不相同，而且噪音中间不会存在联系，所以互能量交叉的结果，可以间噪声的影响进行抑制，②信号对于噪声在通道都含有非常大的能量，互能量交叉的结果，可以把边缘的能量值提升，进而将图像的主要边缘突出。

2.2 三目立体匹配算法

上述提取出的特征点会受到噪声因素的影响，所以点特征不及线条特征可靠。对此，匹配将分为两种层次进行。第一层即线的匹配，首先使用三目极线约束与点的梯度方向约束对线上少量的点进行点的匹配，从而确保线和线的相应关系；第二层即点的匹配，通过上述得到线的相应关系为约束，引导线上的其它点进行匹配。下面首先讲述三目极线约束[6]与点的梯度方向约束，然后给出新的匹配算法。

2.2.1 三目极线约束

三目立体视觉系统内(如图2所示)，右、中、左三个摄像机收集的图像分别对应平面L、M、R，O1和O2、O3代表三个摄像机的中心，P代表空间一点，该点在三个平面中的投影的像点分别是P1、P2与P3。

图2 梯度方向约束结构图

图1 三目极线约束结构图

2.2.2 梯度方向约束

相对于线的匹配，同一条直线在不同的角度上所对应的线段梯度方向是大小相邻的，特别是对于摄像机光轴平行的立体视觉系统，用直线方向信息能够有效的减少搜索范围[7-8]。本文提取的边缘线只是其中的一部分靠近直线，所以不可以直接使用直线的方向约束，不过所有视图中相应同一边缘的匹配像点，它们的梯度方向仍是相近的，其差值限定在一个非常小的范围内，这时一种有效的约束方法。

在图2内，lL、lM与lR代表一组相应的匹配线条，p1、p2与p3代表线中一组相应的匹配点，α1、α2与α3在三种像点的梯度方向角，所以三种角度应当满足|αi-αj|

2.2.3 立体匹配

3)j=j+1，转1)。如果在线段i中搜索到终点，那么i=i+1，转1)。

5)对线段ks与mt已经匹配标记拟定成TRUE，继续向后作逐点匹配，一直到(i，ks，mt)三条线内有一条到尽头。

6)i=i+1转1)，一直到参考图像中能够匹配的线段匹配结束。

通过上述能够看出，该算法是用边缘线中少量点的匹配确保边缘向的相应，之后以此为强约束，继续指引后端点的匹配。算法内除了通过边缘点的梯度方向约束与三目立体极线集合约束外，因为点的匹配是按照顺序逐一进行的，所以拥有了顺序一致性约束。因为线条提取后的编号会和线条在图像的位置存在关联，为了提高匹配速度，在另一视图内完全能够凭借编号限定线条的搜索范围。

2.3 场馆数字再现增强现实实现

2.3.1 快速获取场馆数字的三维点云数据

经过FAROFocus3D扫描仪获取三维点云数据的具体过程如下所示：

1)建造扫描仪，调整扫描仪的水平参数和重力参数，拟定扫描效率和准确度等参数。

2)配准扫描仪。

3)放置靶球。

4)扫描。

选取分辨率与参数质量，其参数会影响到点云数据的精准度，点云的密度越高分辨率与质量就越大，扫描的就越精准，每个位置扫描的时间也就越长，往往这种参数是依据需要来选取的。

2.3.2 场馆三维点云数据处理

为了使场馆三维模型更加逼真，在三维点云数据的基础上，使用Gemagic和3DMax软件分别对三维模型进行贴图处理和点云剪辑，具体的云剪辑过程如下所示：

1)把获取点云数据从SD卡转移到电脑里。

2)使用Gemagic软件将三维点云数据进行优化修补。

3)通过网格优化模型。

2.3.3 场馆数字增强现实开发关键技术

增强现实就是将场馆外形、声音使用三维虚拟技术传输至互联网、平板电脑与手机等平台里，其超越了传统意义的时间与空间制衡，经过JAVA语音开发场馆数字的产管数字增强现实，完成的流程如下所示：

1)录制场馆数字的虚拟声音、人物模型与文字介绍，并设定后期的场馆音效、字母描述、交互动作与动作展示，直到最后的平台发布，利用3DMAX进行内部外部模型与空间的构建，使用Unity3D技术对人机互动进行设定，从而完成系统的交互能力。然后，优化模型与贴图，同时添加对应的粒子系统与渲染效果，将虚拟场馆展示效果进行优化。同时将反光、灯光与阴影添加到虚拟场馆里，然后把模型输送到Unity3D平台里，之后把其它的效果输送到纹理内，使得模型出现更为真实的音影效果。

2)利用Mark识别法进行三维注册，经过比特网法对场馆图像进行处理。首先得到三种点在显示器坐标内的坐标，通过某种算法计算出这三种顶点在摄像机坐标内的相应点的坐标，通过计算能够获得四组解的点坐标集合。

将上述过程转换成公式可以表示为：

D=CT

(4)

其中，矩阵T为摄像机里部的参数矩阵，摄像机搜索到坐标后就将其当做已知参数；矩阵T为待求转换矩阵，使用平面几何建造三种可见点合成的平面坐标系。C代表特征图像坐标系与显示器屏幕坐标系。

3)动态拟定素材的亮度和阴影，将图像的亮度分布进行处理，凭借亮度的值匹三维素材的色泽和亮度进行配对，使场馆环境更具有真实感；经过亮度分布判定环境光照的方位，进而映射出虚拟场景和之真实物体间的阴影。场馆数字增强现实系统的大体构架：首先拟定模型的布局，再拟定交互模块，在漫游浏览模块里，可以自主调换动画，自主模块里能够自主的挑选浏览的方式。

模拟在浏览过程中的场馆虚拟环境，之后拟定声音视频的交互环境，其包含动画模拟、背景音效与音乐立体3D音效等，最后就是场馆内的交互界面，其关键点即通过用户的触碰，操作虚拟场馆内的场景变换，热点选择，就是使用屏幕里的虚拟镜头，使用户能够浏览整体的虚拟场馆。

3 仿真证明

仿真环境为Intel Celeron Tulatin1GHz CPU和384MB SD内存的硬件环境和MATLAB6.1的软件环境。本文将利用本文方法进行场馆建模，以体育馆为例，得到仿真图，如图3所示。

图3 体育场馆仿真图

为了证明本文方法的效果，使用文献方法与本文方法进行比对，通过完成后增强现实模型的误差作为比对标准，其结果如图4所示。

图4 不同方法的增强现实模型误差图

通过图4能够看出，本文方法对增强现实模型帧间的误差不大，这说明本文方法做出来的增强现实可以更好的模拟现实体育场馆的具体结构。文献方法因为模拟的场馆临近图使用的顺序是搜索方法，虽然留下了场馆的大体构造，但是一些微小细节，会被搜索方法连带着冗余构造一起删除，因此导致传统方法在完成场馆的增强现实后会出现局部不清晰的问题。

在系统构建增强现实的训练阶段，本文构建D=10层深度的随机数，用在对场馆内的关键点进行帧率检测，其帧率计算过程如下所示

(5)

式中，Z(s)表示帧数；ti表示时间。在固定帧数的基础上，利用该式实现帧率测试，实验结果如表1所示。

表1 关键帧的帧率测试

分析表1可知，本文方法具有较高的帧率，此外，由于帧率受时间与帧数的影响，同时，本文限定了固定帧数，因此，本文还具有较高的实时性。而传统方法之所以帧率低、实时性差，是由于使用交互关系数选择关键帧比较耗费时间，并且虚拟场馆的模型面片数量较多，干扰了系统的实时性能。在使用本文系统进行处理后，系统在双核CPU机器中的刷新率提高了一倍，满足了场馆增强现实的实时性。

4 结论

本文针对体育场馆特点，使用三目立体手段来提升场馆数字再现增强现实，使用多尺度边缘提取算法与互能量交叉算法提取出场馆的边缘特征，同时进行去噪处理，在后期的制作上不会出现边缘模糊不清问题，之后利用三目立体匹配算法对场馆的极线进行约束，使得每帧虚拟图像不会出现掉帧现象，最后通过传统的录制音效方法，录制文字减少与声音，并将其与上述得到的资源进行融合，从而完成对场馆的增强现实。