基于三维虚拟视觉及交互设计的室内设计平台建构

蒋梦菲 原丽花

摘  要： 传统的室内设计系统无法解决复杂场景的三维构建和可视化问题，更无法满足用户沉浸感和动态交互的需求。因此，在现有研究基础上，以自然直观的人机交互和逼真的虚拟环境体验为目标，设计基于三维虚拟视觉及手势交互设计的室内设计平台。根据实际的功能需求分析，完成了平台功能并给出基于双目视觉技术进行人机交互的总体结构。利用摄像机设计交互功能中的虚拟手形识别算法，降低了应用成本，提高了识别的效率。室内设计环境的仿真测试结果表明，提出的室内设计平台能够有效进行直观的室内三维场景可视化，且具有较好的准确性和交互性。

关键词： 3D虚拟视觉; 人机交互; 摄像机模型; 双目视觉技术; 室内场景; 三维环境

中图分类号： TN911?34; TP393                    文献标识码： A                     文章编号： 1004?373X（2020）03?0125?04

Construction of interior design platform based on 3D virtual vision and interactive design

JIANG Mengfei1， YUAN Lihua2

（1. Sichuan Tourism University， Chengdu 610100， China; 2. Southwest University of Science and Technology， Mianyang 621010， China）

Abstract： The traditional interior design system fails to solve the 3D construction and visualization of complex scenes. Moreover， it can′t meet the needs of user immersion and dynamic interaction. Therefore， on the basis of the existing research， an interior design platform based on 3D virtual vision and gesture interaction design is designed with the goal of realizing natural and intuitive human?computer interaction and realistic virtual environment experience. According to the analysis of actual functional requirements， the platform function is realized and the overall structure of human?computer interaction based on binocular vision technology is provided. The virtual hand shape recognition algorithm in the interactive function is designed by camera， which reduces the application cost and improves the recognition efficiency. The simulation test results of the interior design environment show that the proposed interior design platform can effectively visualize the indoor 3D scene with higher accuracy and better interactivity.

Keywords： 3D virtual vision; human?computer interaction; camera model; binocular vision technology; indoor scene; 3D environment

0  引  言

随着计算机技术和网络技术的高速发展，人们逐步体验到了高性能计算机和高速带宽带来的全新体验。在线购物、网络社交、虚拟旅游和大型3D游戏已经被现代社会所接受。室内环境作为人们最熟悉的生活和工作场所，其传统的二维界面管理或者设计系统已经无法满足人们逼真沉浸感的需求[1]。现代人需要的是更加形象、更加真实、更加便于交互的三维虚拟仿真环境[2]。因此，如何利用虚拟现实技术来实现沉浸式虚拟环境的搭建和交互，成为当前虚拟仿真技术研究的热点[3]。

文献[4]提出了一种基于三维视觉的室内设计虚拟现实方法，通过三维场景点云数据集和高斯混合模型拟合，达到了较好的三维场景重构效率和精度。文献[5]提出了一种基于三维平台的虚拟图书馆室内设计与构建方法，实现了便于在线工作的三维虚拟设计与展示系统。但是，现有提出的三维虚拟室内设计平台存在交互体验差（人机交互准确率低）或者成本高昂的问题。因此，为了提高人机交互的准确性、降低实现成本，本文设计了基于三维虚拟视觉及手势交互的室内设计平台，从而为用户提供全新的逼真虚拟场景体验。

1  室内三维虚拟交互的功能需求分析

传统的室内设计系统无法解决复杂场景的三维构建和可视化问题，此外，更无法满足用户沉浸感和动态交互的需求。而虚拟仿真的出现，可以有效解决上述问题，能够带给用户丰富而全方位的体验[3，5]。本文以室内环境为主要研究对象，构建具有良好人机交互功能体验的虚拟设计平台，其功能需求主要包括：

1） 室内三维实体组件模块的管理，包括室内物品、材料的导入和展示等。

2） 室内场景下的交互操作功能，包括视角切换、场景漫游、输入响应等人机交互的各种操作。

3） 数据库管理和显示功能，包括自定义显示信息、属性定义等。

4） 人员管理常用功能，包括地图导航、查询位置定位等。

2  基于三维虚拟视觉及交互设计的室内设计平台建构

2.1  平台功能设计

通过上述室内三维虚拟交互的功能需求分析，对平台所需的功能进行设计，如图1所示。

2.2  总体结构设计

现有的三维虚拟室内设计平台采用的交互功能存在诸多问题，主要原因是其虚拟显示交互系统采用的输入设备[6?8]：

1） 对于输入设备是三维鼠标和三维游戏杆的系统来说，其存在工作效率不高、用户的人机交互体验较差的问题;

2） 而对于输入设备为头部跟踪设备和手势跟踪设备的系统来说，用户可以得到更加自然、逼真的沉浸感。输出设备均为VR眼睛。其中，利用数据手套作为输入设备进行人机交互，会导致系统的成本大幅提高，影响了系统的普及和推广应用。

由于使用数据手套实现现实中的人手与计算机交互，可以大大提高虚拟现实系统的可操作性。但是它价格昂贵、需要校准，导致实现成本高昂、使用不方便。而采用摄像机拍摄的方法来获取手的运动，无需数据手套就能够捕捉和识别手势的动作，因此，本文采用基于计算机视觉的虚拟手交互来完成三维虚拟交互室内设计平台的交互模块功能，其总体结构示意图如图2所示。室内虚拟环境的搭建和生成采用Unity3D引擎渲染，技术已经较为成熟，因此不做过多介绍和分析，接下来将对平台的重点——交互设计进行重点分析。

3  基于虚拟手形识别算法的人机交互设计

3.1  摄像机模型

三维虚拟环境下的手势识别必须采用立体视觉系统，而双目视觉应该是常见的立体视觉系统。需要对两台摄像机在工作区中的位置和朝向进行分析。实际三维空间一个四棱锥顶点坐标[P]的坐标为[WP=[WPx，WPy，WPz]]，其投影成图像点为[IP=[IPr，IPc]]。两者的变换关系为[9]：

式中：W为世界坐标系;C为摄像机坐标系。设图像坐标点为[（x，y）]，相关的摄像机坐标点为[（CPx，CPy，CPz）]，那么可以按照如下方式进行透视变换：

式中[f]表示焦距。

3.2  基于双目视觉技术的手势识别

本文实验将采集到的RGB值转化成HSV值，具体步骤如下[10]：

式中：[r，g，b]和[H，S，V]分别为每个像素的RGB分量和HSV分量。接着进行HSV二值化。

本文采用基于运动学反解的仿真算法[11]实现手形绘制，并默认满足手的运动约束关系。解剖学研究显示，人手指关节之间的关系如下：

式中：[γ]表示某个手指;DIP和RIP分别表示不同的关节位置，具体运动学模型如图3所示。

基于运动学反解的仿真算法主要逆向推出关节在关节空间中的状态，方式如下：

式中：[X]为关节末端的状态矢量;[q]为关节角度参数。在本文中利用牛顿法实现三角方程[f（?）]的求解，在一定程度上提高了迭代速度，有利于增强实时性。

4  实验结果与分析

4.1  实验硬件和软件环境

为了验证提出的三维虚拟交互室内设计平台的性能，本文以家居室内应用为例进行了开发和实例验证。使用双目立体视觉和Kinect深度摄像机进行室内场景三维重建。借助虚拟建模软件3dsMax搭建室内实体及其三维场景，并结合Unity3D引擎作为虚拟驱动平台重构。操纵系统为Windows 7。实验的硬件设置和配置情况见表1。从表1可以看出，该平台无需数字手套输入设备，因此成本较低。

4.2  效果分析

在切换到室内场景设计的界面时，室内三维虚拟交互的效果如图4所示，用户自由交互式漫游效果良好，通过双目立体视觉和Kinect摄像机实时检测用户手形和轮廓，从而实现人机交互输入，得到了自然直观的用户体验效果。

4.3  实时性和准确性分析

表2为基于双目视觉技术的手势识别的检测率结果，可以看出，实际发生的帧数和检测出的发生帧数之间差距较小，也就是说，能够在相当短的时间内检测到手势的变化，实现了快速的输入响应。

表2中误差的计算方式[12]如下：

式中：[A]表示用户产生手势变化时的帧;[D]表示平台检测出的帧数;[error]表示误差。从表1中可以看出提出识别算法具有较好的实时性。

将本文识别算法与基于OpenCV[13]、单目视觉[14]的手勢识别方法进行了对比。重复一个手势动作100次后，三种不同方法的手势跟踪结果如图4所示。可以看出，本文方法的跟踪误差最小。此外，对于不同的20个手势动作也进行了100次重复实验取平均值。三种方法的识别准确率如表3所示。可以看出，对于大部分手势动作，本文方法均能够准确识别出来，如向左、向右等动作。在相同条件下，相比于OpenCV和单目视觉，本文方法能够保持更高的准确率。

5  结  语

本文设计了一种基于三维虚拟视觉及手势交互的室内设计平台，提高了人机交互的准确性、降低实现成本，并为用户提供了全新的逼真虚拟场景体验。实际室内应用的实例运行结果验证了提出平台设计的可行性和实时性。此外，相比基于OpenCV、单目视觉的手势识别方法，本文提出的双目视觉技术手势识别表现出更高的准确性。但是，对于复杂的手势运动，平台交互识别效果不够稳定，鲁棒性不高，且受到光线强度的影响较大，后续将对此开展进一步研究。

参考文献

[1] LAVER K E， GEORGE S， THOMAS S， et al. Virtual reality for stroke rehabilitation [J]. Physical therapy， 2016， 2（9）： 20?21.

[2] SATAVA R M. Virtual reality， telesurgery， and the new world order of medicine [J]. Journal of image guided surgery， 2015， 1（1）： 12?16.

[3] RIZZO A， HARTHOLT A， GRIMANI M， et al. Virtual reality exposure therapy for combat?related posttraumatic stress disorder [J]. Computer， 2014， 47（7）： 31?37.

[4] 师春艳.基于三维视觉的室内设计虚拟现实方法研究[J].现代电子技术，2018，41（5）：78?82.

[5] 彭渝，秦小铁.基于三维平台的虚拟图书馆设计与构建[J].重庆科技学院学报（社会科学版），2014（6）：142?143.

[6] BASTUG E， BENNIS M， MEDARD M， et al. Toward interconnected virtual reality： opportunities， challenges， and enablers [J]. IEEE communications magazine， 2017， 55（6）： 110?117.

[7] FRISOLI A， SALSEDO F， BERGAMASCO M， et al. A force?feedback exoskeleton for upper?limb rehabilitation in virtual reality [J]. Applied bionics & biomechanics， 2014， 6（2）： 115?126.

[8] PARK J， PAN Y， KIM C， et al. Future information technology [M]. [S.l.]： Springer， 2014.

[9] 付朋，陈新度，吴磊.基于角点的双目视觉绝对定位研究[J].电子测量与仪器学报，2018（3）：1?8.

[10] 李秀娟，刘伟，李珊红，等.基于双目视觉导航的仿生机器人鲁棒控制算法[J].计算机科学，2017，44（8）：318?321.

[11] 林碧华，张开淋，刘向军.基于虚拟双目视觉的电器电弧弧根三维运动特性的研究方法[J].电器与能效管理技术，2017（23）：1?5.

[12] IMPAIRMENT G. Effectiveness of conventional versus virtual reality based vestibular rehabilitation in the treatment of dizziness， gait and balance impairment in adults with unilateral peripheral vestibular hypofunction [J]. Journal of the American society for mass spectrometry， 2014， 17（5）： 661?671.

[13] 赵健，张冬泉.基于OpenCV的数字手势识别算法[J].计算机应用，2013，33（z2）：193?196.

[14] 巫建辉.基于单目视觉的人机交互系统研究[J].工业控制计算机，2018，31（12）：7?8.