沉浸式虚拟环境在水电仿真培训系统中的应用研究

张卫君，邱 洋，薛 飞

（北京中水科水电科技开发有限公司，北京100038）

0 引言

随着仿真建模技术、虚拟现实技术、网络技术、仿真支撑平台技术的发展，水电仿真技术也在不断进步并广泛应用到水电技术人员培训考核鉴定与仿真研究中[1-3]。水电仿真培训技术的发展经历了基于实物模型的仿真系统、仿真机+盘台设备仿真系统、全数字仿真培训系统3个不同阶段，当前，随着沉浸式虚拟现实技术的飞速发展，水电仿真培训已进入到沉浸式三维虚拟现实仿真培训技术阶段。将虚拟现实技术应用于水电仿真培训，利用计算机模拟产生一个三维空间的虚拟水电厂，提供受训学员关于电厂空间、环境特效、作业操作、设备控制等的模拟，让学员如同身临其境一般，提高培训的生动性、真实性、有效性[4]。

虚拟现实技术涵盖了桌面VR、沉浸式VR及增强现实（AR）。本文研究内容是在OTS2000虚拟现实水电仿真培训系统研究及成功应用的基础上，将多通道投影技术、基于MEMS传感器的人体动作捕捉及虚拟人驱动技术、虚拟现实引擎技术应用到水电仿真培训中，构建一套沉浸式水电站虚拟环境，即沉浸式VR技术在OTS2000系统中的应用研究。通过创造个性化的虚拟培训环境及VR的交互式学习培训方式，可以实现趣味性与挑战性并存的境界，参与者可完全投入其中。

1 沉浸式环境硬件配置

沉浸式水电厂运行仿真培训系统硬件结构配置如图1，由立体弧形幕、3通道三维投影仪、穿戴式人体动作捕捉设备、3 D立体眼镜、图形工作站、信号采集工作站和交换机组成。

图1 硬件系统配置

图形工作站运行虚拟现实引擎，生成三维立体场景信号，经融合软件进行边缘融合、曲面校正后，由图形卡同步输出3路视频信号给投影仪，投射至大型立体弧形幕中。立体视频输出信号由虚拟现实引擎控制左右眼视角信号实现，参与者通过佩戴快闪式立体3 D眼镜，沉浸在高度逼真的水电站场景中，体验水电站水机、电气设备的正常、异常、事故状态及其动作过程，进行设备虚拟巡视、检查、漫游、操作及事故处理。

采用基于MEMS的惯性运动捕捉系统，实现人体运动数据采集。动捕节点利用9轴运动传感器进行姿态计算，计算出的数据通过无线通信方式传送给数据采集板，数据采集板与主机之间通过串口方式连接。通过实时捕捉和样本识别来驱动虚拟人与虚拟场景的互动，参与人员通过虚拟人与虚拟的设备及场景的交互，还需要进行精确碰撞检测并结合手势判断来实现。

2 系统体系结构

沉浸式虚拟现实平台仿真功能实现基于OTS2000仿真系统，虚拟现实平台负责三维场景管理与显示、三维交互、沉浸式交互设备接口，并与OTS2000系统的一体化接口实现互联与互操作。Simu3D虚拟现实平台体系结构图如图2所示[4]。

图2 Simu3D虚拟现实平台体系结构图

3 关键技术研究

3.1 虚拟人的行为仿真

虚拟人行为仿真包括虚拟人体模型的构建、人的动作过程仿真、语言交流和面部表情等的仿真。在水电运行虚拟环境中的虚拟人行为主要有巡视行为和操作行为，巡视行为如站立、行走、蹲下等，操作行为如阀门、按钮、把手、开关等操作。利用运动捕捉系统获取的实训人员轨迹数据，对虚拟人相应关节进行驱动，通过对虚拟人关节的动作控制实现虚拟人动作，从而实现实训人员在虚拟水电运行场景中的各种运动及操作模拟（图3）。

3.2 水电运行场景中的人体动作识别

沉浸式水电站场景中的人体动作识别包括人体静态姿势识别和人体动作序列识别。运动捕捉系统实时采集各关节点运动数据，根据采集到的数据对肢体动作进行识别，如手部运动主要是指左右手的向左向右挥动、向前伸出、向上举起等。我们通过这些手势动作来和应用程序进行交互，比如完成旋转、点击、调取菜单、确认等，识别流程如图4所示。

图3 虚拟人行为仿真

图4 人体动作识别流程

在水电运行场景中，动作大都是手臂和腿的运动，因此将手臂和腿作为特征提取的主要关节。根据手臂的坐标、欧拉角和腿的欧拉角判断出动作所属区域，将样本进行分层训练。根据人体骨骼特征提取出上身关节对应的4维骨骼特征数据和6个关节在全局坐标系下的三维坐标值以及4组欧拉角，一共使用34个特征描述人体关节的运动信息，采用主成分分析法对数据降维，求解特征值和特征向量。

3.3 水电运行操作动作的语义映射

在沉浸式水电运行仿真系统中，通过运动捕捉系统获取的低延迟、高精确度的关节运动数据，需要经过动作识别，辨识为水电运行现场工作中的巡视、操作、验电、设置围栏、挂牌等操作。典型人体动作库中包含几百种人体动作，为了提高人机交互的实时性，我们不需要辨识全部的人体动作，而是选取典型操作定义一组人体交互的语义，辨识这些语义对应的动作即可。我们预先定义沉浸式虚拟环境中的各种操作模式下的语义动作如下页表1。

我们通过设计一种支持优先级混合的动作编排方法，能使虚拟人的动作控制更加灵活。多个动作同时发生时，设定每个动作权重来控制关键帧动画变形系数，以实现不同优先级动作的同时渲染。在层次化骨骼建模方法的基础上，建立动作关节点和骨骼模型相对应的肢体关联关系，设定关节的变形权重，通过对发生位移的关节点位置进行加权求和，从而计算出多个动作发生时关节点的新位置，实现多个动作的关键帧同时变形的效果。

表1 虚拟人动作语义表

4 结束语

沉浸式虚拟环境水电仿真培训系统是在OTS2000三维虚拟现实仿真培训系统基础上增加多通道三维立体投影系统和人体动作捕捉设备，使受训者能完全置身于一个虚拟化的水电运行环境之中并与之交互，让学员如同身临其境一般，提高培训的生动性、真实性、有效性。

本文研究的沉浸式虚拟平台已成功开发并应用于中国水科院自动化仿真实验室虚拟现实项目建设，其关键技术的研究成果和设备配置可推广应用于水电仿真培训建设项目中。