基于流媒体技术的风力发电机全景监测虚拟现实系统研究

宋中越，马姣姣，甄 冬，师占群，胡亚欣

(河北工业大学 机械工程学院，天津 300130)

基于流媒体技术的风力发电机全景监测虚拟现实系统研究

宋中越，马姣姣，甄 冬，师占群，胡亚欣

(河北工业大学 机械工程学院，天津 300130)

在工程监测中，通过虚拟现实技术进行预警、侦测或巡检等，可在保证人身安全的情况下，对设备状态进行监测并判断；目前多数虚拟现实开发技术存在需要大量存储和分析数据的问题，采取流媒体技术可以很好的解决数据量的问题，但采用具有流媒体功能的软件开发的虚拟场景没有很好的临境感，而全景技术能够使人从各个角度获得直观的立体感，能够解决场景临境感差的缺陷；将流媒体技术与全景技术结合建立风力发电机的全景漫游监测系统，实现了对风力发电机的监测，得到了很好的效果。

虚拟现实；流媒体技术；全景技术；风力发电机

0 引言

由于虚拟现实系统是一种高级的人机交互系统，是能够给人多种感官刺激的虚拟环境，又因其具有广泛性、多样性、直观性和对人类社会生活领域影响的深刻性，使其成为了当代信息技术研究的热门领域[1]。在工业过程中虚拟现实技术的应用较为广泛，对危险环境或特殊工况下的设备运行进行模拟监测，将会很大程度上保证人身安全，并对设备起到一定的保护作用。随着对新能源开发的兴起，由于风的无污染、可再生和廉价等特点，风力发电机成为了新能源设备研究的重点[2]。由于风力发电机的核心传动部件处于高空中的机舱内，并且风力发电机中故障率最高的部位是风力发电机传动系统中的齿轮箱，所以在风力发电机的研究中，对风机故障监测系统的研究具有重要意义，监测系统能够使人对风机的状况进行远程了解。虚拟现实技术能够实现对设备的全方位监测，不同于传感监测，虚拟现实监测能使人具有临场感而不产生任何人身危害，使得监测更加直观，故采用虚拟现实技术开发风机监测系统具有很大的工程意义。

河南理工大学的邵艳梅等采用irrlicht 3D绘图引擎建立虚拟矿井,并结合矿井实时监测系统的测量数据建立一套融合井下漫游、生产仿真、实时监测、井下信息管理于一体的井下安全实时监测系统；安徽建筑工业学院的彭曙光利用分布式虚拟现实技术,将三维虚拟场景实现技术和网络技术引入到隧道施工的监测中,建立了具有可视化、临境性、交互性的网络化隧道施工监测系统。

现有开发的虚拟现实系统都需要存储分析并传输大量的数据，对硬件设备具有较高的性能要求，本文采用流媒体技术解决了这个问题，并采用全景技术解决了临境感较弱的缺陷[3]，将流媒体技术与全景技术结合开发风力发电机的虚拟监测系统。

1 虚拟现实原理

虚拟现实系统涵盖虚拟世界(环境)和介入者(人)两个部分，并且虚拟现实系统的核心是强调人与环境之间的交互操作。对虚拟现实系统的搭建主要包括硬件和软件两个部分，其基本组成包括计算机、硬件设备、软件系统、数据库以及用户参与，虚拟现实组成模型图如图1。

图1 虚拟现实组成模型图

用户接受虚拟环境带来的体验，进而做出反馈，是人机交互的主体；硬件设备主要包括虚拟世界的生产设备、感知设备、跟踪设备和交互设备等，其中感知设备用于生成多通道刺激信号，跟踪设备用以检测用户在虚拟世界坐标中的位置及方向；软件系统包括的主要信息包括虚拟物体几何信息、物体的碰撞检测及分层建模等，一般软件系统要配合数据库使用，数据库用以存放虚拟环境中物体的各方面信息。

虚拟现实系统具备人在现实客观世界中具有的所有感知功能，并且能够使人与虚拟世界进行交互，另外虚拟世界可以根据人的想象来个性定义，使虚拟系统具备沉浸性、交互性和想象性的特性[4]。

2 流媒体技术

采用流式传输技术在网络上连续实时传输媒体文件不仅大大缩短了启动延时，同时也提高了互动性。在众多具有流媒体技术的设计软件中，Flsh较为典型。Flash是一种用于互联网的动画编程语言。它采用了网络流式媒体技术，突破了网络带宽的限制，可以在网络上更快速地传递数据并实现动画交互，本文采用Flash技术开发虚拟系统，同时使其具备虚拟现实的三大特性。

传统虚拟现实技术需要有大量数据在有限的带宽资源中传输，具有一定的瓶颈。Flash采用Shockwave技术，按照“流”方式传输数据文件，可以边下载边传输，用户无需等待；另外Flash的矢量技术也对减小数据空间起到了很大的作用。

流方式传输主要包括数据的传输、缓存和解码，在传输方面对节点输入带宽容量进行限制，在一个请求周期内输入带宽容量不能小于请求的数据包速率，即

(1)

其中：n表示在第几个段，τ为播放节点时刻，B为节点缓存长度，C为节点输入带宽与流媒体码率的比值，R为流媒体码率，CR为节点输入带宽容量。

对于缓存Flash需要将数据包存放到缓存中，当段中的数据包数量到达原有数量后便可进行解码操作，Flash缓存在第n个段τ时刻之前所接受数据包数量总和为[5]:

(2)

其中:L为丢包率，在解码之前引入状态函数J(n)来标记在第n个段τ时刻时数据包是否收满，

(3)

则流媒体到达播放点时所收齐的段数为

(4)

流媒体的传输质量受到传输算法的直接影响，对传输算法的优化是提高节点输出带宽容量的关键所在。基于流媒体方式解决了数据传输量大而带来传输限制的问题。

3 全景技术

本文采用全景技术解决Flash开发的虚拟系统不具有较好临场感的缺陷，全景技术是基于图像绘制技术的虚拟现实技术，通过利用对人眼生理系统的视差来实现“三维感”并获得场景中的空间感、方位感和沉浸感，实现任意方向漫游，全景虚拟现实技术具备虚拟现实的某些特征，能够进行有效的虚拟信息传递。

全景技术的关键是图像特征提取，与图像特征匹配[6]，susan角点检测算法以被测点中心确定圆形模板区域，通过计算比较各区域的灰度值来确定核心点是否为角点。对圆形模板内像素进行计算，核心点与圆形模板内像素点灰度值相似度计算公式如式5：

(5)

其中P为被测点，P0为中心点， g(P)表示被测点的灰度值，g(P0)表示中心点的灰度值，t灰度差别的阈值，计算曲线如图2：

图2 灰度值相似度计算曲线

由图可知，灰度差值以零值对称，在零到一定范围内随着灰度差值的增大灰度相似度逐渐减小，最终趋于零。根据以上关系，全景图像采集系统在监测地点获取图像数据后进入计算机进行处理，将图像曲面投影后进行拼接，拼接过程需要确定相邻图像的重叠范围，称之为图像匹配，采用基于面积及特征的方法，空间编辑器将生成的全景图像组织为虚拟的全景空间，再进行保真压缩，最终通过柱面全景图像的反投影算法，将可见部分的柱面图像反投影为中心投影图像并显示在计算机屏幕上[7]。虚拟全景空间生成流程图如图3。

图3 虚拟全景空间生成流程图

4 系统实现

结合Flash技术与全景技术开发风力发电机的监测系统，对风力发电机的机舱进行监测。由机舱内的摄像机拍摄，对拍摄画面进行实时全景拼接，最终由Flash实现全景漫游。

将旋转拍摄的照片，拼接成一张在平面上看上去很广范围的照片，使得生成全景展示地图时能还原当时拍摄的真实景象，

全景拼接效果如图4。

图4 全景拼接效果图

运用Flash实现全景过程中的关键环节是场景移动化，需借助FLASH的动作脚本，来实现漫游的效果。首先对Flash进行初始设置，选择Actionscript2.0脚本环境，移动过程如下：

q1_btn.onPress = function(){

delete this._parent._root.tupian_mc.onEnterFrame;

this._parent._root.tupian_mc.play();

};

q1_btn.onRelease = function(){

_root.tupian_mc.stop();

};

h1_btn.onPress = function(){

//this._parent._root.zjq_mc.stop();

this._parent._root.tupian_mc.onEnterFrame = function()

{

this.prevFrame();

};

};

h1_btn.onRelease = function(){

delete this._parent._root.tupian_mc.onEnterFrame;

tupian_mc.stop();

};

时间轴设置如图5。

图5 时间轴设置图

对监测系统设置监测按钮，分别是场景观测的前进按钮和倒退按钮，通过监测交互按钮的按下或抬起来进行场景的移动或停止，首先在时间轴上进行整体全景图的漫游动画，当前进按钮被按下时，时间轴按已设定动画开始正向播放进行监测，当前进按钮抬起后停止。当系统监测到后退按钮被按下时，系统利用prevFrame函数使时间轴不断定位到当前帧的前一帧，直到后提按钮抬起，这样就实现了场景的倒序监测。

通过机舱内摄像机对机舱状况的定时监测拍摄，将拍摄画面实时进行拼接并传输，Flash通过调用不同时刻拼接的全景图像进行全景漫游，进而实现对机舱内部不同时刻的状态监测。

5 结论

通过结合Flash技术与全景技术实现了全景监测虚拟系统，解决了虚拟现实系统数据传输量大导致对硬件设备要求高的问题，以及临场感差的问题，并运用到了对风力发电机机舱内部的监测系统的开发，由于机舱内部的某种异常状态出现后都会保持一定时间，不可能实时发生变化，故针对某一时刻拼接的场景画面进行全景漫游，而不需要实时的存储记录大量冗余视频数据，这种方式开发的虚拟系统拓宽了虚拟状态监测系统的开发思路。

[1] 苏建明，张续红，胡庆夕. 展望虚拟现实技术[J]．计算机仿真，2004，21(1)：18-21．

[2] 王瑞闯，林富洪. 风力发电机在线监测与诊断系统研究[J]. 华东电力，2009，37(1)：190-193.

[3] 刘 民，万江平. 基于Flash 3D的在线虚拟漫游系统设计与实现[J]. 计算机时代，2014,(5): 36-41.

[4] 王凯湛，马瑞峻. 虚拟现实技术及其在农业机械设计上的应用[J]. 系统仿真学报，2006，18(2): 500-503

[5] 戴 军，张锋美. 基于Flash的实景虚拟漫游系统设计与实现[J]. 实验室研究与探索，2012，31(10)：78-80.

[6] 周亦鹏，胡 娟. 基于三维全景技术的数字矿山漫游系统[J]. 金属矿山，2012，5：116-120

[7] 吴宪祥，郭宝龙，王 娟. 基于相位相关的柱面全景图像自动拼接算法[J]. 光学学报，2009， 29(7): 1824-1829.

Research of Panoramic Monitoring Virtual Reality System of Wind Turbines Based on Stream-media Technology

Song Zhongyue, Ma Jiaojiao, Zhen Dong , Shi Zhanqun, Hu Yaxin

(School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China)

Through the virtual reality technology for early warning, detection or inspection, etc In the engineering monitoring，can monitoring and judgment the equipment state in the case of guarantee personal safety; Most of today's virtual reality development technology have the problems that need a lot of data storage and analysis, however stream-media technology can be very good solution，But the virtual scene by stream-media technology do not in the good condition, Panoramic technology can be a good solution because its Stereo feeling from every angle. Biluding a panoramic view of roaming monitoring system for wind turbine by combined the technology of stream-media with a panoramic view, which obtained some good results.

virtual reality; stream-media technology; panoramic technology; wind turbines

2016-01-11；

2016-02-24。

天津市应用基础与前沿技术研究计划(14JCYBJC 42100)；河北省科技计划项目(13394305D)；河北省高层次人才资助项目(E201200003)。

宋中越(1986-)，男，河北沧州人，博士研究生，主要从事旋转机械故障诊断方向的研究。

1671-4598(2016)07-0247-02

10.16526/j.cnki.11-4762/tp.2016.07.067

TH212；TH213.3

A