水电站三维场景智能视频分析系统的研究与应用

李志咏，周观尧，邱国俊

（重庆亚东亚集团软件有限公司，重庆 400014）

为了加强生产安全、防盗保安、环境监控等方面的综合管理水平，实现创一流的目标，很多的水电站都建设了集中式视频监控系统，对水电站的现场进行了实时视频监控。通过将监视点的现场视频通过数据通信网实时地传输到集控站或监控中心，生产管理人员及相关领导在计算机上就能实时地对水电站进行视频监控。视频监控系统的应用使生产管理人员在监控中心就可以随时直观了解到各种设备的工作状况，及时处理各种意外情况，消除重大事故隐患，从生产设备、生产设施、环境、人员等诸多方面大大地提高了水电站的运行可靠性和安全性。

随着视频监控技术在水电站安全生产上得到广泛应用，监控人员管理的范围越来越大、管理内容越来越多，面临的突发事件和异常事件越来越复杂，监控的难度和重要性也越来越突出，仅仅依靠人力越来越难以胜任分析和理解采集到的数量惊人的视频数据。在连续盯着监视器，即使是非常敬业的监控人员，其持续集中精神注意显示器的能力也会大幅度下降。因此，视频监控的深层次应用已经不仅仅是如何有效地采集现场监控图像，而是如何有效地采用新的智能技术对大量涌现在监控人员面前的视频信息进行分析，将众多没有威胁、无关紧要的视频信息筛选出去，使真正重要的信息能够更有效地直接呈现给用户，提高视频监控的工作效率和准确性，协助监控人员及时发现问题和处理问题，近一步保障水电站安全可靠运行。

针对这个问题，提出综合运用智能视频分析技术和三维虚拟现实技术来提高水电站视频监控管理水平的一种方法，并在此基础上开发了水电站三维场景智能视频分析系统。

1 系统研究的关键技术

1.1 智能视频分析技术

智能视频分析技术（IVS:Intelligent video surveillance）源自计算机视觉（CV:Computer Vision）技术，它通过在图像及图像描述之间建立关系，使计算机能够通过数字图像处理和分析来理解视频画面中的内容，从而达到自动分析和抽取视频源中关键信息的目的。其核心内容之一是对特定目标的自动跟踪和自动识别，例如对人体的跟踪：首先从实时图像序列(即视频)中检测出运动物体，再判定运动物体中的人体，然后跟踪人体的运动轨迹，并分析和选定有异常行为的人，最后对行为异常的人进行持续跟踪。

虽然智能视频分析技术长期以来都受到了很高的关注度，但因计算机运算能力、网络带宽、视觉分析算法不成熟等条件限制，一直停滞在研究实验室阶段，无法应用到具体的生产实践中。从上世纪90年代中期开始，以卡耐基梅隆大学(CMU)和麻省理工学院(MIT)为代表、多家美国高校所参与、由美国国防高级研究项目署设立的视觉监控重大项目VSAM(Visual Surveillanceand Monitoring)，以及其它科研机构的研究成果，使得智能视频分析技术取得了快速发展。当前，除了CMU和MIT，奥地利Graz理工大学的嵌入式智能摄像机研究组，IBM的S3(Smart Surveillance System)项目组，Intel的IRISNET (Internet-scale,Resource-intensive Sensor Network ServICes)项目组等，分别在分布式智能视频分析领域处于领先地位。中科院、清华大学等也在相关技术领域的工程应用上取得了突破性的进展。

1.2 三维虚拟现实技术

三维虚拟现实技术（简称VR），又称灵境技术，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面，是近年随着计算机软硬件技术的发展而产生的一项新兴技术。它综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到真实世界中无法亲身经历的体验。

根据对虚拟环境的不同要求和对于使用目的和应用对象的不同要求，目前应用较为广泛的虚拟现实系统可分为两类：桌面式虚拟现实系统、沉浸式虚拟现实系统。桌面式虚拟现实系统又称为非沉浸式虚拟现实系统，这种系统通过计算机屏幕、投影屏幕作为用户观察虚拟环境的一个窗口，参与者仅使用一些简单外部设备来控制虚拟环境和操纵虚拟场景中的物体。桌面式虚拟现实系统适宜推广应用，投资比较低，而且通过附加一些低成本的辅助设备，如立体观察器、液晶显示光闸眼镜等就能达到比较理想的模拟现实的效果。

目前三维虚拟现实技术主要应用于建筑、规划、三维动画、产品演示、网络游戏等领域，应用于生产行业的信息管理上还比较少见，而以三维虚拟现实作为视频监控统一管理平台更没有具体的应用。

2 在三维虚拟场景交互平台上实现水电站智能视频监控的设计思路

采用三维建模技术开发水电站三维模型，以三维虚拟场景交互平台为基础实现水电站三维模型和水电站监控设备的关联和展示，使监控人员能够直观管理站上所有监控设备，在水电站三维虚拟场景下与实时监控视频进行交互联动。同时对接入三维虚拟场景交互平台上的实时监控视频图像进行智能分析，将智能分析结果与事先预置的报警条件进行匹配，如果出现异常，系统一方面在水电站三维虚拟场景上及时对异常点进行标识警示、自动弹出实时视频画面并启动自动录像功能；另一方面则自动与部署在现场的声光电报警装置联动，发送告警信息以警示异常点现场管理人员。

通过在水电站三维场景交互平台上集成智能视频分析和相关业务应用，使监控人员能够在一个统一的三维平台上对全站的视频监控信息进行集中管理和智能分析，在逼近真实的三维交互场景上直观、全面、及时了解异常发生的地点区域、事故影响到的设备范围、事态可能的发展趋势等，随时调看相关的视频资源，实时跟踪事态发展。从而有效地协助水电站监控人员及时处理危机，预防事故的发生及扩大。

3 系统具体实现

按照以上的系统设计思路，我们开发了水电站三维场景智能视频分析系统。该系统以智能视频分析算法为核心处理模块，在三维场景交互环境下实现了对水电站视频监控信息的各种智能分析和应用功能。

3.1 系统应用架构

图1为系统应用架构图。系统采用联网的集中监控管理体系结构，整个体系结构由摄像机、DVR/DVS、智能视频分析系统、综合监控管理平台、告警设备以及采用三维场景交互技术的监控终端等组成。智能视频分析系统通过与水电站视频监控平台无缝对接，对水电站监控区域的实时视频信息进行分析和处理，然后将视频分析信息返回到综合监控平台。综合监控平台将视频分析信息与事先预置的报警条件进行匹配，从而产生相应的报警信息。报警信息通过网络发送到监控终端或现场报警装置，后者以声、光、电报警等方式警示在现场或监控中心的监控人员。

图1 系统应用架构图

3.2 系统功能架构

图2 系统功能架构图

（1）视频采集传输模块

视频采集传输模块包括视频采集、视频编码、视频解码等功能。其中视频采集功能负责从监控系统中采集视频数据，视频编码功能将视频数据编码压缩后通过数据网络进行传输，视频解码功能用于从网络传输取得视频数据后，进行相应解码，使其成为视频分析程序所能读取的数字格式。

（2）智能视频分析模块

该模块实现一系列的智能视频功能。它采用先进的智能视频分析算法，对来自视频传输服务的视频数据进行分析、处理，实现了适用于水电站安全生产的视频检测功能，这些功能包括单向越界、双向越界、进入禁区、离开禁区、禁区徘徊、人数统计、设备外观状态识别等功能。该模块构建在先进的多物体跟踪算法、模式识别算法的基础上，并且提供了规则定义修改等系统参数设置接口。

（3）三维场景分析模块：

该模块主要实现三维虚拟场景的漫游（及漫游相关操作如：飞行速度、飞到等）、设备选取、信息展示、画图、预警标注、双向查询等功能。

（4）预警联动模块

该模块主要实现是否开启预警检测、设定预警规则、预警输出方式等功能。

（5）系统综合管理模块

该模块主要实现对系统权限、运行分析日志、图片、录像、系统设置等方面的管理功能。

3.3 智能视频分析核心算法

图3 视频分析核心算法流程图

（1）前景/背景检测模块

从背景中提取前景在整个流水线中是个很重要的步骤。此模块对一帧图像上的每一个点构建一个多重高斯分布的模型，该模型将随着场景中物体的变化实时进行学习，以适应各种条件的变化，如光线的变化，背景物体的变化等等。

（2）物体块进入检测模块

此模块是基于联通组件跟踪（connected component tracker）,具体由以下三个步骤组成：

1）计算由1中产生的前景中的联通组件，每个组件将视为一个物体块（blob）;

2）通过试图在此帧和前一帧中找到此物体块来跟踪它；

3）当在连续几帧找到一个物体块后，把它加入预先准备好的列表。

（3）物体块跟踪模块

物体块跟踪模块提供了物体块在一帧帧中的位置与大小，它基于中值漂移（mean-shift）算法和离子过滤（Particle Filtering）的采样算法.卡门过滤（Kalman Filter）用来预测物体块在下一帧中的位置，这种算法的结合成功地处理了物体交叉碰撞时的有效分离问题。

（4）轨迹产生模块

根据连续几帧所记录的物体块位置，产生各个物体轨迹列表

（5）轨迹后处理模块

轨迹是由连续的点组成，往往此曲线会有锯齿的形状，将给曲线分析带来困难，所以轨迹需要做一些曲线的平滑处理，给分析阶段带来更高的效率。

（6）轨迹分析模块

运用预先定义的规则模块，来进行曲线分析，以得到正确的违规信息

3.4 系统采用的三维开发技术

在水电站三维模型的实现上，系统采用了3D Studio MAX建模工具。严格按照真实比例、尺寸规格、相对位置等建模，再按照实际采集回来的相片、视频等信息对模型进行贴图、加入灯光、渲染（阴影、反光、透视等效果）等细加工，使得模型与实际工作环境几乎完全一致。再将模型输入三维场景交互平台，编写对应模型的逻辑代码，定义与程序交互接口，程序通过使用COM接口命令与三维实体实现交互。

系统的三维场景交互模块基于DirectX技术进行开发，由一组实时三维引擎和一套编辑工具组成，包括了2D和3D目标模型工具，多层文档，视频回放，数据库联系，网络，制图和完整的JavaScript控制工具，通过使用加强ActiveX/COM接口命令控制外部文档。

图4 系统监控主界面截图

4 系统实际应用情况

目前该系统已在重庆大唐国际彭水水电开发有限公司得到具体应用，通过将系统与水电厂现有的视频监控系统进行整合接入，实现了在三维场景交互下的彭水水电站视频监控信息的智能分析和智能告警功能，并取得较好的实际应用效果。图4为系统监控主界面截图。

5 结论

智能化、数字化、网络化是视频监控发展的必然趋势，智能视频分析技术的出现和应用正是这一趋势的直接体现。结合三维虚拟技术对水电站的视频监控信息进行集中管理和智能分析，使用户能在逼近真实的三维交互场景上直观、全面、及时了解异常发生的地点区域、事故影响到的设备范围、事态可能的发展趋势等，协助生产管理人员对水电站重点区域进行有效监控，充分应对和处理突发事件，有力地保障水电站安全可靠运行。

[1]覃剑，曾孝平．基于视频分析的智能监控系统[J]．计算机工程与应用，2008，(25).

[2]胡以静，李政访，胡跃明.基于光流的运动分析理论及应用[J].计算机测量与控制，2007，（2）.

[3]Jorge Badenas,PlaF.Segmentation based on region-trackingin imagesequencesfortrafficmonitoring[C].1998.

[4]程成.虚拟环境人机交互技术研究[D].中国优秀博硕士学位论文全文数据库(博士),2002,(01).