视频场景人群运动异常状态检测

叶志鹏++刘鹏++赵巍++唐降龙

摘要： 针对视频场景的人群运动状态分析问题提出了一种方法，包括人群密度分级和运动异常检测。该方法利用场景中不同区域的亮度信息作为BP网络的输入向量分类人群密度，降低了计算的复杂性，排除不必要的干扰信息。在异常检测方面利用光流法获取人群的运动信息，包括运动速度和运动方向。实验结果表明，该方法的精度及实时性均高于传统方法，对确定视频场景中人群运动状态是有效的，可以为防止大规模安全事故提供参考。

关键词： 视频分析； 人群运动状态检测； BP神经网络； 光流法

中图分类号：TP391.9

文献标志码：A

文章编号：2095-2163（2017）04-0044-05

0引言

近年来，公共场所的大规模安全事故屡有发生，造成了一定的人员伤亡和财产损失[1]。其中一个重要原因是未能及时判断场景中人群的异常状态，导致在有限的空间内同时容纳的人数过多而产生恐慌情绪。恐慌人群会变得不合作并拥挤他人，其作用力可达4 450N/m，从而造成伤亡[2]。群体运动是连续的事件和行为。群体危机或灾难是群体系统在外界激励作用下状态渐近演化，逐步累积的结果。通过研究群体系统状态演进过程的内在机理和规律能够预報群体系统未来的状态，提高应急措施的效率和效果，增强综合应急救护能力，将群体危机或灾难消除在萌芽阶段。因此及时分析出公共场所的人群运动状态是十分必要的。

传统的视频监控方法是在场景内搭建闭路电视系统[3]，通过人工方式检测场景的变化。该方法不仅成本较高，而且易受人为主观因素影响，缺乏客观性，在实时性上也存在着显著不足。本文通过结合BP神经网络和光流法提出了一种基于流量场分析的进行群体状态异常检测的研究方法。群体状态异常包括人群密度异常和人群运动异常。其中，密度异常通常指当前场景中人数过多，可能会造成潜在的安全隐患，这种情况一般是由人群的自然流动导致的人群累积所造成；运动异常指当前场景中人群的运动速度高于正常值，一般由某种外在因素引起，如火灾等。本文提出的方法利用人群流量信息分析人群状态，综合考虑人群密度分布和运动分布。实验结果表明，本文的方法可以有效检测出人群异常。

1相关研究

近些年来，国内外很多研究人员对人群状态的检测进行了研究。Zhang等人[4]利用宏观方法研究了T形路口处人流发生合并时人群的状态。该方法首先将人群的运动状态可视化并统计出人群的运动轨迹，进而根据人群密度等级的不同，观察到低密度时行人以任意速度行走，转弯时会减速；高密度时行人速度分布不均匀，合并后的主流速度高于任一分支，同时主流方向的中心处人群密度最大。研究据此认为，人群的密度和速度测量将受到测量区域面积大小的设置影响。该方法的局限性表现在3个方面：首先，研究测试的场景是严格对称的，限制了该方法的推广；其次，研究挑选的实验者的平均年龄在20～30岁之间，不能代表所有年龄段的人群，而人对路径的选择可能随着年龄的增长而不同；同时该方法还忽略了外界因素对群体路径选择的影响。

微观方法是分析人群状态的另一类方法。为了解决通过微观方法检测人群状态面临的大数据量问题，Steffen等人[5]提出了基于人群运动轨迹的微观属性测量方法。该方法通过空间变换的方法将个体空间映射到群体空间降低计算复杂度。研究首先指出传统方法的2个短板与缺陷：场景边缘的人员出入只能通过人头部的位置确定；人群的密度离散地取决于时间和特定区域，有时会出现剧烈的跳变。为此，研究中有针对性地定义了自适应步函数以消除密度检测所需要的2个前提条件；进而将目标区域限制在2m2以避免出现使用Voronoi图检测人群密度可能导致无限增长的问题。该方法的不足是对Voronoi图方法使用了固定的区域大小，而Voronoi细胞的大小是可变的，使用固定大小的区域会影响同时活动的细胞个数，因而限制了该方法的推广能力。

国内一些研究学者也陆续开展了群体异常检测研究。李和平提出了半监督学习的个体行为建模方法和个体异常检测方法，通过动态时间规划谱聚类和行为隐马尔可夫模型描述正常个体行为[6]；钟志等通过定义一个运动特征进行群体建模和实时检测，研发了通过自定义的能量函数评估观测区域内拥挤程度和异常检测的方法[7]；胡波提出了一种基于小波变换与灰度共生矩阵结合的人群密度特征提取方法，该方法首先对图像进行三级小波分解，得到10个子带及相应的小波系数；其次对除LL子带外的所有细节子带计算灰度共生矩阵；然后计算生成9维特征矢量并用SVM实现分类[8]。

2光流法人群运动跟踪

光流法是跟踪场景中运动目标的主要手段之一，由Lucas和Kanade提出[9]。Lucas-Kanade算法用于求稠密光流，重点基于如下3个假设：

1）亮度恒定。图像场景中目标的像素在帧间运动时外观上保持不变。

2）时间连续或运动是小运动。图像的运动随时间的变化比较缓慢，即相邻帧间运动较小。

3）空间一致。一个场景中同一表面上邻近的点具有相似的运动，在图像平面上的投影也在邻近区域。

人群目标符合上述3个假设，即在时间间隔极短的相邻2帧间正常行走人群的运动位移不会剧烈变化。本文即采用LK光流法作为运动估计的基础。

3基于流量场的人群状态检测

人群状态检测包括密度检测与状态检测。然而，这2种检测是相关的，使用任一单一方法均不能得到良好效果。本文结合2种方法提出了一种基于流量场的人群状态检测方法。

3.1人群密度估计

本文通过分析视频中人群运动的流量场来检测人群运动状态的异常。在一个空间内，流量场由下式计算：

Q[DD（]→[DD）〗=ρ·V[DD（]→[DD）〗[JY]（1）

其中，ρ为流体的密度，V[DD（]→[DD）〗为流体的运动速度。在本文中，ρ被视为人群的密度。在分析视频中人群运动状态的过程中，没有必要获得场景中单位面积上人体的准确数据，而是将区域中人群的密度划分为若干等级。本文将人群的微团作为人群密度估计的对象，将视频帧中人群的微团轮廓特征作为人群局部密度估计的特征，用BP神经网络将视频帧中各考察区域的人群密度划分为3个等级。endprint

本文将二值化的前景划分为n*n个矩形框，取n=4。对每个矩形区域提取轮廓特征，将轮廓内部的面积作为特征向量输入BP网络[10]，采用表1所示的对应关系对BP神经网络进行训练。选择场景内部轮廓面积的原因则在于其属于稳定的特征，不受人的衣着颜色、日照情况的影响。

3.2人群运动检测

3.2.1运动速度幅值检测

对滤波去噪后的视频帧应用数学形态学操作，可以进一步去除无效的运动前景，简化图像数据，保持跟踪目标的基本形状。通过LK光流法可对场景中运动的目标点进行跟踪，这些目标点称为特征点。此时场景中可能存在一些无效特征点，如杂物在风的作用下的运动。此类无效特征点可通过2类条件得以消除，内容阐释如下：

1）特征点位移矢量的模过大，超出了人正常行走的瞬时速度极限。

2）连通的前景面积过小。

场景中特征点的运动速度定义为其在相邻2帧间的位移，以像素距离表示。由速度公式：

v=〖SX（〗s〖〗t〖SX）〗[JY]（2）

求得特征点的瞬时速度。其中，s为特征点在2帧之间的位移，t为2帧的间隔时间，取决于帧速率。

3.2.2运动方向检测

人群的运动方向反映了某一时刻人群的大致走向，是场景中人群异常检测的重要参考信息。

本文选取8个方向作为特征点运动方向[11]，其中45°方向为近似方向，即只要特征点不是水平或垂直运动，都会被归类到4个近似方向中的一个方向上以简化计算；与直角坐标系不同，计算机中所用的坐标系其Y轴正方向与直角坐标系中Y轴正方向相反，以左上角作为坐标原点。图1显示了视频场景中的坐标系及位于其中的特征点的运动方向。

基于上述光流法的假设条件，人群运动检测方法如下：

首先基于光流法求得当前帧及上一帧的特征点坐标集SCurrent和SPrev，二者比较去掉未运动的特征点的坐标；接下来对a∈SCurrent，在其前后左右一定面积范围内寻找其在SPrev中的位置，本文选取的面积范围为一个人的宽和高的乘积。最后在图中标识出每个人的运动方向。

为使图像看起来较为清晰，本文提出了特征点聚类的方法。算法如下：

1）迭代器指向SCurrent第一个元素sstart。

2）遍历SCurrent中每一个元素，判断其与Sstart的距离，若小于某阈值，则将其与Sstart归为一类。

3）从SCurrent中删除所有属于同一类的元素。

4）若SCurrent非空，返回1），否则结束。

算法最终运行结果即如图2所示。

3.3人群状态的流量场判别

对人群状态进行判别的方式是对流量场展开分析。流量场的分析算法如下：

1）将场景中的每个区域mi再细分为n*n个子区域mij，求出mij的所有速度矢量并求其和矢量vi〖DD（-*2〗〖DD）〗，作为mi的速度矢量。

2）对每个区域的速度矢量，求其与8个临近区域的速度矢量的差，将模最大的差向量放入相同位置的另一存储区。图3就显示了mij中求矢量差的过程。差值反映了2个矢量间的不一致的程度。

3）最后遍歷场景中所有向量，找出幅值最大的矢量，若大于某一阈值t，则判断为该场景中发生了异常情况。

4实验结果及分析

本文模拟所使用的视频全部拍摄自哈工大正心楼，共有20 453帧图像，分辨率为1 280×720，帧速率为每秒29帧。为验证算法有效性，对本文算法和文献[13]中的人群状态检测方法进行比较。文献[13]同样使用了神经网络的方法支持研发行人跟踪。本文分别对正常情况和异常情况提供设计实验，结果如图4、图5所示。

采用文献[13]的方法导致平均误差率较高的原因则是仅利用了场景中人群的密度信息，却未考虑人群的运动信息，因此影响了该方法的准确性；而本文采用基于流量场的方法结合了人群的密度和速度信息，从而准确率较高。

5结束语

本文主要针对视频监控场景中的人群运动分析问题进行研究。利用BP神经网络检测人群密度；同时基于光流法检测人群运动状态，达到了较高的准确度和很好的实时性，基本满足实时应用的需要。

参考文献：

[WTBZ][ST6BZ][HT6SS][1] [ZK（#〗

ALI I M， HASHIM A E， WANISMAIL W Z， et al. Spectators safety awareness in outdoor stadium facilities[J]. Procedia Engineering， 2011， 20：98-104.

[2] PATIL S， BERG J V D， CURTIS S， et al. Directing crowd simulations using navigation fields [J]. IEEE Transactions on Visualization and Computer Graphics， 2011，17（2）：244-254.

[3] SONG H Q， LIU X J， ZHANG X G， et al. Realtime monitoring for crowd counting using video surveillance and GIS[C]//2012 2nd International Conference on Remote Sensing， Environment and Transportation Engineering.Nanjing， China：IEEE，2012：1-4.endprint

[4] [JP3]ZHANG J， KLINGSCH W， SCHADSCHNEIDER A， et al. Experimental[JP] study of pedestrian flow through a T-junction[C]//Traffic and Granular Flow '11.Berlin Heidelberg：Springer，2013：241-249.

[5] STEFFEN B， SEYFRIED A. Methods for measuring pedestrian density， flow， speed and direction with minimal scatter [J]. Physica A Statistical Mechanics & Its Applications，2010，389（9）：1902-1910.[ZK）]

[HT5”SS][ST5”BZ][WT5”BZ][JY]（下轉第50页）[FL）]

[CDF61]

[HT5”SS][ST5”BZ][WT5”BZ]（上接第50页）

[HT5”SS][ST5”BZ][WT5”BZ][FL（2K2]

[HT6SS][ST6BZ][WT6BZ]

[6] [ZK（#] 李和平，胡占义，吴毅红，等. 基于半监督学习的行为建模与异常检测[J]. 软件学报，2007，18（3）：527-537.

[7] 钟志，徐扬生，石为人，等. 群体异常检测[J]. 仪器仪表学报，2007，28（4）：614-620.

[8] 胡波，李晓华，沈兰荪. 场景监控中的人群密度估计[J]. 电路与系统学报，2007，12（6）：19-22.

[9] VOLPI M， TUIA D， BOVOLO F， et al. Supervised change detection in VHR images using contextual information and support vector machines[J]. International Journal of Applied Earth Observation and Geoinformation， 2013，20（2）：77-85.

[10][JP3]RAJESH R， RAJEEV K， GOPAKUMAR V， et al. On experimenting[JP] with pedestrian classification using neural network[C]//2011 3rd International Conference on Electronics Computer Technology.Kanyakumari， India：IEEE，2011：107-111.

[11]FRANCESCO M D， MARKOWICH P A， PIETSCHMANN J F， et al. On the Hughes model for pedestrian flow： The onedimensional case[J]. Journal of Differential Equations. 2011，250（3）：1334-1362.

[12]DALE K， SHECHTMAN E， AVIDAN S， et al. Multivideo browsing and summarization [C]//Proc of Computer Vision and Pattern Recognition Workshops.Providence， RI， USA：IEEE，2012：1-8.

[13]HAN W J， HAN H S. Pedestrian detection-A neuromorphic approach[C]//2011 IEEE 54th International Midwest Symposium on Circuits and Systems （MWSCAS）.Seoul， South Korea：IEEE，2011：1-4.endprint