基于特征融合和度量学习的行人行为识别仿真

罗鸿斌

(甘肃政法大学公安技术学院，甘肃 兰州 730070)

1 引言

行人行为识别[1]是分析行人运动的主要手段，在视频监控、人机交互等领域具有广泛的应用价值，已成为计算机视觉[2]领域中的重要研究课题。视觉识别技术的快速发展，导致行人行为方式变的复杂化，于是出现观察者识别错误的情况。行人行为识别，是针对行人行为模式进行对应的识别与分析，该方法将从跨越摄像机、时间段的行人图像数据集中，寻找出与检索结果相互匹配的目标个体。但由于光照、摄像机位置角度不同，同一个人在不同的图像中会有较大的姿态差异变化，给行人识别技术带来严重的影响和挑战。

文献[3]提出基于特征提取的人体动作行为识别研究方法，将行人运动行为识别问题归纳成计算机经过检测运动数据而获取到的行为信息，基于特征提取，实现特征分类的目的。该方法针对图像进行检索与提取并完成分类，最终完成对特征识别的效果，但在一定程度上具有效率低、识别误差大等问题。文献[4]提出基于改进极限学习机算法的行为识别方法，引入行为识别学习算法。该算法将通过对Cholesky分解求出ELM来得到新的分类方法，从而减少计算的复杂性与耗时长的问题。但该方法仅限于学习机ELM对行人行为识别检测，应用范围有限。文献[5]提出基于Gabor特征与卷积神经网络的行人行为识别方法，将Gabor小波特征与卷积神经网络方法相结合，计算人体图像8个方向的Gabor特征，利用人物模型进行检测，输出人物掩膜，引入形态学处理方法，对掩膜并同原图像进行相与操作，最终实现行人行为的识别。该方法在一定程度上提高了行为识别的有效性，但在也降低了识别的准确性。

基于上述问题，本文结合特征融合与度量学习识别行人行为，采用基于K-L融合的方法对图像进行融合，并在度量学习马氏距离前提下，对行人行为进行识别。

2 基于行人行为的特征融合

2.1 行为行人检测

行为检测是识别的重要步骤之一，但在识别的过程中，会有许多外在因素对最终识别结果造成严重影响，可以分成下列3种：

1)检测摄像机静止不动时，由于获取图像视频的过程中，会间接受到不同噪声的影响，所以在检测之前，需要对图像进行去噪处理。

2)摄像机与行人运动方向垂直时，组建没有任何参数值的模型，且所有像素点的概率密度函数都可以通过估计方式得到具体函数值。假设I={x1，x2…..xn}代表其中某一个像素点的基本样本，I代表在xi时间点检测到对应的数据值，可将核密度函数写成

(1)

其中：kh是窗口长度为h的核函数；xt是密度点参数；α是规定内的标准系数，且α=1/N。

(2)

式中，将d描述为颜色分量的具体数量，可以由样本的绝对差值，计算出核带宽σ。假设p(xt)

3)行人行为提取的主要目的是，从图像中提取出行人的变化区域，因此在处理的过程中，其中某一目标透射出的阴影部分，可能会出现被检测成为行为前景的一部分。

针对提取的运动区域进行相关形态处理，采用边界跟踪算法，获取整个的行人侧影图。

2.2 轮廓特征提取

人体轮廓是行人行为的重要特征之一，它会根据不同的时间，表示出周期性的变化，对行人行为描述具有较为明显的代表性。小波描述[6]主要描述行为轮廓，其优点是可以分别描述不同的轮廓、形状，且具有较为良好的鲁棒性，综上所述本文将会采用离散小波变换的方法，针对目标行人的具体轮廓进行描述。为使行人特征更加明显、减小计算的整体难度，将行人的二维特色正转变成l维特征。

1)质心计算：在提取行人轮廓后，利用边界提取算法，获取相对应的全部坐标点，根据下式，得到轮廓的详细质心坐标点

(3)

式中，xi和yi分别代表像素点在x和y轴的基本样本。

2)展开轮廓线：以出线上纵坐标中最大的像素点为起点，沿着顺时针方向将其旋转，通过下式得到轮廓线展开质心到轮廓点的一维特征

(4)

3)数据标准化：为了消除部分影响，在确保图像完整性的基础上，对图像特征进行衡量后标准化处理，达到利于整体分析研究的目的。根据上述式(3)即可将轮廓表示为一个由N个元素构建成的向量集D=[d1，d2，…，dN]，经对视频序列中像素点数量的统计，大部分视频序列基本都满足于N∈[400，600]，并且整体呈正态分布。经过标准化后的结果，如图1所示。

图1 标准化后距离显示图

离散小波函数族定义如下所示

(5)

假设上述小波函数族构成L2(R)的正交规范基，就会有针对任意f(t)∈L2(R)都存在的离散小波变换

(6)

2.3 基于行人行为的特征融合

在对行人行为特征提取[7]后，需要将所有的特征进行归类处理。本文将运用了Z-score的处理方法，此处假设将Xs描述为行为特征，Xc描述为整体轮廓特征，那么根据上述经过处理后的向量即可以写为

(7)

由上述式(7)可得知，本文是在离散K-L变换的基础上，针对处理后的数据值进行压缩融合。假设Y向量是第N维的随机向量，那么由此可得Y向量的K-L展开就可以表示为

Y′=TY

(8)

即T=(φ1，φ2，…，φN)。Y的协方差矩阵为

(9)

(10)

其中λ1>λ2>…>λN≥0是∑y的特征向量。

在对上述提取后的向量进行变换后，获取出一份新的特征数据，其中任意特征点都是与特征相对应的线性组合，所以就会选取K维的特征数据值，作为最后融合的特征点。

3 基于特征融合和度量学习的行人行为识别

3.1 基于马氏距离的度量学习

本文在图片特征度量学习方面采用了马氏距离[8]，与欧氏距离[9]相比，马氏距离在原有的基础上加入期望和方差，在一定程度上使其具有了数据分布的统计特性，所以该距离已成为识别领域中常用的度量之一。

假设x是空间Rd中的一个d维向量，∑是分布在X之下的协方差，就有

(11)

为此分布之下x的M范数。

在M范数定义的前提下，针对∀x，y∈Rd，马氏距离定义可概括为

(12)

式(11)和(12)中，当∑是单位阵时，M范数和马氏距离将会分别变成普通的范数和欧式距离，由此可知，欧氏距离是独属马氏距离中的一个特例。

马氏距离满足于距离定义的基本三个条件，本文从矩阵分解的角度进行分析。

(13)

考察

(14)

由上述过程可以知当全部特征值都为正的时候，结论显然可以成立，且可以得出下列推论：任意一个实对称正定矩阵，可以分解成两个等同的实对称正定矩阵的积，实现基于马氏距离的度量学习。

3.2 行人行为识别

本文采用EMD交叉距离[11]度量提取目标特征之间的相似性，假设A={(a1，wa1)，(a2，wa2)，…，(am，wam)}是一个具有m个聚类图像A的表达形式，ai是聚类的描述形式，wai是聚类的权值。B={(b1，bb1)，(b2，bb2)，…，(bn，bbn)}是具有n个聚类图像B的表达形式。D=a(λ)代表了整体环境光。

假设成像设备感光函数fk(λ)是δ函数，并且在中性界面具有反射(NIR)模型[12]和白光的基础上，就可得知e(λ)=e，其中e代表了光源的光谱能量，可得

(15)

对上式进行求导，可以解决环境光带来的影响，因此会有

(16)

为了能够降低镜面反射的影响，会有下列定义

(17)

根据式(17)可知除掉环境光影响的对立色一阶导数O1、O2可以表示成

(18)

由此可见，得到的对立色O1x、O2x在镜面反射的情况下具有较为优秀的不变性，但其不变色在一定程度上还是会依附于几何特性。

(19)

式中将[dij]表述为距离矩阵，其中dij表示了聚类ai和bj之间的距离函数。图像A、B的EMD距离就可以写成

(20)

式中，fij是ai和bj的运输流，并且在一定。

通过归一化处理后，EMD距离就可以简化成为

(21)

与上式相互对应的约束条件可写为

fij≥0，i=1，…，m，j=1，…，n

(22)

表达行人目标特征的方法为O={(o1，wo1)，(o2，wo2)，…，(om，wom)}，在该方法中oi为基本构成的向量表示，woi由区域大小信息Rs表示。dij则经过针对不同目标区域间的马氏距离计算得出。

4 实验结果分析

本文选择某监控环境公开数据集来测试所提方法的效果。

图2 监控环境

行人监控视频图像样本共1264张，每一张监控图像的尺寸为128×48像素点。为测试本文所提出的基于特征融合以及度量学习方法效果，将其与传统的基于学习机ELM的行人行为识别方法进行比较实验，结果如下。

测试一：不同方法的图像特征融合效果对比

图3 测试样本

从图4实验结果可以明显看出，测试样本人群是分别2个区域，传统的基于学习机ELM的行人行为识别方法的特征融合结果不准确。相比之下，本次研究所设计的行为识别方法能够更好的融合图像特征，与实际特征是相同的，符合该方法的应用要求。

图4 图像特征融合效果对比

测试二：不同方法的轮廓提取效果对比

图5 测试样本

图6 轮廓提取效果对比

传统方法下的轮廓提取结果噪声较大，轮廓不明显，除行人外有其它无用轮廓被提取，这大大影响了行为识别结果。由上图的实验结果可知，本研究提出的方法对图像行人轮廓的提取效果是优于传统基于学习机ELM的行人行为识别方法的。

测试三：异常行人行为识别结果

在图7视频图像中，停车区域前方有行人通过，视频的第五帧图像中该行人体态特征为正常，此时行人作为目标被标记跟踪，在视频监控到第十帧图像时，

图7 行人行为识别结果

行人姿态由正常走路变为平躺，该行为存在异常性，研究方法对该帧图像的行人行为进行了准确识别。测试三结果说明本研究所设计的方法可以有效识别行人行为。

5 结论

本文将通过小波描述的方法对行人的行为轮廓进行了特征提取，且在行为轮廓特征提取的基础上进行了基于K-L变换的特征融合特征融合是将提取到的特征经过Z-score的处理方法处理后进行的压缩融合。在对行人行为特征融合后，采用了度量学习中的马氏距离算法对其进行计算，最后进行识别。仿真结果表明，该方法在一定基础上能够提高识别的精准度以及有效性。