人体行为特征融合与行为识别的分析

摘 要：伴随着信息技术的快速发展，人体行为识别技术逐渐被引入到各领域中，如安防监控、运动分析、医学辅助诊断和智能人机交互等，而技术实现的关键在于借助相关的特征融合方法。文章对人体行为识别的相关技术以及兴趣点提取方法、尺度混合特征模型与MKL方法的应用进行分析，以期对人体行为识别技术的发展起到推动作用。

关键词：人体行为识别；特征融合；兴趣点提取；多核学习

人体行为识别是近年来学术界研究的焦点，因此有大量相关的识别方法和表达方法不断涌现出来，如行为表达方法中常见的局部时空特征，或于概率潜在语义分析模型中引入几何信息等。值得注意的是，假若在高层语义环境下进行人体行为分析，仅通过底层信息的获取很难保证辨别力，这就要求将融合特征作为分析方案，通过高层特征信息的提取达到识别目标。因此，本文对人体行为识别中特征融合方法的应用分析，具有十分重要的意义。

1 人体行为识别相关技术分析

1.1 人体行为特征提取

关于人体行为特征提取，其目的在于服务于行为识别模型构建，由于不同模型构建在特征提取方式上有一定差异，所以需做好行为特征提取分析。常见的行为特征提取模型主要可细化为：（1）全局特征模型。该模型在检测对象上以整个运动人体为主，又包括不同阶段，如人体结构模型、外观模型与运动特征模型。其中在人体结构模型上，强调检测与跟踪人体关键部位，通过参数化描述各部位姿态；而外观模型，要求在光流法或多帧差分法应用下对人体行为区域检测，可获得更多行为信息；运动特征模型，其可解决前两种方法应用下的计算复杂度高、过多依赖图像处理等问题，更注重借助运动时空兴趣点分析。（2）局部特征模型。该模型下提取的人体行为识别，要求检测与识别运动人体变化显著的部位，包括腿、脚、膝盖等，常见的方式为兴趣点提取，获取的行为识别效果较为理想。

1.2 人体行为特征融合

在人体行为特征融合方面，提取中既可从时域、空域上着手，同时也能在多传感器应用下进行不同特征的获取。具体表现为：（1）时域视角下的人体行为特征。其注重对人体相关的颜色、纹理、外形与轮廓特征提取，如轮廓方法、剪影方法等。（2）空域视角下的人体行为特征。该方法需对人体历史信息、行为深度提取，可通过对运動兴趣点周围信息分析，实现人体细节特征信息获取目标。（3）人体行为多特征融合。这种方式需结合多种特征，如多底层特征融合、多渠道提取特征融合等，可将单一特征分析人体行为中的不足进行弥补[1]。

1.3 人体行为特征识别

在人体行为信息提取中，需借助上述特征提取与特征融合方式，但在进行行为所属类别判断中则需通过人体行为识别与分类实现。常见的识别方式主要以模板匹配、词袋模型统计分类和状态空间分类等方法为主。如模板匹配方法，亦可被称之为直接分类方法，可借助近邻分类器完成行为模式分类；而对于词袋模型，侧重于通过概率潜在语义分析模型，完成统计分类；另外，在状态空间分类方法上，需对各静态姿势定义为状态，在切换状态中形成概率关系，最终得到的联合概率可作为分类的根据[2]。

2 人体行为识别中兴趣点提取方法的运用

2.1 兴趣点提取

兴趣点识别方法应用下，主要利用兴趣点局部特征，如肢体部位便可作为某一兴趣点，而不同行为动作在兴趣点上有一定差异，可利用这些差异完成人体行为识别过程。具体进行兴趣点提取中，本文主要结合相应的时空兴趣点检测方法，具体表现在：（1）Harris 3D检测器。由Laptev提出，应用原理表现为在Harris算子应用下，借助自相关函数，使图像某一像素点自相关矩阵被给出，这样所得出的特征值便可用于函数一阶曲率推测，若函数中X，Y方向都有较高的曲率值，说明该特征值为兴趣点。（2）Dollar检测器。作为时空兴趣点检测方法，可弥补Harris 3D检测方法应用下的可靠兴趣点数量不足情况，操作流程体现为时间域上Gabor滤波器的构建、响应函数的构造、结合响应值进行时空兴趣点的筛选。（3）Bregonzio检测器。由于Dollar检测器应用中有背景噪声、人体遮挡等影响，所获取的结果易出现伪兴趣点，此时便引入Bregonzio检测器，操作中能够进行噪声处理，得到可靠的兴趣点[3]。

2.2 特征描述

在兴趣点行为识别方法中，对于人体行为特征描述，可从3方面表现出来：（1）以外观形状特征进行描述。该方法在既往研究资料中多有体现，强调对人体的外观表现进行描述，原理在于以人的身体躯干比例进行行为分析，如跑步行为、挥手行为，两种行为所展示的长宽比例关系有明显差异，利用该差异可达到特征描述目标；（2）运动特征描述。这种方式主要借助运动信息进行特征描述，如运动速率、运动轨迹等；（3）多特征融合描述。该描述方法在原理上表现为利用不同特征相互补充，如将人体外观姿态、人体运动方向、人体运动轨迹等融合，这样可对特征间的不足进行弥补。

2.3 行为识别

在兴趣点行为识别中，采用的人体行为识别分类方法，通常体现为直接分类与词袋模型两种方法。以直接分类识别方法为例，一般借助K-最近邻分类器（K-Nearest Neighbor，KNN）实现，或引入其他相关向量机（Relevance Vector Machine，RVM）、支持向量机（Support Vector Machine，SVM）。而词袋模型，最初应用中体现在文本分类上，将人体行为视频作为文本，这样整个文本所展示的行为便可被识别，识别效果明显。

3 人体行为识别中尺度混合特征模型的运用

尽管兴趣点识别方法应用下可获取显著的识别效果，但需注意这些方法应用中所采用的词袋模型等，强调对局部时空描述符的辨别力依赖，其余如兴趣点分布情况被忽略，这样一旦其中有潜在价值的兴趣点被遗忘，便会影响平滑运动信息的捕捉。对此，可考虑引入尺度混合特征融合应用下进行人体行为识别。

3.1 尺度混合特征融合

该方法应用中，所考虑的因素以运动周期、运动延时为主，特征描述中除对单帧兴趣点观察外，也结合多帧兴趣点，这样可使动作延时、运动周期辨识度更加清晰，其中的帧便可称之为尺度。对于尺度混合特征融合，其实现的流程表现为：输入数据；全局外观比例、多尺度兴趣点以及相邻帧速度获取；特征融合；直接分类；分类结果输出。

3.2 尺度混合特征提取

尺度混合特征融合提取中，需配以相应的提取算法，以SV-PDI尺度混合特征提取算法为例，具体步骤为：（1）将Bregonzio时空兴趣点检测器引入，计算每帧图像；（2）以人体行为区域、兴趣点位置作为依据，进行人体最小外接矩形、兴趣点最小外接矩形的计算；（3）在尺度大小选定后，对各尺度下兴趣点外接矩形相关特征，如密度、速度与形状进行计算；（4）做V-PDI值、多尺度下特征值计算，得出尺度特征结果，最后将所有结果合并并更新，完成提取过程。

4 人体行为识别中MKL方法的运用

除兴趣点、尺度混合特征方法为，人体行为识别中也可引入多核学习（Multiple Kernel Learning ，MKL）方法，其应用下旨在支持向量机分类中函数最优组合选择问题得以解决。从该方法应用原理看，主要表现为在不同核函数应用下确定权重，在此基础上做组合分类，考虑到核函数线性组合下，操作中有信息丢失可能，所以应以多核线性组合方式为主。对于MKL算法，在流程上表现为输入数据、特征空间与核空间数据获取、合成核空间中的加权求和核、SVM分类器分类以及分类结果输出。

5 结语

人体行为识别技术在当前许多生活领域中应用都极为广泛，但其实现却需依托于特征融合。本文在明确人体行为识别相关技术的基础上，提出基于兴趣点、尺度混合特征以及MKL等方法，可被应用于人体行为识别中，对人体行为识别技术的发展起到推动作用。

作者简介：赵雄伟（1991— ），男，河北石家庄，硕士；研究方向：模式识别与人工智能方向。

[参考文献]

[1]方达.人体行为特征融合与行为识别研究[D].南京：南京师范大学，2016.

[2]吴冬梅，谢金壮，王静.基于多特征融合的人体行为识别[J].计算机应用与软件，2015（11）：171-175.

[3]邵延華，郭永彩，高潮.基于特征融合的人体行为识别[J].光电子·激光，2014（9）：1818-1823.

Abstract： With the rapid development of information technology， human behavior recognition technology has been gradually introduced into various fields， such as security monitoring， motion analysis， medical assistant diagnosis and intelligent human-computer interaction， and the key to technology realization is to use the corresponding feature fusion method. This paper analyzed the related technology of human behavior recognition and the method of interest point extraction， scale mixed feature model and application of MKL， with a view to promot the development of human behavior recognition technology.

Key words： human behavior recognition； feature fusion； interest point extraction； multiple kernel learning