基于HOG 特征和卷积神经网络的行人跟踪研究*

刘 悦

（中国刑事警察学院，辽宁 沈阳110035）

引言

视觉目标跟踪是智能公安系统的重要研究方向，主要涉及图像处理，计算机视觉和模式识别等领域的知识，其应用非常广泛。目前，许多跟踪算法都取得了令人满意的结果，但是大多数算法没有处理环境变化对图像跟踪的影响。仅仅用简单的Haar 特征来描述外观模型并不能有效地处理光照的剧烈变化和背景杂波。由于目标信息的复杂性、目标的随机性以及目标的背景干扰和阻碍，目标跟踪技术仍然处于低谷期，这是一个具有挑战性的问题，目前几种成熟的目标跟踪算法都需要特定的环境和应用范围，尤其是对大范围场景的人体跟踪问题。为了解决光照变化和背景杂波引起的漂移问题，利用扩展的Haar 特征搜索目标的粗定位，然后利用HOG特征对头肩精定位，得到最佳跟踪位置。本文提出了一种可用于跟踪视觉目标的有效配对HOG特征方法。该方法结合了不同类型的特征，以确定相关滤波器结构的HOG 特征，并通过独立识别目标来建立新的目标位置。本文利用HOG描述子来表示行人，得到低维HOG特征向量。最后，将目标特征向量和行人语义特征向量结合起来，利用目标模型对行人识别进行预测。与传统方法相比，该算法简单实用，识别精度高。

HOG 的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域（称为cells），每个cell 生成一个方向梯度直方图或者cell 中pixel 的边缘方向，这些直方图的组合可表示出（所检测目标的目标）描述子。本文旨在从视频流中提取和跟踪人体目标。效率和精度是影响系统性能的两个重要问题。下面将描述所使用的特征，包括面向局部二进制模式（oriented LBP）特征和HOG 特征。HOG 特征编码高频梯度信息。

1 头肩检测

HOG 是获取物体强度梯度信息的有效描述子。它已成功地应用于人体整体的检测。为了提高HOG 的性能，采用多级HOG 特征来描述头肩。全身检测、头部检测和头肩检测都被用于行人检测。当出现遮挡时，整体身体检测可能会失败。头部特征可以处理拥挤的环境，但由于头部特征基于机器学习方法的行人检测的主流特征描述子之一是HOG（Histogram of Ori⁃ented Gradient，方向梯度直方图）。HOG特征是用于目标检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征，用这些特征描述原始图像。

头部特征可以在拥挤的环境中定位，但由于头部特征包含的信息较少，可能会产生误差。因此，实验时选择了基于特定环境的头肩检测方法。把相机放在天花板上，45度朝向地面，这种角度适合头肩探测器。具体方法：（1）创建64组图像样本，来自火车站过道和楼梯的运动人像视频，通过预处理分解成关键帧。（2）输入图像经gamma 归一化，从样本中提取16 个长度为8×8 的像素块，每个块分成4个8×8的像素点。将图像的梯度大小分为3个级别的块，每个级别的每个块由4 个矩形单元格组成。每个块中4 个单元的直方图被连接到块的特征向量中。特征向量归一化减少照明和前景背景对比度的局部变化的影响。然后，将块的特征向量连接到每一层的特征向量中。根据像素梯度的方向，将单元中每个像素的梯度大小分为9 个格。在每个单元格中，梯度的角度平均分为0e～180e 的单元。所以总体特征向量是1764 维。（3）用线性支持向量机训练分类器。首先，提取当前目标区域的坡度和方向性特征并将其分为2 个特征：HOG1 和HOG2。然后，使用分离的滤镜框架，对2 个特征进行分离。所有功能都呈现一个预测特征，选择最佳功能。根据方向特性，通过特性计算获得特性响应，并找到响应图中的最高位置，即预测的新目标的位置是人体模板中的其他位置。实验在快速移动和背景复杂方面获得了良好的性能。人像通过滑动窗口选定，滑动窗口是一种穷举搜索方法，它只框选一个正方形区域内的所有候选人。如图1所示。

算法流程分为预处理步骤、行人检测步骤和区域验证步骤。在预处理步骤中，通过对亮度值进行直方图平滑处理，减小从黑盒中获得的HD 彩色图像的大小，将图像转换为灰度，提高图像的可见性。该方法从城市道路中获取行人图像。用于学习的行人图像排除了重叠图像。实验环境中的行人大多是在人行横道上等待的图像。对于实时处理，采用双线性插值方法减小输入图像的大小。从行人图像中提取特征信息进行学习。将提取的特征信息输入到学习中，生成行人检测检测器。接下来，使用在学习步骤中生成的级联行人检测器检测行人区域，然后在行人验证步骤中使用关于行人信息的先验知识检测最终行人区域。利用行人的知识信息，通过一个垂直的长矩形、尺寸信息、位置信息来检测最终的行人区域信息和行人模板匹配相似度用于生成最佳行人分类器。第一学习时，对新视频进行了初步的分类器测试，并添加了更多的错误例子。在第二轮中，对分类器进行重新训练，得到最终的检测器。

外观模型根据颜色分布计算人体目标的外观模型。为了方便摄像机的传输格式，从YUV空间提取Y 通道。强度被均匀地分成9 个格子来建立直方图。为了消除背景干扰，使用粗糙的“头和肩”形状的面具，只提取前景部分。使用Bhattacharyya 系数来测量目标模型和观测样本之间的距离。^h 表示模型直方图，hk表示第k 个观测模型的直方图，n 表示箱子的数量。目标模型直方图与观测模型直方图的距离公式：

图1 定位头肩

2 特征提取

在深度学习目标跟踪中，定向扰流器算法可用于解决当目标快速移动，摄像机位置和目标丢失时，对跟踪器的准确性、稳定性和成功性产生重大影响的问题。它具有使用体积神经网络跟踪位置，改变粒子过滤器的扰流器中心，使定向扰流器样本更接近实际位置，加速目标发现，可以防止目标消失，并提高跟踪器的准确性和成功率。在决策阶段获得定位头肩图后，可以通过提取作为前后帧目标的HOG特征并最终计算同步速率来找到优化。添加HOG功能后，跟踪器可以适应更复杂的场景并提高使用跟踪器的鲁棒性。根据obt-13 参考数据库中FCNT和MEEEEDM等效算法的实验结果，在样本量少的情况下，算法可以提高跟踪精度、成功率和非粘性。启用它可以更好地将其应用于真实场景并放大其他跟踪器。结合了定向梯度（HOG）外观描述符的非重叠直方图和定向局部二进制模式（LBP）特征。采用时间相干性条件对检测结果进行错误剔除，采用卡尔曼滤波对检测到的行人进行跟踪。该系统的目标是实现精确的人体检测，同时对需要快速人体检测和跟踪的应用保持高效。

大多数行人检测系统选择支持向量机或Adaboost 作为分类器。使用各种常见特征对这些分类器进行评估时，发现线性支持向量机比boosting算法具有更好的检测率。此外，利用面向HOG的LBP特征的低维特征向量，线性支持向量机对同一视频帧的处理速度与Adaboost 相似。因此，本文选择线性支持向量机作为行人检测系统的分类器。它主要着眼于传递测试算法，改进的部分是融合了HOG和LBP功能。但是，特征融合可以增加融合后的特征向量的维数，因此改进经典算法的方法是使用描述PCA降维的HOG特征和图片的图案特征的LBP融合特征。结合SVM分类器进行步入检查，由于路人和路人数量众多、路人与物体之间存在误差，提出了基于加权零件模型的高度测量算法。该算法通过为DPM中的每个小部件分配不同的权重来显示小部件的重要性。改进的算法可以处理图像遮挡的情况。LBP 作为一种有区别的局部描述符，在人类检测应用中取得了巨大的成功。LBP 特征具有许多优点，如它可以利用均匀模式的概念滤除噪声背景，并且计算效率高。为了计算LBP 特征，将检测窗口划分为若干块，并根据中心像素与其相邻像素之间的灰度差计算每个块的直方图。然后将所有块的LBP 模式的直方图连接起来，以描述检测窗口的纹理。LBP 特征可以看作是一种局部纹理描述。结合LBP和HOG特征可以在行人检测中取得很好的效果。然而，HOG-LBP特征的提取计算量大。每个64×128 检测窗口有一个5668-D（3780+1888）特征向量。Gx为水平方向的像素值，Gy 为竖直方向的像素值，G 为归一化后的值。对图像进行梯度计算公式：

要检测场景中是否存在运动目标，常用背景减除法检测运动目标，采用单高斯模型自适应更新背景，以适应场景中的光照变化和周期运动。输入n 帧背景图像和当前帧图像。算法是基于检测和跟踪的，更适合于不同角度和动态背景。当人流稀少时，基于背景的方法可以达到100%的准确率，当一组人中有更多人时，可以降到90%以下。当人与人之间距离较近时，特征选择方法识别率更高。在人流稀疏、背景简单的情况下，基于背景减除的方法效果良好，优于Hog 特征的方法；而在人流密集、背景复杂的情况下，得到了更高的精度结果。高度小于40像素的小对象将被丢弃。然后，根据每个被检测对象到支持向量机分类器超平面的距离，计算其置信度。利用Windows 10 OS（四核3.4ghz，32g，GPU 1080ti） 和 Matlab 程序对提出的行人检测方法进行了测试。用于行人训练的行人图像为320幅74×32像素的标准化图像。串级学习参数设为虚警率0.05，学习执行阶段设为7。如图2所示。

当检测到第一个目标时，初始化卡尔曼滤波器以开始预跟踪。卡尔曼滤波器预测它在下一帧中的位置。如果后续帧中的新检测与跟踪器预测一致重叠，则将其分配给该轨迹。设置参数时，把重叠率设为0.7。只有在连续三帧中满足此条件的候选对象才被视为稳定的行人目标，并被标记为正确。如表1所示。

图2 程序执行结果

表1 验证行人区域的参数

3 结论

实验结果表明，在行人检测器检测出的候选行人区域中，包含了行人区域，其中部分区域物体、树木等作为行人区域进行检测，在行人验证步骤中，大部分错误检测的行人区域都被过滤掉。在模板匹配过程中，一些非行人区域被检测为行人区域。该算法每帧检测时间约为0.24s，行人检测性能约为93%。当用模板匹配法定义的行人区域与用该方法检测的行人区域重叠度大于50%时，行人检测被认为是正确的。

本文采用基于Hog 特征的算法来跟踪检测公共场所的运动人体。在检测阶段，使用基于头肩的Hog 特征和线性支持向量机对分类器进行训练。在跟踪步骤中，使用了卡尔曼滤波方法作为外观模型。该方法适用于多角度、双向的人流，在局部遮挡、拥挤和背景干扰等情况下具有很强的鲁棒性，可以应用于实际公安工作中。