基于多特征融合的活动识别算法

张耀威，李瑞祥，戴健威，施伟斌

（上海理工大学光电信息与计算机工程学院，上海 200093）

0 引言

近年来，基于可穿戴传感器的人体活动识别（Human Activity Recognition，HAR）成为模式识别和机器学习领域的研究热点，可用于对用户执行的日常活动进行连续分析，在医疗健康［1-2］、智能家居［3］和安全检测［4-5］等领域均发挥着重要作用。例如，HAR 技术可以用于监测独居老人的日常活动，当老人处于跌倒、心脏病突发等危险状态时，其可及时向监护人发出报警信息；可以为运动员提供技术支持，使其动作更加标准规范；还可以根据人类活动类型控制室内温度。此外，与基于视觉的活动识别相比，可穿戴传感器受到的限制因素非常少，完全不受光照强度和物体遮挡影响［6］，具有更大的检测范围，且经济成本非常低，不会侵犯用户隐私信息。因此，采用可穿戴传感器对人体活动进行识别具有非常重要的实用价值。

1 相关研究

基于可穿戴传感器的活动识别算法包括运动信号采集及预处理、特征提取、特征选择和分类器识别的过程，其中在人体活动特征提取方面，已经有很多学者进行了深入研究。例如，Jain 等［7］从活动信号中提取梯度直方图（Histogram of Gradient，HG）和傅里叶描述子（Fourier Descriptor，FD）特征，使用支持向量机（Support Vector Machine，SVM）对UCI HAR 公共数据集进行识别，取得了96%的准确率，但由于未进行特征选择处理，算法的实时性和准确性有待提高；和梦琪等［8］通过对原始活动数据进行相空间重构，提取了重构空间的时域特征，降低了特征提取的维度和复杂度，然后基于XGBoost 分类器对ADL 公共数据集进行了识别，取得了93%的识别准确率；Li 等［9］提出线性预测系数（Linear Prediction Coefficient，LPC）的活动特征，基于随机森林（Random Forest，RF）算法识别SCUT 公共数据集，活动分类准确率为93%；Tian 等［10］搭建了一套活动数据采集系统提取活动信号的小波能量谱（Wavelet Energy Spectrum，WES）特征，然后采用SVM 和K 近邻（K-nearest Neighbor，KNN）取得了85%和83%的识别精度；Wu 等［11］从活动数据中提取了时频域特征，如均值、方差和加速度矢量值等，基于KNN 算法的识别准确率为90.2%，其中上下楼的识别准确率最低，仅为70.4%和52.3%；Athanasios 等［12］采用长短期记忆神经网络（Long Short-Term Memory，LSTM）提取活动信号的时间和空间特征，然后对多传感器数据进行融合，实现了85.6%的识别准确率；Stisen 等［13］提取活动信号的谱系数、熵值和主频率等特征，基于SVM 算法实现了89%的识别精度，该精度有待提高。

在日常生活中，人体活动信号复杂多变，提取不同的特征会产生不同的识别效果，特征中包含的活动信息越丰富，分类器的识别精度会越高。基于上述研究与分析，本文提出了基于FDs、局部二值特征（Local Binary Pattern，LBP）和WES 多特征融合的活动识别算法，并通过有效的特征选择处理，显著提高了活动识别的准确性和实时性。

2 HAR 算法

基于可穿戴传感器的HAR 目标为根据传感器所测得的活动数据实时准确地确定用户所执行的各种活动类型。图1 为本文算法的流程框图。

利用加速度计采集活动的加速度信息，使用FDs、LBP和WES 进行特征提取，并在特征层次上合并生成特征集，随后将组合的特征向量提供给分类器，以确定用户执行的活动。

Fig.1 Human activity recognition algorithm flow图1 HAR 算法流程

在人们进行日常活动时，采用加速度计可以采集不同活动的线性加速度，其中三轴线性加速度信号可以表示为ax、ay和az。图2（彩图扫OSID 码可见，下同）展示了6 种不同活动的加速度信号在x、y和z方向上的变化曲线，可以看出每种运动均呈现出一定的周期性，因此本文采用重叠率为50%的滑动窗口对数据进行分割，将分割后得到的数据当作活动识别的样本。特征信号在活动分类中具有极其重要的作用，因此需要设计高效的特征描述这些信号的演变模式。

Fig.2 Acceleration information of human activity图2 人体活动的加速度信息

3 特征提取

3.1 FD

各种人体活动信号均有x、y和z3 个方向，任取两个方向上的信号进行组合可以生成相应的活动曲线。例如，将走路动作的x、y方向进行结合，会生成一组二维的数据点(x(t),y(t))，对应空间中的一条曲线。FD 可以从活动曲线中提取形状特征，该特征具有平移、旋转和尺度不变性，有助于提升分类算法的性能。

基于FD 提取活动曲线的特征包括复坐标、质心距离、曲率和累积角函数［14］。本文提取了基于FD的质心距离特征，含有坐标(x(t),y(t))的活动曲线的质心距离表示为：

式中，d(t)为t时刻的质心距离，数值范围为1～n；n为曲线上的坐标数。

曲线的质心(xc,yc)计算公式为：

基于质心距离表示的离散傅里叶变换（Discrete Fourier Transform，DFT）计算公式为：

式中，FDn为傅里叶描述子。式（1）中，从曲线坐标中减去质心(xc,yc)的目的是使特征结果具有平移不变性，而旋转不变性是仅通过考虑FDs的大小实现的。DFT 中的低频系数相较于高频系数包含更多与形状相关的信息，因此仅使用前N/2 个FDs 构建特征向量。为了达到尺度不变性，每个保留系数的幅值需要除以直通分量|FD0|，并最终基于FD的形状表示按以下公式生成：

针对上下楼、走路、倒走和快走活动提取FDs，其变化曲线如图3 所示。可以看出，每种活动的FDs 特征曲线均呈现出不同走势，可见FDs 对不同活动具有足够强的判别能力，有助于提升分类算法的识别性能。

Fig.3 Comparison of FDs of different activities图3 不同活动的傅里叶描述子比较

3.2 LBP

基于三轴加速度计采集的人体活动信号分为x、y和z3个方向，可以将3 个方向上的信号合并为二维图像，进一步从图像中提取特征，这种特征提取方法的优点是同时考虑了传感器数据的时间和空间信息，可以提取到更加鲁棒的活动特征，有助于提高活动识别准确率。

LBP 可以提取图像的纹理特征，属于非参数的特征描述符，其能有效抵抗图像形状变化带来的干扰［15］。LBP 算子可以将图像的像素标记为十进制数，即LBP 编码。如图4 所示，每个像素与其周围3×3 邻域中的8 个像素进行比较，如果值为复数，则以0 进行编码，反之编码为1。

对于每个给定的像素，所有的0 和1 编码从该像素左上方的邻居开始，以顺时针方向串联起来得到一个二进制数，然后将其转换为对应的十进制数用于标记给定的像素。

Fig.4 Diagram of LBP algorithm图4 LBP 算法示意图

3×3的LBP 算子无法从大尺度的结构中提取主要特征，因此本文选择将方形的滑动窗口替换为圆形并加入半径和采样点的概念。该方法可以动态采集像素点，增强了LBP 特征的判别能力，如图5 所示。

Fig.5 Schematic diagram of circular LBP algorithm at different sampling points图5 不同采样点的圆形LBP 算法示意图

给定一个（xc，yc）的像素点，十进制形式的LBP 计算公式为：

式中，P,R表示在半径为R的圆上采样点P的邻域；ic和ip分别为中心像素和采样点P周围像素的灰度值；函数s(x)的计算公式为：

改进的LBP 算子对单调灰度变换具有不变性，保持了局部邻域中像素强度的有序性。LBP（P，R）算子可以产生2p个不同的输出值，对应邻近区域2p个不同的二进制模式值。

3.3 WES

基于小波包分解算法，可以将加速度信号分解为高频成分和低频成分，然后进一步计算得到非常细微的高频信号成分［16］。不同活动的加速度信号有不同的频率分布，如走路动作的频率处于1～6Hz 之间，而跑步动作的频率处于1.7～16Hz 内。小波包分解算法可以很好地反映不同活动加速度信号高频和低频部分的不同特征，三层小波包分解的处理过程如图6 所示。

Fig.6 Sketch map of three-layer wavelet packet decomposition图6 三层小波包分解示意图

对于小波包分解算法，给定正交尺度函数φ(t)和φ(t)分别表示为：

式中，h0k和h1k为多层分解中的滤波系数。

正交尺度函数进一步推广，可以得到：

{wn(t)}n∈Z的小波包可以由w0(t)=φ(t)确定，其是尺度函数w0(t)和小波函数w1(t)的集合，因此小波包系数的递推公式表示为：

小波包的重建方法表示为：

从能量角度来看，WES 是小波包分解的结果。不同类型活动的加速度信号在每个频带的能量分布有很大差异，因此WES 可以作为活动信号的特征信息。小波包变换的能量与原始信号能量之间的关系表示为：

经过小波包分解后，每个频带内平方信号之和可以作为WES。小波包分解的结果可以表示为di,j(k)，每个频带内信号的能量表示为：

式中，N为原始信号长度。

所有的Ei,j构成WES，表示为：

小波包分解的层数与所获得的频带数目和特征向量维数直接相关。通过大量实验发现，采用4 层小波包对加速度信号进行分解时，各子带的能量分布可以有效区分不同类型的活动。

4 特征融合与选择

4.1 特征融合

从人体活动信号中提取FDs、LBP 和WES 特征，其中FDs 因其平移、旋转和尺度不变性，会使得类内相似度增强，类间相似度降低，但其仅提取了活动信号的全局特征，未考虑到局部信息。将一维活动信号转换为二维图像信息后，LBP 可以提取到活动的时间和空间特征，抗噪声干扰能力强，同时还考虑到了信号的局部信息。与FDs 和LBP相比，WES 考虑到了活动信号的频域信息，可以提取到反映活动强度的信号能量等特征。

为了充分利用不同特征所具有的优势，在特征提取后采用特征融合的思想，融合特征依次由FDs、LBP 和WES 组成，融合方法表示为：

式中，Ff表示经过融合后的特征。

4.2 特征选择

特征选择即选择相关子集的过程，是为分类、聚类和其他任务构建机器学习模型的关键部分。特征选择具有重要作用，可降低训练模型过程中的计算复杂度、加速模型训练过程以及提高模型鲁棒性。

Relief-F 是一种常用的特征选择算法［17］，首先对数据集进行特征选择，然后训练学习器，特征选择过程与后续分类算法无关，相当于先用特征选择过程对原始特征进行过滤，再用过滤后的特征训练模型。Relief-F 一般用于解决多分类、数据缺失和数据噪声等问题。该方法根据特征对近距离样本的识别能力进行特征评估，高质量的特征应当使同一类样本彼此接近，不同种样本彼此相距较远。Relief 通过式（18）对特征权重进行更新：

式中，W[i]为特征i的权重，Rs为从训练集中随机选择的样本，Hj为k近邻中第j个与Rs属于同类的样本，Mj为第j个与Rs类别不同的样本，P(c)为类别C出现的概率。

5 实验结果与分析

采用时间长度为2.56s，重叠率为50%的滑动窗口对连续的活动信号进行分割，将70%的数据作为训练集，30%的数据作为测试集，并进行以下4 个实验验证本文算法的有效 性：①基于WISDM 数据集比较FDs、LBP 和WES 及其组合对活动识别性能的影响；②基于WISDM 数据集比较多种不同分类算法进行活动识别时的性能；③基于WISDM 数据集比较特征选择对活动识别性能的影响；④与历史研究中的优秀方法进行性能比较。

采用准确率（Accuracy）、查准率（Precision）、查全率（Recall）以及F1 度量对本文提出的HAR 算法的性能表现进行定量评估分析。

式中，FP（False Positive）和FN（False Negative）分别表示将全部负类样本预测为正类和负类的样本个数，而TP（True Positive）和TN（True Negative）分别表示将全部正类样本预测为正类和负类的样本个数。

5.1 不同特征及其组合性能比较

从人体活动信号中提取FDs、LBP 和WES 特征，为了探究每种特征及其组合对活动识别性能的影响，如活动识别准确率和计算时间，基于RF 分类算法对上述活动特征进行分析。RF 算法是一种集成学习分类算法，作为Bagging的一个扩展变体，其是一个包含多个决策树的分类器，输出类别由每棵决策树输出类别的众数确定。

Table 1 Performance comparison of different features表1 不同特征性能比较

如表1 所示，当单独使用这3 个特征时，WES 特征可以取得最高的活动识别准确率（89.3%），计算时间为0.1s。虽然LBP 特征的计算时间最短，仅为0.02s，但其活动识别准确率却表现最差，仅为66.9%。从表1 中还可以发现，当对FDs、LBP 和WES 特征进行融合时，活动识别的效果最好，达到了92.7%的准确率，较LBP 和WES 特征分别有25.8%和3.4%的提升，同时计算时间为0.23s，满足实时性要求，说明多特征融合对提高活动识别率有一定帮助，证明了本文算法的有效性。

5.2 多种分类算法性能比较

将这3 种特征进行融合，目的是尽可能地提升活动识别准确率。对常见分类算法RF、KNN、SVM、多层感知机（Multi-Layer Perception，MLP）、决策树（Decision Tree，DT）和逻辑回归（Logistic Regression，LR）的性能进行比较，结果如表2 所示。

Table 2 Comparison of classification algorithms表2 分类算法比较 （%）

从表2 可以看出，RF 算法的活动识别性能最好，该算法的准确率、查准率、查全率和F1 值均超过92%，而其余5种分类算法的4 种性能指标均低于90%，说明RF 作为传统分类树算法的增强算法，分类性能优于传统分类算法，适用于具有相似特征的活动识别任务。因此，在后续实验中，本文选择RF 分类算法进行比较分析。

5.3 特征选择对活动识别性能的影响

从活动信号中提取FDs、LBP 和WES 特征后，本文对这3 种特征进行了有效融合。为了去除其中的冗余特征，比较方差选择法、递归特征消除法（Recursive Feature Elimination，RFE）、Relief-F 和RF 特征选择方法对活动识别性能的影响，其中Relief-F 方法采用皮尔逊相关系数计算特征对应的相关统计量，实验结果如表3 所示。

Table 3 Comparison of feature selection methods表3 特征选择方法比较

从表3 可以看出，与其余3 种特征选择方法相比，Relief-F 方法可以更有效地消除冗余特征，人体活动识别准确率可达94.5%，与“5.2”节中基于RF的分类结果相比，加入特征选择算法后，活动识别准确率提升了1.8%。因此，在多特征融合后，基于Relief-F 算法对特征向量进行选择具有非常重要的作用。

此外，Relief-F 算法需要通过相关统计量衡量特征的重要程度，其中特征向量中的每个特征都可以计算得到相对应的相关统计量，因此特征子集的重要性由该子集所有特征的相关统计量之和衡量。在计算特征对应的相关统计量时，本文比较了皮尔逊相关系数和余弦相似度方法的性能，实验结果如表4 所示。

Table 4 Comparison of similarity methods表4 相似度方法比较 （%）

从表4 可以看出，采用皮尔逊相似度方法计算特征的相关统计量时可以取得更好的分类性能，活动识别准确率可达94.5%，较余弦相似度方法有0.7%的提升。

5.4 与历史研究的比较

为了证明本文所提算法的有效性，将历史研究中基于WISDM 和ADL 公共数据集的优秀方法与本文算法进行比较，结果如表5 所示。可以看出，本文算法表现出更优异的性能，对WISDM 和ADL 公共数据集分别取得了94.5%和95.3%的识别准确率，优于历史研究中的方法。因此，从活动信号中提取FDs、LBP 和WES 特征并进行融合，然后采用基于Relief-F的方法进行特征筛选，有助于提升活动识别性能。

Table 5 Comparison with historical research methods’performance表5 与历史研究方法性能比较

6 结语

本文从丰富的活动特征可以提高人体活动识别准确率的角度出发，提出从活动信号中提取FDs、LBP 和WES 特征的方法，其中前两个特征考虑了活动信号的空间性和时间性，通过将加速度计采集到的一维信号构建为二维的图片信息，可进一步提取鲁棒的特征，有助于提高活动识别性能。将多特征进行有效融合后，本文基于Relief-F 特征选择算法去除冗余的特征，并采用WISDM 和ADL 公共数据集进行了相关实验。实验结果表明，与单一特征方法相比，多特征融合的识别率显著提升，在进行特征选择后，活动识别率进一步得到提升，验证了本文算法的有效性。在后续研究中，将考虑识别更多种类的人体日常活动以及提升系统的整体识别准确率。