可穿戴式人体姿态识别系统研究进展

宋贺良,郑 毅,王克强

(华北光电技术研究所,北京 100015)

1 引 言

可穿戴式人体姿态识别系统已在智能家居[1]、虚拟现实[2]、病人实时健康监测[3]、体育竞技分析以及人机交互场景中被广泛应用。

基于可穿戴式的人体姿态识别系统相比于非穿戴式的识别系统(如图像识别技术、电磁定位跟踪技术和声学定位跟踪技术)有着独特的优势(见表1),并且可使用的传感器类型较多,常用的无线通信方式有WiFi、蓝牙和Zigbee,可以比较全面的记录与人体行为相关的各种数据,已经发展为一种非常实用的现代技术。具体实现为将传感器通过嵌入式技术,采集人体多种生理信息后通过无线通信技术传输到智能终端处理分析数据。

表1 非穿戴式和穿戴式技术对比表Tab.1 Comparison table of non-wearableand wearable technology

2 加速度计进行姿态识别

2.1 单轴加速度计

在可穿戴式人体姿态识别技术初期,研究人员使用单轴加速度计来识别人体行为。Servais等人[4]研究发现将加速度计放置在加速度变化较小的位置(如腰部、背部)识别效果要好于变化较大的位置(四肢)。Carlijn等人[5]将三个单轴压阻式加速度计(如图1所示)独立正交安装在12 mm×12 mm×12 mm的空间中,佩戴位置选择在腰椎,通过频率与幅度识别人体日常活动行为,识别率为30 %～40 %。J.B.J.BUSSMANN等人[6]将四个压阻式加速度计分别放置在大腿以及胸部,选择角度、运动信号和频率三个特征值,预设阈值后识别了20多种不同的姿态,但是特征提取与姿态识别花费了30 min。Kristof等人[7]通过使用两个单轴加速度计佩戴在裤子上,并通过使用KSOM聚类算法(如图2所示)分类,站与坐两种姿态识别率达到95 %,但是上下楼梯识别率仅有50 %,并且算法复杂,只能离线处理数据。

图1 压阻式加速度计图Fig.1 Piezoresistive accelerometer

图2 KSOM算法示意图Fig.2 Schematic diagram of KSOM algorithm

2.2 三轴加速度计

随着刚体姿态估计理论与加速度计工艺技术的成熟,研究人员开始采用三轴加速度计来评估日常行为姿态,三轴加速度计用于测量载体的三轴运动加速度,具有体积小和重量轻的特点。

如图3所示，在导航学中:横滚角(Roll Axis)φ:机体轴X轴与水平面的投影之间的夹角,区间(-180°～180°)；俯仰角(Pitch Axis)θ:机体轴Y轴与水平面的投影之间的夹角,区间(-90°～90°)；偏航角ψ(Yaw Axis):机体轴Y轴在水平面上的投影与地轴Y轴之间的夹角,区间(0～360°)。

图3 姿态角Fig.3 Attitude angle

如图4所示，当三轴加速度计为静止状态时加速度计的输出仅为重力加速度g,因此针对这个静态输出的特性,可以对此构建与三个轴输出的比例关系方程,从而可以解算出姿态角。

图4 加速度法求解姿态角Fig.4 Acceleration method to solve attitude angle

其中g为重力加速度方向,X、Y、Z三个轴为加速度计测量轴,根据矢量关系可计算出俯仰角与横滚角。加速度法求姿态角有着计算步骤简单和没有误差累积的优点。但是此方法无法计算出偏航角,无法得到较为完整的姿态数据,并且在人体运动时所测得的数据为重力加速度和运动加速度的叠加量,即使用滤波器从测得的加速度数据中消去运动加速度分量仍会导致数据延时,很难达到实时精确求解姿态的要求。

Zhenyu He[8]使用离散余弦变换和主成分分析减少特征信息,张洁[9]解决特征降维问题时同样采取了主成分分析,后利用ReliefF算法重新计算每个特征的权值,再针对计算结果中不同的特征权值而获得分类的依据,选择特征权值最大的几个特征组成特征子集。最终均采用支持向量机进行姿态识别。

弗拉基米尔·瓦普尼克[10]在1995年发表了最初的SVM文章,当时这篇文章被Machine Learning著名期刊要求命名为“支持向量网络”发表。支持向量机的学习是在特征空间进行的,考虑一个二类分类问题时,支持向量机的基本思想就是在样本空间中确定一个超平面,可以将需要分类的集D划分。面对小样本学习的问题,采用了结构风险最小化原则代替经验风险最小化原则,得到了广泛应用。

2.2.1 线性可分支持向量机

假设ωTx+b=0为确定下来的超平面,法向量:ω=(ω1;ω2;…;ωd),位移项为b,分别确定了超平面的方向和超平面到原点的距离,样本空间中,随意的点x到这个超平面(ω,b)的距离可表示为:

图5 几何间隔Fig.5 Geometric interval

依据拉格朗日对偶性的理论,根据求解对偶问题的最优解从而求解出划分超平面与决策函数。

2.2.2 非线性支持向量机与核函数

如果遇到线性不可分问题,一般情况下是在训练集中存在某些特异点,将其去除后其余大部分的样本点集合仍然可以线性可分,要使用软间隔最大化分类,即引入一个松弛变量,但是在现实问题中往往会出现算法叙述的情况。

如果在现实问题中,原始的样本空间数据并不能使用线性模型正确划分,我们可以先通过一个解变换将非线性问题转变为线性问题,再按上述方法求解转变后的线性问题,即可解出原始非线性问题。通过使用核技巧首先将原始空间中的数据转变到一个新空间中,两空间实例的内积被称为核函数,再对此新空间应用上述所提到的线性分类支持向量机来训练模型,很好的简化了高维模式识别问题。

支持向量机在多分类问题中主要有1-v-r SVMs[11]、1-v-1 SVMs[12]、基于二叉树的多类SVM[13]三种思路。如果我们所需要区分的种类非常多是,会明显降低1-v-r SVMs和1-v-1 SVMs两种算法的分类训练速度。使用1-v-1 SVMs算法分类时最大的缺点是在区分两三种比较相似的种类时容易出现无法区分的情况。而在使用基于二叉树的多类SVM算法时,如果在第一层就存在着误差,那么误差会随着层数累积进而影响算法的分类精度。

徐川龙[14]发现使用SVM分类器高于BP神经网络的姿态识别率。Putchana等人[15]提出了一种使用无线局域网技术来实时监测老年人运动与跌倒,从三轴加速度计采集信号后通过无线技术发送到计算机；王昌喜[16]使用支持向量机算法识别打乒乓球的三个动作,可以达到98 %的正确识别率。

3 传感器进行姿态识别

但是与身体运动相关的信号有着复杂且不规则的波动,仅有加速度信号过于单一,传统的统计方法无法对其分析,随着微机电系统技术越来越成熟,传感器有着多种优点:集成效果好、功耗低、造价低和可靠性好等。目前求解姿态角常用的方法有:①将陀螺仪输出的角速度直接积分求解姿态角；②通过加速度计矢量法求解横滚角与俯仰角,再根据磁强计求解偏航角；③使用陀螺仪与加速度计融合法求解姿态角；④利用加速度计、陀螺仪和磁强计融合法求解姿态角。

在遇到实际问题时,通常方法①中的陀螺仪具有常值误差与误差累积的特性,直接积分会导致解算出的姿态角误差较大；方法②中前文已经提到在运动情况下运动加速度大于重力加速度,并且磁强计的误差包括多个方面:磁场变化包含地球磁场和在有铁磁介质的环境使用,也存在姿态角补偿误差；方法③、④是目前较为常用的方法,但是均需要采用数据融合算法。

在进行人体姿态信息采集时,所使用的MEMS传感器既有多组件组成的方案,也有使用六轴、九轴的运动处理芯片的集成模块。常用的六轴传感器有LSM330DLC与MPU6050,其中MPU6050是由三轴MEMS加速度计与三轴MEMS陀螺仪组成,既避免了加速度计与陀螺仪使用时时间的轴间差问题,也通过集成的方式减少了封装空间。

3.1 姿态角解算

在描述姿态时有三种常用方法:运用欧拉角法方程较为简单,并且求解不需要正交化处理,但是每一个方程都含有三角函数,计算繁琐复杂,在俯仰角为90°时容易出现结果不确定的结论；方向余弦法在90°时不会出现无解的状况,但是需要求解九个微分方程,计算复杂不适用于可穿戴姿态识别系统实时求解；四元数法中的三轴角速度可以由陀螺仪测出,只要确定某一时刻的初始四元数和角速度,通过求解四个微分方程就可以解出任意时刻载体的姿态四元数和姿态角。因此四元数法的实用性更出色。

当我们在描述人体姿态时,需要定义一个可以描述姿态的坐标系,在选择参考坐标系时,一般我们选择地理坐标系,载体坐标系相应的用人体坐标系来确定,由坐标变换矩阵转换。

使两个坐标变换矩阵元素对应相等,可以得到姿态角与四元数的转换关系,再通过求解四元数的微分方程即可求解人体姿态角。

3.2 人体运动数据预处理

在实验中进行人体姿态数据采集时,传感器容易产生外界环境和自身的误差,这些噪声会对之后的数据处理产生干扰,在数据预处理时,中值滤波、高斯滤波、卡尔曼滤波和小波阈值去噪是目前平滑去噪较为常用的选择。张玉莲等研究人员[17]采用Allan分析法结合Kalman滤波算法,从而对MEMS陀螺随机误差建模并加以补偿。赵祥欣等人[18]采用中值滤波的技术,从而消除三轴加速度计的脉冲噪声。李世心等人[19]对陀螺仪去噪时采用平稳小波并得到了很好的结果。卡尔曼滤波算法在信息融合中对陀螺仪去噪有着很好的效果,同时也要建立信号噪声模型,如果噪声随机就并不容易确定噪声类型,并且算法计算复杂度较高,不太适用于实时传输。

3.3 运动数据特征提取

从传感器中测得的各种数据,都是表征人体姿态的原始信号,与生理相关的信号呈现出复杂且不规则的波动,传统统计方法无法对其合理分析,需要在原始信号中挖掘出最合适的信息,接下来才可以构建并验证合适的模式识别算法。传感器采集信息为某一段时间内的数据,数据点过多导致不适用于直接对信号进行特征提取,常用的办法是数据分割和时间序列扩充。

特征来源于加速度计数据的窗口,现如今已经使用一系列不同方法从加速度计中提取姿态特征,一些研究人员直接从时域和分析频域来提取特征,近些年小波分析[20]已被用于推导所谓的时频特征。小波分析不仅可以确定离散时间序列,还可以导出表征原始信号的时频特征。需要面对不同的场景时要做不同的处理,应该尽可能选取种类较多的特征进行分析,从而选取出最能够区分不同姿态的特征。

3.4 人体姿态模式识别

人体运动特征提取后,有不同的算法选择来区分需要识别的姿态。Qiang Li[21]通过在胸部和大腿两个部位放置两个传感器,计算躯干与重力矢量夹角,再与自己所设定的阈值进行比对,从而确定四种静态姿势和跌倒状态。此系统虽然模式识别正确率比较高,但是采用阈值分析,结果不具有普适性。Yeoh W S[22]选取了三个双轴加速度传感器来检测人体姿态(躺、坐、站立)和步行速度,一个传感器安装在腰上,其余两个安装在大腿上。分类器首先通过判断是否为周期性的步态活动来确定人处于静态还是动态,再根据姿态分类器基于躯干、左大腿与右大腿的弯曲角度来判定基础活动。此系统通过估算躯干与大腿的弯曲角度后进行阈值分析,理论上识别率会比单传感器更高,如果将阈值判断换为机器学习算法判断,识别率会更高,但是计算两个传感器之间夹角过于繁琐,且需要额外佩戴一个主控芯片,通信及可靠性问题也需要解决,整个算法的工作量较大,不适合实时判断姿态变化。

Verma的团队[23]使用Sparkfun 9DOF RazorIMU(九轴)传感单元,通过多尺度熵分析(MSE)与模糊逻辑算法(FL),有效识别了六种不同的人体姿态及跌倒状态。李路[24]使用三轴加速度计与三轴陀螺仪的组合,将传感器单元佩戴在人体腰部,采用四元数求姿态角,并提出了一种基于加速度计校准人体姿态角的方案:当人在静止状态下,可以选取一个静态校准点,通过加速度计求出的横滚角与俯仰角进行校准；当人在运动状态下,选取合加速度为1g时,此时加速度处于下降沿时,选其作为动态校准点来校准四元数法求出的姿态角,并采用支持向量机算法进行姿态识别。

4 展 望

现在实验所选择的监测节点较多,需要基于人体姿态动力学模型进行建模分析,虽然算法逻辑清晰且精度高,但是测量时传感器位置偏差会随时间累计,另外在无线传输时需要考虑数据同步,受外界干扰严重并且传输不稳定,在接下来的研究中可以采用传感器较少并且无线传输通道较少的方案。

在解算人体姿态角时,描述姿态常用的方法是基于四元数的卡尔曼滤波法,在融合各种数据时是将加速度计和磁强计近似看作线性系统来使用卡尔曼滤波方程,接下来的研究可以使用扩展卡尔曼滤波或者无损卡尔曼滤波对数据进行融合。

对运动数据特征提取时,在实验中[25],快速傅里叶变化频域特征在单传感器测量时比时域特征和小波分析具有更高的判别能力,但是特征分析不能一概而论,不同方向和位置的特征对待分类的表现程度不一,在以后研究中可以在特征提取时测试多种方案。

现如今使用最常见的模式识别算法是支持向量机,虽然识别率很高,但是一般需要训练比较多的支持向量机,计算量大且运算过程繁琐,如果想将算法移植到终端比较困难,如何在保证识别率的基础上优化算法是接下来工作的重点。

5 总 结

随着微机电技术的研究发展,目前所研究的人机交互应用领域也不断扩大,可穿戴式人体姿态识别技术是一种涉及多学科、多领域的人机交互技术,包括人体运动学、传感器技术、信号处理等复杂学科的一项系统工程。本文从最开始所仅采用加速度计到现在采用惯性传感单元的进展进行论述,重点对可穿戴式人体姿态识别技术的实现方法进行梳理总结。最后,结合这项技术还存在的某些不足对未来科研进行了展望,对相关技术的深入研究有所帮助。