基于字典学习的77 GHz雷达人体动作识别

蒋留兵，魏光萌，车 俐

(1.桂林电子科技大学广西无线宽带通信与信号处理重点实验室, 桂林 541004；2.桂林电子科技大学计算机与信息安全学院, 桂林 541004)

长期以来，人体动作和行为识别一直是一个研究热点，在人机交互、智慧安防、辅助驾驶和医疗健康监测方面具有很大前景，目前普遍的动作识别解决方案都是基于摄像机来完成[1-2]，但实际应用时仍存在一些问题，比如摄像机在隐私保护上存在很大漏洞，并且对光线和视距要求较高。近年来，随着毫米波雷达技术的飞速发展，雷达的探测精度和性能越来越高，因此研究者尝试将雷达应用在更多领域。在人体动作识别领域，雷达可以不受外界的光照和视距因素干扰，具有稳定的工作性能，尤其可以完全避免对个人隐私的侵犯。所以，研究基于雷达的人体动作识别有较大前景[3-5]。

基于雷达实现动作识别的关键在于从雷达回波中提取出动作的特征信息，微多普勒信息是最典型的雷达动目标特征，根据微多普勒效应，当目标相对于雷达天线运动时，回波信号将产生频率变化，这就是微多普勒特征[6-7]。已有研究者[8-9]通过提取人体动作和手势的微多普勒特征，采用不同识别方法实现了人体动作识别。但现有的特征提取和识别算法在复杂的雷达动作信号上往往识别率不高。也有文献将深度学习方法应用到雷达动作识别中[10-12]，但深度学习算法对训练数据量要求极大，并且训练时间较长，数据量不足时性能和泛化性会下降，在小样本的雷达动作数据集上容易过拟合。

信号的稀疏表示已成功应用在压缩感知、图像识别、人脸识别等领域[13-14]，稀疏表示是为了在字典中选择尽量少的原子来表示信号，提取出信号的本质信息，进而实现信号的重构和分类等任务。为了获得灵活、自适应的字典，常用的做法是从训练样本中学习出字典，这个过程称为字典学习[15]。近年来，许多研究者提出了不同的字典学习方法。Aharon等[16]提出了K-SVD(K-singular value decomposition)算法具有较好的收敛速度，效果较好，被广泛使用并拓展开来；Zhang等[17]在此基础上提出了一种具有识别能力的D-KSVD算法，2013年，Jiang等[18]提出一种LC-KSVD(label consistent K-SVD)字典学习算法进行图像分类，取得了较好的效果，并且成功应用在很多领域[19]。LC-KSVD在重构约束项的基础上加入二元的标签约束项，可以同时学习到字典和线性分类器，在分类和识别任务上有较好的表现。

基于前人研究，首次提出一种基于LC-KSVD字典学习和77 GHz毫米波雷达的人体动作识别方法，首先利用毫米波雷达采集多个人体动作的回波信号，通过时频分析提取微多普勒信息，并转化为时频图，再采用两种特征提取方法对时频图进行降维描述，将两种降维后的特征数据进行融合作为训练样本，使用LC-KSVD方法来学习多特征字典和分类器参数，最后使用训练得到的分类器对采集的10种动作进行识别。

1 回波信号模型和时频分析

1.1 回波模型和多普勒信息

采用的雷达平台为调频连续波(frequency modulated continuous wave，FMCW)雷达，发射线性调频正弦波，具有较好的距离分辨力，且能测量很近的距离，系统结构简单，符合近距离探测人体动作的实验要求。

当调制波为正弦波时，FMCW雷达发射的载波频率为fc的波形S(t)可以表示为

S(t)=exp(j 2πfct)

(1)

式(1)中：j为虚数单位，动目标散射点理想情况下的回波为

(2)

式(2)中：Ap为回波信号在t时刻的幅度值；c为光速；rp(t)=r0-vrt，表示t时刻目标与雷达的瞬时距离，r0为t=0时刻的距离;vr为目标相对于雷达天线的径向距离。那么回波信号与发射信号的相位差为

(3)

对时间t求导，即可得到该散射点引起的多普勒频移fD：

(4)

式(4)中：λ为工作波长。

由式(4)可见，多普勒频移与目标的运动状态有很大关联，微多普勒信息可以作为动作的典型特征。

1.2 使用STFT进行时频分析

人体动作的雷达回波信号是随着时间变化的，具有时变特性，并且是由人体的多个散射点的回波信号组成，每一个时间点都包含多个频率分量，属于时变非平稳信号。对于时变非平稳信号，傅里叶变换不再适用于频谱分析，同时在时域和频域中描述信号的常用方法为时频分析[20-21]，时频分析不仅能够得到信号的频谱特征，也能观察到频率随时间的变化，将时域和频域作为一个整体进行分析。因此，采用时频分析将多普勒频移转换为时频图。

典型的时频分析方法有短时傅里叶变换(short-time fourier transform，STFT)[17]、小波变换、Wigner-Ville分布(WVD)等，为了减少计算复杂度和避免多分量信号分析时的交叉项干扰，采用较常用的STFT时频分析方法对回波信号进行分析。

STFT是一种具有代表性的线性时频分析，通过对原始信号加时间窗并沿着时间轴移动窗函数，将非平稳信号在一个极短的时间内看成是平稳信号，实现了非平稳信号转化成多个短时平稳信号进行叠加处理，在此基础上便可以采用傅里叶变换对每个短时平稳信号进行分析，得到频率随时间变化的时频函数。假设原始非平稳信号为h(t)，则短时傅里叶变换定义为

(5)

式(5)中：w(t)为窗函数；t为时间；τ表示时延；f为频率。STFT的离散形式可以表示为

(6)

式(6)中：h(k)为信号h(t)的离散形式；m、n分别表示时间采样和频率采样；w(k)为离散窗函数；T为时间采样间隔；fs为频率采样间隔。

2 基于字典学习的识别算法

2.1 稀疏字典学习和K-SVD算法

在稀疏表示中，字典学习的目的是为了从训练数据中学习到一个具有信号表示能力的字典，通过相应的稀疏系数对字典中原子进行排列组合，就可以达到表示和重构信号的效果。

一般来说，字典学习算法可以分为两个部分：稀疏编码和字典的迭代更新。首先对稀疏编码矩阵和字典进行初始化，再根据预先设定的约束函数，对稀疏编码矩阵和字典进行迭代更新，最终得到满足最优化约束条件的字典。

K-SVD算法是在稀疏表示理论上发展开来的较为主流的字典学习求解方法，由Aharon等[16]提出，K-SVD算法在OMP算法的基础上计算稀疏系数，但是在字典更新的过程中，采用了一种快速的矩阵计算方法——奇异值分解(SVD)，依次更新字典中的每一个原子以及稀疏编码矩阵的更新，避免了复杂的矩阵计算，加速迭代过程。

K-SVD的提出是为了解决信号重构和稀疏表示问题，信号重构目标是最小化字典的重构误差，约束函数为

(7)

式(7)中：D表示需要学习的字典，D=[d1，d2,…,dk]，D中的每一列dk为原子；Y=[y1,y2, …,yn]，表示一个n维的训练样本集，每一列表示一个训练样本，当k>n时，该字典被称为超完备字典。X=[x1,x2, …,xn]表示样本集的稀疏编码矩阵。约束函数中第一项表示重构误差，第二项表示稀疏度，用X的L1范数表示；λ为调节参数。所以约束函数的作用为①最小化重构误差；②最小化稀疏度，使稀疏编码矩阵尽可能稀疏，减少编码耦合。

2.2 LC-KSVD算法

K-SVD算法[15]很好地解决了信号的重构问题，但没有注重字典的分类能力和识别能力，在此基础上，着重于解决分类和识别问题的LC-KSVD算法被提出，该算法通过在约束函数中加入稀疏编码误差项和分类器参数误差项使得训练得到字典和稀疏编码矩阵具有较好的分类能力。

首先采用K-SVD算法基于重构误差对字典D进行初始化，对于每类样本迭代多次，然后将所有类的字典项组合作为初始字典,同时根据K-SVD算法可以得到初始的稀疏编码矩阵。然后给每一类的所有样本都加上类别标签，并且标签在字典的更新过程中保持不变。LC-KSVD算法的约束函数为

s.t.∀i,‖xi‖0≤O

(8)

在求解参数的最优解过程中，约束函数可以改写为

s.t.∀i, ‖xi‖0≤O

(9)

令

(10)

则约束函数的求解可以等价于：

s.t.∀i, ‖xi‖0≤O

(11)

式(11)是KSVD求解的问题，可以采用KSVD算法进行最优化求解。其中需要对线性转换矩阵A和分类器参数W进行初始化，根据初始的稀疏编码矩阵X、判别性稀疏编码Q、类标签矩阵H，根据下式使用多元岭回归对A进行初始化：

(12)

则可以得到：

(13)

(14)

假设待识别的样本为yi，首先根据学习到的字典D和式(7)计算出稀疏矩阵xi，再根据xi和线性分类器计算出对应的标签，完成识别。

2.3 基于多特征字典学习的特征提取方法

为了提取出人体动作回波的时频图中的更深层特征，得到更好的识别效果，对LC-KSVD算法进行扩展，针对人体动作雷达回波的时频图，采用两种不同的特征描述方法对其进行降维，首先使用较典型的主成分分析(principal component analysis，PCA)提取时频图的主成分特征，取前m个主成分特征，降维为m维向量；再采用Randomfaces方法[22]提取时频图中的随机特征，降维到n维，最后将两个降维后的数据进行融合，采用LC-KSVD学习多特征字典，字典中包含了时频图的两种特征的稀疏表示。较单一特征包含了更多的信息，最后使用学习到的字典对数据进行稀疏表示和识别。

PCA是一种使用广泛的数据特征提取和降维方法，可以得到数据的重要特征，而忽略噪声和不重要的特征，通过选择前n个主成分特征的方法实现特征提取。Randomfaces降维的降维矩阵独立于训练样本数据随机产生，可以避免数据不充分带来的降维结果不佳的问题，对于小样本人体动作数据，这个特点尤其重要，所以通过采用两种降维方法对原始样本进行特征提取并且融合。

基于多特征字典学习的特征提取方法原理如图1所示。

图1 多特征字典学习

3 雷达人体动作识别模型

基于77 GHz调频连续波雷达传感器，结合人体动作的微动特性，首次提出基于字典学习的雷达人体动作识别方法，并在理论的基础上设计实验验证系统，识别模型如图2所示，由如下三步组成。

第一步人体动作数据采集和处理。使用雷达采集人体动作信号，对其进行时频分析得到每组动作的时频图，作为实验数据集。

第二步多特征字典学习。将数据集分为训练集和测试集，在训练集上进行多特征降维，再学习字典。

第三步性能测试。对测试集做相同的特征降维处理，根据学习到的字典计算测试样本的稀疏编码，再根据学习到的分类器参数来得到动作类别，与实际类别进行对比，计算识别准确率，验证模型的性能。

图2 雷达人体动作识别模型

4 实验验证和性能分析

4.1 人体动作回波信号采集和处理

实验中所用的毫米波雷达实验平台由Texas Instruments公司开发的AWR1243BOOST雷达传感器模块和DCA1000EVM实时数据采集适配器模块组成。AWR1243BOOST是一款高度集成式单芯片的77、79 GHz FMCW毫米波雷达，具有低功耗，高精确度的优点。DCA1000EVM为雷达传感器模块提供实时数据采集和数据流化功能。该雷达开发平台附带PC端控制和数据处理软件，可以实现数据的实时采集、传输和可视化等功能。实验硬件平台如图3所示。

图3 AWR1243BOOST雷达

实验过程中规定每个人体动作均在3秒内完成，每次采集100帧数据，雷达实验平台的具体参数设置如表1所示。

表1 雷达参数

图4 数据采集现场

AWR1243BOOST传感器的发射天线和接收天线集成在一体，在数据实测过程中，室内无其他运动目标干扰，仅有少量桌椅静止摆放，雷达天线固定在椅子上，距离地面80 cm左右，目标人体与雷达天线的水平距离为2 m，每个动作的数据采集时间限制为3 s，为了增强数据分布的泛化性和识别的鲁棒性，共有三名测试者参与了动作数据采集过程，测试者身高分别为170、173、180 cm。共采集了10种人体动作，每个动作由三名测试者各重复10次，共采集到300组动作数据，动作种类及编号如表2所示，图4所示为数据采集现场图，图5所示为原始时域雷达回波信号。

表2 10种人体动作

图5 一个周期的原始回波信号

对采集的300组人体动作的原始雷达回波信号进行时频分析，分别得到每组动作的时频分布图，横坐标为时间轴，纵坐标为频率，图6所示为每类动作的时频图。从图6中可以看出，不同动作的时频分布有比较明显的差异，这为下一步的特征提取和识别提供了较好的基础。

4.2 实验结果和性能分析

将时频图数据集按照一定的比例分为训练数据集和测试数据集，训练数据集用来学习字典和稀疏编码矩阵，测试数据集用来检验算法的识别性能。为了减少因为数据集划分导致的偶然性误差，实验过程中会多次调整训练数据集和测试数据集的比例。算法验证部分在MATLAB R2018a中完成。

首先，将所有时频图进行灰度化并调整大小为128×128，再分别使用PCA和Randomface方法[19]分别提取特征，降维为60维和100维向量，图7所示为使用PCA特征，图8所示为Randomface特征。

将数据集按照不同的比例划分，即在测试者A、测试者B、测试者C中随机抽取一个人或两个人的动作样本作为训练集，其他的动作样本作为测试集。使用训练集进行训练，学习到字典和分类器参数，以2∶1的数据集划分为例，训练数据为200组，测试集为100组，图9所示为学习到的多特征字典D，图10所示为分类器参数W。

用对应的测试集进行识别测试，表3为具体的识别准确率，图11分别为不同数据集划分比例时的预测类别和真实类别的混淆矩阵。当训练集与测试集比例为2∶1时，平均识别准确率为97.7%，即使在训练集与测试集比例为1∶2时，平均识别率仍然能够达到91.8%。

图6 十种动作的时频图

图7 PCA特征

图8 Randomface特征

图9 多特征字典矩阵D

图10 分类器参数矩阵W

图11 识别混淆矩阵

为了说明多特征字典学习的性能，对单独的PCA降维后的数据和Randomfaces降维后的数据进行LC-KSVD字典学习，再进行识别测试，得到平均识别准确率，并与融合两种特征的识别准确率进行对比，图12所示为不同数据集划分比例下不同特征的识别准确率，表3所示为平均识别准确率。

图12 不同特征的识别准确率

表3 识别结果

通过表4可知，提出的多特征字典学习方法在人体动作时频图的特征提取上要优于单独的PCA特征和Randomfaces特征，融合两种特征后得到的特征，更能表示出人体动作时频图的信息。

表4 实验结果对比

图13 SVM识别效果

图14 识别性能对比

此外，为了说明识别算法的性能，用提取出的特征来训练支持向量机(SVM)，并进行识别测试。首先对特征向量进行归一化，并采用网格划分搜索算法来对SVM进行优化，寻找最优的惩罚参数C和径向基核函数宽度g，再通过训练得到模型，用测试集进行性能测试。当训练集为A和B、测试集为C时，识别效果如图13所示。当数据集划分为2∶1时，平均识别准确率为94.7%，数据集划分为1∶2时，平均识别准确率为80.7%，图14所示为SVM和LC-KSVD的识别性能对比图。从图14中可以看出，多特征LC-KSVD字典学习方法的识别性能较好，尤其在训练集比例较少时，识别准确率远高于SVM。

根据实验结果和对比分析，可以看出提出的雷达人体动作识别方法总体识别率较高，并且通过对比不同特征的识别结果和不同分类算法的识别结果，说明提出的多特征字典学习识别模型能够更好地提取出人体动作的本质特征，并且准确地对动作进行识别。

5 结论

提出一种基于77 GHz毫米波雷达和多特征字典学习的人体动作识别方法。采用多特征LC-KSVD字典学习方法对人体动作的时频图进行特征提取和识别，并且基于实测数据进行实验验证，得到以下结论。

(1)雷达人体动作识别方法在训练集与测试集比例为2∶1时可达到平均97.7%的识别准确率，说明识别方法可以实现动作识别，具有可行性。

(2)实测数据集由不同人的动作组成，样本分布合理，接近实际应用环境，说明识别模型具有较好的泛化性，在实际应用中具有前景。

(3)基于毫米波雷达的人体动作识别具有研究意义和应用前景，但实验验证是在理想环境下进行，在后续研究和实际应用中还需考虑复杂环境下动作的检测识别和噪声抑制。