基于微多普勒特征和深度学习的人体动作识别*

钟滢洁，李秋生,†

(赣南师范大学 a.智能控制工程技术研究中心；b.物理与电子信息学院，江西 赣州 341000)

随着社会的发展进步，人们在生活、工作、出行等方面的安全防范意识逐渐增强，如何保证社会安全成为当下人们面临的最严峻的问题之一[1].由于在商场、银行、医院及保密机构等场所可能存在安全隐患，因此在这些敏感场所内识别异常行为，实现人体动作识别具有重要意义[2].基于光学[3]和红外视频图像[4]的人体动作识别已经广泛应用于安防监控、体感游戏、自动驾驶等方面[5].但是其易受光照、自然天气因素影响.与其他传感器，如摄像头和红外探测相比，毫米波雷达的主要优点是受雾、雨等天气影响比较小[6]，具有抗有限光照条件等低能见度环境的强大性能，可以全天候全天时工作，同时，保护了个人隐私安全.与其他微波相比，毫米波频率高，波长短，具有抗干扰能力强、探测性能好及分辨率高的优势.因此，基于毫米波雷达的人体动作识别是目前的热门研究方向[7].

Bryan J等人[8]研究了利用超宽带雷达对8种不同的人体活动进行分类，8种人体活动包括跳跃、站坐转换、爬行、静止、行走、跑步、拳击及旋转，文中首先利用主成分分析(PCA)降低维数，同时利用支持向量机(SVM)对上述8种人体活动进行分类，该方法的分类精度达到85%.Tekeli B等人[9]提出利用信息理论特征选择技术分析从人体动作中提取的10个有效特征用于评价人体动作识别所需的基本特征，同时最小化所需特征的总数.实验结果表明，此特征选择方法对人体行走、跑步、爬行和匍匐四类动作在目标沿雷达视线移动时的分类正确率为96%，切线运动时的分类正确率为65%.文献[10]中使用了一台单发单收的工作在7.25 GHz的多普勒雷达探测人类活动，采集人类仰泳、自由泳、蛙泳、划艇及水中拖艇游泳5五种不同的水中活动，并对其进行时频变换得到动作的时频谱图，利用深度卷积神经网络(DCNN)训练谱图得到的分类准确率为87.8%左右.

本文利用77 GHz工业毫米波雷达作为传感器获取人体动作，通过对人体目标的调频连续波雷达回波信号依次进行快时间域快速傅里叶变换(FFT)加窗处理和慢时间域快速傅里叶加窗处理，获取其在距离—多普勒域的二维分布，得到距离多普勒图像数据集.进而提出利用3层卷积神经网络实现对人体动作的自动特征提取与识别的仿真实验.利用实测数据分析，验证了该方法在雷达识别人体动作方面的有效性.

1 理论分析

1.1 毫米波雷达回波模型

与传统脉冲雷达系统周期性地发射短脉冲不同，本实验采用77 GHz超宽带调频连续波雷达(FMCW)，通过连续发射信号频率随时间线性增加的调频信号(Chrip信号)测量目标的距离、速度和角度[11].同时，77 GHz频段下的SRR频带能提供的扫描带宽高达4 GHz，距离分辨率和精度得到显著提高，有利于进行人体细微动作的捕捉.本实验雷达采用正弦波对载频进行调频，此时，雷达发射频率可表示为

(1)

其发射信号可表示为

(2)

此时由目标反射的回波信号表示为

(3)

其中，fm为调制频率，Δf为频率偏移量，T= 2R/c为滞留时间.

接收信号与发射信号在混频器中外差后得到中频信号，因此，差频电压表示如下：

(4)

1.2 微多普勒效应分析

雷达通过发射天线发射电磁信号到目标，同时接收天线接收目标反射的回波信号.假若目标处于运动状态，雷达接收信号的频率发生改变，将偏离其发射信号的频率，称为“多普勒效应”.多普勒频移的程度取决于处于运动状态的雷达检测目标的径向速度.在雷达中，目标相对雷达的径向速度v远小于电磁波传播速度c，当运动目标与雷达设备存在相对运动，动目标与雷达设备两者之间的距离在t时刻可表示为

R(t)=R0-vt

(5)

电磁波来回的路程是目标与雷达发射机之间距离的2倍，故时延可表示为

(6)

高频相位差为

(7)

因此，目标总的多普勒频移为

(8)

目标主体移动产生多普勒偏移频率，若目标的任何部件存在微小移动，该微动会对雷达回波产生额外的频率调制，从而生成信号边频.这种附加的多普勒调制称为“微多普勒效应”.因此微多普勒效应指的是雷达目标或目标结构中的振动、旋转等微小运动在雷达回波信号中产生多普勒频率调制的物理现象.

1.3 基于距离多普勒特征的谱图获取

人体行走由身体各部分散射点运动关联组合而成，其运动形式极为丰富，属于典型的铰接式非刚体运动[12].当雷达对人体目标探测时，其回波信号包含了人体平动和非刚体性微动所调制产生的混合多普勒信息，表现形式也极为复杂.在人体动作识别方面，微多普勒效应[13]被认为是人体目标运动特征在雷达回波中的独特反映，标志人体目标的独有特征.如今，雷达目标的微动特征有效提取和微多普勒效应分析已经成为雷达技术领域的研究热门[14].目前研究通常利用人体行为的一维距离分辨率信息[15].本文在雷达人体动作识别领域中应用二维距离多普勒[16]图像.

本文针对人体动作识别，对人体行为数据进行预处理，提取人体不同动作的独有特征，构建二维距离-多普勒谱图(R-D图).人体动作雷达回波处理流程图如图1所示.针对雷达数据，在Chrip信号的第m个周期的第n个采样点对混频后的中频信号进行采样得到离散中频信号，将其解析为二维数据矩阵RN×M，其中N为一个调频周期内的采样点数，M为一个采样动作周期的总帧数.

图1 雷达信号处理流程图

R=[r1…r2…rM]

(9)

rm= [r1,m…r2,m…rN,M]T

(10)

对其快时间维执行加窗Range FFT，可以得到高分辨率一维距离信息.图2所示为不同动作的一维时间距离信息.在一维时间距离基础上，将零频分量搬至频谱中心，继而在慢时间维度执行Doppler FFT得到距离多普勒图.该距离多普勒图有效提取了雷达信号帧下人体目标所有散射点的距离及速度相关特征.基于人体不同动作之间的差异，获得不同距离多普勒图.图3为不同动作的距离多普勒图.

图2 不同人体动作一维时间距离像

图3 不同人体动作R-D图

2 基于卷积神经网络的识别模型

2.1 卷积神经网络基本结构

卷积神经网络的基本结构通常由神经元构成，例如卷积层、池化层和完全连接层.通过神经元之间的稀疏交互及卷积核参数共享，降低了神经网络的计算复杂度和参数量，避免了传统识别算法中复杂的数据重构过程.

卷积层是卷积神经网络的核心构件，通过卷积运算可实现图像特征的有效提取.在卷积运算中，卷积核的设计关系到图像特征提取质量.卷积核具有局部属性，关注局部特征，将输入数据加权求和后经不同非线性激活函数处理得到输出特征矩阵.

池化层(下采样层)的目的是实现缓解卷积层对位置的敏感性.池化操作的目的主要有特征降维、防止过拟合、扩大感受野及特征不变性.

全连接层的每个单独神经元都必须与其上层所有神经单元互相连接，实现局部信息整合.它通过将二维特征矩阵转换为一维特征向量，将卷积层提取的具有类别区分的信息映射到标签特征空间，实现分类识别.

2.2 模型结构设计

针对不同分类识别，有各种不同的网络结构设计.本文研究的人体动作识别问题的样本基于实测雷达回波数据，属于小样本数据集，且经预处理后样本之间特征差异较为明显，因此本文所搭建的网络为小型浅层网络，结构如图4所示.本文设计的浅层CNN结构包含3层：第1层设计4个通道的3×3卷积核的卷积层实现浅层特征提取，接着一个3×3最大池化层；第2层设计8个通道3×3卷积核的卷积层与3×3最大值池化层；第3层设计16通道3×3卷积核的卷积层及3×3最大值池化层.网络中池化层后利用ReLU激活函数对网络中的特征进行激活.ReLU激活函数收敛快，同时其为非饱和激活函数可防止梯度消失.输入网络之前，将距离多普勒谱图的尺寸调整为90×90.输入到全连接层之前，原始谱图被映射成16个特征图，并通过全连接层将所有特征图映射成一个长度为4的一维特征向量.将此生成的一维特征向量输入到分类器，可以得到输入谱图在四种不同行为上的识别概率.网络参数随着训练过程的不断迭代被逐步优化，最终得到的参数即为神经网络的训练权重参数，将权重参数加载于所设计的神经网络，即得到最终的网络模型，该模型可用于人体行为的识别.

图4 设计的基于卷积神经网络的识别模型

2.3 训练方法及超参数设置

本文所设计的人体行为识别模型采用交叉熵损失函数.在所设计的卷积神经网络模型上，训练时的迭代批次设置为20，最大迭代次数设为100.在设计的网络模型中进行参数优化时，采用SGD对网络模型参数进行优化，初始学习率设置为0.001，动量为0.9.在实验中为达到更好的训练效果，采用等间隔调整学习率，设置每隔一个epoch减小学习率，此时将学习率衰减因子设为0.98.

本文识别算法采用深度学习框架pytorch编写实现，本试验运行的软硬件信息和环境配置为：4 核 CPU，Python3.7.

3 实验结果及分析

3.1 实验设置和数据获取

本次实验中利用TI公司的工业毫米波雷达传感器IWR1642和DCA1000数据采集板搭建了人体动作实时数据采集平台获取测量到的人体动作雷达回波数据.雷达设备开发平台配备PC控制终端mmWave Studio，可实现目标回波的实时采集、传输处理和可视化.此雷达设备采集模块如图5所示.

图5 雷达设备采集模块 图6 数据采集场景

为确保训练数据的有效性，本实验数据采集工作选择在室外半开放式的空旷环境进行，环境中无其他动目标干扰.雷达天线固定在高0.9 m的三脚架，被测目标距离雷达2.5 m处.本文设置雷达为一发一收式，雷达参数设置见表1.被测人体目标的数目为5人，身高分别为：153 cm、155 cm、156 cm、160 cm、175 cm.选择4种人体日常行为动作，分别为：站立；弯腰；挥手；行走.每种动作采集持续时间设置为2 s.4种人体行为属于日常动作，动作在距离像上既具有相似性，又具有很大区别.目标正对雷达运动，每种行为重复50次.数据库中的总样本容量为1 000，按照8∶2∶1比例将数据集分为训练集、验证集及测试集.

表1 雷达设备参数设置

3.2 评价指标与性能分析

借助混淆矩阵和一般分类任务指标对所设计的模型进行评价，利用准确率、精确率、召回率和特异度指标对模型评价.

(11)

(12)

(13)

(14)

其中，Ptrue为所有正确分类样本数，Pn为总的样本数，TP为真阳、FP为伪阳、FN为伪阴、TN为真阴.

在模型训练过程中，用划分的训练集和验证集谱图训练神经网络，保存训练模型使用未参与训练的测试集谱图对所设计的模型性能进行测试.训练过程中，通过描绘训练集与验证集的损失值变化曲线观察模型训练的好坏和训练过程的准确率评价模型质量，得到如图7所示的损失值变化曲线与准确率变化曲线.分析图7可知，在训练过程中随着EPOCHS增加，训练和验证的Loss值在不断减小最终收敛，不存在过拟合.在训练进行到30轮次时所设计模型基本收敛，识别准确率达到较好水平.应用设计的卷积神经网络实现了人体动作精细识别，识别率准确率达到98.91%.

图7 损失值和准确率变化曲线

混淆矩阵是网络正确识别和错误识别的直观表示.本文利用混淆矩阵验证所设计模型的训练效果得到如图8所示结果.混淆矩阵的每一列表示输入谱图的实际类型，每一行表示模型的预测类型.混淆矩阵的对角线是模型识别正确的情况.观察图8可知，对角线上的值普遍较高，说明所提网络模型对大部分谱图在各类行为上均能实现正确识别.图中还表明站立和挥手两种行为容易出现误识别的情况.除了这两个行为之外，所提出模型对其他日常行为的识别准确率都达到100%.

图8 混淆矩阵

同时，为了对所设计的模型进行进一步评价，利用精确率、召回率和特异度指标对模型评价得到表2所示结果.

表2 模型评估指标

3.3 性能对比与验证

为了更好地评估本文方法的识别性能，在本文构建的微多普勒数据集上进行分类效果验证，与文献[8]中的分类算法进行对比，对雷达采集的回波信号首先采用PCA提取主成分特征，再结合SVM分类器进行分类识别.基于PCA和SVM分类模型应用于本文数据集时优先使用原始论文中的参数，SVM分类器采用的是高斯核函数K(xi,xj)=exp(-‖xi-xj‖2/σ2).表3给出了本文设计的卷积神经网络与相关对比模型在统一数据集上的分类准确率结果.在同一人体动作数据集基础上，对比本文与文献[8]识别算法，本文设计的浅层CNN识别算法性能更好，能更好地提取不同人体动作雷达回波特征.

表3 各模型不同人体动作分类识别准确率

为进一步验证本文CNN模型，同时避免数据集划分对测试效果的影响，设计五折交叉验证模型的鲁棒性，最终得到模型的平均识别准确率为98.04%.交叉验证结果见表4，表中稳定的准确率表明本文设计的模型具有较强的鲁棒性.

表4 交叉验证准确率

4 结束语

本文提出了一种基于微多普勒效应的雷达人体动作识别模型，能够在保护个人隐私的前提下，避免有限光照条件和恶劣天气的影响，完成人体日常动作的识别.通过搭建77 GHz毫米波雷达数据采集系统获得人体动作雷达回波数据集，有效提取复杂人体回波微多普勒信息，构建了距离多普勒图像数据集，设计了一种基于CNN的网络模型，达到了良好的识别效果.与手动提取人体回波特征相比，CNN网络可自动提取特征达到较好的检测结果.以上结果证明本文提出的识别模型在提高识别准确性、识别复杂度方面具有较高实用价值.但实验仿真设置在无其他目标干扰的理想环境下进行，在后续研究与实际应用中还需考虑复杂环境下人体动作的识别检测和杂波抑制.