超宽带雷达人体行为感知研究进展

金 添 何 元 李新羽 宋永坤 杨 阳

①(国防科技大学电子科学学院 长沙 410073)

②(北京邮电大学可信分布式计算与服务教育部重点实验室 北京 100876)

③(天津大学电气自动化与信息工程学院 天津 300072)

1 引言

人体行为感知技术主要用于判断人体目标的位置、动作和生命体征等信息，在智能家居、人机交互和健康监护等领域中均有重要应用[1]。以电磁波为信息载体的雷达系统，是一种与光学系统技术相异、信息互补的主动探测方式，可用于人体行为的感知与理解。电磁波中蕴含的时、频、相等特征信息反映了目标的散射特性和运动状态，在技术原理上消解了无光、遮蔽、非视距等常规意义上复杂环境所带来的检测难题。相较于常规窄带微波系统，超宽带(Ultra-WideBand, UWB)雷达具有更高的距离分辨率，距离分辨单元小于目标物理尺寸，使得目标局部特征得以呈现；较宽的电磁波频率覆盖范围，能够有效降低目标处于反射截面积衰落区的可能性，从而获取更加丰富的目标散射信息和频率响应特性；通过采用大波束角进行天线设计，雷达系统能够有效避免运动目标的跨波束走动，有利于回波信号的相参积累和多普勒信息的检测提取。

目前已经存在多种不同类型的超宽带雷达人体行为感知方案，但主要可以分为基于空间位置和基于微动特征两类人体行为感知技术。鉴于此，本文首先介绍这两类技术的基本原理，然后针对这两类行为感知技术的发展过程和现状展开讨论，最后对超宽带雷达人体行为感知技术的未来趋势进行展望。

2 基于高度、方位和距离的人体行为感知

雷达系统的距离分辨率与发射信号带宽成反比，雷达系统带宽越大，距离分辨率越高。当雷达距离分辨单元小于目标物理尺寸时，可以对目标局部特征进行分辨，对目标散射信息进行精细化分析。根据目标的空间位置自由度获取能力，相关研究工作可以划分为1维(径向距离)信息感知、2维(距离-方位)信息感知和3维(距离-方位-高度)信息感知。不同维度的感知技术均需要对目标各组成部分的散射信息进行分析、处理，形成静态、动态特征，最终在高度、方位和距离上对目标进行检测辨识。

2.1 1维(径向距离)信息感知

近年来，人体目标1维高分辨距离像的研究日益受到重视，借助目标距离信息和模式识别算法，取得了包括人群数量估计、目标精确定位、人体行为估计和手势识别等一系列研究成果。韩国汉阳大学Choi等人[2]针对多人场景中的人数估计问题，设计了基于匹配识别的人数估计算法。不同于根据回波峰值进行计数的常规方法，他们将不同人数存在的场景回波作为信号模板，将多目标检测问题转换为了不同模板的匹配识别问题，从而可以对多径效应强烈的电梯等场景实现较为精确的人数估计(见图1)。美国维拉诺瓦大学Setlur等人[3]借助超宽带系统的高距离分辨能力将人体与墙体的多径回波进行精确分离，借助多径与回波的时延差，采用交叉定位算法实现了基于单通道传感器的室内人员平面位置估计。试验结果表明利用多径反射，目标定位可以用一个传感器来实现。对于多目标场景，多目标定位可以通过区分直接传播路径和多径来实现。麻省理工学院Adib等人[4]采用工作在WiFi频段的电磁波进行目标的观测定位，通过对运动人体进行逆合成孔径成像处理，实现了墙后的人数判读。与此同时，他们将天线系统调整为1发双收，通过交叉定位算法[5]实现了人体目标的3维动态跟踪，且能够对举手、放手等人体动作进行检测(见图2)。该工作证明采用多输入多输出(Multiple Input Multiple Output, MIMO)干扰消除方法可以去除接收信号中静态物体的反射信号，并将接收器聚焦在移动目标上。天津大学Liu等人[6]观测到人体交互动作时的相对位置变化，利用超宽带雷达采集了人体交互行为并在时间距离像上提取了4种统计特征，实现了交互动作的精准识别。实验结果表明，采用信息熵、平均距离等特征对6种人体交互行为进行识别，识别准确率高达99%。

图1 单通道雷达人群数量检测系统[2]

图2 基于1发双收系统的人体目标探测[5]

2.2 2维(距离-方位)信息感知

日本京都大学Sakamoto等人[7]采用1发多收天线的超宽带雷达系统对人体行为和运动轨迹进行估计，检测性能优于单发单收系统的处理结果。人体目标的2维成像系统由于缺乏高度信息，无法获取人体的肢体轮廓等信息。因此研究重点主要是目标增强和杂波抑制技术，目的是进一步提高目标的空间定位精度和多目标场景下的强弱目标检测能力。该方法利用3根天线，即可对人体目标的形状轮廓和任意运动行为进行精准估计。维拉诺瓦大学Qian等人[8]针对运动人体目标的检测问题，提出了系数重构字典的2维成像算法，该方法假定匀速直线运动是人体的基本运动状态，并在此基础上进一步引入速度、通道、频率、位置等4维度6变量的字典元素，用以提高运动目标的成像精度。实验结果表明，在不降低系统性能的情况下，通过稀疏正则化方法可以实现静止和运动目标的联合定位。

2.3 3维(距离-方位-高度)信息感知

3维雷达系统的天线收发单元进一步扩增，可以获取目标的高度信息，对人体的肢体轮廓进行描绘。荷兰代尔夫特理工大学Zhuge等人[9]采用平面天线阵和图像合成孔径算法对真实尺寸的人体模型进行了实验测量，对算法可行性进行了有效验证。印度IIIT-Delhi研究中心Ram等人[10]采用多普勒域杂波抑制和压缩感知成像算法进一步提升了人体成像算法性能。北京大学李廉林研究团队[11]将电磁逆散射和可编程超材料技术成功应用于目标成像，实现了超瑞利极限的人体目标高精度成像。电子科技大学崔国龙等人[12]对1～2 GHz频段的低频雷达系统人体目标成像能力进行了探究，采用大型天线面阵的收发系统设计和后向投影处理算法，获取了墙后人体目标的大致轮廓。2018年美国麻省理工学院Zhao等人[13]采用工作于WiFi频段的电磁波信号，通过T字型收发系统和 “师生监督网络”算法，实现了墙后人体目标的方位-高度维姿态精确估计，对人体的重要关节点进行了检测定位。2019年，麻省理工学院Li等人[14]将已有系统进一步升级，提出了名为“RF-Action”的雷达成像、3维关节点估计、行为识别一体化处理算法，分别在遮挡、无光等条件下对单人、多人场景进行了实验验证。国防科技大学赵帝植[15]采用解卷积、深度神经网络等方法进行雷达图像的栅旁瓣抑制和主瓣锐化，实现了3维人体雷达图像增强。与此同时，该研究团队提出了基于3维卷积神经网络的低频超宽带雷达人体姿态重构网络[16]，将墙后人体目标的3维雷达图像转化为更容易理解的3维姿态，实现了对低分辨率雷达图像的智能解译(见图3)。综合上述研究可以发现，雷达信号处理算法与深度学习等机器学习技术的融合，可以有效拓展雷达系统的功能。

图3 基于3维雷达图像的人体姿态重构[16]

3 基于微动特征的人体行为感知

微动是指目标各组成部分相对于目标整体的摆动、转动、振动等相对运动。对于人体目标，人体头部、手臂、腿部、手、脚等肢体在运动过程中具有相对于人体躯干的独特运动特性，这些肢体的相对运动即为人体微动。雷达回波中携带的微动信息表现为附着于多普勒频率上的额外频率调制——微多普勒效应。基于微动特征的人体感知研究可以分为人体微动建模、微动特征提取、微动特征识别以及提取识别的一体化研究，下面分别对其发展与现状进行梳理。

3.1 人体微动建模研究

对人体微动进行数学建模可以精确探究各肢体的运动特性以及肢体之间的协同配合。瑞士联邦理工学院Boulic等人[17]基于大量实验数据的分析和拟合，提出了人体行走的参数化运动模型。该模型对人体各肢体的时序运动特性建立了时间函数表达式，对各个时刻肢体的3维空间位置和运动方向进行了求解。荷兰阿姆斯特丹大学Van Dorp等人[18]对Boulic模型进行了优化改进(见图4)，通过最小二乘法进一步减小了实测数据和仿真模型的差异，并且将可分析的运动类型扩充到了快走和跑步等多种步速情景。但是，Boulic模型及其改进都是基于经验的参数化模型，是对特定动作的一般规律性描述，可分析的运动类型有限，很难体现个体间运动的差异性。

图4 参数化人体椭球模型

基于动作捕捉系统的非参数化建模仿真可以克服上述局限性。得克萨斯大学奥斯汀分校Ram等人[19]基于卡内基梅隆大学图像实验室构建的动作捕捉数据库[20]对遮挡条件下的人体目标微动特征进行了数学建模。考虑到红外动作捕捉系统高昂的成本，维拉诺瓦大学Erol等人[21]采用成本相对低廉的Kinect系统进行人体仿真，虽然Kinect系统可以获取的关节点数目由31个减少到20个，但是相应微动特征在微多普勒时频谱中并未表现出明显的差异。以上讨论的各种模型在进行雷达散射回波仿真时，通常均采用椭球体近似方法，如国防科技大学赵帝植[15]通过Kinect获取人体目标骨骼节点的3维坐标，结合雷达散射截面(Radar Cross section, RCS)椭球模型提出一种人体RCS椭球雷达回波建模方法。然而，常规的电磁散射仿真方法没有考虑人体各个肢体之间的遮挡效应，与实际目标特性存在差异。因此，西安电子科技大学Shi等人[22]对肢体遮挡特性进行了分析，提出了基于物理光学的人体仿真模型电磁计算方法，通过计算散射体表面感应电流的积分得到了更加精确的人体微动电磁散射模型。

3.2 微动特征分析技术研究

人体微动特征提取，通常需要把雷达回波转换为微多普勒时频分布图。时频分布图可以描绘回波信号中各频率分量的组成成分和时变特征。人体雷达回波对应的频率成分之所以随时间发生变化，是由于各肢体的运动速度、动作起止时间等存在差异性，表现为不同程度的多普勒效应。分析时频谱的频率分布特性可有效描述肢体的运动特性。

微多普勒时频图的特征提取主要有两种思路。第1种是设计与人体运动学参数相关的特征量，这类特征通常具有明确的物理意义。例如，得克萨斯大学奥斯汀分校Kim等人[23]在研究基于微多普勒特征的行为识别时，设计了6种与运动特征相关的特征量(见图5)，具体为人体躯干对应的多普勒频率、多普勒频移带宽、多普勒频率总偏移量、躯干处多普勒频移带宽、多普勒信号幅值的标准差、肢体运动周期。北京航空航天大学Sun等人[24]、国防科技大学崔文[25]先后基于时频图估计人体的步速、步长、步频、身高等特征参数，用于人体行为的精确感知。第2种是借鉴图像分析思路，直接基于时频图的幅值统计特性进行特征提取。美国约翰霍普金斯大学Lei等人[26]采用Gabor滤波器对时频谱进行滤波处理，再利用下采样和主成分分析得到用于行为分类的特征量。英国格拉斯哥大学Fioranelli等人[27]采用奇异值分解方法对时频谱进行处理，再通过统计分析得到可用于识别的特征量(均值、方差等)。土耳其Padar等人[28]采用隐马尔可夫链综合分析时频谱相邻区域的时间相关性和瞬时特性，对模型输出结果进行主成分分析，作为行为分类的依据。天津大学Lang等人[29]考虑了仿真时频图和实测时频图中的图像共性，提出了深度特征、包络特征与统计特征的融合方法，并基于以上特征实现了在仅用仿真数据训练的条件下对人体动作实测数据的有效识别。

图5 基于人体运动特性设计的6种微多普勒谱特征[23]

3.3 微动特征提取和识别一体化

近年来，基于深度学习的人体微动研究受到了广泛关注，该类方法的一个典型特点是特征设计、提取和分类识别的一体化。研究人员只需要提供一个层次化网络模型和学习代价函数，然后将大量训练数据直接输入网络模型，通过最小化代价函数确定模型的参数权值，由此即可获得一个可用于人体行为分类的基本网络，该模型内输入到输出的转换过程对应着传统方法中特征提取和分类识别的全过程。

最先用于人体微动特征识别的深度学习模型是深度卷积神经网络。加州州立大学Kim等人[30]将雷达回波数据首先变换为微多普勒谱图，然后直接送入3层卷积网络中进行训练和识别(见图6(a))，获得了与人工设计的特征提取器和分类器相近的分类准确率。自编码器[31]是另一类可以用于微多普勒分析的深度神经网络。通过这种设计结构，微多普勒时频谱的数据维度在编码器中不断压缩，实现了数据降维。通过对该编码器后接分类器即可对微多普勒进行分类。为了提高编码和解码的计算效率，有研究人员将自编码器中的全连接层用卷积层进行了替换[32]。

为了更好地利用微动特征中隐含的时序信息，适合处理序列数据的循环神经网络也被引入到微动特征的分析识别。美国约翰霍普金斯大学Craley等人[33]采用长短时记忆网络(Long Short-Term Memory,LSTM)对人体回波数据进行了分类识别，动作分类效果优于基于隐马尔可夫链模型[34]的识别精度。电子科技大学Wang等人[35]采用叠加的循环神经网络进行人体行为分类，并基于实测数据对微多普勒的分类效果进行了验证。考虑到雷达人体回波中存在时频模糊、肢体遮挡和能量散射，雷达回波中携带的微动信息并非理想的时序数据，苏黎世联邦理工学院Wang等人[36]采用卷积神经网络和循环神经网络相结合的方式对雷达回波中的微动信息进行了分析处理。国防科技大学Du等人[37]在微动识别网络中引入距离-多普勒-时间3维信息，提高了不同位置处肢体的差异，得到了较好的识别率，同时实现了多目标的分离(见图6(c))。

图6 基于深度神经网络的微动识别方法

目前雷达人体识别领域的数据库相对稀缺，训练数据集的规模性和代表性是制约网络性能发挥的重要因素。美国维拉诺瓦大学Seyfioglu等人[38]采用3维人体仿真数据库作为预训练数据集，根据人体关节点信息建立人体散射模型，生成大量微动特征仿真数据，再用少量实测样本进行网络权值的微调。北京邮电大学何元课题组采用基于样本的迁移学习方法构建深度学习模型，用于小样本雷达数据集条件下的人体行为识别问题，从而提高模型对于新场景下人体行为的泛化能力[39,40]。国防科技大学Du等人[41]采用基于对抗迁移的无监督识别方法，通过迁移对抗处理将人体运动仿真回波和实际系统观测数据映射到统一的特征空间，减小了不同数据集的数据分布差异性，提高了卷积神经网络在行为识别任务中的泛化性能(见图6(d))。天津大学Lang等人[42]基于生成对抗的思想，建立生成对抗网络(Generative Adversarial Networks, GAN)模型对目标数据的原始分布进行了拟合，并利用对抗训练中的判别器，联合生成器实现了对特定人体运动的精准检测。此外，有研究人员采用自编码器结构，通过数据压缩和重构使网络权值得到额外训练[32]，以提高有限训练数据条件下的人体行为分类准确率。2019年Fioranelli等人[43]发布了包含6类人体行为(行走、坐下、起立、拿起物品、喝水、摔倒)的回波数据集，为利用人体微动特征进行人体感知的进一步深入研究提供了数据支撑。

4 结束语

本文对超宽带雷达人体行为分析与识别近年来的研究进行了归纳总结，认为目前超宽带雷达人体行为感知领域还存在以下几个问题需要进一步研究：

(1)现有深度学习模型的数据集依赖性大、计算复杂性高。目前基于深度神经网络的行为辨识方法是一种数据驱动算法，尚不能有效应对训练数据稀缺和计算资源受限等问题。如何有效借鉴迁移学习等最新研究成果，在人体行为感知任务中，降低训练数据收集成本，尽可能精简算法模型，是当前研究面临的主要问题。

(2)超宽带雷达人体回波数据的特征表征有待优化。回波信号的信息量与雷达系统参数密切相关，超宽带雷达相比于窄带雷达具有更高的距离分辨率，如何结合雷达系统优势设计深度学习模型的输入端，将直接影响算法模型对数据的学习映射能力。如何综合利用空间位置信息和微动信息，优化算法模型的特征工程设计是下一步的研究重点。

(3)未知场景和异常样本的检测问题亟待解决。实际场景中人体行为的种类难以事先知晓，探测场景的人数很难预先确定，并且缺乏关于信噪比和杂波分布特征的先验知识。目前基于有限单人回波得到的算法模型不能够完全适应实际场景的应用需求。

(4)人体行为感知中位姿估计问题的研究相对缺乏。单通道雷达由于缺乏方位向分辨力，只能观测到目标的1维径向映射信息，损失了人体目标的空间结构信息。行为分类虽然能够预测人体的行为类别，但是整个处理过程缺乏可解释性，行为的类内差异无法有效衡量。能否结合分类结果和运动过程中肢体相互配合、彼此约束的先验信息，对人体目标的空间运动姿态进行描绘，提高对人体行为类内差异的检测能力，相关问题的研究少有涉及。