基于关节点定位的重点人群步态分类方法研究

刘岩松 沈馨 沈喆

摘  要：基于模型的主流步态识别方法通常過于关注下肢运动而忽视上肢信息。为解决该方法中上肢信息利用率不足的问题，文章通过改进的ZS细化算法提取到更完整的上肢骨架，同时提出一种基于关节点定位的步态特征提取方法应用于重点人群步态分类。将细化所得人体骨架与行人轮廓图相结合，定位全身10个关节点坐标并建立人体模型，利用关节角度的时序特征进行分类效果验证，在中科院CASIA-B数据集上进行实验。实验结果表明：该文所提取的步态特征有较高的识别性能，平均步态识别率为77.35%，同时使用上下肢进行步态分类的平均召回率为84%，与仅采用下肢信息相比提高38%。

关键词：步态识别；人群分类；关节点定位；上肢特征

中图分类号：TP391.4    文献标志码：A    文章编号：2096-4706（2023）02-0073-06

Research on Gait Classification Method of Key Population Based on Joint Point Location

LIU Yansong， SHEN Xin， SHEN Zhe

（College of Civil Aviation， Shenyang Aerospace University， Shenyang  110136， China）

Abstract： The mainstream gait recognition methods based on model usually pay too much attention to the movement of lower limbs and ignore the information of upper limbs. In order to solve the problem of insufficient utilization of upper limb information in this method， a more complete upper limb skeleton is extracted through the improved ZS thinning algorithm， and a gait feature extraction method based on joint point localization is proposed to apply to the gait classification of key populations. The human skeleton obtained by thinning algorithm is combined with the pedestrian contour map to locate the coordinates of 10 joint points of the whole body. Then the human model could be established. The classification effect is verified by using the time series feature of joint angle， and the experiment is carried out on CASIA-B dataset of Chinese Academy of Sciences. The experimental results show that the gait features extracted in this paper have high recognition performance. The average gait recognition rate is 77.35%， and the average recall rate of gait classification using upper and lower limbs is 84%， which is 38% higher than that using only lower limb information.

Keywords： gait recognition; population classification; joint point location; upper limb characteristic

0  引  言

最近几年，国际局势的复杂多变对国内安全稳定形势造成较大压力，公安部明确规定涉恐人员、涉稳人员、涉毒人员、在逃人员、重大刑事犯罪前科人员、肇事精神病人、重点上访人员七类人员为重点人员[1]。基于视频图像的目标跟踪技术近年来不断发展[2]，利用视频监控进行重点人群分类使视频监控的利用效率得到提高，且有利于公共场所的安全管理与平稳运转。利用步态特征进行身份识别是生物特征识别领域的一个研究热点[3，4]，行人在肌肉力量、肌腱及骨骼、重心等方面的差异可以唯一标识一个人，因此利用这些差异可以搭建出人体运动模型或直接提取特征实现步态识别[5]。与其他生物识别特征相比，步态识别在目标跟踪方面的优势体现在远距离识别、非受控性、无需路人配合及难于隐藏伪装等[6]。

步态识别的研究方向可以分为基于非模型的和基于模型的方法[7，8]。基于非模型的步态识别方法直接从人体轮廓中提取步态特征，主要分为基于步态图像序列[9]的方法和基于步态能量图[10]的方法。基于模型的步态识别方法是对运动学模型的构建，即对人体结构实现建模，并且通过这些模型获取特征表达，常用的模型包括骨架[11]、椭圆[12]等。

人体运动由骨骼、肌肉以及关节协调完成，根据有关实验结论[13，14]，人行走过程中，关节角度变化具有稳定性，能够反映出人行走时的步态变化。在以往的研究中[15，16]，基于视频的步态特征提取通常聚焦于下肢，上肢在运动过程中的丰富信息被忽略[17]，因此本文根据运动过程中各关节角度的变化，提出一种基于全身模型的步态识别方法进行重点人群分类，首先用改进的ZS细化算法进行人体骨架的提取，其次提出基于细化骨架的关节点定位方法，建立人体模型并计算出关节角度，最后以关节角度时间序列作为步态特征，进行分类识别。在中科院公开的步态数据集中，随机设定部分人为重点人员验证分类效果，实验结果显示，上下肢特征同时输入分类器中得到的分类召回率高于单独使用上肢或下肢特征，并且证明本文算法能够准确区分重点人群与普通人群。

1  周期性骨架提取

1.1  步态周期检测

步态周期检测是步态识别任务中的第一个关键环节[18]，该环节能够控制输入序列的长度并影响识别的精度。通过检测关键状态可以直接实现步态周期检测[19]，一个步态周期中的４种关键状态如表1所示。

对人体轮廓的外接矩形的宽高比变化曲线进行自相关分析可以获取行人的关键状态[20]，宽高比变化图中第一个极小值点对应帧为步态周期中的状态1，第二个极大值点为状态2，第二个极小值点为状态3，第三个极大值点对应帧为状态4。一个行人整个行走过程的宽高比变化图如图1所示。

从图1中可以看出，宽高比在第5、17、29、42、53帧达到极大值点，在第11、23、35、48帧达到极小值点，选取第一个极小值点到第三个极大值点之间的所有帧，即可得到该行人在90°视角下一个完整的步态周期，如图2所示。

1.2  基于细化算法的人体骨架提取

细化算法[21]是一种能够保持原二值图像拓扑结构的骨架提取算法，可应用于人体骨架提取。而ZS细化算法[22]是一种并行算法，运行速度快，且细化后曲线连接性好，但无法保证细化结果为单像素骨架。P1的八邻域如图3所示。

ZS细化算法的操作步骤为：

（1）首先将同时满足以下条件的边界点进行标记：

a1：2≤N（P1）≤6

a2：S（P1）＝1

a3：P2×P4×P6＝0

a4：P4×P6×P8＝0

a5：P2×P4×P8＝0

a6：P2×P6×P8＝0

其中N（P1）是P1的八邻域中所有非零点的个数，S（P1）是以P2，P3，…，P9为变化顺序时，该点值从0到1变化的次数总和，如果前四个条件中有任意条件不满足，则S（P1）＝2，像素点P1不会被删除。

（2）只执行条件a5和a6，对所有边界点检验完毕后，删除所有标记点。

重复进行这两个操作，直至没有边界点符合标记的条件，则细化过程完毕，未被删除的點构成骨架，即细化后结果。

条件a1可以保留骨架端点，条件a2可以避免骨架线上端点之间的点被删除；条件a3的作用是移除图像中东南边界的边界点，条件a4的作用是移除图像中西北角的边界点；条件a5、a6使西北角的点或者东南角的点被删除。

提取结果如图4所示，可以看出将ZS细化算法用于人体骨架提取，所得人体骨架可以清晰地描述人体骨架的走向并保持原图像人体结构。

1.3  基于改进ZS细化算法的周期骨架提取

图5为ZS细化骨架提取结果，对比原轮廓图可以看出当一只手臂后摆且与躯干距离较近时，后摆手臂结构易被忽视，如图6所示，针对后摆手臂缺失的问题，本文对ZS细化算法做出相应的改进。

将条件a1改为3≤N（P1）≤6，该条件使连接数为2的边界点被保留，同时亦增加图像中的冗余像素。因此，本文引入消除模板[23]，用来去除骨架斜线处的冗余像素点。消除模板如图7所示。

消除模板满足的五个条件为：

b1：（P2＋P8＝1）＆＆（P4＋P5＋P6＋P9＝0）

b2：（P6＋P8＝1）＆＆（P2＋P3＋P4＋P7＝0）

b3：（P6＋P8＝1）＆＆（P2＋P3＋P4＋P7＝0）

b4：（P2＋P4＝1）＆＆（P3＋P6＋P7＋P8＝0）

b5：P2＋P4＋P6＋P8＝3＆＆P3＋P5＋P7＋P9＝0

消除条件b1～b4用于消除斜线冗余像素。当N（P1）＝3时，P1点可能是分叉点或边界点，因此引入条件b5用于删除分叉点处的非骨架像素。

当一只手臂后摆且与躯干相连时，改进后的ZS细化算法与ZS细化算法提取骨架的结果如图8所示。

改进的ZS细化算法增加了消除模板，因此提取人体骨架的时间亦增加，但能够解决后摆手臂骨架丢失的问题，同时不会增加冗余像素。

2  步态特征提取

2.1  基于改进ZS细化算法的周期骨架提取

从解剖学的角度看，人体是由骨、骨连接及骨骼肌组成[24]，骨通过关节连成骨骼，构成人体支架。在运动中，骨起杠杆作用，关节是运动的支点，骨只能在关节上在一定范围内按一定自由度运动，不能脱离关节[25]。基于这种运动约束，本文根据图9所示人体骨骼模型和细化所得人体骨架分析行人关节点位置。

人体在行走过程中，后摆大臂与小臂成直线，后摆肘关节点始终在这条直线上，因此本文定位的10个关节点分别为头部、肩关节点、前摆手肘关节点、两个手腕关节点、髋关节点、两个膝关节点、两个踝关节点。各关节点连接关系如图10所示。

假设行人全部从右向左行走，以二值图像的左上顶点为原点（0，0），向右为x轴正方向，向下为y轴正方向，建立坐标系。遍历行人状态1图像中像素为1的点，由式（1）计算可得该行人人体高度H：

H＝ylow－yhigh                                                   （1）

其中yhigh为像素点为1的最高点纵坐标，ylow为最低点纵坐标。

肩关节点与髋关节点易受衣着、背包等因素影响，且纵坐标位置可由人体骨骼图确定，因此根据纵坐标横向扫描轮廓图进行定位，其中髋关节点扫描结果有三种[26]，如图11所示。

图11中，结果一形成的原因是两个手臂与躯干重叠或粘连，目标区间即为该扫描区间；结果二是因为一个手臂与躯干重叠或粘连，另一个手臂与躯干分离，目标区间为第二个扫描区间；两个手臂同时与躯干分离时为扫描结果三，目标区间为最大扫描区间。

肩关节点与髋关节点提取过程如表2所示。

表2中，xsl表示肩部目标区间的左端点横坐标，Ls代表肩部宽度，xhl表示髋部目标区间的左端点横坐标，Lhip表示髋部宽度。

当手臂前摆且与躯干分离时，易在骨架图中寻得指尖Pfinger位置，以指尖Pfinger为圆心，手掌长度0.108H为半径作圆，该圆与骨架的交点即为前摆手腕关节点Pwrist1。

肘关节是小臂与大臂的交点，大臂在运动时无法脱离肩关节，小臂始终与腕关节相连，因此前肘关节点的定位问题可以用解析几何来分析，如图12所示。

已知前摆手腕关节点Pwrist1坐标和肩关节点Pshoulder坐标，小臂长度0.145H，大臂长度0.188H，以Pwrist1为圆心，0.145H为半径作圆，以Pshoulder为圆心，0.188H为半径作圆，两圆在圆心连线下方的交点即为前摆肘关节点Pelbow。

由式（2）（3）（4）（5）分别可计算出头部中心点、后摆手腕关节点、膝关节点、踝关节点：

Phead＝{（x， y） | y＝0.065H，SK（x， y）＝1}        （2）

Pwrist2＝{（x， y） | SK（x， y）＝1，disk（Pshoulder， Pwrist2）＝0.24H}（3）

Pknee＝{（x， y） | SK（x， y）＝1，disk（Phip， Pknee）＝0.245H}（4）

Pankle＝{（x， y） | SK（x， y）＝1，disk（Pknee， Pankle）＝0.25H}（5）

式中SK（x， y）表示骨架图中（x， y）坐标点像素值，disk（P1， P2）表示P1与P2之间的距离。

依據上述方法所得关节点与文献[15]方法相比，本文在下肢关节点定位的基础上，准确定位头部、肩部、手腕以及前摆手肘关节点。将各关节点相连，即可得到完整的人体模型，如图13所示。

2.2  关节角度计算与时序特征提取

仅通过二值图像无法判断左右脚及左右手臂，因此本文仅讨论关节点的前后，不考虑左右的区别。本文所用的关节角度如图14所示。

依据式（6）计算：

（6）

其中（xa， ya）表示在所求夹角边上的关节点坐标，（xb， yb）表示所求夹角的顶点关节坐标。

由式（6）计算得关节角度在一个步态周期内变化的时间序列，其中大腿和小腿4个关节角度定义为下肢关节角度、手臂、手肘及颈部4个关节角度定义为上肢关节角度，上下肢关节角度和躯干关节角度定义为全身关节角度。关节角度变化对比如图15所示。

从图15中可以看出，不同行人的关节角度变化差异较大，而同一行人的时序相似。最直接的特征提取方法是通过基本统计量来进行特征提取[27]，因此本文选择利用有量纲的时域特征来描述关节角度变化的时间序列，包括最大值、最小值、均值、方差、偏度、峰度以及熵，进行归一化处理后得到最后的特征向量。

3  实验数据统计与分析

本文选择中科院CASIA-B数据集作为实验数据集，选取数据集中124个人90°视角下，4个正常行走的序列作为训练集，1个正常行走的序列作为测试集，以MATLAB 2020b为实验平台进行两部分的实验。一是对本文方法进行步态识别实验，用三种不同的分类器验证与分析本文方法的识别性能；二是进行重点人群步态分类实验，统计不同的特征分类的召回率和精确率作为实验结果，分析上下肢与全身关节角度特征对分类结果的影响。

本文方法的步态识别结果如表3所示，从表中看，将全身关节角度作为步态特征进行识别时识别率最高，下肢关节角度识别率最低，使用支持向量机作为分类器时识别率最高，最高识别率为82.26%。

重点人群分类实验选择将124个人中的随机某五个人定义为重点人员，将支持向量机分类得到的标签作为小标签，是否为重点人员作为大标签。例如将前5名认为是重点人员，其实际小标签为1～5，实际大标签全为2，若待测样本中预测小标签为1～5中的任意数，则该样本的预测大标签为2。实验结果如表4所示。

人群分类的精确率全部达到100%，即所识别的重点人员实际全为重点人员。从表4中看，单独使用下肢关节角度特征进行步态分类召回率仅为46%，单独使用上肢关节角度特征召回率则为68%，利用全身关节角度特征进行分类实验平均召回率能够达到84%，即能够在124个人当中找出4.2名重点人员。

从两个实验的结果来看，本文方法解决了视频图像上肢信息利用率不足的问题，仅利用上肢关节角度进行步态分类时效果并不低于下肢关节角度，甚至优于下肢特征，而全身关节角度可以更好地表示步态特征

4  结  论

本文提出了一种基于关节点定位的步态分类方法，通过改进的ZS细化算法获取完整人体骨架，根据人体骨骼模型定位全身关节点，计算出关节角度，并依据全身关节角度特征进行步态识别，充分利用上肢信息。

首先，根据宽高比变化曲线确定步态周期，在ZS细化算法的基础上，保留边界数为2的点，同时引入消除模板，保留后摆手臂结构且去除冗余像素点，得到一个步态周期内的人体骨架信息。

其次，在人体运动约束的基础上，根据人体骨架信息和轮廓图定位出全身10个关节点，包括上肢手臂、手肘关节，建立人体模型，以此计算出关节角度并得到关节角度时间序列的统计特征。

最后，本文实验目的是验证本文所提取上肢特征对于步态分类的有效性，因此不同于当前步态识别领域的研究成果，仅利用统计特征进行分类验证，忽略了更多时域和频域特征。

后续工作包括以下两点：

（1）进一步提高关节点提取的鲁棒性，研究如何在行人背包的状态下得到精确的关节数据，并从关节角度的时序变化中挖掘出更有效的特征。

（2）在挖掘有效特征的基础上，寻找精度更高的步态识别方法。

参考文献：

[1] 陈建，胡长海.浅析新形势下重点人员动态管控对策 [J].河南警察学院学报，2013，22（4）：57-60.

[2] 李玺，查宇飞，张天柱，等.深度学习的目标跟踪算法综述 [J].中国图象图形学报，2019，24（12）：2057-2080.

[3] 孙哲南，赫然，王亮，等.生物特征识别学科发展报告 [J].中国图象图形学报，2021，26（6）：1254-1329.

[4] 柴艳妹，夏天，韩文英，等.步态识别研究进展 [J].计算机科学，2012，39（6）：10-15+46.

[5] 朱应钊，李嫚.步态识别现状及发展趋势 [J].电信科学，2020，36（8）：130-138.

[6] 王科俊，丁欣楠，邢向磊，等.多视角步态识别综述 [J].自动化学报，2019，45（5）：841-852.

[7] Singh J P，Jain S，Arora S，et al.A survey of behavioral biometric gait recognition： current success and future perspectives [J].Archives of Computational Methods in Engineering，2019，28（1）：1-42.

[8] 李貽斌，郭佳旻，张勤.人体步态识别方法与技术 [J].吉林大学学报：工学版，2020，50（1）：1-18.

[9] 王亮，胡卫明，谭铁牛.基于步态的身份识别 [J].计算机学报，2003（3）：353-360.

[10] JU H，BIR B. Individual Recognition Using Gait Energy Image [J].Ieee Transactions on Pattern Analysis and Machine Intelligence，2005，28（2）：316-322.

[11] 刘玉栋，苏开娜，马丽.一种基于模型的步态识别方法 [J].计算机工程与应用，2005（9）：88-92.

[12] LEE L，GRIMSON W E L. Gait analysis for recognition and classification [C]//Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington：IEEE，2002：1-8.

[13] 杨年峰.人体运动协调规律及其参数化描述 [D].北京：清华大学，2001.

[14] 马越，丁浩.人行走过程中膝关节角度特征研究 [J].刑事技术，2019，44（4）：322-326.

[15] 周倩，孙运强，姚爱琴，等.基于人体关节点定位的步态识别技术研究 [J].国外电子测量技术，2019，38（1）：52-56.

[16] 初凯.基于下肢关节点运动关系的特定人群步态识别 [J].山东农业大学学报：自然科学版，2020，51（6）：1170-1174.

[17] MOATAZ E，CHRISTOPHER K，JEONGHOON O，et al. Microsoft kinect can distinguish differences in over-ground gait between older persons with and without parkinson's disease [J].Medical Engineering and Physics，2016，44：1-7.

[18] 徐怡博.步态周期检测方法研究 [D].哈尔滨：哈尔滨工程大学，2018.

[19] 赵喜玲，张晓惠.基于动态特征和静态特征融合的步态识别方法 [J].湘潭大学自然科学学报，2017，39（4）：89-91.

[20] WANG L，TAN T，NING H Z，et al.Silhouette analysis-based gait recognition for human identification [J].IEEE Trans Pattern Anal Mach Intell，2003，25（12）：1505-1518.

[21] 韩建峰，宋丽丽.改进的字符图像细化算法 [J].计算机辅助设计与图形学学报，2013，25（1）：62-66.

[22] ZHANG T Y，SUEN C Y. A fast parallel algorithm for thinning digital patterns [J].Commun ACM，1984，27（3）：236-239.

[23] 常庆贺，吴敏华，骆力明.基于改进ZS细化算法的手写体汉字骨架提取 [J].计算机应用与软件，2020，37（7）：107-113+164.

[24] 王晏.人体下肢运动分析[D].大连：大连理工大学，2005.

[25] 王建辉，徐秀林.人体下肢动力学建模与仿真研究现状 [J].中国康复理论与实践，2012，18（8）：731-733.

[26] 孙怡，王晏，宋植官.基于图像信息的人体下肢关节定位 [J].中国生物医学工程学报，2007（1）：157-160.

[27] 林珠，邢延.数据挖掘中适用于分类的时序数据特征提取方法 [J].计算机系统应用，2012，21（10）：224-229.

作者简介：刘岩松（1963—），男，汉族，辽宁沈阳人，教授，硕士研究生，研究方向：交通信息工程及控制；沈馨（1995—），女，汉族，江苏仪征人，硕士在读，研究方向：交通信息工程及控制；沈喆（1980—），女，汉族，辽宁鞍山人，讲师，博士，研究方向：图像处理。

收稿日期：2022-07-31

基金项目：辽宁省教育厅青年科技人才“育苗”项目（JYT2020130）；痕迹检验鉴定技术公安部重点实验室开放课题（HJKF201907）；公安部文件检验重点实验室开放课题（FTKF202102）