基于感知器网络的太极拳关键动作识别算法

孙瑞阳 孙玉滨 段炼 赵蓝飞

【摘要】    本文提出一種基于感知器网络的太极拳关键动作识别算法。首先通过背景差分法对于太极拳运动员目标进行检测。其次设计一个多层感知器网络用于识别太极拳关键动作。最后构建一个太极拳关键动作数据集，根据梯度下降法得到感知器网络的最优权重估计。

【关键词】    太极拳关键动作识别    感知器网络    背景差分法

Abstract：  This paper proposes a Taijiquan key action recognition algorithm based on perceptron network. Firstly， background subtraction is employed to detect Taijiquan player. Secondly， a multilayer perceptron network is designed to recognize Taijiquan key action. Finally， a data set of Taijiquan key action is established and the optimal weight is estimated by gradient descent method.

Keywords： Taijiquan key action recognition; perceptron network; background subtraction

引言

虽然太极拳运动在中国具有非常重要的地位，但是具有主观性质的打分评分机制制约了太极拳运动无法跻身为世界主流体育竞技项目之列。为了实现通过计算机对于太极拳运动进行自动评分，首要问题是设计一种太极拳关键动作的自动识别算法，这种太极拳关键动作识别算法可以根据太极拳比赛视频自动识别运动员所做的关键动作。为了完成太极拳关键动作识别这一目的，本文提出一种基于感知器网络的太极拳关键动作识别算法。该算法由三部分构成：首先通过背景差分法检测出运动员所在位置。其次设计一个感知器网络，该感知器网络根据运动员目标区域的亮度、对比度、色彩信息这三类特征识别太极拳关键动作名称。最后本文构建一个已知标签的太极拳关键动作图像数据集，通过梯度下降法得到感知器网络最优参数估计。实验结果验证本文算法可以有效地识别太极拳关键动作。

一、本文算法

1.1  基于帧间差分法的运动员目标检测算法

为了检测运动员出现的位置，本文对太极拳比赛视频逐帧进行基于背景差分[1]的目标检测算法，进而完成运动员定位与检测任务。运动目标检测算法的原理框图如图1所示：

本文选取太极拳竞赛视频中的相邻10帧图像的亮度平均值作为背景图像，再利用当前帧和背景图像相减。若所得到的像素数大于阈值，则判定被监视场景中具有运动员目标，再利用目标二值化方法并得到运动员目标。其中背景减除法如式（1）所示：

其中自变量t表示当前时刻视频帧数，自变量u表示与当前帧数相距10帧之内的某一个帧数。C（t）表示背景减除结果。对当前帧进行背景减除后，还需对背景模型进行更新，其更新方法为在计算t+1帧的背景减除运算时，应从t-9帧开始累加直至第t帧结束。t+1的背景减除法如式（2）所示：

1.2  基于多层感知器网络的太极拳关键动作识别算法

太极拳关键动作识别算法共包含两个步骤：首先根据前述运动员目标检测结果识别出运动员身体的关键部位，例如头部、颈关节、肩关节、肘关节、手腕、髋关节、膝关节、脚腕等。其次，根据已识别身体关键部位的相对位置判别远动员所做动作名称。根据这一思路，本文设计一个具有输入层、输出层、一个隐藏层的多层感知器网络，用于识别太极拳关键动作。可以识别三种太极拳动的作多层感知器网络[2～4]结构图如图2所示。

输入层是网络的入口，输入层根据空间位置将单帧图像分割为多个圆形区域，并将这些区域的数字特征，即亮度、对比度、色彩按照像素的空间坐标关系整合为一个特征矩阵，分别输入到神经网络中。隐藏层对于各数字特征量进行加权求和，根据结果判定某一圆形区域是否为人体关键部位。隐藏层的输出传递到输出层，输出层对全部接收到的数字特征进行加权求和，根据结果识别当前帧对应的太极拳关键动作。

1.3  构建太极拳关键动作图像数据集

构建多层感知器神经网络的一个主要问题是对每个神经元上的加权求和的权重进行最优估计。针对这一问题，本文构建了一个太极拳关键动作图像数据集，并通过人工标注的方式为每个样本标注相应的太极拳关键动作名称。该图像数据集的部分样本如图3所示：

根据这一已知动作名称的图像数据集对于多层感知器神经网络进行迭代式训练，并结合梯度下降法[5]即可得到每个神经元上的权重最优估计。

二、实验结果与分析

本文通过Matlab进行算法仿真验证。实验采用的硬件平台处理器是i5-10210U，内存8G，显卡GTX-1050。实验部分通过如图3所示的数据集分别对Cao算法[6]，Georgakopoulos算法[7]以及本文算法所提出的网络模型进行训练，再利用已训练好的模型分别对太极拳比赛视频进行关键动作识别。以上三种算法的识别结果评价指标[8]如表1所示：

由表1可以本文算法可以有效地识别出太极拳关键动作，且识别动作的准确率、召回率、精确率均高于同类算法。

三、结论

本文提出一种基于感知器网络的太极拳关键动作识别算法，用于识别太极拳比赛中运动员所做的关键动作，并为未来的太极拳自动评分系统提供数据基础。本文算法由三部分构成：首先，通过背景差分法对太极拳竞赛视频中运动员位置进行检测和定位;其次，构建一个多层感知器网络，该网络以前述背景差分法检测出的运动员区域的亮度、对比度、色彩信息作为传感器网络的输入特征，输出该时刻运动员所做出的太极拳动作名称。最后，本文构建了一个已知标签的太极拳动作图像数据集，通过该图像数据集并结合梯度下降法从而对于感知器网络中的权重进行最优估计，进而完成感知器训练的工作。实验结果表明，本文算法识别太极拳关键动作的准确率、召回率、精确率高于现有算法，因此本文算法可以有效地识别太极拳关键动作。

参  考  文  献

[1]苟娟迎. 基于背景差分法的运动目标分割[J]. 工业控制计算机， 2013， 26（008）：36-37.

[2]庄镇泉， 王熙法. 神经网络与神经计算机：第一讲 神经网络模型[J]. 电子技术应用， 1990， 000（004）：39-43.

[3]许可. 卷积神经网络在图像识别上的应用的研究[D]. 浙江大学， 2012： 28.

[4]徐硕， 王洲. 基于纹理特征和神经网络的图像识别[J]. 中国农学通报， 2007， 023（009）： 590-594.

[5] Gonzalez R C， Woods R E. Digital image processing [M]. 3nd ed. Beijing： Publishing House of Electronics Industry， 2017： 497-502.

[6] Cao Z C， Zhang L. Key Pose Recognition toward Sports Scene using Deeply-Learned Model[J]. Journal of Visual Communication and Image Representation， 2019， 63：102571

[7] Georgakopoulos S V， Delibasis K K. Pose recognition using convolutional neural networks on omni-directional images[J]. Neurocomputing， 2018， 280（Mar.6）：23-31.

[8] Ullah H ， Bhuiyan M A S . Performance Evaluation of Feed Forward Neural Network for Image Classification[J]. Journal of ence and Technology， 2018， 10（1）： 141-147.