基于OpenPose 计算机视觉算法的健身操能量消耗非接触式测量方法

温 煦，杨雨馨，高元龙，李 宽，杨建党，杨小倩，刘 勇

（1. 浙江大学 教育学院，浙江 杭州 310012；2. 浙江旅游职业学院 旅游规划与设计学院，浙江 杭州 311231；3. 浙江大学 控制科学与工程学院，浙江 杭州 310013）

运动能量消耗是科学健身指导中的关键指标。准确而快速地测量运动能量消耗可量化运动锻炼数据，有助于科学合理地进行能量消耗管理，对于科学健身具有重要意义[1-2]。传统的能量消耗测量方法有双标水法、间接热量测定法、问卷调查法等。前2 种方法信效度高，但价格昂贵，使用受限；问卷调查法成本较低，但准确性不高[2]；加速度传感器等可穿戴设备方便智能，可用于能量消耗测量[3]，但该方法须全程佩戴设备，易受外界环境（如竞技比赛、游泳等场景无法佩戴）影响，且效度受个体差异、佩戴位置等因素影响，只在走、跑类项目中表现出较高的精度[4]。

计算机视觉是人工智能正在快速发展的一个分支，采用摄像机等可视化设备代替人眼捕获现实生活中的信息，并通过人工智能分析技术对指定目标进行识别、监测、跟踪及分析[5]。OpenPose 计算机视觉算法（以下简称“OpenPose”）是一种开源的多人姿态估计算法，使用者可在单目摄像头的基础上通过OpenPose获得实时且准确率较高的二维人体骨骼关节点坐标[2]。

运动产生的能量消耗由身体质心在水平面的位移做功、身体质心在垂直方向的位移做功、身体的四肢和躯干活动做功、克服阻力做功四部分组成[6]。人体各环节的运动是引起能量消耗增加的重要原因之一，肢体运动的速度和加速度等参数可被用来测量能量消耗[7]。因此，对于在有限范围内进行且无外加负荷的运动，如果能较为准确地捕捉人体各环节的运动学参数，就有望建立一种非接触式新型运动能量消耗测量方法。目前已有部分学者进行了初步探索：Lin 等[8]基于计算机视觉技术成功建立了递增负荷跑步机运动的能量消耗模型；Nathan 等[9]基于Kinect 相机详细探索了上下肢运动、重心变化等关键因素与能量消耗间的关系；Carlson 等[10]则将计算机视觉技术应用于学校、公园等场景下的身体活动测量。但上述研究或只针对走跑类和简单肢体运动展开，或只根据运动强度进行能量消耗的分类识别，未能定量地测量能量消耗值。健身操作为一项大众健身运动，活动参与对象范围较广、活动强度适宜且富有趣味，深受群众喜爱。此外，健身操的活动范围固定，适合通过摄像机进行运动数据采集。因此，本文从健身操的能量消耗入手，开展基于计算机视觉算法的能量消耗测量研究，探索实验环境下OpenPose 测量人体主要肢体运动的有效性，建立并检验基于OpenPose 的健身操运动能量消耗估算方法。

1 研究方法

基于研究目标，本文开展了2 项实验。实验1 为OpenPose 捕捉关节运动角度的效度验证，实验2 为基于OpenPose 的健身操能量消耗测量方法的建立与验证。

1.1 OpenPose 捕捉关节运动角度的效度验证

通过网络公告方式在浙江大学随机招募10 名受试者，其中女性6 名、男性4 名（表1）。纳入标准为无肢体功能障碍且无皮肤过敏情况。

表1 受试者基本信息（M±SD）Table 1 Descriptive data of subjects

实验在装有Qualisys Oqus7+三维运动分析系统的实验室进行，室内有1 台用于同步拍摄的智能手机。Qualisys 可以跟踪记录粘贴在人体体表反光点的运动轨迹，拍摄帧率为200 Hz，手机的拍摄帧率为30 Hz，二者全程进行拍摄记录，上肢和下肢的反光点粘贴方式如图1 所示。

图1 上肢和下肢贴点示意Figure 1 Location of upper and lower limbs mark points

受试者全身粘贴39 个反光点，完成7 个关节运动。分别为在冠状面内进行的肩关节和髋关节外展，以及在矢状面内进行的肘关节、肩关节、膝关节和髋关节屈曲运动。完成外展运动时，受试者正面正对相机，后需向左旋转90°，使右侧面正对相机完成各关节的屈曲运动（图2）。

1.1.1 测试指标

（1）基于Qualisys 系统的运动指标。将Qualisys 捕捉到的39 个反光点数据导入Visual 3D 三维运动分析软件，创建CODA 骨盆模型、上肢模型、下肢模型和躯干模型，得到研究适用的人体骨架模型。输入受试者的身高、体质量信息完成模型的应用，分析得到肩、肘、髋、膝关节的关节角度数据，作为运动指标的标准值。

图2 实验动作示意Figure 2 Actions in the experiment

（2）基于OpenPose 的运动指标。使用OpenPose识别手机拍摄视频中的人体骨架，提取关节点的坐标[11]。OpenPose 是一种自底而上的人体姿态估计算法，即先找到人体特征部位，得到关节位置置信图，再连接骨骼，组合人体。一张三原色（RGB）图片首先经一个卷积神经网络处理，生成特征图，之后特征图被输入双分支网络，得到关节点置信度图S 和人体部分亲和字段L。置信度数值最大处为预测关节点所在位置，人体部分亲和字段同时保留了肢体的位置和方向信息。由此可通过比较任意2 个关节点的连线与人体部分亲和字段中对应线段的对齐程度选择正确的连接方式，形成人体骨架[12]。本文选取图3 中编号为1—13的13 个关节点，计算得到肩、肘、髋、膝各关节的关节角度，作为运动指标的检测值。

图3 OpenPose 的人体骨架模型Figure 3 Human skeleton model from OpenPose

1.1.2 统计分析

采用SPSS 22.0 软件对数据进行统计分析。通过Spearman 相关分析检验基于Qualisys 系统的运动指标标准值和基于OpenPose 的运动指标检测值的相关性。通过组内相关系数（Intraclass Correlation Coefficient，ICC）检验测量结果的一致性。2 种方法得到的数据差异以平均绝对值误差（Mean Absolute Error，MAE）、均方根误差（Root Mean Square Error，RMSE）和平均相对误差（Mean Relative Error，MRE）表示，单位为度（°），数值越小说明2 组数据越一致。

相关分析结果范围在0.80～1.00 表示极强相关，0.60～0.79 表示强相关，0.40～0.59 表示中等程度相关，0.20～0.39 表示弱相关，0～0.19 表示极弱相关或无相关[8]。组内相关系数小于0.4 表示一致性较差，大于0.75 表示一致性良好。P＜0.05 表示具有显著性差异，P＜0.01 表示具有非常显著性差异，P＜0.001 表示具有极显著性差异。

1.2 基于OpenPose 的健身操能量消耗测量方法的建立与验证

以网络广告方式随机招募20 名受试者，均为女性（表2）。纳入标准：①1 个月内无明显体质量减轻，饮食正常；②无心肺功能异常；③无代谢性疾病；④无肢体功能障碍；⑤BMI 属于正常水平；⑥年龄在20～30岁；⑦不佩戴框架眼镜（避免因眼镜问题影响呼吸面罩的佩戴）；⑧有规律锻炼习惯。实验前3 h 受试者不得进食、吸烟或进行中高强度运动，实验前12 h 不得摄入任何含咖啡因的饮品，实验前一晚保证至少7 h 的充足睡眠。测量并记录受试者的基本信息，所有受试者需签署知情同意书并自愿参加此次实验。

表2 受试者基本信息（M±SD）Table 2 Descriptive data of subjects

受试者穿戴好已校验的Cosmed K5（Cosmed，Rome，Italy）便携式气体分析仪和配套心率带，静坐3～5 min，记录下降至稳态的心率作为静息心率。随后完成一套由15 个不同动作组成的健身操，动作涵盖了大众健身操各关节的主要运动形式。动作选择的依据：①涵盖主要关节的主要运动形式；②被广泛采纳的健身操中的常用动作，至少在2 个以上网络热度较高的健身操中出现过；③动作难度适宜，普通人都可以完成，保证实验的可行性；④控制总量，避免因受试者过于疲劳影响测量效果，动作总数控制在15 个；⑤根据预实验能量消耗结果，按照运动强度从低到高排序，避免相互干扰。每个动作持续3 min，不同动作间以30 s的踏步作为过渡动作，健身操总时长为52.5 min。受试者的正前方、正左侧和正右侧各放置1 台智能手机完成全程记录。实验1 仅对矢状面和冠状面内的关节活动角度进行验证，故所有动作的主要运动平面为冠状面或矢状面。

1.2.1 测试指标

（1）能量消耗指标。Cosmed K5 便携式气体分析仪导出的数据每10 s 记录1 次，选用每个动作最后1 min 达到稳态时的相对摄氧量[mL/（min·kg）][13]，除以静息代谢的摄氧量3.5 [mL/（min·kg）]并取均值，得到各个动作的平均梅脱值（Metabolic Equivalent，MET），作为能量消耗指标。

（2）心率相关指标。GARMIN 心率带每10 s 记录1 次数据，20 名女性受试者的静息心率为（70.0±9.7）次/min。选用每个动作最后1 min 达到稳态时的心率作为心率指标，并基于最大心率、静息心率和当前动态心率计算得到心率储备百分比（Percentage of Heart Rate Reserve，%HRR）指标。上述2 个指标均取平均值作为心率相关指标。

（3）基于OpenPose 的运动指标。除实验1 中的运动指标外，实验2 中还加入了躯干的运动角度和用于模拟重心位置变化的身体中心点在竖直和水平方向的运动参数。各关节角度通过3 个连接点的坐标换算得到。身体中心点横纵坐标的计算方式如下：

基于关节角度，计算得到角速度和角加速度，以及身体中心点的移动速度和加速度。取每个动作最后1 min 达到稳态时的数据，以平均值和标准差表示，该部分数据是实验2 的运动指标。各关节对应连接点和拍摄视角如表3 所示。

1.2.2 统计分析

采用SPSS 22.0 软件对数据进行统计分析。通过Spearman 相关分析检验能量消耗指标与能量消耗测量指标（共计130 个），包括：运动指标（121 个），如右膝关节角速度均值；个人基本信息指标（7 个），如身高；心率均值和%HRR 平均值的相关性。保留相关系数大于0.2（P＜0.05）的指标，进行逐步回归分析，通过决定系数（R2）判断拟合程度，建立3 个回归模型。采用10 折交叉验证方法（10-fold Cross Validation）[14-15]得到各模型的平均绝对值误差、均方误差（Mean Square Error, MSE）、均方根误差[8,16]和平均相对误差[17]，用以评价模型的测量准确性。

表3 关节构造示意Table 3 Method of joint connection

2 研究结果

2.1 基于OpenPose 捕捉关节运动角度变化情况

2.1.1 关节运动角度变化趋势

所有受试者的关节运动角度以平均值和标准差的形式表示。图4 和图5 分别为正面相机拍摄的肩关节和髋关节在冠状面做外展运动的角度变化曲线，图6和图7 分别为右侧相机拍摄的右肘、右肩、右膝和右髋关节在矢状面做屈曲运动的角度变化曲线。

图4 左肩关节（A）和右肩关节（B）外展运动角度变化曲线Figure 4 Angle changes of left (A) and right (B) shoulder joints during abduction

图5 左髋关节（A）和右髋关节（B）外展运动角度变化曲线Figure 5 Angle changes of left (A) and right (B) hip joints during abduction

图6 右肘关节（A）和右肩关节（B）屈曲运动角度变化曲线Figure 6 Angle changes of right elbow (A) and shoulder (B) joints during buckling

图7 右膝关节（A）和右髋关节（B）屈曲运动角度变化曲线Figure 7 Angle changes of right knee (A) and hip (B) joints during buckling

结果显示：2 种方法得到的关节运动角度均值曲线和标准差变化趋势基本一致，角度峰值处存在一定误差；相较于侧面拍摄的屈曲运动，正面拍摄的外展运动均值曲线更加一致；下肢关节做屈曲运动时的角度波动范围较其他情况更大。

2.1.2 关节运动角度的相关分析和一致性分析

关节运动角度的相关分析和一致性分析结果（表4）显示，Qualisys 系统和OpenPose 得到的各关节运动角度均极强相关（r＞0.8），且一致性结果良好（ICC＞0.75）。相较于髋关节，肩关节的相关系数更加稳定，且上肢关节的相关系数普遍高于下肢关节。

2.1.3 关节运动角度测量误差分析

关节运动角度测量误差分析结果（表5）显示，正面拍摄的关节运动角度误差普遍小于侧面，同一关节左右侧误差相近，侧面拍摄的膝关节屈曲运动误差最大。

2.2 基于OpenPose 的健身操能量消耗测量方法构建

2.2.1 健身操能量消耗测量结果

本文所选健身操由15 个不同动作组合而成，各动作实测能量消耗（表6）近似于一项逐级递增负荷运动，属于中至高等强度运动。

表4 相关分析和一致性分析结果Table 4 Results of correlation analysis and interclass correlation analysis

表5 关节运动角度测量误差Table 5 Errors of joint angle

表6 健身操各动作的心率、代谢当量和呼吸商（M±SD）Table 6 Heart rate，METS and respiratory quotient of aerobics

2.2.2 关节运动学参数与能量消耗的相关分析

本文保留了60 个相关系数大于0.2（P＜0.05）的能量消耗测量指标（58 个运动指标，2 个心率指标），其中身体中心、躯干及下肢关节运动指标的相关系数相对较高，相同关节左右两侧相机拍摄所得相关系数相近，侧面拍摄所得运动指标的相关系数普遍大于正面拍摄。除运动指标外，心率与%HRR 显示出与能量消耗的强相关性，身体中心指标在竖直方向的运动变量与能量消耗中等程度相关。

2.2.3 能量消耗测量模型

将相关分析后保留的58 个运动指标分为3 组，分别为正面拍摄指标组、侧面拍摄指标组、正面加侧面拍摄指标组。以各组的运动指标为自变量，能量消耗指标为因变量，经逐步回归筛选得到3 个能量消耗测量模型。由于心率相关变量与能量消耗指标存在强相关性，在上述3 个模型中依次分别加入心率和%HRR变量，观察模型决定系数的变化。根据模型分析结果（表7）发现，%HRR 变量能更好地提升模型的测量能力，因此选定该变量为辅助变量，分别加入上述3 个模型。因能量消耗指标不服从正态分布，将上述所有指标经自然对数转换后再展开分析。

在表7 中：模型1 的自变量除常数项外均为正面拍摄的运动指标，分别为右膝角加速度均值与标准差，以及身体中心纵向运动速度标准差；模型2 的自变量除常数项外均为侧面拍摄的运动指标，分别为左肩、左膝、右肘、躯干的角度均值，左髋角速度均值，右膝角加速度均值以及右肩角度标准差；模型3 的自变量除常数项外为正面加侧面拍摄的运动指标，分别为左肩、左髋、躯干的角速度均值，右膝角加速度均值，身体中心纵向运动的加速度均值和速度标准差，以及右膝角度标准差。结果显示：各模型都纳入了膝关节的运动指标；模型中下肢关节运动指标占比高于上肢关节；可获得身体中心指标的模型都纳入了该指标作为自变量；根据决定系数由低至高排序为模型1（R2=0.387）＜模型2（R2=0.541）＜模型3（R2=0.628）。加入%HRR 后，3 个模型的决定系数均得到提升，但依然表现为模型1-1（R2=0.557）＜模型2-1（R2=0.655）＜模型3-1（R2=0.696）。

2.2.4 模型测量准确性结果

由于建模前所有变量均经过自然对数转换，需通过式（3）计算得到实测代谢当量与模型测量代谢当量的差值，即测量误差ε*，单位为METs。经交叉检验得到各误差检验指标，具体操作为：将20 名受试者随机分成10 组，每组2 人。每次利用其中9 组的数据作为建模组，分别构建上述6 个模型的能量消耗测量方程。剩余1 组作为回代验证组，计算得到代谢当量的测量值，由此可以得到实际测量值与方程测量值的差值，即为测量误差。重复这个过程直到每组数据都曾作为独立的实际观测值完成与模型测量值的比较。

表7 能量消耗测量模型基本信息Table 7 Basic information of energy consumption measurement models

模型测量误差结果（表8）显示，基于运动指标的模型1、模型2、模型3 有较好的测量准确度，平均绝对值误差均小于1.0 METs。加入%HRR 后，各模型的测量准确性得到了不同程度的优化。

表8 模型测量误差结果Table 8 Error results of models

对比相关研究发现，与使用能获取三维数据的深度相机研究[8]相比，本文测量结果的误差稍高。这既可能因为Lin 等[8]的研究对象为简单跑步运动，也可能因为深度相机能获取更高精度的人体骨架三维数据。与基于多个惯性传感器和心率设备，以日常活动、锻炼活动等同样较为复杂的混合类活动为对象的研究[18-19]相比，模型测量的误差结果并无较大差异。但本文的实验无须佩戴任何设备，使用更加方便。

3 讨 论

基于OpenPose 得到的关节运动指标与健身操运动的能量消耗存在相关性。关节活动是人体运动的可视化表现，在增加生理能耗的同时对外做功。关节运动的角度在一定程度上代表了运动范围，关节运动的角速度和角加速度代表了运动强度，均为人体能量消耗的影响因素。相关研究[7,20-23]已证实身体活动的速度和加速度与摄氧量、能量消耗之间的关系，为本文提供了一定的支撑。本文结果也显示，通过计算机视觉采集人体运动参数，并间接测量人体运动能量消耗是可行的。本文所使用的研究方法存在12%～17%的误差，这与测量能量消耗的主流智能设备（如Actigraph加速度计等30%左右的误差[24]、Fitbit 等智能手环20%～35%的误差）[25]相比存在一定优势，可能具有较好的应用前景。

3.1 基于OpenPose 的关节运动参数识别精度

基于OpenPose 的人体关节角度识别精度因运动关节和拍摄面的不同存在差异。首先，基于OpenPose得到的人体骨架模型与人体真实骨架结构存在偏差（图3）。如表3 所示，基于二维模型的左右髋关节以左右髂前上棘点（点11 和点8）为关节中心，与两肩峰点（点5 和点2）和左右膝关节点（点12 和点9）连线构成，无法还原骨盆的立体结构，且这种跨关节的连接方式更容易造成数据误差和数据缺失。其次，关节角度识别的准确度因拍摄视角不同存在偏差。使用手机拍摄的RGB 视频不具备视角不变性，对光线和背景变化都很敏感[26]。实验室环境可减少光线与背景的影响，但仍无法实现视角不变性，容易影响分析效果。此外，相较于正面拍摄，侧面拍摄视角下，肢体、躯干之间的相互遮挡易导致识别误差。例如，相机位于侧面时，左右膝关节点几乎重叠，图3 中关节点1 也很难被正确估算。膝关节的主要运动形式为屈伸运动，在矢状面内进行，这会影响膝关节角度的识别精度。相关研究结果显示，OpenPose 对人体膝关节点的检验精度较肩、肘、髋关节点更低[11]，同样用于人体姿势识别的AlaphaPose 对膝关节点的检测精度要比OpenPose 高11%[12]。

3.2 不同拍摄面运动指标与能量消耗的关系

在关节角度识别精度低于正面的情况下，侧面拍摄的屈伸类活动的运动指标仍更适合测量能量消耗。表现为侧面指标与能量消耗的相关性较正面指标更高，模型2 的决定系数（R2=0.541）较模型1（R2=0.387）更高，模型2 的误差较模型1 更低。从解剖学角度分析，实验中侧面相机记录的是人体各关节在矢状面内进行的屈伸类运动，正面相机记录的则是在冠状面内进行的外展内收类运动。行走、跑步、爬楼梯等活动的主要运动平面都为矢状面，屈伸类活动为主要日常活动。骨骼肌收缩时的肌力大小和沿力方向的位移对能量消耗产生影响。肌力的大小取决于被激活运动单位的类型、数量、刺激频率等[27]，同时根据关节功率法，肌肉在某关节做功的功率由关节合力矩与关节角度的乘积共同决定[28]。因此相较于展肌和收肌，经常作为主要运动肌的屈肌和伸肌的肌力更大，伸展性与弹性更佳，从而运动幅度也更大，对能量消耗产生更大的影响。健身操中能量消耗较高的几个动作的主要运动平面均为矢状面。

3.3 上下肢关节运动指标与能量消耗的关系

相较于上肢关节，下肢关节即使存在一定测量误差，其运动指标仍在能量消耗测量方程中起到更重要的作用。因直立行走，人类下肢肌肉较上肢肌肉更为发达，占全身肌肉重量的比例更高[29]。日常生活中上肢肌肉的活动时间、频率、频次都大于下肢肌肉，但下肢肌肉单次的收缩幅度远大于上肢肌肉[30]。相关研究[31-32]证实，在不同的运动角度、运动速度以及外加负荷下，上肢关节活动导致的能量消耗较低。另有研究[33]发现，与上肢活动主导的游戏相比，下肢活动主导的游戏的平均能量消耗要高出6 倍之多，下肢活动在能量消耗中起主要作用。健身操运动需要参与者随音乐律动，通常是全身性活动，尤其是下肢活动。本文所选健身操的15 个动作均含下肢运动，且下肢关节运动角度较大的动作，实测能量消耗也更多。

3.4 身体中心指标与能量消耗的关系

身体中心指标的垂直变量与能量消耗存在一定关系。能量消耗可分为用于移动身体重心的部分和相对于身体重心移动的四肢部分[34]，身体中心指标意在表征身体重心的运动轨迹。在没有外加负重的情况下，身体主要通过下肢和躯干肌肉的收缩作用克服重力做功。重力作用的方向可视为恒定不变，功的大小主要由人体重心在竖直方向的位移决定。因腰部最接近人体的重心位置，在腰部佩戴加速度计是测量身体活动较为推荐的方式[35]。美国运动医学会推荐的走跑类运动的摄氧量测量公式显示，坡度与摄氧量呈正相关[36]，即在相同的运动速度下，坡度越高，克服重力做功越多，摄氧量越高，能量消耗越大，能量消耗与重心的垂直变化有关。本文健身操运动以能量消耗由低至高的方式进行动作排序，实验后期有较为明显的下蹲动作，重心位置在竖直方向上的变化逐渐增强，因此实测能量消耗值更高。

3.5 %HRR 与能量消耗的关系

在能量消耗测量模型中加入%HRR 指标可优化模型的测量结果。心率与耗氧量存在线性关系[26]，心率结合运动传感器测量有氧运动能量消耗的技术已得到成熟应用[22,37]。心率表现存在个体差异，例如有一定训练基础的人，其安静心率往往低于不经常运动的人，在运动时也具有更大的提升空间。以心率储备代替心率能在一定程度上减轻个体差异的影响，提高能量消耗测量模型的准确性[38]。早期有学者[39]使用%HRR 评估久坐妇女的训练强度，最新的《ACSM 运动测试与运动处方指南》已经推荐用%HRR 评估有氧运动的适宜强度[40]。%HRR 在身体活动相关研究中逐渐得到较为广泛的应用[41-42]。健身操运动作为一种大众健身活动，对参与人员的体适能状况没有特殊要求，因此参与者的心率反应受个体差异影响较大，更适合采用心率储备指标。

综上，在不佩戴任何设备的情况下，基于正面和侧面运动指标的模型3 能较好地估算复杂运动情况下人体的能量消耗，具有较高应用价值。心率传感器可作为辅助设备以提高该方法的精度，但效果有限。

4 结 论

OpenPose 能构建人体骨架模型，连续跟踪记录运动过程中的各关节角度。上肢关节角度的误差结果比下肢关节更稳定。正面识别的关节角度误差小于侧面。基于OpenPose 的能量消耗估算新方法误差较小（MAE=0.81，MSE=1.11，RMSE=1.02，MRE=13.60%），测试精度可达到86.4%。本文初步建立了一种基于OpenPose 的健身操能量消耗非接触式测量方法，这种新方法能较为准确、简便地测量健身操锻炼中的能量消耗，未来有望发展为运动能量消耗测量的重要方法。

作者贡献声明：

温 煦：提出论文主题，设计论文框架，撰写论文，审核、指导并修改论文；

杨雨馨：检索文献，招募受试者，采集、分析数据，撰写论文；

高元龙：招募受试者；

李 宽：采集数据；

杨建党：筛选、分析数据；

杨小倩：筛选、提取资料；

刘 勇：核实统计数据与结果，指导论文。