姿势估计技术在多人场景中的试验方法探索

姜昱健 应梦 尾方义人

作者简介：姜昱健（1992— ），男，上海人，博士研究生；研究方向：艺术工学。

摘要：日常生活中包含了很多与他人之间的相互行为，相互行为分析研究中经常会用到对身体运动和对话互动的微观分析。文章以JENGA游戏为研究对象，通过尝试多拍摄角度，使用二维姿势检测系统OpenPose获取人体关键点坐标信息，对比不同拍摄角度下所获取的关键点的信任度，抽取信任度高的关键点作为分析对象，以此探索多人场景下的人体姿态数据化分析方法，为行为观察法提供客观的量化分析手段，丰富姿态捕捉技术的应用场景。

关键词：姿态数据化；行为观察；设计辅助；JENGA；OpenPose

中图分类号：TP39 文献标志码：A

0 引言

人们的日常生活中包含了很多与他人之间的相互行为（不仅仅包含会话，也包含与他人一同搬运物体、游戏等），这些相互行为因为自身差异（身高、视力、听力、性格等），效果也会有明显的差异。

相互行为分析研究中经常会用到对身体运动和对话互动的微观分析，以在工作场景中的“常规化实践”为例，池古在2016年提到，能够把特定工作场景中被习惯化的相互行为模式作为知识进行学习，并在相应的场景下进行再现与实践。这种可学习可复制的方式具有公共属性。录像机使人们有可能记录这些相互行为，通过反复观看，并具体分析这些由语言和动作组成的相互行为。

Martin等［1］指出，伴随着相互行为分析的发展，数据和分析结果的共享增多，增进了设计师和工程师的合作。利用视频数据进行相互行为分析，使人们能够创造一个以视频数据为中心的被分析和讨论的环境（也包括其他现场中的环境数据）。工作环境研究中，相互行为分析的发展不仅提供了一种新的方法，而且还扩展了技术与设计间的合作。对比目前姿态数据化技术，非接触式测定方法与接触式测定方法相比具有高效性、低花费的特征［2］。因此，本研究使用Cao等［3］在2017年开发的二维姿势检测开源系统OpenPose，采集试验过程中关键位置信息。

1 选择JENGA作为试验内容的原因

在JENGA游戏中，游戏参与者们可被分为实施者及等待者，实施者与等待者的角色随着游戏的进行而不断发生改变。游戏过程中所发生的社会相互作用可以用社会信息加工模型（Information Processing Theory）［4］进行解释。这个模型中，个体从接触社会线索到做出反应，需要经历6个信息加工步骤：社会线索编码、社会线索解释、明确目标、反应提取或构建、反应决策、实施行为反应。

根据这个模型，在JENGA游戏中，当下实施者将一块积木从塔中拔出放置于最上层被称作“一回”；等待者将实施者在此回的动作结果进行编码、解释（步骤1与步骤2）；从哪一层用什么样的方式将积木取出的目标进行明确化（步骤3）；选择最好的方式（步骤4）；决定取出哪一块积木（步骤5）；实施动作（步骤6）。如此一连串过程结束之后，实施者的身份向等待者进行转移交换。因此，引入JENGA的任务环境可以定义成不断变化的环境，在这个环境中，参与者的身份以一种变化的方式发生，即对方的反应是相互产生的。

2 试验设计

试验场景如图1所示。JENGA游戏过程分为合作与竞争。其中合作过程为3名试验者协作，将散乱于桌面的积木搭建起来，3条并排积木为1层，下一层积木与上一层积木呈90°直角交叉状。

竞争过程为3名试验者依次以单手状态从搭建好的积木中的任意层（除顶层）中抽取或推拉出一块积木，随后按照3条1层的方式将取出的积木重新放回积木塔顶层，随着游戏的进行，积木塔会越叠越高，造成高塔倒塌的那一位试验者为当回合的输家。

以上述流程进行3回合的游戏，并对其进行视频记录。

如图1所示，在3位试验参与者的前方、右方分别设置一台摄像机。前方摄像机用于拍摄记录试验对象的上肢运动过程，右方摄像机用于拍摄记录试验对象的躯干状态。每个拍摄角度可获得25个关键点的位置信息。

3 关键点的选取

因为拍摄角度与遮挡情况的发生，并不是获取的每个关键点都可以用于数据分析。OpenPose所获取的每个关键点信息分别以x值、y值、信任度进行表示。其中信任度也称作可信度，以0～1的数值进行表示，数值越大，可信任水平越高。因此，首先将每个试验者、每个拍摄视角下所得到的关键点信任度进行汇总与对比分析。

从正面拍摄与右侧拍摄得到的各点信任度平均值如图2—3所示［5］。

從表1、表2可知，利用相关分析去研究试验者1分别和试验者2、 试验者3共两项之间的相关关系，使用Pearson相关系数去表示相关关系的强弱情况。具体分析可知：在正视角拍摄中，试验者1和试验者2之间的相关系数值为0.955，并且呈现出0.01水平的显著性。试验者1和试验者3之间的相关系数值为0.976，并且呈现出0.01水平的显著性。在右视角拍摄中，试验者1和试验者2之间的相关系数值为0.899，并且呈现出0.01水平的显著性。试验者1和试验者3之间的相关系数值为0.784，并且呈现出0.01水平的显著性。因而说明在相同视角下，不同试验者之间的关键点信任度有着显著的正相关关系。数据化分析将会置于信任度高的关键点上。

4 分析结果

基于右侧视角拍摄到的视频资料所得到的关键点坐标信息中，point1与point8的信任度均在0.7以上，两点连线与y轴的夹角可以计算出上肢躯干的前后倾斜状态。如图4所示，两点连线平行于y轴时为0°，躯干向前倾斜为正数角度，躯干向后倾斜为负数度数。

3名试验者的躯干在试验过程中的状态如图5所示。试验者1的躯干倾斜角度在试验中有29%的时间维持在-10°～10°，70%的时间躯干倾斜角度大于10°。试验者2的躯干倾斜角度有84.6%的时间在-10°～+10°，13.5%的时间躯干倾斜角度大于10°。试验者3的躯干倾斜角度有95.6%的时间在-10°～+10°，0.2%的时间躯干倾斜角度大于10°。

由此可見试验者1相比其他两名试验者，在试验过程中躯干更多是前倾的状态。试验者3相比其他两名试验者，在试验过程中躯干更多是维持直立的状态，且前后变化要小于另外两名试验者。

5 结语

通过以上所述对姿势的量化统计，研究组发现了传统行为观察法依靠人眼重复浏览视频所难以发现的运动规律，并将在后续研究中加入性格评价，进一步探索行为与性格间的关系，为姿态分析提供更广泛的应用场景。

参考文献

［1］MARTIND， SOMMERVILLE I. Patterns of cooperative interaction： linking ethnomethodology and design［J］.ACM Transactions on Computer-Human Interaction， 2004（1）：59-84.

［2］姜昱健，应梦，尾方义人.辅助器具设计开发中肢体姿态的测定方法研究［J］.艺术设计研究，2021（1）：28-30.

［3］CAO Z， HIDALGO G， SIMON T， et al. Realtime multi-person 2D pose estimation using part affinity fields［J］. Transactions on Institute of Electrical and Electronics Engineers， 2017（7）：21-26.

［4］CRICK N R， DODGE K A. A review and reformulation of social information-processing mechanisms in childrens social adjustment ［J］. Psychological Bulletin，1994（1）： 74-101.

［5］The SPSSAUproject（2022）. SPSSAU（Version 22.0）［EB/OL］. （2016-08-18）［2022-01-10］.www.spssau.com.

（编辑 王雪芬）

Abstract： Daily lives contain many mutual behaviors with others， and microscopic analyses of body movements and conversational interactions are often used in mutual behavior analysis studies. This study takes JENGA game as the research object， by trying multiple shooting angles， using the two-dimensional pose detection system OpenPose to obtain the coordinate information of human key points， comparing the trust degree of the key points obtained under different shooting angles， and extracting the key points with high trust degree as the analysis object. In this way， we explore the data analysis method of human posture in multi-person scenes， provide objective quantitative analysis means for behavior observation method， and enrich the application scenarios of posture capture technology.

Key words： postural datafication; behavioral observation; design assistance; JENGA; OpenPose