网球视频中球员的侦测与追踪

张容娟， 谢朝和， 黄风华

( 1.阳光学院 人工智能学院， 福建 福州 350015； 2.阳光学院 空间数据挖掘与应用福建省高校工程研究中心， 福建 福州 350015 )

0 引言

目标检测、追踪与轨迹分析是体育视频分析的一个重要研究方向，该研究对制定比赛策略与分析球员的运动行为等具有很大帮助[1-2].国内外学者在球员的侦测与追踪方面已进行了大量的研究，其中最常用的方法是背景差分法和帧间差分法.例如：文献[3]基于背景模型，在当前帧和下一帧之间执行图像差分，通过在所创建的背景图像中执行逻辑与操作来获得图像差分结果，并在此基础上检测视频中的球员.但该方法未考虑计分板区域、广告牌、观众和裁判等噪声的影响，因此该方法的准确性有待于进一步提高.文献[4]提出了一种基于高斯混合模型的背景建模球员侦测算法，该算法把经过预处理的静态背景作为高斯模型的初始化参数，然后利用帧间差分法区分图像中的不同活动区域，以不同的更新速率更新相应的高斯模型，以此实现球员的侦测.但文献[4]并未明确提出如何划分不同活动区域，且主要是针对足球运动而进行的分析.文献[5]根据足球场地的颜色特征，利用颜色分量差值的统计信息，从视频中分割出球员.该方法容易受到球员和裁判衣服颜色的影响，若差值没有超过门槛值，侦测结果就会存在相应的误差.文献[6]为了识别球员的连通区域，运用颜色信息分割提取场地信息，以此滤除看台和场地线等噪声，但该方法的侦测准确度容易受到光照变化的影响.基于上述方法所存在的问题，本文针对网球视频中球员与网球场地颜色相近容易导致侦测误差的问题，提出一种新的球员侦测与追踪的方法，并通过3种场地类型的实验验证本文方法的准确性.

1 球员侦测与追踪的方法

1.1 网球场地信息的重建

由于比赛时球员的活动范围局限于比赛场地内部或周边的一定范围，因此准确提取网球比赛场地的信息，有助于过滤噪声和缩小球员位置的搜寻范围.本文采用文献[7]中的方法提取比赛场地信息.首先,将输入的标准图像转为梯度图像；其次，计算最上方与最下方2条场线所在的垂直位置和左右顶点，也就是场地的4个角点，以此形成场地范围；再次，将场地边缘细线化，并通过霍夫转换在细线化后的边缘点处检测出直线；最后，将检测出的直线分群整合为11条场线，并由此得到30个交点坐标，依次标记为P1—P30.场地重建结果如图1所示.

1.2 噪声过滤

运用边缘信息侦测与追踪球员时，首先要先把原始图像转换为边缘图像.本文通过双阈值Canny边缘检测算法[8](上下亮度阈值分别为100和150)来获取边缘图像，该方法可避免球员与网球场地背景颜色相近所导致的侦测误差.转换所得的边缘图像如图2所示.为了提高球员侦测的准确性与效率，本文运用场地信息过滤掉裁判、广告牌、记分牌和场线等场地附近的噪声.

图1 场地重建结果图

图2 边缘图像

1)场线的消除.为避免场线模糊影响过滤结果，本文在场地重建的基础上，将还原后的场线进行膨胀处理[9]，使其能更完整地覆盖图像中场线的像素位置.然后将膨胀后的场线作为掩模，用以屏蔽边缘图像中所对应位置的像素，这样即可消除场线.场线消除的结果如图3所示.

图3 场线消除结果图

2)观众席、广告牌、裁判的消除.在图1的场线交点坐标系中，设置区域范围略大于场地的2个梯形区域(见表1)，并将区域外的内容均定义为噪声，如广告牌、裁判以及观众席等.噪声滤除结果如图4所示.由图4可以看出，噪声仅剩下记分牌.

表1 上下场地的梯形屏蔽区域

图4 观众席、广告牌、裁判消除结果图

3)记分牌的消除.因记分牌在视频画面中具有位置相对固定和亮度恒定的特征，因此本文使用文献[10]的方法将其消除.侦测记分牌时仅以水平场线的下方作为搜寻范围，可进一步提升记分牌的侦测准确性与效率.本文使用L(L=8)张连续图像搜寻记分牌的位置.首先将输入的原始图像转化为灰阶图像(IM)和边缘图像(EM)，然后计算连续两张图像对应位置的数值差异，以获得累积亮度图(AIM)与累积边缘图(AEM)，其公式表达如式(1)和式(2)所示.公式(3)用于辨识记分牌像素.若对应位置的AIM和AEM的累积数量都超过门槛值(本文设定阈值为连续图像张数L的80%，即0.8L)，则判定该位置为计分牌.确定记分牌的位置后，对记分牌进行膨胀处理，以此消除记分牌.记分牌的消除结果如图5所示.

AIM(x,y)=

(1)

AEM(x,y)=

(2)

(3)

图5 记分牌消除结果图

1.3 球员的侦测与追踪

本文根据大量的试错实验,在图1所示的场线交点坐标系中，定义了球员在上下半场的搜寻范围，如图6所示.搜寻范围参数见表2.

图6 球员搜寻范围

由于视频图像中双方球员所占位置的大小与上下2条底线的长度成正比，因此本文先根据场线的交点坐标分别计算上下2条水平底线的长度，然后再使用各自半场的场线长度乘以相应系数，以此计算出双方球员滑动窗口大小(宽度系数为1/9，高度系数为1/7).每个窗口的边缘密度利用滑动窗口的方式进行计算，并定义边缘密度最大的窗口位置为球员位置.球员位置的计算如式(4)所示：

player_position=

(4)

表2 上下场地的球员搜寻范围参数

由于测试视频图像的侦速率为30帧/s，因此追踪时可以适当缩小搜寻范围.本文以侦测得到的滑动窗口大小为初始状态，将侦测视窗宽度向左右各拉伸至原宽度的2倍，高度向上下拉伸至原高度的1.5倍，以此作为下一帧图像的球员追踪范围.追踪时将前一次球员的边缘轮廓图像作为模板，并通过模板匹配的方式，计算搜寻范围中每一个搜寻窗口的边缘轮廓图像与模板间的相关性，相关性最高的位置即为球员位置[11].

2 实验结果与分析

2.1 球员侦测与追踪的正确率

利用收集到的140个比赛视频片段(包含温布顿、美网、澳网与法网)的侦测与追踪结果来评估本文方法的性能.视频片段中的场地包括草地、硬地、红土3种类型.计算预测球员区域与真实球员区域的重合度Φ， 其计算方法如下：

(5)

其中BG表示真实球员区域,BD表示预测球员区域,A(S)表示集合S的面积.

本文将重合度的阈值设为0.6，超过该值时视为侦测成功，否则视为侦测失败.球员侦测与追踪的结果范例如图7所示，侦测与追踪的正确率如表3所示.由表3可知，本文方法的平均正确率为92.30%，该结果高于文献[3]的结果(91.12%).另外，因本文的实验数据量(53 172帧图像)远多于文献[3]的实验数据量(1 500帧图像)，且数据中的场地类型(温布顿、美网、澳网与法网公开赛)多于文献[3]的场地类型(法网和美网):因此本文方法具有更好的普适性.

图7 球员侦测与追踪的结果范例

场地类型总帧数正确帧数正确率/%草地(温布顿)157811442691.41硬地(美网、澳网)246352319194.13红土(法网)127561146089.84

2.2 影响球员侦测与追踪结果的因素分析

为了明确场线侦测的准确率对球员侦测与追踪结果的影响，本文对场线侦测的准确率进行了计算.首先选取视频中比赛场地的2条底线和2条双打边线的4个交点作为标准点，然后运用本文中的球场场线侦测方法计算出4个相应的侦测点.定义任意侦测点与标准点之间的误差超过门限值(20个像素)即为场线侦测错误.场线侦测的正确率如表4所示.

由表3和表4可以发现，球员侦测与追踪的正确率与场线侦测的正确率成正相关,因此可判定场线侦测正确与否是影响球员侦测与追踪结果的主要因素.进一步研究表明，摄像头角度的设置不当(倾斜等)是造成场线侦测失败的主要原因.另外，球员身体的阴影以及球员身体与广告牌的重叠等，也会对球员侦测与追踪的结果产生影响，但这些因素的影响相对较低.

表4 场线侦测的正确率

3 结论

实验表明，本文提出的通过重建网球场地信息，然后利用边缘信息对球员进行侦测与追踪的方法，其平均正确率(92.3%)高于文献[3]的方法(91.12%)，且比文献[3]具有更好的普适性，因此本文方法具有良好的应用价值.在今后的研究中，我们将针对造成漏检的因素做进一步研究，以取得更好的球员侦测与追踪效果.