雪景视频中雪花的自动抠取算法研究

包艳霞

（安徽工业职业技术学院，安徽 铜陵 244000）

雪景视频中雪花的自动抠取算法研究

包艳霞

（安徽工业职业技术学院，安徽 铜陵 244000）

抠图是图像视频处理的一项重要技术，在自然现象的图案中有着广泛的应用。文章针对雪花的特征，使用特定的软抠取算法对雪花进行精确提取，以实现虚拟环境中的飞雪运动的场景。

视频；软抠取；形状滤波器

一、相关工作

当前有不少论文研究如何用计算机视觉技术对自然界的气候信息进行图像加工，例如：Li Shen[1]等人讨论了如何用视觉技术作天气预报，Kshitiz Garg等人在[2]研究了如何在雨景中探测雨滴的方法，他们使用时间过滤器，将快速移动的雨滴和慢速移动的其它物体运动区分开，然后进行雨滴消除，他们的算法能消除视频中的雨滴。

Kshitiz Garg的方法只能适用雨滴，并不适用雪景，在此我们受到Paul Viola的启发，Paul Viola等人在[3]中提出了一个快速检测人脸的算法，其原理是设计一系列弱分类器，并用一系列弱分类器组成成强分类器，并最终实现检测算法。我们也借鉴这种算法，使用一系列弱形状分类器去识别雪花，我们使用饱和度滤波器，颜色滤波器，时间过滤器，差分滤波器识别雪花，并最终将这一系列过滤器组合成一个强分类器去识别运动中的雪花。

雾，雪，雨，其本质上都是半透明的，雾本身是细小的水滴，能折射光线，是半透明的，而雪雨的特点在于高速运动中产生运动模糊，因此也半透明的，在对这些半透明物体进行抠取时，往往使用matting算法，Kaiming He等人在[4]中提出了一个从图像中移除雾的算法，这个算法是基于alpha matting，在此，我们也使用这种技术进行抠取。Hai liu等人在[5]中提出了一个增强的软抠取算法，但这个算法需要用户指定前景和背景区域，我们根据雪花的一系列特征，对雪花进行自动识别，我们的创新性在于：根据雪景的特点，构造出了在已知前景下的闭形式矩阵，这样就能更好的进行雪景的抠取。我们的方法能很好的适应雪景的要求，实验也证明了我们算法的有效性。

二、在视频中检测雪花

雪粒子在高速运动中会形成运动模糊，对于一个给定的像素Ii，当雪花经过像素时，参与像素Ii曝光的能量中，不仅有雪花，还来自背景光的能量，我们假设对雪粒子和背景的曝光时间分别为tsnow和tbackground，那么像素Ii可以用如下方式表示：

在式1中，Isnow是雪的实际颜色，一般来说是白色，Ibackground是背景色，α是运动中雪花的透明度，从公式中可以看出，实质上雪花的运动模糊降低了背景的饱和度，由于雪花中心的地带，对雪的曝光时间比较长，而对背景的曝光时间少，在雪花的边缘地带，对背景的曝光时间长，对雪的曝光时间比较少，因此，在雪花中，像素的饱和度在雪花中心地带比较低，而在边缘地带比较高。

我们根据雪花的一系列特征，Isat是雪的饱和度，Iw是像素距离纯白色的距离，Idiffsat是饱和度的差分来区别雪花。

I_sat是指像素的饱和度，饱和度越高，就越接近白色，所以越可能是雪花，同时雪花不同于其它物体的特点在于，雪花的饱和度是变化的，在中心地带高边缘低，所以我们可以用饱和度的差分I_diffsat来作雪花的特征，I_w则反映了像素颜色和纯白色的距离，显然，越接近纯白色，越有可能是雪花。

在时间域上，我们使用相邻帧中的同一位置的颜色变化去反应特征，由于雪花是运动的，所以我们可以根据雪花在不同帧上同一位置的饱和度变化作为特征，由于雪花是高速运动的，所以在时间域上，饱和度会有很大变化，而对于慢速移动的物体来说，变化就不大。

对于于这四个特征，我们定义了四个形状滤波器去识别雪粒子，饱和度形状滤波器、微分形状滤波器，颜色滤波器。饱和度滤波器和微分滤波器,饱和度滤波器如下图所示：

图1 ：饱和度形状滤波器

在饱和度滤波器中，白色的长方形特征的响应是正的，而黑色的长方形特征响应是负的。当饱和度滤波器对应的中心地带饱和度高，而边缘地带饱和度低时，饱和度滤波器响应较高的值差分滤波器计算差分特征。白色滤波器计算特征Iw。

我们使用四个弱分类器以对图像中的像素进行分类,每个弱分类器对应于一个形状滤波器.对应于像素n的弱分类器称之为，δ（）是一个0-1指示函数，则是第i个形状滤波器的响应。仅当所有滤波器反馈正值时，一个像素才被识别为雪花。

三、雪花的抽取

由于软抠取算法需要定义三分图，也就是已知前景区域、已知背景区域、未知区域，所以在每帧中，我们将定义的前景区域定义为上节算法中探测到雪景区域，然后用以下规则定义背景区域：

根据已知的前背区域和背景区域，我们可能用雪花用alpha matting[6][7]技术抽取出来。

我们找出当前检测出的雪花区域中最亮的一种颜色当做当前雪的真实颜色，于是我们可以用最大信任度去估计像素的值。

不同于单张图像中的matting算法[7]，我们的算法中，前景的颜色是固定的，一般是纯白色，那么[7]中定义的前背景的信任度距离R（dFi，B）jR（dFi，B）j及权重w（Fi，B）j，可以被简化为如下公式:

L是软抠取矩阵，Levin的闭形式抠取矩阵过于复杂，在此，我们对软抠取矩阵作出简化。

因此模仿[8][5]，我们可以假定1－α可以在每个像素对应的小邻域内满足线性关系，那么，最终的软抠取问题，可以化简为以下的能量最小化问题：

将式（9）代入（8）式，并扩展到RGB空间中，得到最终全局优化的结果如下：

在（i,j）行对应的软抠取矩阵的元素为

在上式中，Σk是一个3*3系数矩阵，ε是一个3*1向量，E是一个3*3全1矩阵，Dj对应于颜色I-F的三通道向量。

于是我们可以通过公式求出θ＝1－α的信息，然后再求出α透明度。

当背景不随时间而变化时，算法可以被进一步简化，由于雪花的运动模糊降低了背景的饱和度，所以当背景是不变时，假定同一像素j在各帧中可以表示为一系列数组，。那么最大饱和度的像素可以认为是背景.这样我们可以将背景用时间滤器[4]求解并表示如下:

在已知背景后，由于已知前景，所以alpha值可以轻松求取，这样就极大的提高了求取的速度。

以下是一些抠取结果：

图2 ：雪花的软抠取结果

［1］Li Shen,Ping Tan,Photometric Stereo and Weather Estimation Using Internet Images,IEEE Conference on Computer Vision and Patten Recognition(CVPR)[R].Florida,US,Jun.2009.

［2］K.Garg and S.K.Nayar.Detection and removal of rain from videos[R].In Computer Vision and PatternRecognition,2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on,volume1,pages I–528–I–535 Vol.1,June-2 July 2004.

［3］Paul Viola and Michael Jones.Rapid object detection using a boosted cascade of simple features[R].InComputer Vision and Pattern Recognition,pages 511–518,2001.

［4］Kaiming He,Jian Sun,and Xiaoou Tang.Single image haze removal using dark channel prior[R].ComputerVision and Pattern Recognition,IEEE Computer Society Conference on,0:1956–1963,2009.

［5］Hai Liu,Lizhuang Ma,Xuan Cai,Zhihua Chen,and Yang Shen.A closed-form solution to video mattingof natural snow[J].Inf.Process.Lett.,109(18):1097–1104,2009.

［6］Christoph Rhemann,Carsten Rother,and Margrit Gelautz[R].Improving color modeling for alpha matting.In BMVC,2008.

［7］JueWangand M.F.Cohen.Optimized color sampling for robustmatting[R].In Computer Vision andPattern Recognition,2007.CVPR’07.IEEEConferenceon,pages1–8,2007.

［8］A.Levin,D.Lischinski,and Y.Weiss.A closed form solution to natural image matting[R].In IEEEComputer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,June 2006.

TP391.41

A

1672-0547（2010）03-0071-02

2010-04-25

包艳霞（1980-），女，安徽工业职业技术学院教师，硕士研究生。