一种基于采样的蓝屏抠像方法

权巍，葛薇，张玉强，薛耀红，韩成，蒋振刚，杨华民

（1.长春理工大学 计算机科学技术学院，长春 130022；2.长春理工大学 电子与信息工程学院，长春 130022）

蓝屏抠像是指从具有已知的单色背景的图像中精确地分离出前景目标，再与其它图像合成，从而得到所需特殊效果的技术。蓝屏抠像中，待抠像的图像称为前景图像；用于与其合成的图像称为背景图像；前景图像中的已知的单色背景颜色称为前景图像关键色。早期的蓝屏抠像通常要求前景图像关键色是蓝色，因此该技术被命名为蓝屏抠像。随着抠像技术的发展，对前景图像的拍摄要求越来越小，前景图像关键色的选取可根据拍摄环境条件决定，绿色、甚至是红色等颜色均可作为前景图像关键色。蓝屏抠像技术是影视制作中一项非常重要且广泛使用的技术。

在蓝屏抠像处理过程中，存在一种色度溢出现象，即：在合成图像中，前景目标与合成的背景之间有一条单色的边，例如前景图像关键色为蓝色时，前景目标提取后，边缘会有一圈蓝色的边。其实，色度溢出现象在未进行抠像处理的前景图像中就已经存在。发生色度溢出的像素点的颜色由光源颜色、物体反射光、单色背景反射光共同决定，因此，每个色度溢出点的颜色不同，且都与前景图像关键色类似。

拍摄条件是影响色度溢出现象的主要因素，通过提高拍摄设备的分辨率和更有效地配合使用多光源等方式，可在某种程度上改善色度溢出程度，但需要较大的投资。当设备分辨率和布光等拍摄条件稍差时，就会导致较为严重的色度溢出，严重影响合成图像的真实感。另一个解决色度溢出问题的方法，也是最为直接的方法，就是在拍摄后进行人工处理。例如，现今比较流行的抠像处理软件After Effect等，都需要在拍摄后，进行复杂的人工操作，才能获得满意的效果。这种人工的处理方式无法满足实时性的要求。

1 本文方法的提出

抠像就是将前景图像中感兴趣的目标对象，提取出来，之后与其他背景图像合成，合成公式，如公式1所示。

其中，对于合成图像中的某个像素点，F，B，C分别为前景图像、背景图像、合成图像的颜色值，α称为不透明度，α的范围［0，1］［1］。

抠像技术实际上就是不透明度的估算。自然图像抠像算法通常较复杂；蓝屏抠像的背景单一，因此经典的蓝屏抠像算法相比自然图抠像算法要简单。但是，单一的背景色却导致了明显的色度溢出现象。

典型的蓝屏抠像技术包括：三角抠像法［2］，颜色差异法［3，4］，色度抠像法［5-8］。现阶段，最广泛应用的是色度抠像法，该方法由Mishima提出，该方法主要根据感兴趣的目标对象与前景图像关键色的色度差异来进行不透明度的估计。但是，由于色度溢出现象的存在，色度抠像法的处理效果不理想；为了获得较好的合成效果，往往需要大量的人工修正。

根据如何利用图像统计特性和近邻像素的相关性，自然图像抠像大致分为基于颜色采样和基于像素相似性传播两类技术［9］。但是，大部分自然图像抠像技术耗时较长，对于一幅大概1百万像素的图像，将感兴趣的目标从复杂背景中抠出往往需要花费几十秒甚至几分钟来计算不透明度值［10，11］。Gastal和Oliveira提出一种实时的自然图像/视频抠像方法［12］。该技术基于小邻域范围内像素具有相似的属性这一思想来选择前景和背景样本对，计算不透明度α值，能够得到较好的合成效果，并且减少了计算量，从而实现了实时抠像。然而，该方法是基于自然图像抠像提出的，并不适合蓝屏抠像。

综上，本文提出一种基于采样的蓝屏抠像方法，基于Gastal和Oliveira的抠像思想，并对原算法进行改进和简化以应用在蓝屏抠像领域，并添加了色度溢出处理步骤，能够较好的抑制色度溢出，获得满意的合成效果，并且仅需要简单的输入，即可自动地完成抠像工作，避免了大量的人工操作。通过实验对比经典的色度抠像算法，即使对于色度溢出现象较为严重的图像，本文的方法也能获得较好的合成效果，因此，也降低了对拍摄条件的严苛限制。

2 基于采样的蓝屏抠像方法

2.1 区域划分

根据前景图像关键色将前景图像划分为不透明区域、半透明区域、全透明区域。不透明区域像素点的α值为1、全透明区域像素点的α值为0，而半透明区域像素点的α值在0和1之间。

首先，获取前景图像关键色颜色值。前景图像关键色通过用户在程序窗口中使用鼠标在前景图像关键色区域进行选择获得，如图1程序运行界面中左侧图像所示，背景关键色区域的黑色线条即为所选的关键色像素点集。根据用户选择的像素点集计算平均值，得到前景图像关键色平均值bˉ。

图1 软件运行界面截图

其次，前景图像初步区域划分。对于前景图像中的每个像素点q，计算它和前景图像关键色的颜色距离 D(q,bˉ)。定义可调参数 k1、k2，如果D(q,bˉ)＜k1，则 q 属于全透明区域，记为 Rb；如果D(q,bˉ)＞k2，则像素 q 属于不透明区域，记为 Rf；否则q属于α值未知的半透明区域，记为Ru。

最后，根据显示的图像，调整参数k1、k2，直至得到较为满意的区域划分结果，如图2（a）所示。参数k1、k2的范围为［D1maxD1max，D2maxD2max］，其中，D1max为用户选择的前景关键色像素点与前景图像关键色平均值bˉ的最大颜色距离，D2max为前景图像像素与前景图像关键色平均值bˉ的最大颜色距离。图1程序运行界面中右侧图像中的黑色区域为全透明区域，白色区域为不透明区域，灰色区域为α值未知的半透明区域。

未知半透明区域的像素个数直接影响到算法的计算量。颜色距离法是一种经典的蓝屏抠像方法，使用该方法进行抠像的效果并不理想；本文将其应用于区域划分中，得到了较好的区域划分结果，有效的减少未知区域像素个数，降低了计算量。图2为传统的Trimap手工区域划分结果，该方法较本文方法不仅操作复杂，并且产生的未知区域的像素较多，计算量大。

图2 Trimap区域划分

2.2 半透明区域像素点不透明度α值计算

（1）寻找样本点

将半透明区域划分成一些3*3的小块，将每个3*3小块的9个像素点进行编号{0,1,2,3,4,5,6,7,8}；对于3*3小块中的每个像素点 pi，i∈[0,8]，以该点为中心，分别向其周围四个方向寻找样本点，在每一个样本寻找方向上遇到的第一个不透明区域的点记做样本点FiFi，像素点 pi可找到的样本点集表示为

图3 样本对选择

如图3所示，用矩形表示3*3小块中的像素点，用四条箭头线表示样本搜寻方向，四个样本搜寻方向相互垂直；定义方向角θ为方向线与水平方向的夹角；3*3小块中的每个像素点 pi的方向角θ=i*π/18θ=i*π/18 ，9个像素点的方向角如图所示。3*3小块中每个像素点的方向角周期性的变化，可使得结果更为有效。

（2）根据每一个样本点进行不透明度α值估计

对于半透明区域的每一个像素点 p的每一个样本点Fi，按照公式2分别计算α值。

（3）确定最佳样本点，得到像素点的不透明度α值

对于半透明区域中的每一个像素点 p，最多可以寻找到四个样本点Fi，相应地计算得到四个不透明度α值。那么就需要从中确定最佳样本点，并确定像素点 p的不透明度值αp。因此，定义目标函数，如公式3所示。最佳样本点应使得GFip的值最小，下面详细论述目标函数各部分的含义及最佳样本点的确定方法。

a.色度差异

对于半透明区域中的每一个像素点 p的每一个样本点FiFi，计算色度差异，如公式4所示。其中，Cq为像素点q的颜色值。色度差异表示 p点的真实颜色值与根据计算得到的颜色值的差异。很显然，的值越小，则表示的估计越准确，将令MFip值最小的不透明度值，记为

考虑到在小的邻域范围内不会有色度的突变，因此，最佳样本点不仅应使得 p点的色度差异值最小，也应使得p的小邻域范围内的像素点的颜色差异最小。因此，在目标函数中，定义一个以p点为中心的3*3的区域Ωp，对于Ωp中的每一个点q ，根据值计算得到，最佳样本点应使得最小，公式（3）中对其进行3次方的运算为加权因子。

b.像素距离

在确定最佳样本对时，不仅要考虑像素点间的色度差异信息，还应考虑像素点间的像素距离。像素距离是用于估计像素点是否属于感兴趣的前景目标的重要信息。因此，在确定最佳样本点时，目标函数中添加了像素距离的因子。公式（3）中，||Fi-p||和||bˉ-p||4分别表示 p点到 Fi点和bˉ点的像素距离，即欧式距离，4为加权因子。

（4）计算半透明区域中所有点的不透明度α值

在半透明区域中可能存在一些特殊的像素点p，按照本文所述方法在不透明区域中无法找到任何样本点。下面根据这类像素点p的邻域内的像素点的最佳样本对估计p点的不透明度α值。

其次，对于半透明区域中无法找到样本点的每个像素点 p，选择其Ω邻域（以 p点为中心的5*5的矩形区域）中且属于半透明区域的点的最佳样本点，记录使值最小的3个样本点，得到三个二元组为了减少α抠图结果中的噪声的产生，计算这三个二元组的平均值，记为

最后，像素 p的不透明度值αp根据向量到的投影计算得到。如公式（7）所示，其中，Cp为 p点的颜色值，Frp值根据公式（8）计算得到。

2.3 图像合成

按照上述方法，未知的半透明区域中每个像素点的不透明度α值最终都被计算出来。对于合成图像的每一个像素点的三个通道的颜色值，按照公式（1）可计算得到。

2.4 色度溢出处理

自然界中不存在纯粹的颜色，在蓝屏抠像中，单色背景也不可能是纯色的［7］。例如：若抠像背景为蓝色，则该蓝色背景的RGB的颜色分量值不可能是（0，0，255），实际上，其颜色值通常是蓝色分量值远大于绿色和红色分量值，并且，由于自然界中的蓝色往往绿色分量值比红色分量值大［7］，因此其绿色分量值也大于红色分量值。对于其它单色背景颜色也存在类似的特征。综上，对于合成图像中产生了色度溢出的点，其蓝色分量值一定大于绿色和红色分量值（仍以蓝色背景图像为例），且由于是合成的颜色值，其绿色分量值往往不大于红色分量值；根据这一特性，便可找到色度溢出点。通过降低其蓝色分量值，可以较好的抑制色度溢出现象。

3 实验结果与分析

下面通过对比本文的基于采样的蓝屏抠像方法和经典的色度抠像方法的实验结果，来证明本文方法的有效性。如图4所示，图像（a）为前景图像，分别采用色度抠像方法和本文方法提取前景图像中的目标对象，并与具有相同亮度值的暗背景合成，结果分别如图像（b）、图像（c）所示。显然，本文方法得到的结果图像中人物边缘的色度溢出现象得到了很好的抑制。图4中的图像（d）是在只有两个场景照明并且没有高分辨率摄影机的恶劣情况下拍摄得到的前景图像；图像（e）为色度抠像方法得到实验结果，色度溢出现象严重；图像（f）为本方法的实验结果，色度溢出现象同样得到较好的抑制。

Gastal和Oliveira的自然图像抠像技术的优势在于高质量的α抠像和实时视频处理能力（基于GPU）。本文基于采样的蓝屏抠像方法继承该方法的优点，对该方法进行改进和完善，使其适用于蓝屏抠像中，有效的抑制了色度溢出现象，获得了良好的结果。但是，本文方法较色度抠像方法复杂，耗时也较长，因此，下一步应继续研究算法的改进及其GPU实现，以实现实时视频抠像。

4 结论

在数字抠像中，合成图像的质量至关重要。色度溢出现象的存在严重影响了蓝屏抠像中图像的合成质量。本文通过研究一种基于采样的蓝屏抠像方法，很好的抑制了色度溢出现象。实验表明，即使对于色度溢出现象较为严重的前景图像，依然能够得到较为满意的结果。

图4 蓝屏绿屏背景下拍摄的图像的实验结果

［1］Wang J，Cohen M F.Image and video matting：a survey［J］.Foundationsand Trendsin Computer Graphics and Vision，2007，3（2）：97-175.

［2］Smith A R，Blinn J F.Blue screen matting.In：Proceedings of the 23rd ACM Conference on Computer Graphics andInteractive Techniques（SIGGRAPH）［C］.New Orleans，USA：ACM，1996：259-268.

［3］Vlahos P，Dadourian A，Sauve G.Method and apparatus for adjusting parameters used by compositing devices：U.S.Patent 5，907，315［P］.1999-5-25

［4］Ben-Ezra Moshe.Segmentation with invisible keying signal.Proceedings ofIEEE Conference on Computer Vision and Pat-tern Recognition［C］.Hilton Head Island，South Carolina，2000：32-37.

［5］Wang Wenyi，Zhao Jiying.Chroma-Keying Based on Global Weighted Sampling and Laplacian Propagation.Proceedings of IEEE 17th International Conference on Computational Science and Engineering（CSE）［C］.Chengdu，China，2014：857-854.

［6］Seoksoo Kim.Dept.of Multimedia，etc.Virtual studio system for augmented reality& Chroma key processing.Proceedings of IEEE 13th International Conference on Advanced Communication Technology（ICACT）［C］.2011：762-765.

［7］Keith Jack.Video Demystified［M］.Independent Pub Group（Computer），1996.

［8］Mishima Y.Soft edge chroma-key generation based upon hexoctahedral color space：U.S.Patent 5，355，174［P］.1994-10-11.

［9］阳伟.数字抠像技术的研究应用［D］.成都：电子科技大学，2013.

［10］Xiao Lin，Yang Shen.A unified framework for alpha matting.In：Proceedings of IEEE 12th International Conference on Computer-Aided Design and Computer Graphics（CAD/Graphics）［C］.Jinan，China：IEEE，2011：206-212.

［11］Tierney S.Sch.of Comput.&Math.，etc.Image matting for sparse user input by iterative refinement.In：Proceedings of IEEE Digital Image Computing：Techniques and Applications（DICTA）［C］.Hobart，TAS：IEEE，2013：1-7.

［12］Eduardo S L Gastal，Manuel M Oliveira.Shared sampling for real-time alpha matting［J］.Computer Graphics Forum.2010，29（2）：575-584.