基于可伸缩备选区域的CVBF算法

吉聪建，武迎春，王安红，李东红，赵贤凌

(太原科技大学电子信息工程学院，太原 030024)

随着数字多媒体技术的不断发展，人们对3D视频交互性及感官体验的需求提升到了一个全新的层次：未来3D视频不仅应提供更强的3D沉浸感，还应提供更高的观看自由度[1]。在此背景下，自由视点视频应运而生，并迅速成为国内外研究机构和工业界的关注热点。多视点视频[2](multi-view video, MVV)是自由视点视频的一种常用格式，为了保证观看自由度，该视频格式往往需要存储十几个甚至几十个视点的纹理序列，存储占用内存大且传输所需码率高。多视点视频加深度[3](multi-view video plus depth, MVD)的视频格式克服了MVV视频格式的不足，它可用少数几个视点的2D纹理序列及其对应的深度序列来合成任意虚拟视点的视频[4]，被MPEG组织列为自由视点视频数据格式。该视频格式在传输时，若使用传统的编码器[5]对深度序列进行压缩编码，高效的压缩算法会造成深度图的陡变边缘出现震荡伪影[6]。

为了消除或淡化深度图的边缘震荡伪影[7]，重建真实深度信息，Shujie Liu提出基于深度图和纹理图边缘信息的三边滤波器[8]，但在滤波过程中需要同时输入纹理序图，复杂度较高。Oh K-J提出一种滤波过程中考虑像素出现频率、像素之间的欧氏距离的深度边缘重建滤波器[9]，但是滤波过程中需要调整许多参数，滤波效果不够明显。Xuyuan Xu等提出了一种相对复杂度低，并且可以自适应深度图的滤波器[10]，通过自适应的块重新定位和扩张来提高深度图滤波的准确性，但是简单的替代算法在深度复杂区域并不适用。Lijun Zhao提出了基于备选像素[11]的深度图边界滤波算法(candidate value-based boundary filtering，CVBF)，该算法引入备选像素集，选取最优备选像素来替代不可信像素，滤波过程简单且有效。CVBF在构建备选像素集时，采用不可信像素周边固定区域的前背景值作为备选像素，在深度信息复杂且不可信像素密集出现的情况下，固定区域的选取会造成前背景值的计算错误，降低CVBF的鲁棒性。针对这一问题，本文提出基于可伸缩区域的备选像素提取算法，选取可信度高的区域来还原出深度图的原始数据，进而提高合成虚拟视点视频的PSNR(Peak Signal to Noise Ratio).

1 CVBF算法滤波原理

CVBF算法的滤波原理如图1所示，由于量化编码后的深度图的失真多发生在图像的陡变边缘，所以在进行滤波前需检测失真像素。该滤波过程可简单叙述为：①检测失真像素：采用由五个像素构成的十字型模版去遍历每个像素，如果当前像素与十字型模版上下左右的像素之差的绝对值均小于等于1，则定义为无失真像素，否则为失真像素，标记出所有失真像素。②构建备选像素集：将失真像素所在行列中与其距离最近的四个无失真像素及失真像素周边9×9区域的前景值和背景值作为备选像素。③不可信像素替代：备选像素集的所有元素与不可信像素做差，差值最小的用于替代不可信像素。

2 基于可伸缩区域的备选像素选取

2.1 区域选取准则

图1在构建备选像素集时，采用不可信像素(当前点)周边固定的9×9区域的前景值与背景值作为其中两个备选像素。在深度信息复杂且不可信像素密集出现的情况下，不可信像素的四个临近无失真像素值与当前点的真实值偏差较大，且固定区域的前景或背景值也与实际偏差较远。为了提高备选像素与真实值的接近程度，提出基于可伸缩区域的备选像素计算方法，该方法基于备选区域最小化与区域可信度高的准则。

2.1.1 备选区域最小化

CVBF算法备选区域前景值与背景值计算的原则是[11]：先求出所选9×9区域像素的平均值，将该区域中像素值小于等于平均值的像素记为前景像素，记前景像素的平均值为前景值，大于均值的像素记为背景像素，背景像素的平均值为背景值。对于固定的深度序列，备选区域越大，包含的深度信息越丰富，计算出的前景值与背景值与当前点的真实值偏差越大。图2中(a)为序列Book_Arrival视点8.

图1 CVBF算法原理图
Fig.1 The schematic diagram of CVBF algorithm

图2 深度图分布
Fig.2 The distribution of depth map

表1 深度图的特征值
Tab.1 The eigenvalues of depth map

备选区域均值前景值背景值3×31081051085×5101781097×795701099×99158107

的第一帧深度图，以该图中任意一点p为中心，其周边9×9的区域对应点的灰度值如图2(b)所示。p点对应的灰度值为108，以该点为中心点分别计算3×3、5×5、7×7、9×9区域的前景值与背景值，计算结果如表1所示。可以看出备选区域越小，计算出的背景值与中心点的灰度值越接近，满足备选区域最小化原则。

2.1.2 备选区域可信度高

备选区域的可信度定义为区域中可信像素与不可信像素的比例。备选区域中包含不可信像素的比例较高会造成区域前背景值的计算产生错误。当存在不可信像素的情况下，为了提高滤波器的性能，备选区域应在面积最小化的基础上扩张。

2.2 基于可伸缩备选区域的滤波器设计

采用由五个像素构成的十字型模版检测失真像素，滤波仍只对深度图的失真像素做处理。在对失真像素构建备选像素集时，以当前失真像素的上、下、左、右为搜索范围，选出失真像素所在行列与其距离最近的四个无失真像素作为备选像素。记选取的行备选像素为Ri(i=1,2)，选取的列备选像素为Ci(i=1,2)；记R1与R2间的像素为M，记C1与C2间的像素为N，计算 M×N确定区域的前景值与背景值，记为F1、B1.如图3所示：蓝色像素为当前待滤波失真像素，黑色像素为失真像素行列对应的最近的无失真像素，前景值与背景值图中的灰色区域计算得到。对不同的失真像素，其对应的M与N各不相同，使得计算前景值与背景值的区域大小各不相同。前景值与背景值的计算公式如下：

(1)

(2)

其中，q(x,y)为M×N区域中的每个像素，mean为区域的平均像素值，m为区域前景像素的个数，n为背景像素的个数。

备选像素集(R1,R2,C1,C2,F1,B1)用G表示，从最备选像素集内选出最优像素p′(x,y)，最优备选像素为备选像素集内与当前不可信像素p(x,y)的绝对差最小的像素。用最优像素p′(x,y)替代不可信像素p(x,y).最优备选像素定义如下：

p'(x,y)=argmin|p(x,y)-G|

(3)

图3 确定备选值区域示意图
Fig.3 The schematic diagram of calculating candidate region

3 实验

为了论证本文滤波算法的有效性，采用HEVC version12.0在QP值分别为31、36、41下对Dancer序列(视点5)的前100帧进行编码，得到经过编码后的深度序列。使用本文提出的滤波方法对经过编码后的深度序列进行滤波，生成新的深度序列，最后采用3D-HEVC的1D-fast模式合成虚拟视点6.实验流程图如图4所示。分别计算了不同QP值之下经过压缩编码序列滤波后合成虚拟视点与未压缩编码的序列合成虚拟视点的PSNR，并在相同实验环境下与CVBF滤波器的实验结果进行了对比，对比结果如表2所示，可见本文所提算法可使PSNR平均提高0.08 dB.

表2 序列Dancer的PSNR
Tab.2 The PSNR of sequence Dancer

PSNRQP无滤波CVBF改进后CVBF提高3140.9042.5142.530.023638.8640.6940.780.094137.5639.2439.360.12

图4 实验流程图
Fig.4 Flow chart of the experiment

所有算法均是在配置为CPU 型号为Intel(R) Core(TM) i7-670主频为3.40 GHz、系统内存为16GB RAM的64位操作系统计算机上的MATLAB R2014b平台中实现的。从表中可以看出随着量化参数(Quantization parameter，QP)值的增加，也就是压缩比越来越高，序列的PSNR逐渐减小，基于可伸缩区域的CVBF算法的对合成视点质量提高也不断增加。使用CVBF滤波算法与改进后的算法对QP值为31的100帧图像进行滤波，平均滤波时间分别为39.50 s与34.64 s，因为可伸缩区域的区域可变性处理像素变少，使得计算复杂度变小，所以滤波所用时间减少。计算了不同序列经过压缩编码序列滤波后合成虚拟视点与未压缩编码的序列合成虚拟视点的PSNR，并在相同实验环境下与CVBF滤波器的实验结果进行了对比，对比结果如表3、表5所示。

4 结论

针对CVBF算法在场景深度复杂、不可信像素密集，从固定区域计算备选像素误差较高的情况，提出备选像素由可信度高的区域获得的可伸缩备选区域CVBF算法，实验结果表明该算法提高了CVBF算法的鲁棒性。采用多组对比实验对该方法的有效性进行了论证，实验结果表明，本文所提方法可有效抑制由于深度图编码带来的边缘误差，并且运算简单复杂度低，Dancer序列较CVBF算法可使峰值信噪比平均提高0.08 dB.

表3 序列Newspaper的PSNR
Tab.3 The PSNR of sequence Newspaper

PSNRQP无滤波CVBF改进后CVBF提高3141.5941.8041.820.023641.3040.5040.540.044138.9239.1339.190.06

表4 序列Lovebird的PSNR
Tab.4 The PSNR of sequence Lovebird

PSNRQP无滤波CVBF改进后CVBF提高3143.6743.9844.010.033642.4042.7042.730.034141.7142.0442.100.06

表5 序列Book_Arrival的PSNR
Tab.5 The PSNR of sequence Book_Arrival