基于分层细化的Wyner-Ziv视频解码算法

杨 佳

(成都信息工程大学通信工程学院,四川 成都 610225)

0 引言

传统的视频编码如H.264/AVC和HEVC采用基于分块的混合预测视频编码方式,在编码端深度挖掘视频冗余,以此实现高性能的视频压缩。高复杂度编码和低复杂度解码的特点使传统视频编码被广泛应用于广播和视频点播等一对多通信架构的多媒体传输系统当中。然而,在工农业生产监测、野外勘探、应急救援等多媒体应用中,数据采集节点往往分散在一个大的区域内,采集周边的多媒体数据上传到服务器端。由于环境和成本的限制,数据采集节点通常为轻量级终端设备,有限的计算能力和存储容量是此类终端设备的共同特点。与此相反,服务器则具有强大的处理能力和稳定的能耗供应。传统视频编码标准由于高复杂度的编码方式,不能很好地适应此类轻量级终端设备的低功耗视频通信需求。在此背景下,以Slepian-Wolf[1]和Wyner-Ziv[2](WZ)定理为指导的分布式视频编码(distributed video coding,DVC)通过在解码端挖掘利用信源相关性的方式,将繁重的计算负荷从编码端转移到了解码端。DVC为轻量级多媒体通信应用提供了一种高效的视频编码技术。尽管如此,与传统视频编码相比,DVC在压缩性能方面还有待提高。

边信息和虚拟信道模型是影响DVC压缩性能的两大核心因素。边信息是当前待解码WZ帧的带噪估计,边信息质量越高,则能提供更准确的帧间信源相关性。目前利用已解码WZ帧信息优化边信息质量[3-10]是其主流的研究思想。虚拟信道模型的主要功能是挖掘和统计信源相关性,特别是边信息所提供的相关性信息,计算当前待解码帧的条件概率,为信道解码提供软输入。软输入的准确性决定了信道解码所需校验信息的数量,从而影响DVC的压缩性能。相比典型的虚拟信道模型——拉普拉斯(laplace)分布[11-15],高阶统计模型[16-18]凭借更高效的信源相关性挖掘性能为DVC压缩性能的提升开拓了一条新的研究思路。

目前已知先进的高阶统计模型和部分边信息优化算法都是以离散小波变换(discrete wavelet transform,DWT)域DVC系统为基本的编解码框架。与离散余弦变换(discrete cosine transform)相比,离散小波变换DWT可灵活控制DWT分解层数,从而获得不同分辨率图像。每一分解层子带之间,层间父子结点都具有较强的帧内信源相关性[17],有利于DVC压缩性能的提升。针对DWT域的DVC系统,高阶统计模型方面,Qing等[16-17]借鉴了JPEG2000的思想,采用启发式方式选择上下文特征(context features),提出了精细的自适应上下文模型及其改进算法。Yang等[18]利用决策树充分挖掘和利用帧间和帧内信源相关性,提出了更高效的高阶统计模型。针对DWT域DVC的边信息,Di等[7]将自适应卡尔曼滤波器融入基于块的运动估计当中获取光学运动矢量,再通过加权向量中值滤波器对其细化,从而优化边信息。Fang等[8]则通过融合多种运动估计策略来优化超完备DWT中DVC的边信息质量。Liu等[9]充分挖掘小波分解子带间信源相关性,利用每一分解层已解码的低频子带信息更新运动矢量场,从而使边信息质量得到更有效的提升。Yang等[10]在文献[9]的基础上,通过挖掘高频子带已解码信息,进一步优化了边信息质量。

综上所述,针对DWT域DVC,高阶统计模型和边信息优化研究已取得了良好的进展,然而将高阶统计模型和边信息优化相融合的WZ解码算法还鲜有报道。因此,本文提出了基于分层细化的WZ解码算法,在比特层面上,利用小波多尺度和多分辨率的特性,融合前期虚拟信息模型[18]和边信息优化[10]的研究成果实现DVC压缩性能的进一步提升。

1 基于边信息优化的DVC系统

DWT小波多尺度和多分辨率的特性有助于挖掘更丰富的帧内信源相关性。文献[10]针对DWT域DVC,在多分辨率运动细化(multi-resolution motion refinement,MRMR)[9]编码算法的基础上,实现了边信息质量的优化。基于边信息优化的MRMR-DVC系统[10]如图1所示。

图1 基于边信息优化的MRMR-DVC系统

边信息优化的基本思想是,在第n(n=1,2,…,N)小波分解层,首先利用参考帧的低频子带LLn(t-1)经WZ解码重建当前待解码WZ帧的LLn(t),接着进行LLn(t-1)与LLn(t)之间的运动估计,细化第n小波分解层运动矢量场,并生成高频子带LHn(t)、HLn(t)、HHn(t)的初始边信息,然后按照最高比特面(most significant bit-plane,MSB)到最低比特面(last significant bit-plane,LSB)的顺序,利用初始边信息解码高频子带信息,当解码的比特面包含的当前高频子带信息足够多时,则利用式(1)。

2 基于分层细化的Wyner-Ziv解码算法

2.1 边信息优化与高阶统计模型的融合

边信息优化算法和基于决策树的高阶统计模型都是基于比特层面的,因此,两者的融合具有结构上的优势。高阶统计模型的初始特征集如表1所示,与边信息相关的特征有边信息质量分类QCSI和边信息在比特面Bi(i=1,2,…,M,序号从低到高以次表示MSB到LSB比特面)上的重要性状态SSI。SSI按照JPEG2000重要性传播过程中的方法进行判定,QCSI则由文献[18]中提出的比特面层面的边信息质量分类BQCSI(bit-plane-level quality classification of side information)算法计算所得。BQCSI基本思想是以当前WZ帧已解码比特面B={B1,B2,…,Bi-1}与其边信息之间对应比特面的差异作为WZ帧第i个比特面Bi的边信息质量分类,BQCSI计算如式(2)所示。

表1 高阶统计模型初始特征

DBj代表WZ帧与其边信息在第j个比特面上的差异。当融合高阶统计模型和边信息优化算法时,关键步骤是确定在哪个比特面开始启动边信息优化算法,然后将优化的边信息替换掉初始边信息,按照高阶统计模型中的计算方法,计算得到更新后的QCSI和SSI。

2.2 基于分层细化的Wyner-Ziv解码

经大量测试分析,在解码得到LSB-2比特面,即BM-2后,利用当前WZ帧已解码信息带入式(1)所得结果能对初始边信息的质量作较精确判断,因此在解码LSB-1即BM-1时启动边信息优化,并按优化后的边信息计算得到更准确的QCSI和SSI。因QCSI和SSI是影响高阶统计模型的两大重要特征,更准确的QCSI和SSI能进一步提高高阶统计模型的性能,从而提升DVC压缩性能。根据上述分析,在MRMR-DVC基础上,基于分层细化的WZ解码算法如图2所示,过程描述如下:

图2 基于分层细化的Wyner-Ziv解码示意图

(1)设置n=N,直接将LLn(t-1)作为LLn(t)的边信息,经WZ解码得到LLn(t);(2)对LLn(t-1)与LLn(t)实施运动估计,更新n分解层运动矢量场;(3)利用更新后的运动矢量场,生成n分解层中HLn(t)、LHn(t)和HHn(t)的初始边信息;(4)利用初始边信息,对当前高频子带进行WZ逐比特面解码;(5)在成功解码LSB-2比特面后,启动边信息优化算法;(6)从解码第LSB-1比特面开始,融合高阶统计模型和优化后的边信息;(7)HLn(t)、LHn(t)和HHn(t)的WZ解码成功后,重建3个高频子带,n=N时,重建LLn(t)子带;(8)对LLn(t)、HLn(t)、LHn(t)和HHn(t)实施小波逆变换,重建n-1分解层低频子带LLn-1(t);(9)设置n=n-1,n>0,跳转到步骤(2),开始新一轮解码,当n=0,解码完毕。

值得注意的是,步骤(7)采用最小均方误差(minimum mean square error)[19]逐层重建每一分解层高频子带,即能得到质量更好的低频子带LLn-1(t),通过LLn-1(t-1)与LLn-1(t)之间的运动补偿预测,可获得更细化的运动矢量场,有助于优化n-1层高频子带边信息,而优化后的边信息能提升高阶统计模型的性能,并且也有利于改善n-1层高频子带的重建质量。因此,基于分层细化的WZ解码算法充分利用了小波多尺度和多分辨率的特性,充分挖掘帧内和帧间信源相关性,提升DVC压缩性能。

3 系统总体率失真性能仿真与结果分析

为测试算法性能,在MRMR-DVC框架下,将基于本文算法的DVC系统与仅基于决策树的高阶统计模型的DVC系统[18]、基于边信息优化算法的DVC系统[10]以及基于上下文的高阶统计模型的 DVC系统[17]进行总体率失真(rate distortion,RD)性能比较。实验在边信息运动搜索的初始参数和信道编码参数的设置方面与文献[10]保持一致。除选取了CIF格式(352×288)的视频序列外,为更进一步展示算法性能,还选取了较高分辨率832×480和1280×7203的视频序列,每个视频序列100帧进行测试。所选视频覆盖了低速、中速和快速视频运动场景。视频序列按图像组(group of pictures,GOP)大小为8进行分组。GOP8表示1个关键帧后紧跟7个 WZ帧。WZ帧采用2∧(QPWZ)的量化步长,量化参数 QPWZ∈{3,4,5,6},关键帧采用HEVC帧内编码(HM16.5版本,profile为main-RExt,仅编码亮度信息)进行编码,关键帧量化参数为{18,22,26,30}。RD性能采用Bjøntegaard度量方法[20]的BD-PSNR和BD-BR进行评价。

表2以BD-PSNR和BD-BR两种方式展示了基于本文算法与基于参考文献算法的MRMR-DVC系统总体RD性能比较结果。正的BD-PSNR和负的BD-BR数值表示相较于参考系统,本文DVC系统PSNR的提升幅度和码率的下降幅度。

表2 本文系统与参考系统的总体RD性能比较

表2的测试结果表明,本文算法性能明显优于参考文献算法性能。相同码率下,与文献[18]、文献[10]和文献[17]算法相比,BD-PSNR最高分别能达到0.97 dB(Football序列)、1.19 dB(BQMall序列)和2.38(BQMall序列)。对于运动场景较为剧烈的视频序列,如Football和BasketballDrill,本文算法也能取得良好的压缩性能。此种测试结果主要归功于结合了边信息优化算法和高阶统计模型两者的优势。利用小波多尺度和多分辨率的特性能有助于高效挖掘已解码WZ帧信息,特别是高频子带信息促使边信息优化算法和高阶统计模型的深度融合。随着逐层解码,渐进优化的边信息能提供更精确的信源帧间相关性,有助于提升高阶统计模型的边信息质量分类QCSI和边信息在比特面Bi上的重要性状态SSI两大特征的准确性,从而提升高阶统计模型的性能,得到更准确的信道解码软输入,以此降低校验码率,进一步提升DVC压缩性能。

4 结论

本文针对MRMR-DVC框架,提出基于分层细化的Wyner-Ziv解码算法,利用边信息优化算法和高阶统计模型在算法作用域层面上的一致性,利用小波多尺度和多分辨率的特性,对两者进行深度融合。以边信息优化作为基础,逐层优化高频子带初始边信息,以此提升高阶统计模型与边信息相关的特征的准确性,从而增强高阶统计模型的性能,得到更准确的信道解码软输入,最终达到提升DVC压缩性能的目的。