非平衡多描述视频编码方法的研究

肖小月，宋建新

（南京邮电大学 通信与信息工程学院，江苏 南京 210003）

1 引言

多描述视频编码（MDVC）是一种面向不可靠信道传输的编码方法，它主要解决网络传输可靠性问题，具有无须重传、延时小等特性。多数的MDVC采用多个独立的视频描述进行传输，只要接收到一个或多个描述，解码器就可以恢复出相应质量的视频流。

现有的MDVC大多产生具有大致相同重要性和质量的描述，称为平衡多描述视频编码（Balanced Description Video Coding，BMDVC），例如基于量化的多描述编码、基于变换的多描述编码、基于空域或变换域的多描述编码以及基于时域采样的多描述编码等[1-2]。与其对应的非平衡多描述视频编码（Unbalanced Multiple Description Video Coding，UMDVC）的研究还未完全展开，UMDVC产生多个不同重要性和质量的视频描述，以两个描述为例，一个具有较高的重要性和质量，称为高分辨力（High Resolution，HR）描述，另一个重要性和质量相对较低的描述称为低分辨力（Low Resolution，LR）描述。与BMDVC相比，UMDVC能够灵活控制引入的冗余量，同时充分利用不同路径中端到端的可用带宽，更适合现有无线网络。

2 现有的UMDVC方法

国内外关于非平衡多描述视频编码的方法，根据LR描述产生的不同，可以分为两种：一种是LR描述和HR描述包含同一个视频序列中的不同视频信息，LR描述相对HR描述来说不完全冗余；另一种LR描述是HR描述的部分信息或者全部信息，完全是冗余，只有在HR描述丢失时作为错误恢复才起作用。

2.1 LR描述非完全冗余的UMDVC方法

LR描述相对HR描述并不完全是冗余的非平衡多描述视频编码方法，LR描述与HR描述分别由同一视频序列中的不同视频信息进行独立编码产生，描述间的非平衡可以采用描述间帧率不同、量化步长不同、空间分辨率不同等方法实现。现有的方法主要是在基于时间采样的平衡多描述视频编码方法的基础上提出的。

文献[3]提出将一视频序列在时间上按奇偶帧采样产生两个描述，两个描述采用不同的预测环，编码器存储两个已编码帧并交替作为奇偶帧的参考帧。将其中一个描述的帧率减半可达到两描述间的非平衡。在解码端，当一帧丢失时，依照原视频序列，用邻近的前后两帧恢复丢失帧，类似于运动补偿内插法。此方法由于帧间距离变大而导致预测误差变大，但两描述间的视频质量差异不大。

同样采用基于时间采样的方法来产生两个描述，文献[4]在两个描述间采用不同的量化步长达到两个描述间的非平衡。这样两个描述间存在不同的视频质量，导致在重构视频流后，邻近两帧存在峰值信噪比（PSNR）差异。针对这个问题，并考虑到重构帧误差对后续帧的影响，在丢帧时，用另一描述中对应的前后两帧恢复丢失帧；而对于LR描述，在没有丢帧的情况下仍然用HR描述中对应的前后两帧重构当前帧，比较重构帧和LR描述中当前帧的质量，取质量好的视频帧作为输出。两个描述间的码率分配，需根据信道带宽和丢包率的情况，并保证丢包时重构视频流的平均PSNR最大且两个描述间的PSNR差异最小。

2.2 LR描述完全冗余的UMDVC方法

在现有的非平衡多描述视频编码方法中，LR描述相对于HR描述是完全冗余的，它只有在HR描述出现丢失时作为错误恢复才起作用。HR描述由原视频序列采用标准的视频编码（H.263，H.264等）方法产生，LR描述由以下方法产生：1）提取原视频序列部分信息进行编码；2）从HR描述的重构帧中提取部分信息进行编码；3）同样包含全部视频信息，但与HR描述采用不同编码参数进行编码。

图1中的非平衡多描述视频编解码器主要考虑到解码端率失真最优[5]。对原视频序列采用H.263标准产生HR描述，将HR描述中的运动矢量（MV）、头信息等重要信息复制到LR描述中，同时HR视频帧中每块的部分高能量DCT系数也被复制到LR描述相对应的块中，LR块中残余DCT系数用0填充。DCT系数的选取标准为在允许的冗余度内最小化丢包时的率失真。编码端的交迭模块用于打包，对每个视频帧打两个包，一个包封装HR帧奇数标识的块组（GoB）和LR帧偶数标识的块组，另一个包封装 HR帧偶数标识的块组和LR帧奇数标识的块组。这样，非平衡的两个描述可以在平衡信道中传输。

图1 率失真优化UMDVC编解码器

文献[6]提出了一种适用于无线局域网（WLAN）传输的非平衡多描述视频编码方案，原视频序列在H.264编码基础上采用不同编码参数产生质量不同的两个描述，LR描述采用的I帧间隔小于HR描述，这样虽然降低了LR描述编码效率，但当两个描述同时发生丢包的时候，只要收到LR描述中的I帧就可以停止错误传播。解码端的后处理模块如图2所示，包含一个错误隐藏块和一个缓存，缓存用于识别HR和LR帧中损坏的宏块，错误隐藏块用于重构帧，HR宏块丢失，LR宏块收到，用LR宏块恢复，反之亦然；均收到，只取HR宏块；均丢失用前帧的对应宏块恢复（在缓存中）。将重构帧返回到HR和LR解码器中作为后续帧的参考，这样有效限制了错误传播。

图2 UMDVC解码端

李彬等人在非平衡多描述编解码器（如图3，图4）中加入“同步帧”的概念[7]，使用“同步帧”来阻止HR描述中的错误传播。“同步帧”即LR编码器重构的I帧，其作用主要是被置于HR编码器的帧缓冲区并替代HR编码器当前重构的P帧。HR编码器在编码下一个P帧时以“同步帧”作为参考帧。在解码端，HR解码器必须取得“同步帧”来用于下一个P帧的运动补偿。“同步帧”可以通过两种方式获得（见图4）：1）LR解码器的输出帧作为“同步帧”；2）LR编码器的重构帧，此时编码器的输入是HR解码器的输出。解码端对于4种情况的处理如下：1）HR描述和LR描述均接收时，输出HR描述数据；2）LR描述发生丢包，而HR描述正确接收时，将HR解码器的输出直接输入到标准编码器，生成LR描述并正确重构LR描述中因丢包而损坏的帧，继续LR描述的解码；3）HR描述发生丢包，而LR描述正确接收时，从LR描述里取得“同步帧”作为HR描述下一个P帧的参考帧，这样HR编码器和解码器之间不存在不匹配的情况。HR解码器只需等待LR解码器输出下一 “同步帧”即可重新开始解码；4）HR描述和LR描述同时发生丢包时，解码器暂停解码，等待下一“同步帧”到达后重新开始解码。在这个过程中解码器的输出为最近的已解码帧。

图3 “同步帧”—UMDVC编码端

同样考虑错误传播的问题，文献[8]提出了基于SP帧技术的非平衡多描述视频编码方法，SP帧能够参照不同参考帧重构出相同的图像帧，利用这种特性SP帧可防止错误传播，并且SP帧的编码效率远远高于I帧。对原视频序列采用不同的量化参数产生HR描述和LR描述，SP帧每隔6帧出现一次，辅SP帧BA i的作用是实现由LR到HR帧的过渡（如图5），如果HR中的A4丢失，将由辅BA6帧预测重构出A6帧，在此处阻止错误传播，使HR中A6帧以后的P帧正常解码。对于解码端最终输出的第4帧和第5帧将使用描述LR中的重构帧。如果在LR描述中发生错误，由HR中的帧进行修复，如B2丢失，由A2恢复。

图4 “同步帧”—UMDVC解码端

图5 描述HR和LR

文献[9]提出的非平衡多描述视频编码在LR描述编码过程中，对HR编码输出的重构帧进行时域帧采样和运动信息分割（如图6）。对LR编码的宏块进行棋盘采样分割（见图7），将运动信息分割为两个部分。假设LR码流只传输A部分的运动信息，对于未知的∀B∈｛B0，B1，B2，B3｝的块，要从周围已知 8×8 块 Av（v∈0，1，2，3，4，5，6，7）中找到运动矢量与其最为匹配的块来预测原始块。则运动信息分割后，得到原图像帧中一半的运动信息和未传送运动信息的宏块指向周围最佳预测块的索引。时域帧采样如下：1）选取HR编码的I帧；2）对于非I帧，每隔3帧取1帧；3）取帧内编码宏块。对于LR描述，解码端用接收的最邻近帧信息代替未接收的帧信息，用上述方法对未传送的运动信息进行恢复。

图6 LR编码器结构

图7 分割后的宏块

3 UMDVC关键问题

非平衡多描述视频编码方法的提出主要是为了适应现有的各信道带宽不平衡，丢包率不等的无线网络，其难点主要是在一定冗余度下产生非平衡的描述，并达到码率与失真的平衡。非平衡多描述视频编码需考虑的关键问题如下：

1）视频信息的非平衡多描述的产生及描述间的码率分配

对于非平衡多描述视频编码，首要的问题是非平衡描述怎样产生，它决定了非平衡多描述编码的稳健性和重建信号的失真率。如上所述主要有3种方法产生：一是各描述包括视频信息中不同的内容[3-4]，通过量化参数不同、帧率不同或者空间分辨率不同产生描述间的非平衡；二是高分辨率描述包含所有的视频信息，低分辨率描述包含原视频序列中的部分重要信息[5，8，10]；三是各描述都包含所有视频信息，它们采用不同编码参数产生分辨率不同的描述[6]。第二、三种方法中低分辨率的描述相对于高分辨率的描述完全是冗余的，只在高分辨率描述丢失时作为视频重建时起作用，不太符合解码端收到的描述越多重构视频质量越好的原有多描述编码的思想，因此应主要拓宽第一种方法。

非平衡描述间的码率分配一方面需要适应网络环境，如各信道的带宽、丢包率，另一方面需要考虑解码端在丢包情况下重建视频的失真度，即保证解码端输出视频的平均PSNR最大。如文献[4]中为了使重建视频的平均PSNR最大和描述间的PSNR差异最小，在保证总码率不变的情况下，调整两描述间的码率去适应不同的信道环境。

2）丢包情况下的错误传播

现有视频编码方法采用预测编码来消除帧间冗余。当一个描述的包丢失时，用其他描述的包恢复并作为此描述后续帧的解码参考，这样解码端与编码端参考帧不一，出现预测编码误匹配问题，导致后续帧解码出错，即错误传播问题。针对这个问题，文献[6]在低分辨率描述中增加I帧的插入，并将后处理模块的重构帧返回给对应的解码器作为后续帧参考，减少了误匹配。在文献[7]中提出的“同步帧”和文献[8]中的辅SP帧的应用都是为了减少错误传播。

3）质量漂移问题

在平衡多描述编码中，每个描述的质量大致相同，当有描述丢包时，用其他描述接收到的相关联包重构的视频帧质量不会差，则输出帧之间的质量相差不会太大；但在非平衡多描述编码中，描述之间的质量会有较大差距，当高质量的描述丢包时，用低质量描述接收的相关联包重构的视频帧质量较差，这样会造成前后视频帧存在较大质量差异，即质量漂移。这个问题在文献[4]中最为突出，虽然提出了相应的解决方法，但增加了解码端负担。

现有的非平衡多描述编码方法存在的主要问题是低质量的描述在解码端的利用率太低，而且它起作用时还造成了一些问题，比如质量漂移、错误传播。

4 小结

UMDVC因为能产生码率不同的描述，更能适应各信道可用带宽不同的无线网络，受到国内外学者的关注。笔者通过对现有的UMDVC方法的介绍，提出了有待解决的关键问题。

UMDVC应用于无线环境比BMDVC有明显的优势，但现有的无线信道带宽易变，虽然可用自适应的调整码率去适应信道带宽的变化，但当一条信道可用带宽太小时，不能一味地降低码率，那样势必降低输出视频质量，这时可考虑增加非平衡描述数，并寻找其他的可用信道，那么就需要考虑在一定冗余度情况下怎样产生多于两个以上的非平衡描述。

[1]WANG Y，REIBMAN A R，LIN S.Multiple description coding for video delivery[J].Proceedings of the IEEE，2005，93（1）：57-70.

[2]郁梅，蒋刚毅，贺赛龙，等.多描述视频编码方法研究[J].电路与系统学报，2005，10（1）：76-84.

[3]APOSTOLOPOULOS JG，WEE S J.Unbalanced multiple description video communication using path diversity[C]//Proc.the IEEE International Conference on Image Processing （ICIP）.Thessaloniki，Greece：IEEE Press，2001，1：966-969.

[4]EKMEKCI S，SIKORA T.Unbalanced quantized multiple description video transmission using path diversity[C]//Proc.SPIE Image and Video Communications and Processing （IVCP）.[S.l.]：IEEE Press，2003：301-311.

[5]COMAS D，SINGH R，ORTEGA A，et al.Unbalanced multipledescription video coding with rate-distortion optimization[J].EURASIP Journal on Applied Signal Processing，2003（1）：81-90.

[6]VILEI A，CONVERTINO G，OLIVA S，et al.A novel unbalanced multiple description scheme for video transmission over WLAN[C]//Proc.the 3rd ACM International Workshop on Wireless Mobile Applications and Services on WLAN Hotspots.Cologne，Germany：[s.n.]，2005：39-47.

[7]李彬，黄峰，孙立峰，等.一种鲁棒灵活的非平衡多描述视频编码和传输方案[J].计算机学报，2008，13（7）：1155-1164.

[8]余海瑞，倪林.基于SP帧技术的非平衡多描述视频编码方法[J].数据采集与处理，2009，24（1）：87-90.

[9]赵小青，倪林.一种无线Ad hoc网络中的非平衡多描述视频编码方法[J].中国科学技术大学学报，2008，38（7）：797-801.

[10]余海瑞，倪林.感兴趣区域分割的非平衡多描述视频编码[J].计算机工程与应用，2009，45（4）：137-139.