丢包信道下的率失真优化视频编码改进算法

王勇智, 刘利强, 严权峰, 谭用秋

(湖南理工学院 计算机学院, 湖南 岳阳 414006)

丢包信道下的率失真优化视频编码改进算法

王勇智, 刘利强, 严权峰, 谭用秋

(湖南理工学院 计算机学院, 湖南 岳阳 414006)

根据H.264 SVC 标准框架, 针对基于JSVM的SVC率失真优化编码问题, 提出一种适合于在丢包信道传输率失真优化视频编码改进算法. 仿真实验结果表明, 使用改进算法编码的视频流在传输中表现了较好的容错能力与更高的解码视频质量.

率失真优化; JSVM; 可伸缩视频编码

近年来, 随着计算机网络与多媒体技术的快速发展, 多媒体通信应用越来越多. 为解决庞大的多媒体视频数据量与现有网络通信能力之间的矛盾, 数字视频编码技术一直是网络视频通信的研究热点问题[1].视频编码通过采样、量化、变换编码等一系列处理将大数据的视频编码成可以在有限网络带宽中传输并解码的视频码流. 传统的基于运动补偿/预测的视频编码技术能消除图像序列的时间相关性, 也能得到高的压缩比, 但是编码后的视频流抗干扰能力弱, 因此增强码流的误码与丢包变化的鲁棒性非常重要[2]. 为使视频流能更好地适应各种不同的网络环境与用户需求, 近年来, 可伸缩视频编码(SVC, Scalable Video Coding)正在成为视频编码领域的研究热点[3,4].

H.264 SVC将视频码流编码成一个低码率的基本层(Base Layer)和一个/多个增强层(Enhancement Layer), 解码器能根据需要选择单独解码包含主体信息的基本层, 得到包含主体内容的图像, 也可以在基本层能得到正确解码的基础上, 选择解码包含更多细节与纹理的增强层, 从而得到更高质量的输出视频. SVC在传输时, 可以选择不同的传输优先级与不同的抗误码技术, 实现具有不同码率、分辨率与质量的解码视频. 因此, SVC编码可以根据需要与网络的实际带宽产生不同的码流, 也可以提取出不同质量的码流, 其应用非常灵活, 有良好的网络适应性. 但H.264 SVC也有编码效率低, 解码复杂度高的缺点. 根据德国HHI网站提供的测试数据, 目前通用的SVC视频编码器JSVM-11[5](Joint Scalable Video Model)在相同的条件下, SVC码流的压缩效率比单层码流约低10%. 从JSVM技术文档可以看出, SVC视频编码根据信源失真实时调整各帧的量化参数, 但没有考虑信道失真的影响, 在丢包率高的网络中,难得到最优的视频质量.

我们根据H.264 SVC 标准框架, 研究基于JSVM的SVC率失真优化编码问题, 提出一种基于丢包信道传输的率失真优化视频编码改进算法, 以求得到更优的解码视频图像质量.

1 JSVM的率失真优化编码模式

JSVM编码器在编码时将视频帧划分为若干大小相同的宏块(MB), MB是基本编码单元, 对每个MB可以采取跳帧(Skip)、帧间(Inter)和帧内(Intra)等多种编码模式(mode), 对每种mode又可设定量化步长、运动向量精度等编码参数. JSVM基于MB的率失真优化函数可以表示为[5]:

其中D为编码失真, R为编码码率, λ为拉格朗日乘子. 在H264 SVC中, λ为量化参数Q的函数, 即

对于量化参数Q, JSVM提供了一种简化的量化参数选择算法:

对于给定的编码模式λ和Q, MB的编码模式选择策略为

其中 y代表亮度, c为色度, SSD定义为图像失真的平方和, λmode为相应编码模式的拉格朗日乘子.

视频的参考帧、最优Inter/Intra预测方法以及Inter/Intra的mode选择遵循率失真代价函数最小的原则.可以看出, 这种编码方法是基于无损信道(error-free)的, 虽然考虑了基于信源失真的编码量化失真问题,却没有考虑丢包信道失真的影响, 因此, 使用这种编码模式可能造成视频抗误码能力不足.

2 基于丢包信道的SVC视频编码改进策略

拉格朗日乘子λ体现了失真与码率的关系, 选择不同的量化参数Q能大大影响视频的编码效率. 式(1)中的λ是基于无损信道的拉格朗日乘子, 没有考虑丢包信道失真. 参照丢包信道的特点, 可以推导出不同丢包率链路下的拉格朗日乘子[6]:

其中p为丢包率, λ为JSVM定义的拉格朗日乘子. 由式(2)可知, 它也是Q的函数.

因此, 我们对JSVM的SVC视频编码进行改进, 引入不同的拉格朗日乘子, 提出一种基于丢包信道传输的SVC视频编码策略:

a) 在编码器中, 针对每个MB求最优编码模式, 率失真优化模型: b)

b) 遍历mode, 得到丢包信道的拉格朗日最小化函数:

c) 将所有mode值代入方程(7), 计算出所求编码的最佳mode, 再由JSVM编码器得出相应mode下的每个MB的D与R, 其中, D由编码前视频和解码重构视频直接计算得到, 而R则由编码器在以相关量化参数Q编码并解码后才能得到.

3 仿真实验与比较

实验平台为JSVM9.18, 测试视频序列: football, 图像组GOP大小为32, CAVLC熵编码模式. 基本层取176×l44 QCIF, 帧率15 fps, 增强层取352×288CIF, 帧率30fps. 丢包信道的建立采用了典型的ITU误码错误文件[7], 误码分布取5%、10%和20%, 差错隐藏方法为前帧拷贝模式. 为满足统计平均的要求, 每种丢包模式下的仿真测试序列长度均多于4000帧, PSNR值是通信完成后在接收端解码的视频流平均值.

图1～3列出了在丢包率分别为5%、10%和20%的IP网络中传输football序列时, 改进算法与JSVM编码算法的解码端率失真曲线. 可以看出, 随着包丢失概率的增加, 接收端视频的PSNR值急剧减小, 信道失真对视频流的解码质量影响较大. 改进算法因为在编码时考虑了信道失真的影响, 通过自适应调整拉格朗日乘子选择了较为合理的码率优化, 增强了视频误码与丢包变化的鲁棒性, 较JSVM算法在相同码率条件下的解码视频信噪比更高.

图1 在丢包率5%的IP网络上的率失真曲线

图2 在丢包率10%的IP网络上的率失真曲线

图3 在丢包率20%的IP网络上的率失真曲线

图4提供了在丢包率为10%的IP网络环境中, 分别传输两种编码算法所得码流在解码端的视频重构质量. 注意观察球星飘逸的头发与足球的纹理, 我们不难看出, 信道失真对视频流的解码质量影响较大,改进算法的解码图像质量略高于JSVM算法, 重现了更多的图像细节.

图4 在10%丢包率的IP网络上同一解码帧的主观质量比较

4 结论

我们根据H.264 SVC 标准框架, 研究了基于JSVM的SVC率失真优化编码问题, 提出一种基于丢包信道传输的率失真优化视频编码改进算法, 根据信道丢包率实时调整拉格朗日系数, 选择更优的率失真编码模式, 从而得到更好的图像质量. 仿真实验结果表明, 使用改进的算法编码的视频流在传输中表现了较好的容错能力与更高的解码视频质量.

[1] Z. Z. Chen, W. S. Lin, N. N. King. Perceptual video coding: Challenges and approaches[C]. IEEE International Conference on Multimedia and Expo (ICME), 2010: 784～789

[2] Ze-Nian Li, Mark S.Drew. 多媒体技术教程[M]. 北京: 机械工业出版社, 2012

[3] H.Schwarz, D.Marpe ,T. Wiegand. Overview of the Scalable Video Coding Extension of the H.264/AVC Standard [S]. Joint Video Team, doc. JVT-W132, San Jose, USA, Apr. 2007

[4] Mohammed Halloush, Hussein R. Al-Zoubi, et al. The Performance of MANET Routing Protocols for Scalable Video Communication [J]. Communications and Network, 2013(5): 119～125

[5] G.J.Sullivan , T.Wiegand. Rate-distortion optimization for video compression [J]. IEEE Signal Processing Magazine, 1998, 15(12):74～90

[6] 谢丽莎, 张 远. 结合FMO和帧内块刷新的容错视频编码方法[J]. 通信学报, 2007, 28(8A): 127～132

[7] StephanWenger, Franklinstr. Error patterns for Internet Experiments[C]. Q15-I-16rl, VCEG (SG16/Q6), Ninth Meeting: Red Bank, NJ, 1999

An Improved Rate-distortion Optimization Video Coding Algorithm over Packet Erasure Channels

WANG Yong-zhi, Liu Li-qiang, YAN Quan-feng, TAN Yong-qiu
(College of Computer Science, Hunan Institute of Science and Technology, Yueyang, 414006, China)

According to H.264 SVC standard framework and rate-distortion Optimization Coding of JSVM, we proposed an improved rate-distortion optimization coding algorithm over packet erasure channels. Simulation results showed that the video using the improved coding have better performance of fault tolerance and higher decoding video quality than which using JSVM coding over packet erasure networks.

rate-distortion optimization; JSVM; scalable video coding

TN919.8

A

1672-5298(2015)03-0027-03

2015-06-30

湖南省自然科学基金项目(14JJ4060)

王勇智(1970- ), 男, 湖南娄底人, 湖南理工学院计算机学院副教授. 主要研究方向: 多媒体通信技术