一种面向HEVC的编码单元深度决策算法

姚晓敏,王万良,岑跃峰,王超超

(浙江工业大学计算机科学与技术学院,杭州310023)

·多媒体技术及应用·

一种面向HEVC的编码单元深度决策算法

姚晓敏,王万良,岑跃峰,王超超

(浙江工业大学计算机科学与技术学院,杭州310023)

新一代高性能视频编码(HEVC)标准采用灵活的四叉树自适应存储结构、可变尺寸的编码块、35种帧内预测模式等新技术,能够有效提升HEVC的编码效率,但也造成了更高的编码复杂度。为此,提出一种基于时空相关性的编码单元深度决策算法。融合关联帧编码单元的深度信息及当前帧相邻编码单元的深度信息,从而预测当前编码单元的深度范围。实验结果表明,与HEVC标准测试算法相比,该算法能在不明显影响编码质量的基础上平均减少30.2%的编码时间。

高性能视频编码标准;编码单元;编码复杂度;时空相关性;深度决策;编码时间

1 概述

伴随着移动互联等新兴技术不断发展,视频的质量也从2K～4K(超高清、超高清)不断发展、传输媒介也从PC端向移动端等方向发展[1],对视频编码压缩和传输提出更高的要求。国际标准化组织开展了视频编码标准协议的研究,先后产生了MPEG-4、H.264/AVC等国际通用的视频编码标准。2010年,国际标准化组织下属的运动图像专家组和国际电信联合会下属的视频编码专家组成立了视频编码联合组,致力于研究下一代的视频编码标准,即高性能视频编码(High Efficiency Video Coding,HEVC)标准,并于2013年正式发布[2]。与之前的视频编码协议相比,HEVC采用了灵活的四叉树自适应存储结构、35种(包括planner模式和DC模式)的帧内预测模式、自适应环路滤波、可变化尺寸的编码块等新技术,这些技术的改进使得HEVC比先前的标准节省了50%的编码率[3]。但是,伴随着编码效率的提升,编码复杂度也急剧提升。为了有效降低HEVC的编码复杂度,本文提出一种面向HEVC的编码单元(Coding Unit,CU)深度决策算法。介绍HEVC编码原理,对编码单元深度值优化的相关研究进行总结,描述面向HEVC的编码单元深度决策算法,并进行实验。

2 HEVC深度决策

编码单元是HEVC最基本的编码和处理单元。在HEVC中,每一帧图像被分割成多个互不重叠的LCU,每一个LCU的尺寸都是64×64像素[4]。如图1所示,若当前LCU为编码块时,CU的尺寸从64× 64像素逐步分割直到8×8像素;每一次分割CU的深度值(Depth)增加1,最小尺寸8×8像素的深度值(Depth)为3。

图1 LCU分割示意图

HEVC使用率失真损耗来计算当前编码块的性能,计算公式为:

其中,SSE表示使用预测模式计算的残差平方和;λ表示拉格朗日系数;bmode表示使用当前预测模式下进行编码的码率。

HEVC通过计算每个预测单元(PU)的35种预测模式RD_Cost,选取RD_Cost值最小的模式为最佳预测模式。HEVC每一次分割都要计算每一个CU的RD_Cost,直到LCU分割到8×8像素最小尺寸:

通过式(2),迭代计算RD_Cost最小的分割方式即为LCU的最佳分割方式,并通过Z字型扫描进行四叉树存储。从上述的计算可知,每一个LCU达到最佳的编码模式需要进行85次分割(40+41+42+43),每个编码单元的尺寸(CUsize)需要计算35种帧内预测模式。与之前标准相比,HEVC在提升编码效率的同时编码复杂度却在不断增加。

针对这个问题,国内外学者提出很多新的方法用以降低HEVC的编码复杂度[5-7]。文献[8]提出一种通过选取空域上相邻已编码块的最佳预测模式作为候选最佳模式(Most Possible Mode,MPM)的方法,算法通过优化的粗模式选择(Rough Modes Decision,RDM)算法候选预测模式和MPM算法达到降低复杂度的目的;文献[9]提出一种根据图像纹理变化特征选取为主要帧内预测模式方向的优化方法,该方法将35种帧内预测模式根据变化方向性等特征分成5类,从而将35种预测模式优化到9种主要帧内预测模式。文献[10]研究每一种CU尺寸最佳分割率失真阈值,通过该方法能够有效降低编码复杂度。文献[11]提出2种帧内预测模式优化的策略:(1)通过比较当前PU的RMD算法候选模式、MPM算法最佳模式和上一深度的率失真最佳预测模式来确定当前PU的最佳预测模式;(2)综合计算当前PU左边块、上边块、左上块、右上块和上一深度的率失真代价得到一个预测模式阈值,若当前帧内预测模式的率失真小于该阈值则提前终止算法。

综合相关文献创新点,降低HEVC的编码复杂度概括为以下3种方法:(1)采用邻块类型预判断或者提前终止的思想进行块划分;(2)通过简化率失真损耗函数来降低计算的复杂度;(3)将一些可能小的预测模式提前排除,以到达缩小编码模式选择范围。根据视频帧的时空关联性特征,本文提出一种基于空间相关性的快速CU分割方法,该方法通过关联帧的CU尺寸对当前帧的编码块进行预判达到降低复杂度的目的。

3 算法介绍

视频由连续的图像序列帧组成,具有空间相关性和时间相关性2种特征。由于帧与帧之间时间间隔非常短,前后帧之间存在着大量的冗余信息,这种关系称为时间相关性;一个像素通常与其周围的像素点存在关联,这种特征称为空间相关性。由于空间相关性特征的存在,因此HEVC编码帧与编码帧之间CU分割方式也存在极强的关联性。为了验证编码的性能,HEVC提供了5类官方的测试序列ClassA,ClassB,ClassC,ClassD和ClassE。ClassA从超清视频序列“Traffic”(4 096×2 048像素,30 f/s)和“PeopleOnStreet”(3 840×2 160像素,30 f/s)中截取的2 560×1 600像素的超清序列;ClassB、ClassC和ClassD分别是(1 920×1 080像素,24 f/s)、(832×480像素,30 f/s～60 f/s)和(416×240像素, 30 f/s～60 f/s)的视频序列,视频内容涉及各类日常场景;ClassE主要是(1 280×720像素,60 f/s)的会议视频序列。本文选取了不同分辨率下3组视频序列 Cactus(ClassB,192×1 080像素,50 f/s) 、BQMall(ClassC,832×480像素,60 f/s)、BQSquare (ClassD,416×240像素,60 f/s)的前100帧分别在HM10.0平台上进行验证,量化参数(QP)分别设为22,27,32,37和42。在不同QP值下,当前帧编码单元深度(Current_Cu Depth)与关联帧编码单元深度(Co-located_Cu Depth)分布的平均概率分布如表1所示,其中,β′表示对应的当前编码单元深度。

表1 Current_Cu和Co-located_Cu深度分布概率 %

从表1可以看出,当Co-located_Cu最佳分割深度为Depth=0时,Current_Cu在最终划分深度在Depth=2和Depth=3的概率非常低,仅为6%和3.7%;当Co-located_Cu最佳分割深度为Depth=1时,Current_Cu在最终划分深度在Depth=3尺寸的概率仅为6%;当Co-located_Cu最佳分割深度为Depth=3时,Current_Cu在最终划分深度在Depth=0概率仅为4.6%。实验验证参考帧的编码深度可以作为当前帧编码单元深度决策的重要依据,即当参考帧对应编码单元位于比较平滑区域时(Depth=0和Depth=1),当前编码单元的深度决策可以跳过Depth=2或Depth=3的编码单元的率失真损耗遍历计算;当参考帧对应编码单元位于纹理比较细腻或复杂区域时(Depth=3),当前编码单元的深度决策可以忽略Depth=0的编码单元的率失真损耗遍历计算;当参考帧对应编码单元Depth=2时,说明该编码单元位于过渡区域或边界区域,所以,当前编码单元需要对所有深度信息进行率失真损耗遍历计算。

视频序列除了在时域上存在很强的相关性[12],在空域也存在一定的关联性[13]。这种关联性的拓扑结构如图2所示。

图2 编码单元的时域和空域关联性

本文提出一种基于时域相关性的深度决策优化初步设想,考虑到图像帧可能处在某些临界区域或剧烈变化,本文通过当前编码块相邻已编码区域的深度信息作为辅助参考信息来进一步优化决策算法。空间相关性关系由式(3)得出:

其中,Cu_Split表示关联编码单元深度信息值;Culeft,Cuup,Cul_u分别表示与当前编码单元相邻的左侧、上方和左上方已编码单元的深度值。结合文献[14]方法,3个编码单元的深度权值都设定为1/3。具体的算法流程如图3所示。

图3 深度快速决策算法

算法步骤如下:

步骤1关联帧参考编码单元的深度为0,利用式(3)计算获得Cu_Split的值。若Cu_Split＜2,则跳过深度2和3,只对深度为0和1的编码块进行率失真损耗(RD_Cost)最优迭代计算;否则,对所有深度进行率失真损耗最优迭代计算。

步骤2关联帧参考编码单元的深度为1,利用式(3)计算获得Cu_Split的值。若Cu_Split＜2,则跳过深度3,对深度为0,1和2的编码块进行RD_ Cost最优迭代计算;否则,对所有深度进行RD_Cost最优迭代计算。

步骤3关联帧参考编码单元的深度为3,则跳过深度0,对深度为1,2和3的编码块进行RD_Cost最优迭代计算。

步骤4关联帧参考编码单元的深度为2,则对所有深度进行RD_Cost最优迭代计算。

4 实验结果及分析

为了验证算法的优化性能,本文在HM10.0实验平台上对视频序列 RaceHorse(ClassC,832× 480像素,30 f/s)和 BasketballPass(ClassD,416× 240像素,30 f/s)进行验证,QP量化参数分别设定为:22,27,32,37和42。RaceHorse序列场景较为平滑和稳定,BasketballPass序列场景较为复杂和变化剧烈,2个视频具有很强的代表性,对验证算法性能具有参考价值。通过比较性能指标峰值信噪比的变化(ΔPSNR)、比特率变化率(ΔBitRate)和编码时间变化率(ΔEncTime)来验证本文算法优化效率,具体计算方法如下:

其中,PSNR表示采用本文算法编解码后的视频峰值信噪比;PSNRHM表示采用HM10.0算法编码后的视频峰值信噪比;BitRate表示采用本文算法编码后的视频的平均码率;BitRateHM表示采用HM10.0算法编码后的视频的平均码率;EncTime表示采用本文算法进行视频编码的编码时间;EncTimeHM表示采用HM10.0算法进行视频编码的编码时间。

由表2和表3可见,在相同的QP值下,本文算法对RaceHorse序列的编码性能优于BasketballPass序列。因为RaceHorse序列相对比较平滑和稳定,编码单元的深度值在0和1的概率比较高,而本文算法的性能优化也主要针对这2个深度值,所以编码时间节省相对较多;而BasketballPass序列相对比较复杂和变化剧烈,所以同样的QP值下,节省的编码时间就相对较少。

表2 RaceHorse序列的编码性能

表3 BasketballPass序列的编码性能

QP值是量化过程中的采样步长,QP值越大视频图像的精度就越低。同一个编码单元采用越大的QP值,它的图像纹理也更加趋于平滑。本文算法对平滑区域的编码单元有更好的性能优化。由表2和表3可见,在同一个编码测试序列中,随着QP值的不断增加,本文算法的编码时间节省也越多,验证了本文算法的有效性。

由图4和图5可见,本文算法和HEVC标准算法相比,在相同的图像质量下,经本文算法编码的视频序列仅仅增加了很小的码率,基本没有影响编码性能。

图4 2种算法RaceHorse编码性能对比

图5 2种算法BasketballPass编码性能对比

综合本文算法和HM10.0的算法,本文算法平均减少了30.2%的编码时间,而码率和信噪比波动却很小。尤其是在对RaceHorse序列深度决策优化时,平均编码时间能够减少到34.2%,而平均峰值信噪比仅减少0.032 dB,输出的码率仅0.338%。由此可知,本文算法是一种有效的编码单元深度快速决策算法。

5 结束语

本文利用视频序列在时域和空域的相关性特点,提出一种编码单元深度决策算法。融合关联帧编码单元的深度信息及当前帧相邻编码单元的深度信息,从而优化当前编码单元的最佳深度。实验结果表明,与HM10.0相比,在编码效率几乎没有变化的情况下,编码时间减少30.2%,能有效降低HEVC的编码复杂性。

为了进一步提升HEVC的编码效率,在未来的研究工作中将针对率失真损耗方法进行研究并提出更为高效的编码单元深度分割方法。

[1] 朱秀昌,李 欣,陈 杰.新一代视频编码标准——HEVC[J].南京邮电大学学报:自然科学版,2013, 33(3):1-10.

[2] 沈晓琳.HEVC低复杂度编码优化算法研究[D].杭州:浙江大学,2013.

[3] Wiegand T.Special Section on the Joint Call for Proposals on High Efficiency Video Coding(HEVC)Standardization[J].IEEE Transactions on Circuits and Systems for Video Technology,2010,20(12):1661-1666.

[4] Sullivan G J.Overview of the High Efficiency Video Coding(HEVC)Standard[J].IEEE Transactions on Circuits and Systems for Video Technology,2012, 22(12):1649-1668.

[5] Sanghyo P,Kiho C,Jang E S.CU Depth-based ALF Decision for Fast HEVC Encoding[C]//Proceedings of the 16th IEEE International Symposium on Consumer Electronics.Harrisburg,USA:Consumer Electronics, 2012:1-4.

[6] Leng Jie,Sun Lei,Takeshi I.Content Based Hierarchical Fast Coding Unit Decision Algorithm for HEVC[C]// Proceedings of International Conference on Multimedia and Signal Processing’11.Guilin,China:Multimedia and Signal Processing,2011:56-59.

[7] Guifen T,Goto S.Content Adaptive Prediction Unit Size Decision Algorithm forHEVC IntraCoding[C]// Proceedings of PCS’12.Krakow,Poland:[s.n.],2012:405-408.

[8] Zhao Liang,Zhang Li,Ma Siwei,et al.Fast Mode Decision Algorithm for Intra Prediction in HEVC[C]// Proceedings of VCIP’11.Tainan,China:[s.n.],2011: 1-4.

[9] Silva D T L,Agostini L V,Cruz L A.Fast HEVC Intra Prediction Mode Decision Based on EDGE Direction Information[C]//Proceedings of EUSIPCO’12.Bucharest, Romania:[s.n.],2012:1214-1218.

[10] Jongho K,Yoonsik C,Yong-Goo K.Fast Coding Unit Size Decision Algorithm for Intra Coding in HEVC[C]// Proceedings of ICCE’13.Las Vegas,USA:[s.n.],2013: 627-638.

[11] Shen Liquan,Zhao Yang,Ping An.Fast CU Size Decision and Mode Decision Algorithm for HEVC Intra Coding[J]. IEEE Transactions on Consumer Electronics,2013,59(1): 207-213.

[12] Yongfei Z.Fast Coding Unit Depth Decision Algorithm for Interframe Coding in HEVC[C]//Proceedings of DCC’13.Snowbird,USA:[s.n.],2013:53-62.

[13] 刘西振,杨 静,王 威.基于FPGA的H.264帧内预测实现和优化[J].计算机工程,2012,38(7):257-259,262.

[14] Shen Liquan,Liu Zhi,Zhang Xinpeng,et al.An Effective CU Size Decision Method for HEVC Encoders[J].IEEE Transactions on Multimedia,2013,15(2):465-470.

编辑 刘 冰

A Depth Decision Algorithm of Coding Unit for HEVC

YAO Xiaomin,WANG Wanliang,CEN Yuefeng,WANG Chaochao
(College of Computer Science&Technology,Zhejiang University of Technology,Hangzhou 310023,China)

The emerging High Efficiency Video Coding(HEVC)standard adopts the quadtree-structured coding units, variable size of Coding Unit(CU),35 intra prediction modes,etc.Compared with other standards,HEVC provides higher coding efficiency,leading to higher coding complexity however.In order to reduce computational complexity,it proposes a depth decision algorithm for coding unit in HEVC by using the video temporal and spatial correlation.According to the depth in the previous and neighbor CU,it can pre-determine the candidate CU depth.Experimental results demonstrate that the proposed algorithm saves 30.2%encoding time on average while maintaining almost the same performance as the original HEVC algorithm.

High Efficiency Video Coding(HEVC)standard;Coding Unit(CU);coding complexity;temporal and spatial correlation;depth decision;coding time

1000-3428(2015)01-0240-05

A

TN919.8

10.3969/j.issn.1000-3428.2015.01.045

国家自然科学基金资助项目(61379123);国家“十二五”科技支撑计划基金资助项目(2012BAD10B01)。

姚晓敏(1986-),男,硕士,主研方向:视频编码传输,多媒体技术;王万良,教授、博士生导师;岑跃峰,博士研究生;王超超,硕士研究生。

2014-03-07

2014-04-02 E-mail:yaoxm@zjut.edu.cn

中文引用格式:姚晓敏,王万良,岑跃峰,等.一种面向HEVC的编码单元深度决策算法[J].计算机工程,2015, 41(1):240-244.

英文引用格式:Yao Xiaomin,Wang Wanliang,Cen Yuefeng,et al.A Depth Decision Algorithm of Coding Unit for HEVC[J].Computer Engineering,2015,41(1):240-244.