结合GPM划分的CIIP改进模式探析

黄 炎

(北方工业大学，北京100144)

0 引言

人类已全面迈入信息化时代，以视频形式传播的信息早已被人们普遍接受，成为当今社会人们获取信息的重要手段。视频编码标准作为全世界数字音视频产业发展的规范，它能够满足当下人们对于视频的各种需求。随着人们对于8 K、高动态范围(High Dynamic Range，HDR)、虚拟现实(Virtual Reality，VR)等各种形式视频的需求提升，给现有的存储设备以及网络带宽带来了巨大的挑战，而对视频进行压缩编码后再传输，可以有效解决当前挑战，并带来可观收益。因此为了应对当前不断增长的视频数据量，提高网络的传输效率，研究高效的视频编码技术手段显得尤为重要。

高效视频编码标准(High Efficiency Video Coding，HEVC)[1]是视频编码发展和压缩技术的重要里程碑，压缩效率比H.264提高了2倍。为了研究HEVC之后的下一代视频编码技术，视频编码专家组(Video Coding Experts Group，VCEG)和运动图像专家组(Moving Picture Experts Group，MPEG)于2015年成立了联合视频探索小组(Joint Video Explore Team，JVET)。在2018年的第10届JVET会议上，新一代视频编码标准正式命名为通用视频编码标准(Versatile Video Coding,VVC)，并且发布了VVC参考模型(VVC Test Model，VTM)。VVC的目标是在HEVC编码标准的基础上，使编码性能提高1倍，即在保持视频图像相同质量的情况下，降低1/2的码率。

VVC的整体编码框架与HEVC相差不大，但改进了其中的帧内预测、帧间预测和环路滤波器等重要环节。在帧间预测环节中，VVC对HEVC的帧间预测技术进行了扩展，新增加了帧间帧内联合预测(Combined Inter and Intra Prediction，CIIP)模式[2]。它为编码器提供了一种新的预测数据构造方式，提高了帧间预测性能。笔者重点针对VVC中的CIIP模式进行研究，从提升CIIP模式预测性能方面进行改进，提升帧间预测效率。

1 CIIP模式研究现状

在HEVC中当前编码块只能进行帧间预测模式或者帧内预测模式，但是在VVC中新引入的CIIP模式，可以对当前编码块分别进行帧间预测与帧内预测。由于CIIP模式的特殊性，其自从被VVC采纳以来便备受关注研究。为了进一步提高CIIP模式的编码性能，研究人员进行了深入研究，提出了许多新的技术，其中对CIIP模式的研究主要体现在以下方面：DO J.等[3]通过当前使用CIIP模式编码块的更多相邻块预测模式，从而推导更准确的权重值；BLASI等[4]提出在CIIP模式中使用三角划分的方式对CIIP模式进行区域划分；SUN Y.C.等[5]提出删除CIIP模式的排序过程并修改CIIP模式中的默认帧内预测模式；CHEN C.C.等[6]进行了多次关于CIIP模式的测试实验，主要测试了对角划分区域中的帧间和帧内预测的最佳组合模式。此外，XU X.等[7]与BROSS B.等[8]还对当前使用帧内运动信息的预测块进行了预测模式的复制，使得预测块同时具有帧内预测和帧间预测的特性。

VVC中新引入的CIIP模式虽然增强了帧间预测性能，但是现有的CIIP模式并不完善，没有考虑到CIIP模式在纹理复杂区域中帧间预测性能较差的问题，为此，笔者将重点针对以上CIIP模式存在的问题开展研究，提高帧间预测性能。

2 VVC中的CIIP模式

CIIP模式即帧间帧内联合预测技术，是帧间预测技术中的一种重要技术。CIIP帧间帧内联合预测模式与其他帧间预测模式最大的区别在于，在对当前编码块进行最终帧间预测值的计算过程中，使用到了当前编码块的帧内预测值。需要注意的是，CIIP模式在帧间预测过程中存在一定的限制条件。只有当前编码块以Merge模式进行帧间预测，并且当前编码块的宽度乘以高度大于64，小于128，整体VVC框架才会发送附加信号，指示当前编码是否应用CIIP模式[9]。CIIP模式示意图如图1所示。

图1 CIIP模式示意图

CIIP模式通过以下流程实现：首先利用Planar，DC，角度预测等传统帧内预测模式获取帧内预测值，记为Pintra，接着利用常规Merge模式中的最优候选MV获取帧间预测值，记为Pinter，最后将Pintra与Pinter通过加权计算得到当前编码块的最终CIIP模式预测值。在目前的VVC版本中，CIIP模式统一采用Planar模式获取当前编码块的帧内预测值，CIIP模式的计算如式(1)：

PCIIP=[(4-ωt)Pinter+ωtPintra+2]≫2

(1)

在CIIP帧间帧内联合预测模式最终的计算公式中，权重值ωt设置为1，2，3，由当前使用CIIP模式编码块的上方相邻块和左方相邻块的帧间预测模式和帧内预测模式确定，权重值确定示意图如图2所示。

图2 CIIP模式权重值确定示意图

图2中，权重值ωt的取值如下：(1)当上方相邻块与左方相邻块均为帧内预测编码时，ωt设置为3；(2)当上方相邻块与左方相邻块其中1个为帧内编码，另外1个为帧间编码时，ωt设置为2；(3)当上方相邻块与左方相邻块均为帧间编码时，ωt设置为1。

3 算法设计

3.1 主要思想

笔者提出的算法主要分为2个部分。

第1部分是获得更准确的CIIP模式帧内预测值。在目前版本的VVC中，CIIP模式都是采用Planar角度预测模式来获取帧内预测值。Planar模式根据周围像素加权计算，其中权重大小与距离有关，因此只适用于纹理简单像素变换缓慢的区域。考虑到当前使用CIIP模式的编码块难免会处于纹理复杂像素分布不均匀的区域，使用Planar模式来预测CIIP模式的帧内预测值会不够准确。因此，算法新设计了帧内预测最可能模式(Most Probable Mode，MPM)列表来提高帧内预测值。

第2部分是结合了几何划分GPM技术对CIIP模式进行区域划分，通过判断当前编码块的周围相邻块帧间帧内预测模式来对当前编码块进行几何划分，划分后的区域分别进行帧间预测与帧内预测，得到新预测值，新得到的帧间预测值与帧内预测值再通过新设计的CIIP模式整数融合矩阵，计算得到最终的CIIP预测值。

3.2 重构CIIP模式帧内预测值

在当前版本的VVC中，CIIP模式获取帧内预测值的方式只采用Planar模式，Planar模式仅适用于当前编码块处于像素渐变的情况，即适用于像素值缓慢变换的区域，而在VVC的帧间预测过程中，当前编码块难免会处于纹理复杂、像素变换不均匀的情况下，所以在CIIP模式中，只用Planar模式预测当前块的帧内预测值难免会显得精准性不够，因此笔者提出利用帧内角度预测MPM列表的方式来获得更加精准的帧内预测值。如果在CIIP模式的帧内预测值获取过程中，使用原本MPM列表构建的方式，那么CIIP模式的编码复杂度将会大大提高，所以本文算法提出了一种改进的MPM列表构建方式，重新获取CIIP模式中的帧内预测值，改进的MPM列表构建方式如下：

(1)新构建的MPM列表长度设置为6，与普通帧内预测过程中构建的MPM列表长度相同。

(2)新构建的MPM列表的候选考虑当前编码块的运动信息与上方块和左方块的运动信息，候选列表依次填入：当前编码块的Planar模式、当前编码块的DC模式、上方块的帧内预测角度模式、左方块的帧内预测角度模式、当前编码块的垂直(Vertical)模式以及当前编码块的水平(Horizontal)模式这6种模式。通过计算候选MPM列表中这几种模式的绝对误差和(Sum of Absolute Difference,SAD)，选取其中SAD代价值最小的作为当前CIIP帧间帧内联合预测模式下的CU最佳帧内预测模式。CIIP帧间帧内联合预测模式中改进的MPM列表候选示意图如图3所示。

3.3 结合GPM划分CIIP模式

通过对当前编码块进行区域划分，使CIIP模式获取最终预测值的方式更加灵活。同时区域划分构造了一种新的高效预测数据表达方式，不同于原本CIIP模式获取编码块整个区域的帧间预测值与帧内预测值，区域划分获取编码块不同分区的帧间预测值与帧内预测值，利用分区的方式能够更好地将适用于帧间预测模式与帧内预测模式的编码块信息区分出来，便于CIIP模式提取纹理复杂区域中编码块信息，并且区域划分后的编码块信息具有良好的可靠性与独立性，计算的帧内预测值与帧间预测值更加准确。

本文算法综合考虑了VVC中各种区域的划分方式，决定采用GPM划分的方式来对CIIP模式进行区域划分，因为GPM划分对比其他划分的方式来说，具有精度高、划分方式多样、计算复杂度低的优势[10]。精度高体现在GPM模式多应用于对图像边缘轮廓的帧间预测的过程中，而图像边缘轮廓通常纹理复杂，所以需要高精度的预测模式才能获得准确的预测值；划分方式多样体现在GPM具有64种划分方式，其中划分方式由角度参数φ和偏移参数ρ决定；计算复杂度低体现在GPM划分之后的计算是通过混合融合矩阵计算，其矩阵推导的计算复杂度较低，在解码器端可以动态生成。

编码块在使用GPM划分后，每个区域中都包含着单独的运动信息、运动矢量和参考索引，这保证了每个区域的编码块与传统双向预测方式相同，因此在CIIP模式中引入GPM划分具有很好的兼容性，对CIIP模式的帧间预测流程不会造成太大影响。结合GPM划分的CIIP改进模式区域划分方式如图4所示。

(a)A1与B1均采用帧间预测模式 (b)A1与B1均采用帧内预测模式

划分方式依据帧间预测过程中，相邻块与当前编码块的相关性高的特点进行划分。根据当前编码块的左方块A1与上方块B1的预测模式，决定当前编码块的具体划分方式，具体划分方式如下：

(1)当左方块A1与上方块B1都采用帧间预测模式时，采用的划分方式如图4(a)所示；

(2)当左方块A1与上方块B1都采用帧内预测模式时，采用的划分方式如图4(b)所示；

(3)当左方块A1采用帧内预测模式，上方块B1采用帧间预测模式时，采用如图4(c)所示；

(4)当左方块A1采用帧间预测模式，上方块B1采用帧内预测模式时，采用如图4(d)所示。

在使用GPM模式时，通过几何定位的直线将CU划分为2个部分，分割线的位置从数学上是根据特定分区的角度参数φ和偏移参数ρ得出的，如图5所示。其中在VVC标准中，GPM模式的角度参数φ有24种类型，由360°不等间隔的量化得到，如图5(a)所示；每种角度下的偏移参数ρ有4种类型，分别为h/8，h/4，3h/8，h/2，如图5(b)所示。因此GPM模式总共可以组合出64种不同的划分模式，每种划分模式下对应的角度参数φ和偏移参数ρ不同。

(a)角度参数 (b)偏移参数图5 GPM模式划分的角度位移参数

因为GPM划分方式具有多样性，所以在使用GPM划分对CIIP模式进行子划分时，需要考虑当前编码块的GPM划分方式是否为最优划分，因此根据相邻块与当前编码块的相关性高的原理，通过比较图4中的A1与B1块的预测模式来对GPM进行划分，具体的划分方式如下：

(1)对于左方块A1与上方块B1都采用帧间预测模式或者帧内预测模式时，采用角度参数φ为27，29，30，31此4种划分方式，偏移参数ρ为h/8，h/4，3h/8这3种情况；

(2)对于左方块A1与上方块B1分别采用帧间预测模式或者帧内预测模式时采用角度参数φ为17，18，19，21此4种划分方式，偏移参数ρ为h/8，h/4，3h/8这3种情况。

综合统计以上所有GPM划分模式情况后，通过比较在不同角度参数φ与偏移参数ρ下每种划分模式在帧间预测情况下的Rd-cost代价值，选择其中代价值最小的作为当前结合GPM矩形划分下的CIIP模式最佳区域划分方式。

3.4 帧间帧内预测值融合计算

在对当前使用了CIIP模式的编码块进行GPM模式区域划分之后，当前编码块被划分为2个区域。依据当前编码块的上方块与左方块的预测模式，分别对不同的区域进行帧间预测值与帧内预测值的计算。其中帧内预测值的计算采用在CIIP模式中设计的新MPM列表方式来获取，帧间预测值的计算采用常规Merge模式中的最优候选MV获取。得到的帧内预测值与帧间预测值再依据整数融合矩阵进行计算。新设计的CIIP模式的整数融合矩阵计算方法理论来源于GPM模式原本的整数融合矩阵计算方法。设计的CIIP模式计算公式如式(2)和式(3)：

PCIIP=WintraPintra+WinterPinter

(2)

Wintra+Winter=8Jw,h

(3)

式(2)和式(3)中，PCIIP是CIIP模式的最终预测值；Pintra是新获取的帧内预测值；Pinter是新获取的帧间预测值；Wintra和Winter是设计的帧内、帧间权重值整数融合矩阵；Jw,h是w×h的全1矩阵，w表示宽度，h表示高度。

最终预测值通过帧内权重值整数融合矩阵Wintra与帧间权重值整数融合矩阵Winter的边缘融合计算得到，同时依据GPM划分的整数融合矩阵基本原理，将Wintra和Winter的权重值范围设计在(0,8)，整数融合矩阵的权重值取决于当前块中CU与几何定位的分割线之间的位移。1个帧内权重值整数融合矩阵Wintra与帧间权重值整数融合矩阵Winter的混合矩阵示例图如图6所示。

(a)帧内权重值混合矩阵 (b)帧间权重值混合矩阵图6 新CIIP模式的混合矩阵

对于当前块中CU划分边缘的各个位置，其混合权重依据各CU位置与几何定位的分割线之间的距离计算得出。位置(x,y)到几何定位的分割线的距离计算公式如下：

d(x,y)=(2x+1-w)cosφi+

(2y+1-h)sinφi-ρj

(4)

式(4)中，φi与ρj的含义参见图7，ρj还需要依据整数融合矩阵的特性确定符号和取值，计算公式如下：

ρj=ρx,jcosφi+ρy,jsinφi

(5)

(6)

(7)

式(5)～式(7)中，i，j分别表示角度索引与偏移索引，根据编码器传输的GPM分割线信号索引确定；ρx,j与ρy,j表示当前编码块位置与几何定位分割线距离参数，符号取决于角度索引i，取值通过整数融合矩阵的宽度与高度比较确定。使用GPM划分后，各区域的权重计算公式如下：

(8)

Winter(x,y)=1-Wintra(x,y)

(9)

式(8)中，Clip3表示权重值的取值范围在(0,8)，并且取其中的绝对偏移量；WIdxL表示当前编码块的索引位置，取决于编码器传输的角度索引i。

权重Wintra计算过程的1个示例图如图7所示。图7的小方块代表当前编码块最小的编码单元。

图7 权重Wintra示例图

4 实验分析与讨论

为验证本文算法，将本文算法合并到测试模型VTM 8.0中进行测试。实验的初始QP分别为22，27，32，37，使用HEVC提供的标准视频序列作为测试序列，序列颜色格式设置为4∶2∶0，涉及了不同的场景和不同的分辨率。为验证本文算法的性能，使用JVET发布的Excel表，计算BD-rate来综合表示图像质量与码率的情况，使用Y，U，V这3种分量的BD-rate增量以及编码时间EncT作为评价指标。其中，BD-rate表示图像质量与码率的情况；?BR为正，表示性能损失；?BR为负，表示性能提升；编码时间EncT超过100%，表示编码时间增加；编码时间EncT低于100%，表示编码时间节省。实验测试了随机访问RA模式以及低延迟LDB模式下的算法性能，测试的结果如表1与表2所示。

表1 RA模式下本文算法与VTM8.0的测试结果比较

表2 LDB模式下本文算法与VTM8.0的测试结果比较

表2(续)

实验结果表明：通过结合GPM划分的CIIP改进模式，可以增强CIIP模式的帧间预测性能，其中在随机访问RA模式下Y方向上分量的BD-rate下降平均可以达到0.12%，最多可以下降0.31%。U，V方向上分量的BD-rate基本不变，而整体的编码时间仅增加了5%左右。在低延迟模式LDB下，Y方向上分量的BD-rate下降平均0.08%，最多可以下降0.22%。U，V方向上分量的BD-rate基本不变，整体的编码时间同样上升了5%左右。

5 结论

为了提高CIIP模式的预测性能，笔者提出了一种结合GPM划分的CIIP改进模式。通过对CIIP模式的流程分析，发现当编码块的纹理复杂度较高时，CIIP模式中的帧内预测效率会明显降低。笔者设计了改进的帧内预测MPM列表，以改善纹理复杂的区域中CIIP模式的帧内预测效果。同时，采用GPM划分方式对当前编码块进行区域划分，对划分后的区域分别进行帧间预测与帧内预测，通过新设计的整数融合矩阵计算最终的CIIP预测值。实验结果表明：与参考模型VTM8.0相比，本文算法Y分量的BD-rate平均降低了0.12%，U，V分量的BD-rate基本不变，整体编码时间略微有所上升。

笔者提出的结合GPM划分的CIIP改进模式研究仍然有一定的局限性，虽然成功地提高了CIIP模式的预测性能，但是却增加了帧间预测过程中的计算复杂度，并且对于CIIP模式的预测性能提升也还存在着进步空间。