视频压缩前端去隔行算法研究及系统设计*

何伟，李佳，林英撑，张玲，赵巍，邬丽娜

(重庆大学通信工程学院，重庆400030)

在视频监控系统领域中，系统设备的数字化、网络化和智能化是现代监控系统发展的必然趋势[1]。而新一代视频压缩标准H.264正是顺应该趋势发展而兴起的一种面向网络的视频图像编码与传输技术，它除了可以增强网络适应能力外，还可以大幅度提高压缩效率，能够在相同码率下获得更高的主客观质量[2]。传统的视频采集设备(如模拟摄像机等)，由于采用隔行扫描方式采集视频，使得奇偶场的采集时间存在差异，导致运动对象在视频中出现“鼠齿效应”，这不仅使图像质量降低，也极不利于H.264编码器的码率控制。因此，为了提高编码效率和消除“鼠齿效应”，必须对隔行扫描视频进行去隔行处理，从而使系统在同等带宽下获得更高质量的视频信号，以便进行更加有效的智能视觉分析，达到更好的监控效果。

传统的针对运动物体的补偿算法，虽然能在一定程度上消除“鼠齿效应”，但是静态物体也被模糊化[3]。本文提出的一种改进型的运动自适应视频去隔行算法，能够在保证静态物体清晰度的前提下，更好地达到去隔行效果。以此为核心算法，设计了面向智能监控的视频压缩前端预处理系统。

1 智能视频监控系统架构

视频监控系统主要由视频监控端、主控中心和客户端组成。如图1所示，摄像机采集视频数据后，传输至视频前端预处理器，经过该视频前端的去隔行算法处理后，视频数据转化为逐行模式，进而传输至H.264编码器进行视频压缩编码，使得视频信息转化成适宜网络传输的低速率码流[4]，经由网络传输到主控中心设备，通过解码还原出视频图像，实现监控功能。

作为视频监控系统的前端预处理部分，视频前端预处理器为整个系统图像数据的高质量、远距离、低码流传输起到重要作用。它不仅对摄像头采集的视频数据进行去隔行处理，以获取利于H.264编码器压缩的逐行视频，并且提高了整个网络传输速度，为系统后端模块的顺利工作和运行奠定基础。

2 视频前端预处理器

2.1 视频前端预处理器的结构

本系统采用FPGA作为核心控制器，完成视频采集、去隔行处理、下采样等功能。如图2所示，视频采集模块可支持PAL/NTSC制式的视频输入，用户可根据图像传感器类型进行选择，采集视频格式为YCbCr420。将采集到的数据通过四端口SDRAM控制器存储到片外的SDRAM中，去隔行处理模块则通过对片外SDRAM的访问获取视频数据，进而实现去隔行处理，快速消除“鼠齿效应”，提高了图像质量[5]。将去隔行的视频数据传输至下采样模块，可减少视频数据量，为后续的视频压缩及多路视频复用打下基础。由于系统的去隔行模块中采用了流水线技术，通过将从SDRAM中读取的图像数据缓存到片上存储器中，减少该模块等待读取数据的时间，从而使系统满足实时性要求。

图1 视频监控系统结构图

2.2 自适应视频去隔行算法

传统的去隔行算法，如场内插值法(Bob)、场融合法(Field Blending)等，前者虽然可以有效去隔行，也一定程度消除了图像的“鼠齿效应”，但对于运动图像中具有丰富细节的部分容易出现上下抖动的现象；后者可以明显地去除鼠齿和锯齿，但由于采用相邻两场混合的方法，在一定程度上模糊了图像的细节，而且当画面快速运动时，有时会出现重影现象。

图2 视频前端预处理器结构图

本设计采用的基于运动补偿的自适应视频去隔行处理算法更具优越性，它不仅包含了传统运动自适应算法的运动估计和运动补偿，而且在两者之间添加运动地图去噪部分作为改进的关键，使之不仅能够消除运动物体的“鼠齿效应”，达到去隔行的目的，而且能够准确区分运动区域和非运动区域，从而保持静态物体的清晰度，实现了运动位置和非运动位置的协同处理。

2.2.1 运动估计

运动估计所遵循的准则如公式1所示，Motion为运动估计得到的运动地图。根据该式所述，首先将奇偶场交织后得到当前帧和参考帧，然后将当前帧Fn与参考帧Fn-1中对应位置(x，y)的像素值进行减法运算，所得的差值与运动估计全局阈值T_motion比较。若大于该阈值则将该点视为运动点并将运动地图上对应位置Motion(x，y)的值置1，否则视为非运动点，同时将Motion(x，y)的值赋为0。

2.2.2 运动地图去噪

由于图像相邻位置点之间的运动具有相关性，设计中该环节采用了形态学中的先腐蚀后膨胀的方式，以去除运动地图中存在的噪声。腐蚀就是先根据公式(4)统计以某一像素点(x，y)为中心、宽度为(2×w+1)的窗口内，运动地图Motion中运动点(运动地图中为1的点)的个数N(x，y)。如公式2所示，当N(x，y)大于腐蚀阈值T_erode，则将该点在运动地图中置1，否则清0。通过腐蚀，可将运动地图中非运动点被误判为运动点的噪点滤除，但同时也会滤除运动物体边缘的运动点。所以，需要对腐蚀作用后的运动地图进行膨胀处理。

如公式(3)所示，当运动地图中坐标为(x，y)的值为1时，范围在{[x-w，x+w]，[y-w，y+w]}二维区域内运动地图的点值Motion(x，y)置为1。这样可以对腐蚀过程中滤除掉的边缘运动点进行弥补，从而较为精确地区分运动点与非运动点，为运动补偿奠定基础。

2.2.3 运动补偿

如公式(5)所示，运动补偿是根据去噪后的运动地图，对当前帧中的偶数行（不包含首尾两行）的像素值根据公式(6)进行处理，其余行的像素值不变。

偶数行（不包含首尾两行）的非运动点（运动地图中为0的点）的像素值不变，对运动点（运动地图中为1的点）则进行插值。在对运动点进行插值的过程中，如图3所示，首先需要计算如图所示的①-⑨九个方向对应像素值差值的绝对值，找到最小值所对应的方向后，确定m的值。如公式(7)所示，若最小值为|Fn(x-4，y-1)-Fn(x+4，y+1)|，则其对应的方向为①，m的值为-4。得到m值后，求出对应方向上的两个像素值Fn(x+m，y-1)、Fn(xm，y+1)的平均值作为运动点的插入值(x，y)。

为了避免运动点(x，y)的插入值F′n(x，y)与其邻行对应点像素值Fn(x，y-1)和Fn(x，y+1)差别过大，引起视觉上的跳变，可按照公式(8)修正运动点的插入值。首先将运动点的像素值与其相邻两行对应点的像素值作差，取其绝对值与修正阈值T_revision进行比较，若均大于修正阈值，则将插入值F′n(x，y)修正为Fn(x，y-1)与Fn(x，y+1)的平均值。

由于设计中采用的自适应视频去隔行处理算法在进行运动估计时是必须有一个参考帧的，因此系统采集到的第一帧图像不能使用上述自适应视频去隔行处理算法进行去隔行处理。设计中采用帧内插值法对第一帧图像进行去隔行处理，除第一行和最后一行像素值保持不变外，其余像素点均按公式(9)进行插值。如公式(7)所示，将(x，y)位置的像素值与其邻行对应位置(x，y-1)和(x，y+1)的像素值与插值系数{1/2，1/4，1/4}相乘并求和，得到像素值，将其更新到图像中坐标为(x，y)的位置，达到去隔行的目的。

其中F1(x，y)表示第一帧插值前坐标为(x，y)的像素点的值，表示该点插值后的像素值。

将去隔行前后的football序列作为JM15（H.264标准参考软件）模型的输入，其余输入参数均相同（采用基本档次（baseline profile）快速全搜索模式），得到结果)(6)如表1所示。对比两个结果可以看出，去隔行后的football序列作为JM模型输入时，不仅编码时间缩短，图像质量提高，而且得到的码率（Bit rate）大幅

3 性能分析

图3 插值运算方向图

在VC9.0环境下，编程实现上述改进型的自适应视频去隔行处理算法，将标准序列文件Football.yuv作为去隔行程序的输入，得到去隔行视频。对比去隔行前的图像与去隔行后的图像，可以看到“鼠齿效应”已被消除。

将去隔行前后的football 序列作为JM15 （H.264 标准参考软件） 模型的输入，其余输入参数均相同（ 采用基本档次（baseline profile ） 快速全搜索模式） ， 得到结果如表1 所示。对比两个结果可以看出， 去隔行后的football 序列作为JM 模型输入时，不仅编码时间缩短， 图像质量提高， 而且得到的码率（Bit rate ） 大幅度降低。

表1 去隔行前后football序列JM模型仿真结果对比表

本文提出的改进型自适应视频去隔行处理算法能够对视频进行去隔行处理，并且效果明显。由于算法本身可完全采用加减运算，因此适于FPGA设计实现。对采用该算法进行去隔行处理后的视频进行H.264编码得到的码率与采用原隔行视频作为编码器输入得到的码率相比大大降低，从而减少了后端网络传输所需的带宽。设计中采用该去隔行处理算法作为视频前端预处理器的核心算法，对H.264编码器降低码率方面有极大的帮助，因此将该算法运用在智能监控系统中能够使系统在同等带宽下获得更高质量的视频信号。

[1]黄会雄.一种智能视频监控体系结构设计方案[J].微计算机信息，2007，6-1：115-117.

[2]ITU-T and ISO/IEC JTC1.ITU-T Recommendation H.264-ISO/IEC 14496-10 AVC，Advanced video coding for generic audiovisual services[S].2003.

[3]Gerard de Haan，Erwin B Bellers.Deinterlacing-An Overview[J].Proceedings of the IEEE，1998，86(9)：1840-1857.

[4]毕厚杰.新一代视频压缩编码标准——H.264/AVC[M].北京：人民邮电出版社，2005.

[5]Rob A Beuker，Imran A Shaj.Analysis of interlaced video signal and it’s application[J].IEEE Transactions on Image Processing，1994，3(5)：501-512.