以扫描线为单位的背景提取与更新算法研究

张全法，李宏成，杨海彬，任朝栋

（郑州大学 物理工程学院，郑州450001）

以扫描线为单位的背景提取与更新算法研究

张全法，李宏成，杨海彬，任朝栋

（郑州大学 物理工程学院，郑州450001）

基于背景差分法的视频车辆监控系统实时性与准确性的设计要求，提出了一种新的背景提取与更新算法.该算法以扫描线为单位进行运算处理，简单易行.在背景提取和背景更新阶段，分别利用帧间差分和背景差分检测运动前景，再配合适当的运动区域判定条件，很好地消除了运动前景的影响，提高了准确性.通过将背景更新任务分解到多帧中处理，大大缩短了处理一帧图像的耗时，提高了系统实时性.实践证明该方法可行.

背景提取；背景更新；扫描线；运动检测；任务分解

在基于视频的车辆监控系统中，通常利用背景差分法来检测运动车辆，背景提取是其关键技术［1］.一个优良的背景应该能够根据外界环境的变化实时地更新［2］.在进行系统设计的时候，除了要求背景提取与更新的准确度足够高之外，还要求背景更新的耗时尽量短.因为系统在实际工作过程中，不仅需要进行背景更新，还需要对视频中的每帧图像进行很多环节的实时处理，包括灰度化、平滑滤波、抖动消除、背景差分、图像分割、阴影消除、车辆识别与跟踪、违章判定和交通参数计算等.

目前，国内外常用的背景提取与更新算法及其改进算法主要有多帧图像平均法、连续帧差法、直方图分析法、统计中值法、高斯模型法、IIR滤波法、卡尔曼滤波器法等.这些方法存在着诸如准确性欠佳、受运动前景影响大、占用内存多等缺点.它们的共同缺点是当以像素或块为单位对整幅图像进行处理时，处理一帧图像的耗时太长.本文通过对常用背景提取与更新算法的分类分析，提出了一种新的以扫描线为单位的背景提取与更新算法.

1 算法的提出

1.1 背景提取算法的提出

主要的背景提取算法可以分为2类：

（1）完整提取法，是指通过一次处理提取出完整的背景.此方法也可以分为2类：① 将第一帧图像作为背景的方法，此方法在单高斯模型法等算法中有应用，但是其准确性欠佳，因为第一帧图像通常都是包含前景的［1］；② 通过考察视频中最前面的多帧图像，根据某种规律对背景进行估计，此方法在直方图分析法等算法中有应用，其缺点是所得背景受车流量的影响比较大［3］.

（2）拼凑提取法，是指对于每帧图像仅提取部分像素或图像块作为背景，经过一段时间的拼凑得到完整背景.此方法在连续帧差法等算法中有应用.这类方法需要确定运动区域，若当前帧中非运动区域所对应的背景尚未提取，就提取其数据作为初始背景，反之就更新背景，所以它也属于背景更新算法.其缺点是容易把相邻两帧之间的相似前景交叠区误认为背景［4］.文献［5］通过填充连通区域中的空洞来减小相似前景交叠区的影响，算法复杂性增加了许多，但是效果不太明显.因为前景常常被分割成多个连通区域，甚至出现大面积断续现象（如图1所示），其上难免有地方被误认为背景.图1（a）是一段视频中的第47帧图像，图1（b）和图1（c）分别是监控区域内该帧与上一帧及背景的二值化差分图像.

如果有前景混入背景，在其影响消除之前，将导致交通参数的误算、交通违章的误判和漏判等.其影响又很难通过后续的迭代更新消除，甚至会持续积累［2］.目前，对于静止前景尚没有很好的检测方法.在得到可靠的背景之前，帧间差分法可以较好地检测出运动前景，但是需要更好的方法来消除相似前景交叠区的影响.通过分析图1（b）可知，对于图中的每个白点，其上下左属于前景.于是提出以扫描线为单位，只要其二值化帧间差分图像上存在白点，其上下一定范围内的扫描线皆被看作运动区域，对每帧图像仅提取非运动区域作为背景，经过一段时间的拼凑提取出完整背景.

新算法存在将部分非运动区域判定为运动区域的情况，以致须较长时间的拼凑才能够提取出完整背景.但是，只要参数设置合理，就不会将运动区域判定为非运动区域，将部分非运动区域判定为运动区域，背景提取的准确度将大大提高.

1.2 背景更新算法的提出

主要的背景更新算法分为2类：

（1）盲目更新法，即将增加的所有新的像素给背景而不管它是否属于背景.此方法又可以分为2类：① 非迭代更新法，通过考察当前帧之前的多帧图像，根据某种规律对当前帧的背景进行估计，此方法在多帧图像平均法等算法中均有应用.在实际程序设计中初次选择的即为完整提取法的背景提取算法，其具有占用内存多、速度慢等缺点［4］；② 迭代更新法，通过将上一帧的背景与当前帧进行加权平均，从而对当前帧的背景进行估计.此方法在IIR滤波法等算法中有应用.它无需大的存储空间，但更新效果受限于加权系数，不能有效地滤除运动前景和跟踪环境光的改变［2］.

（2）选择更新法，是指将像素加入背景时根据它是否属于背景而采取不同的措施.如果所选判据不合适，任何误检都将持续影响后续工作［1］.此方法可以分为3类：① 基于概率分布的，根据像素灰度值的历史数据，计算当前帧中像素值的概率，用来决定它是否属于背景，例如混合高斯模型法等；② 通过时域低通滤波将视频中的快速变化过程分离出去，从而预测缓变的背景图像，例如卡尔曼滤波器法等；③ 基于运动检测的，仅将非运动区域加入背景，其又分为3种：方法一，通过背景差分进行运动检测；方法二，通过帧间差分进行运动检测；方法三，结合背景差分与帧间差分进行运动检测.

设计背景更新算法时，考虑到盲目更新法的准确度比较低而不采用，更新法中①、②两种方法因计算太复杂也不采用.比较图1（b）和图1（c）可知，背景差分比帧间差分检测出的前景更加准确和完整.因此，选择更新法中③的各个方法相比较可知：方法一比方法二具有较高的准确度，比方法三具有更快的速度.不过它仍然有可能将部分前景混入背景，速度也不够快，因为它是以像素为单位对整幅图像进行处理的.而以扫描线为单位，只有当某条扫描线的二值化背景差分图像上不存在白点、其上下一定范围内的扫描线上也不存在白点的时候，才将它作为新的背景，且每帧仅更新一条扫描线，通过循环不断地更新背景.

新算法完成一次背景更新需要的时间比较长，但是它大大缩短了处理一帧图像的耗时，将更多的时间留给了其他不能分解到多帧图像之间进行处理的环节.而且，由于其准确度大大提高，在一定程度上弥补了更新速度慢的不足.从另一角度看，一般情况下环境光变化缓慢，按照这样的速度来更新背景是足够的；对于极少数情况（如闪电造成的环境光急剧改变），可以采取不处理对应帧的方法，这样对系统整体性能的影响并不大.

2 算法描述

背景提取与更新算法皆是针对灰度图像进行的.当彩色图像灰度化时，采用文献［6］中的快速算法，灰度化之后进行平滑滤波处理，然后采用文献［7］中的快速算法进行防抖动处理.在系统刚开始运行时，进行背景提取，提取出完整背景之后再进行背景更新及后续处理.背景提取与更新算法描述如下：

2.1 背景提取算法描述

（1）对于第k（k≥2）帧图像，按照下式求其与第k－1帧图像的二值化差分图像：式中：d（x，y）为二值化差分图像上坐标为（x，y）的点的像素值（取值为1，对应白点；取值为0，对应黑点）；fk（x，y）和fk－1（x，y）分别为第k和第k－1帧图像上同一点的灰度值；T为灰度阈值，当某点的灰度变化大于T时认为它属于运动区域，T越小，准确度越高、提取时间越长.

（2）按照下式确定哪些扫描线上存在白点、哪些扫描线上不存在白点

式中：l（y）取值为1、0时分别表示第y条扫描线上存在和不存在白点；W 为每条扫描线上的像素数.

（3）按照从小到大的顺序，根据背景提取的历史数据查找尚未提取背景的扫描线.假设查找到第y0条扫描线时尚未提取背景，按照下式确定其能否提取背景：

式中：y1＝max（0，y0－h），y2＝min（H，y0＋h）；e（y0）取值为1、0时分别表示能和不能提取第y0条扫描线作为背景；h为范围阈值，表示在y0上下多大范围内不存在白点时才能够提取背景，h越大，准确度越高、提取时间越长；H为扫描线的条数.

（4）若e（y0）＝1，则提取第k帧图像上第y0条扫描线作为背景，并修改第y0条扫描线的背景提取历史数据为已经提取，否则不提取也不修改.

（5）若y0＜H，返回步骤（3），以便对每帧图像提取尽量多的扫描线，从而缩短拼凑时间.这样做是允许的，因为此时系统尚未真正开始工作，背景提取环节耗时长一些没有关系.若y0≥H，令k＝k＋1，返回步骤（1），进入下一帧图像的处理，直至提取出完整背景.

2.2 背景更新算法描述

（1）二值化第m帧图像与背景的差分图像.为了在后续环节中能够准确地检测出车辆，在二值化时采用文献［8］中的多阈值图像分割法以消除阴影的影响，

式中：fm（x，y）和b（x，y）分别为第m 帧图像和背景上坐标为（x，y）的点的灰度值；T1、T2为大小和符号皆不相同的2个灰度阈值，并且按照文献［8］中的方法根据环境光的变化进行自适应调整.

（2）根据背景更新历史数据查找最需要更新的扫描线.假设应该从第Y条扫描线开始查找，则利用循环队列从Y处开始查找尚未更新的扫描线，若扫描线皆更新过，清除背景更新历史数据并令Y＝0，以便重新开始逐线更新；若长时间未清除过历史数据，说明出现了车辆停留等现象，将未更新的扫描线上各像素的灰度值乘以比例系数r，之后清除历史数据并令Y＝0（r等于第m帧图像的平均灰度与背景平均灰度之商）.

（3）假设所得扫描线序号为y0，根据式（3）求e（y0），用来确定能否更新背景，所用l（y）根据式（2）求得.

（4）若e（y0）＝1，提取第m帧图像上第y0条扫描线，用以替代背景中的第y0条扫描线，并修改其背景更新历史数据为已经更新，否则不替代也不修改.无论这条扫描线更新与否，令Y＝（y0＋1）%H，使得再次查找的时候从下一条扫描线开始，以防车辆停留处不能更新造成其他地方也不能更新.

（5）令m＝m＋1，返回步骤（1），以便缩短处理时间.如此不停地更新背景，直至系统停止运行.

3 实验结果

实验所用视频图像大小为320×240像素，程序用Visual C＋＋6.0编写，背景提取与更新过程如图2所示.为了减小各种干扰的影响，所有处理皆在监控区域内进行.从第2帧开始提取背景，到第20帧完成背景提取.由图2可以看出，所提取的背景非常准确，不受运动前景的影响.之后进入背景更新，到第815帧时背景更新效果已经很明显，从图上可以看出背景灰度整体上减小了，而且也不受运动前景的影响.

通过对各种测试条件下拍摄的视频片段进行处理，也证明了其可行性.测试条件包括不同的十字或丁字路口与非交叉路口、不同的车道数、全天的不同时段、不同的天气等.

4 结 语

以扫描线为单位的背景提取与更新算法，通过合理地设置参数，能够准确地消除运动前景的影响，提高背景提取与更新算法的准确度，而且该方法具有算法简单、易于实现等优点.特别是通过任务分解将每帧图像的背景更新耗时降到最低，为保证系统的整体实时性作出了重要贡献.该方法已经在设计的视频车辆监控系统中得到了应用，并且已经对该系统进行了全面的现场测试，能够满足对实时性和准确性的设计要求.

［1］ 杨珺，史忠科.基于改进单高斯模型法的交通背景提取［J］.光子学报，2009，38（5）：1293－1296.

［2］ 何云，许建龙，孙树森，等.一种改进的视频监控背景更新算法［J］.浙江理工大学学报，2010，27（4）：585－589.

［3］ 吴亮，马宏兴.交通信息的背景提取技术分析［J］.西安科技大学学报，2010，30（1）：117－122.

［4］ 吴众山，雷蕴奇，吴绿芳，等.一种实用的背景提取与更新算法［J］.厦门大学学报（自然科学版），2008，47（3）：348－352.

［5］ 袁伟才，徐向民.一种有效的动态背景提取及更新方法［J］.计算机工程与应用，2010，46（4）：191－192.

［6］ 张全法，杨海彬，任朝栋，等.彩色图像的快速高保真灰度化方法研究［J］.郑州大学学报（理学版），2011，43（3）：66－69.

［7］ 张全法，任朝栋，李焕，等.视频车辆监控系统图像抖动快速消除算法研究［J］.郑州大学学报（理学版），2011，43（4）：44－47.

［8］ 任朝栋，张全法，李焕，等.快速消除车辆阴影的多阈值图像分割法［J］.应用光学，2010，31（6）：961－964.

Study on New Algorithm for Background Extraction and Updating in Unit of Scan Line

ZHANG Quan－fa，LI Hong－cheng，YANG Hai－bin，REN Chao－dong
（
Zhengzhou University，Zhengzhou 450001，China）

To meet the requirements for real－time and accuracy of a video－based vehicle monitoring system based on background subtraction，a new background extraction and updating algorithm is proposed.In the algorithm，both the extraction and updating in unit of scan line are carried out，which was simply and easy.In the stage of extraction and updating，moving objects by frame difference and background subtraction separately are detected，and influence with appropriate moving region criterions is removed，thus raised the accuracy.Through dividing updating tasks of one frame into several frames，greatly reduced the one frame processing time，thus raised the real－time property of the whole system.Experiments demonstrates that the algorithm is available for practice.

background extraction；background updating；scan line；moving object detection；task dividing

TP391.41

A

10.3969／j.issn.1671－6906.2012.01.012

1671－6906（2012）02－0054－04

2012－02－23

张全法（1966－），男，河南安阳人，副教授，硕士.