基于多点对参考模型的车辆阴影消除*

戚其丰 吴忻生 邓军

(1.华南理工大学自动化科学与工程学院，广东广州510640;2.华南理工大学精密电子制造装备教育部工程研究中心，广东广州510640)

在车辆监控、安防监控、自主导航、人体跟踪和三维物体辨识等机器视觉应用中，运动对象的分割是一个非常重要的问题.但是在真实环境下，目前主流的运动对象分割算法较难消除运动阴影对于分割的影响.比如在车辆监控系统中，由于阴影的影响，即使运用车辆的大小和形状信息作为限制条件，还是会将运动的阴影误分割为车辆.所以一个有效的阴影消除方法对于视频监控系统和图像处理系统都具有重要的意义.

阴影是由环境中光照条件的变化引起的，一般根据其是否运动可分为固定的阴影(如路边的绿化带投射到路面的阴影)和运动的阴影(如行驶中的车辆在路面的投影).固定的阴影可以通过背景更新消除［1-6］，而运动的阴影难以通过背景更新消除，因为车和运动阴影具有相同的运动特征.本质上，消除阴影就需要找到能够描述阴影的特征.运动阴影的消除方法一般是从特征信息或特征模型这两方面着手，可分为几何模型法、颜色模型法和统计模型法.几何模型法是以摄像机、环境和对象的相对几何关系来分割运动阴影.Hsieh等［7-8］提出了基于直方图的方法，将视频图像中的道路进行分割，运用基于线模式的阴影模型消除车辆的阴影.Yoneyama等［9］提出了二维车辆/阴影模型来去除阴影.基于几何模型的阴影分割方法非常依赖对象和环境的几何关系，当几何关系改变时，这些方法随之失效.颜色模型法试图通过阴影点的颜色改变找到光照不变的颜色特征［10-11］.Salvador等［12］提出了归一化的 RGB 颜色空间，并结合阴影的几何属性分割视频中的阴影.Siala等［13］采用对角线模型，在RGB颜色空间中描述阴影的颜色畸变，并且基于颜色比率运用支持向量域描述算法检测运动阴影.Nadimi等［14］引入了一种物理方法在室外环境中检测运动阴影.统计模型法则运用统计理论概率的方法进行阴影的分割［15］.Wang等［16］利用背景和阴影的边界信息建立了自适应更新的高斯分布模型，通过贝叶斯理论分割阴影点.文献［17］提出辨识阴影的分布模型算法，建立了混合高斯模型来检测阴影.Mikic等［18］运用最大后验概率的方法，将像素点区分为阴影、前景和背景，结合空间约束和颜色信息提高分割的准确率.

以上方法在某些特定情况下非常有效，但存在一定的局限性.如几何模型法非常依赖于几何关系，如果场景发生变化，几何关系随之改变.统计模型法的计算量很大.颜色模型法在一般情况下是有效的，要提高这类方法的准确性必须进行相应的改进.文中引入文献［10］提出的前景对象、背景和阴影间颜色的关系，以背景相减［19］为基础，通过离线训练多点对参考模型(MPPR)［20］，在 HSL色彩空间中运用图像全局域上的信息建立多点对参考模型，来对车辆阴影进行消除.

1 阴影消除算法

在视频图像中直接背景相减是最为有效的前景分割方法.这种方法虽然不能将前景对象准确地分割，但是计算量小(只是对像素值进行加减)，运算速度快，能够去除绝大部分背景像素，提取出感兴趣区域.文中采用选择性背景更新方法［19］对视频图像进行预处理，提取感兴趣区域得到的粗分割图如图1(b)所示.再对粗分割图进一步进行细分割，就是文中的重点——运动阴影的消除.

图1 用文献［19］的方法处理图像的结果Fig.1 Image processing results using the method proposed in Reference［19］

文中方法利用HSL颜色空间中前景对象、背景和阴影之间的属性［10］进行运动阴影的消除.前景对象一般与背景和阴影的色度差异较大，而阴影与背景路面的色度差异小，阴影的亮度肯定比该点背景路面的小.利用该属性对阴影进行分割，需要准确地获得当前点P对应的背景路面点B.对此，文中运用多点对参考模型进行处理，其基本思想是，虽然不能直接获取当前点P对应的准确背景点B，但是可在整张图像中寻找到N个与B点形成稳定关系的参考点Q来代替.为寻找这些参考点，可以建立一个各种光照环境下的背景图像集，通过离线训练的方法，为整张图像所有像素点建立一个稳定的不受环境变化影响的参考点集.参考点Q的选择原则为:当前点P与其对应的参考点Q在HSL色彩空间中的颜色向量空间距离最小.建立参考点集后，再利用HSL颜色空间中前景点、背景点和阴影点之间的相互关系，区分当前点P是前景还是阴影.图2为完整的车辆阴影消除算法的流程，其中点线框表示多点对参考模型的离线训练过程，虚线框和实线框为在线阴影消除过程.实线框中的在线阴影去除过程用文献［19］的方法完成.文中提出的阴影消除方法是在文献［20］提出的MPPR的基础上建立的，进行了如下3点的改进:(1)文献［20］中的MPPR是基于灰度图建立的，只能作为单纯的背景消除方法，而文中通过引入HSL空间中前景、阴影和背景之间的颜色关系，不但可以消除背景而且还能消除阴影;(2)运用图4中的道路模板离线训练多点对参考模型，剔除了不必要的点对搜索，提高了离线训练的效率;(3)引入文献［19］中的感兴趣区域提取方法，极大地减少了在线分割点的数量，提高了在线分割方法的效率.下面将详述多点对参考模型的建立及阴影消除算法.

图2 车辆阴影消除算法的流程图Fig.2 Fowchart of vehicle shadow elimination algorithm

1.1 点对模型

在HSL空间中，给定图像I，其大小为U×V，点P(x，y)为目标点，点Q(i，j)为参考点，P(x，y)，Q(i，j)∈I(U×V)且x≠i，y≠j.若P(x，y)和Q(i，j)存在比较稳定的关系，则认为Q(i，j)是P(x，y)的稳定参考点，这两个点形成一个点对.为了使这些点对能够得到各种环境下的稳定关系，必须在给定的训练图像集Ξ={I1，I2，…，IT}中获取一个参考点对集.文中将每一个目标点P在集Ξ中找到的N个稳定参考点Qn(n=1，2，…，N)构成一个参考点集，这一过程就是对该点建立多点对参考模型.

在HSL颜色空间，多点对参考模型中目标点与其参考点必须满足色度差异最小，而亮度差异必须小于给定阈值wg，如式(1)所示.

式中，H(*)和L(*)分别表示像素点的色度和亮度，eg是一个较小的常数.

运用式(1)选择参考点时必须注意如下3个问题:(1)阈值wg的选择直接影响MPPR模型对噪声的抗干扰能力，必须要适当;(2)Qn必须满足一定的统计学要求，在绝大部分训练图片中必须比目标点P的亮度差异大于wg个单位;(3)从图像的开始点一直到边界每一个目标点都必须从多个方向搜索参考点，在多数图像中，如果目标点与参考点的色度差异小于eg，0≤L(P(x，y)) －L(Qn(i，j))≤wg时定义MPPR(P，Qn)=1，－wg≤L(P(x，y)) －L(Qn(i，j)) ＜0时定义MPPR(P，Qn)=－1.所有目标点对应的参考点组成了正负两个符号集.

1.2 点对模型的属性分析

在式(1)中给定了点对的选择要求，但并未限制参考点的位置，即参考点不一定要在目标点的邻域范围内，可在图像的全局域中选择满足式(1)的参考点.这解决了如下问题:大多数图像处理过程中，空间约束只限定在目标点的邻域范围内，只运用了局部的空间约束关系，致使分割不够准确.文中方法把这种空间约束扩展到图像全局域，使其非常适合监控系统中的对象分割，例如，在车辆监控系统中，运动阴影中的目标点可以通过参考未被车辆或阴影遮挡的路面中的参考点进行比对分割.

单个目标点P如果与其候选参考点Qn的色度差异小于eg，那么Qn就具备成为P的背景参考点的资格.如果P与Qn的亮度差异小于wg，则认为Qn是P的参考点.即在任何图像中，即使是在光照发生变化的环境下，MPPR(P，Qn)符号相同的概率都非常高.换言之，如果MPPR(P，Qn)的差异符号没有改变，表明图像中没有检测到前景运动物体，点P是背景像素点;如果MPPR(P，Qn)的差异符号发生了变化，则点P为阴影像素点.

1.3 多点对参考模型的建立

MPPR模型的建立主要是确定参考点和目标点的亮度差异阈值wg，因为这个差异直接影响MPPR模型对于噪声的鲁棒性.如果目标点与参考点的亮度差异过小，则MPPR模型对于噪声过于敏感;反之，差异过大，MPPR模型就会迟钝.所以这个模型既不能过于敏感又不能迟钝.

MPPR模型的建立分4大部分:

1)搜索候选索引点.假设给定点满足式(1)则为候选参考点.给定M(M＞N)个候选参考点QM(1≤n≤M).此时正的候选参考点集Ω+(P)和负的候选参考点集Ω－(P)分别定义如下:

在式(3)和(4)中，阈值wp(0.5＜wp＜1.0)为点对在给定图像集中的最小比例，概率(P，Q)和表示从图像中估计得到的满足灰度要求的点对的数量，定义如下:Φ表示满足函数f(x)的x的总数，Lt(*)为在第t帧训练图像中点的亮度，T表示训练图像的总数.

2)计算亮度均值.目标点的亮度均值定义为其中P∈Γ，Γ为点P的邻域.每一个候选参考点Qm的亮度均值都必须满足Qm∈Ω+(P)或Qm∈Ω－(P).

3)搜索参考点.如果Q1、Q2为两个点的采样像素点，当且仅当

时定义Q1＜Q2.按照这样的大小关系存储到Ω+(P)或者Ω－(P)这两个候选参考点集中.对于每个给定的目标点P∈Γ，文中都能给出正负参考点集 ref+(P)和 ref－(P)∈Γ，其中

ref+(P):={在集Ω+(P)中均匀分布于整个

ref－(P):={在集Ω－(P)中均匀分布于整个

且 ref+(P)∪ref－(P)=ref(P).

4)创建MPPR模型.记录P与Qn之间灰度差异的符号为

整个标准的建模过程可由算法1的伪代码表述.通过算法的离线训练可以得到MPPR模型，具体步骤如下.

Input:T帧训练图片(图片帧由It表示);阈值eg、wg、wp.

Output:目标点P的正负参考点集ref+、ref－.

for每一个目标点Pdo

初始化ref+(P)←∅;ref－(P)←∅;

由式(3)、(4)分别搜索候选参考点集Ω+(P)和Ω－(P);

分别计算目标点与候选参考点集Ω+(P)和Ω－(P)每一个元素的均值亮度差异:

按照式(7)对Ω+(P)和Ω－(P)进行排序.

选择候选参考点集中均匀分布于路面的参考点建立ref+和 ref－;end

return ref+，ref－.

图3所示是一个目标点P对应的参考点的确切分布的例子，其中选择N=16.

图3 目标点P对应的16个参考点Fig.3 Sixteen reference points corresponding to target point P

1.4 阴影分割

前景分割问题可以转化为二值分类问题.在运用固定摄像头的监控系统中，可以通过对视频图像中的每一个像素分配不同的标号实现前景对象的分割.文中算法的处理对象是由文献［19］中的方法进行处理后得到的感兴趣区域，如图1(b)所示.在每个感兴趣区域中可能存在车辆、路面及运动阴影.在给定时刻t，图像It中包含k个感兴趣区域块的集合{Ψ1(It)，Ψ2(It)，…，Ψk(It)}，只要对每一个Ψi(It)中的每一个像素进行标号的分配，就完成了前景对象的分割.文中提出的分割算法具体如下:

1)以给定的Ψi(It)中的每一个像素作为目标点，在当前帧中按照ref+、ref－找到其参考点的像素值.按照式(2)，判断该像素点是否为前景对象(车辆).如果满足式(2)，则认为该像素点为前景.

2)对在感兴趣区域块Ψi(It)中未通过步骤1)的目标点P及其参考点Qn(Qn∈ref+(P)或ref－(P))，比较它们之间的亮度大小得到符号集:

然后通过对比X(P，Qn)和MPPR(P，Qn)中的符号，可以得到正确点对数量的概率:

给定阈值wh，通过式(12)、(13)计算得到正的正确点对数量的概率σ+(P)和负的正确点对数量的概率σ－(P)，若分别满足σ+(P) ＞wh，σ－(P) ＞wh，则认为该目标点满足设定的双边置信准则且该点分割为背景点.

3)由前面两个步骤，在块Ψi(It)中分割出了前景和未分割完全的背景，剩余的目标点则为需要去除的运动阴影.

分割算法中需要注意一个问题:在参考点集中，有一些点被前景或者是阴影遮挡，如果还用这些参考点进行分割，对分割结果的影响会很大.文中的解决方法是利用图1(b)中的粗分割图为模板对参考点集进行滤波.如果参考点对应的模板位置为0，则保留该参考点;反之，如果对应位置为255，则去除该参考点.这种方法对于分割的准确性影响不大，因为文中的方法是逐点进行分割，即使有些分离点被误分割，也不会影响前景对象的完整性.详细的分割算法如下.

Input:感兴趣块集{Ψ1(It)，Ψ2(It)，…，Ψk(It)};阈值wh;正负参考点集 ref+、ref－;

MPPR模型.

Output:前景对象.

for Ψi(It)中每个目标点Pdo

初始化:正确率σ+(P)=0，σ－(P)=0;参考点滤波模板

if目标点与其参考点满足式(7)和(8)

then点P为前景点

else

通过式(12)和(13)计算σ+(P)和σ－(P)

Ifσ+(P)＞wh且σ－(P)＞wh

then点P为背景

else

点P为阴影点

在块Ψi(It)中去除阴影点和背景点得到前景对象return

1.5 文中方法的性能分析

文中方法通过离线训练与在线分割相结合的方式去除运动阴影的影响.多点对参考模型的建立运用了离线训练的方法，这种方法不会占用在线分割的时间，且增加的计算量不会影响整个方法的分割速度.文中方法的在线分割部分只进行了符号集的比较就可以分割出阴影，大幅度提高了方法的运行速度.光照环境变化时，单点的亮度值会发生很大的变化;文中方法则利用了目标点与参考点之间的亮度差异，这种差异对于光照变化有极强的鲁棒性.所以只要MPPR模型训练完成，在线分割时，在大多数光照环境下，都能保证分割的准确性.在室外环境下，镜头发生轻微的晃动或者背景图像包含运动的背景对象(如摇动的树叶)，会使前景对象的分割产生较大的误差.文中方法运用了点对模型，即使参考点正好在运动背景对象上，对于分割也不会造成太大的影响.原因有两个:(1)由于像素点P与其邻域所具有的属性相近，所以即使发生比较小的位置偏差，像素点的性质差异也不会太大;(2)由于方法中选择的是参考点集，具有较高的容错性，即使个别参考点选择有误，其对最终分割结果的影响也很小.

文中方法的提速可分为离线部分的提速和在线部分的提速.离线训练提速是指:寻找参考点时不是对整张图像进行搜索，而是利用如图4所示的道路模板，通过这一模板提取出如图5所示的路面;这种方法极大地缩小了参考点的搜索区域，提高了离线训练方法的效率.在线分割提速是指:在图1中通过文献［19］中的背景相减方法，已经去除了绝大部分的路面像素，粗分割得到了感兴趣块，所以在运用MPPR模型对感兴趣块消除运动阴影时，必须处理的像素点已经极大地减少了.

图4 道路模板Fig.4 Road template

图5 运用图4模板处理得到的路面图Fig.5 Road images obtained by using the road template shown in Fig.4

2 实验结果

文中算法用C语言实现，在Pentium 2.6内存为1GB的PC机上运行.在离线训练和在线阴影消除过程中，通过对图像库Ξ的分析及实验调试，参数eg、wg、wp和wh分别设定为 5、18、0.89 和 0.32.用在4种典型的室外环境下采集的视频图像检验算法，如图6(a)所示，以左至右依次为高速公路1、镜头出现晃动的高速公路、停车场入口和高速公路2.高速公路1图像中具有非常强烈的运动阴影;镜头中出现晃动的高速公路，可以测试文中方法对于运动背景的鲁棒性;停车场入口是一种环境变化剧烈的特殊情况;高速公路2运动阴影比较小，但是车型比较复杂.在这4种环境下比较文中提出的方法与其它3种最新的阴影消除方法.3种最新的阴影消除方法分别为:(1)文献［11］中提出的运用比率边界(RE)检测运动阴影的方法;(2)Nicolas等［15］提出的混合高斯阴影模型(GMSM);(3)文献［10］中提出的运用色度、亮度和局部灰度比率构建阴影检测器的方法.结果如图6所示.

图6 不同方法的阴影检测结果Fig.6 Shadow detection results obtained by different methods

由图6可知，GMSM方法易把前景对象误分割为背景，将阴影误分割为前景.特别是图6(b)所示GMSM对停车场入口的检测结果，车辆很大区域被误分割了，而且还留下了一块比较大的阴影区域.RE方法和文献［10］中方法的阴影消除总体效果比GMSM方法好，但是出现了将背景中晃动背景误分割为前景的情况，特别是RE方法对于高速公路2的检测.文中提出的方法在阴影的消除及克服运动背景的影响方面都具有较为优异的性能;不管阴影的强烈与否，阴影消除的效果均较好;特别是对于环境光照剧烈变化的情况，如图6中的停车场入口，能够准确地消除运动阴影的影响，且尽可能少地将前景对象误分割为背景.

3 结语

文中提出了基于MPPR模型的阴影消除方法，通过利用点对模型建立点对的稳定关系，充分利用图像的全局信息，克服了背景像素值的不准确，对于复杂环境下的运动阴影消除具有较好的效果.文中方法能够有效地抑制运动背景或晃动镜头对前景分割的影响;通过离线学习建立MPPR模型和与在线消除运动阴影方法的结合，既不会增加阴影消除步骤的计算量，又能极大地提高阴影消除能力;通过引入背景模板减小了离线和在线过程的计算量，提高了效率.综上所述，文中方法对于复杂环境下的光照变化、运动背景和运动阴影具有较强的抑制作用.文中方法虽然能够消除运动阴影，但未解决车辆遮挡的分割问题.在出现遮挡的环境下准确地分割出车辆仍是一个有挑战性的问题.同时，进一步优化算法提高效率，将算法移植到嵌入式平台并测定其实时性，也将是下一步研究的主要内容.

［1］Kilger M.A shadow handler in a video based real time traffic monitoring system［C］∥IEEE Workshop Applications of Computer Vision.Palm Spring:IEEE，1992:11-18.

［2］Koller D，Weber J，Huang T，et al.Towards robust automatic traffic scene analysis in real-time［C］∥Proceedings of International Conference on Pattern Recognition.Lake Buena Vista:IEEE，1994:126-131.

［3］Gupte S，Masoud O，Martin R F K，et al.Detection and classification of vehicles［J］.IEEE Transactions on Intelligent Transportation Systems，2002，3(1):37-47.

［4］Wren C，Azarbayejani A，Darrell T，et al.Pfinder:realtime tracking of the human body［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

［5］Stauffer C，Grimson W E L.Adaptive background mixture model for real-time tracking［C］∥Proceedings of IEEE Conference on Vision and Pattern Collins，Computer Recognition.Fort Collins:IEEE，1999:246-252.

［6］Stauffer C，Grimson W E L.Learning patterns activity using real time transactions pattern and machine tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):747-757.

［7］Hsieh J W，Yu S H，Chen Y S，et al.A shadow elimination method for vehicle analysis［C］∥Proceedings of the 17th International Conference on Pattern Recognition.Cambridge:［s.n.］，2004:372-375.

［8］Hsieh J W，Yu S H，Chen Y S，et al.Automatic traffic surveillance system for vehicle tracking and classification［J］.IEEE Transactions on Intelligent Transportation Systems，2006，7(2):175-187.

［9］Yoneyama A，Yeh C H，Kuo C C.Robust vehicle and traffic information extraction for highway surveillance［J］.EURASIP Journal on Applied Signal Processing，2005，2005(14):2305-2321.

［10］Choi J M，Yoo Y J，Choi J Y.Adaptive estimator for removing shadow of moving object［J］.Computer Vision and Image Understanding，2010，114(9):1017-1029.

［11］Zhang W，Fang X Z，Yang X K，et al.Moving cast shadows detection using ratio edge［J］.IEEE Transactions on Multimedia，2007，9(6):1202-1214.

［12］Salvador E，Cavallaro A，Ebrahimi T.Cast shadow segmentation using invariant color features［J］.Computer Vision and Image Understanding，2004，95(2):238-259.

［13］Siala K，Chakchouk M，Chaieb F，et al.Moving shadow detection with support vector domain description in the color ratios space［C］∥Proceedings of the 17th International Conference on Pattern Recognition.Cambridge:［s.n.］，2004:384-387.

［14］Nadimi S，Bhanu B.Physical models for moving shadow and object detection in video［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(8):1079-1087.

［15］Nicolas M B，Andre Z.Learning and removing cast shadows through a multidistribution approach ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(7):1133-1146.

［16］Wang Y，Tan T，Loe K F.A probabilistic method for foreground and shadow segmentation［C］∥International Conferenceon ImageProcessing.Barcelona:IEEE，2003:937-940.

［17］Nicolas M B，Andre Z.Moving cast shadow detection from a Gaussian mixture shadow model［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego:IEEE，2005:643-648.

［18］Mikic I，Cosman P，Kogut G，et al.Moving shadow and object detection in traffic scenes［C］∥International Conference on Pattern Recognition，2000.Barcelona:IEEE，2000:321-324.

［19］吴忻生，邓军，戚其丰.基于最优阈值和随机标号法的多车辆分割［J］.公路交通科技，2011，28(3):125-132.Wu Xin-sheng，Deng Jun，Qi Qi-feng.Multi-vehicle segmentation based on optimal threshold and random labeling［J］.Journal of Highway and Transportation Research and Development，2011，28(3):125-132.

［20］Zhao X Y，Satoh Y，Takauji H，et al.Object detection based on a robust and accurate statistical multi-pointpair model［J］.Pattern Recognition，2011，44(6):1296-1311.