结合加权Schatten-p范数与3D全变分的前景检测

陈利霞 刘俊丽 王学文

摘 要：针对低秩与稀疏方法一般将前景看作背景中存在的异常像素点，从而使得在复杂场景中前景检测精确度下降的问题，提出一种结合加权Schatten-p范数与3D全变分（3D-TV）的前景检测模型。该模型首先将观测数据三分为低秩背景、运动前景和动态干扰;然后利用3D全变分来约束运动前景，并加强对前景目标时空连续性的先验考虑，有效抑制了不连续动态背景异常点的随机扰动;最后利用加权Schatten-p范数约束视频背景的低秩性能，去除噪声干扰。实验结果表明，与鲁棒主成分分析（RPCA）、高阶RPCA（HoRPCA）和张量RPCA（TRPCA）等模型相比，所提模型的综合衡量指标F-measure值是最高的，查全率与查准率也处于最优或次优状态。由此可知，所提模型在动态背景、恶劣天气等复杂场景中能有效提高运动目标的提取精确度，且提取的前景目标视觉效果较好。

关键词： 低秩稀疏分解;前景检测;加权Schatten-p范数;3D全变分

中图分类号：TP391.4

文献标志码：A

文章编号：1001-9081（2019）04-1170-06

Abstract： In view of the fact that the low rank and sparse methods generally regard the foreground as abnormal pixels in the background， which makes the foreground detection precision decrease in the complex scene， a new foreground detection method combining weighted Schatten-p norm with 3D Total Variation （3D-TV） was proposed. Firstly， the observed data were divided into low rank background， moving foreground and dynamic disturbance. Then 3D total variation was used to constrain the moving foreground and strengthen the prior consideration of the spatio-temporal continuity of the foreground objects， effectively suppressing the random disturbance of the anomalous pixels in the discontinuous dynamic background. Finally， the low rank performance of video background was constrained by weighted Schatten-p norm to remove noise interference. The experimental results show that， compared with Robust Principal Component Analysis （RPCA）， Higher-order RPCA （HoRPCA） and Tensor RPCA （TRPCA），  the proposed model has the highest F-measure value， and the optimal or sub-optimal values of recall and precision. It can be concluded that the proposed model can better overcome the interference in complex scenes， such as dynamic background and severe weather， and its extraction accuracy as well as visual effect of moving objects is improved.

Key words： low-rank and sparse decomposition; foreground detection; weighted Schatten-p norm; 3D total variation

0 引言

視频中运动目标检测在计算机视觉、目标跟踪以及监控安防等领域有极其重要的作用。由于现实场景的复杂多变，使得前景目标检测变得很有挑战性。近期，低秩和稀疏表示方法在前景检测领域应用很广泛，鲁棒主成分分析（Robust Principal Component Analysis， RPCA）[1-2]就是其中的一种。该模型将视频数据分为低秩背景和稀疏前景两部分，模型简单且求解高效，因此被广泛应用于运动目标检测领域。但是RPCA模型的前提假设是背景静止或几乎静止，而当背景中出现动态变化时，提取效果就会减弱。

近年来学者们对该模型进行了有效的改进：Rezaei等[3]提出一种快速稳定的矩阵填充模型（Fast Robust Matrix Completion， FRMC），极大地提高了对背景建模问题的求解速度;Xie等[4]提出了加权Schatten-p范数最小化（Weighted Schatten p-Norm Minimization， WSNM）模型，进一步提高了背景建模在复杂场景中的稳定性;Lu等[5]提出张量RPCA（Tensor RPCA， TRPCA）模型，利用一种新的张量核范数对背景建模，能精确恢复背景;Goldfarb等[6]提出高阶鲁棒主成分分析（Higher-order RPCA， HoRPCA）模型，考虑了不同张量模展开矩阵的内部相关性;Pang等[7]将显著性图与RPCA结合，提出一种基于增量低秩的方法;Ebadi等[8]提出用动态树结构的稀疏矩阵去建模前景;Bhattacharya等[9-10]提出全变分正则化的RPCA方法，加强了对前景的约束。虽然这些基于矩阵和基于张量的方法均取得了一定的成果，但RPCA模型对含有动态背景的视频处理仍有缺陷，许多方法还不够成熟，稳定性不高。在复杂场景中构建有效的前背景模型仍具有一定的难度。

基于以上方法的讨论，本文充分利用前景的时空连续性和背景的高度相关性，提出一种结合加权Schatten-p范数和3D全变分（3D Total Variation， 3D-TV）的视频前景检测模型。该模型利用3D全变分在时空中的光滑特性来建模前景目标，考虑了运动目标在时间和空间上的持续性，有效地抑制了离散动态背景对连续运动前景造成的干扰，提高了前背景在动态场景中的分离精确度;同时利用加权Schatten-p范数替代RPCA中的秩函数对背景进行低秩约束，从而有效地重构背景，使得其在动态复杂背景中具有较好的鲁棒性。

1 RPCA模型

2 本文模型的建立

本文利用3D全变分正则化方法增强前景的时空连续性，提高了动态背景与运动前景的分离效果，同时利用比核范数具有更佳低秩逼近的加权Schatten-p范数来对背景作低秩约束，从而有效地检测复杂背景下的运动目标。

2.1 前景建模

视频前景可以看作为视频中的显著性运动目标，占据了视频帧中小部分的空间连续区域。另外，前景目标的运动轨迹在时间上是光滑的，因此可以得知需要检测的视频前景目标在时空域上具有连续性和光滑性的特征。视频中显著但却很小的物体运动，例如飘落的雪花、晃动的树叶等，在时空域分布上呈现为类似噪声特性，是不需要检测的。在数学上，全变分具有平滑信号的功能，对信号中存在的不连续变化具有较强的抑制性能，全变分正则项在图像和视频去噪方面应用广泛[11]。因此，通过3D全变分模型[12]可以有效地抑制由动态背景造成的随机扰动。视频序列可以通过3维张量来表示，即

全变分将视频图像中因动态背景产生的随机变化判为噪声去除，提高了模型在复杂场景中的稳定性，能更精确地提取前景。

2.2 背景建模

由于视频背景具有很高的相关性，因此对背景部分X1可作低秩约束，传统的RPCA模型利用核范数来凸松弛矩阵的低秩部分，但核范数定义为矩阵的所有奇异值之和，没有考虑到每个奇异值对秩的不同影响。加权Schatten-p范数[4]是通过融合Schatten-p范数与加权核范数得到的更一般的秩近似函数，考虑了不同秩的实际物理意义，因此本文利用加权Schatten-p范数进行低秩矩阵估计，其表达形式为：

4 实验与结果分析

4.1 仿真实验

为验证本文算法的性能，从CD.net测试数据集[16]中选取5组128×128×128的视频序列Fall、Overpass、Fountain02、Blizzard、SnowFall进行测试，并在相同条件下与HoRPCA[6]、RPCA[2]、FRMC[3]和TRPCA算法[5]从主观和客观两方面进行比较。所有实验的运行环境为Matlab 2014a，Inter Core i5-6500处理器，8GB的内存，Windows 10 64位操作系统。得到的视觉实验结果如图1～2所示。

从图1～2可看出，视频Fall和Overpass为背景中有树叶大幅度晃动的场景;Fountain02中有动态喷泉遮挡且检测目标离监控摄像机较远;Blizzard和SnowFall为雨雪天气，覆盖的白雪使得前背景分离变得困难，而飘落的雪花也易被检测为运动目标。选取的5组实验视频均为生活中常见的复杂场景。

分析比较可知，在图1中，HoRPCA提取的运动目标受动态背景干扰较大，提取的前景目标中含有的动态背景部分是最多的;RPCA和TRPCA提取前景精确度较差，运动目标中存在的空洞现象最为严重;FRMC与本文算法提取的运动目标都较为完整，但本文算法对动态背景的干扰去除更为明显，同时提取的运动目标精确度较高，整体取得最佳的检测效果。

图2给出了3段不同帧的SnowFall视频测试，从中可看出：HoRPCA、RPCA与TRPCA将飘落的雪花误判为运动前景，使得背景中存在较多的噪点，同时由于白雪的覆盖降低了前背景区分度，使得提取的目标也较为空洞;FRMC模型有效降低了飘落的雪花造成的误判，但却将邻近背景错分为运动区域而降低了前景目标的提取精度;本文算法在整个视频处理中较好地分离出前景与背景，去除了动态背景产生的噪声，提高了前景运动目标的提取精确度。

4.2 量化对比以及结果分析

在客观上为了更准确地评估算法之间的性能，本文参考文献[17-18]，用三种客观指标：查全率、查准率，以及它们的综合评价指标F-measure来评价视频前景检测的效果。查全率和查准率的定义分别为：

其中：tp表示检测出的正确前景像素点; fn表示错检为背景的前景像素點; fp表示错检为前景的背景像素点。由于查全率只能反映丢失运动目标的内部信息的相关性， 查准率只能反映丢失目标外部信息的相关性，且两者指标值有时会出现矛盾的情况，因此采用它们的调和平均值F-measure来综合判断提取效果：F-measure=2×查准率×查全率查准率+查全率（19）

所有的评价指标都在0～1，且指标值越高，得到的结果越精确。

本文算法和其他4种对比算法进行实验，得出的相关指标如图3～4和表1所示。图3和图4分别选取视频Fall和视频Blizzard中12个代表帧，每个相隔8帧，计算各个代表帧的查全率、查准率和综合指标F-measure值。由图3（a）可看出，本文算法的查全率与FRMC大致相同，但远远高于其他3种算法;图3（b）中FRMC和HoRPCA的查准率低于本文算法，RPCA与TRPCA的查准率稍高于本文算法;由图3（c）可看出本文算法的综合指标F-measure值均高于其他算法。从图4（b）可看出除HoRPCA的查准率较低以外，其他算法查准率相差不大，但从图4（a）、（c）中看出本文算法的查全率和F-measure值均高于其他算法。因此本文算法的综合检测效果最好。

表1中给出5个视频的查全率、查准率、F-measure和平均每帧的运行时间。可看出，本文算法的查全率均处于次优，查准率（除Blizzard处于次优外）和F-measure均处于最优。说明本文算法在抑制动态背景产生的噪声以及目标提取的完整度和精确度方面的综合效果较好;但是由于本文模型在计算中较为耗时，因此在耗时方面仅低于HoRPCA算法。

5 结语

本文提出一种结合加权Schatten-p范数与3D全变分的视频前景检测模型。该模型以RPCA理论为基础，用加权Schatten-p范数替代秩函数对视频背景作低秩约束，又利用全变分正则项约束运动目标在时间和空间上的连续性，有效地抑制由动态背景造成的随机扰动，降低了背景误判，提高了前景检测的精确度。实验结果表明，与经典算法以及目前最新算法相比，本文算法的性能从主观和客观两方面都显示出不同程度的優势，可以达到预期的检测效果;但在总耗时的问题上，本文算法需要进一步提升。

参考文献（References）

[1] BOUWMANS T， ZAHZAH E H. Robust PCA via principal component pursuit： a review for a comparative evaluation in video surveillance[J]. Computer Vision and Image Understanding， 2014， 122： 22-34.

[2] ZHOU X， YANG C， ZHAO H， et al. Low-rank modeling and its applications in image analysis[J]. ACM Computing Surveys， 2014， 47（2）： 1-33.

[3] REZAEI B， OSTADABBAS S. Background subtraction via fast robust matrix completion[C]// Proceeding of the 2017 IEEE International Conference on Computer Vision Workshop. Piscataway， NJ： IEEE， 2017： 1871-1879.

[4] XIE Y， GU S， LIU Y， et al. Weighted Schatten p-Norm minimization for image denoising and background subtraction[J]. IEEE Transactions on Image Processing， 2016， 25（10）： 4842-4 857.

[5] LU C， FENG J， CHEN Y， et al. Tensor robust principal component analysis with a new tensor nuclear norm[EB/OL]. [2018-05-10]. http：//adsabs.harvard.edu/abs/2018arXiv180403728L.

[6] GOLDFARB D， QIN Z. Robust low-rank tensor recovery： models and algorithms[J]. SIAM Journal on Matrix Analysis & Applications， 2013， 35（1）： 225-253.

[7] PANG Y， YE L， LI X， et al. Incremental learning with saliency map for moving object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2018， 28（3）： 640-651.

[8] EBADI S E， IZQUIERDO E. Foreground segmentation with tree-structured sparse RPCA[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（9）： 2273-2280.

[9] BHATTACHARYA S， VENKATSH K S， GUPTA S. Background estimation and motion saliency detection using total variation-based video decomposition[J]. Signal， Image and Video Processing， 2017， 11（1）： 113-121.

[10] CAO X， YANG L， GUO X. Total variation regularized RPCA for irregularly moving object detection under dynamic background[J]. IEEE Transactions on Cybernetics， 2017， 46（4）： 1014-1027.

[11] CHAN S H， KHOSHABEH R， GIBSON K B， et al. An augmented lagrangian method for total variation video restoration[J]. IEEE Transactions on Image Processing， 2011， 20（11）： 3097-3111.

[12] CAO W， WANG Y， SUN J， et al. Total variation regularized tensor RPCA for background subtraction from compressive measurements[J]. IEEE Transactions on Image Processing， 2016， 25（9）： 4075-4090.

[13] BOYD S， PARIKH N， CHU E， et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends in Machine Learning， 2011， 3（1）： 1-122.

[14] DENG W， YIN W. On the global and linear convergence of the generalized alternating direction method of multipliers[J]. Journal of Scientific Computing， 2016， 66（3）： 889-916.

[15] ZUO W， MENG D， ZHANG L， et al. A generalized iterated shrinkage algorithm for non-convex sparse coding[C]// Proceedings of the IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 217-224.

[16] WANG Y， JODOIN P M， PORIKLI F， et al. CDnet 2014： an expanded change detection benchmark dataset[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington， DC： IEEE Computer Society， 2014： 387-394.

[17] 常侃， 張智勇， 陈诚， 等. 采用低秩与加权稀疏分解的视频前景检测算法[J]. 电子学报， 2017， 45（9）： 2272-2280. （CHANG K， ZHANG Z Y， CHEN C， et al. Video foreground detection by low-rank and reweighted sparse decomposition[J]. Acta Electronica Sinica， 2017， 45（9）： 2272-2280.）

[18] 刘仲民， 何胜皎， 胡文瑾， 等. 基于背景减除法的视频序列运动目标检测[J]. 计算机应用， 2017， 37（6）： 1777-1781. （LIU Z M， HE S J， HU W J， et al. Moving object detection based on background subtraction for video sequence[J]. Journal of Computer Applications， 2017， 37（6）： 1777-1781.）