视频序列中视觉显著性图像区域自动提取仿真

李 博

(中国医科大学，辽宁 沈阳 110000)

1 引言

视频序列图像的属性维度和图像规模不断扩大，对视频图像的处理和利用产生了一定的影响。人眼视觉机制能够快速的从视频序列中选取出显著区域，但目前的人眼视觉机制存在一定的限制，仅能从视觉特征的差异性入手对目标图像和背景进行分析，无法得到准确的显著性区域。为此，国内相关专家学者对此进行了深入研究。

主要的视频序列图像视觉显著性区域提取方法可分为以下几种：前景和背景区域相结合的显著性区域提取方法[1]、基于改进直方图均衡化的觉显著性区域提取方法[2]、基于显著性增强的区域提取方法[3]。前景和背景区域相结合的显著性区域提取方法，首先依据视频序列图像构建一个无向图的邻接矩阵，然后计算视频图像边界背景先验知识，选取出处于边界位置的超像素，并将其作为搜索向量进行图内节点间关联度的计算，获取视频图像序列背景权重图；基于改进直方图均衡化的显著性区域区域提取方法，利用直方图平均化方法对视频序列图像加以处理，提升目标图像前景区域和背景区域的差异性，再对增强的视频序列图像显著性区域进行提取；基于显著性增强的区域提取方法利用目标区域的多种特征，对其进行显著性增强、提取。

上述方法普遍存在目标提取不准确、结果不稳定等问题，为此本文提出一种结合全局和局部特征的视频序列图像显著性区域提取方法。并通过该实验验证了本文方法的性能，结果表明，本文方法的显著性区域提取效果明显，且PR曲线始终高于其它方法，其F值取值较高，表明本文方法能够准确的对视频序列中的显著性区域进行提取，并且提取结果更稳定。

2 全局显著性区域提取

将维数为H×W的视频序列图像表示为I，结合先验知识把I分为一列大小为n×n的图像子块。在视频序列中图像的边界区域[4]，将设定规模不足的图像块直接删除。图像块的总体数量为L=|H/n|·|W/I|。对于任何一个图像块pi(i=1，2，…，L)，把它表示为向量形式xi，最后获得一个图像块的描述矩阵X=[x1，x2，…，xL]。

为了去掉图像块中的杂质并节省提取时间，使用PCA提取显著性区域特征[5]。对图像块矩阵X=[x1，x2，…，xL]元素的均值进行计算，表示为

(1)

(2)

其相应的方差矩阵为

(3)

式中，T表示转置符号。

将高维空间中的N个特征用px来表示，那么中心点pA可表示为

(4)

若特征px离pA越远，即px不以pA为中心的可能性变大，则px为显著性特征的可能性越大。计算所有特征离中心点pA的距离，然后排列，选择离中心最远的前24%的特征。

因为没有具体的显著性目标先验知识[6]，因此为了有效提高特征提取准确率，需要对视频序列中的图像采用3种分辨率进行处理，分别为：100%，49%和24%，然后计算平均值得到全局显著区域SG。

3 局部显著性区域提取

局部显著性度量的邻域选择方式中，局部显著区域SL通过中心图像块i与其矩形邻域里的K个图像块的不近似性均值来测量，局部显著区域计算公式为

(5)

式中：Wij为图像块xj与xi之间的欧式距离，d(xi，xj)表示xj与xi的差异函数。

本文使用颜色显著性来测量差异性，所以图像的颜色也是重要因素，尤其是部分颜色差异极为明显的图像，只凭借颜色就能找出显著性区域[7]。如图2所示。

假设图像的像素为Ib与Ia，两者间的差异函数可用式(6)表示

d(Ia，Ib)=SL(xi，xj)D(Ia，Ib)

(6)

式中，D(Ia，Ib)是像素Ib与Ia在L*a*b空间的颜色长度。设Ia∈xi，xj为邻近块，那xj与Ia的差异函数如下

(7)

式中：n(xj)代表块xj的像素个数。该公式表示在不考虑空间关系的基础上，拥有同样颜色特征的像素拥有同种的非近似值。可将上式中具有同种颜色值的像素进行合并，获得各个颜色的差异函数

(8)

式中：ca是像素Ia的颜色值，cb是像素Ib的颜色值，pb代表区域xj中的颜色cb出现的几率。如果Ia∈xi，那么区域xi与xj之间的差异函数可以表示为

(9)

式中：p(Cs，a)表示第a个颜色Cs，a在第s区域xs对应的所有ns个颜色中发生的几率，由此可依据式(9)使用直方图来描述区域xj与xi。区域xj与xi的不近似性能够根据相应的颜色直方图的差度值来计算得到，从而获取局部显著区域。

4 融合图像的分布性与对比度提取显著性区域

融合局部与全局显著性[8-9]方法，提取融合图像的有效特征，计算图像的分布性与对比度，再对图像的分布性与对比度特征进行融合，实现对初始视频序列图像显著性区域提取。

几乎每个视频序列图像的显著性识别方法都只能在一个RGB颜色特征空间或一个LAB颜色特征空间下检测[10]。其中，RGB主要使用在视频序列图像的颜色表述，LAB拥有拟态人类视觉感知颜色特征的能力。本文将RGB空间颜色特征与LAB空间颜色特征相结合进行识别研究，过程中先计算图像得出I(H×W)在两个颜色空间的特征，将两个空间的图像特征分解为多个图像块，图像块的尺寸设置为k×k，互不相交的图像块表示为{p1，…，pN}，图像块pi(1≤i≤N)的特征N=[H/k]·[W/k]通过列向量形式叠加描述，向量维数为k×k×6。

考虑到本文方法的计算量，对图像的大小进行适度调整，图像块的大小k取9。

图像的分块和周边场景的差异计算，是视频序列中图像显著性区域进行提取的关键，自身视觉特征不足以判定显著性。图像块和周边场景的特征误差越大，此区域越有可能为显著性区域。同时，如果通过对比可知，剩余图像块与中心图像块之间的距离较远，则表明该剩余图像块的显著性较差，该区域的图像块需要重点关注。由此可以看出，视频序列图像分块中，图像块之间的空间距离与对比度成反比，则对图像块的显著性计算可表示为

(10)

其中：ω(si，sj)是显著性空间值，可表示为

(11)

式中，Zs是归一因子，si与sj分别是图像块xj与xi的中心点。

另外，能够吸引视觉注意的显著性区域，在其邻域内的对比性极为明显，在视频序列中也是极为突出的，所以需要算出图像块在视频序列中的特征显著性，如下

(12)

C1(xi)=LC(xi)·GC(xi)

(13)

以全局显著性区域对比度计算结果为依据，同时基于全局特征的显著性与局部显著性区域的特征值分布情况可知，局部显著性区域的分布相对较为密集，表现在特征的显著性水平较高，特征相似度高。相较于全局显著性区域，局部显著性区域的边缘一般为背景区域，分布较散，不会引起视觉的注意[12]。图像块特征的分布方差公式为

(14)

由先验知识可知，使用指数函数能够度量显著性区域中的图像分布的权值，结合图像块对比性的分布特征，可完成对图像块的显著度量。此外，需要注意的是，人眼视觉系统习惯于首先注意图像集中区域，但集中区域的边缘特征一般显著性较低，因此，将图像分块间隔长度与视频序列图像中心位置作为显著性区域权值，则显著性度量结果为

(15)

其中：ω(xi)为位置权值，∂为视频序列中的整幅图像的中心位置。

获取显著性度量结果后，则表示完成了对视频序列中视觉显著性图像区域的自动提取。

5 仿真研究

5.1 仿真环境设置

为验证本文方法的有效性，进行仿真，仿真环境为Intel Xeon500双CPU，512M内存，80G硬盘，WindowsNT操作系统的服务器。采用通用的数据集(SOD数据集、PASCAL数据集、CSSD数据集)进行实验，本研究共采用了两个本领域应用最广泛的图像数据库MSRA-B和SOD，图像像素大小为300像素×300像素。图像中显著性目标为一个工厂，其内部的白色柱状建筑在图像中十分突出，为“显著性”区域。

图1 实验遥感图像与基准图像

5.2 实验结果分析

针对原始图像，利用融合后方法与融合前方法对视觉显著性区域进行提取，结果如图2所示。

图2 显著性区域提取结果分析

由图2可以看出，3种显著性计算方法得到的显著性图像在目标区域显著性分数很高，但是融合后的显著性图像比另外两种效果要更好。因为融合后的显著性图像既能保持目标区域内部显著性分数分布均匀，而且也能保留更好的区域边界。

为了对不同方法的性能进行验证，利用准确率-召回率(PR)曲线和F-measure平均测量误差对不同提取方法进行定量分析。其中，PR曲线通过不同的阈值对显著性图像进行划分，并将二值图像和标准的显著性图像进行对比。为了衡量本算法性能优劣，采用F-measure作为参数，该值是查准率(Precision)和查全率(Recall)的函数。在这里为了侧重查准率，选择β2=0.3，F的计算公式如下

(16)

上式中，β2为精度控制变量。

图3为CSSD数据集下，采用不同方法进行视觉显著性图像区域自动提取的PR曲线对比图。

图3 不同方法的PR曲线对比

从图中可以看出，CSSD数据集测试中，本文方法始终能取得高于其它两种方法的准确率和召回率，性能较好。均可以更加稳定的提取出视频序列中图像的显著性区域，分析其原因，本文方法的成功之处在于包含了两种不同的显著性区域，全局显著性使其能够提取出图像的多个目标区域，不受孤立噪声的影响，而局部显著性特征起到了优化的作用，因此本文的视频序列中图像的显著性区域提取准确率更高，并且提取过程更稳定。

表1为本文方法和文献方法的F值对比。

表1 F值对比

从表1可以看出，本文方法在视频序列中的显著性图像提取获得了较高的F值，表明本文方法的稳定性较好。主要原因在于本文方法通过对图像进行分块后，使用全局显著性特征和局部显著性特征进行融合，最后通过计算显著性图像的对比度和分布值，实现对视频序列中图像显著性区域的提取，显著性区域提取精度较高。同时结合图3结果可知，本文方法提取出的显著图区域细节更为准确，对目标区域的划分更为完整。

6 结论

本文方法首先对视频序列中的图像进行分块，当所有图像块都经过分析并投影到高维空间后，依据单独的特征点相应的显著性区域规律得到基于全局特征的显著性区域和基于局部特征的显著性区域。最后对比度和分布性进行检测，提取出视频序列中图像的显著性区域。从实验对比结果能够看出，本文方法较比其它两种方法提取的精准度更高，并且提取出的视频序列中图像的显著性区域与背景区域的区分度更为明显，稳定性也更好。