融合轮廓提取的显著性物体完整性检测方法

李 巍，王 鸥，田庆阳，梁 凯，谭学军，刚毅凝，刘嘉华，林华锋

(1.国网辽宁省电力有限公司，辽宁 沈阳 110004；2.南瑞集团有限公司(国网电力科学研究院有限公司)，江苏 南京 211000；3.南京航空航天大学 计算机学院，江苏 南京 211106)

0 引 言

显著性检测的目的是识别图像中最吸引人注意的区域，近年来成为计算机视觉领域中非常具有代表的问题，在图像检索[1]、图像分割[2]、图像分类[3]和目标识别[4]等领域应用广泛。显著性检测主要分为自底向上和自顶向下两种模型，前者主要基于一些图像的底层特征(如颜色、亮度、方向等)和先验信息(如紧凑度、唯一性、背景等)，而后者主要通过对图像中有代表性的特征进行标注、训练再检测。自顶向下的显著性对象检测与对象检测相关，其目标是自动定位指定类别的对象所在位置。早期的方法属于基于图像属性对比度特征的显著检测，如Itti等[5]使用中心—周边算子，在高斯金字塔结构中计算各尺度的底层特征以实现跨尺度对比计算显著性。Achanta[6]在此基础上提出了基于频域的显著性区域检测方法。Cheng[7]提出基于全局对比度的显著性区域检测方法。Goferman[8]引入上下文认知思想，融合不同尺度下的局部特征图，生成显著图。Liu[9]提出学习条件随机场模型，从局部、区域和全局等层面获取的特征映射图进行融合得到显著图。Wei等[10]提出了基于“背景优先”模型的显著性目标检测算法。Li等[11]提取位于图像四周边界区域的超像素块并将其视为背景区域，利用已有的基于稠密与稀疏的重构误差显著性目标检测模型，分别获取相应显著图。Yang等[12]通过将四个边界区域中的像素点或者超像素块视为背景种子(seed)，利用基于图的流行排序算法计算任一超像素块的显著性特征值。Jiang等[13]将位于图像四周边缘区域的像素点或超像素块视为马尔可夫链中的吸收(absorb)节点，获取相应的显著图。Qin等[14]提出了基于k-means算法的背景区域提取方法，通过引入元胞自动机更新机制，获取最终的显著图。林华锋[15]、项导[16]和张巧荣[17]也在显著性物体检测和基于背景的显著性检测方法中取得了较好的检测效果。

通过观察发现，大多数图像中的显著性物体往往包含多个具有高对比度的区域。如果这些区域同提取的背景模板具有相似的特征值，那么基于背景模板抑制的显著性目标检测方法只能检测出同背景模板具有较高对比度的显著性区域，而不能完整地检测出整个显著性目标。对此，文中提出一种改进的背景抑制显著性检测方法，以检测出更完整的显著性目标。

1 基于背景模板的显著性检测

1.1 底层特征提取与超像素分割

1.2 背景模板的构造

基于“背景优先”模型的显著性目标检测方法都是建立在这样一个假设的基础上：图像四周的边缘区域最有可能是背景。为了更好地构造背景模板，提出了一种基于对比准则与联通性准则的自适应选择方案，用于从原始背景区域中移除显著的超像素块，同时将筛选后的原始背景区域称为背景模板。

(1)对比准则。

(1)

(2)连通性准则。

通过观察发现，与显著性区域相比，背景区域更容易连通图像边界。根据这一特点，设计了连通性准则，用于移除原始背景区域中的显著超像素块。可将超像素块集合划分成多个区域，并且每个区域中的超像素块的连通性值都相等。

1.3 显著图的生成

利用图像中超像素块与背景模板的对比度，实现对该超像素块的显著性估计。若一个超像素块与背景模板的颜色对比度越大，其显著度越高。若一个超像素块与背景模板的空间对比度越小,则背景模板对该超像素块显著值的影响就越大。因此，将空间对比度加权的颜色对比度之和定义为超像素块spi的显著值：

其中，ds(spi,spk)与dc(spi,spk)分别为超像素块之间的空间欧氏距离与颜色空间上的欧氏距离；σs用于控制ds(spi,spk)的权重；Nbt指代背景模板中超像素块的个数。

2 基于轮廓提取的显著性物体完整性检测

为解决上述显著性物体的完整性检测问题，文中提出一种基于轮廓检测的完整显著性检测方法，简称CS方法。首先，CS方法利用基于全局概率边界的轮廓检测方法[18]获取输入图像中所有目标的初始轮廓。利用提出的基于虚拟连接(virtual-link)的轮廓处理方案对初始轮廓图进行预处理,合并相邻的轮廓，移除非封闭的轮廓。利用设计的基于最短路径的闭环搜寻(search for closed-loops)方法提取更加准确的目标轮廓，保证目标检测的完整性。然后，采用自适应阈值分割算法对基于背景模板的显著图进行二值分割，获取二值显著图与显著像素点。通过去除含有显著像素点比例小于指定阈值的轮廓完整区域，获取优化的基于轮廓检测的显著图。最后，将其与二值显著图进行融合，获取完整显著图。

2.1 基于轮廓检测的显著图

通过实验观察可知，输入图像中显著性目标的轮廓特征能够保证显著性目标的完整性。因此，选取一个合适的轮廓检测算法是首要工作。

已有的研究结果表明，相对于其他经典的轮廓检测算法，基于全局概率边界的轮廓检测算法(globalized probability of boundary，gPb)具有更高的轮廓检测性能。因此，文中采用gPb算法获取图像中每个目标的初始轮廓。gPb算法利用提取的图像中每个像素点的颜色特征、亮度特征与纹理特征，通过后验概率模型获取图像轮廓。图像轮廓使用梯度距离度量获取的每个轮廓线是真正轮廓线的概率。因此梯度值越大，相应的轮廓灰度值也越大，说明该轮廓线更有可能是图像中某个目标的轮廓线。为获取图像中目标的“真实”轮廓，忽略噪声轮廓，需要为每幅图像设置一个阈值，保留梯度值大于指定阈值的轮廓线，去除梯度值小于指定阈值的轮廓线，进而消除噪声轮廓对显著性目标完整性检测的不利影响。针对不同的输入图像，其轮廓检测结果千差万别。因此，很难设置一个合适的固定阈值，满足所有输入图像的需要，应根据不同输入图像获取的轮廓图，自适应地设置阈值，以达到消除噪声轮廓的目的。

针对输入图像，其对应的自适应阈值为：

(3)

其中，ξi指图像I中第i条轮廓线的梯度值；N指图像中轮廓线的数目。

经过自适应阈值筛选后的轮廓图称为自适应轮廓图。针对背景较为简单、显著性目标单一的图像，利用自适应轮廓能够有效保证目标的完整性。但是，针对背景较为复杂、显著性目标包含多个具有高对比度区域的图像，自适应轮廓往往存在不连续的现象，难以保证显著性目标的完整性。

1)基于虚拟连接的轮廓处理方案。

对自适应轮廓图进行预处理，合并相邻的轮廓并移除非封闭的轮廓，共包括四个方面。

(1)轮廓线构造。如果某个轮廓线的端点仅同另外一条轮廓线的端点或者自身的另一个端点非常接近，则利用虚拟连接结构创建一个虚拟端点，形成一个新的轮廓线。

(2)轮廓线分割。如果某个轮廓线的端点十分靠近另一条轮廓线上中间的某个像素点，则以该像素点为边界点，将该轮廓线分割为两条独立的轮廓线，并将端点同新形成的边界点进行连接。

(3)孤立轮廓线移除。如果某条轮廓线的两个端点，不能同图像中的其他轮廓线建立虚拟连接点，则将该轮廓线视为孤立的轮廓线，并将其从轮廓图中移除。

(4)同向轮廓线融合。如果在某一方向上存在多条较为接近的轮廓线，则将这些轮廓线融合成一条新的轮廓线。

利用上述基于虚拟连接的轮廓处理方案获取的轮廓图称为基于虚拟连接的轮廓图。已有研究表明，基于虚拟连接的轮廓图能够有效去除孤立的轮廓线，融合距离接近的轮廓线，进一步保证了目标轮廓的完整性。但是，针对属于同一目标并且距离较远的多条轮廓线，则不能对其进行有效融合，使得获取的轮廓图不能形成封闭的环形，难以获取目标的完整轮廓。

2)基于最短路径的闭环搜寻方案。

针对基于虚拟连接显著图中的非闭合轮廓线，利用该方法获取能够形成闭环的最短路径，用于提取更加准确的目标轮廓，保证目标检测的完整性。假设预处理轮廓图中存在Ne个非闭合端点ei,i∈[1,Ne]，任意两个非闭合端点ei与ej之间的路径长度L(ei,ej)同两点间的欧氏距离呈现正相关的关系，同连接点ej所在轮廓线的梯度值呈负相关的关系。即如果两点在空间分布上越靠近，待连接点所在轮廓线的梯度值越高，则两点之间的路径越短。反之，则两点之间的路径越远。由于两点间的欧氏距离远远大于轮廓线的梯度值，因此需要分别对两者进行归一化处理，以平衡两者的作用。两点间的路径长度L(ei,ej)可由以下公式计算：

L(ei,ej)=‖ei,ej‖2/ξj

(4)

通过反复迭代连接具有最短路径的端点，可形成多个封闭环形的轮廓线，能够有效地保证输入图像中目标轮廓的完整性，获取完整的轮廓图。

3)轮廓显著图生成。

根据获取的完整轮廓图，可将输入图像I分割为N个边缘完整的区域{I1,I2,…,IN}。从分割的区域中筛选出属于显著性目标的区域，去除属于背景的区域。参考经典的ITTI金字塔显著性检测模型[1],针对每个区域分别提取强度特征(intensity)、颜色特征(color)与方向特征(orientation)。每幅输入图像均由红(R)、绿(G)、蓝(B)三种颜色信道构成，每个像素点pi的强度特征值ωin,i为ωin,i=(R+G+B)/3。

研究者通过观察发现，神经元在显著性区域会被一种颜色(如红色)激活，却被另一种颜色(如绿色)抑制，在背景区域则刚好相反。该现象存在于(R，G)、(G，R)、(B，Y)与(Y，B)这四个颜色对中。因此，四种宽调谐颜色通道被提取：

(5)

对于输入图像，任意两个像素点pi与pj间的颜色特征值ωRG,ij与ωBY,ij分别为：

(6)

对于输入图像中的像素点pi，其颜色特征值ωRG,i与ωBY,i可视为与属于同一完整区域Ii内所有像素点之间颜色特征值的累加和，即：

(7)

通过对获取的强度图像进行Gabor核卷积，可提取相应的方向特征。由于Gabor核具有方向性，在不同的方向上对强度图像进行处理，可获取不同的方向特征图。参考ITTI模型，分别采用θ∈{0°,45°,90°,135°}作为Gabor核的方向。任意两个像素点pi与pj间的方向特征值ωo,ij为：

ωo,ij=|O(i,θ)-O(j,θ)|

(8)

与颜色特征类似，像素点pi的强度特征ωo,i由下式求得：

(9)

针对每个边缘完整的区域Ii，该区域的强度、颜色与方向特征值分别为该区域中所有像素点对应特征值的均值，用ωin,i,ωRG,i,ωBY,i,ωO,i表示。针对每一种特征值，利用下式计算完整区域间的空间加权和，可获取相应的特征显著值。

(10)

其中，fe⊆{in,RG,BY,O}，ds(ωfe,i,ωfe,j)与dfe(ωfe,i,ωfe,j)分别是超像素块之间的空间欧氏距离与特征空间上的欧氏距离。

为更好地衡量该类区域的显著性，为边界线设置一个梯度值。结合上章介绍的背景模板，将属于背景模板的边界线的梯度值设置为0，其余的设置为1。另一方面，显著性目标的面积往往小于背景区域的面积。这主要是因为背景区域的连通性要远远高于显著性目标，因此背景区域的面积较大。结合上述两方面，为每个区域Ii设置一个显著值Pi：

(11)

将获取的所有显著值分别进行归一化，然后计算其累计和并赋予相应的目标，由此可以得到基于轮廓检测的显著图。

2.2 基于背景模板的二值分割图

在基于轮廓提取显著图的基础上,利用已有经典算法获取的显著图，进一步筛选属于显著性目标的区域。在保证输入图像中每个区域完整性的同时,获取准确的显著值。为便于说明，使用基于背景模板方法获取的显著图Is作为区域显著性衡量依据。根据显著图Is计算相应的自适应阈值sTa：

(12)

其中，S(x,y)为像素点I(x,y)的显著值；Ix与Iy分别为显著性图像Is的宽度与高度。

如果图像中某像素点的显著值小于自适应阈值sTa，则该像素点的显著值被赋值为0。否则，像素点的显著值被设置为1，并将其视为显著像素点。利用获取的自适应阈值sTa对图像Is进行自适应阈值分割获取二值分割图Iss。

2.3 完整显著图

(1)轮廓显著图优化。

通过观察发现，由于显著性目标中包含的显著像素点的数目要远远高于其他目标区域，设置一基准比例Bκ，筛选出大于基准比例的区域，即属于显著性目标的区域，同时去除小于基准比例的背景区域。

(13)

其中,n为显著性像素点的个数。

通过仅保留目标区域中显著性像素点比例大于基准比例的区域，生成优化的轮廓显著图Ifs。

(2)完整显著图。

实验表明，优化的轮廓显著图Ifs能够保证图像中显著性目标的完整性，同时抑制大部分属于背景的区域，但是却不能有效获取属于显著性目标的显著值。二值分割图Iss能够保证输入图像中每个目标区域的显著性，却难以保证其完整性。可通过对获取的显著图进行线性融合，获取完整显著图IF，实现显著性目标完整性检测。

(14)

其中,α和β分别为Iss和Ifs的系数。

3 实验验证

为验证提出的CS算法的性能，在ECSSD与CBD两个数据集上将其应用到5种经典的显著性检测算法中，包括SR07、CA10、LR12、GL14以及背景模板方法，并将处理后得到的完整显著图与显著性算法的原有结果进行对比。整个仿真实验均在Intel CoreTMi3-3220处理器，4G内存的硬件环境下进行。操作系统为Microsoft Windows 7，实验仿真环境是Matlab 2008a。

针对显著性模型产生的显著图用阈值进行分割，其中阈值的取值范围为0到255，获取准确率-召回率曲线。对每幅输入图像利用设定的自适应阈值T对其进行分割：

(15)

其中，W与H分别为图像的宽度与高度。

通过计算在该数据集上获取显著图的平均准确率与召回率，然后根据公式计算平均的F-measure值。

(16)

F-measure值用于平衡准确率与召回率两者的作用，实际应用中发现准确率的重要性要高于召回率，因此设置β2为0.3。平均绝对误差通过对比显著图与人工分割图的差异来评价显著性模型。根据式17计算每个输入图像的MAE，利用计算出的MAE均值绘制柱状图。

(17)

3.1 参数设置

结果表明参数r在区间[1.5,2.5]时，文中方法表现出了很强的稳定性。因此固定参数r=2。α与β分别设置为1与3。

3.2 实验对比结果

经CS方法处理后的显著图标记为原方法加后缀CS的形式。针对显著性目标位于图像中心的图像，图1显示了完整显著图进行的视觉比较结果。

图1 显著性目标位于图像边缘且包含多个高 对比部分的图像视觉显著图

通过观察发现，经CS方法处理后的基于背景模板抑制的显著图，能够一致地凸显整个显著性目标。

为了进一步评价文中算法的有效性，表1和表2分别给出了ECSSD与CBD数据集上经典显著性检测算法和经过文中算法处理后的显著性检测算法的性能比较。通过比较，经过CS算法处理前后的对比值可以看出，CS方法均能够提升原显著性检测方法的准确率与召回率，获取更好的准确率。

表1和表2还根据F值和MAE这两种评价标准对5种经典算法与文中方法进行了对比，验证了文中方法的有效性。

表1 ECSSD数据集上典型算法的F值和MAE性能

表2 CBD数据集上典型算法的F值和MAE性能

4 结束语

针对现有基于背景模板的方法不能完整检测部分区域与背景具有相似特征的显著性目标这一问题，提出了一种基于轮廓检测的显著性目标完整性检测方法。实验结果表明，该方法能够完整地检测出显著性目标，验证了其有效性。未来的工作主要是提高轮廓检测的效率，通过降低轮廓检测算法的时间复杂度，以更加快速地获取完整的显著性目标。