基于超像素提取和级联匹配的灰度图像自动彩色化∗

戴 康

（南京理工大学 南京 210094）

1 引言

图像彩色化的目的是给灰度图像加上颜色，这样图像就会变得有感知意义和视觉上吸引人。这一问题的难点就在于有很多潜在的颜色可以被用来分配给一个灰度像素（例如树叶可以是绿色，黄色和灰色的）。因此，没有一个准确的方法来解决彩色化问题并且人为的干预在彩色化过程当中起到很大的作用。

大体上，彩色化方法可以分为两大类：互动的彩色化方法和自动的彩色化方法。互动的彩色化方法需要用户人为地在目标图像上标记颜色线条［1～2］。这些颜色线条基于一个优化框架再被传播到整张图片。最大的缺点就是需要用户做大量的工作。另外，这类方法，彩色化结果十分依赖于用户提供的颜色线条，并且一个新手很难提供准确的颜色线条来获取想要的彩色化结果。自动彩色化方法采取了不同的策略。与从用户处获取颜色值不同，这些方法用一张相关的彩色图像作为输入，然后将这参考图像的色彩传递给目标图像。现有的一些方法主要通过图像分割［3］技术首先将图像分成若干个部分，包括语义分割［4］，Mean shift分割算法［5］，超像素分割算法［6］等。分割完成后再通过图像匹配［7］来完成图像的色彩传递。

现有方法存在一些缺点，比如图像分割小区域的多余问题以及图像匹配的精准度问题等，本文基于超像素提取和多特征的级联匹配来对图像彩色化中的图像分割和图像匹配进行了改进和优化，并获取了更好的彩色化结果。

2 算法分析

2.1 超像素分割

从参考图像和目标灰度图像上提取超像素，在超像素之间进行色彩传递。使用超像素的一个好处就是它能够加速彩色化的进程。获取超像素的算法有许多，主要可以分为两种基于图论的方法［8］和基于梯度上升的方法［9］。本文采用SLIC超像素分割算法来进行第一步处理。

该算法首先生成K个种子点，然后在每个种子点的周围空间里搜索距离该种子最近的若干像素，将他们归为与该种子一类，直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛。

2.2 级联特征匹配

图像特征的选择和提取是图像处理过程中很重要的环节，对图像处理结果有很大的影响。我们这里使用多种特征来做级联的匹配，来提高匹配的准确性。对于输入的灰度图像和参考图像中的每个超像素，我们计算基于他们的亮度、标准差、Ga⁃bor特征和Daisy特征。

2.2.1 亮度特征

基于每个超像素的亮度信息计算出一个2维特征向量。第一维是超像素S中所有像素的亮度值的平均值。

I（x，y）是像素（x，y）的亮度，n是超像素Si内像素的总数。第二维是Si相邻超像素的亮度平均值。

η表示Si的相邻超像素，N表示相邻超像素的个数。

2.2.2 标准方差特征

与亮度相似，我们也计算基于每一个像素的邻近像素的标准差值得一个二维的特征值。本文中的所有方法，我们使用5×5的窗口来计算每一个像素的标准差。每个超像素的标准差特征值向量的计算方式和亮度信息的相同。

2.2.3 Gabor特征

2.2.4 Daisy特征

Daisy特征［11］是面向稠密特征提取的可快速计算的局部特征描述子，它本质思想和SIFT是一样的：分块统计梯度方向直方图。不同的是，Daisy在分块策略上进行了改进，利用高斯卷积来进行梯度方向直方图的分块汇聚，这样利用高斯卷积的可快速计算性就可以快速稠密地进行特征描述子的提取。Daisy特征是类似于“雏菊”的中央-周围对称计算结构构成的。一般围绕中心点构成3层不同半径的同心结构，每层同心圆有8个采样点，以实心点表示，其分别以45°角间隔分布在同心圆环上，每层同心圆环的采样点具有相同的高斯尺度值，高斯尺度值按照从中心向四周逐渐变大的规则排列。这种结构使得Daisy特征对于图像间的仿射变化和光照差异都有很好的鲁棒性。同时Daisy特征使用圆形领域，这是因为圆形领域比矩形领域具有更好的定位特性，而且能够比较便捷地达到旋转的目的。因为，本文采用Daisy特征作为特征匹配的一部分。

2.3 级联匹配策略

对于每个目标超像素，可以通过其所属的特征类型来在所有的参考超像素中找到与目标最为相似的，但是这需要大量的处理时间。为了提高效率，我们使用一种快速的级联特征匹配方案，在级联的每一步中优化搜索空间，使得搜索集中在与目标超像素足够相似的参考超像素上。为了确保搜索空间足够优化，我们在初始步骤利用具有高分辨性的Gabor特征和Daisy特征来选出与目标超像素相似的一组参考超像素，之后利用亮度和标准差信息来选择最终的匹配超像素。

让｛ri｝表示从参考图像Ir中提取的参考超像素的集合。在级联的第一步，我们从｛γi｝中基于Gabor特征来找出与目标超像素最相似的α个参考超像素。这α个参考超像素表示为ϕi。我们计算同种特征之间的欧氏距离［13］，根据距离，第二步，我们基于Daisy特征从ϕi中找出α2个最相似的参考超像素。然后依次类推，第三步和第四步分别基于亮度和标准差来选择。γi表示最后选出的参考超像素的集合。接下来，我们在γi中找出一个与目标超像素最相近的超像素，定义如下：

C1，C2，C3和 C4分别表示Gabor，Daisy，亮度和标准差之间的欧氏距离，w表示权重。而根据实验总结，w1，w2，w3，w4分别设定为0.2，0.5，0.2和0.1的效果最佳。

2.4 色彩传递

我们使用CIELab颜色空间［12］来将超像素的颜色传递到目标超像素上。传递过程中，我们只将参考超像素颜色值中的a和b值作为颜色线条传递到目标超像素的中心像素点上。这些颜色线条然后用一种基于优化的插值算法［14］来传播到所有的像素上。这个算法基于一个原理：相邻且有相似亮度的像素应当拥有相似的颜色值。该算法试图最小化分配给像素p的颜色值和分配给其相邻像素的颜色值的加权平均值［15］之间的差J（C）：

3 结果分析

给定一张灰度图像与一张彩色参考图像，如图1所示，采用不同特征组合级联匹配的实验结果如图2所示。

图1 给定图像

我们可以看出特征的选取对于图像彩色化结果的影响还是显而易见的，单独的使用Gabor、Da⁃siy、亮度和标准差之间任意一种特征的时候，彩色化的结果都会出现一些明显的瑕疵，我们称之为噪声或者错误地着色，当我们使用多种特征的时候，彩色化结果会变好一些，根据反复的实验证明，对于基于超像素提取的此类方法中，使用Gabor+Dai⁃sy+亮度+标准差特征的组合能够取得最好的彩色化结果。

图2 本文方法彩色化结果图

4 结语

本文将超像素提取作为图像分割的方法，实验表明它能够保持很好的图像边缘信息，并且加快了彩色化的进程。而多特征级联匹配的使用对于超像素之间的匹配的准确性有很大的提高，大量的实验验证了Gabor、Daisy、亮度和标准差四种特征的联合使用比其他特征组合要有更好的效果。