基于彩色化的色度图像超分辨率重建算法研究

秦 洁 李 莉

(安徽农业大学经济技术学院， 合肥 230000)

相比灰度图像，彩色图像包含的信息更多，具备更多的色彩通道，各通道之间具有关联性。在彩色图像通道中应用灰度图像处理方法，效果一般都不理想，会导致图像失真[1]。对彩色图像的处理通常是将图像的特性如亮度、色度分离出来，集中对亮度进行处理。忽视对色度的处理，会导致图像中彩色通道信息缺失的问题[2]。提升彩色图像的色度，可以显著提升其视觉效应[3]。彩色图像超分辨率重建，目的就在于丰富图像的色度信息。图像彩色化的过程就是基于灰度图像及部分色彩信息来实现对图像的色彩获取，增强图像色度信息[4]。在处理低分辨率彩色图像时，选择色度作为图像处理参数，应用效率较好的彩色化算法提升图像的色度，可解决图像失真问题，改善其视觉效果。

1 图像质量的主观评价标准

图像在获取、压缩、处理、传输、显示等过程中，总是存在一定程度失真的问题。评价图像质量的方法可分为主观评价方法和客观评价方法，前者是凭借评价人员的主观感知来评价图像的质量；后者是依据模型给出的量化指标，模拟人类视觉系统感知机制来衡量图像质量。图像质量的主观评价结果，与评价人员的个人能力、知识构成等都息息相关。为了确保图像评价的客观性，选择的评价人员要具备一定的专业能力，评价人员数量要在20人以上，最后按平均意见得分(MOS)标准(见表1)判断图像的质量。

表1 MOS标准

2 灰度图像彩色化技术

图像颜色基本都是由YUV通道构成。图像的YUV联合相关性，表示在特定的位置上图像的色度、亮度都存在相似的局部几何特征(local geometry)，在流形结构(manifold)方面也较为相似[5]。局部几何特征反映了某个位置的像素点和相邻的像素的关系。应用线性加权方式，可分别得到三通道YUV图像信息，如图1所示。

2.1 邻域相似像素

邻域的色度计算中，一般是采用菱形窗口邻域或矩阵中心方式。这往往会导致像素值存在较大误差，特别是在需要加权值非负的纹理、边缘等区域，当领域值的误差较大时，在求和时就会给图像彩色化带来较大的失真。例如，在某个边缘区域内的像素点，分别应用不同计算方式获取邻域像素值，结果如图2所示。其中：a.应用矩形邻域分布方式，加权求和过程中会计算绿色像素值，结果红色像素点颜色发生了明显失真现象；b.应用邻域相似搜索矩阵搜索选择和红色像素点相似度较高的像素值，结果图中该图像点基本没有发生失真。因此，我们应用邻域相似搜索矩阵方式，来获取邻域像素点。

图1 彩色图像的YUV通道图像

图2 像素点的不同邻域分布方式

通过邻域相似像素搜索，综合分析图像中不同像素点的相对距离，然后还要对不同像素之间的差异进行分析。以相似度d定义图像中各个像素点之间的差异及距离等，分别计算以像素点k位置为圆中心、半径为r的窗口内所有的非k像素点j。

(1)

2.2 自回归模型

基于图像彩色化通道的YUV联合相关性，包含了色度、亮度的局部几何特征结构。YUV联合相关性每个像素点的亮度计算方式，为邻域像素线性加权组合；色度计算方式，为领域组合关系。

通过构建自回归模型，来计算邻域像素线性加权中心像素模型。

(2)

式中：Yk为亮度图像Y上某个像素点k的亮度；Yki为邻域像素亮度；wki为亮度的加权系数。

同理，对于色度图像U，构建自回归模型如下：

(3)

3 色度图像超分辨率重建算法

3.1 图像色彩初始化的算法选择

图像超分辨率重建，是在低分辨率(LR)图像中，通过处理信号的方法，估计高分辨率(HR)图像。目前，关于高分辨率图像的研究主要集中在灰度图像领域，而在重建彩色图像高分辨率过程中，采用的参数主要为图像亮度信息；对于图像的色度信息，通常只进行插值处理，结果构建得到的图像的色度质量不高。在图像超分辨率重建过程中，为了提高图像色彩的初始化质量，我们采用IBP算法。

按IBP算法，是在人工初始化图象值后，反复迭代图像构建过程，并引用超分辨率图像不断修正误差值，得到和原图相似的生成图像[6-7]。迭代重构最小的误差值为e(IH)。

(4)

式中：IL表示原图的低分辨率图像分辨率；IH表示高分辨率图像分辨率；D表示采样算子；L表示低通滤波器。误差值e(IH)越小，表示图像质量越好。

在初始化色彩颜色信息过程中，采用IBP算法。以重构4倍分辨率为例。如图3所示，低分辨率图像在一个4×4放大的图像块中。在重建过程中，将已知色度值全部放在相对应的采样算子位置处。此时，每个放大图像块都可以得到一个色度值。接下来，应用该色度值进行彩色化运算，得到初始高分辨率色度图像。最后，应用双立方插值来迭代采样过程，得到初始化后的色度分量值。IBP算法初始化后的色度分量值，更接近原图像的像素值，具备更好的色度初始化相似度。

图3 低分辨率图像在放大4倍图像块中的位置

3.2 彩色化算法改进

运用图像的彩色化算法如基于亮度图像的超分辨率重建技术，在图像边缘重构过程中容易发生失真现象，且计算速度比较慢。下面提出一种最优彩色化算法。

图像亮度的邻域变化，直接表明了像素区域类型；亮度邻域像素的差值大小，反映着当前重建区域是否处于边缘区域范围。由此，采用亮度差值关系来计算色度邻域加权值，充分利用图像边缘位置包含的隐藏信息，处理后的图像质量更高。

在YUV颜色空间内，当图像的某个像素点k的邻域亮度差值都较小，认为在该点的邻域色度差值也比较小。邻域像素集的色度加权和为Nk，则误差J(U)的计算公式为：

(5)

式中：wks为邻域像素的加权值；s表示当前像素点。

对于未知颜色的像素点，邻域像素集的色度加权和的误差计算公式为：

UH=arg minJ(U)

(6)

式中：J(U)为加权和的误差和。

在上述算法中，像素点k的邻域亮度差值和加权值wks存在反比关系，即邻域亮度差值越小，加权值越大。因此，设计加权值计算公式为：

(7)

式中：Wk为归一化系数；α是一个常数，以此保证图中像素点的稳定性；σk为像素点的邻域方差。

3.3 高分辨率色度图像重建算法

在BIP算法中，图像高分辨率色度在计算过程中采用双立方插值方式。色度插值方式不会对像素点所处像素进行误差重建判断，会统一无差别反馈所有区域范围内的误差值进入迭代过程，因此必然会产生边缘区域失真现象。

Dai等人通过优化调整双边带滤波IBP算法中高斯窗口系数来提高图像的边缘特性，实验结果表明该算法具备较好的图像边缘质量[8]。Dong等人，在反向投影步骤前就重建局部误差值，设计了非局部IBP算法[9]。但他们没有对BIP算法流程进行优化，只是通过增加边缘像素色度来提高边缘图像质量。

我们设计的融合了最优化彩色化算法的IBP算法(以下简称“IBPCSR”算法)，可以实现图像色度值的获取，同时还具备较好的图像边缘处理能力。首先，根据4×4放大图像块来获取已知色度位置及其值的大小；然后，在计算未知色度值中引用最优彩色化算法。

4 实验及其结果分析

实验选取的窗口为5×5，高斯低通滤波器方差为2，重建倍数为4。采用图像模糊处理来验证 IBPCSR算法。对比算法为：基于学习的高分辨算法[6]，简称“Liu”；基于4倍高分辨率算法[7]，简称“Huang”；传统双立方插值算法。

首先，按主观评价法对各算法重构图像进行比较。图4所示为实验分析的部分图像。图5所示为图像“花”在高分辨率模糊处理后的实验结果，其中，第一排为重建后色度原图；第二排为差值图像；第三排为重构后的彩色图像。

图4 实验中的部分图像

图5 不同方法对花图的重构结果

对比重构结果可知：按IBPCSR算法处理后，高分辨率色度图像具备非常好的图像质量，边缘更加锐利；在边缘区域范围内的重构差值都比较小，图的损失更少；在重构好的高分辨率图像中，彩色度和相似度都更高。

客观得到的各个算法在PSNR(峰值信噪比)、SSIM(结构相似性)[10-11]上的值，见表2和表3。从表中数据可以看出，与其他算法相比，IBPCSR算法具备非常好的峰值信噪比，重建后的高分辨率图像和原图的结构相似度较高。这表明重视色度处理，可以提升高分辨率彩色图像质量，减少边缘区域范围内图像的色彩失真现象。

5 结 语

随着图像技术的快速发展，人们对图像质量的要求也越来越高。为提高图像的逼真度，设计了基于彩色化的色度图像超分辨率重建算法。在图像YUV通道基础上，应用邻域相似搜索矩阵，获取得到较高质量的邻域像素点，并通过构建自回归模型来计算邻域像素线性加权中心像素模型；应用BIP算法，初始化色彩颜色信息，初始化后的色度分量值更加接近原图像的像素值，具备较高的色度初始化相似度；设计最优彩色化算法，快速重构低失真的图像边缘。实验结果表明，运用色度图像超分辨率重建算法，获得的重构图像质量高，边缘区域范围内的失真率较低。

表2 不同算法的PSNR值 单位：dB

表3 不同算法的SSIM值 单位：dB