双边加权引导图像滤波

惠红军, 杨 洋, 詹永照, 朱韵晨, 曾兰玲

(江苏大学 计算机科学与通信工程学院, 江苏 镇江 212013)

保边滤波方法可以在滤波过程中有效地保留图像中的边缘信息,即在平滑图像的同时保持锐利的边缘.然而,如何有机地结合“保边”与“滤波”2种相互矛盾的任务,使得保边滤波方法成为近些年来的热门研究课题之一.保边滤波方法可广泛应用于各种图像处理,如增强[1]、高动态范围色调映射[2-3]、着色[4]、分割[5]、图像去雾[6-7]、风格化[8]、纹理模糊[9-10]、深度图修复[11]和图像融合[12]等.

传统保边滤波方法按照计算方式主要分为2种,即全局方法与局部方法.经典的全局保边滤波方法如加权最小二乘滤波(weight least square, WLS)[13]、L0范数平滑(L0smoothing,L0)[14],二者将保边滤波任务建模为不同平滑项正则化组成的全局优化问题.SONG J.等[15]提出将总变差最小化应用到移动最小二乘法中,以改善滤波效果.这些基于全局优化的方法通常会产生高质量的结果,但计算成本极高.尽管一些技术方法如通过逼近定义在高维空间上的线性系统或多个一维线性子系统[16]等可加速基于全局优化的滤波器,但仍达不到实际应用对于效率的需求,或以牺牲精度为代价加速平滑算子.局部滤波方法从局部邻域像素中显式地计算输出像素值,如最为经典的双边滤波器(bilateral filter, BLF)[17].原始的双边滤波计算效率非常低,近年来许多改进方法[18-20]被提出.引导滤波器(guided image filter, GIF)[21]关键假设是滤波输出结果与引导图像在局部窗口中呈现线性关系,且其时间复杂度与窗口大小无关.尽管引导滤波可以快速地得到输出,但该方法严重局限于光晕伪影的产生,尤其是在靠近边缘的地方,严重影响结果图像的视觉感受.为有效消除由引导滤波平滑后引起的光晕伪像,基于融合梯度信息的改进引导滤波方法被提出.加权引导图像滤波器(weight guided image filter, WGIF)[22]考虑边缘信息,将权重引入引导滤波的正则化项中感知边缘,从而达到抑制光晕、克服边缘区域过度平滑的目的.KOU F.等[23]拓展了WGIF的工作,提出显式一阶边缘感知约束,并在此基础上提出梯度域引导图像滤波器(gradient domain guided image filter, GDGIF),其目标函数由零阶数据保真度项和一阶正则化项组成.这些方法通常可以有效抑制光晕伪影,但抑制效果及噪声滤除效果依然有限.

针对经典方法在效果及效率上存在的问题,文中拟提出一种新的局部保边滤波方法,称其为双边加权引导图像滤波(bilateral weight guided image filter,BWGIF).通过在引导滤波的目标函数中嵌入双边权重增强边缘感知性能,以进一步加强滤波器的边缘保留特性.其目标函数被构建为双边加权岭回归模型.与引导滤波相似,该模型可以通过若干次双边滤波的执行来求解.为提高计算效率,文中采用双边滤波器的快速近似实现[24],即在下采样的3D网格上进行3D高斯滤波.为评估所提出的滤波方法,文中在2种图像处理应用上进行试验,包括保边模糊及人像磨皮.

1 引导图像滤波

引导图像滤波是一种基于局部线性模型的保边滤波方法,使用指定的引导图像以引导保边滤波过程.GIF将图像中的任意像素点及部分相邻像素定义为线性关系,分别进行滤波处理并累积所有局部滤波,最后,得到与输入图像结构相似的输出图像.笔者认为图像可以分解为2部分：

p=q+n,

(1)

式中：p为输入图像;q为基础层;n为细节层.该方法的目标即使q与p尽可能相似.基于此,将q定义为与引导图像I相关的线性模型,其中第i个像素可表示为

qi=akIi+bk,i∈Ωk,

(2)

式中：qi为输出图像像素值;Ii为引导图像像素值;i和k为像素索引;Ωk为第k个窗口;ak和bk为窗口中心在k时线性函数系数.

为了得到最接近输入图像p的输出图像q,采用最小二乘法拟合线性关系,目标函数为

(3)

(4)

(5)

(6)

与其他局部滤波方法类似,引导图像滤波倾向在图像边缘附近引入光晕伪影.为了突破这个限制,文中进一步改进了基于引导滤波的方法.

2 双边加权引导图像滤波方法

2.1 双边加权引导图像滤波

原始引导滤波引起光晕伪像的主要原因是该方法对整个图像的每个区域皆使用统一的线性模型和相同的正则项参数.为了解决引导滤波的光晕问题,文中改变了目标函数.

通过在最小二乘公式后面引入一个权重wi,k,使得窗口内不同像素点以不同的程度参与到线性拟合过程中.新的目标函数为

(7)

ak和bk计算式为

(8)

(9)

同样,如前文所述,一个像素会被包含在多个窗口中,为了具体找到某个点的输出值,需要计算包含该点的所有线性函数值的加权平均值,计算式为

(10)

所述方法选择双边核函数来计算权重,即

(11)

(12)

(13)

式中：K为量纲一化常数;σd为空间方差;σr为范围方差.双边核函数是空间核和范围核的复合结果.在图像的平坦区域,像素值变化不大,对应的像素范围域权重接近1,空间域权重起到主要作用,相当于执行高斯模糊;在图像的边缘区域,像素值变化较大,像素范围域权重起到主要作用,进而保持了边缘信息.

所述双边加权引导图像滤波过程如方法1所示.

方法1双边加权引导图像滤波.

输出滤波输出图像q.

描述fdomain与frange分别由式(12)与式(13)计算得到,fwavg表示加权平均的计算.

图1 变化双边权重得到的图示化a、b

2.2 滤波核

将式(9)代入式(10)可得

(14)

(15)

在式(15)中,有

(16)

当j∈Ωk时,式(16)的导数为wj,k,否则为0.接下来可以得到

(17)

将式(17)代入式(15)可得

(18)

综上所述,滤波器内核Wi,j(I)表示为

Wi,j(I)=

(19)

来自HE K. M.等[21]的引导滤波具有其他显式局部方法的共同限制,这将导致边缘附近容易出现光晕.考虑到这一点,文中在引导滤波的最小二乘公式中引入双边权重,以使得线性模型具有自适应的能力,从而达到克服边缘区域过度平滑和减弱光晕的目的.

2.3 彩色图像滤波

所提出的双边加权引导图像滤波同样可以扩展到彩色图像.若引导图像是RGB图像,可以先将3通道拆分,并将滤波应用于每个颜色通道后合并通道.与引导滤波相近,彩色引导图像的保边比灰度图更明显.因此,上述局部线性模型可修改为

qi=akTIi+bk,

(20)

其中ak和Ii都是3×1向量,不同在于求解线性系数ak时,原始加权方差被加权协方差3×3矩阵Γk代替.计算式为

ak=(Γk+

(21)

(22)

彩色图像的引导滤波结果可由下式计算：

(23)

图2为原始方法实现与快速近似实现滤波结果比较.

3 试验结果

3.1 保边模糊

为了确保对比试验的公平性,所有参与对比的保边滤波方法都被调整到了相似的模糊程度,图3展示了保边模糊任务的质化对比结果(第1行为二维图像,第2行为信号图).

图3 保边模糊质化比较及像素值信号图

如图3b、c所示,使用现有局部方法如引导滤波GIF和双边滤波BLF,更容易出现伪像、丢失细节.图3d使用加权引导滤波WGIF得到了更好的结果,但尽管保边效果强如全局方法WLS,二者结果依然存在轻微的光晕.而所提出的双边加权引导图像滤波(图3f)未产生光晕伪影,即文中所述方法拥有较强的保边滤波能力.底部信号(图3g-l)为各方法滤波结果的像素值,蓝线表示输入值,红线表示输出值.在梯度变化剧烈的边缘处,红色滤波输出信号值偏离原始蓝色输入信号值即证明存在光晕伪影.表1所示的灰度图盲图像质量指标(blind image quality index,BIQI,指标值越小代表图像质量越高)[25]同样证明了文中方法的优越性.由表1可见,文中方法的BIQI为20.082.

表1 保边模糊量化指标比较

3.2 人像磨皮

用户在拍摄人像时总希望有更自然的视觉效果,将保边滤波用于人像磨皮,对人脸或身体上的痣与斑块平滑的同时,保持其边缘不被虚化.图4展示了几种滤波方法在人像磨皮应用中的效果.图4b-d分别使用引导滤波器GIF、双边滤波器BLF和加权引导滤波WGIF,人像面部边缘皆被过度模糊,细节严重丢失,并不满足实际需求.图4e采用加权最小二乘滤波WLS的视觉效果较好,但其颜色出现偏差,滤波后图像浑浊.图4f采用所提出的双边加权引导图像滤波可在去除斑点的同时保证皮肤边缘的清晰,其结果也更加自然.表2展示了2种彩色图像评价指标即IL-NIQE(integrated local natural image quality evaluator)[26]与SSEQ(spatial and spectral entropies quality)[27]比较,这2个指标越小代表图像质量越高,量化结果亦证明上述观点.由表2可见,文中方法的IL-NIQE、SSEQ分别为47.026、53.103.

图4 人像磨皮质化比较及局部放大图

表2 人像磨皮量化指标比较

3.3 计算效率

由于使用了双边核,所述方法面临着计算成本高昂的挑战.众所周知,随着局部窗口半径的增大,计算速度将变慢,无法满足实时应用.文中使用由S. PARIS等[24]提出的双边滤波快速近似实现,这种快速实现加速了所述方法中双边权重的计算.

例如,在一台普通PC(CPU为i5-4200H、GPU为GTX 950M)上,对一张757×505像素的灰度图像执行多次滤波操作,未加速前平均时间为13.37 s,加速后平均时间为293 ms,满足应用的实时性要求.表3对比了在同一环境下同一张图像上一些滤波方法的计算效率.

表3 计算效率对比

从表3可见,文中方法的运行时间显著优于大部分对比方法,如WLS、L0、BLF、WGIF.文中方法运行时间略高于GIF,但是可以得到更好的滤波质量.文中方法能够实时处理分辨率为757×505像素的灰度图像.

4 结 论

文中提出了一种新颖的局部滤波方法,通过将边缘感知加权嵌入到引导滤波器中,可以保留锐利的边缘并避免产生光晕伪影.双边加权引导图像滤波器可以被视为引导滤波器的扩展.通过在图像处理应用的量化及质化试验证明,双边加权引导图像滤波的效果及效率优于多数经典边缘保留滤波方法.文中方法的指标BIQI、IL-NIQE、SSEQ分别达到20.082、47.026、53.103.