基于图像边缘保持的反距离加权插值算法

圣文顺， 薛龙花 ， 戴 坤， 徐刘晶

(南京工业大学浦江学院， 南京 211200)

研究表明，人们在日常生活中获取的大量信息有一半以上来源于图像。与语音和文字相比，图像所呈现的信息更加直观清晰，具有更广泛的实用价值，更容易被人们所理解和接受。随着图像数据使用量的飞速增长，图像增强技术逐渐成为图像处理领域的研究热点，被广泛应用于卫星遥感、地质勘查、军事雷达以及人们日常摄影等。针对不同领域的应用，常见的图像增强算法主要有最近邻域插值法、双线性插值算法、双三次插值算法等[1]。

上述方法皆为线性方法，实际上都是采用函数的低通滤波器是对图像做一定的增强和降噪处理，在实现过程中无法避免会抑制图像的高频部分，经过缩放处理后图像的高频部分分量会受到一定程度的影响。此类方法在图像细节的处理方面效果欠佳，往往会导致插值后的图像边缘在一定程度上模糊，所得图像质量不高，一般更适用于光滑图像或是对图像轮廓要求不是非常严格的图像增强。例如使用频率较多的双线性插值算法，由于算法简单直观且计算量小常被用作设计其他高级插值算法的基础，但算法的平滑作用会使图像的细节退化，所得图像不够清晰。双线性插值法在颜色通道间的相关性方面尚未涉及，因此在插值过程中容易导致图片颜色失真率较高，从而造成图像增强效果不佳。线性算法对于图像边缘细节处理也不到位，导致图像的边缘细节处在放大后较为模糊，图像边缘往往存在于图像的对象边界位置，是图像强度变化较大的区域。图像边缘检测的准确性依赖于边缘位置的准确判断与选定。图像的边缘信息是影响图像质量的重要因素，同时边缘信息也是语义分割、特征识别、目标跟踪等处理图像问题的关键，图像边缘质量的好坏直接影响主图的视觉效果。

随着人们对图像增强插值算法研究的不断深入，近几年出现了几种比较有代表性的图像插值算法。尉成勇等[2]将二值化图像边缘方向判定方法和双三次边缘插值相结合进行图像增强处理，取得了较好的图像重建效果，但其边缘方向判定存在一定的不确定性，对插值结果影响较大。胡晓燕[3]使用于梯度正则化边缘增强策略和基于随机森林边缘增强策略进行了图像超分辨率重建研究，能够恢复出更清晰图像的纹理和边缘信息，但其主要使用双三次插值方法进行实现，处理效率有待提升。Khan等[4]提出了一种名为基于方向梯度的边缘插值算法(directional gradient-based edge interpolation，DGEI)，将输入图像事先分割为边缘区域和内部区域，对边缘区域使用DGEI算法进行精细处理，对图像内部区域采用简单的线性插值进行处理以降低程序的整体复杂度。与传统算法相比，该算法取得了较好的效果，具有一定的参考价值，但算法对图像边缘区域和内部区域的处理策略不一致，导致目标图像增强效果有较大的跳跃性。

由于图像采集与传输等过程中产生的噪声、图像中对象自身的无效纹理等因素都会影响图像边缘检测的准确性，为了消除干扰项带来的边缘检测误差，提出了一种基于边缘保持的反距离加权插值算法，首先将图像分为内部区域和边缘区域两部分，将边缘区域采用平滑滤波进行图像边缘细节加强预处理，有效抑制图像的边缘噪声，对于图像的边缘保持起到了高效的增强作用；再采用反距离加权插值算法对图像的内部区域以及边缘区域统一进行图像增强以提高运算速率和清晰度，从而使图像整体增强效果更加明显，提高插值图像的视觉效果。

1 研究思路

针对采用一般插值算法对图像进行增强处理后边缘会变得模糊的问题，首先用传统的线性插值法对图像边缘进行放大，扩大图像边缘像素点，再利用Canny算子对图像进行边缘检测[5]，确定图像边缘的领域内其他像素点的优化方向，最后对需要增强的内部区域像素点进行反距离加权插值[6]，优化其灰度梯度，从而提高图像整体的清晰度。研究思路如图1所示。

图1 研究思路流程图Fig.1 Flow chart of research ideas

2 算法描述

2.1 放大图像边缘点

首先采用线性插值法[7]将图像边缘放大到一定的倍数，再利用Canny算子对放大后的图像边缘进行初步检测，分析图像每个边缘点的3×3领域内像素点的分布位置[8]。在每个边缘点3×3领域内，都存在另外两个边缘点与中心点构成一条边缘线。边缘线可分为4种类型，共16种情况，图2为边缘线放大后的4种典例。

图2 边缘线放大后的4种典型例子Fig.2 Four typical examples of enlarged edge line

2.2 确定像素点的优化方向

当每个边缘点3×3领域内像素点的分布位置确定后，观察图像边缘像素与相邻像素的灰度值连续性以及边缘线垂线的梯度变化情况，找出梯度突变最强处，以确定像素点的优化方向。以图3为例，找出优化方向后，对该方向像素点进行优化，如像素点(a+1,b+1)优化后的值为[(a+1,b+1)+(a,b)]/2，其中a、b为随机选中的一个像素点(a,b)的横纵坐标值(图3)，由该点向不同方向均可进行优化扫描探测，以确定最终优化方向。其他像素点的优化也依此方法处理。

图3 像素点优化方向的确定Fig.3 Determination of optimization direction of pixels

2.3 反距离加权插值法调节清晰度

图4 IDW I-AHE算法Fig.4 IDW I-AHE algorithm

运用反距离加权的插值算法[9]，用被处理像素点的四邻图像块变换函数来进行插值。如图4所示，虚线间的交点即为子块中心点，也就是采样点；每个采样点都对应着该子块里的均衡变换函数[10]，而图像其他像素点变换函数是通过插值得到。为提高算法的适应性，引入权值下降指数α以及平滑参数β。其中，α为观测点因离预测点的距离变远而受其影响衰减的指数速率；β为调整插值产生的平滑效应[11-12]。初始的反距离加权平均中，一个观测点和相应的内插点重合时，即dn=0，且权值为无穷大，则当前插值点应被赋予该点实际测量值。这种情况下，插值的结果可能会出现块效应[13]。为了避免块效应的不良影响，应设置“最小内插距离”[14]，并使其成为一类近似插值。此时，观测点离预测点的距离为

(1)

对图4中某像素点(x,y)，引入函数dn(x,y)表示其与周围第n个采样点的距离，即与图像块的中心点的距离，其中n=1,2,3,4，则可得反距离加权插值的权值为

(2)

设周围4个采样点所对应的图像块映射函数为Tk(·)，则点(x,y)最终得到的映射值为

(3)

式(3)中：I(x,y)为原图在该点的灰度值；Wk(x,y)为第k个采样点关于其所在的矩形区域中所有像素点的权值，k为点的序号(k=1,2,3,4)，x和y为第k个采样点的横纵坐标。

对图像中的所有像素点依次执行此步骤，即可得到增强的图像。

2.4 IDW插值计算

由图4可得，4个采样点确定的矩形区域与图像划分的子块大小一样，假设该区域大小为m×n。首先，分别计算每个像素点的4个采样点及其对应的反距离加权权值。其次，用4个矩阵来表示这些权值，用Wk(k=1,2,3,4)表示第k个采样点关于该矩形区域所对应的所有像素点的权值，将其周围9块的均衡变换函数用Tk(k=1,2,3,…)表示。最后运用反距离加权插值对它们进行变换，可得区域增强后的结果为

(4)

式(4)中：该区域的灰度值矩阵用Im×n表示。

由图4可知，每个图像块的大小相等，4个权值Wk(k=1,2,3,4)是完全一样的，因此只需计算一次，大大提高了计算的速度。综上所述，反距离加权插值算法步骤如下。

步骤1选取一张图像作为增强对象，将该图像划分成连续且大小相等的子区域，设每个小区域的大小为m×n。

步骤2通过计算得出每个小区域的灰度直方图并对直方图进行直方图均衡化，由此可得灰度变换映射函数Tk(·)(k=1,2,3,4,…)。

步骤3对反距离加权权值下降指数α和圆滑参数β进行赋值，并依据式(2)来计算Wn(n=1,2,3,4,…)。

步骤4按照式(1)对图像中由4个采样点确定的子区域重复完成步骤3。

2.5 IDW插值算法的参数选取

根据反距离加权(inverse distance weighted，IDW)算法设定不同的参数会产生不同的图像增强效果，因此通过修改IDW算法的某些参数，可以调整合适的增强程度。该操作中具体参数选取与图像增强程度关系如下。

(1)图像划分子区域数m×n直接影响了每个像素的等价相关区域，从而间接影响了该像素点经过变换后的周围4个采样点所在区域的并集，因此，均衡效果由等价相关区域的大小决定。等价相关区域越小，图像细节增强效果越好，但计算相对复杂。等价相关区域越大，图像整体看上去轮廓清晰，但是图像细节放大后显得较模糊。由此可得，图像划分子区域数越少，算法局部细节增强效果降低但插值速率明显提高。当划分子区域越细越小时，容易导致局部敏感度增大，影响算法实现速率。正常像素一般划分成4×4块或者6×6块，即可使像素点的等价相关区域达到原图大小的1/16～1/36。

(2)权值下降指数α也是影响图像增强效果的参数之一，α越大，距离增大，权值下降速度越快，图像细节信息增强效果就越好。经过大量实验证明，α取3或4得到的增强效果适中。

(3)平滑指数β直接影响着插值的平滑效果。根据式(1)可知，当β较大时，Wk(x,y)≈1/4,k=1,2,…,4，图像中每个像素点的灰度变换函数为其周围采样点的变换函数的平均，因此，图像的增强效果会更加明显。从而得出根据dk(x,y)设置β的大小，进而为图像块的大小选择合适的数值显得尤为重要，β的值可随图像块的增大适度变大。根据大量实验可得，当图像块大小为50×50时，β值取5能够取得较精准的增强效果。

3 实验结果分析

3.1 数据集

为验证算法的稳定性与优越性，选取美国加州伯克利大学图像分割数据集(Berkeley segmentation data set，BSDS500)[15]进行主观对比和定量分析。该数据集由Computer Vision Group提供，含有200张训练图像、100张验证图像和200张测试图像，主要用作图像分割和轮廓检测，是边界检测领域普遍被用来评估算法检测准确率的数据集。

3.2 实验环境

基于Microsoft Windows 10操作系统构建实验环境，硬件配置为Intel I7-8700 3.2 GHz CPU、16 GB内存，在MATLAB 2016软件中进行基于边缘保持的图像增强处理实验。

3.3 评价指标

与传统的全局直方图均衡(HE)和双线性插值直方图均衡(AHE)进行对比[16-17]，主观评价主要基于人眼的视觉感知和图像对应的直方图来评估图像质量；客观评价采用峰值信噪比(peak signal-to-noise ratio， PSNR)[18]、结构相似度(structural similarity index，SSIM)[19]、图像熵[20]与基于图像能量谱的图像质量测量度(image quality measure，IQM)[21]定量评估图像的增强效果，值越大则表示图像增强效果越好，为验证算法的执行效率，将算法处理图像所用耗时也作为一个客观评价指标进行比较。

图像熵计算公式为

(5)

式(5)中：M为像素灰度级别；hp(i)为图像p的归一化直方图在强度i处的值。

IQM的计算公式为

(6)

式(6)中：M×N为图像大小；S(θ1)为输入图像的方向尺度；ρ、θ为极坐标系中的长度和角度；θ1为实际输入图像的方向尺度；W(ρ)为修正的维纳噪声滤波器；A(Tρ)为人类视觉系统(human visual system，HVS)调制传递函数，其中T为常量；E(ρ,θ)为亮度归一化的二维能量谱[22]。

3.4 结果分析

微机实验选取图5(a)作为原图，图像分块取值M=12、N=12，在基于边缘保持的反距离插值算法中取值α=6、β=6。图5(b)～图5(d)分别对应HE、AHE和本文算法的图像增强效果。图6为原图与各算法进行图像增强后直方图的对比。由图6(b)可知，直方图分布较稀疏，容易导致低频灰度级的丢失。结合图5(b)和图6(b)结果显示，图像中较亮的部分对比度容易曝光，而相对较暗的边缘模糊处未能很好地处理。图6(c)的直方图中灰度级分布较密集，所以图5(c)和图6(c)整体增强效果较好，局部区域的细节信息也得到增强，但图像边缘区域过暗。图6(d)灰度级分布非常密集，对局部区域的信息也处理得更好。因此，图5(d)和图6(d)整体增强效果最好，对图像边缘增强效果好，使图片对比度达到适中均衡的状态。

比较HE、AHE与本文算法的图像增强效果定量，结果如表1所示。根据表1的定量结果可知，HE算法由于容易丢失细节信息，增强图像的熵值减少，计算效率较低；AHE算法与HE算法相比，图像增强效果得到了显著提升，但耗时也明显增多；而本文算法计算效率相对较高，峰值信噪比、结构相似度、增强图像的IQM值和熵值皆最高。综上所述，本文算法效率高，增强效果好。

选取BSDS500训练图库中编号为181018的图像进行实验，增强效果对比结果如图7所示。与原始图像[图7(a)]相比，图7(b)对应的HE算法处理效果曝光度较大，图7(c)对应的AHE算法处理效果色彩略有失真，只有图7(d)对应的本文算法与原始图像最为接近且图像边缘增强效果最好。

图5 3种算法的图像增强效果对比Fig.5 Image enhancement effect comparison of three algorithms

图8为3种算法增强处理后所得图像与原始图像对应直方图的对比。HE算法对应的图8(b)直方图分布较稀疏，说明图7(b)中低频灰度级信号量丢失较为严重。AHE算法对应的图8(c)直方图与本文算法对应的图8(d)直方图二者图形相近，与原图对应的直方图8(a)形状一致，灰度级分布也较为密集，说明二者整体增强效果较好，在保证局部区域细节信息得到增强的同时，又确保了图像边缘效果的整体均衡。

图6 原图及3种算法对应的直方图Fig.6 Original image and histogram corresponding to three algorithms

表2是对图7中3种算法对应图像增强效果的定量评价指标比较结果。原始图片[图7(a)]尺寸较图5(a)略大，算法执行耗时增多。所得实验数据再次表明，所提算法在PSNR、SSIM、IMQ、图像熵值和算法效率方面均表现最佳。

表1 3种算法的图像增强效果定量比较

图7 3种算法的图像增强效果对比Fig.7 Image enhancement effect comparison of three algorithms

图8 原图、HE、AHE以及本文算法增强后图像的直方图Fig.8 Image enhancement effect comparison of three algorithms

表2 3种算法的图像增强效果定量比较结果

4 结论

以图像边缘保持为基础，提出了反距离加权插值算法。在图像边缘区域，综合利用各个像素点周边的灰度信息，对图像边缘模糊处进行放大处理，寻找像素点的优化方向，最后利用反距离加权插值算法对优化方向后的边缘区域以及内部区域进行插值，缩短相邻两个像素点的距离，增强图片边缘的清晰度，从而使图片达到更好地视觉效果。与传统的线性插值法相比，该算法对图像整体增强效果好，解决了图像边缘模糊与局部过亮过暗的问题。此外，插值函数权值的连续使算法的适用性更好。