一种改进的非锐化掩模深度图像增强算法

冯 策，戴树岭

(北京航空航天大学自动化与电气工程学院，100191北京)

深度图像的获取是机器视觉中的重要步骤，三维重建、碰撞检测、增强现实、模式识别等都依赖于对深度图像的分析.由于深度信息独立于光照以及物体表面的光反射特性，与传统的图像相比，深度图像不受光照改变以及阴影的影响，因此，深度图像更容易表现物体的特征，适用于提升机器视觉任务的可靠性和实时性.

深度图像通常由双目相机，阵列相机以及深度相机［1］进行采集，然而由于采集设备获取的深度图质量不高，通常存在图像缺失，分辨率低，以及噪声严重等问题，制约了深度信息在工业上的应用.所以如何来改善深度图的质量是本文所要研究的内容.

1 问题分析

由传感器获取的深度信息主要存在以下两方面问题:由于摄像头精度问题所固有的误差和光噪声;由于在物体边缘处存在深度不连续性，导致在对象的边界处会出现许多空洞，即深度缺失.

近些年，研究人员在深度图像质量优化方面做出了许多工作.在深度图降噪方面，文献［2］改进了自适应核回归算法，对深度图像进行了降噪的同时保持了细节，但是没有修复缺失，并且计算复杂度较高.文献［3］采用了三边滤波法进行降噪处理，并在时域上增强了图像细节，但预处理流程复杂，需要对图像进行分割以及前景提取等.在深度图修复缺失方面，文献［4］分别采用两种尺寸的窗体对深度图像进行中值滤波，大尺寸窗体用来填充缺失，小窗体用来平滑噪声，但是算法没有解决边缘毛糙的问题.文献［5］提出了时域滤波深度图修复增强算法，但是这种方法复杂度高，也不适用于修复单幅的深度图像.文献［6］在硬件方面作了创新，提出了结合深度相机与双目相机方式来修复深度图像，但是系统过于庞大，不易于实现.

这里针对传统修复算法存在的问题提出了深度图增强的分析方法:1)结合空间滤波算法与空间图像增强算法来提高图像质量，目的是滤除噪声同时增强被模糊的细节部分;2)深度图像的缺失通常存在于边缘部分以及深色部分，利用深度图对应的彩色图像相关性填补图像中缺失的部分.根据以上分析，本文改进了经典的非锐化掩模算法［7］，并结合了联合双边滤波法，构造出了自适应的深度图像增强的算法，既可以填补缺失，平滑噪声，又可以保持细节的清晰.

2 自适应的非锐化掩模深度图像增强算法

2.1 改进的非锐化掩模算法

如图1所示，经典的非锐化掩模是将图像的高频部分与原图像叠加的增强过程，如下式所示，高频部分是通过原图像与图像的低频部分作差得到的.通常深度图像包含3种类型的区域:边缘区域、平坦区域和细节区域，对应图2、3中的标号1、2、3部分，其中细节区域和边缘区域包含图像的重要信息，图像增强的主要目的是对这两类区域作适当的增强，同时尽量避免放大图像噪声.

图1 非锐化掩模算法

其中:Di为待处理的深度图，Do为增强后的深度图像为原图像高斯滤波的过程，ΔDi为得到的图像高频部分，λ为增强部分的权重因子．

非锐化掩模算法非常适用于深度图像的增强，原因如下:1)深度图和彩色图不同，彩色图像中存在高光和阴影等不希望增强的部分，而这些部分在深度图像中是不存在的;2)非锐化掩模的高频掩模部分，通常一侧是光晕，另一侧是阴影，如图4中的掩模ΔDi所示，主要适用于不同层次物体间的边缘以及细节区域的增强，而深度图像中高对比度的部分主要是边缘区域和细节区域.2006年Luft等［8］利用深度图的高频部分叠加到彩色纹理上，进而增强彩色图像的边缘以及细节部分.

经典的非锐化掩模算法的缺点是会导致平坦区域高频噪声的放大，如图1所示，本文思想是结合保边的滤波算法，克服经典方法的缺点，修复图像的同时增强图像细节以及边缘部分.

图2 高斯滤波掩模

图3 双边滤波掩模

从图2中可见，ΔD是原图像与高斯模糊图像作差所得到的高频部分，图2中标号2位置对应的ΔD是高频噪声，而这一高频部分是图像增强中所不需要的，因此如何滤除平坦区域的高频噪声，修补缺失，增强细节以及边缘区域部分是本文所追求的目标．根据需求本文联想到了保持边缘的滤波算法:双边滤波法．

经典的高斯滤波是利用局部加权平均的思想，但是平滑了图像的同时，也模糊了图像的边缘.为了保持图像边缘信息，Tomasi等提出了双边滤波算法［9］，不仅考虑了距离权重，也考虑到了像素灰度相似性，其中与中心像素相似的邻域像素的权重较大，即加权平均的贡献较大;而非相似的邻域像素则权重很小，几乎不参与加权平均，因此双边滤波这种特性很好地保持了图像边缘，即高频部分，模型如下式所示.

其中:Ⅰ为输出图像，Ⅰi为输入图像，wr为灰度相似度权重因子，ws为几何相似度的权重因子，权重函数为高斯分布函数．

从图3中可见，本文将双边滤波法应用到了一维图像上，并与原图像作差，仅得到平坦区域的高频噪声，而边缘区域的高频部分ΔD趋近于0．对比图2与图3，平坦区域ΔD基本相同，由此可知，如果参数设置适当，双边滤波法和高斯滤波法在平坦区域的滤波效果相似，因此可以利用这个特点对传统非锐化掩模算法进行改进:将双边滤波法应用到原图像上，平滑原图像平坦区域的高频噪声，再与高斯滤波的低频图像作差，得到了降噪的高频部分ΔD，如图3所示．图4(a)是经典的非锐化掩模算法得到高频部分ΔD，图4(b)是本文改进的算法得到的高频部分ΔD，可以看出改进算法后得到ΔD中的噪声部分趋近于0，利用去噪的ΔD进行局部掩模计算，这样得到的图像只会增强细节和边缘部分，不会增强噪声部分，有效地克服了经典非锐化掩模放大噪声的缺点．改进后的算法为

其中:Di为待处理的深度图，Do为增强后的深度图像为对图像进行双边滤波的过程，为原图像高斯滤波的过程，ΔDi为得到的像高频部分，λ为增强部分的权重因子．

图5为经典非锐化掩模的算法流程，对应式(1)、(2):待处理图像Di与经过高斯滤波的图像*Di作差得到掩模ΔDi，再将ΔDi乘以权重λ，并叠加到图像Di上，得到增强后的图像Do．

图6为改进后的算法流程，对应式(4)、(5):将经过双边滤波的图像*Di与经过高斯滤波的图像*Di作差得到掩模ΔDi，再将ΔDi乘上权重λ，并叠加到双边滤波的图像*Di上，得到增强后的图像Do．

图5 经典的非锐化掩模算法

图6 改进后的非锐化掩模算法

2.2 滤波器的改进

本文对式(4)中的双边滤波法的改进目标是保持边缘和细节清晰;填补缺失，平滑噪声．

深度图缺失通常是由于深度不连续性造成的，这部分缺失一般处于边缘位置，传统的图像缺失修复方式是利用窗口内邻域像素加权平均进行填充，但是处于边缘部分的缺失像素，其邻域会分为前景和背景部分，如果利用全部的邻域信息进行填充，会导致待填充像素信息的不准确，即前景和背景的混淆，这样就无法保证边缘以及细节部分的清晰性.

根据以上存在的问题进行分析:1)缺失区域的深度像素对中心像素的填充没有参考价值;2)只有处于同一平面物体的深度信息才有参考价值.根据以上分析，本文改进了增强算法中的滤波法，使其在抑制噪声的同时能够修复深度图像的缺失.本文利用联合双边滤波的思想来解决前后背景像素混淆的问题，联合双边滤波［10］是一种非线性的滤波方法，是在双边滤波法［9］的基础上提出来的，是结合了引导图灰度相似度和空间邻近度的滤波法.本文利用引导图像素间的灰度相关性来判断邻域像素是否有效，即对于中心像素是否具有贡献.邻域像素为有效像素，需要满足两方面的条件:1)不是缺失像素．如果不是缺失像素，其深度值可以作为加权平均的参考值，从实验获取的深度图，以及网上公开测试集中可知缺失像素的灰度值为0，因此本文将缺失阈值设定为0，即Dth=0，判定缺失像素的权重为H(Dq)，当Dq＞Dth时，此邻域像素不是缺失像素．2)与中心像素的灰度值相近．只有与中心像素处于同一平面的邻域像素才认为是有效的，同平面的标准是利用引导图像中的像素灰度相似性来判断，本文所使用的引导图像是深度图像对应的彩色图像，如下式所示，判定同一平面的权重为wr(Ⅰp，Ⅰq)，其中Ⅰp代表在彩色图像中p位置的像素，Ⅰq代表在彩色图像中q位置的像素，wr为高斯函数．

因此写成为

其中:Db为双边滤波后的深度图像，H(Dq)为判断像素是否有效的权重因子，Ⅰ为联合滤波的引导图像，Dth为判断像素是否缺失的阈值，ws(p，q)为距离权重，wr(p，q)为引导图灰度权重．

式(4)中的高斯滤波作用是获取低频信息，不需要保持边缘清晰，因此只需要填补缺失像素为

其中:Dg为高斯滤波后的深度图像，H(Dq)为式(8)所示，ws(p，q)为距离权重式(10)所示．

2.3 自适应图像增强

在有效的处理图像的同时，尽可能最大程度的保证原图像深度信息的准确性，避免引入新的深度信息，因此在叠加高频信息时需要对权重因子作适当优化.

自适应深度图像增强的目标:1)削弱叠加到高对比度(边缘)处的高频部分，避免过冲现象.2)重点增强低对比度的细节区域.

通过对高频部分|ΔD|观察，处于边缘处的|ΔD|值较大，一些细小几何结构变化部分的|ΔD|值较小，处于平坦区域的|ΔD|值接近于0，如图3所示．根据以上特点进行分析，本文改进了权重值λ，用自适应的参数替代了传统权重值λ．

因此λ·ΔD转化为

函数中的m为阈值，由图7可见，当|ΔD|高于m被削弱，即λ小于1，这样减弱叠加到高对比度处的高频部分ΔD，避免增强过度的情况;当|ΔD|低于m时被增强，即λ大于1，这样重点增强了低对比度的部分，弥补了传统滤波器会导致细节模糊的不足．参数E控制了削弱增强的程度．

对于阈值m的选取，对一组图片进行测试，当λ=1时，归一化后的|ΔD|为0.032 5时的图像会出现过冲效果，因此本文选取m值为0.032 5，函数曲线如图8所示．通过实验效果和曲线两方面进行比较，E=-3时效果最为理想．从曲线中可以看出，当E=-4时λ·ΔD超过了0.032 5，而E=-2时高对比度部分增强过度．

图7 自适应权重λ曲线图

图8 λ·|ΔD|曲线图

图9为不同λ叠加效果，由图9(c)的图片可见，|ΔD|＞0的部分是非平坦区域，包括边缘和细节变化区域:ΔD＜0是边缘内侧部分，用ΔD-表示，ΔD＞0是边缘外侧部分，用ΔD+表示，当ΔD＜0时叠加后的边缘内侧会呈现光晕状，ΔD＞0边缘外侧会呈现出阴影状．由于光晕出现在边缘内侧，即相对的前景物体上，如果光晕范围过大或者过强会影响前景物体深度信息的准确性．

如图9(a)所示，方框内脚部边缘的光晕过强.因此ΔD-部分要弱于ΔD+部分，本文改进了式(5)，对于不同ΔD使用不同的权重因子来增强，即

其中:Di为待处理的深度图，Do为增强后的深度图像，*Di为原图像双边滤波的过程，λ+和λ-分别为ΔD+和ΔD-高频部分的权重因子．

图9的4幅图展示了是不同权重下的深度图像增强效果.其中9(a)、9(c)、9(d)是 λ+与 λ-相同时的增强效果，而9(b)是λ+与λ-不同时的增强效果，对比可见9(b)的效果较为理想.

图9 不同λ叠加效果

3 实验结果

采用本文所提出的方法对一组kinect采集的深度图像［11］进行处理，如图10所示.针对640×480分辨率的深度图像，当滤波窗口大小为15×15，灰度权重的标准差σr为0.1，距离权重的标准差σs=5时的实验效果比较理想．图10中将本文的算法结果与修复缺失的双边滤波法结果进行比较，从放大的细节区域可以看到，本文算法对于细节部分给予了很好的增强．

图10 实验结果

由图10中细节放大部分可见，宠物的毛绒边缘增强效果比较理想;其中第5行图片中，玩偶帽沿的边缘部分以及鼻子细节部分增强效果也较明显.

4 结论

1)提出了改进的非锐化掩模深度图像增强算法，利用联合双边滤波法对图像的高频信息进行提取，克服了传统方法放大高频噪声的缺点，增强了深度图像边缘以及细节的部分.

2)采用了深度信息对应的彩色图作为引导图，修复了深度图像的缺失，改善了深度图像的质量.

3)在一组低质量的深度图像上测试了该算法，图像质量提升效果明显.但是算法缺点是在修复较大缺失过程中比较耗时，滤波窗口的尺寸不满足实时性的需求.由于该算法满足并行计算的要求，因此下一步计划在GPU上实现该算法，并尝试采用引导滤波法［12］来提升效率.

［1］FOIX S，ALENYA G，TORRAS C.Lock-in time-off light(ToF)cameras:a survey［J］.Sensors Journal，IEEE，2011，11(9):1917-1926.

［2］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancementusing adaptive steering kernel regression based on distance transform［J］.Lecture Notes in Computer Science，2011，6938:291-300.

［3］KIM S Y，CHO J H，KOSCHAN A，et al.Spatial and temporal enhancement of depth images captured by a time-of-light depth sensor［C］//20th International Conference on Pattern Recognition(ICPR).Istanbul:IEEE，2010:2358-2361.

［4］MAIMONE A，FUCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］//10th IEEE International Symposium in Mixed and Augmented Reality(ISMAR).Basel，Switzerland:IEEE，2011:137-146.

［5］MATYUNIN S，VATOLIN D，BERDNIKOV Y，et al.Temporal filtering for depth maps generated by kinect depth camera［C］//3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video(3DTV-CON).Antalya，Turkey:IEEE，2011:1-4.

［6］KIM S Y，LEEE K，HO Y S.Generation of roi enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54:732-740.

［7］LEU J G.Edge sharpening through ramp width reduction［J］.Image and Vision Computing，2000，18(6/7):501-514.

［8］LUFT T， COLDITZ C，DEUSSEN O.Image enhancement by unsharp masking the depth buffer［J］.ACM Transactions on Graphics，2006，25(3):1206-1213.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］//International Conference on Computer Vision(ICCV).Bombay:IEEE，1998:839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23(3):664-672.

［11］LAI K， BO L， REN X， et al.A large-scale hierarchical multi-view RGB-Dobject dataset［C］//2011 IEEE International Conference on Robotics and Automation(ICRA).Shanghai:IEEE，2011:1817-1824.

［12］HE K，SUN J，TANG X.Guided image filtering［M］.Heidelberg，Berlin:Springer，2010:1-14.