树叶图像镜面反射区自动定位和消除方法

付 慧， 黄心渊

(北京林业大学信息学院，北京100083)

0 引 言

镜面反射区域常常出现在很多照片图像中，这使很多计算机图像处理的工作，例如边缘检测，图像分割，目标识别等产生一些错误结果。很多图像处理和计算机视觉的算法都假设图像具有很好的漫反射表面并且将存在镜面反射的图像视作异常值，不予考虑。但是，在现实世界中，尤其是在自然光照下拍摄的照片中，不均匀光照的影响和镜面反射的存在是不可避免的。因此，为了消除图像中的镜面反射区域，研究人员们提出了很多定位镜面反射区的方法。

1 相关知识

本文的工作是基于一类特殊对象——树叶图像来定位镜面反射区域。树叶图像是林业野外资源调查中最常拍摄的图像，受自然光照的影响，图像中存在镜面反射区的情况很常见。而在林业研究中，主要基于树木上可测量的各种参数来估计植物生长量。除了利用手动测量各个参数之外，根据图像得到更精确的参量数据是目前林业科研的一个新方向。树叶图像是目前研究的较多的一类图像。利用从图像中提取的参数与实测的如树高、冠幅等参数来估计植物的生长情况。在树叶图像中准确分割出树叶区域就能够计算叶面积，叶长、叶宽等作为估计植物生长量的有效指标。目前传统的叶面积计算方法是通过在图像处理软件中手动抠取树叶的外轮廓，然后以像素个数替代叶面积。将自动化的图像处理方法引入林业研究中，将进一步提高林业的数字化，自动化水平。目前已有一些研究者开始了这方面的研究。侯国祥等[1]利用参照硬板和树叶照片获取树叶的实际面积。该方法不考虑树叶图像存在镜面反射的问题。但是即使是不存在镜面反射的树叶图像在自然光照下也存在图像光照变化较大的问题，导致图像进行全局性分割是不可行的。只好采用局部分割方法来得到图像中的树叶区域，而这种局部分割方法受图像初始分割的影响很大。如果划分的不好，则无法完整的提取树叶图像。王代琳等[2]利用神经网络的方法进行树叶识别，主要利用树叶图像的可见外形特征，如叶面积，叶边缘和叶轮廓。这些特征都会受光照的影响而出现提取错误。树叶的外轮廓常常具有边缘丰富的特点，边缘又是梯度变化剧烈的区域，也常常表现为高亮成分，这与镜面反射区很相似，难以区分。因此需要研究一种能够有效区分边缘与镜面反射成分的方法。

图像中镜面反射区的定位方法是一个热点问题，它涉及到图像拍摄时的光照变化，物体的表面材质特性，还有成像时镜面反射的光学原理等很多方面，因此也是一个难点问题。在图像处理研究中，图像增强主要关注光照不均的图像，重点在增强暗区的细节表现。对于存在镜面反射区的图像主要研究镜面反射区的定位和消除方法。目前在指纹成像，人脸识别，医学图像增强等领域都有了积极的研究成果。在图像增强领域，目前应用很广的有Retinex[3]理论及由其扩展而来的MSR[4]，ADCSR[5]等多个算法。Retinex理论是由EdwinLand于19世纪70年代提出的一种颜色恒常知觉的色彩理论。Retinex理论主要包含两个方面：物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均匀性的影响，具有一致性。Retinex相关算法能够将图像中的强光区域抑制，增强暗区细节。刘茜[6]等提出了区域分割的自适应MSR来处理图像光照不均的问题。

早期的镜面反射区定位工作以Wolff[7]为代表，分割出灰度图像上的镜面反射区域。由于在光学上镜面反射成分是偏振的，漫反射成分是无偏振的，因此利用一个偏振滤波器放置在图像传感器之前采集一系列的旋转图像，镜面反射成分会随着滤波器旋转角度的变化而变化。但这种方法的缺点是需要一系列的图像，不能直接对单张图像进行镜面反射区定位，具有很大的局限性。目前在公安上应用这种方法进行指纹成像。李欣[8]等基于偏振光照相方式，消除镜面反射的影响，显现镜面客体上遗留的潜在指纹。

近期以Shafer[9]为代表，提出了使用一幅彩色图像定位镜面反射区的方法。他提出了一种双色反射模型(dichromaticreflection model，DRM)。物体表面光照主要由漫反射成分和镜面反射成分组成。漫反射反映的是物体本身的颜色特征，镜面反射反映的是入射光的颜色特征。Shafer认为光滑材料表面反射的光线中，漫反射与镜面反射成分具有不同的颜色，在颜色空间中处于不同的位置。镜面反射成分的颜色就是入射光的颜色，而漫反射的颜色取决于材料表面的颜色。Shafer将图像中每个点的颜色看作不同方向的两个矢量的和 (一个是入射光颜色，一个是材料表面颜色)。双色模型能够较好的定位镜面反射区，但是同时其计算量也非常巨大。Klinker[10]发展了双色模型，提出一种T型分布算法。但这种方法受相机噪声的影响较大，并且T型分布在很多情况下也不能很好的获得，因此估计出的光源颜色也不是很准确。目前，很多研究者正在研究双色模型的改进方法。如孙欣欣等[11]提出了一种最佳分析窗口的改进方法。将双色模型计算的范围缩小到一个最佳窗口上，以减低计算的复杂性。陈锻生等[12]提出了一种基于双色模型检测彩色人脸图像中镜面反射区的方法。该方法应用了一个新的彩色空间TSL(tintsaturationluminance)，基于该空间利用DRM进行镜面反射区的定位和辐射校正。G Z[13]提出了一种定位子宫图像中镜面反射区的方法。他利用混合高斯模型，基于HSV颜色空间进行定位。该文中还介绍了镜面反射区消除方法：利用确定的镜面反射区像素邻域中的非镜面反射像素的颜色均值进行替换，从外向内迭代进行。该方法比较适合镜面反射区面积较小的情况。谭平等[14]基于镜面反射区与漫反射区光的色度特性不同，提出了一种交互检测单色物体表面镜面反射区的方法。引入补色方法对原图像镜面反射区进行消除。

上述方法都是有效的，但要应用于树叶图像还要结合树叶图像的特点。树叶图像中背景常常是叶片和树皮等有自然纹理的区域，具有较为复杂的边缘。而边缘又易与镜面反射区相混淆。叶片上的漫反射区与镜面反射区常具有极为相近的颜色特征，使得在颜色空间中无法准确分割这两部分内容。基于以上问题，本文将图像增强方法和镜面反射区处理方法相结合，提出了一种组合Retinex算法和混合高斯模型的方法。利用 Retinex算法能够准确定位图像中高亮度范围的优势得到初始镜面反射区，然后利用混合高斯模型能够对细微的差别进行区分的特性，基于RGB颜色通道分别建立对应的高斯混合模型，并通过加权组合找到最终的镜面反射区。该方法能够准确的定位出树叶图像中多个离散的和大面积的镜面反射区，准确率达到88%。由于分别在每个颜色通道进行GMM计算，因此计算复杂度也不高。最后基于GMM确定的漫反射区色调均值修正镜面反射区的颜色。实验结果显示本方法是有效的。

2 自然光照下树叶图像镜面反射区定位方法

树叶图像上的镜面反射区域常位于叶片上各种不同的位置。在本文中假设镜面反射区只出现在树叶图像的叶片上。Retinex算法可以消除图像中光照不均现象，并且增强图像暗区的细节和抑制图像亮区的强度。

2.1 初始镜面反射区定位

我们发现传统的图像增强方法如 Retinex算法虽然不能移除镜面反射区，但是它可以抑制镜面反射区的亮度值。如果找到那些亮度被Retinex算法抑制的区域，就找到了镜面反射区。在Retinex算法中使用的高斯函数定义如下

式中：——尺度常数，尺度越小，就可以移除尽可能多的光照不均造成的影响，使暗区亮度增强，使亮区亮度抑制。本文中=80。在增强后的图像中，树叶图像中镜面反射区域像素的亮度值会被减弱，小于原始图像中对应区域像素的亮度值。我们计算增强图像与原始图像亮度的差值，像素值为负值即表示该像素的亮度受到抑制，可能是镜面反射区。初始镜面反射区域由式(2)得到。原图像划分为初始镜面反射区和漫反射区

式中：——一个常数，范围[0,1]。的值越大，则初始镜面反射区越大，反之初始镜面反射区越小。在本文中 =0.4。参数是增强图像与原图像亮度差值中的最小值。图1(a)显示了原始树叶图像，图1(b)显示了检测到的初始镜面反射区域。从图像中我们可以发现一些检测到的区域属于树叶上的叶脉成分，不属于镜面反射区。我们需要进一步的区分它们。

图1 原图像和定位的初始镜面反射区

2.2 基于GMM得到最终的镜面反射区

我们发现镜面反射区与漫反射区具有不同的颜色值。树叶图像中，从镜面反射区到漫反射区颜色是逐渐变化的，因此在3维颜色空间中无法得到很好的分割，原因在于镜面反射区与漫反射区的颜色差别非常小。为了使镜面反射区和漫反射区的颜色差别变得更加突出，使用RGB这3个独立的颜色通道代替3维的RGB向量空间。这样降低维度之后进一步提高了运算的速度。GMM常被用于模式分类，本文中选择它用于分割初始镜面反射区成为最终的镜面反射区和漫反射区。

假设初始镜面反射区中存在两个类别：一个是镜面反射区，另一个是漫反射区。因此本文中，参数 =2。同时本文中=1，代表着一个颜色通道。为了突出体现像素之间的颜色差别，我们计算初始镜面反射区的颜色均值 ，基于式(4)得到每个像素与均值的颜色差

式中：——初始镜面反射区中任意一个像素的颜色值。得到的颜色差是用于训练GMM的数据集。每个颜色通道的颜色差集合能训练一个GMM，从而得到该颜色通道的一个分割结果。

我们使用EM算法来训练GMM[15]。首先使用k均值算法来得到聚类的初始中心，然后利用EM算法得到每个高斯模型的参数值。结束条件为迭代的次数超过所设定的最大值(本文为5)。基于式(5)对初始镜面反射区像素进行标定

GMM的训练过程需要多次的迭代，需要花费大量的时间，同时在训练时使用的数据量也非常大，这是因为初始镜面反射区常常面积较大。因此我们必须简化一些处理过程。这里我们选择欧几里得距离而不是后验概率来进行标定，能够减少部分计算时间。我们将高斯模型中均值较大的作为镜面反射区的颜色均值，基于式(6)将每个GMM的标定结果作如下修改，使高亮区的标定统一为1。

初始镜面反射区在RGB每个颜色通道的分割结果如图2(a)，2(b)，2(c)所示。检测到的镜面反射区用灰色表示。我们可以发现在图2(a)中检测到的灰色区域包含了几乎所有的镜面反射区范围。考虑到自然光中红色通道具有更多的能量，我们为每个颜色通道设定了权值。红色通道的权值最大，为0.4，绿色和蓝色通道的权值分别为0.3。所有权值和为1。我们用式(7)得到最终的分割结果，这里阈值为0.7。图2(d)中深灰色区域即为检测到的镜面反射区。

图2 3个通道的分割结果及最终定位的镜面反射区

3 树叶图像镜面反射区消除方法

由于镜面反射区的颜色与漫反射区不同，因此常使得后续的分割出现错误的结果。因此在得到镜面反射区范围之后，我们需要将其消除，使其不再干扰后续的图像分割等工作。传统的镜面反射区消除工作常常是将镜面反射区像素颜色替换为其邻域中所有漫反射像素的颜色均值，由外向内迭代的进行运算。这种方法对于镜面反射区较小的图像是有效的。但是在本文中，树叶图像中可能存在大面积的镜面反射区，采用这种迭代方法非常耗费时间。因此我们提出了一种简单有效的镜面反射区消除方法。由于在确定最终镜面反射区时我们得到了初始镜面反射区中漫反射的高斯模型。该值统计的是漫反射区域颜色与初始镜面反射区均值差的平均值。因此需要在其基础上加上初始镜面反射区颜色均值，作为镜面反射区像素的替代颜色值，这样就消除了镜面反射区，如图3所示。虽然该消除方法在外观上看有明显修饰的痕迹，但是其定位准确，修正速度快。如果希望得到更逼真的修图效果，我们可以结合颜色抖动，或者利用每个像素其邻域漫反射像素的颜色值，可以通过并行计算来加快计算速度。这也是我们后续研究的部分内容。

图3 消除镜面反射区的结果

4 实验和结果分析

本文给出的方法在20幅主要以树叶为背景的图像上进行测试。要求测试图像是以一个树叶为主要成分，同时镜面反射区只出现在树叶上。每个测试图像中采用在PS2中手工标记的方式得到实际的镜面反射区域。本文提出的算法的性能采用准确率来估计。

手工标定测试图像中的镜面反射区是通过PS2中的套索工具将区域轮廓进行抠图所得，是近似区域，无法达到像素级别的准确度。而且，手工标定镜面反射区域的结果高度依赖于不同的人的标定风格。因此，利用足够多的人进行标定以达到一个可靠的标定结果是困难的。所以，在本文中采用的评价指标准确率由式(8)得到

我们选取了20幅图像测试了本文算法。与文献 [13]相比，我们的准确率到达88%，要高于它的85.8%。准确率的提高主要在于将Retinex算法与GMM相结合，组合了两者的优势，Retinex算法用于在整幅图像上确定高亮度区域，GMM用于在局部范围内定位镜面反射区。这样就有效的将树叶图像上的边缘与真正的镜面反射区进行了区分。

部分测试图像在图4(a)中显示。图4(b)中深灰色区域为检测到的镜面反射区。(c)显示了镜面反射区消除后的结果。由于只能采用灰度图像显示，所以效果看不起来不明显。但对比图4中(c)和(a)中图像，可以看到原图像上镜面反射区的亮度被降低了。

本方法的局限性是如果背景中存在较高的亮度区域，目前还无法用本方法处理。如果背景是亮的天空，或者是亮的地面则本方法在初始镜面反射区确定时，会将天空和地面都作为镜面反射区检测出来。而我们的GMM主要考虑的是两类区分，没有考虑除了树叶叶面上漫反射区和镜面反射区两类之外，存在其他类别的问题。因此，要解决这个问题还需要选择合适的特征，将GMM扩展，使其能够区分多个类别。这样就能将天空，亮色的地面与镜面反射区相区别开。同时我们也需要利用更多的与树叶的相关知识来帮助进行树叶和背景区域的分割。这是我们后续研究的内容。

5 结束语

图4 部分测试图像及结果

我们提出了一种自动检测和消除树叶图像中叶片上镜面反射区域的新方法。针对树叶图像中边缘较多，背景复杂的情况，综合利用了图像的整体亮度变化和局部颜色区别，组合了Retinex算法和GMM方法来实现镜面反射区定位。本文提出的方法能够消除镜面反射区对树叶图像的影响，对树叶图像的良好与处理将对树叶图像的后续分析(图像分割，图像识别)起到积极的作用。本文的方法目前还不能处理图像的背景中存在高亮度区域的情况。这个问题可以通过扩展训练高斯混合模型的特征和引入更多的关于树叶的先验知识来解决。这是我们后续的研究重点。

[1]侯国祥,翁章卓,李洪斌,等.基于图像处理的树叶面积测量系统[J].武汉植物学研究,2005,23(4):369-372.

[2]Wang D L,Zhang X M,Liu Y Q.Recognition system of leaf images based on neuronal network[J].Journal of Forestry Research,2006,17(3):243-246.

[3]Land E H.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[4]汪刘艳,王绪本.多尺度Retinex算法在简牍图象增强中的应用[J].计算机科学,2009,36(3):288-290.

[5]唐磊,赵春霞,王鸿南,等.基于各向异性Retinex的路面图像阴影消除[J].中国图象图形学报,2008,13(2):264-268.

[6]Liu Qian,Li Xiang-lin,Lu Xin-hong.Adaptive MSR method based on region segmentation[J].Journal of Computer Engineering,2009,35(24):205-207.

[7]Wolff L B,Boult T.Constraining object features using polarization reflectance model[J].IEEE Trans Magn,Pattern Analysis and Machine Intelligence,1991,13(7):635-657.

[8]李欣,王桂强.偏振光照相显现镜面客体上的潜在指印[J].刑事技术,2007(1):7-8.

[9]Shafer S.Using color to separate reflection components[J].InternationalJournalof Color Research and Applications,1985,10(4):210-218.

[10]Klinker G J,Shafer S A,Kanade T.The measurement of highlights in color images[J].International Journal of Computer Vision,1988,2(1):7-32.

[11]孙欣欣,徐舒畅,卢涤非.基于最佳分析窗口的高光检测批[J].计算机工程与设计,2007,28(6):1469-1472.

[12]陈锻生,刘政凯.彩色图像人脸高光区域的自动检测与校正方法[J].软件学报,2003,14(11):1900-1906.

[13]Moreno G Z,Greenspan H.Automatic detection of specular reflections in uterine cervix images[C].San Diego,CA,USA:SPIE Conference on Medical Imaging,2006:2037-2045.

[14]谭平,杨杰,雷蓓,等.用于去除单张图像高光的光照约束补色[J].软件学报,2004,15(1):33-40.

[15]Christopher M Bishop.Pattern recognition and machine learning[M].New York,USA:Springer Science Business Media,2006:435-438.