基于小波变换的农田图像光照不变特征提取算法

蔡道清 周洪宇 覃程锦 李彦明 刘成良

(上海交通大学机械与动力工程学院， 上海 200240)

0 引言

农机智能化是当前农业智能化领域研究的热点[1]，而基于视觉的环境感知技术是实现农机智能化的关键。农机在户外环境作业时，不同时刻对应的自然光照情况存在较大差异。因此，基于原始图像的传统特征提取算法鲁棒性较差，光照多变性已成为限制机器视觉在农机智能化应用的重要因素。

为降低自然光照多变性的影响，国内外学者们提出了许多图像预处理算法。文献[2-3]采用RGB颜色空间，利用归一化2G-R-B作为颜色特征因子，增强图像中绿色比重；文献[4-5]将RGB颜色模型转换为YUV[6]颜色模型，削弱光强，突出农作物颜色特征；文献[7-8]在HSV颜色空间内处理图像，HSV颜色模型将色彩和亮度分离。文献[9-10]将RGB颜色模型转换到对数色度空间，在对数空间找到特殊方向，以产生光照不变图，其中，文献[9]使用相机校准的方式寻找方向角，文献[10]引入最小熵方法计算方向角。上述方法通过增强农作物颜色特征或者转换颜色空间，在空间域处理图像，这在一定程度上降低了光照对图像的干扰。

根据Retinex理论[11-12]，图像包括光照成分和物体反射成分两部分，光照成分可以看作原始图像的低通滤波后的图像，即原始图像的低频部分。因此，通过在原始图像中去除某些低频成分，能够获得不受光照影响的特征。 本文从图像频域出发，提出基于小波变换的农田图像光照不变特征提取算法。对原始图像进行剪裁和归一化等预处理，选用Haar小波基对原始图像进行多级小波分解，以阈值法更新小波高频系数，进而重构获得多尺度反射模型，最终提取光照不变特征。

1 Retinex光照模型

根据Retinex理论，图像I(x,y)可以表示为

I(x,y)=R(x,y)L(x,y)

(1)

式中R(x,y)——(x,y)处像素的反射成分

L(x,y)——(x,y)处像素的光照成分

R(x,y)仅由图像场景中物体表面的反射特性决定，而L(x,y)由光源决定，是图像中的光照成分。因此，对于自然光照下的农田图像，可以以反射成分R(x,y)作为其光照不变特征。直接获取R(x,y)是比较困难的。根据文献[13]中的假设，图像中光照成分随着像素空间位置的变化而缓慢变化，即光照成分对应图像中低频部分；而图像中反射成分对应高频部分。因此，通过平滑原始图像[14-15]可以近似得到光照成分L(x,y)，进而获得反射成分R(x,y)，即光照不变特征，公式为

(2)

将原始图像转换到对数域空间，简化式(2)，可得

R′(x,y)=I′(x,y)-L′(x,y)

(3)

其中

R′(x,y)=lnR(x,y)

I′(x,y)=lnI(x,y)L′(x,y)=lnL(x,y)

平滑操作应仅在具有均匀照明的像素中进行，因为诸如投射阴影的照明不连续性违反了亮度缓慢变化的假设。如果直接平滑这种不连续性，会产生光晕伪像。因而，通过平滑原始图像得到近似图像，进而提取光照不变成分的方式无法有效去除光照不变特征中的阴影特征[11]。

2 农田图像光照不变特征提取算法

2.1 离散小波变换

小波变换常被用于信号多分辨率分解，信号f(x)的离散小波分解式为

(4)

式中j0——任意的开始尺度

cj0(k)——尺度系数

dj(k)——小波系数

φj0,k(x)、ψj,k(x)——尺度函数和小波函数

图像作为二维函数，由1个二维尺度函数φ(x,y)和3个二维小波函数ψH(x,y)、ψV(x,y)和ψD(x,y)构建。小波函数度量图像灰度沿不同方向的变化：ψH(x,y)度量灰度沿列方向的变化，ψV(x,y)度量灰度沿行方向的变化，ψD(x,y)度量灰度沿对角线方向的变化。因此，尺寸为M×N的图像f(x,y)的离散小波变换为

(5)

式中Wφ(j0,m,n)——f(x,y)在尺度j0处的低频系数

φj0,m,n(x,y)——尺度函数

2.2 农田图像多尺度反射模型

农田图像二级小波分解如图1所示。图1a中，HH1、HL1和LH1是原始图像一级分解后的高频系数，对一级分解后的低频系数LL1再进行小波分解，可得到二级分解后高频系数HH2、HL2和LH2，低频系数LL2。因为Haar小波基具有简单实用、易编程实现等优点，本文采用Haar小波基对农田图像二级分解，如图1b所示。

图1 农田图像二级小波分解图

小波变换将原始图像分解成低频部分和高频部分，不同级别的小波分解能够得到不同尺度的低频图像。在第j级的小波分解后，将高频部分值重置为0，只保留低频部分，根据修改后的高频信息和未修改的低频信息重构原始图像，可得到原始图像I′(x,y)的近似图像L′j(x,y)，此图像包含的是原始图像的低频信息。在对数域，作原始图像和近似图像的差，得到原始图像的反射成分图R′j(x,y)。假设原始图像做了J级的小波分解，则会生成J幅不同尺度下的近似图像，进而得到J幅反射成分图，结合J幅反射成分图构造农田图像多尺度反射模型，即

(6)

其中，φ(·)是一个非线性函数，本文选择的是反正切函数，因为反正切函数能够一定程度上减少高频噪声[11]。

在上述得到近似图像L′j(x,y)过程中，没有考虑原始图像中可能存在阴影的问题。图像中的阴影部分对应着光照不连续的地方，是一种高频信息，应该在近似图像中保留这一特征。直接重置小波分解后的所有高频系数值为0，使得近似图像中缺失了阴影对应的高频信息，从而在反射成分图中出现了阴影特征，显然，这样得到的反射成分图不是光照不变特征。

2.3 农田图像光照不变特征提取

在原始图像经过小波分解后得到的高频信息中，大部分信息对应着图像场景中物体的反射成分，阴影部分对应的高频信息比较少，因而，可以将表征阴影部分的高频信息看作高频信息里的噪声。使用基于小波的收缩方法能够检测此噪声[16]。

以对农田图像第j级小波分解为例，说明如何检测阴影部分对应的高频信息，并更新小波高频系数。令Y(j,o)表示农田图像第j级小波分解后得到的小波系数，其中，o=0、1、2、3，分别对应着LL、HL、LH、HH子带。对于高频子带中每一个像素(x,y)，以阈值T判断其是否对应阴影部分的频率。

(7)

式中η(j,o)——农田图像第j级分解后o子带中像素是否表征阴影的检测结果

阈值T的计算式为

(8)

(9)

(10)

(11)

式中γ——阈值调整系数

Mj、Nj——农田图像第j级小波分解后子带尺寸

Median(|Y(1,3)(x,y)|)——农田图像一级分解后的LH子带中像素值的中值

因为η(j,o)是农田图像第j级分解后o子带中像素是否表征阴影的检测结果，以η(j,o)更新原始小波系数Y(j,o)(x,y)，可得

(12)

对应着低频信息的Y(j,0)(x,y)保持不变，即

(13)

(14)

式中W-1——小波反变换算子

(15)

2.4 执行细节

为得到高品质的光照不变特征，在实际试验中需要考虑：①对相机采集的原始图像进行裁剪，使得图像尺寸为2的整数次幂。②小波变换前对图像进行归一化处理，使得图像像素均值为0，方差为1。③农田图像进行了四级小波分解与重构。④在0～8.0之间，每隔0.5对γ取值，对同一场景不同光照条件下的农田图像提取光照不变特征，比较其相似度。当γ=5.0时，不同光照条件下的农田图像对应的光照不变特征相似度最高，因此，试验部分γ均为5.0。

3 试验与分析

3.1 光照不变特征提取质量分析

为验证所提算法的有效性，以上海市松江区农田为试验对象，采集了同一场景不同光照条件下的农田图像，提取其光照不变特征，如图2所示。同时，以欧氏距离为标准比较其相似度，生成相似度矩阵图，如图3所示。

图2 不同自然光照下的原始图像和光照不变图的对比

图3 原始图像和光照不变图的相似度矩阵图

图2原始图像对应的采集时间分别是10:00、12:00、14:00、17:00、18：00。可以看出，在不同时刻，由于自然光照的变化，采集到的同一场景下的原始图像差别很大，然而，通过本文所述算法提取的光照不变图相似度很高，物体特征几乎不受光照影响。图3以欧氏距离评判两两图像的相似度，图中每一个单元格都表示两幅图像的相似度，颜色越接近白色，则对应的欧氏距离越小，说明两幅图像相似度越高。从图3a可以看出，原始图像两两相似度不高，尤其第1幅和第5幅图像，相似度很低；而图3b中，每一个单元格颜色都趋向于白色，证明两两图像相似度比较高。因此，基于本文所述算法提取的农田图像光照不变特征是有效的。

3.2 基于光照不变特征提取农作物航线

机器视觉在农业领域的重要应用是提取农作物航线[17-20]。为进一步验证所提算法对光照变化的鲁棒性，开展了农作物航线提取试验，具体提取流程为：①预处理原始图像：裁剪和归一化。②提取光照不变特征图。③以Otsu算法计算阈值，并得到二值化图。④在二值化图上实行形态学闭运算，并作图像的恒等反变换。⑤提取航线。

其中，基于步骤④得到的形态学操作图，步骤⑤以如下方式提取航线：①将形态学操作图横向均分为m行。②分别计算m行中每一列上白色像素的数目，并将每一行中白色像素占比大于60%的列标记为1，其余列标记为0。③从每一行的中心点开始向左、向右迭代，当遇到第一个为0的列时迭代停止，根据左右停止位置值计算中间位置值。④对m行的中间位置值进行线性回归，求得航线的斜率与偏移量。

图4 10:00农作物航线提取结果

图5 12：00农作物航线提取结果

图6 14:00农作物航线提取结果

图7 17:00 农作物航线提取结果

图8 18:00 农作物航线提取结果

图4～8分别是不同时刻对农作物提取航线的结果。其中，从原始图像可以看出，农作物的光照条件有明显差异；图4～8中b、c、d对应着步骤②、③、④；图4～8中e为最终的航线提取图，红色线是人工标注的航线参考线，蓝色线是算法提取的航线，可以看出，无论是自然光照比较好的情况，还是光照不理想的情况，基于光照不变特征提取的航线都比较准确，航线误差在±2°以内。因此，光照不变特征增强了机器视觉在自然光照条件下应用的鲁棒性。

同时，在NVIDIA的Jetson TX2硬件平台上，包括光照不变特征图提取和航线提取的算法总耗时在300 ms以内。根据ZED相机官方手册，相机有效测量距离是0.3～20 m，试验中在距离相机20 m的位置放置标志物，相机视野中可以清楚地看到标志物，由此可见，相机前视距离能达到20 m，能够满足农机正常作业的实时性要求。

4 结论

(1)提出了基于小波变换的农田图像光照不变特征提取算法。从图像的频域出发，基于Retinex光照模型，通过多级小波分解分离图像高低频成分，进而构建多尺度反射模型，以阈值法消除图像中阴影部分对光照不变特征的影响。从相似度对比试验结果可以看出，该算法提取的特征图几乎不受自然光照的影响，且能够极大程度保留场景中的物体特征。

(2)该算法对光照变化具有较高的鲁棒性，基于光照不变特征获取的农作物航线具有较高精度，与人工标注的参考线误差在±2°以内，能够满足农机导航的精度要求。同时，在NVIDIA的Jetson TX2硬件平台上，算法总耗时在300 ms以内，相机前视距离可达20 m，能够满足农机正常作业的实时性要求。