基于自适应纹理复杂度的仿生视觉导航方法研究

王 霞，左一凡，李磊磊，陈家斌

(1.光电成像技术与系统教育部重点实验室，北京理工大学光电学院，北京 100081；2.北京理工大学自动化学院，北京 100081)

0 引言

近几年，无人机在军用和民用领域均有较大发展，其在军事侦察、勘探、搜救、大气探测、无人农业、城市测绘等领域都发挥了重要作用[1]。现阶段主流的无人机导航方法主要依靠惯性导航系统(Inertial Navigation System，INS)以及全球定位系统(Global Position System，GPS)进行导航，但是由于惯性导航积分的过程存在累计误差，且需要进行导航初始化，而GPS信号容易受到地形遮挡和信号干扰等因素的影响[2-3]，所以发展可以补偿惯导和GPS不足的导航方式极为重要。

有研究发现，鸟类以及昆虫能够利用光流来判断速度、实现避障等，所以将光流的概念引入到无人机、无人车、机器人等相关领域的导航中[4]。之后大量计算机视觉以及生物学专家提出了各种光流算法，包括基于梯度的Lucas-Kanade算法[5]和Horn-Shunck算法[6],以及基于SIFT特征的光流算法[7-8]等。其中稠密光流算法由于精度较高，可获得稠密光流图像的特点被广泛使用。此外，通过研究大量蜜蜂飞行实验发现，蜜蜂感知飞行距离还受到颜色、纹理和对比度等影响[3]。同样，在光流算法中，对于图像上纹理欠丰富区域中的特征点，由于区域内像素灰度变化不明显，会降低光流跟踪时的计算精度[9]。

稠密光流在进行全局计算时，受到图像纹理的影响尤为明显。因此，本文提出了一种基于自适应图像纹理复杂度提升光流精度的方法，该方法通过灰度共生矩阵对图像纹理复杂度做出评价，再计算Farneback光流[10]，通过最小二乘法建立纹理复杂度与光流精度之间的函数关系，通过此函数关系可有效提升在弱纹理图像中的光流精度，进而提升仿生光流导航精度。

1 图像纹理复杂度对光流精度的影响

光流是三维空间运动的二维投影，当物体运动时，其在二维图像上的亮度会同时发生变化，光流就是这种图像亮度模式的运动。根据连续图像前后帧之间的像素在时间上的变化和其相关性，可求得前后帧之间的一一映射关系，进而求得两帧之间物体的运动信息，这种方法叫做光流法[11]。

设在t时刻某帧图像在点(x,y)的亮度值为E(x,y,t)，在t+ 1时刻图像上像素间位移为(dx, dy)，可求得水平和垂直速度分别为

u=dx/dt

(1)

v=dy/dt

(2)

通过Δt时间间隔后，此位置相应的亮度为E(x+Δx,y+Δy,t+Δt)，假设图像的亮度改变是平滑的，可将上式进行Taylor公式展开得

E(x+Δx,y+Δy,t+Δt)=

(3)

忽略式(3)中二阶无穷小项，同时假定Δt是极小量，并认为同一目标点在不同图像帧中的亮度不变，化简式(3)得

(4)

Exu+Eyv+Et=0

(5)

求解此方程可得到速度u和v的值。

根据上述光流计算公式可知，光流精度和图像梯度有紧密联系，下面通过仿真实验，分析实际应用中两种影响光流计算精度的情况。一是相同场景下不同的模糊退化程度和大气条件对光流精度的影响，这是由于传递函数的改变影响了图像梯度变化，从而使光流精度受到影响；二是相同模糊退化程度和大气条件下，不同纹理特性场景对光流精度的影响，这是由于图像本身缺乏纹理，从而导致图像梯度不足造成光流计算不能得到理想的结果。

本文选取TOPS场景仿真软件中晴天天气下的遥感图像，太阳高度角为53.85°，时间为14:00，通过相机平行移动获取100组实验图像，为减少计算量，选取图像中心500×500的区域进行计算。

首先进行模糊退化程度对光流影响的仿真实验。高斯模糊的过程是将图像中每个像素都与其周围像素根据卷积核做加权平均，中心像素有最大权重，距离中心像素越远权重越小，通过卷积核的不断移动，遍历整个图像，从而将整幅图像模糊。所以本文使用高斯模糊模拟不同程度模糊退化对光流精度的影响。使用图1(a)所示晴天仿真图像进行仿真实验，设置模糊半径为2，标准差为1，统计3次不同模糊程度下100组图像的光流平均精度，发现模糊程度与光流精度确实存在关系，模糊程度越高，光流精度越低，其结果如表1所示。

表1 图像模糊程度与光流精度关系Tab.1 Relationship between image blur level and optical flow accuracy

本文选取同一场景、时间和太阳高度角，对三种不同大气条件下的图像进行光流计算，分析其对光流精度的影响。选取晴天、薄雾(下文统称雾天)和阴天3种大气条件，如图1所示，分别统计每种大气条件下100组图像的光流平均精度，统计结果如表2所示。可以看出，晴天和雾天光流精度较好，而阴天光流精度较差。

(a)晴天

(b)雾天

(c)阴天图1 不同大气条件下的遥感图像Fig.1 Remote sensing images under different atmo-spheric conditions

表2 不同大气条件对光流精度的影响Tab.2 Effects of different atmospheric conditions on optical flow accuracy

最后，本文选取图1(a)所示晴天条件遥感图像中的三种典型纹理特性区域，构建农田、城镇以及森林场景，如图2所示。其中，农田的纹理明显少于其余两种场景。分别统计每种场景中100组图像的光流平均精度，对比纹理对光流精度的影响，如表3所示。结果表明，农田场景的光流精度明显低于其他两种场景。

(a)农田

(b)城镇

(c)森林图2 不同场景对比图Fig.2 Comparison of different scenes

表3 不同场景图像对光流精度的影响Tab.3 Effects of different scene images on optical flow accuracy

综上所述，图像模糊退化、大气条件变化以及不同纹理特性场景都可以影响光流精度，但其本质都是图像纹理复杂度的变化导致图像梯度发生改变，进而影响光流精度。

2 图像纹理复杂度与光流精度的关系

无论是图像模糊程度还是大气条件变化或场景选取都和图像纹理复杂度息息相关。图像纹理的本质就是相邻像素值的变化，而这也正是光流计算的关键问题。所以，本文选择一种描述图像纹理的方法，并拟合其和光流精度的关系，这是光流优化以及仿生视觉导航算法精度提升的重要步骤。

在灰度图像中，在一定距离内的像素间存在一定联系[12]，这是描述纹理的主要思路。在多种描述纹理的方法中，灰度共生矩阵通过对图像像素间关系进行统计，可描述灰度空间的联系，并可对纹理特征进行量化表述[13]。这种量化表述方法与光流计算图像间像素位移有一定联系，因此，本文选取灰度共生矩阵作为描述纹理的方法。

首先，将一幅图像的灰度分为多个等级，根据灰度等级和像素间隔构建灰度共生矩阵。Haralick等[13]在共生矩阵的基础上定义了14个特征参数用于纹理分析，其中对比度反映了图像的清晰度和纹理沟纹深浅的程度，纹理的沟纹越深，反差越大，效果清晰；反之，对比值小，则沟纹浅，效果模糊。而光流计算则是判断图像灰度值的位移，沟纹越多，位移量计算越准确。所以，对比度参数可以很好地反映图像纹理的情况，以及在不同模糊程度下纹理复杂度和光流精度的关系。因此，本文选择14个特征参数中的对比度参数进行纹理复杂度的分析。

光流算法采用Farneback光流法，该算法是Farneback[10]提出的一种稠密光流计算方法，其精度高于Lucus-Kanade光流法[14]。Farneback算法通过设定图像梯度和局部光流恒定的方法[11]，把输入图像用二维函数表示，并通过二维函数的变化推出光流值。

计算三种不同场景不同模糊程度的100组图像的光流精度和图像纹理复杂度，并绘制统计图。以雾天大气条件下一次高斯模糊图像为例，其纹理复杂度和光流精度关系如图3所示，可以看出，光流精度与纹理复杂度呈现近似线性关系。

图3 雾天大气条件下高斯模糊图像纹理复杂度与光流精度的关系Fig.3 Relationship between texture complexity and optical flow accuracy of the Gaussian blur image in foggy atmospheric conditions

通过评价图像的纹理复杂度，可以建立其与光流精度的关系。与图3示例类似，三种大气条件和三种模糊度下都存在近似一次函数的关系，说明可以通过拟合函数进行光流精度的优化。

3 基于纹理复杂度的光流优化算法

低纹理复杂度的图像具有较低的图像梯度，从而对光流的计算造成困难。针对不同纹理复杂度的图像进行稠密光流计算发现，纹理复杂度与光流精度基本呈线性关系。根据这一现象，本文设计了一种基于纹理复杂度的稠密光流优化算法。首先，采用Farneback算法计算光流；然后，根据灰度共生矩阵对比度评价图像纹理复杂度；第三，使用光流真值除以计算得到的光流值得到光流的补偿系数；最后，利用最小二乘法建立图像纹理复杂度和光流补偿系数之间的函数关系。基于该函数关系，实际运动图像可以根据纹理复杂度确定光流补偿系数，从而修正光流值，获得高精度的光流计算结果。算法流程如图4所示。

图4 基于纹理复杂度的光流优化算法流程图Fig.4 Flow chart of optical flow optimization algorithm based on texture complexity

4 仿真实验

基于TOPS场景仿真软件平台，仿真输出三种模糊退化程度和三种大气条件场景，对基于纹理复杂度的光流精度优化效果进行了仿真实验验证。

在第一组仿真实验中，选取晴天遥感图像作为仿真场景，如图5所示。模拟无人机获取的图像数据，设置拍摄高度300m，俯仰角度90°，即垂直向下拍摄，地面分辨率0.3m，拍摄帧频10帧/s，飞行速度15m/s。由于计算速度原因，每次选取图像中心500×500的区域作为实验图像，并进行1～3次高斯模糊，设置模糊半径为2，标准差为1，模糊后结果如图6所示。

图5 晴天遥感图像Fig.5 Remote sensing image on a clear day

(a)原始图像

(b)一次高斯模糊

(c)两次高斯模糊图6 不同程度高斯模糊图像Fig.6 Gaussian blur images with different degree

由图6可知，不同程度高斯模糊后的图像在肉眼观测下并无较大差异，但是通过拟合后可知，其对光流精度产生较大影响。选取100组仿真图像，并剔除光流值精度小于25%的数据，通过对不同程度高斯模糊的一系列图像进行Farneback光流法计算，求得对应的光流优化系数；同时通过灰度共生矩阵计算对比度后作为纹理复杂度，再用最小二乘法拟合得到光流优化系数和纹理复杂度的关系图，如图7所示。

(a)原始图像

(b)一次高斯模糊

(c)两次高斯模糊图7 纹理复杂度与光流优化系数关系图Fig.7 Relationship between texture complexity and optical flow optimization coefficient

从数据拟合的结果可以看出，模糊程度越高，即整体纹理复杂度越低的情况下，直线斜率的绝对值越大，表明整体纹理复杂度越低，光流精度对纹理复杂度变化越敏感。同一模糊程度下光流精度与纹理复杂度呈线性关系，不同模糊程度图之间没有线性关系。因此实际应用中，需要根据具体场景，拟合纹理复杂度和光流补偿系数函数，从而更好地提升光流计算精度。

根据图7所示纹理复杂度与光流优化系数关系，选择仿真图像中同等模糊程度的不同图像区域进行优化前后光流精度提升效果对比实验。测试区域与拟合函数区域不重叠，但场景类似，不去除任何异常值，每组模糊程度取100组数据求平均值，优化前后光流平均精度对比结果如表4所示。

表4 三种不同模糊程度光流精度对比Tab.4 Comparison of optical precision flow in three different blur conditions

测试结果表明，随着模糊程度的加深，光流平均精度逐渐下降，基于纹理复杂度和光流优化系数拟合函数优化后，光流平均精度均有较大程度的提升。

通过设定3000组实验图像，计算出相机飞行1272.79m时不同模糊程度光流导航的定位误差对比如表5所示。

表5 三种不同模糊程度定位误差对比Tab.5 Comparison of position error results in three different blur conditions

第2组仿真实验选取晴天、雾天以及阴天的遥感图像作为仿真场景，仿真设置与第一组一致，不进行高斯模糊。实验结果如表6所示。

表6 三种不同大气条件光流精度对比Tab.6 Comparison of optical precision flow in three different atmospheric conditions

实验结果表明，不同大气条件下光流精度都可以得到相应的提升，阴天情况下由于纹理复杂度较低，其精度提升效果更好。表7给出了三种不同大气条件下1272.79m飞行距离的定位误差。

表7 三种不同大气条件定位误差对比Tab.7 Comparison of position error results in three different atmospheric conditions

5 结论

本文针对纹理复杂度对光流精度产生影响的问题，仿真了几种不同纹理复杂度的图像，并分别拟合了对应的光流补偿函数，建立了基于自适应纹理复杂度的稠密光流优化模型。实验结果表明：

1)多数情况下，当整体纹理复杂度越低，本文方法对光流精度的提升越明显。这是由于低纹理复杂度的情况下光流计算值远低于真实值，所以拟合函数的大斜率可以更好地补偿光流计算的不足，从而得到更好的效果。

2)光流精度与纹理复杂度呈线性关系，可以有效补偿低纹理复杂度时的光流计算误差，仿真实验结果表明，优化后的光流精度均有较明显的提升。

3)本文方法需要根据少量数据拟合特定场景的光流补偿函数，然后在此场景图像获取条件下实现光流精度的提升，若成像条件发生变化需要重复上述工作。

后续工作将会开展以本文算法应用于机械臂水平运动的光流导航或者无人机平稳飞行等场景下的应用研究，重点解决算法的实时性问题，扩大适用场景，克服其局限性。