基于单目视觉的飞行器着陆跑道识别方法研究

刘 坤,肖子涵

(西安航空学院 电子工程学院, 西安 710077)

0 引言

机场跑道是指飞机场内航空飞行器(以下简称为飞行器)用来起飞或降落的条形区域,是机场基础设施的核心区域之一。准确识别机场跑道对于保障航空运输安全和提高运行效率具有重要意义。相较于有人驾驶飞机所采用的交互式引导而言,通过主动识别跑道,完成自主着陆是当前飞行器控制技术研究的热点问题。

目前,采用视觉图像开展跑道检测识别,主要以模版匹配法[1-3]和特征检测法[4-5]为代表。其中,模版匹配法通过将采集到的图像与预先建立的模板库进行相干匹配,检测识别出跑道特征。该方法具有检测速度快的优势,但由于模板库的建立费用高且困难,导致实际应用中准确率较低。特征检测法利用图像的局部特征,如颜色、形状、边缘等,进行目标检测和识别。在跑道识别中,需要预先了解机场跑道的特征和已知样本的特征,并进行训练和学习才能实现准确检测和识别。上述方法能够识别出跑道信息,但未从飞行器着陆的需求角度提取跑道与机体间的相对关系。

本文以单目摄像头为输入端,依据飞行器着陆任务对跑道特征的需求,以单目摄像头为输入,采用图像处理的方法,提取并感知跑道相对飞行器的位置关系,进而为飞行器着陆提供必要的引导信息。

1 机场跑道特征分析

机场跑道一般为长条形,由特殊材料(如沥青和混凝土)铺设,宽度和长度应满足不同机型的起降需求。正确识别跑道,对飞行器起降安全至关重要。机场跑道标识通常由跑道边线、跑道入口标志、跑道中线、跑道号码、接地区域标志和瞄准点标志组成。目前,有关跑道识别的研究主要集中于跑道边缘特征、标志特征的识别。从飞行器着陆过程实际来看,还应关注机体与跑道间的相对位置关系。

飞行器着陆由进场、轨迹捕获、下滑、拉平以及地面滑行等五个阶段构成。当高度和速度满足合适条件后,对机场跑道的捕获成为着陆的必要条件。确定跑道与机体之间的相对位置关系,建立下滑轨迹,并沿该轨迹飞行,高度不断降低,直至接触地面,发动机反推,刹车减速滑行。在无交互引导的情况下,对跑道与机体相对关系的感知尤为重要。

机体与跑道中线之间存在多种相对关系。三维空间可能出现飞行器与跑道高程差超出、处于以及小于安全着陆范围等多种情况;二维投影空间可能出现机体与跑道中线间存在平行、垂直以及相交等多种情况。图1所示为不同机场的跑道图像,可以看到航拍跑道与机体之间存在多种位置关系。

图1 跑道图像

机场跑道与飞行器机体相对位置关系的检测和机场跑道识别是为引导飞行器着陆。

2 基于单目视觉的机场跑道识别算法

2.1 视觉引导着陆原理

着陆阶段,对飞行器的高度、航向均有一定的要求。飞行器高度应与跑道处于一定高程差范围内,飞行器的航向延长线应与机场跑道中线相重叠。实际中,两者之间往往存在一定的角度,需要飞行器调整自身航向,以满足着陆要求。

因飞行器飞行姿态与轨迹的动态变化,在视场内呈现出的跑道图像也处于不断变化中。如下图2中,橙色线(垂直线)为单目摄像头呈现的中线,该线与机体航向延长线重合,图中黑线为跑道边缘示意线,虚线为跑道中心线。

图2 飞机跑道在单目视觉下的理论图像示意图

由图2可以看到,机体与跑道之间存在多种相对位置关系。在着陆时,若机体航向与跑道中线不重叠,由于飞行器着陆速度大,飞行器无法及时调整航向,容易导致飞行器冲出跑道,引发安全事故。为此,需要计算出两者之间的相对位置关系,在空中时,及时调整飞行器姿态,达到安全着陆要求。

2.2 跑道识别算法

为获取跑道相关特征,以目标识别方法处理跑道图像。相较于双目摄像头而言,虽然单目摄像头仅能获取二维图像,但在场景深度较大的环境下,应用范围更广,且成本较低。

通过单目摄像头,获得机场跑道静态图像。先对图像进行预处理,包括灰度、二值、滤波、膨胀腐蚀以及边缘检测等,再采用直线检测法,结合机体航向,给出跑道中线与机体航向间的角度关系,算法流程如图3所示。

图3 算法流程图

3 跑道识别的实现

3.1 图像预处理

在对获取到的机场跑道图像进行分析时,通过图像的预处理[6],能够提升图像的质量,增强图像细节,便于后续识别,从而更精细地构建识别算法,更加精确地获得更多跑道的有用信息。依据2.2节所述算法流程,对图像进行灰度化、滤波、二值化、膨胀腐蚀、边缘检测等预处理[7-8]。

3.1.1 图像灰度化

为提高图像处理效率、突出图像目标,首先对彩色图像进行灰度化处理。对于RGB图像而言,当三个分量数值相等时,图像为灰度图像,灰度范围为0～255。当灰度为255时,表示最亮;当灰度为0时,表示最暗。

常见的灰度化处理方法主要有三种:(1)最大值法,取R、G、B,三个分量中数最大的分量的数值;(2)均值法,取R、G、B三个分量中数值的均值;(3)加权平均法,根据人眼对于R、G、B三种颜色的敏感度,按照一定的权值进行加权平均得到。为保持图像均衡,此处采用加权平均的方法进行图像灰度化处理。

3.1.2 图像滤波

在灰度化处理后,考虑到实际图像在产生和传输过程中的信号不可避免地会与一些噪声混合。因此,需要对灰度化后的图像进行降噪处理,消除或降低噪声对图像的影响,提高边缘检测的精度,有利于后续导航作业。

常见的滤波去噪方法,主要有平滑滤波、中值滤波、高斯滤波。

3.1.3 边缘检测

边缘是图像中像素灰度值发生突然变化的区域,这些边缘通常对应于物体的轮廓或边界,是图像中物体的基础特征之一。边缘可以是亮度上的变化、颜色变化或物体边界等。在图像分析和计算机视觉应用中,边缘通常是非常重要的信息,可以提供有关图像中对象和场景的许多细节信息。边缘检测是图象处理边缘中的一项重要技术。

在边缘检测领域,微分算子被广泛应用于各种情况,包括一阶微分算子,如Roberts、Sobel、Prewitt等,以及二阶微分算子,如Laplacian、Canny等,它们在解决复杂问题时发挥着重要作用。

在灰度、滤波、二值化等处理后,对比了前述五种边缘算子的边缘检测效果,结果如图4所示。

图4 不同边缘检测效果图

根据边缘检测效果可知,Roberts算子具有较高的运算速度,因此在边缘检测领域中仍广泛使用。但在实际的应用中,相对于其它的边缘提取算子,该算子对噪声非常敏感,更适用于既需要突出边缘又不会受到太多噪声干扰的图像分割中。

Sobel算子本身有滤波功能,在计算过程中,采用了卷积运算,简单高效,效果优于Roberts算子,能更有效地提取出边缘信息,从而提高精度。

Prewitt算子是一种常用的边缘检测算子,具有灵敏度高、分辨率较高、对噪声抑制效果好等特点,可以用于实时边缘检测应用中。在实践中,可以根据不同的应用需求选择不同方向的卷积核来进行边缘检测。

Laplacian算子灵敏度较高,对图像中的高频部分非常敏感,可以很好地检测到边缘。还可以提高图像的对比度和清晰度,用于图像的增强。不过Laplacian算子对噪声非常敏感,所以在对含有噪声的图像进行边缘检测时,可能会出现误检测和漏检测。

Canny算子采用了两个阈值来区分强边缘和弱边缘。它首先计算图像中每个像素点的梯度和方向,然后根据这些梯度和方向信息来确定像素点是否位于边缘。通过仿真可以看到,相比于其它边缘检测算法, Canny算子能够更准确地检测出真正的边缘,同时排除一些假阳性检测。因此,文章后续研究中将采用Canny算子进行边缘检测。

3.2 跑道参数提取

在对机场跑道图像预处理的基础上,获取跑道与机体相对位置关系是跑道识别的目的。以跑道中线为提取要素,建立中线与机体航向的夹角关系。

3.2.1 跑道直线特征提取

Hough直线检测是一种图像处理算法,用于从图像中检测出直线。Hough直线检测将图像空间中的直线检测问题转换为参数空间中的点检测问题,利用点与线的对偶性,即图像空间中的直线与参数空间中的点一一对应,通过在参数空间中寻找峰值来完成直线检测任务。二维平面中,可采用两点式建立直线方程,设平面内可得两点坐标为P1(x1,y1)与P2(x2,y2),则直线表征如下

(1)

为避免直角坐标系内求解方程出现无穷问题,将直线方程转换至极坐标系,采用表征,故而式(1)又可描述如下

xcosθ+ysinθ=r

(2)

式(2)中:极坐标方向为图像横轴;θ为直线上的点与极轴夹角;r为直线上的点到定点距离。利用式(2)可建立图像中任意直线所对应的参数(r,θ)关系。

结合图2,以图像中的橙色线(图中垂直线)为机体航向。在机体坐标系内,则跑道方向与机体航向之间满足下式

(3)

式(3)中:σ为机体航向与跑道中线的夹角;ω为航向角。当σ=0°时,机体与跑道对准,在高度差满足时,可进行着陆。

3.2.2 效果对比图

利用MATLAB仿真平台,采用前述算法,对机场跑道进行特征提取和检测,结果如图5所示。

图5 跑道识别算法检测结果

图5(a)所示为航拍机场跑道原图,图5(b)、(c)、(d)、(e)、(f)、(g)和(h)分别为相应的灰度化图、二值化图、膨胀腐蚀图、Canny边缘检测图、Hough直线检测图、跑道中线还原图及角度计算结果。图5(f)和(g)中绿色线(斜线)所示为跑道边缘,红色垂线为图像中线,在摄像头固定后,可视其为机体航向。图5(g)对跑道中线进行了还原,即图中蓝色线(粗斜线)。图5(h)中,将检测所得跑道边线与航向进行处理,得到两者之间的夹角。

根据图5实例分析可知,文中所提算法可以比较准确检测出飞机主跑道边界的直线特征,并能进行特征参数的提取,实现跑道中线的检测,完成跑道识别的工作。

4 总结与展望

基于单目视觉的机场跑道识别是一种利用摄像机获取机场跑道场景,通过计算机视觉技术实现机场跑道位置估计和识别的方法。本文提出了一种通过检测跑道边线特征来对机场跑道识别的算法,在跑道识别之前,通过对跑道图像的灰度化,滤波处理,跑道图像二值化,膨胀腐蚀以及边缘检测这五个图像预处理步骤来提高跑道图像识别的精确性,在进行完跑道图像预处理后,对跑道图像进行Hough变换提取跑道直线特征,最后再通过提取出的直线特征参数来计算跑道中线与航向线的角度差,最后在处理过后的图像中还原出跑道中线,从而完成跑道识别。

本文算法是依靠单目视觉计算来对图像进行获取的,单目视觉只能获取2D图像信息,无法直接获取3D物体的深度信息。即使使用一些计算方法,如三角测量,也难以达到较高的精度。在本文中对跑道中线的计算取的是近似值,所得结果不够精确。因此,引入其它感知技术,如雷达、激光雷达等信息源,将其与摄像头图像信息相结合,可以使机场跑道识别更加准确可靠。此外,获取的图像容易受到环境光照、天气等因素会影响图像质量,在实际中需要加入能够应对雨、雪、雾等天气条件的识别算法后续还需深入研究,以提高机场跑道识别的稳定性和准确性。