基于无人机和CNN图像识别的机场跑道异物搜寻与定位

曾 琛,王 玄

(1.中国民用航空飞行学院新津分院， 四川 新津 611431； 2.中国民用航空飞行学院空中交通管理学院， 四川 广汉 618307)

1 引言

机场跑道上的异物碎片FOD对飞行安全构成巨大威胁。在起飞和着陆等关键阶段，这些异物可能会对飞机造成损坏，美国联邦航空局发布了一份咨询通告，提供有关FOD检测设备的信息。FOD一直是影响起降阶段飞行安全运行的一个重要因素。2000年7月25日，法国航空4590号班机一架协和式飞机在巴黎戴高乐机场起飞过程中，因为跑道上的长条型金属条导致轮胎爆裂，轮胎的碎片并以高速射向机翼的油缸，造成的震荡波导致油箱盖受压并打开，大量燃油泄漏；引发爆炸，造成空难。协和式飞机因跑道上的金属部件发生事故后，FOD检测已成为一个令人振奋的研究领域，并获得了广泛关注。采用高效的FOD检测系统可以显著提高现代空中交通终端区起降阶段的安全性和便利性。然而，复杂的机场环境使得FOD的检测成为一项具有挑战性的任务。由于背景的变化和自动成像系统的影响，机场跑道上的FOD很难通过尺度不变特征变换(SIFT)、定向梯度直方图(HOG)和局部二进制模式(LBP)等传统特征来检测和识别。

随着微机电系统(MEMS)传感器的发展，使用无人机作为跑道图像采集平台，利用基于卷积神经网络(CNN)的光学成像传感器异物检测算法可实现搜寻定位跑道上微小的外来异物。

深度学习是大数据领域发展迅速的技术之一，由于显著提高了图像分类的效果，卷积神经网络(CNN)被广泛引入计算机视觉应用领域，如图像分类、人脸验证、语义分割，对象检测和图像注释等领域。此外，国内外学者还提出了一些基于CNN的算法来解决道路交通外来物安全问题。基于ImageNet、Pascal VOC和COCO等各种公开可用的数据集已证明CNN算法在图像检测和识别方面的性能优于传统的特征方法。与人工设计的特征相比，基于CNN的特征对于FOD检测具有更好的分辨率和鲁棒性。实际上，FOD问题包括两个任务：跑道上的物体分类和目标定位。针对这两个任务，文中设计并介绍了一种新颖的两阶段框架。在第一阶段，作为一种完全卷积网络(FCN)的区域生成网络(RPN)经过端到端训练来检测识别生成FOD的位置。在第二阶段，应用基于空间变换网络(STN)的CNN分类器来获得FOD尺度、旋转和翘曲等参数。由于STN优越的计算性能，无论图像是否失真，都可以通过生成的特征正确识别FOD。

为了解决机场跑道FOD识别检测问题，近年来国内外学者提出了一些有效的算法。基于不同传感器的算法，如主动扫描激光雷达系统、毫米波雷达系统和宽带96GHz毫米波雷达系统，可以在不同的环境中取得良好的效果。但是这些方法对噪声较小的FOD识别检测是有效的，但对复杂背景和噪声下的FOD识别效果则不好。实际上，基于CNN的图像识别检测技术已经应用的越来越广泛。为了检测机场跑道道面上的FOD，该研究设计了改进的RPN和基于STN的CNN分类器检测识别系统。

该研究构建一个基于无人机的一体化跑道异物目标检测和定位系统，将跑道搜寻任务所需的图像采集器集成到多旋翼无人机中，通过改进的RPN和基于STN的CNN分类器，无人机及图像识别系统可以自主执行图像采集任务，图像自动处理和FOD识别任务，FOD目标报告任务，以便及时清除跑道上的异物。

2 无人机信息采集系统

搜寻定位FOD任务流程如图1所示，地面控制系统(GCS)要求开始执行跑道异物搜寻任务后，地面控制系统将设计一条覆盖搜索区域的飞行路径，并将无人机送入空中执行任务。在飞行过程中，机载图像采集系统采集跑道道面图像信息后，交由图像识别处理系统，在识别跑道异物目标后向地勤报告相应的GPS坐标。

多旋翼无人机在可靠性方面相对固定翼无人机表现最为出色，考虑机械的可靠性,多旋翼无人机没有活动部件,它的可靠性基本上取决于无刷电机的可靠性,因此可靠性较高。而且多旋翼无人机能够悬停,利于悬停采集图像，相对固定翼更安全。因此选择多旋翼无人飞行器作为整个系统图像采集的基本平台，如图2所示。

图1 搜寻异物任务流程框图Fig.1 Flow chart of foreign object search task

图2 无人机图像采集的基本平台示意图Fig.2 Basic platform of UAV image acquisition

3 目标识别算法

跑道FOD识别检测框架包含2个阶段。首先，采用区域生成网络(RPN)生成一组原始目标，作为FOD的候选目标，通过此过程来减少计算量和固定图像大小。然后，引入空间变换网络(STN)来调整区域中的候选目标，使其不受尺度、旋转和扭曲的影响。最后，这些调整后的候选目标图像被送入CNN分类器，以提取特征并识别FOD目标。

3.1 使用改进的RPN定位筛选FOD候选目标

通常，在图像上应用滑动窗口是一种广泛使用的目标检测方法。通过规定设计好的FOD特征，可以从采集到的背景图像中识别出内部有FOD目标特征的窗口。FOD目标识别检测问题可以描述为滑动窗口中的分类问题。然而，滑动窗口识别FOD目标是一种效率极低的方法，需要耗费大量的计算时间和内存。近年来基于区域的卷积神经网络(R-CNN)方法常被用于图像识别领域。一方面，因为区域生成算法将候选目标数量从数百万减少到数百或数千个，区域生成算法比在整张图像上使用滑动窗口方法效率高；另一方面，区域生成算法在查找图像中所有目标时具有较高的召回率，可以显著提高目标定位效率。区域生成算法基于区域生成网络(RPN)，RPN将图像文件作为输入，处理后生成一系列具有相应对象性特征分数的矩形候选目标对象，在卷积特征图上滑动一个小网络即可生成如图3中的目标区域。在每个滑动窗口中，K参考区域具有不同的纵横比来识别不同区域的FOD特征。

图3 FOD识别检测RPN框图Fig.3 FOD identification and detection RPN framework

为了进一步减少FOD候选目标数量便于后期的分类，在RPN框架中设计并引入了新的目标筛选规则，以下提出了3种基于先验知识的筛选规则：

1通过RPN生成的候选目标再通过高纵横比进行过滤，高纵横比表示为

(1)

和分别是图像的宽度和高度，而是一个具有恒定值的阈值。

2包含FOD的目标区域应在[,]范围内，该范围表示为：

=×

≤≤

(2)

是区域生成的面积。

3由RPN生成的具有较高客观分数的目标被挑选出来，表示为

>

(3)

是客观判断的恒定阈值。

以上3条筛选规则的阈值设置为：=15、=60、=100和=08。通过以上3条筛选规则，改进后的RPN区域目标生成数量可以大大减少约60%。通过筛选可以生成数量更少、更准确的FOD候选目标。另外，FOD分类的效率可以大大提高。

3.2 空间变换网络(STN)

空间变换网络是一种有效的CNN框架，用于对图像进行缩放、旋转和扭曲。输入图像(,)，通过STN的映射变换，可以调整为校正图像′(,)。FOD分类器结构如图4所示，首先通过定位网络回归仿射矩阵，然后，使用预测的变换参数生成图像采样网格，采样网格是输入映射中的一组点，用于仿射变换。最后，利用特征映射和采样网格作为采样输入。STN的网络体系结构如图5所示。

图4 FOD分类器结构框图Fig.4 FOD classifier framework

图5 空间变换网络体系结构框图Fig.5 Spatial transformation network architecture

定位网络将宽度为、高度为和频道的特征图作为输入。然后，可以通过=()生成变换参数。定位网络的输出是来自全连接层的六维向量。

(4)

在方程(4)中，表示图像失真的仿射变换矩阵。

在采样器模块中，通过输入图像上的区域双线性插值计算′中的像素。获得所有像素值后，可生成校正图像′，如下所示：

′=(,)

(5)

表示双线性插值。

3.3 基于卷积神经网络的FOD分类

FOD分类结构如图6所示。每个提取的生成区域都会被识别为背景、石头或螺丝等异物。该识别程序采用卷积神经网络(CNN)分类器算法。该网络基于最著名的CNN算法之一的C型视觉几何群(VGG)模型。VGG模型中有13个卷积层和3个完全连接层。FOD分类网络根据Caffe工具箱中的ILSVRC2012数据集上预先训练的VGG模型进行微调。

图6 FOD分类器结构框图Fig.6 FOD classifier architecture

VGG模型的最后一层是一个有1 000个输出神经元的完全连接层，为了使应用程序与预先训练好的VGG模型相匹配，将VGG模型的前15层作为特征提取器，最后一层VGG模型用一个CNN分类器代替，用于预测背景、螺旋或石头等候选矩形区域目标，因此，分类网络的最后一层只需要3个输出神经元。

3.4 GPS变换定位目标

一旦将目标及其当前飞机位置报告给地面军事系统，将使用内部Matlab定位程序报告目标的GPS坐标。在本研究中，由于GPS模块位于摄像头上方，因此假设飞机的位置位于图像的中心。

可以使用相机的视野(FOV)估计图像的覆盖范围，图像采集器位置与坐标变换过程如图7所示。和方向上的距离使用式(6)进行估计。

(6)

图7 图像采集器位置与坐标变换过程示意图Fig.7 Image collector position and coordinate transformation

视频帧的分辨率设置为1 920×1 080像素。假设距离和像素之间的比例为线性关系，并在式(7)中表示为：

(7)

如图8所示，假设目标位于照片中的(，)像素上，目标与图片中心的偏移为

(8)

对于世界坐标到具有角的相机帧的变换，旋转矩阵定义为

(9)

式中，为飞机的偏航角。因此，世界帧中的位置偏移可以用

(10)

因此，目标的GPS坐标可以使用

(11)

其中和分别表示一个经度和一个纬度表示的距离。

4 FOD识别检测定位实验

本实验通过无人机机载成像系统采集天津滨海国际机场(ZBTJ)16R/34L跑道的道面图像，机场道面机载FOD检测系统如图8所示。该框架主要包括两部分：机场跑道道面图像采集部分和FOD识别检测部分。

DGPS：差分GPS(DGPS)基站和移动站可以提供FOD图像采集无人机和探测到的FOD的实时位置。

图像采集摄像机：共有4台GT2050C摄像机，分辨率为2 048×2 048，可同时扫描5 m宽。

FOD识别检测系统：根据图像识别检测跑道道面上的FOD，并将信息传送给FOD报警管理系统。

FOD报警管理系统：预测的FOD信息，包括图像和DGPS中的FOD类别和准确位置，作为报警信息发送给地勤部门并保存在数据库中。

图8 机场跑道道面无人机FOD识别检测系统框图Fig.8 Framework of airport runway pavement UAV FOD identification and detection system

为了满足25 fps的实时采样频率，图像采集无人机的速度应小于31.25 m/s，每帧的处理时间应小于40 ms。使用GTX1080ti gpu，所提出的检测算法可以达到26 fps的高精度，比原来更快的R-CNN算法速度快14 fps，比SSD算法速度慢31 fps。

4.1 数据集和训练

机场路面图像数据集包含12 231张图像，像素大小为2 048×2 048，由无人机图像采样系统采样。在这些图像中，包含有螺钉的图像3 562张，包含石头的图像4 202张。一张图像中异物碎片的数量从零到4个不等。在地面实况图像数据集中，螺钉和石头的边界框形状像素平均为80×80。RPN筛选出的目标区域下一步使用STN算法微调FOD检测分类器。≥07的目标区域视为正阳性值，而≤03的目标区域视为正阴性值。≥0.7的正阳性FOD采样样本和≤0.3的假阳性FOD采样样本如图9所示。前100张目标区域图像被选为训练样本。在数据集中，阴性值样本的数量远大于阳性值样本的数量。为了获得合理数量的候选目标，每次训练使用16张目标区域为石子的图像、16张目标区域为螺钉的图像和32张正常无异物背景区域图像。为了训练FOD检测分类器，60%的图像作为训练数据集，另外20%作为验证数据集，其余20%用于测试数据集。训练迭代次数设置为50 000次。学习率最初设置为0.001，每10 000次迭代后衰减0.1。

图9 IoU≥0.7的正阳性FOD采样样本(a)和 IoU≤0.3的假阳性FOD采样样本(b)图像Fig.9 (a) Positive FOD samples with IoU≥0.7 (b) False positive FOD samples with IoU≤0.3

4.2 FOD检测识别定位实验

由于大多数目标检测算法的序列结构和定位效率显著影响分类结果，尤其对于基于CNN的分类器，位置更准确的候选目标更容易被归类为FOD目标或正常背景。实际上，改进的RPN是通过添加基于先验知识的筛选特征规则获得高质量的FOD候选目标。为了评估生成区域的质量，不同算法生成的候选矩形区域数量如图10所示。图10显示了通过选择性搜索算法提取的候选矩形区域、更快的R-CNN中原始RPN算法提取的候选矩形区域以及改进RPN算法提取的候选矩形区域。

图10 不同算法生成的候选矩形区域数量示意图Fig.10 Number of candidate rectangular regions generated by different algorithms

图10中，图(a)(d)为通过选择性搜索算法的定位结果；图(b)(e)为通过原始RPN算法的定位结果；图(c)(f)为通过改进RPN算法的定位结果。

通过选择性搜索和原始RPN生成的区域大小不同，并且包含数量更多的目标对象，这种不确定性会影响FOD检测分类器的准确性和鲁棒性，并产生更多的假阳性结果。改进后的RPN生成的目标区域较少，位置更准确。为了比较生成区域的质量和数量，不同IoU级别的目标生成数量和召回率如表1所示。

表1 选择性搜索和RPN的目标生成数量和召回率Table 1 Recall results of selective search and RPN

一般来说，RPN生成的候选目标区域数量少于选择性搜索生成的候选目标区域数量，但召回率高出约10%。结果表明，RPN生成的目标区域质量更高，更易于后续FOD分类器进行识别。

4.3 FOD识别分类实验

STN算法用于学习和纠正图像失真，如缩放、旋转和扭曲等。实际上，使用STN的CNN分类器可以提高分类精度，尤其是在小数据集上。为了测量STN的分类效果，进行了4个对比实验。这4个实验分别是不带微调的FOD识别检测分类器、不带微调的基于STN的FOD识别检测分类器、带微调的FOD识别检测分类器和带微调的基于STN的FOD识别检测分类器。不同算法的分类结果如表2所示。

表2 不同算法的分类结果Table 2 Comparison of classification results of different algorithms

如表2所示，通过引入STN算法，FOD识别分类的召回率显著提高。这是因为STN减少了采样时图像失真的影响，与ImageNet或Pascal VOC方法相比，由于数据集中的样本数较少，无法用样本完全表示各种图像失真。通过对VGG模型的微调，基于STN的FOD分类器可以达到较高的分类精度。

4.4 与其他算法的比较

为了测试该方法的性能，该研究引入了其他3种目标识别检测算法进行比较。这些算法分布是更快的R-CNN算法、单次激发多盒检测器(SSD)算法和带有FOD检测器的选择性搜索算法。更快的R-CNN算法是第三代基于区域生成网络的CNN算法，其中提出了RPN算法来提高实时检测性能。由于RPN通过卷积特征映射而不是原始图像生成区域目标，在分类网络共享特征下，RPN能够以较少的运行时间获得较高的召回率。由于RPN提出的区域目标对各种目标形状具有良好的鲁棒性，因此更快的R-CNN算法是最流行的目标识别检测CNN算法之一。对于所有实验，如果正确识别候选目标的值大于0.5如果“联合交集”(IoU)与地面真值区域的重叠，这将被记录为成功召回。所有错误检测到的候选目标对象，包括错误排序的目标等都被视为假警报。具体而言，误报率(FAR)和召回率(RR)分别定义为：

(12)

式(12)中：为真阳性样本数；为真阴性样本数；为假阳性样本数；为假阴性样本数。

4种算法的FOD检测识别FOD目标的误报率(FAR)如表3所示，而不同算法的螺钉和石头的目标的召回率(RR)如表4所示。结果表明，该算法能够以最少的误报率和最高的召回率检测识别FOD。无论FOD的形状和大小如何，更快的R-CNN使用RPN作为候选检测网络，可以实现所有FOD类别的高召回率。

表3 FOD检测识别FOD目标的误报率(FAR)Table 3 False positive rate (far) of FOD detection and identification

表4 不同算法对螺钉和石子目标的召回率(RR)Table 4 Recall rate (RR) of different algorithms for screw and stone targets

由于改进了基于RPN和STN的高精度检测分类器，该算法实现了较低的误报率和较高的召回率。实际上，改进后的RPN有一些额外的筛选规则，可以避免更多FOD检测识别时的假警报情况。基于STN的识别检测分类器可以正确地将大多数区域正确识别为FOD目标。

为了比较4种算法的整体性能，根据不同的召回率分别计算不同算法的平均查全率(mMP)，结果如表5所示。该研究提出的算法实现了最高的mAP，这意味着该算法对FOD检测具有更高的有效性和鲁棒性。

表5 不同方法的平均查全率Table 5 Average accuracy of different methods

通过以上实验表明，因为改进的RPN生成的候选区域比其他检测算法具有更好的质量和数量，在我们的数据集中，基于使用RPN的FOD检测器优于基于使用快速R-CNN、SSD和选择性搜索的FOD检测器。基于STN的检测识别分类器可以正确地将大部分生成的区域以较高的正确率识别为FOD类或背景类，并且不需考虑图像失真问题。

5 结论

1) 多旋翼无人机平台是一个配备摄像机的跑道道面图像数据采集系统，可在一次飞行中实现道面图像信息采集。

2) 提出了基于区域建议网络和卷积神经网络以及空间变换网络的跑道道面异物碎片检测方法。

3) 为了提高区域建议网络生成的异物碎片候选目标的质量和数量，采用额外的区域生成筛选，此外，基于空间变换网络的卷积神经网络分类器可以不受图像中旋转、扭曲等影响，该算法比目前流行的一些检测算法，如R-卷积神经网络和单激发多盒检测器算法具有更高的有效性和鲁棒性。

4) 该系统可以降低异物碎片搜索定位和清除的时间和人力成本，提高效率，减少地勤工作量。该系统在机场跑道道面异物碎片检测中取得了更好的效果。