基于深度学习的航拍图像自适应拼接方法

潘 文,张海民

(1. 宣城职业技术学院 信息工程系，安徽 宣城 242000; 2. 安徽信息工程学院 计算机与软件工程学院，安徽 芜湖 241000)

经济的高速发展，使我国的工况条件、工业环境、地质地貌等均发生了很大变化，通过传统遥感技术早已无法满足人们在信息获取方面的需求，此时，无人机航拍这种新型信息获取技术应运而生。无人机拥有灵活轻巧、体积小、机动性强的特点，通过无人机航拍获取的图像能够应用于海洋环境监测、灾害监测和评估、卫星图片合成、地图测绘、危险区域侦查等多个领域。利用无人机拍摄航拍图像时，会受到尺度变化、旋转变化以及光照变化等因素的影响，需要对实施航拍图像的拼接处理。

纵观目前的研究成果，图像拼接主要基于特征、变换域、灰度等方向实现，其中最常用的是基于特征的拼接法。随着该领域的研究成果越来越多，也有学者提出新的拼接方法。王晓鹏等就传统拼接方法中的重影、局部扭曲等问题进行分析，通过大视差补全法进行航拍图像拼接，获得了很好的拼接效果[1]。李艳玲等从局部图像融合与简单变换模型两个方面对拼接效果提升途径进行探讨，通过分块曝光补偿实现局部图像融合，降低空间和时间方面的开销，实现拼接视角的扩大[2]。综合以上研究成果，结合深度学习技术对航拍图像拼接进行研究，提出一种基于深度学习的航拍图像自适应拼接方法，实现精确、快速、高效的图像自适应拼接。

1 基于深度学习的航拍图像自适应拼接方法设计

本文提出的基于深度学习的航拍图像自适应拼接方法，通过辐射校正、几何校正，对航拍图像实施图像预处理，采用精搜索和粗搜索相结合的方式，实施航拍图像的配准处理。基于深度学习的卷积神经网络，构建航拍图像分类模型，实现航拍图像的分类。通过直线特征来约束网格变形的图像自适应拼接算法，实现航拍图像自适应拼接。航拍图像自适应拼接流程如图1所示。

图1 航拍图像自适应拼接流程图

1.1 航拍图像预处理

为有效实现航拍图像自适应拼接，首先需要预处理航拍图像。对航拍图像实施图像预处理，具体步骤包括辐射校正、几何校正[3]。

其中辐射校正采用的方法是灰度级线性变换[4]。用公式（1）表示灰度线性变换。

式（1）中g（x, y）指的是变换后（x, y）这一像素点的对应灰度值；f（x, y）是指原图像（x,y）这一像素点的对应灰度值；B指的是原图像实际灰度分量的对应最大值；A是指原图像实际灰度分量的对应最小值；C指的是图像变换后实际灰度分量的对应最小值；D指的是图像变换后实际灰度分量的对应最大值[5]。

通常D与C的取值为255、0，此时的线性变换具体如图2所示[6]。

图2 线性变换

当原图像绝大部分灰度级位于[A, B]区间时，仅有一小部分处于该区间外，需要通过公式（2）进行灰度线性变换。

式（2）中，J指的是原图像灰度最大级[7]。

在几何校正中，坐标系统变换采用的方法是共线方程，具体处理步骤如下：

①用Q表示摄影中心，用（XQ, YQ, ZQ）表示物空间坐标，用P表示物方空间中的一点，用（X, Y, Z）表示P点的坐标。接着用P表示影像上P点的像点。用（x, y, -t）来表示P点在像空间坐标系中的实际坐标；用（XP, YP, ZP）来表示P点在辅助像空间坐标系中的实际坐标[8]。

②摄影中心、物方空间中的一点、影像上P点的像点呈现三点共线的状态，通过相似三角形理论可知像空间坐标系及其辅助坐标系的关系可以用公式（3）表示。

式（3）中，h指的是平方比例因子[9]。

接着根据（XP, YP, ZP）与（x, y, -t）的关系反算式对两个坐标系的空间关系进行推算，其中（XP, YP, ZP）与（x, y, -t）的对应关系可以用公式（4）来表示。

在公式（7）中代入公式（3），可以获得公式（8）的共线方程。

③根据公式（8）的共线方程进行摄影测量。

1.2 航拍图像配准

在预处理航拍图像后，通过精搜索和粗搜索相结合的方式实施航拍图像的配准处理，即对相似曲线获取的匹配位置实施适当地扩展，并将其单独划分出来，通过较快速度的传统配准方法实施缩小范围内的精匹配，以获得耗时小、更高精度的匹配[11]。其中精匹配的方法选择Harris角点检测[12]。

其中航拍图像窗口平移[u, v]后，所产生的灰度变化可以用公式（9）来表示。

式（9）中，s（x, y）指的是窗口函数；I（x,y）是指航拍图像实际灰度；I（x+u, y+v）指的是平移后航拍图像对应灰度。

将公式（9）写成矩阵形式，具体如公式（10）所示。

式（10）中，Ix指X方向上的差分；Iy指Y方向上的差分。

通过R分析矩阵的特征值，可以对角点、边缘、平坦区进行判断。当两个特征值均较小时，即为变化较为缓慢的平坦区域；当两个特征值一个小一个大时，即为边缘区域；当两个特征值均较大时，即为角点区域。

通过角点响应函数计算R矩阵的特征值，将角点响应函数定义为公式（11）。

式（11）中，L指角点响应函数；detR指R矩阵的一阶差分公式；traceR指R矩阵的高斯滤波；x1、x2指角点分布阈值[13]。

1.3 航拍图像分类

在配准处理航拍图像的基础上，基于深度学习实施航拍图像分类。通过卷积神经网络构建航拍图像分类模型，实现航拍图像的分类。

构建的航拍图像分类模型中含有很多深度卷积网络子模型，分别对深度卷积网络子模型进行训练，并保存模型参数[14]。当测试时，在各子模型中输入待测试的航拍图像，统计多个模型的对应输出结果，出现次数最多的图像类别即为模型实际分类结果。

构建的航拍图像分类模型具体如图3所示。

图3 构建的航拍图像分类模型

1.4 自适应拼接

根据航拍图像分类结果，实施航拍图像自适应拼接。设计一种通过直线特征来约束网格变形的图像自适应拼接算法。

在设计的算法中，首先利用网格划分航拍图像，然后利用LSD 算法对直线特征进行提取，将网格顶点坐标集作为依据对局部相似性、全局相似性、直线保护各约束项、局部单应性的总能量函数进行定义[15]。最后于稀疏线性系统中对最小能量误差的网格顶点集进行求解，以指导网格变形，并完成航拍图像的融合，最终实现图像的自适应拼接[16]。

其中求解最小能量误差的网格顶点集主要使用稀疏线性求解器。在稀疏矩阵中代入约束项，可以获得公式（12）。

式（12）中，K2指直线约束项的实际残差向量；J1、J2、J3、J4指在网格顶点集E'处约束项所对应的顶点矩阵；K1指全局相似项的实际残差向量。

通过对上式进行求解即可获得最优顶点集E'。

航拍图像的融合主要通过图像映射来实现，并通过加权平均融合法实施图像平滑处理。

2 所提方法性能测试

2.1 实验数据

通过多组图像序列对设计的基于深度学习的航拍图像自适应拼接方法实施性能测试，并分别采用文献[1]方法、文献[2]方法和设计方法进行对比，具体评估性能指标包括时间复杂度、视觉不一致性、失真矫正度。

实验中使用的航拍图像数据是通过大疆无人机精灵3无人机采集获得的，在图像场景中存在明显直线结构和一定的视差。实验图像的分辨率是3 000*4 000，具体如图4所示。

图4 实验数据集

通过实验数据集对文献[1]方法、文献[2]方法和设计方法的性能进行测试。

2.2 时间复杂度测试结果分析

首先测试文献[1]方法、文献[2]方法和设计方法的时间复杂度，即对文献[1]方法、文献[2]方法和设计方法的图像预处理、图像配准、图像分类、自适应拼接的用时进行测试。

三组数据集的耗时测试结果具体如表1所示。

根据表1三组航拍图像数据集的耗时测试结果，与文献[1]方法、文献[2]方法相比，设计方法的图像预处理、图像配准、图像分类、自适应拼接的用时均较低，说明设计方法的时间复杂度较低，能够实现较快的图像自适应拼接。其中图像分类、图像预处理步骤的耗时较低；图像配准、自适应拼接步骤的耗时较高。

表1 三组数据集的耗时测试结果

2.3 视觉不一致性测试结果分析

接着对文献[1]方法、文献[2]方法和设计方法的视觉不一致性进行测试。主要是将VISD，即视觉不一致性的均值作为评价缝合线优劣的实际度量准则，用AVISD来表示，其计算公式具体如公式13和14。

公式13和14中cost指的是误匹配度量矩阵；sort{·}是指排序函数；cost（x, y）指的是图像缝合线代价值；N是指图像路径搜索长度。

文献[1]方法、文献[2]方法和设计方法的AVISD测试结果具体如图5所示。

图5 不同方法的AVISD测试结果

根据图5的AVISD测试数据，与文献[1]方法、文献[2]方法相比，设计方法在将数据集拼接图像分为四个部分后，每个数据集四个部分的AVISD测试值都较低，说明设计方法缝合线处的拼接效果良好，拥有良好的航拍图像自适应拼接性能。

2.4 失真矫正度测试结果分析

对文献[1]方法、文献[2]方法和设计方法的失真矫正度进行测试，同样将数据集拼接图像分为四个部分，对四个部分的失真矫正度进行分别测试，测试结果具体如表2所示。

表2 失真矫正度测试结果

根据表2的失真矫正度测试数据，与文献[1]方法、文献[2]方法相比，设计方法在将数据集拼接图像分为四个部分后，数据集1、2、3四个部分的失真矫正度都较高，说明通过设计方法能够实现航拍图像拼接中的高度失真矫正，表示设计方法的航拍图像自适应拼接性能良好。

3 结束语

在航拍图像自适应拼接问题的研究中，实现了精确而快速的图像自适应拼接，具体来说，取得了以下成果：首先，通过航拍图像的辐射校正、几何校正处理，实现了航拍图像拼接前的图像处理工作，使航拍图像颜色趋于一致，便于进行后续的拼接处理；其次，通过精搜索和粗搜索相结合的方式进行了航拍图像的配准处理，使航拍图像实现了匹配与对齐，直接提升了航拍图像自适应拼接的精度，通过深度学习实现了航拍图像分类，便于进行图像的自适应拼接；最后，设计了图像自适应拼接算法。本研究取得的成果对于无人机遥感技术的发展有一定启发意义，但仍存在很多问题尚未解决，将会在后续的研究中进行研究成果的完善。