基于无人机平台的多视角倾斜影像匹配相关技术研究

摘要：为了研究多视角倾斜影像技术发展，找出匹配难点，文章综述了当前匹配策略；通过对无人机平台的五视角相机的影像获取和处理技术进行了实际研究；在金字塔多级匹配、单应约束、核线几何约束三种常规影像匹配方法帮助下，提出了基于POS的匹配策略。研究表明：基于POS的匹配策略实验中总体匹配正确率达75%。

关键词：无人机平台；多视角；倾斜影像；匹配策略；影像获取；影像处理 文献标识码：A

中图分类号：P231 文章编号：1009-2374（2017）08-0023-02 DOI：10.13535/j.cnki.11-4406/n.2017.08.011

1 概述

随着地理信息产业的快速发展，用户对于地理信息产品的地理要素完整性、精确性、实时性提出了更高要求。近年来提出的“数字地球、智慧城市”预示着未来地理信息产业中三维城市建模的重要性。传统单镜头、近似垂直摄影测量作业模式经过几十年的发展，在理论、技术上趋于完善，但是其获取的影像缺乏高大地物的侧面纹理信息。为了同时获取地物多个侧面的信息，多视角倾斜航空摄影技术受到越来越多的重视。当前随着无人机技术的发展，多视角倾斜航空摄影成本正逐步降低，大规模运用指日可待。

2 倾斜影像摄影作业概述

多视角倾斜航空摄影从多个视角拍摄地面影像，较常见的构造为1个下视镜头+4个倾斜镜头，此外也有1个下视镜头+2个倾斜镜头（如Trimble的AOS相机）。三线阵CCD扫描相机ADS40在参考文献[1]中也作为三视角倾斜相机。不论是五视角相机还是三视角相机，多个镜头的分布一定是严格对称且关系稳固的。这些数字倾斜相机都集成精确的定位定姿系统（GPS/IMU）获取影像外方位元素。本文只研究五视角相机的影像获取和处理技术。五视角倾斜相机集成1个下视镜头和4个倾斜镜头。每次曝光垂直和倾斜相机设计为同时曝光。以AMC580相机为例，曝光瞬间同时存储1张垂直影像和4张倾斜影像，并记录这5张影像的外方位元素。

倾斜航摄作业记录的数据包括控制数据和影像数据。航摄飞行记录包括航摄时间、天气状况、航线的分布图以及每条航线上每次曝光记录的影像名序列。

其中，相机检校文件包括相机名称、主距、像主点偏移、辐射畸变改正系数、偏心变形系数以及像点纠正方程。POS数据指的是每张影像的外方位元素。影像外方位元素由线元素和角元素共6個元素组成，线元素Xs、Ys、Zs是投影中心在物方空间坐标系中的位置，角元素描述成像面在成像时刻的姿态。倾斜航空摄影测量作业也可以与传统单镜头作业模式一样，在按照“S型”轨迹拍摄完后，再垂直于这组“平行航线”沿“垂直架构航线”获取影像，以增强影像间的相关性，便于后续平差处理。

3 倾斜影像匹配难点

五镜头倾斜航空摄影获取的影像具有如下难点：（1）地面分辨率、比例尺不一致。倾斜镜头对严格水平的地面成像时，远景的GSD（地面采样间隔）比近景的要低。参考文献[2]给出了计算倾斜影像上不同点比例尺以及近景点与远景点比例尺差异的公式。离相机远的地面点和离相机近的地面点成像比例尺不一致；（2）倾斜影像遮挡严重，高度重叠，数据冗余；（3）在航摄角度上，5个镜头朝向各异，进入镜头的光强也会明显不同，因此不同镜头、不同航线影像的亮度、对比度有较大偏差；（4）从影像像素尺度来看，在多视角倾斜影像匹配中，待匹配窗口与模板窗口之间发生了大的变形，像素值发生偏移，正方形框是开取的模板窗口和搜索窗口，计算两个正方形框内像素的相关系数，相关程度不可能很高。前期实验表明，适用于传统垂直影像性能稳定的灰度匹配算法，在应用于倾斜影像时往往出现大量误匹配，甚至失效。

4 常规匹配方法

影像匹配可能由于存在遮挡而无解或因重复模式存在多解。在匹配过程中加入约束条件对匹配有重要作用：缩小影像上的匹配搜索空间，提高匹配效率，同时也提高匹配正确率。倾斜影像严重的几何畸变本身就给“点—点”的相似性测度计算带来很大困难，这时有效限制搜索范围对于匹配成功尤为重要。

4.1 金字塔多级匹配

金字塔多级匹配就是先把待匹配的左、右原始影像降采样成多个尺度的影像。沿着影像金字塔自上而下，尺度由粗到精，单个像素对应的地面尺寸逐渐减小，地面采样间隔GSD（Ground Sampling Distance）减小，影像空间分辨率提高。首先在影像金字塔上层匹配，然后将匹配结果传递到下层影像上，直至最高分辨率的原始影像上。多级匹配方法可以达到减小搜索空间的目的。

影像匹配是直接对像素灰度值进行的操作。在影像金字塔上层，细节信息已被平滑，整体纹理具有更大的相似性，因而能取得更理想的匹配效果；在影像金字塔下层，细节信息未被平滑，灰度变化更剧烈，轻微的几何变形就会给匹配增加很大难度。

4.2 单应约束

单应约束的理论基础是计算机视觉中Marr提出的影像匹配约束框架。无论是基于灰度还是特征的匹配，整体匹配结果体现的视差变化规律应该是连续的、相容的、协调的，而除了特殊地形外不会出现视差突变、跳跃的情况。基于这一原理，可以利用影像整体的视差对每个点的匹配过程进行约束。

RANSAC是计算机视觉中稳定的参数估计算法，其作用是排除不稳定和错误的匹配点对，对于两张影像间的几何关系进行最似然模拟。其思想就是根据已知同名点对估计单应矩阵H，再根据求出的变换矩阵对于已知同名点对进行划分，筛选出符合模型的同名点，利用新的同名点集重新估计变换模型。这样迭代若干次后同名点对数最多时的单应矩阵H即为最优解。也可以说，利用尽可能多的同名像点估计的单应矩阵H更具有一般性，能对更大范围的像点进行有效的几何约束。

4.3 核线几何约束

摄影测量立体像对中有一个很强的约束条件，称为核线几何，在计算机视觉领域也称为极线几何或对极几何。给定立体像对的两张影像，对三维空间任一点，包含该点与两幅影像投影中心的平面称为核面，核面与两幅影像的交线称为核线。如果两张影像的相对方位已知且已知左像像点，那么另一张影像上的相应核线即可确定，而同名像点必位于该核线上。这样就可以有效地把二维匹配搜索范围简化为一维搜索范围。如图1所示，对于具有重叠区域的左像和右像，S1、S2为投影中心，像点P1所在的核线为L1，其在右像上的同名点P2一定在L2的相应核线L2上。核线几何关系完全是由地面点P，投影中心S1、S2三点的共面关系所确定的。

核线几何约束用于匹配过程中，主要有以下两种思路：（1）利用核线约束限制搜索范围给定具有重叠区域的左右两张影像，利用左像上像点计算右像上的相应核线，在核线附近搜索对应像点；（2）利用核线约束剔除误匹配点对于两张影像得到的初始匹配点，对每个左像点计算右像上相应核线，再计算右像点与相应核线间的距离，若距离大于阈值，判定为误匹配点。

5 基于POS的匹配策略

基于无人机特点与平台，设计出了基于并有SRTM作为辅助的倾斜影像匹配策略。

5.1 初始匹配

利用初始POS数据进行数据影像重合判断，按照3×3方式建立金字塔，对原始影像建立1层影像金字塔，并在金字塔顶层使用SIFT GPU进行匹配，得到一定数量匹配点，并精细化。

5.2 精确匹配

在底层金字塔上进行Harris特征提取，得到足够的特征点，然后利用初始匹配中得到的精确POS数据，对底层金字塔进行局部畸变改正，并进行灰度相关与最小二乘匹配。在RANSAC算法基础上，利用光束法前方交会，得到特征点的前方交会精度，将高于3倍前方交会中误差的点作为误匹配点，予以剔除。

5.3 可行性论证

应用实验（由于篇幅原因过程略）。可得：在初始匹配中，经过对SIFT匹配结果进行粗差剔除后，虽然点位稀少，但所有点位准确无误，能有效为像对间的相对定向打下可靠基础；精确匹配后，能得到大量分布均匀匹配点，虽然由于少数点落在了重复纹理区域（如森林、房屋上的窗户）与遮挡区导致了匹配误差，但是实验中总体匹配正确率达75%，证明此方法严谨可靠。

6 结语

倾斜航空摄影测量能获取包括建筑侧面纹理信息的多种数据，严谨可靠，但影像匹配是否正确影响着摄影测量质量，其效果好坏直接影响到后续相对定向、数字空三、DSM生成等过程的质量。

当前常规的匹配方法都具有一定缺点，且需要各自相匹配的算法进行配合使用，所以笔者认为，多视角倾斜影像匹配技术下一步发展应基于某几种特定匹配策略（如基于POS的匹配策略）进行多视角立体影像匹配算法的研究，并形成商业化软件。在成本最省情况下弥补现有技术不足，实现无人机平台上的高正确率、高通用性的匹配。

参考文献

[1] 朱庆，徐冠宇，杜志强，等.倾斜摄影测量技术综述

[J].中国科技论文在线，2012，（2）.

[2] 楊国东，王民水.倾斜摄影测量技术应用及展望[J].

测绘与空间地理信息，2016，39（1）.

[3] 秦川.无人机影像匹配点云滤波处理与三维重建[D].

西南交通大学，2015.

作者简介：李星开（1982-），男，河南禹州人，浙江华东建设工程有限公司高工，研究方向：工程测绘、无人机低空遥感、自动化监测等。

（责任编辑：黄银芳）