带地理信息的无人机遥感图像拼接系统的实现

杜 丹，潘志斌，于君娜，刘春华，路瑜亮

(1.西安交通大学电子与信息工程学院，陕西西安710049;2.总装北京军代局驻石家庄地区军代室，河北石家庄050081;3.中国电子科技集团公司第五十四研究所，河北石家庄050081)

0 引言

无人驾驶飞机简称“无人机”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。地面人员通过雷达和卫星等设备，对其进行跟踪、定位、遥控、遥测和数字传输。它体积小、造价低、使用方便，不仅在测绘和自然灾害等民用领域用途广泛，而且在军事方面无人机回传的定位信息和各种类型的图像等其他数据更是为侦察情报、远距离攻击型智能化武器和信息化武器提供了先决条件［1，2］。

因为单张无人机遥感图像很难完全包含感兴趣的区域，为了进一步扩大视场范围，需要将多幅遥感图像拼接起来获得一定范围内的全景图像。一般基于特征的无人机遥感图像的拼接过程主要包括辐射校正(辐射校正是指消除或修正遥感图像成像过程中附加在传感器输出的辐射能量中的各种噪声过程)、几何校正［3］(遥感图像在获取过程中，由于飞行器的姿态、高度、速度以及地球自转等多种原因导致图像相对于地面目标发生几何畸变)、图像配准和图像融合这4个步骤。但是这种单纯基于特征的无人机遥感图像的拼接系统存在拼接速度较慢、没有地理信息这2个主要方面的缺陷，在军事情报以及应急灾害应用领域中显得尤为突出。

下面实现的带地理信息的无人机遥感图像的快速拼接系统首先在进行系统几何校正后，将地理信息和图像数据保存成GeoTiff格式的图像，然后使用SIFT方法提取匹配的控制点对，进行图像序列的配准，最后利用开源库GDAL根据影像坐标数据实现无人机影像的快速拼接，并采用加权融合的方法使全景图像在重叠区域边界处过渡平缓，提高了无人机影像拼接的效率和影像质量。

1 基本原理和主要步骤

实现带地理信息的无人机遥感图像的快速拼接的具体步骤包括:几何校正、图像特征提取、图像序列配准、投影镶嵌和图像融合。

1.1 几何校正

在无人机遥感图像的预处理过程中主要考虑系统几何校正，利用遥感图像和飞机位置、姿态以及平台的参数校正由于传感器倾斜拍摄导致的图像像素的局部变形，计算该目标在 WGS－84坐标系中的位置，完成图像的系统级的初步定位。

转换模型用到的坐标系和转换矩阵［4］如图1所示。

图1 几何校正中的坐标系变换

图1中，由光电平台坐标系到数码相机坐标系的变换矩阵为:

由机体坐标系到光电平台坐标系的变换矩阵为:

由当地地理坐标系到机体坐标系的变换矩阵为:

由大地坐标系(采用WGS－84坐标系)到空间直角坐标系的变换矩阵为:

上述各式中的 Rx(φ)、Ry(φ)和 Rz(φ)分别为绕x轴、y轴和z轴旋转φ角的旋转矩阵;αp为扫描角;βp为偏角;φ为方位角;ω为高低角;δ为航向角;为俯仰角;γ为横滚角;Bo为纬度;Lo为经度。

因此从数码相机坐标系到大地坐标系的转换，利用上述变换矩阵得:

常规几何校正是由式(5)逐像素点进行计算和采样的。但是在单一航带内，无人机平台高低角和飞机俯仰角小于某个范围内(±3°)近似垂直向下拍摄时，可以认为图像的分辨率是一致的，因此为了加快几何校正速度，主要考虑飞机航向角和平台方位角的影响，矩阵变换的模型可以简化为:

式中，φ为方位角;θ为航向角;R(φ+θ)为旋转矩阵。图像像素点的值由式(6)计算，图像中心点地理位置由式(5)计算，然后利用大地坐标系进行地图投影变换，得到投影坐标。其余像素点的投影坐标按照分辨率进行推算。化简后减少了复杂运算次数，几何校正时间可以大幅缩短。

完成图像的几何校正后，通过最邻近法插值(速度快)或者双线性插值法(效果好)来解决计算中出现的非整数坐标像素的问题。最后将地理信息和图像数据写入GeoTiff格式的图像中保存。Geo-Tiff是在 Tiff的基础上定义了一些地理标签(GeoTag)，来对各种坐标系统、椭球基准和投影信息等进行定义和存储，使图像数据和地理信息存储在同一图像文件中，这样就为制作和使用带有地理信息的图像提供了方便的途径。

1.2 图像的特征提取

特征提取选用的是SIFT方法，它对影像的尺度和旋转变化具有不变性，同时对光照和相机视角变换引起的改变也具有一定的不变性［5，6］。但是由于SIFT算子在进行特征提取时计算量非常大，图像数据越大，速度的缺陷越明显。为了加快计算速度，图像特征提取的主要步骤如下:

①图像下采样;

②通过建立合适的尺度空间(组数o=2，层数s=3)，寻找候选点;

③利用最优节点优先(Best Bin First，BBF)算法可以快速地搜索匹配点;

④由于初始的匹配点对仍然存在误匹配，所以采用随机抽样一致(Random Sample Consensus，RANSAC)算法剔除一定的误匹配点对;

⑤按照匹配点均匀分布的方法选取20～30个匹配点为图像序列配准做准备。

1.3 图像序列配准

图像序列配准方法采取相对配准的方法［7］，如图2所示。用第1幅图像(或者最后一幅图像)作为参考图像，所有后续的图像按照顺序分别配准，其中Rn(n－1)是第n幅图像到n－1幅图像的变换矩阵。这种方法的缺点是存在累计误差。但是比绝对配准的方法节省大量时间。

图2 图像序列配准的方法

图像序列配准主要步骤如下:

①以第1幅图像为参考图像，利用均匀分布的20对控制点调整前后的地理坐标对后一幅图像进行一次多项式拟合校正;

②重采样后生成待镶嵌的图像;

③其余图像依次按照此方法进行序列配准。

1.4 图像的镶嵌和融合

将配准后的待镶嵌图像按照地理坐标信息直接镶嵌全景图像。Geospatial Data Abstraction Library(GDAL)是栅格空间数据转换库，并且GDAL中含像素坐标与地理坐标的转换函数，调用后可计算出影像中相应像素点对应的地理坐标，再由影像的地理坐标对应关系进行镶嵌处理将拼接过程简化，提高了拼接效率。当重叠区域不做处理，直接用后一幅图像覆盖同一地理位置的前一幅图像像素时，直接镶嵌后的全景图像边界较为明显，有错位现象。错位像素平均为6～12个像素。镶嵌后全景图像如图3(a)所示，局部放大效果如图3(b)所示，错位主要原因是遥感图像数据拍摄时不是绝对垂直下视，而是存在一定的俯仰角，以及镜头的边缘畸变，造成图像边缘与图像中心像素变形不均匀。

图3 直接镶嵌后的效果

为了从视觉上消除错位现象，采取一种加权融合的方法处理重叠区域。利用GDAL里ORG库中的求交函数确定重叠区域，将重叠区域的对角线作为拼接缝，在接缝两侧选取一定宽度w进行融合。输出的图像为:

式中，加权系数r满足0≤r≤1。若r=0.5，则相当于2幅图像取平均值;若r由1逐渐变化为0时，图像从I1逐渐过渡到I2，这样就实现了图像间的平滑过渡，从而消除了拼接的痕迹。融合后的镶嵌结果如图4(a)所示。由图4(b)可以看出融合后的错位误差较小，视觉效果较好。

图4 加权融合后的效果

2 图像地理坐标精校正和快速显示

镶嵌后的全景图像可以作为结果图进行输出，但是由于几何校正后的地理坐标存在一定的误差，采用相对配准的图像序列配准方法会产生累计误差。因此可以选择地表特征明显的位置作为控制点，利用其精确的地理坐标作对镶嵌后的图像进行多项式拟合校正，使全景图像的地理坐标更准确，并且使在主界面快速计算和显示鼠标位置的地理坐标达到实时查询和利用地理信息的目的。

系统利用分层金字塔技术［8］进行图像的快速显示，即预先将图像分层分块，建立金字塔数据，并将这些数据存放在磁盘上，在图像显示时可以根据不同的显示比例和地理范围直接从相应的金字塔层中读取数据，确保每次加载和显示的数据量较小，从而提高图像数据浏览显示的速度。

3 实验结果及分析

实验计算机为 PC:CPU主频2.3 GHz，内存2 GB，编程环境为Microsoft Visual C++6.0。实验选取15幅大小为3 744*5 616，60.15 MB的原始图像进行拼接，在4倍下采样条件下，各个步骤时间代价为:几何校正20.22 s，特征提取32.25 s，序列配准36.13 s，镶嵌和融合9.12 s。

定位精度:单张遥感图像进行几何校正后的定位精度≤60 m，精确校正后的定位精度≤30 m，可以为军事侦察和打击任务服务。具体定位精度误差如表1所示。表1中观测点1比观测点2在图像序列中靠后，因此经过图像间相对配准后，累积误差较大。地理坐标的精校正采用另外3个观测点的精确地理坐标对图像进行一次多项式拟合。

表1 定位精度

系统拼接的全景图像结果图如图3和图4所示。由上述实验结果可以看出，本系统可以很好地完成航带内遥感影像的拼接及融合处理，整个系统所花的时间代价也是比较适中的。其定位精度和反应速度基本可以满足军事侦察情报以及应急自然灾害的需求。但是也存在一些不足，主要体现在:①图像序列配准后存在累计误差，定位精度下降;②利用图像的特征点进行图像序列配准所需时间仍然是最耗时的部分;③本系统只适用于平台高低角和俯仰角小于某个范围内(±3°)单航带内的图像拼接。

4 结束语

上述系统考虑了无人机基本垂直向下拍摄的条件，对几何校正模型进行了化简。利用图像的旋转，节约了几何校正过程中逐点计算地理坐标和重采样的时间。采用了基于特征的方法，消除了图像序列间的偏差。利用GeoTiff图像格式和GADL开源库处理遥感数据优势，直接根据地理信息进行投影镶嵌，加快了全景图像的拼接速度。处理后的影像整体效果良好，同时可完全实现自动化，不需要人工识别或调整。该系统已经应用于工程实践，试验效果良好，并且为不同航带间以及摆扫拍摄条件下的无人机遥感图像的拼接打下了良好的基础。

［1］AUSTIN Reg.无人机系统［M］.陈自力，董海瑞，江涛，译.北京:国防工业出版社，2013:3－17.

［2］狄颖辰，陈云坪，陈莹莹，等.无人机图像拼接算法综述［J］.计算机应用，2011，31(1):170 －173.

［3］李 峥.缺少控制点的无人机遥感影像几何校正技术［D］.成都:电子科技大学，2010:7 －28.

［4］刘春华.航空视频图像定位技术［J］.无线电工程，2008，38(4):13 －14.

［5］BROWN M，LOWE D G.Invariant Features from Interest Point Groups［C］∥British Machine Vision Conference，Cardif，Wales，2002:656 －665.

［6］LOWE D G.Distinctive Image Features from Scale Invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91 －110.

［7］MCCARTNEY M I，ZEIN-SABATTO S，MALKANI M.Image Registration for Sequence of Visual Images Captured by UAV［C］∥Computational Intelligence for Multimedia Signal and Vision Processing，Nashville，2009:91 －97.

［8］冯克鹏.遥感图像镶嵌中多尺度羽化方法的应用研究［D］.银川:宁夏大学，2009:27－35.