高分辨率光学卫星图像目标运动信息提取研究综述

李想， 杨灿坤， 周春平， 李小娟， 张可

(1.首都师范大学北京成像技术高精尖创新中心，北京 100048； 2.首都师范大学资源环境与旅游学院，北京 100048； 3.首都师范大学三维信息获取与应用教育部重点实验室，北京 100048)

0 引言

运动目标是智能交通和军事遥感等研究关注的重点，提取目标运动信息是研究动目标运动特征、实现动目标轨迹预测的必要手段。传统图像动目标研究使用监控视频图像，主要用于交通流量监测、动目标跟踪[1]，监控视频图像范围小，获得信息少，不利于大范围的动目标研究。遥感技术和航天技术的不断发展为图像目标运动信息提取带来了新的契机，高分辨率光学卫星图像覆盖范围大、空间分辨率高，纹理特征明显，为信息提取提供了详细、便利的数据来源，有利于研究较大动目标的个体运动特征和较小动目标的群体运动特征[2-3]。早在QuickBird和WorldView等国外高分辨率卫星发射后，就有学者从单幅高分辨率卫星图像中使用目标检测的方法检测车辆、飞机、船舶等有可能运动的目标[4-5]。2004年Etaya等[6]发现QuickBird卫星获取的全色波段图像与多光谱波段图像成像存在约0.2 s的时间差，将这2种波段的图像看作相隔较短时间差对同一地区成像的2幅卫星图像，根据动目标在2种图像上的不同位置与时间差求取运动参数，开创了高分辨率光学卫星图像运动参数估计研究的先河[7]。近几年投入使用的SkySat-1、吉林一号等卫星在凝视模式下可获得空间分辨率达1.1 m的卫星视频，使得高分辨率卫星图像运动目标研究焕发了生机。

国内外的运动目标提取研究大多集中在车辆、飞机、船舰等目标上。国外高分辨率卫星图像动目标检测与运动参数估计研究起步早，最早开展此项工作的国家为美国、德国[8]和日本。日本早在1993年就采用低分辨率JERS-1卫星的OPS光学传感器立体像对图像测量船舶、云、飞f机等大型动目标的运动速度[9]； 2004年日本东海大学信息技术中心最早开始了高分辨率卫星图像的动目标检测与运动参数估计研究[6]； Yamazaki等[10]和Liu等[11-12]也有优秀的研究成果； 1997年美国交通部、美国国家航空航天局、俄亥俄州立大学等机构开展了与交通相关的动目标研究[4]； 2005年德国慕尼黑理工大学的Leitloff等[13]开始从事高分辨率卫星图像的车辆检测研究； 2006年《ISPRS Journal of Photogrammetry & Remote Sensing》期刊发行了主题为“Airborne and space borne traffic monitoring”的专刊[14]，收录了多篇关于机载和星载交通监测领域的优秀论文，基于遥感图像的车辆检测成为国际摄影测量与遥感领域的热点话题； 我国于2005年立项的“基于危险理论的高分辨率卫星影像车辆目标免疫识别模型与算法研究”是最早研究高分辨率卫星图像动目标检测与识别的基金项目，但不涉及动目标运动参数估计； 2010年梁艳平主持的青年科学基金项目“基于光学卫星影像的运动车辆探测与速度估算研究”采用高分辨率卫星影像在检测运动车辆的基础上估计运动参数[15]； 2016年起厦门大学开展动目标识别的研究[16-18]； 中国科学院长春光学精密机械与物理研究所也有关于高分辨率卫星图像动目标检测与跟踪的优秀成果出现[19-20]。

在国家“高分辨率对地观测系统”国家科技专项建设和卫星商业化需求的背景下，我国多颗高分辨率卫星相继发射，并应用到资源调查、环境保护、灾害监测、城市规划等研究领域[21-22]，为使用高分辨率卫星图像进行目标运动信息提取创造了条件。首都师范大学北京成像技术高精尖创新中心对地观测遥感成像研究团队研制的多模态传感器采用基元程控技术[23]，可获得隔指定时间差对同一地区成像的序列全色卫星图像，团队正在钻研利用这种图像提取动目标并估计运动参数的星上高效算法，以期实现动目标实时检测与运动信息提取。综述相关研究是算法探索不可或缺的步骤，本文将围绕高分辨率光学卫星图像目标运动信息提取的动目标检测与运动参数估计2大部分介绍相关经典算法和方法。根据数据源的不同，将动目标检测算法分为单幅图像和序列图像2类进行综述，其中，以波段数量差异将单幅图像动目标检测分为全色波段动目标检测与多波段动目标检测； 按照数据格式将序列图像动目标检测分为卫星视频动目标检测和序列全色卫星图像动目标检测。简述运动参数估计的目标匹配算法和运动参数计算方法。最后总结分析算法特点，指出研究趋势，展望应用前景。

1 高分辨率光学卫星图像动目标检测方法

1.1 动目标检测方法分类与一般技术流程

动目标检测的目的是从图像中分割出运动目标。图1为高分辨率光学卫星图像动目标检测的主要方法，单幅卫星图像的动目标检测包括基于全色波段图像和基于多波段图像2种； 序列卫星图像的动目标检测是使用多幅光学卫星图像进行动目标检测，现有的研究多是针对卫星视频图像的研究，而基于序列全色卫星图像的动目标检测方法目前正在研究中。这些算法大多都包括图像预处理、动目标初步检测和虚警去除3个步骤。

图1 高分辨率光学卫星图像动目标检测的主要方法Fig.1 Main methods of moving target detection from high-resolution optical satellite images

图像预处理后从图像中初步确定运动区域，然后根据动目标的灰度特征与形态特征，采用阈值分割和形态约束方法去除拍摄角度、光照变化等因素引起的虚警，便可筛选出运动目标。图像预处理包括图像增强、图像配准、图像融合与兴趣区选取等，根据研究对象、数据、目的不同相应的预处理步骤可以适当增减。图像增强能突出相关信息，扩大不同地物的差异，有利于从静态背景中分离动目标。图像配准是将不同时刻的图像中动目标以外的背景区域匹配，便于动目标位移的计算。图像融合是面向对象动目标检测法中的一种预处理步骤，通过图像融合可以将不同时刻的动目标融合在一幅图上。当研究对象是特定的某种动目标时，可选取兴趣区限定研究区域降低检测虚警率，如检测车辆时提取道路为兴趣区，检测船舶时提取水域为兴趣区。

1.2 单幅卫星图像的动目标检测

1.2.1 基于全色波段图像的动目标检测

卫星全色波段图像分辨率较高，是目标检测与识别的常用数据。单波段图像不能反映目标的运动信息，因此使用目标检测的方法检测车辆、船舶等有可能运动的目标。这方面的文章和方法较多，此前已有文献对这类方法进行了部分总结[8]，且本文侧重于动目标检测与运动参数估计结合的研究综述，因此采用表1对此类方法进行简述。

表1 全色波段图像的动目标检测方法Tab.1 Methods of moving target detection from panchromatic images

1.2.2 基于多波段图像的动目标检测

卫星相机焦平面上不同波段的传感器相互间隔平行排列，致使对同一地物或地区而言，不同波段图像成像存在时间差，图像上的同一动目标位置有微弱变化。多波段图像的动目标检测有2类研究形式： ①忽略不同波段图像成像时间差，将多光谱图像的光谱信息作为辅助信息，采用阈值分割方法不断剔除全色波段图像中的非动目标部分，获得可能运动的目标[32]； ②将多波段图像视为不同时刻成像的多幅图像，从中提取动目标并计算运动参数。后者对目标运动信息提取更有利，对应的动目标检测方法有目视解译法、面向对象法、减背景法和梯度图像匹配法。其中面向对象法是最常用的方法。各算法特点如表2所示。

表2 多波段图像的动目标检测方法Tab.2 Methods of moving target detection from multi-spectral images

1)目视解译法。2004年Etaya等[6]首次提出利用QuickBird卫星图像全色波段和多光谱波段的成像时滞进行飞机、车辆、船舶等动目标的检测和运动参数估计，开辟了高分辨率卫星图像新的应用领域，将由红、绿、蓝3个多光谱波段合成的模拟全色图像采用三次卷积法重采样，使其空间分辨率与全色波段图像一致，然后用目视解译的方法，手动标注全色图像和多光谱合成重采样图像上的动目标； Xiong和Zhang[33-35]将QuickBird全色图像与多光谱图像配准后，目视手动标注2种图像上的运动目标； Pesaresi等[36]通过双线性内插法将QuickBird多光谱合成图像空间分辨率重采样为全色波段分辨率，采用分层特征向量匹配技术配准图像，结合视觉判断手动模糊选择的方法找出运动目标，并采用形态学开闭运算计算目标准确位置，从而计算出运动速度； 赵世湖等[37]采用资源三号测绘卫星多光谱数据提取飞机的运动信息，分别用人工方法精确选取出红、绿、蓝和近红外4个波段图像中的飞机。

1934年7月，曹禺在《文学月刊》第3期上发表的《雷雨》轰动了剧坛。1935年9月，复旦剧社吴铁翼、凤子等人提议以《雷雨》作为复旦剧社当年秋季的公演剧目。此时，此剧还没有搬上过中国舞台。于是邀请时任福建省文化部部长的欧阳予倩担任导演，在法租界淮海路思南路口面北的店面楼上进行排练。正式演出非常成功，唯一的缺憾是当时的剧场条件非常差而影响了演出的效果。但这并不影响《雷雨》在观众心中的位置。此后，《雷雨》在各剧团频繁上演，成为盛演不衰的名剧。1946年初和1947年春，复旦剧社又两次排演《雷雨》，可见《雷雨》在复旦剧社的重要地位。

2)面向对象法。面向对象法是以光谱信息、空间信息等信息为基础，将相似的相邻像元组合为对象的分析方法。面向对象的动目标检测主要用来检测道路上的车辆,大部分研究会将道路提取出来作为兴趣区，根据车辆特征，选取一定的分割尺度分割图像中的车辆目标。2007年Yamazaki等[10]和Liu等[11]在QuickBird的全色图像与多光谱图像上手动选取道路区域，然后根据灰度将区域分为车辆、阴影、道路和其他噪声4类对象； 索明亮[38]使用北京全景天地公司的光学卫星全色和多光谱图像，采用大尺度分割方法与路网属性数据先提取出道路区域，再用小尺度分割检测出车辆，并基于模糊分类法区分明色车辆与暗色车辆； 由于WorldView-2卫星的MS1与MS2图像存在0.26 s的时滞，融合后运动车辆会形成“彩影”，基于这个特性，Salehi等[39]使用UNB Pansharp算法将1个全色和8个多光谱频带融合成了更清晰的多光谱图像，同样大尺度分割获取道路区域，再通过主成分分析选择“彩影”现象最明显的主成分图像，由于主成分图像中前后2时刻的动目标明暗程度不同，采用小尺度分割和模糊分类方法检测并区分出了不同时刻的车辆； 刘超超[40]所使用的流程与Salehi等[39]相似，图像融合方法为Gram-Schmidt。

3)减背景法。张博研等[20,41]将QuickBird图像中的4个多光谱波段图像重采样到全色图像分辨率并合成为全色图像进行减背景法车辆检测，将研究区域限定为道路，开运算移除车辆目标实现背景重建，背景与图像做差求取动目标，其实质就是顶帽变换。

4)梯度图像匹配法。Leitloff等[42]手动标定全色数据中动目标的中心，并将多光谱数据转换到IHS颜色空间，采用依赖梯度方向的子像素匹配方法在多光谱图像中寻找对应的动目标。这个算法的基本思想是在全色数据的车辆周围裁剪一个适应多光谱低分辨率的区域模板，并进行高斯核平滑模拟车辆在多光谱图像中的结构，再计算此模板的梯度方向与IHS图像梯度在一定范围内进行匹配，相似度高的视为多光谱图像中的对应车辆。

1.3 序列卫星图像的动目标检测

1.3.1 基于卫星视频图像的动目标检测

高分辨率卫星视频可以看作同一地区的时间序列卫星图像，成为动目标检测的有力数据，一般采用普通视频通用的动目标检测方法标识出发生变化的位置。高分辨率卫星图像背景复杂，普通视频通用的检测方法对变化十分敏感，初步检测结果虚警率过高，需要更多的后处理来降低虚警率。已应用到研究中的算法及特点如表3所示。

表3 卫星视频的动目标检测方法Tab.3 Methods of moving target detection from satellite video

1)减背景法。2015年最早的高分辨率卫星视频的动目标检测与运动参数估计研究出现，Kopsiaftis等[43]使用减背景法对SkySat-1卫星1.1 m空间分辨率的全色波段卫星视频进行车辆检测和交通密度估计，基于图像帧平均值动态估计背景，背景差分后对相连的动目标形态约束和统计分析，采用OTSU阈值法选取背景阈值，最后计算交通密度； 于渊博等[19,44]在空间分辨率为1.13 m的吉林一号卫星视频数据上实现动目标的检测与跟踪，借鉴监控视频的动目标检测方法，选用2种不同的动目标检测方法进行动目标检测，其中一种是采用混合高斯模型建立背景的减背景法； 卜丽静等[45]基于吉林一号数据，首先利用动态矩阵统计帧间差分未变化像素并更新为背景，然后每一帧与背景差分得出运动区域，利用形态学滤波去除小斑点噪声并保留车辆，最后通过测量车辆位移计算车速等信息。

3)光流法。罗亦乐等[46]基于LK光流法对温哥华UrtheCast公司通过Iris传感器获得的1 m空间分辨率波士顿卫星视频开展车辆目标检测工作，首先提取道路区域并对每一帧图像进行角点检测，经后处理的角点即可视为车辆目标，再采用LK光流法计算角点的光流矢量确定车辆的运动状况，之后通过光流法跟踪车辆求取运动参数。

1.3.2 基于序列全色卫星图像的动目标检测

基于序列全色卫星图像的动目标检测是针对周春平等[23]创新设计的多模态传感器提出的一种新型动目标检测方法。用来获取数据的多模态传感器基于基元程控技术，能够控制面阵传感器的每一行或多线阵传感器的每一单线阵单独成像，如此类比多波段卫星图像动目标运动参数估计的原理，若在焦平面上平行排列的2条或多条单线阵传感器两两之间的间隔大于多波段卫星不同波段传感器间隔，则获取的同一视场图像将具有比多波段图像更大的时间差，运动引起的变化更明显，慢速运动目标更容易被检测。获取的数据是时间序列的全色卫星图像，比起同样时间段的视频图像来说数据量小，算法的效率可以提高。动目标检测算法拟参考帧差法、减背景法等为核心的高效算法进行星上算法研究。

2 高分辨率光学卫星图像动目标运动参数估计方法

2.1 运动参数估计一般技术流程

运动参数估计部分主要分为动目标信息提取、目标匹配与运动参数计算3步，这3个步骤缺一不可。提取并记录代表动目标的像元集合的外接矩形、大小、特征点位置等相关信息，特征点位置用于运动参数的计算，外接矩形、大小等用于匹配不同时刻的动目标，确定不同时刻图像上的动目标对应关系后，结合特征点位置信息便可采用简单的公式求出位移、速度、方向等运动参数。一般选择动目标质心为特征点，飞机、船舶这种具有明显转角特征的动目标可将特征点定为其外部的一些转角点，如飞机可选择机头、2个机翼翼尖和尾翼中部等特征点[47]。

2.2 目标匹配方法

运动目标在不同时刻的2幅图像上产生了位移，具有不同的位置，需要匹配两幅图上相同动目标才能求出相应的运动距离。动目标匹配是动目标运动参数计算的基础，但由于大多数动目标在图像上所占像元数少，不利于自动匹配，很多研究为了精度更高都是采用结合目视手动匹配的方法[6,33,36]，但这种方法耗费人力且效率低。多波段图像的动目标运动时间短，前后位移距离不大，可采用目标大小和距离链接的方法完成匹配[10,38,40]。文献[38]和[40]采用图像融合寻找匹配的方法，融合后的图像中2个时刻的同一动目标十分接近，距离最近的就是同一动目标。还有基于灰度特征的匹配方法，如灰度相关法[41]和梯度相关法[42]。卫星视频图像的目标匹配会用到常用的普通视频目标跟踪算法，而已经应用到卫星视频的方法仅有光流法跟踪法[46]。

2.3 运动参数计算方法

动目标的位置大多以动目标质心坐标表示，表示方法有图像坐标、实际坐标和经纬度坐标。3种方法对应的位移距离计算方法有所不同。

图像坐标法是以动目标图像坐标与图像空间分辨率为基础的计算方法，假设在不同时刻空间分辨率为G的卫星图像中同一动目标图像坐标分别为(X1，Y1)和(X2，Y2),则位移距离D计算公式为

(1)

实际坐标法采用传感器成像模型，在不考虑高程信息的情况下，将图像坐标转换为地面实际坐标，若2时刻动目标坐标分别为(X1，Y1)和(X2，Y2)，则位移距离D计算公式为[33-34,47]

(2)

图像若含有地理经纬度坐标则可以采用经纬度坐标法计算位移距离[38]。设动目标第一时刻经纬度为Lat1和Long1，第二时刻经纬度为Lat2和Long2，R为地球半径，则D计算公式为

(3)

令运动时间为t，则运动速度v与方向θ计算公式为

(4)

(5)

3 总结与展望

3.1 现有研究方法总结分析

高分辨率卫星图像目标信息提取的研究迄今只有十几a历史，采用的数据和方法还有一些不足，诸多问题还未深入研究。从数据源角度来看，全色单波段图像仅可实现动目标的检测，检测效果好，但不能获取运动信息； 多波段图像动目标研究大多在单幅影像上采用目视解译法或面向对象方法标记动目标，记录并手动或自动匹配各波段图像中的动目标并结合目标位置信息求取运动参数，由于成像时间差过短，不易检测慢速目标，且多光谱图像分辨率低，运动目标特征点位置不准确； 视频卫星的出现丰富了数据来源，能够获取成像时间差更大的大量时序图像，慢速目标和小型目标都可检测，但算法大多借鉴监控视频的动目标检测与跟踪算法，结合实际情况提取多目标运动信息，数据量过大，处理效率低。从算法角度来看，各个步骤算法自动化程度较低，针对性太强，总体时效性差，存在以下问题亟待解决： ①动目标初步检测算法虽然很多，但仍存在目标边界难以确定引起的目标不全和过分割问题，漏检问题也不容忽视，动目标检测方法研究有待改进； ②虚警去除方法中阈值选取大多以经验确定，形态约束也仅仅涉及目标的简单形态信息，阈值选取的自动化程度与形态信息的准确程度需要提升； ③目标匹配方法人工干预过多，小型目标的自动匹配难以实现。

针对已有算法的不足，建议算法尝试做出以下改进： ①动目标初步检测方面，重视目标边界确定与漏检问题，借鉴普通视频图像动目标检测算法，尝试应用减背景法、帧差法、光流法的改进算法和其他算法[48-49]； ②虚警去除方面，将基于灰度直方图形状的方法、基于聚类的方法、基于信息熵的方法、基于属性相似性的方法、基于空间信息的方法以及基于图像局部信息的方法等自适应阈值方法[50]应用到阈值分割去除虚警算法研究中，参考单幅卫星图像的动目标检测中模型匹配法相关文章引入基于点、线、转角等特征的目标模型作为形态约束； ③动目标匹配算法方面，参考普通视频目标跟踪[51]与车辆跟踪[52]相关的一些匹配算法，攻克小型动目标自动匹配的难题。

周春平等[53]提出的序列全色卫星图像动目标检测与运动参数估计研究，在数据源和算法上有独特的创新之处，可以给以后的目标运动信息提取研究提供一些参考： ①专用于动目标检测的硬件设计研究，获取更有利于动目标检测研究的数据； ②将短时差、不同通道、不同分辨率的图像检测，变成利用长时差同视场图像间的检测，减小数据量和慢速目标检测难度； ③以星上处理为导向的算法设计，提高运算效率，实时获取信息。

3.2 研究趋势与应用展望

目标运动信息提取是图像处理领域的热点，高分辨率光学卫星图像作为大尺度运动目标研究的良好数据，相关研究频频出现，本文通过总结研究进展和算法，得出以下研究趋势： ①数据源不断丰富，从单幅影像研究向序列图像发展，数据量与图像时差更有利于动目标研究，卫星视频已成为近几年研究的热点； ②研究内容从仅检测目标扩展到检测动目标并估计运动参数，甚至跟踪和预测动目标； ③研究对象从单目标转向多目标、从大型目标转向小型目标、从快速运动目标转向慢速运动目标； ④各部分算法从开始的人工参与居多发展到了趋于自动化、智能化； ⑤不限于地面算法研究，快速高效的星上实时处理算法已成为研究的新方向。

高分辨率光学卫星图像中的目标运动信息与交通、军事等有密切关系，在以下领域已有较多应用： ①智能交通，高分辨率光学卫星图像与传统的交通分析依赖的固定监控视频相比，视野广，目标多，覆盖固定监控的盲区与偏远地区，提取相关目标运动信息分析交通拥堵情况并进行预测，能够实现交通实时监测，完成出行、物流、应急等方面的海陆交通路线规划和调度； ②军事遥感，普通拍摄方式无法接近战场和军事地区，从卫星图像中提取战机、战车、船舰等军事目标的运动信息，有利于分析和预测战场情况，追踪指定目标，从而指导作战或达到侦察目的； ③防灾减灾，自然灾害现场难以接近，高分辨率光学卫星图像中地物特征更清晰，提取泥石流、火山熔岩等有向流体动目标的运动信息，估计其蔓延速度和方向，可为人员疏散路线的制定提供依据，减轻或避免灾害导致的人口损失。

随着卫星运动目标检测与运动参数估计技术的不断成熟，其在智能交通和军事遥感等方面将发挥更大的作用，也将体现其在防灾减灾等潜在领域的应用价值，创造出更大的社会价值。