面向经纬仪图像序列的关键帧提取算法

黄 为，汪 毅，张 龙，张煜昕，杨海民

（中国卫星海上测控部 技术部，江苏 江阴 214431）

引言

光电经纬仪利用光学成像原理采集高速运动目标的图像信息[1-3]，并对传动机架的角度旋转情况实时测量，从而获得目标的运动参数。随着传感器技术、数字图像处理技术的飞速发展，高分辨率、高帧频图像采集技术在光电跟踪领域日趋成熟，高帧频、高分辨率的图像序列带来了更大存储容量的挑战[4-5]，特别是在舰载、机载等模式下受传输带宽限制，很难实时进行经纬仪跟踪目标图像序列的地基实时传输。

不同于普通的视频图像序列，经纬仪在稳定跟踪过程中光学图像变化并不显著，只在初始搜索状态或目标速度剧烈变化时图像有较大的变化，传统的关键帧提取算法[6-8]会选取大量的非稳定跟踪图像帧，而将稳定跟踪测量信息遗弃。为了便于经纬仪图像序列进行快速传输与监测，同时保留一定数量的目标稳定跟踪测量图像帧，需要构建一种适宜于经纬仪图像序列的关键帧提取算法。因此，在舰载、机载经纬仪跟踪目标情况下，实时通信时只传输关键图像帧，可在一定程度上减少传输带宽的影响，使地基工作人员能实时了解跟踪目标状态，有效进行指挥决策。

本文分析经纬仪图像序列的特点，构建了一种基于局部帧间差分极大值的关键帧提取方法。该方法基于局部极大值来选取经纬仪图像序列关键帧，获取的关键帧在整个跟踪测量图像序列中分布更为均匀，能更好地表现目标的跟踪测量信息，具有简单、高效的优点。

1 相关工作

视频/图像序列的内容比文本丰富很多，表现力强、信息量大。相应的视频/图像序列中存在大量的冗余信息，我们希望能够从视频/图像序列中提取出一些具有显著特征的帧，这些帧能够大致表征视频/图像序列的语义，这个过程称为视频/图像序列关键帧提取。关键帧是一种高效、精简的视频/图像序列展现方式，用关键帧表征原始图像序列可以极大地减少图像序列检索数据量，快速进行检索和浏览，同时降低图像序列存储的负担。关键帧提取作为一种可行的解决方案，越来越受到人们的关注。

一般来说，关键帧提取方法可以分为以下4种：

1）基于镜头边界的方法

基于镜头边界的关键帧提取算法是视频检索领域中最先发展起来的，也是目前最为成熟的方法[9-10]。该方法的优点是实现简单，计算量也很小，但仅适用于经过编辑处理，具有镜头切换的视频源，如新闻等。

2）基于内容分析的方法

基于内容分析的关键帧提取方法，是将图像序列中特征信息有明显变化的帧作为关键帧[11-13]。该方法通常先选取图像的一类特征，如灰度、纹理来表示其内容，然后计算相邻帧的特征差异，通过比较帧间差异与阈值的大小来选取关键帧。

3）基于运动分析的方法

该方法主要考虑视频中目标的运动特性，是一种基于光流分析的方法[14-15]。这种方法提取到的关键帧能有效地表达视频运动的特征，但是该方法需要依赖于物体运动的局部特征，因此算法本身的鲁棒性较差。

4）基于视频帧聚类的方法

这种方法考虑了镜头内和镜头间的相关性，在提取关键帧过程中通过聚类的方法来表达视频的主题[16-17]，通过聚类分析将相似的图像帧序列划分到同一类中，再根据特定准则从每个类中选取关键帧。在获取到聚类中心后，可以选择离聚类中心最近的图像帧作为关键帧。

2 本文算法

经纬仪光学图像序列具有高帧频和高分辨率的特性，但不同于通常的视频/图像序列，经纬仪图像序列往往是长时间跟踪同一飞行目标得到的一段完整镜头，镜头单一，大多数情况下不需要再做镜头分割。因此，基于镜头分割的关键帧提取方法并不适用于经纬仪光学图像序列。经纬仪光学图像目标运动特征的变化不显著，使用基于运动分析的方法计算光流分量的精度不高。此外，基于运动分析的方法提取关键帧计算复杂度较高。基于聚类的关键帧提取算法通过聚类分析可以获得聚类结果。在各个聚类中可以根据不同的内容采用不同的准则提取关键帧，但由于经纬仪图像序列长时间跟踪同一飞行目标，帧之间不存在明显的聚类中心，聚类算法的阈值设置较为困难。

通过分析不同的图像序列关键帧提取技术，本文构建了一种基于局部帧间差分极大值的关键帧提取算法，将2帧图像进行差分，得到图像的帧间差分像素强度可以用来衡量两帧图像的变化大小。因此，基于帧间差分像素强度的关键帧提取方法，是当视频中某一帧与前一帧画面内容产生了大的变化，就认为它是关键帧，并将其提取出来。

经典的帧间差分关键帧提取算法计算过程如下。

设S={f1,f2,…fn}是图像序列中一个镜头，共n帧，取任意2个图像帧fi、fj为候选关键帧。图像帧间距离计算公式为

在得到帧间距离D后，可将D除以图像尺寸进行规范化。将上述帧间距离D与设定阈值T进行比较，若D ＞T，则将fj作为关键帧。

具体实现过程中直接设定帧间差分阈值T较为困难，本文使用了帧间差分强度局部极大值作为关键帧提取标准。使用局部极大值方法时选择局部邻域的大小为1，即检查每个帧间差分值与其左右邻域的数值大小，若大于其左右邻域的数值，则为局部极大值，将该帧间差分值对应的图像帧选取为关键帧。基于局部极大值的方法可使关键帧提取结果在图像序列中分布更为分散，提取结果丰富度表现更好一些。

在使用上述帧间差分方法时，对图像序列的帧间差分值本文使用了基于卷积核的平滑。使用平滑后的帧间差分强度作为替代，可有效地移除随机噪声，以避免将相似图像序列下的若干帧均同时提取为关键帧，我们使用汉宁窗（hanning）作为卷积核函数。本文算法整体流程如图1所示。

图1 本文算法流程Fig.1 Flow chart of proposed algorithm

作为对比方法，我们同时构建了一种使用帧间差分强度排序的方法。该方法对所有帧按照帧间差分强度进行排序，选择帧间差分强度最高的若干张图片作为图像序列的关键帧。

3 实验

3.1 数据集

实验中使用的数据集为“红外序列图像中弱小飞机目标检测跟踪数据集”[18]。该数据集使用的传感器为制冷型中波红外相机，采集对象为空中固定翼无人机(燃油动力)目标，每幅红外图像的分辨率均为256×256像素，8 bit位深。本文实验中选取了2段空天背景下无人机目标的图像序列,分别记为Dataset-A、Dataset-B。其中Dataset-A中无人机一直处于稳定跟踪状态，图像序列中无人机大致位于图像中心位置附近，且背景较为简单，表现为只有飞行姿态和2架飞机相对位置的变化；Dataset-B中无人机相对于经纬仪镜头飞行速度较大，无人机在图像中的位置变化较大，且背景有大量云层，较为复杂，在图像系列的尾部，无人机不再可见。

图2给出从2个不同图像序列中选取首尾2帧图像的样本示例。其中图2(a)为Dataset-A中的图像帧样本；图2(b)为Dataset-B的图像帧样本。

图2 经纬仪图像序列示例Fig.2 Examples of theodolite image sequence

3.2 实验结果

为了验证本文算法的有效性，分别使用了帧间差分强度局部极大值和帧间差分强度排序2种方法，从上述2个经纬仪图像序列中提取关键帧，设置帧间差分强度排序方法，提取关键帧数目为图像序列总帧数的1/50，帧间差分强度局部极大值的汉宁窗口宽度设置为51。

基于Dataset-A图像序列得到的帧间差分曲线及关键帧如图3所示。其中横坐标为图像序列帧序号；纵坐标为帧间差分值，两者数值均无单位。图3中红色圆圈代表提取的关键帧，其中3(a)为基于强度排序提取的关键帧；图3(b)为基于局部极大值提取的关键帧。从图3可以看出，本文基于局部极大值算法提取到的关键帧在整个图像序列中分布更为均匀，基于帧间差分强度排序的方法提取的关键帧分布在少数的几个图像片段中。

图3 基于Dataset-A的帧间差分曲线及关键帧Fig.3 Frame difference curve and key frames based on Dataset-A

Dataset-B的帧间差分曲线及对应的关键帧如图4所示。图4（a）和图4（b）中横坐标为图像序列帧序号，纵坐标为帧间差分值，两者数值均无单位。从图4中可以看出，分析得到的结果与图3类似，证明了本文算法提取到的关键帧较为均匀地分布于整个图像序列中。

图4 基于Dataset-B的帧间差分曲线及关键帧Fig.4 Frame difference curve and key frames based on Dataset-B

基于Dataset-B，基于强度排序提取关键帧和基于局部极大值提取关键帧2种方法提取的关键帧数目分别为16和13。我们均匀采样，选取了其中5帧图像，并将运动目标用白色方框进行标注，如图5所示。

图5 使用Dataset-B的关键帧提取结果Fig.5 Key frame extraction results by using Dataset-B

从图5(a)可以看出，基于帧间差分强度排序方法提取的关键帧图像集中在图像序列尾部大约100帧中，在Dataset-B图像序列尾部经纬仪跟踪目标丢失，背景中云层差异较大，大量的目标跟踪测量帧丢弃。从图5（b）可以看出，由本文提出的基于局部极大值算法得到的结果在整个图像序列中分布较为均匀，在图5（b）的前4帧中均包含跟踪目标信息。从图5(a)与图5(b)的对比中可以看到，本文算法提取的关键帧图像内容更具有代表性，关键帧中目标跟踪测量信息更为完整，包含的目标信息更丰富，更好地保存了经纬仪目标跟踪的测量信息。

4 结论

本文分析了经纬仪图像序列的特点，提出了一种基于帧间差分强度局部极大值的关键帧提取算法，该算法具有简单、高效的优点。实验结果表明，本文算法提取的经纬仪图像关键帧在整个图像序列中的分布较为均匀，运动目标的跟踪测量信息保存较为丰富，能较好地保留原图像序列中的运动目标信息。