基于组合跟踪的景象匹配分析评估方法

涂国勇，李伟建，刘兴威，刘旭光，李 壮，谭凤义

（酒泉卫星发射中心，甘肃酒泉，732750）

景象匹配制导因具有分辨率高、可选择目标攻击点、命中精度高以及附带伤害小等优点[1]，已成为重要的制导方式之一。在景象匹配问题研究中，匹配算法的研究是热点问题，如自适应冗余关键点消除的SIFT方法[2]、基于相位信息的梯度纹理特征匹配方法[3]、改进的基于分区的匹配算法[4]等。有学者关注了匹配制导精度的分析评估问题，如：文献[5]提出了1 种基于Gabor 小波的制导精度预测方法；文献[6]从实时图获取及预处理误差、图像匹配误差、惯导测量误差等方面分析了SAR图像匹配制导精度的影响因素；文献[7]研究了景象匹配/惯组导航复合制导武器系统精度分析和评估问题。但以上研究与飞行试验工作中的分析评估侧重点有所不同。近年来，目标跟踪方法在医疗、航空、军事等领域得到了广泛的应用[8]，它能有效解决视频流图像中目标精确定位问题。飞行试验中，景象匹配全过程实际上就是1 个目标跟踪的过程，鉴于此，本文提出1 种基于组合跟踪的景象匹配图像全流程评估方法，以解决飞行试验中景象匹配分析评估的问题。

1 序列图关键帧匹配方法

当拍摄场景为平面时，可用射影变换描述任意2帧图像间的几何变换关系，特别是在高空对地面进行拍摄时，一般可用仿射变换近似描述。对于图像序列Ik，k=2,3,…,n。对相邻帧图像进行匹配，得到变换矩阵Hk，k=2,3,…,n，满足：

序列图中的每1点坐标都可经过多次变换转移到首帧图像坐标系中，从而描述任意点在序列中的运动轨迹，并正则化描述任意轨迹之间的相对关系。据此实现对景象匹配的分析评估。

1.1 序列图关键帧匹配框架

在飞行试验中，受各种因素影响，图像序列中可能存在无效帧，也可能有严重噪声，在这种情况下，相邻帧匹配会变得不可靠，本文提出1 种序列图关键帧匹配方法，以期解决这一问题。如图1所示，将关键帧记为Iut，t=1,2,…,m。设置u1=1，即第1 帧为关键帧。

图1 序列图匹配示意图Fig.1 Diagram of sequence images matching

式（6）中,Area()· 表示区域面积。

图2 匹配重叠率计算示意图Fig.2 Diagram of the calculation of matching overlap rate

图3 相关系数计算示意图Fig.3 Diagram of the calculation of correlation coefficient

式（7）中：W为图像坐标范围；f、g分别为2幅图像的灰度值；fˉ、gˉ分别为2幅图像的灰度均值。

1.2 图像匹配算法

对于序列图中待匹配的模板和图像，采用基于特征点的匹配方法进行快速匹配，流程如图4 所示。分别在模板和图像上检测Fast特征点[9-10]，对检测到的特征点构建BRIEF局部特征描述[11-12]，利用文献[13]中提出的基于机器学习的方法进行特征点匹配，最后计算并输出变换矩阵H。

图4 匹配流程图Fig.4 Matching flow diagram

2 基于组合跟踪的景象匹配评估

2.1 跟踪方法对比实验

图5 11组图像序列的首帧图像及目标Fig.5 First frame image and target of 11 sets of image sequences

11组图像序列中多种跟踪方法的跟踪误差，如表1 所示。表中，False 表示跟踪失败次数，AVE 表示算法的平均误差。从跟踪成功率角度分析，Struck最优，之后依次为配准跟踪、TLD、MIL、Boosting、中值流；从平均误差角度分析，TLD最优，之后依次为中值流、配准跟踪。对于场景中立体效应较大的序列#1、#4、#5、#6、#7，跟踪误差最小的是TLD。对于场景符合平面约束的序列#2、#3、#8、#9、#10，配准跟踪能取得较小的跟踪误差。

表1 多种跟踪算法的跟踪误差对比结果Tab.1 Comparison results of track errors for multiple tracking algorithms

上述实验结果说明，若要同时获得较高的跟踪成功率和较小的误差，可同时使用多种方法，并对多种方法的跟踪结果进行融合。

2.2 组合跟踪方法

从上节分析结论可知，配准跟踪和TLD 跟踪是1种较优组合方式，能优势互补，具体组合方法，如图6所示。

图6 组合跟踪流程Fig.6 Combination tracking process

采用序列图像配准方法计算图像序列中每帧图像到首帧图像的变换矩阵，同时用TLD方法对目标进行跟踪。用TLD跟踪结果预测目标坐标，计算目标区域平整度。利用平整度对配准跟踪与TLD 跟踪的结果进行融合。当平整度较好时，采用配准跟踪结果作为系统跟踪结果；当平整度较差时，采用TLD 跟踪结果作为系统跟踪结果。

2.3 景象匹配评估实验

为了说明组合跟踪方法的性能，进行了以下3 组模拟实验。

第1组实验采用对室内场景拍摄的图像序列。图像间存在连续尺度变化、旋转变化和快速移动等。跟踪结果，如图7所示。

图7 第1组图像实验结果Fig.7 Results of the first set of image experiments

第2组实验采用对室外场景拍摄的图像序列。图像间存在因快速变焦导致的图像模糊。跟踪结果，如图8所示。

图8 第2组图像实验结果Fig.8 Results of the second set of image experiments

图7和图8中的实验结果表明，本文所提组合跟踪方法能够可靠快速地进行目标跟踪，对图像旋转、尺度变化、图像噪声和模糊等都有很强的适应性。

第3组采用沙盘图像序列进行实验，指定第1帧图像中心为目标，跟踪结果，如图9所示。

图9 第3组图像实验结果Fig.9 Results of the third set of image experiments

图10 和图11 表示了图9 中跟踪过程的评估结果。图10为视线中心与目标正则化距离曲线，图像上2点间的正则化距离是指将2点转换到首帧对应点上计算得到的像素距离。图10 中，横轴为图像帧数，纵轴为视线中心与目标正则化距离，从图可见在该组序列图上，目标逐渐偏离视线中心。图11为视线中心与目标2D关系。目标位于第1帧图像中心，实心端点为首帧中视线中心位置，空心端点为末帧中视线中心位置，曲线表示将各帧图像视线中心转换到首帧图像坐标系下形成的运动路径，反映了目标与视场中心点间的运动关系。

图10 视线中心与目标正则化距离曲线Fig.10 Curve of regularization distance between the center-of-sight and the target

图11 视线中心与目标2D空间关系Fig.11 Two dimension spatial relationship between the center-of-sight and the target

通过将沙盘、室内和室外场景拍摄获得的3 组实验视频作为跟踪算法的测试图像，实验分析处理表明，采用文中提出的组合跟踪方法对景象匹配制导过程中获得的系列图像进行分析处理，可获得景象匹配的定量评估结论。

3 结论

景象匹配分析评估是飞行试验的1 项重要工作，本文针对飞行试验中获得的图像可能存在质量问题，在基于序列图关键帧匹配方法的基础上，提出了1 种组合跟踪方法，用于景象匹配全流程评估。模拟实验结果表明，组合跟踪方法适应性强，视线中心与目标的正则化距离曲线和2D空间关系曲线能再现匹配跟踪全过程，可给出光学景象匹配过程定量的评估结论。该项研究既提高了景象匹配分析评估工作的准确性，也能为飞试产品性能的改进等提供参考依据。