面向显著灰度差异的SAR海冰图像特征点匹配研究

王 妍 郭 浩 黄 超 安居白

(大连海事大学 辽宁 大连 116026)

0 引 言

SAR因具有全天时、全天候的优点而被广泛应用于海冰漂移监测研究，海冰漂移跟踪的精度依赖短时间间隔图像序列，由于同源SAR卫星重访时间普遍偏长，可以采用非同源SAR构建短时间间隔图像序列。由于非同源SAR之间波段、极化方式、入射角、噪声水平等都存在差异，导致异源SAR图像间往往会存在显著灰度差异。海冰漂移跟踪的实现依赖于图像匹配，当目标的特征显著性偏低，且存在显著灰度差异时，会给图像匹配带来了极大的难度。近年来为了解决SAR图像海冰匹配的种种问题，国内外提出了各种解决方法。

目前图像匹配多采用基于SIFT描述子的匹配算法[1]。但SIFT特征由于采用高斯滤波会不加甄别地去除重要的图像细节和边缘信息导致海冰特征显著度进一步降低。基于SIFT改进的SURF算法在SAR图像匹配中依然存在线性滤波所共有的细节和边缘信息丢失问题[2]。Flora等[3]提出了一种SAR-SIFT算法。该算法对斑点噪声具有鲁棒性，不过当存在显著灰度差异时匹配效果并不好。

针对线性空间滤波固有问题，Alcantarilla等[4]提出了一种基于非线性尺度空间的KAZE特征适用于特征显著性低的目标的特征提取。Demchev等[5]在此基础上提出了AKAZE特征描述符用于海冰漂移跟踪领域。该算法采用非线性扩散滤波可以获得更多有效的多尺度特征，但是对于灰度差异大的图像缺乏适应性。吴含前等[6-7]在AKAZE算法的基础上，提出了LDB描述子，提高了灰度差异的适应性，但对于灰度差异显著的非同源SAR图像匹配时，普遍存在匹配点少，且错误匹配点过多的问题[8]。

针对存在显著性灰度差异的SAR图像匹配问题，本文提出一种GLDB-AKAZE方法，考虑到LDB描述子对灰度差异适应性的固有优势，以及GLOH描述子在匹配主方向判断上的优势，本文将二者结合提出GLDB描述子。重点对Mikolajczyk等[9]提出的GLOH特征的关键点邻接区域划分方法进行了改进，由田字格划分修改为八象限圆格划分，使灰度差异下主方向计算更加准确。在特征点匹配阶段，本文提出一种基于几何对应匹配和灰度差异对应匹配的两步匹配策略。通过实验对比可以看出，本文算法获取的图像特征点匹配点个数增多，同时有效地抑制了正确的匹配点被剔除现象的发生，确保匹配精度。

1 数据集及预处理

表1列出了三对(共六景，其中1、2为数据集1；3、4为数据集2；5、6为数据集3。)非同源星载SAR海冰场景相关主要信息，表2列出了两对(共四景，其中1、2为测试集1；3、4为测试集2。)同源星载SAR海冰场景相关主要信息。五组数据均为SAR海冰图像都受到一定程度的相干斑噪声影响，数据集1分辨率区别不大，光照区别较大，入射角度不同，且极化方式不同，其灰度有较大差异；数据集2分辨率区别较大，光照几乎没有区别，入射角度相似，但极化方式不同，其灰度有较小差异；数据集3分辨率没有区别，入射角度相似，但光照区别较大，且极化方式不同，其灰度有较小差异；测试集1与测试集2为同源数据分辨率，入射角度、极化方式等几乎没有区别，但两组图像的光照都有很大区别，更适合研究基于灰度差异产生的匹配问题。在预处理阶段，进行了几何校正，5×5的增强Lee滤波去噪(本文分别使用3×3、5×5、7×7、9×9的增强Lee滤波进行去噪，实验后发现，7×7、9×9的增强Lee滤波去噪后，噪声依然会匹配影响海冰有效匹配，3×3的增强Lee滤波去噪后模糊了部分边缘信息丢失有效匹配点)，为配合后续的实验对比，对部分图像进行灰度增强处理以及反色处理，并给测试集进行分辨率变换，并依次加椒盐噪声、斑点噪声、高斯噪声。

表1 非同源SAR海冰图像信息

表2 非同源SAR海冰图像信息(测试集

2 GLDB-AKAZE算法介绍

本文提出的GLDB-AKAZE算法主要思想基于AKAZE特征非线性滤波保持海冰的有效特征，然后利用GLDB描述子确定有效的特征主方向，最后通过两步匹配策略完成配准。本文研究思路如图1所示。

图1 技术路线

2.1 非线性尺度空间的构建

考虑到SAR图像的非显著性，本文首先基于AKAZE特征非线性滤波最大程度地保留海冰的边缘信息以及重要的图像细节。式(1)为非线性扩散公式：

(1)

式中：div和▽分别是发散和梯度算子；L是图像灰度；c表示电导率函数，在本文使用Perona等提出的g2电导率函数。代码如下：

int Create_Nonlinear_Scale_Space(const cv::Mat&1mg)

{

if(evolution.size()==0)

{

std::cout<<"--->Error generating the nonlinear scale space!!"<

std::cout<<"--->Firstly you need to call

KAZE::Allocate_Memory_Evolution()"<

return -1;

}

img.convertTo(evolution[0].Lt,CV 32F,0.005,0.002);

Gaussian_2D_Convolution(evolution[0].Lt,evolution[0].Lt,0,0,soffset);

Gaussian_2D_Convolution(evolution[0].Lt,evolution[0].Lsmooth,0,0,sderivatives);

//现在生成其余的进化等级

for(unsigned int i=1;i

{

evolution[i].sImg=cv::Mat::zeros(img_width,img_height,CV_32F);

evolution[i].cImg=cv::Mat::zeros(img width,img height,CV 32F);

Gaussian_2D_Convolution(evolution[i-1].Lt,evolution[i].Lsmooth,0,0, sderivatives);

//计算高斯导数Lx和Ly

Image_Derivatives_Scharr(evolution[i].Lsmooth, evolution[i].Lx,1,0);

Image_Derivatives_Scharr(evolution[i].Lsmooth，evolution[i].Ly，θ，1);

TV Diffusivity(evolution[i].Lsmooth,evolution[i].Lflow,evolution[i].Lx,evolution[i].Ly);

//与AOS一起执行扩散步骤

AOS_Step_Scalar(evolution[i].t,evolution[i-1].Lt,

evolution[i].Lflow,evolution[i].etime evolution[i-1].etime);

}

return 0;

}

从实验结果可知，直接将AKAZE算法应用于显著灰度差异的SAR图像匹配中存在如下问题：

(1) 特征点数量减少，匹配点数量低。

(2) 匹配点分布过于集中。

(3) 存在大量主方向计算错误。

2.2 GLDB描述子

针对直接使用AKAZE算法带来的问题，本文提出一种新的特征描述符GLDB。该描述符结合了LDB与GLOH的优势。LDB描述子是一种二值描述子[10]，它不仅利用图像的灰度信息，而且引入了图像的一阶梯度信息，能获得较高的差异性。GLOH描述子则增加了特征描述子的鲁棒性和独特性。

如图2所示，LDB使用2个网格内的平均灰度以及水平和垂直方向的一阶梯度信息来区分3个图像块。加入梯度信息使差异性增强，从而使得配准时会对灰度变化更加敏感，但容易导致主方向错误。如图3所示，本文将海冰SAR图像划分为5×5的网格，通过LDB获得每个图像块内关键点位置周围图像网格的平均灰度和一阶梯度。

图2 3个不同灰度分布的图像块的图例

图3 使用LDB描述子的灰度分析实例

针对主方向提取问题，本文重点设计提出八象限圆格划分提取方法，如图4所示，将八象限圆格划分用于关键点特征描述及主方向计算。选用极坐标同心圆，其半径依次设为6、11、15。角度方向按照每等分π/4分成8等分，一共形成17个图像子块。本文对GLOH进行简化，在生成梯度直方图时，只分8个方向，这样特征向量的维数为17×8=136，免去了降维环节，减少对样本图像的依赖性。进而有效保证了主方向的提取精度，具体操作过程如下：

1) 通过GLDB描述符可以获取8个不同方向梯度直方图，并获得不同角度下的图像块内部平均灰度和一阶梯度，从而解决了单一使用LDB算法而产生的有关旋转不变性的问题。

2) 针对17个图像块进行步骤1)操作，从而对噪声有更强的鲁棒性。

3) 获取17个图像块中8个方向共计136个方向信息，最终形成本文提出的GLDB描述符。需要指出，由于原始的LDB描述符参数使用笛卡尔坐标，而GLOH描述符参数使用极坐标，在进行结合时通过将图像映射到极指数空间的方式将笛卡尔坐标转换为极坐标(代码如下)，进而将通过LDB描述符得到的平均强度和一阶梯度转换成8个角度中x轴和y轴上不同的偏移。

pl.dis=sqrt(xypos.x*xypos.x+xypos.y*xypos.y);pl.ang=atan2(xypos.y,xypos.x);

4) 对相邻区域块进行两两测试，以判断是否存在灰度差异变化，公式如下：

(2)

式中：Fi∈{Iavg(i),dx(i),dy(i)}，Iavg为图像块的平均灰度，dx、dy分别为一阶梯度信息。

图4 GLOH描述子的区域划分

基于GLDB的AKAZE算法与SIFT算法和AKAZE算法对比如表3所示。从中看出本文方法得到了更多的匹配点并且匹配正确率有了大幅度提升。如表4所示，对于存在显著灰度差异的图像，使用GLDB描述子后能获得较多的待匹配点，但进行RANSAC错误点剔除时发现部分正确匹配点也被剔除，导致特征匹配点偏少。

表3 对数据集1原图的初始匹配结果

表4 对数据集1反色图像的初始匹配结果

2.3 两步再匹配策略

在特征匹配阶段，针对RANSAC[11]的固有错误，本文提出一种基于几何对应匹配和灰度差异对应匹配的两步匹配策略。

2.3.1几何对应匹配

本文在初始匹配阶段没有考虑图像之间的几何关系，在匹配阶段本文使用几何约束来选择几个候选点，采用M-NCC[12]方法进行匹配。首先选择一个参考图像中的矩形窗口将其对应于匹配图像，使用初始匹配获得的对应性，然后使用双线性将不规则四边形重新采样到与矩形窗口相同大小插值，具体步骤如下：

1) 选择参考图像上的特征点，这些特征点在初始匹配中被剔除，预测输入图片上的对应位置。如图5所示,其中：P是被匹配的点；P′是与之对应的匹配点，由于匹配H可能出现偏移，P′可能不是正确匹配点，因此我们保留距离P点小于n像素的所有点，将其作为数组{Q1，Q2，…,Qn},计算所有可能点与P之间的M-NCC。

图5 几何对应匹配(圆圈内标记的点为距离P在N像素内的点)

2) 使用新匹配和初始匹配重新计算单应矩阵，通过计算RMSE进行错误匹配剔除。

3) 将保留的匹配和单应矩阵作为输入，重复步骤1)和步骤2)，直到正确匹配的数量不再改变。

2.3.2灰度差异对应匹配

针对本文提出的显著灰度差异问题，本文提出一种基于灰度差值的匹配方法，上述几何对应匹配为了保证正确率，使用了过于严格的参数控制，消除了一些正确的匹配，可能出现正确匹配点已经接近相应点但未被提取的情况，所以将对其进行补充，提高正确率。具体步骤如下：

1) 选择可能正确匹配的特征点，并找到其候选匹配点。对经初始匹配以及几何对应匹配后剔除的点，根据图像像素以及分辨率等因素通过实验设定一个新的灰度差值阈值，进行下一次匹配。

2) 以候选点为中心，周围3×3(5×5、7×7均未产生新的有效匹配点)个特征点的灰度值为一个矩阵，计算每一个点与中心特征点的灰度差绝对值。这使得我们关注的是灰度的变化，而不是灰度值的增加或者减少。

3) 通过计算矩阵每个方向的期望值，确定其相关性。根据RMSE执行错误匹配剔除。如果RMSE大于1个像素，我们逐个消除误差最大的点，直到RMSE小于1个像素。之后，计算水平和垂直方向的均方误差。如果一个点的水平误差大于1个像素，或者垂直误差大于1个像素，则该点被删除。

3 实验结果及分析

本文针对非同源SAR海冰图像匹配时会遇到的三个问题进行验证与比较。实验运行在Windows 7系统上，采用英特尔酷睿i7- 6700处理器，主频为3.40 kHz，内存为4 GB，采用Visual Studio 2013和opencv2.4.10进行编程模拟实验。

3.1 匹配点分布过于集中的问题

本文利用数据集1图像进行实验，并使用数据集2和数据集3图像进行验证。为了验证本文提出的GLDB-AKAZE算法的有效性，将实验结果分别与SIFT算法和AKAZE算法进行对比。原SIFT算法与AKAZE算法均有匹配点分布过于集中的问题，如图6所示，AKAZE算法匹配点更集中于图像中显著性较强的部分，对周围相对不够明显的区域缺少匹配点。

图6 AKAZE算法对数据集1的原图匹配结果

如图7和图8所示，使用GLDB-AKAZE算法进行匹配时，除了对显著性较强的中间厚冰部分可以进行很好的匹配以外，对旁边部分不太明显的薄冰区域也可以进行很好的匹配，在一定程度上解决了匹配点分布过于集中的问题。本文对3个数据集原图以及灰度增强后的图像分别进行实验，其中数据集1的图像尤为明显，虽然正确匹配点依然集中在厚冰区域，但是薄冰区也存在很多正确匹配点。

图7 GLDB-AKAZE算法对数据集1的原图匹配结果

图8 GLDB-AKAZE算法对数据集1的原图和灰度处理图像匹配

如表5及表6所示，本文将匹配图像等分，统计每小格正确匹配点数,可以看出GLDB-AKAZE算法匹配的特征点分布更为均匀，对图像中每个网格内的特征点都可以有效匹配。

表5 基于GLDB-AKAZE算法对数据集1的原图进行3×3等分后各区域正确匹配点统计

表6 基于GLDB-AKAZE算法对数据集1的灰度增强图进行3×3等分后各区域正确匹配点统计

3.2 显著性灰度差异图像匹配效果比较

为了对GLDB-AKAZE算法的灰度适应性进行深度探究，在原图像的基础上，本文对3组数据分别进行灰度增强处理以及显著性灰度差异变化(反色)处理。如图9所示，实验发现灰度增强后的结果三种方法均没有明显变化，具体情况如下：

1) 数据集1灰度增强后，信息增多，但无效信息如噪声也被增强因此匹配点数量增多，正确率降低。

2) 数据集2灰度增强后丧失了部分信息，匹配点数量有小幅度地减少，正确率少量降低。

3) 数据集3灰度增强后信息增多，且多为有效信息，因此匹配点数量增多，正确率也有所提高。

(a) 原图和灰度增强图(数据集1)

针对显著性灰度差异图像的匹配，SIFT算法和AKAZE算法均无法进行匹配，如图10所示。但是改进后的GLDB-AKAZE算法，可以进行匹配，如图11所示。

图10 AKAZE算法对数据集1的原图和反色图像匹配

(a) 原图和反色图(数据集1)

3.3 匹配点整体偏少问题

对于特征点变少以及显著灰度差异图像无法匹配等问题，本文分别给出三个数据集使用三种算法的两幅待匹配图像的特征点个数，匹配点个数与正确点匹配个数以及正确率如表7-表9所示。

表7 针对数据集1的匹配结果及分析

表8 针对数据集2的匹配结果及分析

表9 针对数据集3的匹配结果及分析

1) SIFT算法虽然可以得到大量的匹配点，但是大多数匹配点被噪声干扰，导致其无法直接应用于非同源SAR图像的匹配问题中。

2) AKAZE算法利用了非线性滤波不会均匀无差别的平滑细节和噪声，保留了图片中更多的有效信息，得到了更多有效的特征点并完成匹配，但特征点数量较少。

3) GLDB-AKAZE算法得到了更多的匹配点，并且有较高的准确率。

对比表7-表9，同SIFT算法一样，直接使用AKAZE算法无法适应图片可能会有的显著灰度差异的问题。而本文提出的GLDB-AKAZE算法得到了更多的特征点与匹配点，并且准确率也有所提升，尤其对于显著的灰度差异图像也依然适用。如三组对比实验结果，对数据集3的实验中，GLDB-AKAZE算法的准确率对于原图像和对比度轻微变化的两幅非同源SAR图像在分辨率相同的情况下可以达到90%以上，而对数据集2这种边缘信息非常明显且有效信息更多的图像，即便分辨率有区别但准确率依然可以达到95%以上，即便数据集1数据分辨率高，获取错误信息增多且有一定的分辨率区别，但是准确率依然可以达到70%以上。

对显著的灰度差异图像的极端情况，本文选用反色图像作为例子进行实验，也发现SIFT算法与AKAZE算法准确率几乎为0，而本文提出的GLDB-AKAZE算法准确率可达50%左右。

3.4 测试集匹配结果分析

为了验证算法普遍性，本文给出两组测试数据集同源海冰SAR图像分辨率变换处理后的图像，如图12所示，然后依次加椒盐噪声、斑点噪声、高斯噪声，配准结果如表10和表11所示。

处理后8 m分辨率数据 100 m分辨率数据(a) 测试集1

表10 针对测试集1的匹配结果及分析

表11 针对测试集2的匹配结果及分析

实验过程中，分别加椒盐噪声0.1、0.3、0.5；斑点噪声0.1、0.3、0.5；高斯噪声0.1、0.3、0.5。表10和表11显示有效匹配最好的为椒盐0.1，斑点0.1，高斯0.3。

4 结 语

SAR图像中普遍存在相干斑噪声，其成像目标显著度偏低。当图像对之间存在比较显著的灰度差异时，采用传统图像匹配方法通常会出现无效特征点过多及正确匹配点少等问题。针对存在显著性灰度差异的图像匹配问题，本文提出一种GLDB-AKAZE方法，具体成果如下：

1) 提出一种新的特征描述符GLDB，进行初始特征点的提取。GLDB描述符首先利用了LDB描述子对图像灰度信息的差异性进行描述，然后对关键点邻接区域划分方法进行了改进，由田字格划分改为八象限圆格划分，使之更适应匹配图像的灰度变化，并保证了主方向计算的精度。

2) 在特征点匹配阶段，提出的两步再匹配策略。针对灰度问题提出一种基于几何对应匹配和灰度差异对应匹配相结合的两步匹配策略。

3) 通过与SIFT、SURF和AKAZE等算法进行比较，得出本文算法获取的图像特征点匹配点个数增多，同时有效地抑制了正确的匹配点被剔除现象的发生，确保匹配点的数量及匹配的准确率。

在后续研究中，试图将本文研究的非同源海冰特征匹配算法应用于海冰的追踪问题中，因为海冰漂移可能造成巨大的经济损失，其中最为人知晓的案例就是铁达尼号的沉没，因此对海冰运动进行跟踪及监测非常具有实际意义。在主要由海冰覆盖的地区几乎没有地面站点，所以遥感卫星成为了观察大范围海冰的最重要的工具，并且常被用来进行海冰运动跟踪监测。目前海冰漂移跟踪常用的数据为同源数据，这样非常具有局限性，同一卫星的重访时间长，最少也需要1天，时间分辨率低。在较长的时间间隔内，会有很多有效的特征和速度场丢失。但本文提出的非同源数据使用多颗卫星进行观察，这样同地区短时间隔的特征和速度场更容易获得，将会提高海冰漂移跟踪的准确率。而在追踪过程中，由于光照、入射角等问题，经常会得到有显著灰度差异的图像，所以后续将会试图将本文算法应用于海冰漂移跟踪。