视觉着舰中非合作结构化特征匹配算法

毕道明，黄 辉，范 静，陈恭彦，张 海

（1.国防科技大学空天科学学院，长沙410073；2.沈阳飞机设计研究所，沈阳110035；3.北京航空航天大学自动化科学与电气工程学院,北京100191）

舰载机、航母间的相对定位与运动测量对着舰安全有着决定性作用，考虑到全球导航卫星系统存在被干扰的可能[1]，开展全自主抗干扰着舰定位技术研究有着十分重要的意义。基于非合作目标的视觉着舰技术，可以最大限度地降低系统间耦合性，并提高系统可用性，是重要的发展方向。

视觉着舰系统利用机载摄像头获取目标的图像信息，通过图像处理技术计算出无人机与甲板的相对位姿，最后将位姿信息发送给飞行控制系统，引导无人机自主完成着舰动作[2]。许多研究机构与高校都开展了相关方面的研究，并取得一定的研究成果。文献[3]和文献[4]利用特征点匹配计算两帧图像的位姿变换，其特征点提取方法受到环境干扰影响较大，且不能直接得出无人机与舰船的相对位姿，需要借助一方的绝对位姿信息。文献[5]设计了一种T形红外热辐射合作目标来引导着舰；文献[6]设计了一种彩色非对称合作目标,通过计算合作目标的最小周长多边形来获取轮廓上的角点；文献[7]设计了一种新型的三维立体合作目标与定位算法，提升了着舰过程中的抗遮挡鲁棒性。然而针对合作地标点的位姿解算依靠舰船，隐蔽性较差，且不能做到真正的自主性。

针对上述问题，本文提出了一种视觉着舰中鲁棒的非合作特征点匹配算法，仅利用航母自身建筑及标志标线的结构特性选取位置稳定的结构特征点，可以有效避免现有特征点算法因成像质量、视角变化等原因造成的特征点位置不稳定问题，特征点匹配误差小于1个像素，进而保证视觉解算精度，并具有抗战损、全自主的优点。

1 鲁棒特征点设计思想

视觉着舰的关键是：舰载机在下滑过程中，能够准确获得位置精确已知的视觉特征点，进而通过机器视觉解算，得到舰载机与航母的相对位置与运动信息。为满足不同情况下视觉着舰的要求，如图1所示，非合作视觉特征点能够稳定存在、定位精度高，且具有合理的分布，提高视觉位姿解算的精度。所谓非合作视觉特征点，指的是仅利用航母自身建筑及标志标线的结构特性选取位置稳定的结构特征点，而不依靠人为放置额外标志物，从而可以达到全自主的优点。目前视觉导航中应用最为广泛的视觉特征有基于加速分割的特征[8]（Fea⁃tures from accelerated segment test，FAST）、有向FAST与旋转BRIEF[9]（Oriented FAST and rotat⁃ed BRIEF，ORB）、加速鲁棒特征[10]（Speeded up robust feature，SURF）等。

图1 视觉着舰问题描述Fig.1 Problem description of visual landing

ORB特征是一种改进的FAST角点特征，在考虑像素邻域点的灰度变化的基础上计算了特征点的主方向。然而其基本原理仍然是考虑图像的灰度变化，没有利用周围环境信息的约束，无法对特征点进行稳定有效检测。

SURF特征被认为是目前精度最高、稳定性最好的特征匹配算法，其是对尺度不变特征变换[11]（Scale invariant feature transform，SIFT）特征的改进，其基本结构、步骤与SIFT相近，但具体实现的过程有所不同。然而SIFT、SURF特征点为不同尺度下小区域图像内容的统计指标峰值，从提取原理上看，该方法避免了特征点出现在直线上，其特征点与结构近似无关，不能作为计算锚点。

图2给出了航母模型的ORB、SURF特征，可见特征点并不能保证出现在稳定的外形与标志结构上，且实验表明随着光照、距离、视角的变化特征点变化明显，不能达到利用航母表面标定点进行视觉定位解算的目的。

图2 主流特征点提取算法效果图Fig.2 Effect diagrams of mainstream feature point ex⁃traction algorithm

本文提出了以外形及标志标线为对象的结构化特征点检测方案，将图3中稳定存在的特征点提取出来，但并不能利用ORB、SURF等方法可靠获得特征作为非合作特征，如舰尾的角点、跑道线的角点等，核心思想是挑选稳定存在的直线交点，因其具有抗干扰能力强、定位准确的特点，但现有基于灰度信息的图像特征算法无法满足要求，必须设计新的结构特征检测与匹配算法。

图3 特征点的选取Fig.3 Feature point selection

2 结构化特征点设计

利用图像的结构化特征点一定是由直线相交所形成这一思想，在图像结构边缘检测的基础上进行特征点的检测。将不同方向的结构化边缘进行组合，若存在角点，则边缘将会产生交点，该交点位置即为图像结构化特征点。

在直线检测方法中，线段检测子（Line seg⁃ment detector，LSD）算法被认为是目前最有效的方法之一[12]，其按照梯度方向的一致性直接将邻近像素编组为线段区域，能在线性时间内得出亚像素级精度的检测结果，具有速度快、调节参数少的优点，但也存在着一些不足：(1)算法对每个像素点在区域增长步骤中标记了是否使用，所以每个像素点只能被一条直线包含，当图像上两直线相交时至少有一条直线被分为两段；(2)虽然使用降采样和高斯滤波可以降低图像噪声的影响，却造成小尺度下线段的提取精度下降；(3)遮挡、光照变化等环境因素会影响线段的连续性和稳定性。

图4给出了LSD直线检测效果，图中红色线段为检测结果，可见LSD能够有效检测结构性边缘，但断续线段增加了结构特征识别的难度，不利于非合作特征提取的数量最大化，而特征的数量、分布对后续相对定位解算至关重要，因此必须对基于LSD的结构特征提取进行改进。

图4 LSD检测效果图Fig.4 Effect diagram of LSD detection

2.1 LSD算法改进

改进思想是对LSD提取线段进行合理接续。

首先根据线段长度进行排序，得到l={l1,l2,l3,…,ln}，从最长的线段l1开始进行线段分组，因为长线段往往来自具有连续强梯度的图像区域，所以更加可靠。

通过直线斜率筛选，得到候选线段集合，有

式中ks为衡量线段斜率相近程度的筛选阈值。

通过端点距离筛选，得到候选线段集合

式中ds为衡量线段端点相近程度的筛选阈值。

通过中点斜率筛选，得到最终候选线段集合

式中kn为衡量线段中点斜率相近程度的筛选阈值。

需要注意的是，3个筛选步骤的顺序很重要，按照合理的优先级依次进行可以有效提交合并效率，因为角度筛选的计算最简便，所以应该最先使用，其次端点距离，最后中点斜率差。线段分组及合并重复迭代地进行，直到无法再分组及合并为止。具体的算法流程如图5所示。传统LSD直线提取算法与优化后的直线提取算法效果对比如图6所示。

图5 线段合并流程图Fig.5 Flow chart of line segment merging

从对比图6中可以看出，改进后的直线检测算法删除了过短的线段，保留了稳定性较高的直线，将原本被割断的直线被合并在了一起，提升了结构化特征点的提取稳定性。

图6 直线检测算法效果对比图Fig.6 Comparison of the effect of line detection algo⁃rithms

2.2 结构化特征点定位

在改进线段连续性后，可以依据稳定直线进行结构特征点选取。从LSD直线原理来看，一个点只能属于某一条直线，因此提取线段不会相交，需要按一定的规则找到优化后的线段的交点。本文采用了以下方法：首先，找到符合可能相交的两条线段，构成线段集合ϕ，相交判定准则为：两条线段的最近端点的距离小于给定值ds，且斜率之差大于给定值ks；然后将线段进行直线参数化描述；最后求取参数化直线的交点，即为结构化的角点，从而得到结构化特征点集合P。

式中：kij为线段li和lj斜率差；dij为线段li和lj最近的端点距离。

经以上处理得到的结构化特征点数量较多，按照直线提取的稳定性对特征点进行排序，将长直线的交点作为最高优先级，并按照特征点的分布进行航母表面区域网格化优先级排序，图7给出了部分最高优先级结构特征点。

图7 部分结构化特征点分布图Fig.7 Distribution of some structured feature points

3 基于BRISK的结构化特征点匹配

在应用中，以上操作仅仅是获得了实时图像中的结构特征点，尚未建立起与基准图中参考点的匹配关系，鉴于现有基于描述符的匹配算法不能保证所有结构特征能够被有效匹配，且干扰情况下仅能实现个别特征点的匹配，本文采用基于特征描述符灰度图像预匹配与单应阵空间匹配两阶段的方案，可以实现所有实时图像结构特征点的有效利用，对提高后续定位解算精度与可靠性有重要意义。

3.1 基于BRISK描述符预匹配

由于结构化特征点的提取并不是仅仅依靠图像的灰度变化或者图像内容的统计指标峰值，所以用普通的描述符并不能很好地描述该关键点周围像素的信息，从而造成匹配丢失或者误匹配现象。鉴于结构化特征点具有明确的角点及灰度梯度变化性质，采用二进制鲁棒尺度不变特征点（Binnry robust invariant scalable keypoint,BRISK）[13]描 述符进行预匹配。

BRISK特征描述符是一种具有尺度不变性和旋转不变性的二进制描述子，采用的是邻域采样模式。相比BRIEF[14]描述子随机选取两个像素点做二进制比较，BRISK具有旋转、尺度不变性和对噪声的鲁棒性。图8给出了BRISK算子采样情况，以关键点为中心，进行多层、多尺度圆周采样，每个虚线圆代表对应位置的高斯平滑标准差σ，其正比于每个采样点与各自中心的距离。

图8 BRISK采样模式Fig.8 BRISK sampling mode

然后对N个点两两选取组成点对，共有N(N-1)/2个点对，表示为(pi,pj)。这些点的平滑 像 素 值 分 别 为I(pi,σi)、I(pj,σj)。根 据 以 上 信息，可计算出局部梯度，有

对所有采样点对集合A，根据距离长短定义短距离点对S和长距离点对的子集L，特征点的主方向计算如下

描述符的每bit值等于短距离点对的比值，即

式中α是根据计算的特征点主方向的旋转角度。

通过式（8），生成二进制描述符，并选择Ham⁃ming距离进行匹配。

3.2 结构特征点的匹配策略

在图像清晰、实时图与基准图尺度相近情况下，通过BRISK特征描述符可实现大部分结构化特征点匹配，但使用大量基准图并不是最优的解决方案，为实现少量基准图下的所有结构特征点有效匹配，在BRISK特征匹配基础上设计了单应阵再匹配方案。

单应阵匹配就是在已有BRISK匹配基础上，利用已知的确定特征间的位置关系，依据成功匹配特征点确定的实时图、基准图间单应阵，对BRISK未匹配的实时图结构特征点进行空间位置匹配，实现结构特征点的最大利用。

算法设计中，首先采用尺度相近基准图、实时图匹配，然后进行实时图相邻帧匹配的方法，提高BRISK特征匹配成功率，基于基准图、实时图中成功匹配点集p1、p2，建立当前实时图与基准图间的单应变换矩阵，有

利用H可以获得基准图结构化特征点(xp,yp)在实时图中的大致位置，即

进而在实时图的小区域内寻找直线的交点，因在结构化特征点选择方案设计中充分考虑了特征的邻域突出性，可以有效避免误匹配，最终获得匹配点，有

综合考虑图片大小和H阵计算精度对搜索邻域σ的影响，采用自适应方法对σ进行修正，有

式中：F为图片大小；m为BRISK预匹配成功的特征点对数。

通过实验发现图片大小为720像素×720像素，特征点对数为15时，对应σ=2可以获得较好的效果。

由图9可见，在BRISK描述符预匹配的基础上，利用结构化特征点的结构化信息实现再匹配，可以找回部分丢失的匹配点，实现结构特征点的最大利用。

图9 特征匹配效果图Fig.9 Feature matching renderings

4 位姿解算

首先定义基准帧和当前帧两个概念，然后在航母中无人机的着陆甲板选择一点为航母坐标系原点，坐标系按照定义的各轴向确定得到航母坐标系XwYwZw，无人机坐标系为XpYpZp，之后在基准帧中保存结构化特征点的世界坐标，获取实时图后，用第1帧与基准帧进行特征匹配，这样就获取了第1帧中结构化特征点在世界坐标系中的坐标；最后根据N个3D空间点以及它们的投影位置，利用EPnP[15]算法估计相机相对于航母模型的相对位姿。依次将前一帧当作当前帧的基准帧，进行特征匹配，并估计位姿，如此循环。

5 实验结果与分析

为验证视觉着舰中鲁棒特征点匹配算法设计的有效性，设计一套半物理仿真平台进行实验验证，航母模型采用1∶700的辽宁舰模型。测试平台为 戴 尔i5⁃8500T＠2.10 GHz，8 GB内 存，64位Linux操作系统。算法基于OpenCV库在KDevel⁃op开发环境下编写。

实验在实际着舰下滑角情况下采集视频，并选择1 000 m距离视觉效果作为目标场景，对ORB、SURF以及本文提出算法的特征匹配效果进行对比，结果如图10所示。算法效果对比如表1、2所示。

由图10及表1、2可见，ORB算法提取的特征点数虽然最多，但是其分布不规律、过于集中在部分区域，且不稳定，不能满足定位解算需求。SURF算法提取的特征点虽具有较好分布，但不能保证出现在结构化边缘上，特征点位置随成像质量、视角的变化而变化，无法满足相对位置解算的需要。本文算法相比于其他算法能更好地提取到图像的结构化特征点，具有更好的抗尺度、旋转及成像质量变化的能力，且可利用LSD算法能够将非合作特征点定位误差控制在1个像素以下，并能保证算法的实时性，可为机器视觉解算提供位置精度高且稳定的参考特征。

表2 算法平均耗时对比Table 2 Compar ison of algor ithm average time con⁃sumption ms

6 结 论

本文针对视觉着舰应用，提出了一种非合作视觉特征点设计方法，利用LSD直线检测算法实现航母外形及标志标线结构化角点的高精度、高可靠性检测，该算法可有效抑制尺度、旋转、视角和成像质量等多种因素的不利影响，充分利用航母自身结构及视觉图像的稳定性为视觉着舰提供稳定、定位精度高的图像特征点，并通过实验验证了算法的有效性。