基于无人机航拍图像的关键目标点间距测量研究

(四川工业科技学院,四川 德阳 618500)

0 引言

在无人机目标点间距测量过程中，双向距离测量是非常重要的项目，通过测量不同方向信号向传输时延来获取不同目标点间距离信息[1]。以往通常使用伪码测距和信息帧测距方法，其中伪码测距是利用不同方向信号伪码的相位关系进行目标点间距测量的；而信息帧测距方法是通过上行链路扩频模式，下行链路数据流帧标志方式进行目标点间距测量的[2]。这两种方法虽然都具有测量速度快的优势，但伪码测距方法上、下行信号间具有明显相干特性，造成约束关系较强，容易造成测量结果不精准。而信息帧测距方法受到遥测数据流的帧标志抖动影响，在一定程度上无法精准测量目标点间距[3]。

为适应复杂多径环境使用需求，提出了基于无人机航拍图像的关键目标点间距测量研究方法。通过将测距信息传至无人机航拍系统中，转化为图像形式，实现精准测距的目的。

1 基于无人机航拍图像测量原理

无人机航拍图像信息是关键目标点间距测量所需重要参数信息，在目标二维序列图像中，可将目标信息分为两类，分别是边缘轮廓信息和线性线段长度信息[4]。通过无人机航拍系统的上行链路和下行链路作为上述两种特征信息采集的主要途径，由此实现基于无人机航拍图像测量。

其中上行链路测距原理为：采用扩频传输方式，对地面调制器进行编码、扩频处理，将处理结果以信号形式发射出去[5]。待机载接收机完成信号解调和扩散后，完成关键点间距测量。

下行链路测距原理为：采用遥测数控一体化高速数据链传输模式，使机载调制器实现数据块复接，经过调制器调制后，将调制结果以信号形式发射出去。待机载接收机完成信号解调和扩散后，完成关键点间距测量[6]。

基于上下行链路特征信息采集原理，分别计算关键点间单向和双向距离，通过无人机航拍图像误差修正，实现基于无人机航拍图像的关键目标点间距高精准度测量。

2 关键目标点间距测量研究的实现

依据上下行链路测距原理，对关键目标点角度进行测量，为目标方向确定做好准备；匹配图像，标记参考点；依据参考点信息，生成特征描述子，以此提取特征点；采用无人机上下行链路进行间距测量计算，由此完成关键目标点间距测量[7]。

关键目标点间距测量研究实现流程如图1所示。

图1 关键目标点间距测量研究实现流程

依据该流程，进行关键目标点间距测量研究。

2.1 角度获得

高分辨力关键目标点角度获得是间距测量的重要条件，采用三轴机光电经纬仪用于测量关键目标点方位角和高低角[8]。

三轴机电装置光电经纬仪中的垂直轴、水平轴和照准轴之间是相互垂直的，其中水平轴和照准轴可在一维平面内绕着垂直轴旋转，经过测角跟踪系统中轴角编码器获取角度。其中方位角是通过安装在垂直轴上的轴角编码器测量的；高低角是通过安装在水平轴上的轴角编码器测量的，以高精度计量光栅组件为基准，通过光电转换，将旋转发生的位移信息转换成数字代码形式，只要照准轴瞄准关键目标点就可准确获取方位角和高低角，及时对目标进行跟踪，以此确定无人机航拍关键目标点[9]。

2.2 图像匹配

在间距测量过程中，无需处理图像中所有像素点，而是针对关键目标点像素进行处理，即对相邻图像序列中目标特征点进行匹配[10]。

采用灰度信息匹配方法，利用两幅待匹配图像之间灰度作为基准度量，当灰度信息相似度满足设定的阈值时，说明图像匹配成功；否则，失败。

具体匹配流程为：

选取一个固定区域灰度矩阵，并对全部信息进行归一化处理，采用数理统计方法搜索灰度信息。灰度信息矩阵计算公式如下所示：

(1)

其中：Z表示相似性度量值，该值越大，说明匹配精准度就越高。E(a,b)为原始图像；Rh,g(a,b)*E(a,b)表示基准图像；Rh,g表示基准图像被原始图像覆盖的图像；a,b表示Rh,g图像中像素点坐标，即为参考点。

2.3 特征点提取

根据上述获得的参考点，生成特征描述子，利用局部自相关函数，对像素点进行检测，以此提取特征点。

在某圆形区域边长为dk(k表示参考点所在空间尺度值)的哈尔小波变换模板中，以任意参考点为中心，fk为半径的圆，计算横纵坐标方向上的哈尔小波响应。

以参考点为中心，60°角为中心的扇形区域，加权高斯函数，并计算该区域内的哈尔小波变换响应向量，保证角度旋转不变，通过哈尔小波变换迭代算法不断确定参考点具体位置。

描述子的生成是以横纵坐标方向上标准哈尔小波响应和加权处理后的变换响应向量为基准，以参考点具体位置为中心，固定坐标轴主方向。以固定边长设计正方形窗口，以正方形大小为一个小块划分窗口，计算每一个窗口小波响应，并进行加权处理。

特征描述子生成具体过程如图2所示。

图2 特征描述子生成具体过程

依据图2所示过程，计算每个小窗口水平和垂直方向小波响应值，由此形成了多维特征描述子。

利用μ1和μ2分别表示局部自相关函数曲率，通过函数曲率对多维特征描述子进行分类，以此区分关键目标点特征。

像素点检测如图3所示。

图3 像素点检测

依据图3所标记的像素点实际特征位置，分析局部自相关函数曲率，以此确定具体关键目标点特征点位置，方便特征点提取。

1)当μ1和μ2都相对较小时，图像窗口并无灰度变化，说明该区域为平坦区域，其特征为图3中的特征1区域；

2)当μ1远远大于μ2或远远小于μ2时，图像窗口灰度出现大幅度变化，说明该区域为边缘区域，其特征为图3中的特征2区域；

3)当μ1和μ2大小接近时，图像窗口灰度出现变化，说明该区域为角点区域，其特征为图3中的特征3区域；

根据分析的三种区域特征情况，提取所需关键目标点特征，为间距测量提供数据支持。

2.4 间距测量计算

将提取的特征点作为无人机航拍图像关键目标点，采用无人机上下行链路获取的图像信息进行间距测量计算。图4给出了基于无人机航拍图像测距工作流程。

图4 基于无人机航拍图像测距工作流程

图4中T下表示下行链路遥控帧周期；T上表示上行链路遥控帧周期；n是上下链路遥控帧周期的比值。通常情况下上行链路遥控帧周期要小于下行链路遥控帧周期，并且在一个遥控帧周期内，上行链路遥控帧计数器为1，两个关键点之间双向总距离为TG1+ΔtG1，关键点提取时延为TU1+ΔtU1，两个关键点之间单向距离为：

(2)

公式(2)中：W为常数，单位为m/s；TG1表示遥控帧1时和高速数据链之间关键点双向距离时延；TU1表示机载收遥控帧1时和高速数据链之间关键点双向距离时延；ΔtG1表示遥控帧1时图像同步抖动时延；Δt1表示遥控帧1时机载码环跟踪抖动时延。

在上行遥控帧1 的周期内，对下行高速数据链中的n个数据块，任意两点双向总测距为TGn+ΔtGn，机载系统处理时延为TUn+Δtu，由此计算两个关键点之间单向距离为：

(3)

TGn表示遥控帧n时和高速数据链之间关键点双向距离时延；TUn表示机载收遥控帧n和高速数据链之间关键点双向距离时延；ΔtGn表示高速数据链中n个图像块同步抖动时延；ΔtUn表示高速数据链中n个图像块机载码环跟踪抖动时延。

公式(2)、(3)表示一次完整测距过程，测距周期与下行链路高速数据链图像块周期一致。

3 误差修正

由于影响无人机航拍图像质量因素有很多，因此，以图像坐标变换→重采样→图像增强→图像平滑为主要步骤，对间距测量计算结果进行误差修正，保证基于无人机航拍图像的关键目标点间距测量研究结果更加精准。

3.1 图像坐标变换修正

无人机航拍图像几何校正就是对原始图像存在的质量问题进行修正，使其符合关键目标点间距测量结果高精准要求，也就是确定图像上像素坐标与实际关键点坐标之间的关系，以此反映两者间映射关系。

具体图像坐标变换修正过程如下所示：

1)采用多项式对无人机航拍图像形变进行模拟，将图像上像素坐标与实际关键点坐标进行坐标变换，以此表达两者之间关系；

2)将原始图像视为形变曲面，获取的目标图像为规则平面，任务形变曲线都可以利用多项式拟合成规则平面，由此建立初始图像坐标点和参考坐标点；

3)确定坐标后，利用地面控制点协助完成形变图像几何校正。

一旦确定地面控制点后，需求取多项式系数，并对图像上所有关键像素点进行重新定位，进而校正图像，完成坐标变换。

3.2 重采样

经过多项式进行坐标变换的像素点在无人机航拍图像中分布并不均匀，因此需对其进行重新采样。根据图像各关键像素点阵列，求取坐标变换后像素灰度值，并依次分析各个像素点之间关系，对原始图像重新采样，从而建立新的图像矩阵。

3.3 图像增强

提取重新采样的关键点特征，通过傅里叶变换，将图像从空间域中转换到频率域中，并对原始不清晰图像频率域成分进行处理，利用直方图进行图像修正，使灰度间距被拉大，增大反差，使图像更加清晰，实现图像增强。

3.4 图像平滑

由于受到光照影响，无人机航拍图像会出现亮度较大噪点，为了消除噪点，需对图像进行平滑处理。采用中值平滑法，将每一个像素点灰度值都设置为邻域窗口内所有像素点灰度值中值，起到去燥效果。

经过一系列处理，可对无人机航拍图像进行处理，为关键目标点间距测量提供精准数据，使测量结果更加精准。

4 数值分析

在Intel Core i5-3210M CPU@2.50 GHz硬件环境下，使用MATLAB编程，借助函数库，对同一张无人机航拍图像进行数值分析的，以此验证基于无人机航拍图像的关键目标点间距测量研究方法的有效性。

4.1 分析平台设计

地空链路有线测试平台设计如图5所示。

图5 地空链路有线测试平台

使用高频电缆代替传统收发天线，搭建多条信道模拟上下行双工器在工作过程中复杂环境。该平台实际参数设置如表1所示。

表1 平台设备参数设置

4.2 测距结果与分析

以往采用伪码测距和信息帧测距方法进行关键目标点间距测量，存在残余非均匀性扫描噪声、脉冲噪声以及环境干扰噪声等，导致测量结果不精准。噪声反映在图像中，使原始图像灰度值突然变大，轮廓边缘都变得虚化。而基于无人机航拍图像的测量方法设定了误差修正步骤，不会受到噪声影响，测量结果较为精准。

对图6(a)所示原始图像中的关键目标图像添加方差为15的高斯噪声，其效果图如图6(b)、(c)所示。

图6 原始图像和加高斯噪声效果图

由图6可知：采用以往测距方法受到噪声影响较大，关键目标点信息特征基本无法辨识，整个图像较为模糊。而基于无人机航拍图像测距方法受到环境噪声影响，边缘部分出现噪点，但好在影响效果不大，关键目标点信息特征可以辨识，整个图像依然较为清晰。

依据图6所示效果图，进行一次完整测距，两种方法测距结果如图7所示。

图7 两种方法测距结果

图7中：ranging _send time为上行遥控帧发送时间值，可用F1表示；ranging _recv _ time为接收高速数据链时间值，可用F2表示；ranging _before _minus delta为关键目标点之间双向测距粗延时，可用F3表示；ranging _after _minus delta为关键目标点之间双向测距细延时，可用F4表示；ranging_result为单向测距值，可用F5表示。

实际F1、F2、F3、F4、F5数据输出依次为：

①F1-42157380、42157380、42157380、42157380；

②F2-39406581、39406580、39406579、39406578；

③F3-509673、509674、509675、509676；

④F4-284471、284582、284691、286783；

⑤F5-358073、358972、348815、348762。

由图7可知，基于无人机航拍图像测距方法与实际输出数据一致，说明该方法测距结果较为精准。

为了进一步验证该结论的精准，需对图像关键目标点进行序列匹配，匹配结果如表2所示。

采用以往方法进行间距测量：根据关键目标点数量进行图像匹配，匹配个数仅为原来的一半左右，而特征线段基本没有，由此获得的测量值与真实距离存在较大差距。图像匹配序列1-2、2-3、3-4、4-5对应的测量差值为40 cm、8 cm、60 cm、95 cm。

[2] Bouwmans T. Traditional and Recent Approaches in Background Modeling for Foreground Detection: An Overview[J]. Computer Science Review, 2014, 11:31-66.

[3] 周爱民, 张青富, 张桂戌. 一种基于混合高斯模型的多目标进化算法[J]. 软件学报, 2014(5):913-928.

[4] Zivkovic Z, Heijden F V D. Efficient adaptive density estimation per image pixel for the task of background subtraction[J]. Pattern Recognition Letters, 2006, 27(7):773-780.

[5] 李 明, 赵勋杰. 改进的基于高斯混合模型的运动目标检测算法[J]. 计算机工程与应用, 2011, 47(8):204-206.

[6] Boulmerka A, Allili M S. Foreground Segmentation in Videos Combining General Gaussian Mixture Modeling and Spatial Information[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2017, PP(99):1-1.

[7] Cucchiara R, Grana C, Piccardi M, et al. Detecting moving objects, ghosts, and shadows in video streams[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(10):1337-1342.

[8] Sanin A, Sanderson C, Lovell B C. Improved shadow Removal for Robust Person Tracking in Surveillance Scenarios[A]. International Conference on Pattern Recognition[C]. IEEE Computer Society, 2010.

[9] 武明虎, 宋冉冉, 刘 敏. 结合HSV与纹理特征的视频阴影消除算法[J]. 中国图象图形学报, 2017, 22(10):1373-1380.

[10] 朱振国, 田松禄. 基于权值变化的BP神经网络自适应学习率改进研究[J]. 计算机系统应用, 2018,27(7):207-212.

[11] Sanin A, Sanderson C, Lovell B C. Shadow detection: A survey and comparative evaluation of recent methods[J]. Pattern Recognition, 2012, 45(4):1684-1695.

[12] Paschos, G. Perceptually uniform color spaces for color texture analysis: an empirical evaluation[J]. IEEE Transactions on Image Processing, 2001, 10(6):932-937.

[13] Cucchiara R. Improving shadow suppression in moving objects detection with HSV color information[Z]. Intelligent Transportation Systems. IEEE, 2002.

[14] Prati A, Cucchiara R, Trivedi M M. Analysis and Detection of Shadows in Video Streams: A Comparative Evaluation[A]. IEEE Computer Society Conference on Computer Vision & Pattern Recognition[C]. IEEE, 2001.

[15] Scharcanski J. Stochastic texture analysis for monitoring stochastic processes in industry[J]. Pattern Recognition Letters, 2005, 26(11):1701-1709.

[16] Wang Y, Jodoin P M, Porikli F, et al. CDnet 2014: An Expanded Change Detection Benchmark Dataset[A]. 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)[C]. IEEE Computer Society, 2014.

表2 图像关键目标点序列匹配

基于无人机航拍图像测距方法进行间距测量：根据关键目标点数量进行图像匹配，匹配个数与原来数量基本一致，且特征线段获取较多，由此获得的测量值与真实距离基本一致。图像匹配序列1-2、2-3、3-4、4-5对应的测量差值为5 cm、0 cm、1 cm、0cm。

通过对比结果再一次证实基于无人机航拍图像测距更加精准的论点，也由此说明基于无人机航拍图像的关键目标点间距测量研究方法是具有有效性的。

5 总结与展望

关键目标点间距测量研究可应用在工业、生物、航空航天等领域之中，设计高效精准间距测量方法显得十分重要。结合无人机图像特性，对关键目标点间距测量进行研究，并在MATLAB编程环境中得到应用。

5.1 总结

针对关键目标点间距测量这一关键问题，提出了基于无人机航拍图像的关键目标点间距测量研究方法。根据无人机中各个传感器图像相关性，缩小搜索目标范围，加速关键目标点识别速度。由于该方法是在复杂多径环境下进行距离测量的，所以实际测距结果与理论测距结果存在一定偏差，但偏差大小满足理想测距误差设计值。利用VC++环境完成测距精准性能验证，并由实验结果证实该方法研究的有效性。

5.2 未来展望

由于实验环境受到限制，对于关键目标点间距测量研究仍存在许多不足之处，需要进一步完善，以下为该方法需要改进的方面：

1)在实验过程中，应使用不同无人机型号，并设置相关参数，使验证结果更为全面；

2)实验添加受到限制，应设置相对复杂场景进行实验对比分析；

3)实验选取的图像都为规则性图像，应将非规则性图像作为实验对象，展开对比分析。