无人机大比例尺测图中非量测相机标定ChARUco验证

王安磊，甘淑，袁希平

(1.昆明理工大学国土资源工程学院，云南 昆明 650093； 2.云南省高校高原山地空间信息测绘技术应用工程研究中心，云南 昆明 650093； 3.滇西应用技术大学云南省高校山地实景点云数据处理及应用重点实验室，云南 大理 671006)

1 引 言

无人机航空摄影测量技术以其机动、灵活、高效率、低成本、易操作以及在应急救灾和小范围数据快速获取和成图方面的独特优势成为常规航空摄影测量手段的有效补充，带来航空摄影测量应用领域的变革，同时为大比例尺地形图测绘提供了新的技术手段[1]。但相比较传统航空摄影的专用航摄仪而言，无人机通常选用广角CMOS数码相机作为成像系统，而普通单反或无反相机属非量测相机，其影像的光学畸变大，而相机镜头畸变差会造成相点坐标位移，使镜头中心、像点和对应的物点不能满足中心投影的光学共轭关系，从而降低影响的配准精度[2]。如果相机畸变不能有效去除，会直接导致空三无法满足精度要求、立体像对模型差大、接边工作量增大，也难以满足 1∶500比例尺测图的需要[3]。

相机检校技术可以得到相机的内方位元素和畸变参数[4]，恢复正确的光束形状，进而提高地形图测绘和实景三维建模的精度。目前，相机检校的方法较多，但是通常在实用性和精度两方面难以兼得，在实际应用中还要综合考虑工作条件、成本高低、精度需求等因素来选择一个合适的检校方法[5]。总体上相机检校方法可以分为基于控制场和无须控制场的相机检校两类。具体检校方法又可分为光学实验室法、控制场检校法、在任检校法和恒星检校法[6]，其中基于控制场的检校方法在可操作性和精度上相对最优，因此该类方法应用较为广泛。文献[7]提出了一种基于棋盘格的标定方法，该方法是研究相机标定的经典方法。该方法由两部分组成，首先对相机的参数进行估计，再用优化函数进行迭代改正，最终得到高精度解。文献[8]提出了基于二维的直接线性变换算法和光束法的相机检校方法。文献[9]将张正友的棋盘格法进行简化后，得到了一种快速平面标定的方法，通过提高内方位元素初始值的准确度，减少了运算时迭代的次数，使标定变得更为快速。文献[10]利用共面条件方程这一约束条件，建立了基于附加约束条件的光束网平差的相机标定方法。文献[11]进行了对张正友法的改进研究，将求解出来初始参数用非线性最小二乘法进一步完善，得到内外方位元素，提高了初始数值的鲁棒性，加入了切向畸变，提高了标定的收敛速度。

在以往的标定中，通常是利用经典的Chessboard标定，Chessboard图案的每个角都用两个黑色方块围绕，能够更精确地细化，但是使用Chessboard存在缺点，其要求不可以有遮挡，即像场内整个图案可见。而ArUco图案可以解决被遮挡的问题，使用ArUco模块，可以通过ArUco标记进行校准，同时使用ArUco进行校准比使用传统的Chessboard更为灵活和方便，但是ArUco标定法仍存在的不足，即便其角点经过亚像素细化，对该标定板的角点位置的识别的准确性也并不高。所以使用将Chessboard与ArUco结合的ChARUco图案进行无人机镜头畸变解算，并与传统的Chessboard图案相比较，最后使用解算出的参数对实验区的正射影像图进行畸变校正，并检验检查点的点位精度。

2 实验理论基础

2.1 相机成像模型

计算机视觉中，系统要完成计算对三维场景中目标物体的描述、识别和理解等任务，其中相机对目标物体拍摄图像是系统中必不可少的过程。相机拍摄所获得的二维图像是以像素为单位的，相机标定要解决的问题就是建立物体的三维空间坐标和对应二维图像坐标之间的对应关系。相机成像模型决定了目标物体表面点的世界坐标与其在二维图像中的像素坐标的对应关系。成像模型的几何参数代表了相机具有的参数，为了描述相机成像模型中的各个参数，在计算步骤中涉及四个坐标系，即世界坐标系、相机坐标系、图像坐标系和像素坐标系，并且需要知道这四个坐标系之间的转换关系[12]。

2.2 相机参数的估计

(1)相机参数的初始估计

标定方法假定模板平面放置在世界坐标系中Z=0的平面上，相机的成像模型则可以表示为：

(1)

(2)

因相机有五个位置参数，所以当相机拍摄得到的图像数大于或等于3时，就可以求出唯一解。

令：

(3)

vij=[hi1hj1， hi2hj2+hi2hj1， hi2hj2， hi1hj3， hi3hj2+hi2hj2， hi3hj3]

再根据H=[h1h2h3]=λK[r1r2t]可以得到：

(4)

由‖r1‖=‖r2‖=1，可以求出λ的值。至此求出所有的相机参数。

(2)参数优化

在理想的状态下，像素坐标系下的坐标与三维空间点的坐标通过所求出的相机参数矩阵投影到像素坐标系是同一个点，但在实际应用中会存在误差，所以为了得到更加精确的相机参数，可以通过投影误差最小化函数来对相机参数迭代优化。如下：

(5)

式中m为像素坐标系下的坐标，m(K，Ri，ti，Mj)表示三维空间点的坐标经过初始估计的相机参数投影变换到像素坐标系下的坐标。

2.3 Chessboard的特征提取

Chessboard是将约定大小的正方形黑白格子，规则排列形成的国际象棋棋盘状的图案，如图1所示。使用Chessboard进行相机标定时，检测的特征点为黑白相间的格子的内角点，其对应数学上的鞍点的概念，理论无限小，所以针对内角点的检测可达到较高的精度。

图1 Chessboared内角点

检测Chessboard内角点时，因为局部平均自适应阈值化方法对亮度不均匀情况适应性强，所以首先将图像二值化，图像膨胀可以分离黑色块与白色块断掉其衔接，而后计算每个轮廓的凸包，进行多边形检测以及判断是否有且只有四个顶点，再应用长宽比、周长和面积等指标约束去除一些干扰计算的四边形[13]。

但使用Chessboard仍存在着若干局限性，其要求整个图案在像场中可见，否则便不能检测；而且关于Chessboard检测的一个重要细节是，为了保持其旋转不变，其行列数必为一奇一偶，不可同为偶数或同为奇数，否则会使图像解算产生模糊性而导致歧义。

2.4 ArUco的特征提取

ArUco标记是二进制正方形基准标志物，它由一个较宽的黑边和一个嵌入其内部的二进制矩阵组成，如图2所示，该矩阵决定了它的ID。黑色的边界有利于快速检测到图像，二进制编码可以验证ID，并允许错误检测和矫正技术的应用[14]。它的优点是检测快速，简单而稳健。

图2 ArUco二维矩阵

ArUco检测不要求图案在像场内全部可见，当图像中有一些标记可见时，首先会对候选标记进行检测。该算法首先对图像进行自适应阈值分割，然后从分割后的图像中提取轮廓线，剔除不凸或不近似正方形的轮廓线。在候选标记检测之后，需要通过分析它们的内部编码来确定它们是否是正确的标记物。首先应用透视变换来获得标准形式的标记以提取每个标记的标记位[15]。ArUco获取的特征是其二进制矩阵的外轮廓线和该二进制矩阵本身，所以其对特征的定位精度相对较低。

3 实验设置

3.1 实验条件

研究工作的实验条件主要包括硬件条件、软件条件和研究实验区三个方面。其中，硬件条件包括PENTAX K-3 Ⅱ型单镜头反光数码相机、大疆Phantom 4 Pro四旋翼无人机、棋盘格标定板、ChARUco标定板、地面像控点若干；软件条件涉及Cygwin64开源环境、Python 3.8.10、opencv-python 4.5.3、opencv-contrib-python 4.5.3、numpy 1.21.2、Pix4Dmapper 4.5.6、ArcGIS 10.3；研究实验区选择了昆明理工大学莲华校区。

3.2 像控点与检查点布设

为保障数据成果精度，关于像控点的位置选取，在预设范围内尽量选择平整地面明显标志点，如斑马线角点、检修井中心点等地面点点位[16]，在研究区内均匀布设14个控制点，5个作为像控点，9个作为检查点。

表1 像控点坐标列表

表2 部分检查点坐标列表

4 ChARUco验证及其结果分析

4.1 制作未经畸变校正的DOM

使用大疆Phantom 4 Pro四旋翼无人机对测区进行数据采集，航高 45 m，航向重叠度和旁向重叠度均设为80%，共获取745张照片。

本研究使用Pix4Dmapper进行无人机影像的拼接和成果输出：首先，导入POS数据和GCP点对应的三维空间坐标信息，对应进一步优化并生成飞行区域内的稀疏点云；其次，基于具有空间信息的稀疏点云进行飞行区域内的密集点云的构建[17]，生成飞行区域的3D多边形格网；最后，生成实验区的正射影像图DOM和数字地表模型DSM。

表3 检查点与初始DOM测量值比较表

4.2 两种镜头畸变计算

ChARUco标定板规格如下：为8行9列，图案中每个格子的边长为 2.5 cm，其中的ArUco码的边长为 1 cm。Chessboard标定板规格如下：为8行9列，图案中每个格子的边长为 2.5 cm。使用PENTAX K-3 Ⅱ型单镜头反光数码相机固定焦距 70 mm对Chessboard标定板从不同角度拍摄20幅图像，由于Chessboard标定本身的特点，要求每张照片中的标定图案完整无遮挡；再使用该型相机对ChARUco标定板从不同角度拍摄20幅图像，且不再要求标定图案完整。

表4 PENTAX K-3Ⅱ相机参数

将获取的图像导入Cygwin64开源环境，编写对应两种标定图案的Python程序，标定程序依赖opencv-python、opencv-contrib-python和numpy三种开源函数库。

表5 ChARUco图案检校结果

表6 Chessboard图案检校结果

经过这一步骤，可以得到如下结论：ChARUco标定图案可以在一定程度上弥补Chessboard标定图案的缺点和不足，可以在图案不完整的情况下求得内参矩阵和光学畸变参数，提高了标定的灵活性简化了标定的难度，但是在精度上有一定程度的下降。

4.3 校正DOM测量精度分析

使用大疆Phantom 4 Pro四旋翼无人机采集ChARUco标定图案的若干照片，再在Cygwin64开源环境中使用前一步骤的基于opencv-python的畸变计算程序求得其光学畸变参数，将该畸变参数输入到Pix4Dmapper的相机模型中，重新生成研究区的正射影像图。

在ArcGIS中浏览该正射影像图，显示像控点与检查点的坐标。仍然将使用全站仪测得的像控点及检查点的坐标作为真值，校正后的DOM中获得的控制点和检查点的坐标与真值对比如下。

表7 初始DOM测量值与改正后DOM测量值比较表

图3 改正前后检查点中误差对照图

实验结果表明，ChARUco标定图案并结合张正友法对小型消费级无人机进行性相机标定，从大比例尺测图的要求出发，点位精度无显著差异，均满足大比例尺测图对点位精度的需要。

5 结 论

本文以昆明理工大学莲华校区作为研究实验区，利用四旋翼轻型电动无人飞机航摄系统和常见的单镜头反光相机，基于Pix4dMapper以及Cygwin64开源环境和opencv-python等软件，对Chessboard和ChARUco两种标定图案的优缺点及正射影像图的点位精度影响进行探讨，根据精度验证的分析结果，得到以下结论：

(1)Chessboard标定图案进行相机标定的重投影误差较小，精度较高，但是对采集影像要求较高，需要图像完整和清晰；而ChARUco标定图案可以在一定程度上弥补Chessboard标定图案的缺点和不足，可以在图案不完整的情况下求得内参矩阵和光学畸变参数，提高了标定的灵活性简化了标定的难度，但是在精度上有一定程度的下降。

(2)应用ChARUco标定图案并结合张正友法对小型消费级无人机进行性相机标定，从大比例尺测图的要求出发，点位精度无显著差异，均满足大比例尺测图对点位精度的需要。

进一步思考，关于无人机测图的质量控制，建议除需要对非量测相机进行标定之外，还要综合考虑像控点的布设以及测区环境等因素，也有待进一步验证和研究。