基于模板的航测非量测相机快速检校技术

肖　达，龚志辉，李劲澎，韩轶龙

信息工程大学地理空间信息学院，河南 郑州，450001



基于模板的航测非量测相机快速检校技术

肖达，龚志辉，李劲澎，韩轶龙

信息工程大学地理空间信息学院，河南 郑州，450001

研究了一种无人机摄影测量中非量测相机快速检校技术，该技术不需要布置严格的三维控制场，只需要相机在一定方向、角度拍摄一组模板像片，并依据构像方程和畸变模型，利用旋转矩阵约束条件即可推导出相机内参求解公式。实验结果表明，内参数稳定，检校结果可靠，为控制条件不充足情况下的几何标定和非量测相机快速检校提供一种解决方案。

相机检校；非量测相机；平面模板；控制场

1　引　言

相机检校就是恢复每张影像光束的正确方向和位置，通过建立已知物点和像点的对应关系，计算获取成像模型内外参数，然后通过摄影测量的方法快速获取准确的三维坐标。因此，相机检校是摄影测量处理流程中不可缺少的一个作业过程[1]。非量测相机作为近景摄影测量获取影像的主要设备之一，凭借其体积小，图像易于获取、复制和存储，分辨率高，处理直接，较专业量测相机经济、便捷等优势，已广泛应用在近景摄影测量以及无人机摄影测量中。

在近景摄影测量中，非量测相机内方位元素未知，而且参数不稳定[2]，无人机在飞行、降落、运输过程中剧烈震动，对相机参数造成影响，因此，作业时需要用足够数量的控制点进行检校。常用检校方法根据环境的不同，有传统的基于控制场的检校[3](如实验室检校、恒星检校、试验场检校等)、相机自检校[4]和基于灭点理论的检校[5]。基于控制场的检校方法理论成熟，计算简单，标定结果稳定可靠，适用于量测精度高、相机参数稳定的情况，但是需要事先布置大量控制点，或者精密的室内、室外控制场，检校的过程复杂，费用昂贵，不够灵活，典型方法有直接线性变换法、多片空间后方交汇法、光束发平差[6，7]等；相机自检校不用建立控制场，灵活性强，对初值比较敏感，标定结果不稳定，如Kruppa方程自检校[8]、基于绝对二次曲面自检校[9]等；基于灭点理论的检校常用于各种成像系统的畸变补偿。张正友[10]的棋盘检校属于控制场检校，控制条件是棋盘角点，而不是室内外布设的控制点，效果介于传统和自检校之间。大致思路是利用旋转矩阵正交约束条件，经过奇异值分解求解内外参数，然后加入畸变系数，最后用最大似然估计法整体优化。避免了传统方法中对精密控制场的依赖，同时又提高了自检校方法的精度。目前国内外不少计算机视觉学者开展简单、便捷的相机检校方法，用于三维重建过程中。无人机摄影测量搭载非量测相机，主要用于普通测绘和重建三维点云。本文把计算机视觉的棋盘检校技术和无人机摄影测量实际情况相结合，开展基于棋盘格的航测非量测相机检校技术研究，详细推导了在旋转矩阵约束条件下内参数的求解过程，设计实验对非量测相机进行检校，并对检校结果可靠性设计了相关实验验证，对通常的无人机摄影测量作业有一定实用价值。

2　相机模型

假设空间中有一物点Q=[X,Y,Z]T，对应的像平面上的点q=[u,v]T，对传统的针孔相机模型[11]来说(如图1)，共线方程可以写成sq=A[R,t]Q。其中，s为任意比例因子；(R,t)是外部参数：R是旋转矩阵，t是平移向量；A为相机内参数矩阵，齐次坐标描述为:

(1)

其中，fx、fy表示x、y方向以像素为单位的焦距大小，γ表示ccd像平面x-y轴不是正交，Gx、Gy表示在x、y方向以像素为单位的像主点偏移大小。

图1　针孔相机模型(投影面位于针孔前方，真实情况是位于针孔后方，两种形式数学上等价)

3　畸变模型

理想的针孔相机模型成像时，严格满足物点、透视中心和像点三点共线的关系。但在实际应用中，由于受到镜头磨制、CCD加工、相机装配等多种因素的影响，实际像点会偏离其理想位置，即存在光学畸变差。通常将相机畸变分为径向畸变、切向畸变，径向畸变由透镜形状不规则造成，切向畸变来源于透镜制造上的缺陷，透镜本身和图像平面不平行。

径向畸变：像点沿径向产生的偏差。径向畸变通常对称分布，像主点处畸变为0，离像主点越远畸变量越大。径向畸变表达式为：

(2)

切向畸变：镜头器件的光学中心和几何中心不严格共线，即造成像点沿切向方向的偏移。切向畸变在数量上比径向畸变小很多，但也不能忽略其影响。p1、p2是切向畸变系数，切向畸变表达式为：

(3)

在不考虑其他类型畸变的情况下，相机的畸变模型可表示为：

(4)

4　基本原理

4.1相机内参和外参求解

把世界坐标系置于模板所在平面，模板左上角定为坐标系原点，即所有3维点的坐标Z=0，若ri为R矩阵的第i列向量，则：

(5)

H=A[r1r2t]是描述平面模版到摄影平面的单应矩阵，由物点和像点坐标求得单应矩阵[h1h2h3]。由单位矩阵性质可知，r1、r2正交，

(6)

(7)

B是对称结构，代入上面两个约束条件方程，可得一组线性方程组：

(8)

(9)

内参数求解出来之后，就可以计算每张影像外方位元素：

(10)

4.2求解畸变系数

(11)

(12)

如果有n张影像，每张影像m个点，可以列出2mn个式(12)方程，矩阵形式表示为AK=B，A是2mn×4维系数矩阵，K是k1、k2、p1、p2构成的未知数向量，B是点坐标构成的2mn维向量。用最小二乘方法求解即K=[ATA]-1ATB，求出径向畸变系数k1、k2，和切向畸变系数p1,p2。畸变系数求出来之后，还需要用Levenberg-Marquardt算法迭代进行最大似然估计,通过最小化重投影误差方程式(13)，得到各个参数的最优解。

(13)

式中，m(A,k1,k2,p1,p2,Ri,ti,Mj)是Mj在影像i上的投影点，Mij是图像i上的Mj对应的量测点坐标。

5　实验分析和结果

本次实验采用非量测数码相机，A4纸打印的棋盘格作为控制的平面模版。将模板固定，调整相机姿态和位置(或相机固定，调整模板姿态)，从多个方向、多个角度拍摄影像。相机位置模拟示意如图2所示，实验采用的是Sony A7α数码相机， 35mm定焦镜头，相幅为3680×2456像素(35.9mm×24mm)，像元大小0.00976mm，棋盘行列数为7×9。首先提取图像中的棋盘角点。由于噪声和影像模糊，自动提取的角点和真实位置有一定偏差，为了减小像点误差，实验对角点进行了亚像素提取，这样提取角点的精度就能达到亚像素级别，定位更精确。

图2　相机位置模拟示意图

图3　控制场影像

此次实验共拍摄了23张影像，其中6张因为拍摄距离变化太大而导致影像模糊，角点提取不完整，所以后处理时将6张模糊影像剔除，不参加计算。为了确定检校结果的可靠性，还对该相机进行了控制场检校。采用室内控制场，墙上布设高精度控制点反光标志，控制场影像如图3所示，并用相机检校软件V-STARS进行检校。实验结果如表1所示。

表1相机内参数计算结果

参数棋盘检校控制场检校结果对比fx/mm36.49537336.3978310.097542fy/mm36.50398236.3978310.106151cx/mm-0.265368-0.248207-0.017161cy/mm-0.396912-0.4131330.016221

从表1可以看出，棋盘检校结果fx、fy方向焦距相差0.88个像素，检校结果大致为36.499677mm(取fx、fy平均值)，和控制场检校结果基本一致，说明基于平面模板的非量测相机检校是可行的。

为了验证结果的可靠性，同时还设计了一组实验。同一时刻、相同条件拍摄N张不同姿态、位置影像，每次取其中的3、5、9、13、15、17张影像分别进行检校。检校结果如表2所示。

表2不同数量影像对比实验

影像数359131517fx/mm40.18952035.45839036.62620236.4996736.49018936.492373fy/mm39.93573035.59745336.76924336.5048036.49506936.503982cx/mm-0.3500848-0.065776-0.1859504-0.2553072-0.2676128-0.265368cy/mm3.16730736-2.4205952-0.4896768-0.4041424-0.3970096-0.396912

图4　fx-fy随影像数量变化结果图　　　　图5　cx-cy随影像数量变化结果

从表2和图4、图5可以看出，检校结果随影像数量的增加趋于一致。3张影像和5张影像时，检校的内参数结果不稳定，原因是相机的姿态变化少，达不到理想的检校效果；当影像数量足够时，检校结果趋于稳定，一般建议15张左右。

为了进一步检验检校结果的准确性，设计像点的重投影误差实验，即用求出来的畸变系数k1、k2、p1、p2，相机内参数f、cx、cy，相机外参数R、t代入模型求出物点对应的图像上的像点坐标，然后和提取的图像特征点坐标求差，计算差平方和。从实验结果中可以看出，重投影误差最大1.9个像素，最小0.9个像素，平均1.29个像素。投影误差最大的两张图像序号1和11，经目视检查图像发现边缘有模糊，和其它图像比较成像结果较差，分析原因可能是手持相机拍摄时抖动较大，所以图像有模糊，影响点的量测精度。

图6　重投影误差

6　结　论

本文设计了基于棋盘的航测非量测相机检校方法实验，避免了传统相机检校对三维控制场的过分依赖，在外业作业现场即可快速完成相机检校工作，简单方便快捷、经济，减轻工作量。实验表明，当影像数量足够(建议不少于15张)时，内参数趋于稳定，检校结果可靠。在实验设计过程中发现，影响检校参数稳定性的因素主要有：影像数量少；棋盘格纸张太小，未能覆盖影像框幅一半

以上；一个角度连续拍摄多张；拍摄的影像模糊，角点提取错误；相机距离棋盘远，棋盘集中在影像画幅的中间区域等。所以设计实验时尽量避免以上因素，以提高检校结果稳定性。后续工作：棋盘用的是A4纸张，纸张有微小变形，将棋盘固定在某一平面，表面有微小起伏，不是理想的二维平面，对检校造成影响，有待进一步改进。

[1]冯文灏.近景摄影测量[M].武汉：武汉大学出版社，2007.

[2]王之卓. 摄影测量原理[M].武汉：武汉大学出版社，2007.

[3]殷福忠，刘红军.基于DLT方法的非量测数码相机检校研究[J].地理信息世界，2009， 7(1):84-87.

[4]贾盛举，于晶涛.数字近景摄影测量在工业检测中的应用[J].测绘学报，2002(31):61-65.

[5]荣瑞霞，欧龙，张丽娜等.基于灭点理论的普通数码相机标定方法[J].工程地球物理学报，2007，4(2):152-156.

[6]谢俊峰，龚健雅，江万寿.一种改进的恒星相机在轨检校方法[J].测绘科学，2009， 34(2):121-123.

[7]张永军，张祖勋，张剑清.利用二维DLT及光束法平差进行数字摄像机标定[J].武汉大学学报·信息科学版，2002，27(6):566-571.

[8]雷成，吴福朝，胡占义. Kruppa方程与摄像机自标定[J].自动化学报，2001，27(5):621-630.

[9]刘侍刚，吴成柯，唐丽等.基于对偶绝对二次曲面像变换的自定标方法[J].系统工程与电子技术，2005，27(2):212-214.

[10]ZHANG Z. A Flexible New Technique for Camera Calibration[J]. Pattern Analysis & Machine Intelligence IEEE Transactions，2000，22(11):1330 - 1334.

[11]GRAY B，ADRIAN K. Learning OpenCV[M].北京：清华大学出版社，2009.

A Fast Calibration Technology for Non-metric Camera in Aerial Photogrammetry Based on Planar Pattern

Xiao Da, Gong Zhihui, Li Jinpeng, Han Yilong

Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China

A fast calibration technology for non-metric camera in UAV photogrammetry is studied in this paper. Without a strict three-dimensional control field, it only needs a group of planar templates taken from different directions and different angles. The templates can be rotated and the camera can be adjusted as well. Then the camera calibration parameters are calculated by using the rotation matrix constraints based on the imaging equation and distortion model. Experiment results show that the parameters are stable and the calibration result is reliable, which provides a solution for geometric correction and non-metric camera fast calibration under the condition of lacking 3D control points.

camera calibration; non-metric camera; planar pattern; control field

2015-09-23。

肖达(1989—)，男，硕士研究生，主要从事数字摄影测量技术研究。

P231

A