飞机蒙皮图像扫描与定位系统研究*

王 鹏，赵毛辉，孙长库，付鲁华，王锦申，冯 勇

(1.天津大学精密测试技术及仪器国家重点实验室，天津 300072；2.中国南方航空股份有限公司工程技术分公司，广东 广州 510000；3.中国电信股份有限公司广州分公司，广东 广州 510620)

飞机被广泛应用于交通运输、国防和农业等各个方面，飞机蒙皮关系到飞机的气动性和安全性[1]。由于飞机特殊的运营环境，日常维护中需对其蒙皮质量进行检测，而依赖于人工目视的传统检测方法已经无法满足现代航空工业对于检测精度和效率的要求。机器视觉检测能在避免人工目视检测效率低下的同时，实现类似人工目视的检测效果，相较于其他检测方法，更易于地勤人员操作和接受，检测结果也更加直观[2]。

对于飞机蒙皮检测，常用机器视觉测量方法可分为3D 视觉和2D 视觉检测。3D 视觉检测技术主要有基于条纹投影的双目检测和3D 激光扫描仪检测两种。基于条纹投影的双目测量具有精度高、测量速度快的优点，但测量范围较小[3]。有学者结合近景测量技术对结构光测量系统进行定位并将局部点云融合得到完整的三维重建结果[4-5]，实现了全局检测和定位，但需要多次标定和大量的相机设备。而使用激光扫描仪扫描飞机蒙皮生成三维点云的检测方法，由点云的局部曲率信息进行点云分割，能够对缺陷区域进行识别定位、检测缺陷[6-7]，不过这种方式只适用于平面状表面的检测。2D 视觉检测虽无法量化缺陷大小，但具有检测效率高，准确率高的优点。随着计算机技术的发展，一些学者将深度学习网络应用到飞机蒙皮检测之中，完成了从飞机蒙皮图像中快速识别缺陷并分类的任务，实现了大量图片数据的自动化处理[8-9]，但真正投入应用，还需要解决图像采集和图像定位问题。目前飞机蒙皮图像的采集方式主要有使用爬壁式机器人或无人机搭载相机进行采集两种。爬壁式机器人搭载相机能够实现对飞机蒙皮上下面的检测，但流程复杂、速度较慢且图像后期定位困难[10-11]；使用无人机能够实现快速检测，也有学者在无人机上安装IMU 和定位相机等传感器实现了图像定位，但需要室内GPS 等其他定位设备辅助或需要在飞机旁布设额外的定位靶标[12-13]。PTZ(Pan Tilt Zoom)摄像机具备调整拍摄角度和镜头变倍功能，有学者将其用到了飞机蒙皮表面检测上，但只是用于检测特定部位且不能实现精确定位[14]；也有学者通过深度学习来计算PTZ 设备与飞机的相对位姿，但都没有实现自动扫描与图像定位[15]。

鉴于PTZ 摄像机调整灵活、拍摄无死角的优点，本文使用云台、变焦相机和激光测距仪搭建数据采集设备，设计了飞机蒙皮图像扫描与定位系统；对搭建的数据采集设备进行了联合标定；设计了细节图像扫描算法，并提出了细节图像二维定位与空间定位两种定位算法。对于需要扫描的飞机蒙皮区域，无需借助其他定位设备即可完成飞机蒙皮的图像扫描和扫描所得细节图像的二维定位。对于三维模型已知的被测目标，还可实现扫描细节图像空间定位。

1 系统设计

飞机蒙皮图像扫描和定位系统组成如图1 所示。

图1 系统组成示意图

系统由工控机控制多台数据采集设备组成，因飞机体积较大，单个数据采集设备很难完整覆盖需要检测的飞机蒙皮区域，故采用多点分布式测量的方案。数据采集设备则是由云台、激光测距仪和变焦相机组成。中小型客机长度一般在40 m 以内，为使四台数据采集设备的检测范围能够基本覆盖待测目标，云台方位角的可转动范围应大于270°，俯仰角可转动范围应大于为-60～+30°；测距仪的自然表面量程应大于25 m；变焦相机在工作距离不低于25 m时，所拍摄图像的像素分辨力应在0.2 mm 以上。测距仪和变焦相机固定安装在云台上，安装时尽量保证测距仪光线与相机光轴平行且与云台的两个旋转轴垂直。利用云台带动变焦相机和测距仪转动实现对飞机蒙皮细节图像的扫描。

扫描检测时，将变焦相机焦距调整到最短拍摄全景图像，全景图像视场范围较大，包含要扫描的飞机蒙皮区域，但无法从中识别蒙皮表面细节缺陷。从全景图像中提取飞机蒙皮区域作为ROI(Region of Interest)区域。为了能够识别该区域飞机蒙皮的表面缺陷，对该区域进行图像扫描，调整相机焦距以拍摄视场范围小、像素分辨力高的细节图像，使细节图像组合起来也能够覆盖ROI 区域。由设备的标定结果结合激光测距仪测得的待扫描区域到设备的距离计算出扫描ROI 区域各像素点时云台应转动的角度，规划扫描路径并调整变焦相机的焦距以完成细节图像扫描。细节图像的定位方式有两种，分别是二维定位和空间定位。细节图像二维定位是在全景图像中标识出细节图像所在的像素坐标区域，空间定位则是在飞机三维模型生成的3D 点云上标识出细节图像的位置。为实现上述工作流程，需要对数据采集设备进行标定，并编写细节图像扫描与定位算法。

2 数据采集设备标定

变焦相机与测距仪均固定安装在云台上，三者之间的相对位姿固定不变。为了能够实现对全景图像中ROI 区域的扫描和细节图像的定位，需要在变焦相机焦距最短时标定相机内参，并对测距仪、变焦相机以及云台的位姿进行联合标定，以便将测量所得数据统一到一个全局坐标系下。根据相机成像模型建立相机坐标系，以云台的旋转轴为坐标轴建立云台坐标系，标定两者之间的位姿变换矩阵，从而求得相机与云台之间的相对位姿；通过求解测距仪激光光线在相机坐标系下的空间直线方程，结合测距仪测得的距离长度求得测距仪测量点在相机坐标系下的空间坐标。标定时，先标定相机内参和相机与云台的相对位姿，再标定激光测距仪光线在相机系坐标下的方程。

2.1 相机与云台位姿标定

为减小相机位姿传递时相机内参误差造成误差累计，同时标定相机内参和相机与云台的相对位姿。建立图2 所示的标定模型。以云台的铅锤旋转轴为Z轴、水平旋转轴为Y轴，建立云台坐标系Or-XrYrZr。将初始状态下的云台坐标系(绕两轴旋转角度都为零时)设为全局坐标系。固定靶标，由云台带动相机转动采集标定图片，记录采集标定图片时云台相较于初始状态绕水平轴和铅锤轴转动的角度α和β。

图2 相机与云台位姿标定示意图

以棋盘格靶标上的角点为标志点，将其在靶标坐标系下的坐标记为(，，)(i＝1，2，3…，n)，在相机坐标系下的坐标记为(，，)(i＝1，2，3…，n)。

为靶标坐标系到相机坐标系的位姿变换矩阵，还可以表示成:

式中:J是云台转动的总次数，f(·)函数和g(·)分别是通过上述两种计算方式将标志点的坐标映射到相机坐标系下，d(·)函数是计算两种方式得到的标志点在相机坐标系下坐标的距离。

2.2 相机与激光测距仪位姿标定

相机与云台位姿标定完成后，保持变焦相机焦距不变，建立相机与激光测距仪的标定模型，如图3所示。

图3 相机测距仪位姿标定示意图

测距仪原点在相机坐标系下的坐标为Lc(，，)，其出射光线与相机坐标系各坐标轴的夹角分别为θx、θy和θz。若进行测量时测距仪测得的到被测点P的距离为L，则被测点P在相机坐标系下的坐标(，，)可以表示为:

因测距仪激光光斑可见，采用基于光斑可见性的标定方法对其进行标定[16]。

3 细节图像扫描与定位算法

在实现了数据采集设备标定的基础上，利用语义分割完成对全景图中ROI 区域的提取，并对ROI区域进行扫描以拍摄飞机蒙皮细节图像；分别通过定位细节图像中心点在全景图中的像素坐标位置和在飞机三维模型生成的3D 点云中的空间坐标位置，实现细节图像的二维定位和空间定位。

3.1 扫描路径规划

由于不同飞机表面涂装颜色不同且检修时所处环境背景复杂，传统的图像分割算法很难完成任务，采用语义分割算法，使用DeepLabv3+MobileNetV2网络提取全景图像中的ROI 区域[17]。为了实现对ROI 区域的扫描，需要根据全景图中像素点坐标(u，v)计算得到扫描拍摄该处细节图像时云台相较于拍摄全景图像时绕水平轴和铅锤轴转动的角度α和β。记录拍摄全景图时云台位置。使用相机标定后得到的畸变参数对全景图像进行畸变矫正，相机的成像模型如图4 所示。

图4 相机成像模型示意图

对于空间中一坐标点P，设其在相机坐标系下的坐标为(xc，yc，zc)，在全景图中的像素坐标为(u，v)，成像光线与像平面的夹角为σ，成像光线在像平面的投影与相机光轴的夹角为φ。则有:

式中:(u0，v0)为像平面主点，Fx和Fy为相机的等效焦距。由式(5)计算得到像素坐标(u，v)对应的σ和φ。

安装时尽量保证相机与云台的两个旋转轴垂直，且两者之间的距离相较于相机与被测物的距离可以忽略不计，故用σ和φ作为云台应转动的角度α和β的初值。结合测距仪测得的当前位置的距离，由细节图像二维定位方法计算云台转动该角度时对应细节图像中心点在全景图中的像素坐标(um，vm)和其对应的σm和φm，并计算其与σ和φ的差值，由该差值迭代优化α和β使像素坐标(u，v)和(um，vm)之间的距离差值最小，从而得到云台应转动的角度。迭代优化公式如下:

在完成上述步骤后，从全景图中的ROI 区从左上角开始扫描。以图5(a)中的机尾区域为例，其扫描路径如图5(b)所示，图中的数字编号顺序代表细节图像的扫描拍摄顺序。

图5 细节图像扫描路径示意图

细节图像扫描路径的规划流程如下:

①由测距仪测得系统到扫描区域的距离L，根据L调整变焦相机焦距f并计算横向扫描步长sw。

②结合当前云台位的置Pnow、L和sw，计算云台按sw转动拍摄的细节图像在全景图中的像素坐标。取该像素的横坐标和该扫描行的纵坐标，为下一横向扫描点的像素坐标Pixelnext，并计算得到下一步拍摄细节图像对应云台的位置Pnext。

③判断Pixelnext是否仍为ROI 区域。若是，转动到Pnext继续扫描；若不是，判断全景图像在这一行该点之后是否还有ROI 区域。还有，则根据扫描方向从该行Pixelnext后第一个ROI 区域点继续扫描；重复上述步骤，直到该行没有要扫描的ROI 点，将横向扫描方向反转。

④由一行中拍摄细节图的最远距离Lmax，计算向下扫描的步长sh，由Pnow和sh确定下一步扫描的行数h。

⑤判断h行是否仍为ROI 区域。若是，从h行的ROI 边界开始扫描，重复上述步骤；若不是，判断h行之后是否还有ROI 区域。还有，从h行后第一行ROI 边界开始扫描，重复上述步骤，直到没有要扫描的ROI 行，完成细节图像扫描。

相机扫描拍摄细节图像时，为保证变焦相机扫描拍摄细节图像的像素分辨力基本不变，应保证变焦相机的视场FOV 基本不变。变焦相机焦距f由下式计算得到:

式中:HorV 为相机靶面尺寸，FOV 为相机视场。在与目标区域的距离L变化时，变焦相机焦距f应与L成正比。为了保证扫描得到的细节图像能够覆盖ROI 区域，细节图像区域应有重叠，云台扫描的步长s可由下式得到:

3.2 细节图像二维定位

将细节图像中心点坐标转移到拍摄全景图像时的相机坐标系下，结合相机成像模型实现细节图像在全景图中的二维定位。记录扫描拍摄细节图像时云台相较于初始状态绕水平轴和铅锤轴转动的角度α、β和测距仪测得的距离L，将L作为细节图像中心点到此时相机坐标系原点的距离，得到该点在此时相机坐标系下的坐标(xc，yc，zc)。利用标定结果将该点坐标转换到拍摄全景图时的相机坐标系下，记为。

3.3 细节图像空间定位

对于三维模型已知的待测目标，在全景图中手动选择ROI 区域以控制系统对表面特征明显的区域进行扫描。为了更好更快地获得该区域的表面三维形貌，扫描时采用更小的步长且仅使用测距仪测得距离。将每次扫描时测距仪光斑的空间坐标统一到全局坐标系下，记为。

由扫描时测距仪光斑在全局坐标系Or0-Xr0Yr0Zr0下的空间点坐标生成测量点云，由飞机三维模型生成参考点云。利用SAC_IA 粗配准和ICP 精配准的方法[18]求得全局坐标系到飞机坐标系Op-XpYpZp的位姿变换矩阵，从而得到扫描各图像时测距仪光斑在飞机坐标系中的位置。

根据设备标定和点云配准结果，将拍摄第j张细节图像时相机坐标系中点的空间坐标转换到飞机坐标系下，记为，求得到此时相机光轴在飞机坐标系下的空间直线方程。以此时激光测距仪光斑在飞机坐标系下的空间坐标为起始点，由kd-tree 搜索参考点云中该点的k近邻点，计算这些近邻点到相机光轴的距离，将距离最近的点重新设为起始点。重复上述操作，直至两次迭代最近距离相同为止。用与lj距离最近点的空间坐标来表示第j张细节图像在飞机三维模型中的位置。

4 实验

搭建测量系统，对数据采集设备进行标定，利用激光跟踪仪验证所搭建系统扫描采集点云的精度。在大尺寸飞机模型上验证提出的飞机蒙皮图像扫描及细节图像定位算法；并以建筑物表面作为被测目标，验证所搭建系统在真实测量场景下扫描所得细节图像的质量及定位精度。

4.1 系统搭建与标定

使用FILR D48E 高精度数字云台搭载DIMETIX DAN-10-150 长距离激光测仪和VS-SCZ2090HM长焦一体化机芯搭建该系统，各部件与工控机之间均采用网口通信。云台可转动方位角范围为360°，俯仰角范围为-90～+30°，分辨力(方位/俯仰)为0.006°/0.003°。测距仪自然表面量程为0.05 m～100 m，精度为0.5 mm。变焦相机分辨率为1 920×1 080，像元尺寸为4 μm，相机可变焦距为6 mm～540 mm。

根据飞机蒙皮检修要求，为保证所采集的细节图像应能够明显观察到2 mm 及以上宽度大小的裂纹和腐蚀，按照像素当量0.20 mm 计算，相机视场应该小于384 mm×216 mm。系统的最大工作距离为28 m。

设备标定结果如表1 所示。其中K表示相机内参，Kc表示相机的畸变系数。

表1 数据采集设备标定结果参数表

表2 系统采集空间点坐标精度验证实验数据表 单位:mm

标定完成后，利用激光跟踪仪测量空间中不同位置靶标球心的空间坐标作为真实值，用于设备标定精度验证。控制设备采集相同位置标志点位的空间坐标，并将测得的空间坐标转到跟踪仪坐标系下，实验结果如2 表所示。实验表明本系统所测得的标志点在X、Y、Z坐标上的均方根误差分别为0.91 mm、0.91 mm 和1.05 mm，标志点的最大定位误差为2.12 mm，标定精度满足飞机蒙皮大尺寸物体测量要求。

4.3 蒙皮图像扫描与细节图像定位

在进行细节图像扫描路径规划和细节图像二维定位时，因测距仪激光光线与相机光轴近乎平行，都是直接将激光测距仪测得的距离L作为细节图像中心点到此时相机坐标系原点的距离来计算细节图像中心点在全景图像中的像素坐标，但实际上两者并不相等。故需要探究距离L对细节图像中心点在全景图像中定位精度的影响。理论分析可知拍摄细节图像时云台相较于拍摄全景图像时转动的角度越大，距离L对细节图像中心点的定位精度影响就越大，尤其是在全景图像的边角位置。进行仿真实验，输入设备标定结果，细节图像中心点的在全景图像中定位的像素坐标随测量距离L的变化如图6 所示。从图中可以看到随着L的增大，像素坐标的变化在减小，距离L对细节图像中心点在全景图像中的定位精度影响并不大，且当L变化在2 m 以内时，像素坐标变化也都在2 个像素以内。在实际扫描和定位时，数据采集设备的安装位置与被测目标之间的距离在10 m 以上，距离L与细节图像中心点到相机坐标系原点的距离之差大都在2 m 以内，故由此造成的定位误差可以忽略不计。

图6 距离对细节图像在全景图像中定位坐标的影响

以比列为1 ∶31 的波音737-800 飞机模型为待测目标。使用DeepLabv3+MobileNetV2 网络对全景图像中的ROI 区域进行提取。对该网络进行训练，将COCO train2017 和VOC12 数据集中的飞机类别数据整合以构建训练验证数据集。经训练验证该算法的平均交并比(mIoU)可达88.36%，飞机蒙皮区域像素查全率(Recall)为87%，满足全景图像中飞机蒙皮区域提取精度要求。调整云台转动角度使相机能够拍摄到想要扫描的飞机蒙皮区域。飞机模型尺寸相较于真实飞机较小，为实现扫描检测效果，将扫描步长设为真实步长的1/5，相机的焦距设为真实扫描焦距的4 倍。将提取到ROI 的效果图与原图叠加，在该图中用矩形框表示扫描所得细节图像在全景图像中的位置。部分细节图片在全景图中的二维定位如图7 所示。

图7 飞机蒙皮图像扫描与细节图像二维定位效果图

为实现对细节图像的在飞机模型上的空间定位，使用KinectV2 完成飞机模型点云数据采集以生成参考点云。KinectV2 采集点云的精度在2 mm～4 mm，与数据采集设备测量空间点坐标的精度相近，且系统对于细节图像的空间定位精度要求在20 cm 以内，故参考点云的精度符合系统测量要求。由所搭建的系统扫描飞机模型机翼机身连接处以生成测量点云。对测量点云和参考点云进行配准，实现细节图像的空间定位。以细节图像中心点在参考点云中的空间坐标为圆心，用其半径r(r＝5 cm)内的点表征细节图像在参考点云中的位置。所得测量点云配准后效果图和部分细节图像在参考点云上的空间定位效果如图8 所示。

图8 点云配准与细节图像空间定位效果图

为了验证真实环境下该设备的细节图像空间定位精度，以建筑物墙面为被测目标，同样通过KinectV2 采集被测目标表面三维形貌作为参考点云，用该设备扫描ROI 区域生成测量点云。选择被测目标表面特征明显的点作为特征点，利用该设备测得该点的空间坐标，结合点云配准结果，将该点在参考点云中的坐标作为其空间坐标真值，而其像素坐标真值可由全景图像直接提供。调整云台转动角度使得特征点位于细节图像中心附近，拍摄细节图像，并对该细节图像进行二维定位和空间定位以获得其坐标测量值，得到细节图像二维定位和空间定位的误差。在最大测量范围内不断改变该设备的位置，在不同位置处测得多点的定位误差，将同一位置处多点的误差平均值作为该位置处的定位误差，其不同位置处的定位误差如图9 所示。从图中可以看出该系统细节图像定位误差随测量距离变化并不明显，且在最大工作范围内的细节图像的二维定位误差小于8 个像素，空间定位误差小于12 cm，满足实际定位需求。

图9 细节图像二维定位与空间定位精度

图10 所示为在距离被测目标27.5 m 处拍摄所得的细节图像在全景图和三维模型中的定位效果。因距离较远，为了更好地展示实验效果，在图片右侧对方框内的内容进行了放大。从图10 中可以看到无论是二维定位还是空间定位误差都较小，且拍摄所得的细节图像中也能明显识别到2 mm 以上的裂纹缺陷。

图10 真实场景细节图像拍摄与定位实验效果图

5 结论

为了解决飞机表面蒙皮高质量细节图像采集与定位困难的问题，本文使用云台搭载变焦相机与激光测距仪搭建了飞机蒙皮图像扫描与定位系统。该系统利用变焦相机拍摄全景图和高质量细节图像，在全景图中完成飞机区域的识别，结合标定结果实现对飞机蒙皮区域的自动扫描以获得高质量细节图像。对于扫描所得的细节图像提出了两种定位方法，分别是在全景图中的二维定位与在三维模型上的空间定位。实验结果表明所搭建的测量系统最远测量距离可达28 m，在该距离内细节图像的二维定位误差小于8 个像素、空间定位误差小于12 cm，能够实现对飞机蒙皮区域的扫描和对细节图像的精确定位，具备较高的实用价值。