基于多相机融合的电磁轨道发射器内表面图像采集方法

曹荣刚，马 啸，胡雪仪，周 宇，李发栋

(1.北京理工大学机电动态控制重点实验室，北京 100081；2.北京理工大学唐山研究院，河北 唐山 063611)

0 引言

电磁轨道发射器的弹丸初速度可达到2 km/s以上，弹丸在内膛运动过程中滑动接触面的压力可达到MPa量级，且接触面的高温会使轨道材料的剪切强度降低[1]。数次发射后，轨道内表面将产生多种类型的损伤，包括边缘槽蚀、中心磨损、刨削和转捩烧蚀等[2]。内膛损伤将直接影响电枢和轨道的电接触特性，导致精度降低、初速度降低和轨道寿命减少，因此，研究不同类型损伤的位置、形态和规模可为电磁轨道发射器优化提供依据。电磁轨道发射器是一种狭长腔体结构，长径比大，内表面损伤探测难度高，设计轨道内膛损伤探测系统具有很高的工程价值。

利用微型相机阵列采集电磁轨道发射器内表面纹理图像，使用FPGA系统控制20台微型相机采集内膛四个表面的局部图片，并通过图像拼接方法将局部图像拼接为全景图像，实现内膛损伤探测。与普通工业相机不同，微型相机成像平面平行于轨道表面采集图像，优点是体积小、焦距短，但是存在单个微型相机图像视野范围窄的问题，很难对损伤进行完整采集，因此使用20台微型相机组成的阵列采集局部图像进行图像拼接。全景图像可用于判断损伤的类别、位置和规模。

图像拼接技术是将有重叠部分的图像拼成一幅无缝的全景图或高分辨率图像的技术。图像拼接过程主要包含图像采集、预处理、图像配准、图像融合4个步骤[3]。其中，图像配准是计算出两幅图像间的空间变换模型并进行空间变换，使两幅图像的重叠部分在空间上对准，是图像拼接的关键[4]。微距图片视野存在局限，且图像中存在大量微观相似特征，配准难度大。

目前图像拼接技术根据配准原理不同主要有两个分支：基于像素到像素的拼接和基于特征的拼接算法[5]。基于像素到像素的拼接是利用参考图像中重叠部分信息，从空域或者频域角度在待拼接的图像中寻找最相似的部分，完成图像之间的匹配。基于特征的拼接方法是通过检测图像中的特定特征进行配准的，在解决图像尺度不变形和透视不变性上具有优势[6]。目前，基于SIFT(scale invariant feature transform)特征提取的方法应用最为广泛。使用SIFT算法提取特征会造成大量的误匹配且很难剔除[7]。文献[8—9]对火炮身管内膛图像采用基于频域的方法, 通过求得炮管内膛图像在频域上的相位相关特点来找到特征位置，但该方法仍然需要强化微小的特征以保证配准成功率。

本文针对上述相似纹理图像配准过程中误匹配率高的问题，提出一种基于多相机融合的电磁轨道发射器内表面图像采集方法。该方法利用微型相机阵列获取高清晰度纹理图像，通过广角相机标定微型相机之间的单应矩阵以获取微型相机阵列图像之间的位置关系，实现图像的拼接。

1 系统工作原理

1.1 系统组成

电磁轨道发射器内膛探伤系统分为两个子系统：下位机图像采集子系统和上位机图像处理子系统。原理框图如图1所示。

图1 硬件系统框图Fig.1 System principle diagram

下位机搭载在运动机构上，沿电磁轨道发射器内腔轴线运动。下位机包括超广角相机、微型相机阵列以及运动装置，由FPGA系统和ARM系统控制。其中，20台微型相机组成微型相机阵列提供局部高清图像,超广角相机能采集大范围内表面图像。电磁轨道发射器内膛探伤系统如图2所示。

图2 下位机图像采集子系统Fig.2 Measuring device

上位机在电磁轨道发射器外，通过Wi-Fi与下位机通信。在接收到图像数据后可进行图像预处理和多相机图像融合拼接算法，得到内膛高清全景图像。

1.2 系统工作流程

电磁轨道发射器损伤探测系统的图像采集工作流程如下：

1) 系统初始化，使用Putty软件连接下位机，根据待测电磁轨道发射器的内膛口径设置下位机的步长、相机分辨率等参数；

2) 将下位机放在发射器一端，并使其对准发射器轴线，上位机发送步进电机驱动指令，下位机移动到初始待测位置；

3) 上位机发送“开始”指令，下位机ARM控制器运行图像采集程序，调用超广角相机拍摄一张图片并编号，微型相机阵列拍摄一组图像(20幅)，通过FPGA程序编号并存储；

4) 步进电机行进一定距离；

5) 重复执行步骤3)、4)一直到全部轨道拍摄完成；

6) 导出图像数据到上位机进行拼接。

经实际测试，系统中的每一台微型相机均可采集内膛局部图像，在100 mm典型口径轨道内可实现单像素对应实际距离0.08 mm，可以为图像融合拼接提供图像数据。

1.3 上位机图像处理

上位机实现将微型相机拍摄的图片拼接为全景图像的任务。图像拼接是将含有重叠部分的多幅图像，通过图像预处理、图像配准和图像融合步骤，拼接成一幅包含各图像信息的高分辨率、宽视角图像。预处理过程主要是调整图像灰度差异和去噪，以便更好地进行图像配准。

图像配准和图像融合是关键技术，其中，配准是指将不同微型相机拍摄的图片通过空间变换转换到同一平面上，通过算法将相邻图片重叠部分进行匹配。选择一个参考坐标系，例如其中一台微型相机的坐标系，其他微型相机的坐标系可以通过一个单应矩阵将转换为参考坐标系，以实现图像的配准。图像融合指的是将配准后的多张图片均放在参考坐标系平面上，并针对两张图像之间的空像素和重复像素进行处理，消除缝隙。

2 图像拼接算法

微型相机阵列和超广角相机获取到的图像是一系列有序局部图像。直接利用微型相机的局部图像进行标定和图像拼接是困难的，主要原因是微型相机视野窄，导致相邻相机重合部分小，手动和自动特征提取困难。依据像素尺寸与实际物体尺寸的对应关系，在保证单像素对应的实际尺寸小于0.1 mm的情况下，最大视野仅为24 mm。其中相邻相机的重合部分重合视野约为4 mm。在该尺度下，结合单台微型相机很低的分辨率，导致很难通过常规的双目标定方法进行精确的标定。

本文提出一种新的图像拼接融合方法，使用一个超广角相机辅助相机标定，同时还可以提供宽视野的内膛图像为后续研究提供冗余数据。该方法的创新点是通过增加一台超广角相机实现微型相机阵列的标定，解决传统特征提取配准方法在高相似度和窄重合视野条件下，无法有效进行拼接的问题。

2.1 理论分析

考虑一台微型相机和广角相机的相对位置关系，如图3所示。上下黑色线段表示待测表面，电磁轨道发射器内膛表面存在因损伤导致的局部凹凸不平问题，但是在简化模型中可视为平面。对超广角相机和微型相机分别建立针孔相机模型。其中，C1表示超广角相机的光心，其像平面为图像平面1；C2表示微型相机的光心，其像平面为图像平面2。待测表面上，两个相机共同视场范围内的取任意一点，用齐次坐标表示为X=(X,Y,Z,1)T，X投影于两个图像平面，坐标分别为x=(x,y,1)T，x′=(x′,y′,1)T。

图3 图像拼接方法几何原理Fig.3 Geometric principle of image stitching

单应性矩阵是描述物体在世界坐标系和像素坐标系之间的位置映射关系的矩阵，是图像拼接的核心。当物体的一点Y成像于像平面上一个像素点y，物体在世界坐标系的三维坐标可通过一个映射H转换为像素坐标系的二维坐标：

y=HX。

(1)

当世界坐标系上的一点分别在两个像平面成像为y和y′时，也可以通过一个映射矩阵H实现两个像平面之间的像素坐标的转换。该变换将一个像平面上像素点的坐标转换为另一个像平面上的像素坐标，当像平面上所有像素点都完成到另一个像平面的坐标变换以后，若两个像平面之间存在重合部分，即实现了两张相邻图像的图像拼接。

若要建立两个像平面像素坐标系之间的单应矩阵H，需获取至少4组两个像平面视场中的对应点，使用直接求解方法确定H。显然，两台微型相机之间的重合部分仅4 mm左右，找到4组对应点非常困难，因此本文图像拼接的思路是：计算每台微型相机分别与广角相机的单应矩阵Hi、Hj作为“中间媒介”，广角相机可将两台微型相机变换到同一个平面。本文将根据图3的广角相机与一个微型相机组成的模型进行理论分析。

由图3可知，微距相机的视场范围也在广角相机的视野范围内，因此，计算两个像平面1、2之间的映射关系以获取两个相机像素坐标之间的对应关系。本文使用棋盘格作为待测表面进行单应矩阵对应点的提取，因为棋盘格可以方便地将角点特征作为对应点，也容易保持与微型相机的固定距离。将两个相机分别使用张氏标定法[10]标定，消除径向畸变。后续讨论均针对畸变校正过的相机。两个像平面的像素坐标系之间存在唯一3×3单应矩阵H，满足：

x′=Hx，

(2)

式(2)中，H的秩为3，自由度为8。世界坐标系中的点X在广角相机和微型相机上的投影分别为

(3)

(4)

(5)

实际上，在工程应用中通常使用4组对应点求解方法，可避免旋转矩阵和主点偏移量的求解过程。本文仅采用式(5)作为实验验证对应点求解方法的效果。将棋盘格标定板放置在固定位置，拍摄一组棋盘格图片，手动提取4组对应角点，设H矩阵的参数为

(6)

将4组对应点坐标分别代入式(2)计算出单应矩阵H参数的值。该矩阵虽然有9个参数，但包含一个尺度因子，实际上只有8个自由度。令一组对应点分别为x1′,x1,可通过直接线性变换(DLT)法[11]求解。

将广角相机和一个微型相机的情况推广到广角相机和相邻两台微型相机。通过广角相机分别与两台微型相机的单应性关系间接计算两台微型相机之间的映射矩阵。设三台相机视野中一公共点Xcom，在广角相机像平面的投影点为xcom，两台相机分别与广角相机的单应矩阵为Hi、Hj，与xcom对应点分别为xi，xj，则满足

xcom=Hixi=Hjxj。

(7)

要计算xi和xj的单应性关系，可将等式两侧左乘Hi-1，即

(8)

根据式(8)，即可将广角相机与不同微型相机之间的单应性关系，转换为微型相机之间的单应矩阵。以其中一台微型相机的像平面为基准，将其他微型相机的像素点都投影到该像平面上，当相邻相机之间存在一定重合部分时，即实现了图像拼接。分析证明使用广角相机作为“中间媒介”可避免利用两台微型相机之间仅4 mm的重合部分进行对应点提取，降低了单应矩阵的标定难度。

2.2 软件算法设计

根据2.1节原理设计软件方法如下：

1)使用棋盘格标定板对超广角相机和微型相机阵列分别做标定，得到超广角相机的外参和内参矩阵Kw、Mw和微型相机的外参和内参矩阵Km、Mm。

2)根据电磁发射器的口径为100 mm，在距离微型相机一侧放置棋盘格标定板，分别拍摄照片，手动提取四组以上匹配点。

3)根据DLT算法计算每个微型相机和广角相机的对应关系，即单应矩阵Hi(i=1,2,…,20)，其中i表示微型相机的编号。

4)采集电磁轨道发射器内表面图像完成后，将下位机每运动一步采集的广角图片和20张微距图片导入上位机并进行如下处理：

①对每张微距图片上的像素点坐标pij，左乘单应矩阵Hi，计算该图片每个像素在广角相机像素坐标系中的对应坐标；

②相邻两幅微型相机图片存在重合部分，使用每个被测面上的一个微型相机作为原相机，像素坐标系作为原坐标系，该相机对应的单应矩阵为Hs，其他采集该平面图像的每一个相机作为目标相机，单应矩阵Hj，计算该相机与原坐标系相机的单应性关系即：Hc=Hs-1Hj；

③创建1 600×1 200×3的零矩阵P，将原相机图像RGB矩阵通过像素坐标平移 (m,n) 映射到P中居中位置上；每一个目标相机的像素坐标x= (x,y, 1)，计算x′=Hcx；将x′坐标平移(m,n)为x″，并将x对应的像素值映射到P的x″上；

④检测重合部分取原始位置像素，对于映射过程中遗漏像素点，提取该像素周围8-近邻像素值，并取中位数填充。

5) 对比广角相机拍摄的图像和拼接后的微距图像，分析拼接效果。

3 实验验证

为验证图像拼接的实际效果，本文制作了原理样机进行图像采集实验。原理样机如图4所示。

图4 探伤系统原理样机Fig.4 Principle prototype

使用木制电磁轨道发射器模型模拟实际的电磁轨道发射器内腔环境，木制轨道纹理细密且相似性高，与电磁轨道发射器的局部纹理处理难度相近，因此实验结果具有实际意义。木制轨道模型如图5所示。木制轨道的局部纹理如图6所示。

图5 木制轨道模型Fig.5 Wooden launcher model

图6 木制轨道模型的内表面纹理Fig.6 Inner surface of wooden launcher model

使用棋盘格标定板标定超广角相机和微型相机阵列。棋盘格标定板是一种常用的标定板，通过黑白相间且尺寸统一的方格可以作为参照物对相机的参数以及相机之间的关系进行标定。本文使用的棋盘格标定板如图7所示。

图7 棋盘格标定板Fig.7 Checkerboard

为得到每个微型相机和超广角相机的相互位置关系，以计算单应矩阵，将棋盘格紧贴在轨道内表面，使相机可直接拍摄到棋盘格，拍摄一组图像并提取特征点，选取4组匹配的特征点，计算该微型相机与广角相机的单应矩阵。

按照2.2节的算法执行，获取一系列的发射器内表面图像，并执行拼接算法。使用带数字标记的棋盘格测试拼接算法的效果，在棋盘格白色方格中写入数字序号，同时因为棋盘格中存在很多相似角点，可以作为评估拼接效果的参照物。图8是广角相机拍摄和两个微型相机拍摄的图片。

图8 超广角相机图像和相邻微型相机图像Fig.8 Wide-angle and mini camera images

若使用SIFT算法对两幅微型相机图像直接进行特征提取和匹配，因为两幅图片重叠区域太小，且棋盘格呈现出高相似度特点，匹配效果不好。将两幅相似纹理图像进行特征点匹配得到的结果如图9所示，其中两张图片中的连接线为相互配对的特征点。

图9 使用SIFT算法提取特征点时匹配效果Fig.9 Matching effect by SIFT algorithm

图9两张图片中实际上存在重复部分，分别是左图上部和右图底部。但是因为局部棋盘格中的特征点都非常相似，大部分是方格角点，基于特征提取的方法匹配的结果显然错误率很高。误匹配点对多，大量序号为1′的白色方格被匹配到序号为2′、3′方格上。

使用本文的拼接方法拼接后的图像如图10所示。

图10 使用本文提出算法的拼接图像Fig.10 Stitched images by new algorithm

本文提出的方法在测试中获得了比SIFT特征点提取的图像拼接方法更好的效果。我们也测试了三台微型相机的拼接，并将该方法用于电磁轨道发射器模型，如图11所示。

图11 三相机阵列的拼接效果Fig.11 Stitching image of three-camera array

为评估图像拼接方法的可行性，需要对拼接误差进行评估，使用棋盘格标定板分析图像拼接效果。经过棋盘格测试，两张图像的交界处单一方向上有最多3个像素点的偏移，包括像素的重合和缝隙。两张图像拼接的误差为0.24 mm，一个表面5张图像拼接的累积误差为1.2 mm。实验结果表明，本文提出的图像融合拼接方法是可行的，并且可以达到良好的拼接效果。本文提出的内膛损伤探测方法可以实现采集内膛全景图像的目标。

除此以外，本文还根据实验结果分析了新拼接方法的误差来源：

1) 相机系统包括超广角相机和多相机模块，相机存在径向畸变和切向畸变，超广角相机在标定过程中边缘会损失像素。

2) 标定时棋盘格角点位置存在灰色像素，造成单应矩阵计算中存在误差，且转换后的像素坐标需将浮点数取整，造成了个别像素点转换坐标后的重叠。

3) 本文假设小车沿电磁轨道轴线运动，相机模组与电磁轨道发射器四面的距离大致不变。实际上，因为接触面本身不是理想的运行环境，运动机构的运动存在微小的偏移，该偏移将导致拼接存在误差。

这些误差将造成生成的图像中每个像素表示的内表面纹理的错位、偏移和重叠等，导致对电磁轨道发射器内表面损伤的统计和分析不准确。考虑在后续实验中选用高性能相机、迭代优化图像拼接算法以及重新设计运动机构以保证轴线运动。

4 结论

为获取电磁轨道发射器内表面图像以评估内膛损伤情况，本文提出一种基于多相机融合的电磁轨道发射器内表面图像采集方法，利用多个微型相机采集内膛局部图像并进行拼接融合，获得内膛全景图像，从而能获得每台微型相机之间的单应矩阵，将多台微型相机像素坐标转换为同一平面，从而实现不依赖特征检测的图像拼接。通过实验室轨道模型进行了图像采集和拼接实验，证明了该方法可以实现良好的拼接效果。