大视场紧凑型仿生复眼成像系统研究

裘 溯，薛家安，王 霞，李磊磊，陈家斌

(1.光电成像技术与系统教育部重点实验室，北京理工大学光电学院，北京 100081； 2.北京理工大学自动化学院，北京 100081)

0 引言

昆虫复眼是一种理想的小型化、多孔径、大视场的视觉系统，具有智能特征，对运动目标有很高的探测灵敏度，且对光的强度、波长和偏振等都有较强的分辨力。因此，仿生复眼技术与系统在小型无人机、无人车、武器制导、水下潜航器等领域展现出广泛的应用前景，成为人们长期以来研究的重要方向。光纤和光纤集束由于弯曲灵活、加工方便的特点，可以解决大视场多孔径复眼成像系统的图像传输和中继问题，因此在国内外复眼系统中得到广泛应用。

2004年，R. Hornsey等[1-2]设计了基于柔性光纤集束的复眼系统Dragonfl Eye，系统子眼透镜将场景成像到刚性定位的光纤束上，使用相机对光纤束后端面进行拍摄，系统总视场约为100°；2005年，J.Kim等[3]将微透镜阵列耦合在聚合物光波导阵列端面的复眼结构，实现了与真实生物复眼结构相似的微透镜-波导一一对应的模式，其单眼视场角为±0.75°，也与真实生物复眼相同；2007年，L. C. Laycock等[4-5]提出了一种基于多微面光纤面板的仿昆虫复眼成像系统，采用光纤面板切削端面对不同方向的光信息进行采集，简化了仿生复眼的光学系统，实现了120°的大视场成像；2010年，D. V. Hahn等[6]利用微透镜成像，使用方形光纤面板实现了与光学探测器的耦合，提高了探测器的总视场角，微透镜和光纤束之间通过压电装置实现相对微位移对准；2012年，吴俊峰等[7]设计了塑料光纤束中继的微透镜阵列复眼系统，以满足可见光大视场无线通信的需要；2015年，Deng S等[8]将光刻的六边形微透镜曲面阵列耦合在内窥镜光纤束平端面，实现了大视场成像；2019年，Liu F等[9]将模具制作和飞秒激光辅助微加工的微透镜复眼结构，通过高精度的纳米压印转印到聚合物光纤束端面上，实现了端面集成400+球形微透镜的结构，使成像系统接收角和有效数值孔径都提高了40%；2019年，Zheng Y等[10]设计了一种纤径6μm的圆顶光锥，将曲面微透镜阵列成像中继到探测器面，实现了90°的视场和8.6%相对误差的三维测距能力。

总结以上研究发现，利用不同形状端面或不同弯曲方式的光纤元件，能收集各个视轴方向的(微)透镜成像，从而实现与昆虫复眼原理相似的大视场成像。北京理工大学金伟其研究团队于2011年开始进行仿生复眼的研究[11]，重点研究了基于微端面光线面板的视场部分重叠仿生复眼理论、技术和系统。

本文基于课题组对多微面光纤面板的仿生复眼系统的研究基础[12-13]，介绍了一种基于微端面光纤面板的紧凑型可见光仿生复眼系统设计，通过9个视轴发散的小型化物镜+微端面光纤面板+大面阵(5120×5120)CMOS组件的直接耦合，构成紧凑型仿生复眼成像系统，并利用角度一致化约束的图像配准方法，结合CUDA(Compute Unified Device Architecture)加速实现了实时化大视场拼接成像。本文主要介绍了基于微端面光纤面板的仿生复眼成像理论和结构设计，并阐述了配准方法和实时拼接方法。

1 仿生复眼成像系统理论和设计

1.1 基于微端面光纤面板的视场部分重叠仿生复眼成像理论

基于微端面光纤面板的仿生复眼成像过程如图1(a)所示，该系统由子眼镜头-光纤面板-CMOS耦合相机组成。场景通过复眼子眼成像于光纤面板的前微端面上，再通过光纤面板将像传输于面板后端面上，最后使用大面阵CMOS相机进行耦合，以输出后端面采集的图像，如图1(b)所示。

(a) 成像过程

镜头支撑架上的9个复眼光学镜头轴线分别与对应各微面中心的法线重合，且微面与光学镜头主面的距离为镜头的焦距f′；微端面光纤面板的另一端与CCD/CMOS成像传感器耦合，实现多孔径成像场景图像在单一成像传感器上的同时成像采集。

光纤面板的微端面切削倾角与相邻子眼成像视场的重叠率密切相关，根据文献[12]可以将视场重叠情况分为低度重叠率、中度重叠率和高度重叠率等类型，本文的研究侧重于中度重叠率(～50%)情况，如图2(a)所示，可实现大视场变空间分辨率成像、空间目标场景3D成像与快速运动目标定位等功能，还能够实现全偏振成像和多波段成像等多孔径成像特性。

由于上下左右侧面子眼与顶面子眼的视场重叠率接近50%，假设单孔径系统的成像视场为FOV，则侧面子眼与顶面子眼之间的夹角θ等于FOV/2，如图2(b)所示，角面子眼与顶面子眼之间的视场重叠率约为25%；此外，由于侧面和角面的倾角，造成其实际成像存在相应方向的投影，交叠视场为不规则四边形区域，需要在配准时进行投影变换校正。最终得到的拼接成像视场及其重叠情况如图2(a)所示，区域内的数字代表视场有交叠的子眼个数。

(a) 视场重叠数目

(b)视轴夹角图2 复眼系统视场分布Fig.2 FOV distribution of compound eyes system

1.2 微端面光纤面板和小型化子眼物镜设计

本文选用的光纤面板直径为 25mm，纤芯直径为10μm。光纤面板顶微端面是一个边长为6.14mm的正方形区域，顶面和侧面夹角为20°，顶面和角面夹角为27°。图3(a)所示为切割完成后光纤面板实物，经检测微端面光纤面板切面尺寸误差小于0.1mm，切面角度误差小于0.017°，满足系统的成像质量要求和图像拼接精度要求。

对于仿生复眼的成像系统，本文实验系统的视场重叠率为50%，对顶面与侧面倾角为20°的微端面光纤面板进行设计，复眼子眼视场需≥40°，为此，设计的小型化子眼物镜焦距为9mm，后截距为4.92mm，畸变小于0.5%。子眼物镜中设有光阑位置，可设置不同大小的光阑孔径实现对通光量的控制，如图3(b)所示。

(b) 小型子眼物镜设计图3 复眼系统成像和中继元件Fig.3 Imaging and relay components of compound eyes system

1.3 镜头支架设计

由于微端面光纤面板的形状需要使得与之相配的小型物镜支架偏离微端面，故采用了龟背型支架系统。首先确定各个面中子眼的开孔位置和遮光片的安装位置，再使用SolidWorks对镜头支架进行设计。

镜头支架的总体厚度为4mm。侧面子眼与顶面子眼的光轴夹角为20°，角面子眼与顶面子眼的光轴夹角为27°。遮光片可以防止不同子眼的光线串扰，处在顶面与侧面、侧面与角面的角平分线上。图4所示为镜头支架的设计结果，另外设计镜头支架连接件以固定镜头支架与相机机身，外圈使用M42螺纹。

图4 龟背镜头支架正反面示意图Fig.4 The front and back diagram of turtle-back-shaped lens shell

1.4 大面阵CMOS相机及系统耦合

相机选用DALSA公司的CMOS相机Genie Nano XL-M5100，像元规模5120×5120，像素尺寸4.5μm，使用M42镜头接口，千兆网口输出，使用Turbo Drive模式图像输出可达9.5fps。

将微端面光纤面板和CMOS感光面直接耦合，如图5(a)所示，并依次安装连接件、龟背板和9个小型子眼物镜，如图5(b)所示。在龟背型镜头支架上安装子眼物镜，旋转调节物镜对焦，最终集成得到9个子眼视场部分重叠仿生复眼实验系统，如图6(a)所示。实测系统质量357g，体积59mm×59mm×56.4mm，功率6.3W，实物如图6(b)所示。

(a) CMOS耦合

(b) 系统安装图5 复眼系统集成Fig.5 Integration of compound eyes system

(a)系统示意图

(b)系统实物图图6 仿生复眼系统Fig.6 Bionic compound eyes system

2 视场部分重叠仿生复眼实验系统的大视场图像拼接处理

2.1 图像输出和成像特点

图7所示为系统采集的图像，经测试可得仿生复眼的总视场为83.23°，顶面子眼的视场为42.2°，侧面子眼的视场为41.5°，角面子眼的视场为53.1°。

图7 复眼所成图像Fig.7 Bionic compound eyes system

图8(a)所示为系统对积分球内部的拍摄，能表示成像区域大小和非均匀性分布情况，图8 (b)所示为系统成像的有效范围。成像有效范围的定义为：均匀光线入射时，内部非均匀性较好的区域平均像素值输出为I，则在边缘的亮度下降区域，存在像素值输出下降到0.5I时的边界线，边界线内即有效成像区域。

(a)成像非均匀分布

(b)成像有效范围图8 复眼有效视场Fig.8 Effective FOV of compound eyes system

可认为边界线内部的图像信息虽然存在非均匀性，但是可以通过校正恢复这一部分信息；而边界线外部的图像信息由于光强太弱，且量化误差是有效成像区域的2倍，因而无法进行非均匀性校正。成像有效范围的求取算法为：

1)分割图像，人工选取成像中心部分，计算均值I；

2)将图像进行7×7 均值滤波，以去除图像中锯齿、突起等不相关细节；

3)滤波图像以0.5I为阈值，进行图像分割；

4)对分割后的图像解算连通域，寻找最大连通域即有效成像区域;

5)计算有效成像区域面积，并画出有效成像区域轮廓。

2.2 复眼图像非均匀性校正

在主观评价上，如图9所示，以上侧子眼和中心子眼为例，本文CMOS耦合复眼系统，与使用相同光纤面板的光学耦合复眼系统[13-14](微距相机拍摄后端面)相比，解决了光纤面板本身的六边形花纹阴影问题。并且，由于侧面子眼后端面的出射方向复杂，针对光学耦合复眼系统，只有较少光线可以进入光学系统得以成像，侧面子眼往往曝光不足，而中心子眼又会出现中心区域曝光过度。

(a) CMOS耦合系统

而针对本文的CMOS耦合复眼系统，由于CMOS耦合引起的光强衰减更小，且后端面出射光线大部分能被CMOS吸收，散射损失少，故各个子眼曝光均匀，且不存在局部曝光过度等现象。

在客观评价上，各子眼的非均匀性(Photo Response Non-Uniformity，PRNU)定义为，二分之一饱和曝光量下，有效像元输出的标准差与平均值之比。9个子眼的非均匀性平均值为24.10%,与微距相机的光学耦合系统的非均匀性值52.42%相比，非均匀性情况得到了较大的改善。为了获得均匀的成像，通过一点法非均匀性矫正[14],引入像元非均匀性校正系数矩阵，校正后的非均匀性为2.029%。与图7对应的中层子眼的非均匀性校正图像如图10所示。

图10 复眼所成图像Fig.10 Bionic compound eyes system

2.3 特征点匹配筛选和亚像素级配准

本文通过KAZA特征点匹配，利用随机抽样一致性(Random Sample Consensus，RANSAC)和角度一致化方法筛选特征匹配，进行亚像素级配准，并使用相位相关法进行结果评价。

通过RANSAC筛选后，仍存在大量错误的特征点匹配，如图11所示。因此提出了匹配角度一致化(Matching Angle Unify, MAU)筛选方法，注意到复眼成像系统中相邻子眼图像无旋转变化，因而导致匹配特征点的点间连线近乎平行，可以通过统计连线倾角的算法进行筛选：1)将180°等分为N个角度区间，统计各角度区间内连线倾角的数目；2)选择N个角度区间中，包含匹配连线数目最大的区间；3)只保留角度在该区间范围内的匹配线条，从而去除错误的匹配对。

图11 RANSAC筛选后的特征点匹配Fig.11 Key-points matching after RANSAC screening

本文采用的角度一致化方法，对RANSAC筛选后特征点匹配的再筛选结果，如图12所示。从图12中可以看出，所有的错误匹配经过角度一致化再筛选都得到了剔除。

图12 RANSAC和角度一致化筛选后的特征点匹配Fig.12 Key-points matching after RANSAC and MAU screening

使用角度一致化筛选后的特征点匹配能够计算出更为精确的投影矩阵。由相位相关法分析配准结果如表1所示，基于RANSAC和角度一致化筛选特征点的图像配准精度误差小于1个像素，个别子眼配准精度小于0.1个像素，基本达到了亚像素级配准。

表1 周边子眼与中心子眼(5号子眼)的配准误差Tab.1 Image registration errors of the surrounding eyes and center eye

3 复眼图像实时拼接处理系统

3.1 Tx2复眼成像处理系统

本文复眼成像系统使用Nvidia Tx2进行图像处理，如图13所示。Tx2使用千兆网口输入复眼图像，使用15V电源供电，功率为7.5W。

图13 复眼和Tx2成像处理系统Fig.13 Compound eyes and Tx2 image processing system

如图14(a)所示，本文复眼成像系统CMOS成像区域经过配准的投影矩阵变换，可以得到复眼系统视场重叠情况。而有效成像区域经过配准的投影矩阵变换，可以得到有效视场重叠区域，如图14(b)所示。中心子眼内部较大比例的4个子眼视场重叠能满足之后复眼成像系统的超分辨和三维重建需求。

(a) CMOS成像区域

(b)有效成像区域图14 复眼系统实际视场重叠情况Fig.14 Effective FOV of compound eyes system

在图像拼接阶段，本文对于已配准的子眼图像，采用平均权重叠加法进行图像融合拼接。以中心子眼图像为基准，对于基准图片上某点P，有M个子眼视场在此重叠，其中的子眼n配准后在P点的像素值为In，子眼n在P点的非均匀校正系数为kn，则子眼n的拼接权重Kn为

(1)

该方法保证了各子眼非均匀校正后的图像，在重叠区域具有相同的融合权重。可得，P点拼接得到的像素值为

(2)

拼接效果如图15所示，拼接图片无重影。

图15 复眼拼接图像Fig.15 Compound eyes stitched image

3.2 CUDA并行加速图像拼接算法

将图像配准和非均匀性校正放在系统初始化阶段进行预处理，CUDA只进行每帧的并行运算和图像拼接，可极大提高拼接的速度。算法如图16所示，其流程是：

图16 复眼CUDA并行加速图像拼接算法Fig.16 Compound eyes CUDA parallel acceleration stitching algorithm

1) 预处理阶段：软件初始化，确定图像切割矩形RECT，给变换前后的图像分配内存，读取9预配准投影矩阵和非均匀校正标定图像，并计算非均匀校正矩阵和拼接权重矩阵；

2) 相机采图阶段：相机将每一帧图像数据暂时存入相机内存缓冲区m_Buffers中；

3) 通信传输阶段：利用指针寻址方法，软件将帧图像从m_Buffers拷贝进入GPU内存Device中；

4) 并行拼接阶段：以RECT模板切割图像，对每一个子眼图像分别进行图像变换，并平均权重地叠加到拼接背景图像上；

5) 通信传输阶段：将帧图像从GPU内存Device中拷贝到计算机Host内存中，并显示；

6) 清空缓存区m_Buffers，循环进入下一步的2)中。

利用CUDA并行加速方法进行图像拼接，单帧的拼接耗时为30ms，小于CMOS相机的图像传输时间203ms，达到了实时化图像拼接的要求，最终与Turbo Drive模式图像结合，拼接图像输出帧率可达8fps。软件系统输出界面如图17所示。

图17 复眼图像实时拼接处理系统界面Fig.17 GUI of compound eyes real-time image stitching system

4 结论

本文设计和实现了基于微端面光纤面板的大视场紧凑型仿生复眼成像系统，针对复眼系统的多子眼视轴发散和视场部分重叠的特点，研究了一种基于空间结构约束筛选方法的亚像素级特征匹配图像拼接算法。复眼系统设计与图像处理结果表明：

1)基于微端面光纤面板的图像传输方法具有设计精度高、成像效果好的特点。本文提出的应用视轴发散的龟背型透镜组支架和CMOS直接耦合，是实现复眼成像系统多通道集成和图像输出的有效设计方法。与先前光学耦合复眼系统相比，具有分辨率更高和噪声更小的优势。

2)基于特征点匹配的图像拼接算法，可实现亚像素级别的精确匹配，利用RANSAC和角度一致化方法筛选特征匹配，能达到接近100%的匹配正确率，但本算法也存在着筛选速度慢的问题。今后希望通过进一步优化筛选算法，实现更快速的复眼图像匹配。

3)在复眼成像实时化研究方面，本文所提拼接处理使用CUDA并行加速方法，满足了复眼子眼图像实时化拼接的要求。实时化图像配准与复眼偏振探测相结合，可实现偏振图像的快速解算；与三维重建和重叠视场超分辨等算法相结合，可实现变分辨率的三维成像模式，在光电成像探测领域具有广泛的应用前景。