基于粒子群优化的宏观傅里叶叠层成像位置失配校准

何承刚，朱友强，王 斌*

（1. 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2. 中国科学院大学，北京 100049）

1 引 言

在光学领域中，常用空间带宽积（Space Bandwidth Product，SBP）［1］描述成像系统的信息传递能力，更大的SBP 意味着可以获取成像目标更多的细节信息。然而，传统的光学成像系统受衍射和像差影响，其空间带宽积被限制在百万量级，难以满足现代生物医学成像［2］和远距离成像等领域的需求。为了提高成像分辨率，传统方法是机械地增加成像系统的口径，不仅会增加光学像差，还会增加整个系统的体积和质量。Zheng等提出了傅里叶叠层成像技术（Fourier Ptychography，FP）［3］，该技术能够实现大视场高分辨率成像，且成像效果优异，因此一经问世便备受关注。

FP 主要应用于显微和宏观成像领域，对于不同的应用场景，成像系统的低分辨率图像采集方式存在明显的差异。在傅里叶叠层显微成像（Fourier Ptychography Microscope，FPM）［4］中，可编程控制的LED 阵列替换传统显微成像系统中的照明源，通过点亮不同的LED 改变照明波矢使样品频谱产生频移，然后通过相机捕获一系列低分辨率图像。在宏观FP［5-7］中，则是通过移动相机来采集目标的不同频谱信息，获取低分辨率图像。采集好数据后，FP 将捕获的一系列低分辨率图像傅里叶变换至频域，然后将这些图像融合至频域中对应的子孔径位置，最终重建出高分辨率的复图像。FP 作为一种整合相位恢复［8-12］和合成孔径［13-16］技术优势的计算成像技术，突破了透镜孔径带来的物理限制，能实现大视场的高分辨率成像。

在高分辨率图像重建过程中，位置失配误差会导致重建图像质量降低。2012 年，Maiden等［17］提出基于模拟退火的pcPIE 算法，该算法逐个校准失配位置进而提高重建图像质量，但算法耗时较长且容易陷入局部最优解。2015 年，Yeh等［18］将整个优化问题分解为多个子优化问题，在运用高斯-牛顿法更新频谱子孔径过程中使用模拟退火算法搜寻光瞳函数的偏移位置，能够一定程度上降低失配误差带来的影响。但由于大角度照明时获取图像的信噪比较低，该算法对位于高频区域的频谱子孔径的位置校准精度较差。2016 年，Sun 等［19］提出基于模拟退火的pcFPM 算法，该方法引入全局收敛模型，算法初期对明场图像校准并通过非线性回归获取空域失配参数，然后对全部图像进行类似操作，从而提高重建图像质量，但由于其性能受到模拟退火算法的限制，LED 阵列失配严重时算法可能陷入局部最优。2017 年，Liu 等［20］提出了基于牛顿法的sc-FP方法，该方法在频域对频谱子孔径位置校准，能够兼顾稳定性和校准精度，重建图像质量得以提升，但该方法是局部搜索算法，当误差范围较大时可能校准失败。2018 年，Eckert 等［21］提出了角度自校准方法，先准确识别出明场图像并进行精确搜索，然后通过模拟退火算法搜寻与暗场图像对应的频谱子孔径位置，该方法能适用于大多数系统且对像差有良好的鲁棒性，但易受噪声干扰。2021 年，Mao 等［22］提出一种基于遗传退火算法的位置校正方法，解决了单一使用模拟退火算法易使结果陷入局部最优的问题，有效提高了图像重建质量。随着深度学习技术的快速发展，神经网络算法也应用于超分辨率成像领域［23-26］。2021 年，Zhao 等［27］提出了基于深度学习的位置校准算法，该方法通过构建神经网络，将物体的实部、虚部以及频谱子孔径位置偏差作为卷积层的权重，然后对网络进行训练获取频谱子孔径的准确位置，提高了重建图像质量，但算法耗时较长。上述位置校准算法主要应用于显微成像领域，且大多数算法默认LED 阵列间距相同，因此会引入全局收敛模型校准波矢位置。然而，宏观成像中相机间距存在不确定性，因此，基于全局收敛模型的校准算法无法应用于远距离成像场景。

2 原 理

2.1 远场FP 技术前向成像模型

如图1 所示，宏观FP 成像模型由激光器、空间滤波器、聚焦透镜、样品和带镜头的图像传感器（Charge Coupled Device，CCD）5 部分组成。激光器发出的光束经空间滤波器滤波后，通过聚焦透镜对物体进行照明。当光束从物体经过距离z传输至相机孔径所在平面时，相机孔径平面的光场可以通过夫朗和费衍射公式进行计算，因此相机孔径平面的光场可以表示为：

图1 傅里叶层叠成像模块示意图Fig.1 Schematic diagram of Fourier ptychography module

式中：λ表示照明光波长，k=2π/λ表示波数，o(x'，y')表示物面光场，z表示光束从物面传输至相机孔径平面的距离，ε和λ代表空间频率，(x'，y')代表物面空间坐标，(u，v)代表相机孔径平面上的空间坐标。

当光场ψ(u，v)继续传播时，受限于相机镜头孔径大小，只有一部分光场能够进入相机内部并最终成像。相机孔径等效于一个圆形低通滤波器，能够进入相机内部的光场范围通常用光瞳函数P(u，v)来表示，其可以定义为：

式中R为相机孔径的半径。部分光场进入相机后从相机镜头位置传播至传感器所在平面，最终抵达传感器并成像的光场可表示为：

式中：l是成像距离，f是相机孔径透镜焦距，O(u，v)=F{o(x'，y')}，表示物体的频谱信息。为了方便表示，使用矢量u和x分别表示相机孔径平面的空间坐标(u，v)和图像传感器所在平面的空间坐标(x，y)。由于图像传感器只能记录光强信息，无法捕获相位信息，所以最终被捕获的图像可以表示为：

式中c表示相机孔径的中心位置。

2.2 图像重建算法

在捕获一系列低分辨率图像后，需要通过相位恢复算法重建出高分辨率图像。首先，需要获取初始化频谱O(u，v)以及光瞳函数P(u，v)。初始频谱中挑选与第m个位置相机对应的频谱信息，可以表示为：

烟台市果树站于1991年由长富2号中选出的红富士优质系列，1997年通过了山东省农作物良种评审委员会的审定。果实圆形或长圆形，果形端正，果形指数0.86～0.89，果个大型，平均单果重245～314克。易着色，树冠上下、内外着色均好，全红果比例78%～80%，着色指数95.6%，色泽浓红艳丽，硬度8.7～9.7公斤/平方厘米，可溶性固形物含量14.8%～15.4%。果实生育期190天，贮藏性跟长富2号相同，综合性状优于长富2号品种。

保持从频谱中截取的复振幅分布φm(x，y)不变，由于相机只能捕获强度信息，对实际捕获的低分辨率图像Im进行处理获取振幅信息，然后替换φm(x，y)中的振幅信息，可得：

对更新后的复振幅分布进行傅里叶变换获取频域信息，然后对样品频谱进行更新。重复上述过程，更新样品频谱中每一个子频谱区域，直至所有相机截取的信息更新完成实现一次迭代，达到预设迭代次数后重建出高分辨率图像。

式（5）中，Δum和Δvm表示频谱子孔径的位置偏移，在理想情况下，它们取值均为0，即相机的实际位置与理想位置重合，此时不存在相机位置失配问题。理想频谱子孔径位置如图2（c）中蓝色圆点所示，此时捕获的中心低分辨率图像如图2（a1）所示，通过相位恢复算法重建出的振幅和相位信息如图2（a2）和（a3）所示；然而，在宏观傅里叶叠层成像过程中，需要通过移动相机捕获低分辨率图像，移动过程中并不能保证相机处于理想位置，且不同位置的间距并不相同，此时实际频谱子孔径位置如图2（c）中红色雪花所示（彩图见期刊电子版）。由于相机位于实际位置时捕获样品的一系列低分辨率图像，若在图像重建过程中仍按理想位置进行重建，这会导致频谱信息的失真，进而影响重建图像的振幅和相位信息。图2（b1）～（b3）分别为相机位置失配时捕获的中心低分辨率图像，以及重建后的振幅和相位信息，可以看出，图2（b2）和（b3）存在明显的伪影和褶皱。从图2 可以看出，相机位置失配会严重降低重建图像质量。因此，进行相机位置失配校准是有必要的。

图2 存在位置失配和不存在位置失配时传统FP 的恢复结果：（a1）～（a3）相机位置未失配时捕获的低分辨率图像、重建图片和相位分布；（b1）～（b3）是相机位置失配时捕获的低分辨率图像、重建图片和相位分布；（c）频谱子孔径的位置Fig.2 Recovery results using traditional FP with positional error and without positional error.（a1）-（a3）are the captured low-resolution image，the recovered high-resolution amplitude image ，and the recovered high-resolution phase distribution without positional misalignment；（b1）-（b3）are the captured low-resolution image，the recovered high-resolution amplitude image，and the recovered high-resolution phase distribution with positional misalignment；（c）the frequency apertures’positions in the Fourier domain.

2.3 位置失配校准算法

针对远距离成像中相机位置失配问题，本文提出了一种基于粒子群的位置失配校准算法（Correction Method Based on Particle Swarm Optimization，CPSO），实现相机位置失配校准功能。该算法主要对频谱子孔径位置进行校准，并不涉及光瞳函数的恢复，其操作流程如图3 所示。

图3 CPSO 算法流程Fig.3 Flow chart of CPSO

算法初始，通常将相机在中心位置采集的图像插值放大后傅里叶变换至频域，来获取初始化频谱估计O(u，v)，光瞳函数P(u，v)的初始化估计可视为一个圆形低通滤波器，在滤波器内部允许频谱信息通过，滤波器外部频谱信息无法通过，滤波器的带通宽度为d/(2λD)，d为相机镜头的等效孔径直径，λ为相干照明光的波长，D为样品到相机截取平面的距离，捕获的M张低分辨率图像Im按设定的顺序依次进行寻址，其中m∈{1，2，3，…，M}。然后，定义每轮迭代过程中需要校准的频谱子孔径范围，通常情况下，根据寻址的顺序逐个更新所有频谱子区域后完成一次算法迭代，CPSO 算法共需进行J轮迭代，其中J=3。低频信息在算法重建中起重要作用，由于对频谱子孔径位置采用逐个校准并更新的策略，前面频谱子孔径位置不够准确，使得后续频谱子孔径的校准情况变差。为了提高算法的校准精度，算法初期需要对低频信息进行校准。设定每轮图像校准范围为S，然后选取其中R张富含低频信息的图像在前J'轮进行迭代校准，校准完成后能获取较为精确的频谱子孔径位置，其中R=9，J'=2。在对这R张含有物体不同频谱信息的低分辨率图像进行校准后，M张低分辨率图像全部输入算法进行1 轮迭代校准，获取精确的频谱子孔径位置，其中M=121。

确定每轮迭代校准范围后，通过粒子群算法按设定的顺序逐个对频谱子孔径位置进行寻优，设定单点校准时粒子的最大迭代更新次数为K，在频谱子孔径的理想位置(um，vm)周围撒下N个粒子 ，每个粒子代表不同的频移(Δuj，m，k，n，Δvj，m，k，n)，其中j∈{1，2，3}，k∈{1，2，3，…，K}，n∈{1，2，3，…，N}，(Δuj，m，k，n，Δvj，m，k，n) 表示相机失配时搜索范围中的随机数值。使用第n个粒子携带的失配参数获取的频域子孔径信息为：

然后，将获取的频谱子孔径信息逆傅里叶变换至空域，获取低分辨率图像估计：Oj，m，k，n(x，y)=F-1{Oj，m，k，n(u，v)}。计算低分辨率图像估计的振幅信息|Oj，m，k，n(x，y)|与实际捕获图像的振幅信息之间的差值：

E(k，n)越小则校准后频谱子孔径位置越接近于实际位置。将N个粒子对应的E(k，n)值进行比较，选出最佳粒子位置，然后更新这N个粒子的位置，重复上述步骤，直至粒子位置更新次数达到预设值K。记使E(k，n)取值最小的粒子索引为(p，q)，对频谱子孔径位置的更新可以表示为：

更新频谱子孔径位置后，获取对应位置的频谱信息并逆傅里叶变换至空域可得Oj，m，p，q(x，y)，用代替其振幅后再次傅里叶变换至频域可得：

然后对频谱进行更新，更新公式如下：

当前频谱子孔径位置校准并完成频谱更新后，重复上述步骤（m=1，2，3…M），直至需要校准的频谱子孔径位置全部校准完毕，完成一次迭代更新。当算法完成全部J轮迭代后，频谱子孔径位置全部校准完毕，最后通过相位恢复算法进行迭代重建出高分辨率图像。

3 实 验

3.1 仿真与分析

为了证明提出的算法是有效的，首先进行仿真实验对算法性能进行评估。由于所提算法采用逐个校准频谱子孔径位置的策略，且在校准完毕后更新频谱，所以较高的孔径重叠率［28］更有利于算法的运行。在仿真实验中，将随机位置偏差(Δum，Δvm)的取值设置为（-10，10），相干光波长λ是532.8 nm，成像透镜的孔径直径为2.5 mm，焦距为75 mm，相机孔径平面到样品的距离z=1.5 m，相机传感器的像元尺寸为3.8 μm。一个11×11 的网格状位置分布代表采集低分辨率图像时相机所在的位置，每一次相机平移0.7 mm，直至遍历所有预设位置获取121 幅低分辨率图像（300×300 pixel），此时孔径重叠率为72%，合成孔径尺寸为9.5 mm。在本文中，根据经验将初始化种群大小设为30，粒子迭代更新次数设为10。

为了比较不同算法的性能，在模拟数据集上对传 统FP［3］，pcPIE［17］，BF+SC［21］和CPSO 算 法进行了测试。测试集由图4（a1）～4（a2）所示的理想高分辨率振幅图和相位图，经过正向成像模型后生成的121 张低分辨率图像组成，以此来模拟实际过程中相机捕获的低分辨率图像。图4 展示了不同校准算法的仿真结果，传统FP 算法的重建结果如图4（b1）～4（b3）所示，分别为迭代重建后的高分辨率振幅图、相位图和频谱图。图4（b1）中存在十分明显的伪影，而图4（b2）中存在明显的相位起伏，重建图像质量相对较差。图4（c1）～4（c3）分别为pcPIE 校准方法重建的高分辨率振幅图、相位图和频谱图，重建图像质量显著提高。图4（d1）～4（d3）为BF+SC 方法重建的高分辨率振幅图、相位图和频谱图，与传统FP方法相比，重建图像质量同样显著提升。图4（e1）～4（e3）为CPSO 方法重建的高分辨率振幅图、相位图和频谱图，重建结果与理想振幅图和相位图基本相同。

图4 不同校正方法的仿真结果。（a1）理想高分辨率振幅图；（a2）理想高分辨率相位图；（b1）～（b3）传统FP 方法；（c1）～（c3）pcPIE 方法；（d1）～（d3）BF+SC 方法；（e1）～（e3）CPSO 方法Fig.4 Simulation results of different correction methods.（a1）Ideal high-resolution amplitude image；（a2）Ideal high-resolution phase image；（b1）-（b3）Traditional FP method；（c1）-（c3）pcPIE method；（d1）-（d3）BF+SC method；（e1）-（e3）CPSO method

图5（a）为pcPIE 算法校准后实际位置与校准位置示意图，可以看出，大多数频谱子孔径位置都得到了有效校准，但由于pcPIE 算法容易陷入到局部最优值，一些频谱子孔径校准后的位置与实际位置并不能完全重合，仍存在一定偏移。图5（b）为BF+SC 算法校准后频谱子孔径的实际位置与理想位置示意图，由于该算法更适用于明场图像较多的情景中，在该模拟数据集中仅识别出9 张明场图像，失配位置校准情况没有获得明显的改善。图5（c）为CPSO 算法校准后频谱子孔径的实际位置与理想位置示意图，圆圈代表校准后的位置，可以看出实际位置与理想位置在大多数地方完全重合。值得注意的是，这3 幅图中理想位置和实际位置分布完全相同。

图5 相同失配条件下不同方法的校准结果Fig.5 Recover apertures’positions of different methods in same misalignment condition

为了客观地评价不同算法的性能，引入峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似性（Structural Similarity Measure，SSIM）这两个图像质量评价指标对不同算法的重建结果进行客观评价，并记录不同算法的运行时间。

不同算法重建结果的客观评价如表1 所示。可以看出，未校准时频谱子孔径位置与实际频谱子孔径位置的像素差之和Δp为1 160，pcPIE 算法校准后的位置与实际位置像素差值之和为167，BF+SC 算法和CPSO 算法校准后的位置与实际位置像素差之和分别为159 和69。这表明相比传统FP 算法，对相机失配位置进行校准能有效提高重建图像质量，CPSO 算法的校准效果最 佳。同 时，CPSO 算 法 的PSNR 和SSIM 值 均较高，算法运行耗时最短，这进一步表明CPSO算法能有效提升重建图像质量以及校准精度，并提高相机位置的校准效率。

表1 不同校准算法下重建振幅图与相位图的客观评价结果Tab.1 Objective evaluation results of reconstructed amplitude and phase images with different methods

为了体现算法的鲁棒性，将分辨率板作为原始图像再次进行仿真。除了相机位置偏移量不同，其他设置均和上文相同。不同算法的重建结果如图6 所示，可以看出，对相机位置进行失配校准能有效减少重建图像伪影，提升重建图像质量。不同方法校准后的实际位置与理想位置分布如图7 所示。为了客观评价不同方法重建图像的质量，仍然采用PSNR 和SSIM 作为重建图像质量指标，从表2 中可以看出，所提算法在各方面 具有一定优势。

表2 不同校准算法下重建振幅图像的客观评价结果Tab.2 Objective evaluation results of reconstructed amplitude images with different methods

图6 分辨率板仿真结果Fig.6 Simulation results for resolution chart

图7 相同失配条件下不同方法的校准结果Fig.7 Recover apertures’positions of different methods in same misalignment condition

3.2 实验与分析

为了评估算法在实际场景数据中的性能，采用Wu 团队［29］的开源实验数据集对算法进行验证。该数据集由49 张含有物品不同空间频率信息的低分辨率图像组成。光学成像系统的主动照明光源为532 nm 的相干光，USAF 分辨率板到成像系统的距离为1.5 m，镜头为75 mm 焦距透镜，像素尺寸为3.8 μm，光学系统的等效透镜直径为2 mm，相机孔径间距为1 mm，最终合成孔径尺寸为8 mm。图8 为不同算法对USAF 分辨率板的重建结果。图8（a）是相机位于中心位置时捕获的低分辨率图像，从图中可以看出，第2 组元素无法识别。图8（b）是传统FP 重建的高分辨率图像，图像质量较差，只能清晰分辨出第2 组元素1 的线对（4 lp/mm），第2 组元素3（方框部分，5.04 lp/mm）的水平线对和竖直线对均不易辨别。图8（c）是pcPIE 方法的重建结果，可以看出，pcPIE 方法校准后第2 组元素2 的竖直线对难以分辨，仅能分辨出第2 组元素3 的竖直线对，水平线对无法分辨。图8（d）和8（e）分别是BF+SC 和CPSO 算法重建的高分辨率图像，与pcPIE方法相比，第2 组元素2 的竖直线对均能清楚分辨，但只有CPSO方法能分辨第2组元素3的水平线对，从而进一步表明所提算法性能优于已有算法。

图8 实验数据集上不同算法的重建结果Fig.8 Reconstruction results of different algorithms using experiment data sets

为了对不同校准方法重建后的结果进行客观的评估，在重建图像上选取一条垂直于线对的红线，获取对应的像素分布曲线，如图9 所示，横轴表示红线部分垂直向下的轨迹，纵轴表示线轨迹上的像素值。从图中可以看出，CPSO 方法对应曲线存在3 个峰值，强度一致，且分布均匀，明显优于传统FP，pcPIE 和BF+SC 方法。这表明获取高分辨率图像时无需事先对相机位置进行精密的机械校正，CPSO 算法可以解决远距离FP对相机扫描位置精度严苛的需求。最后，针对不同算法的耗时进行了对比，结果如表3 所示。传统FP 算法的重建速度最快，但频谱收敛错误；CPSO 算法重建图像质量最佳，算法消耗时间相比同类校准算法减少10.9%以上。

图9 重建图像中红线的像素分布曲线Fig.9 Pixel distribution curve of red lines in reconstructed images

表3 不同算法的运行时间Tab.3 Running time of different methods

4 结 论

本文针对宏观叠层成像中相机位置失配问题，提出了CPSO 算法。首先对部分低分辨率图像进行多轮迭代校准，获取较为精确的频谱子孔径位置，然后对所有低分辨率图像进行迭代校准即可获取每个频谱子孔径的精确位置，最终通过相位恢复算法重建出高分辨率图像。实验和仿真结果表明，与已有算法相比，CPSO 算法的重建图像质量和运行效率更高。尽管所提方法能有效解决相机位置失配问题，放松装调精度要求，但当需要校准的低分辨率图像较多时，该算法的时间成本依然较高，因此降低时间成本是今后的研究重点。