基于离焦图像复原的光学设备实时视频对焦方法

武拥军，武 鹏，方俊彬，陈 哲

（1.太原卫星发射中心，山西 太原 030027；2.四川大学 高分子科学与工程学院，四川 成都 610065；3.暨南大学 光电工程系，广东 广州 510632；4.广东旭龙物联科技股份有限公司，广东 广州 510700）

引言

大口径光学设备主要用于外场远距离目标的监视和测量，其口径大、焦深短、调焦量程大，精准对焦相对较难。在使用中，常常会遇到目标与光学设备之间的距离未知、传感器靶面偏离理想像面位置较大、图像因离焦而模糊不清问题。针对大口径光学设备的离焦问题，传统的手动对焦方法依靠人眼确定对焦限度，精度低，很难达到图像质量最佳；目前通用的计算机视觉调焦方法[1-2]需要在整个量程内来回调整调焦机构寻找最佳点，对于调焦量程大的大口径光学设备，调焦速度慢，调整过程中出现模糊图像，难以做到实时动态运行。随着一些图像复原方法的出现，建立光学设备的退化模型，利用传统图像复原方法[3-4]对图像进行逆卷积处理，可以将模糊图像还原为清晰图像。目前，国内外还没有成像设备自我实时测量离焦量大小和方向的方法[3]。外场大口径光学设备使用中，无法实时测量离焦量的大小和方向，因此，直接建立准确的离焦退化模型非常困难。

本文从光学镜头的成像原理出发，按照焦点附近光场变化规律和焦深变化范围，以一定的周期间隔选择某些假想的离焦量值，推算相应的离焦点扩散函数、相干光传递函数和非相干光传递函数，提出图像离焦程度判断方法，运用爬山法[2]、逆滤波[3-7]和离焦程度判断法，寻找大口径光学设备拍摄目标时刻的最佳离焦量值和方向，对模糊图像给予复原。依据计算得到的离焦量大小和方向，不需要在整个量程内来回调整调焦机构寻找最佳点，能很快将调焦机构调整到最佳位置点，调整过程中设备一直显示清晰图像，可以实现大口径光学设备的实时精准对焦。

1 光学设备的成像模型

无穷远距离目标的光源以发散光束经过光学设备镜头之后，入射到光学设备前，形成汇聚光波[2]，在焦面上形成了点像。光波传播与成像过程见图1 所示，从物到像经过了4 个过程，物面 Σ1产生的物光波，经自由空间传播到达光学系统前主面 Σ2，光学系统的光瞳对光束限制，再经透镜传播之后到达后主面 Σ3，再经自由传播到达实际像面Σ 5，形成像面。

图1 物平面光波经透镜到像的传播过程方框图Fig.1 Block diagram of light propagation from object to itsimage through the the lens

光学镜头的离焦成像的光路图见图2 所示，图中： Σ1 为物平面； Σ2 为透镜前主面； Σ3 为透镜后主面； Σ4 为理想高斯像平面； Σ5 为实际像面；u为物距；v为理想像距（即高斯像距）；di为实际像距； δ为平面 Σ4与平面 Σ5之间的距离，δ定义为离焦量，一般δ≪v；f为镜头组等效焦距；D为光学系统的入射光 瞳口径。

图2 光传播与成像示意图Fig.2 Schematic diagram of light propagation and imaging

根据离焦量定义，有：

于是，由（1）式得：

物面 Σ1 的物体点分布光波用函数uo(ξ,η)表示，ξ为横坐标，η为纵坐标；光学系统的光瞳可通光瞳函数p(ξ′,η′)表示，ξ′为横坐标，η′为纵坐标；实际像平面 Σ5 上形成的像点分布函数为Ψi(x,y)，x为横坐标，y为纵坐标。

2 离焦退化模型推导

光学设备的离焦退化模型就是光学成像镜头的点扩散函数和传递函数，成像波段为可见光，光学系统等效为透镜。

2.1 离焦退化模型的点扩散函数

设物体的平均光波波长为λ，光波的坡印廷矢量像平面空间坐标为（x，y）。结合图2 的成像过程，依据透镜的位相变换和夫琅禾费衍射理论公式[8]可得：

式中j 为虚宗量。

根据高斯成像公式，理想像的垂直放大倍率为

像平面（x，y）处的场只与物平面上对应点近旁一个小区域有关，这时exp 因子的宗量变化不大于几分之一弧度，因而可采用（5）式近似：

将（1）、（2）、（4）、（5）式代入（3）式，变量置换Mη、M ξ→η0、ξ0，整理后得：

其中：积分区域 Σ3为直径为D的圆面； Σ1表示目标区域； Σ4表示理想像区域(高斯像面)。令

作变量代换之后，（7）式可变形为

式中h(ξ0-x,η0-y)为光学设备的离焦退化模型的点扩散函数h(x,y)的卷积表示，是实际像函数ψi(x,y)与理想像函数ui(x,y)之间关系，表示从高斯像面理想像函数到实际物平面像函数的点扩散函数。令E0为光波的幅度，E0取为

则有：

引入新坐标，令

（10）式为推导得出的光学成像镜头离焦退化图像的点扩散函数形式，式中：D为光学设备入射孔径；v为理想像距；δ为离焦量；λ为光的平均波长。对于物体上的点光源，在实际像面的光幅度分布函数为可以看出，其点像扩散函数具有圆对称性。（10）式中：

J0(x)为0 阶贝塞尔函数[9]，x为自变量。令光轴向变量ω1为

（15）式中，当-3.2 ≤ω1≤3.2时，光强I/I0下降20%，于是焦深ε[2]有：

离焦量不超过焦深（即 δ≤ε）时，不影响像面清晰度；超出焦深（即δ ≥ε）时就会影响像面的清晰度。由于点扩散函数具有圆对称性，因此我们取某一方向进行计算。设某一方向空间量化尺寸（即像元尺寸）为b，当前位置点的像元数为N。

令图像径向变量ω0为

则(12)式、（13）式变为

当离焦量δ=0 时，焦面上的点像衍射图像为

式中J1(x)为1 阶贝塞尔函数[2]。物体上的点光源，在像面的点像幅度扩散函数为

物体上的点光源，在像面的点像强度扩散函数为

2.2 离焦退化模型的传递函数

2.2.1 相干光照明传递函数

取像面空间坐标x、y相对应的空间频谱为Fx、Fy，根据传递函数定义[10]，传递函数为点扩散函数的傅里叶变换：

式中：

下标re 表示实部，下标im 表示虚部。

2.2.2 非相干光照明下传递函数

存在波像差的非相干光照明下传递函数[10]为

式中Δω(x,y)为光学成像系统的波像差，根据像差光学系统的频谱分析[5]，离焦的波像差近似计算为[5]

式中α(Fx,Fy)是两个错开(λdiρ)的光学系统入射光瞳重合部分，图3 中的阴影部分为积分区间。取tgi=-Fy/Fx后，将x、y坐标系顺时针旋转i角度到坐标系ζ、η。

图3 积分区间 Σ示意图Fig.3 Sketch map of integral interval Σ

由（29）式得：

将（30）式代入（29）式，推导得：

推导（31）式，经过积分计算得光学系统的离焦退化模型的传递函数：

当γ为0 时，H（0，ω1）=1；当离焦量δ为0 时，ω1=0，（32）式为

光学系统成像要求H(γ)≥0，H(γ)=0 空间频率成份的光将被截止。（32）式方程H(γ)=0 存在多个γ解，第一个解（即最小值解）用γmax表示，截止时γmax相对应的空间频率ρmax为截止频率，用ρmax表示。H(γ)＜0 为传函反相，图像上表现为“黑白颠倒”。

可以证明：ω1=0 时，γmax=1；ω1越大，γmax越小；在γ＜γmax情况下，（32）式中正弦函数中ω1·γ·(γ-x)＜4。故（32）式中的正弦函数泰勒近似展开，积分得：

其中：

3 离焦模糊图像的复原方法

计算图像清晰度，以此作为评判图像的依据，找到图像清晰度的极大值点，把模糊图像复原。对于给定焦距和入射孔径的摄影物镜，采用迭代逼近法寻找离焦衍射模糊图像的离焦量。

3.1 离焦图像的维纳逆滤波法复原算法

光学设备成像过程中，因为存在离焦导致图像退化，图像退化过程[11-16]可用下式表示：

（35）式中，g(x,y,δ)为模糊图象，f(x,y)为理想图像，h(x,y,δ)为点扩散函数，n(x,y)为噪声图像。对（35）式两边取傅里叶变化得：

(36)式中，H(Fx,Fy,δ)为传递函数，G(Fx,Fy)为模糊图像的傅里叶频谱，N(Fx,Fy)为噪声的傅里叶频谱，U(Fx,Fy)为理想图像的傅里叶频谱，Fx和Fy为空间频率。将（36）式转换为矩阵形式为

（37）式中[N]、[G]、[F]、[H]为N(Fx,Fy)、G(Fx,Fy)、U(Fx,Fy)、H(Fx,Fy)的矩阵形式。利用最小二乘法[5],求得[U]的最小二乘估计[14-17][]为

取傅里叶逆变换得复原后的理想图像矩阵为

3.2 图像的离焦程度分析模型

已知光学设备成像时刻的离焦量，建立离焦传递函数，由（39）式，可以得到复原后的原始理想图像。然而，光学设备拍摄时刻的离焦量无法实时测得，我们假想一系列离焦量值，用这些值估计真实离焦量，进行图像复原，会取得一系列复原图像，计算这些复原图像的清晰度值，清晰度值反映了假想离焦量与真实离焦量的逼近程度，也就是离焦程度。将一系列复原图像中，清晰度值最大的图相对应的估计离焦量值，我们称之为“最佳离焦量值”。

1）清晰度定义

点像的强度分布曲线越陡，光学系统对于一般的目标物体所成的像边缘越清晰，依据光学系统锐度的定义[14-16]，具有离焦量δ 的实际像面点像的清晰度表示为

式中：a为传感器靶面的最大尺寸；r为空间水平或垂直方向的坐标变量；ρ为水平或垂直方向的空间频率；ρmax为截止频率。

2）离焦量的估计值与真实值之差越小，复原图像清晰度越大

根据（36）式和（40）式估计复原图像的清晰度：

ρmax对应x和y方向的最大截止空间频率为Fx0和Fy0,代入（41）式，离散化为

空间频率高的部分反映图像的细节，选择高频Fx_high、Fy_high成份分析清晰度。考虑x方向，取实部

同理，考虑y方向，取实部

式中：ux、uy为常数；K2(Fy_high)为Fy_high的多项式；K2(Fx_high)为Fx_high的 多项式；U2(Fx_high)和U2(Fy_high)为理想图像的高频强度值，计算可得：当δ-δ′=0时，（44）式中Ac(Fx_high,δ′)取最大值，表示复原图像的清晰度为最大值。

4 基于离焦复原的视频自动调焦方法

4.1 光学设备的调焦范围

外场光学设备用于观测遥远的物体，在满足焦深条件下，当物体物距u从无穷远u∞到一定距离u+内变化时，焦面的焦深范围内就为不离焦像面，不需要调整。u∞↔u+视为无穷远成像景深距离，此时，像距v=焦距f。

如图4 所示，当目标离开无穷远，在近距离u+与u变化时，即u+↔u之间，像面离开传感器靶面位置，超出焦深,需要调整传感器像面位置，使此接近理想相面位置v，像面位置变化为：f+ε ↔ε为焦深，f为焦距，Δz为调焦量程。

图4 外场光学设备调焦范围示意图Fig.4 Diagram of optical equipment focusing field range

于是，像面调整量程 Δz为

大口径光学设备外场使用时，物距远大于焦距，即u＞＞f，取u=N·f，N为一个大整数，对于大口径光学设备N＞＞600。于是有：

从式（46）可以看出：大口径设备的焦距长而焦深短，调焦步进电机的调整量程大。

4.2 图像离焦程度的爬山法判断方法

一幅图像是否存在离焦，需要通过图像处理判断，应用爬山法[2-5]判断图像离焦程度。

4.2.1 概略离焦量值寻找

以2 倍的焦深为步长，寻找最大可能离焦量值，也就是清晰度值最大时对应的假设离焦量，即概略离焦量值，过程如下：

1）取一些假想离焦量值ω1[i]={0,2π,4π,6π,···,2iπ,···,20π}，找到这幅图像的像元尺寸a。结合给定的设备的光学D、焦距f参数，对照这幅图像的像元尺寸a，代入相干传递函数计算式（25），分别得出11 个不同离焦量的相干传递函数Hc(ρ)，ρ为空间频率，并保存于计算机系统内存中。

2）取实时图像u(i,j)，作傅立叶变换变换，得到傅立叶谱U(Fx,Fy)。

3）将Hc(ρ)和U(ρ)代入式（42）、（43）、（44），计算得出11 个A(ω1(i))。找出11 个A(ω1(i))值中的最大值Amax(ω1(i)),对应的2iπ定义为2i0π，由2i0π 计算出离焦量δ0。如图5 所示。

图5 图像离焦程度的自动判断方框图Fig.5 Block diagram of automatic judgement for image defocus degree

4.2.2 精细离焦量值寻找

以小于1 倍的焦深为步长，寻找最大可能离焦量值。此时，找到的清晰度值最大时对应的假想离焦量，即精细离焦量值。

1）计算邻域离焦量清晰度值

以2i0π±π 分别为假想离焦量值，代入（43）和（44）式，分别计算A(2i0π+π)和A(2i0π-π)两个清晰度值。

2）比较邻域离焦量清晰度值

比较A(2i0π+π)和A(2i0π-π)的大小。若A(2i0π+π)＞A(2i0π-π)，则在2i0π～2i0π+π 之间选择7 个点，计算A(2i0π+π/8)、A(2i0π+π/4)、A(2i0π+3π/8)、A(2i0π+π/2)、A(2i0π+5π/8)、A(2i0π+3π/4)、A(2i0π+7π/8)中的最大值，找到对应的离焦量值；若A(2i0π+π)＜A(2i0π-π)，则在2i0π～2i0π-π 之间选择7个点，计算A(2i0π-π/8)、A(2i0π-π/4)、A(2i0π-3π/8)、A(2i0ππ/2)、A(2i0π-π/8)、A(2i0π-3π/4)、A(2i0π-7π/8)中的最大值，找出对应的离焦量值。

3）若清晰度最大值对应的离焦量δ0≤Δz（焦深），则图像不存在离焦问题。

4.3 离焦方向的判断方法

从光轴上光场分布（12）式可以得出，随着离焦量ω1的变化，存在多个极大值点，ω1=0 处为0 级极大点，ω1=±6π 处为1 级极大点，级数越大，峰值越小。因此，在当前的像面位置的邻域寻找到的极大值点，不一定是最清晰位置。

为了兼顾实时性、调焦精度，我们利用图像复原信息判断图像离焦的方向，如图6 所示，针对具有一定尺度的目标离焦模糊图像，依据图像复原处理前后的散斑面积大小变化来分析，复原后，目标区域面积变大，说明为负离焦，向远离镜头的方向运动；复原后，目标区域面积变小，说明为正离焦，向靠近镜头的方向运动。

图6 离焦方向的判断示意图Fig.6 Diagram of judgement for defocus direction

5 实验结果

以某光学成像设备的外场实验图片复原为例进行实验，说明复原过程成像效果。

5.1 输入参数

选择光学摄像机的镜头口径D=27.5 mm，焦距为f=143 mm，感光波段为可见光（平均波长为λ=0.55 μm），单像元尺度b=10 μm，像距v≈f=143 mm。将已知参数代入（18）式，得ω0=3.5π；代入（16）式，得焦深ε=±55λ=±30.29 μm；代入（27）式，得衍射极限频率ρ0=349 lp/mm。

5.2 计算原图的傅里叶变化图

光学摄像机在离焦状态下拍摄的图片，如图7（a）所示，取像元数为400×400，作傅里叶变换，得到傅里叶频谱图见图7（b）所示。

图7 原图与傅里叶频谱图Fig.7 Original image and its Fourier spectrum image

5.3 计算光学系统不同离焦量的点扩散函数曲线

选择不同的假想离焦量，代入（10）式，计算光学系统不同离焦量的点扩散函数曲线。如图8 所示：（a）为离焦量δ=0 时的焦面上的点像衍射图像的径向分布曲线；（b）为离焦量δ=ε（1 倍焦深），ω1=π 时的焦面上的点像衍射图像的径向分布曲线；（c）为离焦量δ=2ε（2 倍焦深），当ω1=2π 时的焦面上的点像衍射图像的径向分布曲线；（d）为离焦量δ=4ε（4 倍焦深），ω1=4π 时的焦面上的点像衍射图像的径向分布曲线。可以看出，离焦量越大，点像弥散越大。离焦量接近4 倍焦深时，图像中心点光强接近0，图像反相分布。

图8 不同离焦量的点扩散函数曲线Fig.8 Point-spread function curves of varied defocus distance

5.4 计算传递函数函数曲线

以相对孔径为D/f=0.2 选择不同离焦量δ，代入（33）式，计算传递函数函数曲线，图9 为不同离焦量的传递函数图：（a）为离焦量为0 时的传递函数图；(b)为离焦量为400 个波长时的传递函数；(c)为离焦量为1 600 个波长时的传递函数；(d)为离焦量为4 000 个波长时的传递函数。可以看出，离焦量越大，曲线越抖，截止频率越低。

5.5 判断图像的离焦程度

依据4.2 节的爬山法，选择在1.8π～2.2π 之间每隔0.02π 变化假想离焦量值，得出相干传递函数的实部与虚部，代入（43）式，对图像相干复原处理得到的x方向清晰度Ac值见图10（a）曲线，发现在1.86π～1.94π 之间Ac值比较大。

为了进一步得到精确离焦量值，在1.86π～1.94π 之间每隔0.02π 变化假想离焦量值，得出相干传递函数的实部与虚部，代入（43）式，对图像复原处理得到的x方向清晰度Ac值见图10（b）曲线，可以看出，离焦量在1.87π～1.88π 之间，清晰度取得最大值。

5.6 图像复原

取假想离焦量ω1=1.875π，代入（33）式建立离焦传递函数，依据（38）式、（39）式，对离焦模糊图像图11(a)进行复原，得到复原图见图11（b）所示。

分别计算复原前后的图11(a)和图11（b）的清晰度值、最大灰度等级、最小灰度等级，并进行比较。将图11(a)和图11（b）的傅里叶变化图代入（40）式中计算，图像的清晰度值结果见表1 所示。

从表1 中可以看出，以离焦量ω1=1.875π 建立点扩散函数和传递函数，对模糊图像进行复原，复原前后图像统计结果为：复原前图像的清晰度计算结果为221，复原后图像的清晰度计算结果为598；复原前图像的最大灰度等级结果为111，复原后图像的最大灰度等级结果为181；复原前图像的最小灰度等级结果为13，复原后图像的最小灰度等级结果为5；由此可得出以下结论：

1）离焦图像复原之后，清晰度得到提升；

2）离焦图像复原之后，调制对比度得到提升。

图9 不同离焦量的传递函数曲线Fig.9 Optical transfer function curves of varied defocus distance

图10 不同离焦量的清晰度值曲线Fig.10 Definition value curves of varied defocus distance

5.7 调焦方向及调焦量

将ω1=1.875π 代入(14)式得到离焦量δ=55.7 μm。从图11 可以得出，图像复原后，目标区域面积减小了，说明原图像为正离焦。故系统对焦时，传感器靶面应该向靠近镜头的方向运动55.7 μm。

5.8 对焦实时性分析比较

大口径光学设备的调焦全量程（≥12 mm）步进码不低于40 000 个。若采用手动全量程调整对焦，每手动改变几个码，需要留出时间以便人眼观察比较几幅图像，手动单向调整至少需要240 s，来回调整至少需要480 s。若采用计算机视觉调焦方法全量程调整对焦，步进电机每调整几个码，需要留出时间给计算机来比较几幅图像清晰度值，全量程单向调整至少需要60 s，来回调整至少需要120 s。

图11 原图与复原图Fig.11 Original image and its restore image

表1 图像复原前后的清晰度值Table 1 Definition values of original image and its restore image

本文的基于离焦图像复原的光学设备实时视频对焦方法，在主频2.8 GHz 的调焦系统工控机上试验，40 多个不同假设离焦量的点扩散函数线阵、相干光传递函数线阵、相干光传递函数线阵事前预先计算并存处于计算机内存中，计算实时调用用时不到100 μs；取图像目标区域的线阵（1×100）进行离散傅立叶变换，不到300 μs 时间；采用爬山法计算全量程的40 多个不同假设离焦量对目标区域的线阵的复原清晰度值，不到900 μs 时间；找出清晰度最大值对应的离焦量值需要200 μs；采用维纳逆滤波对原图像复原处理，提取原图像和复原图像的目标，分别计算目标面积并比较，得到离焦方向，需要4 ms；利用计算得到的离焦量大小和符号，驱动调焦机构直接到位，最多需要9 ms，如表2 所示。从表2 可以看出，实验总计耗时不超过15 ms。

表2 基于离焦图像复原的光学设备实时视频对焦方法的上机试验时间Table 2 Time-consuming of real-time video focusing method based on defocus image restoration

成像系统实时采集图像和输出图像频率为25 fps，留给计算机图像处理和实时调焦时间为20 ms。比较手动对焦法、计算机视觉调焦法、基于离焦图像复原的光学设备实时视频对焦法3 种方法的实时性结果，如表3 所示。可以看出:大口径光学设备若采用手动对焦法、计算机视觉调焦法，调焦过程中，图像会出现模糊现象，不能满足实时性要求。采用基于离焦图像复原的光学设备实时视频对焦法，调焦机构一步到位，调焦过程中图像一直保持清晰，能够满足实时性精准对焦要求。

表3 不同调焦方法的实时性结果比较Table 3 Comparison of real-time results of different focusing methods

6 结论

从光学镜头的成像原理出发，按照焦点附近光场变化规律和焦深变化范围，以一定的周期间隔选择某些离焦量值，推算离焦点扩散函数、相干光传递函数和非相干光传递函数，利用爬山法、逆滤波和离焦程度判断法，给出了寻找大口径光学设备拍摄目标时刻的最佳离焦量值和方向的方法，并对模糊图像给予了复原，图像的清晰度和调制对比度得到了提升。依据离焦量大小和方向，通过机械结构调整光学镜头焦面位置，实现大口径光学设备的实时精准对焦。最后，运用离焦模糊图像复原实验结果验证了方法的可行性，为解决大口径光学设备的外场使用中遇到的离焦模糊图像问题提供技术方法。在光学成像、计算机视觉及航天光学图像精密测量技术领域中具有重要的推广应用价值。