红外成像系统中自动对焦功能优化方法研究

杨瑞宇，吕 浩，龚晓霞，吴 诚，李学宽，苏 兰，范明国，尹敏杰，杜润来

红外成像系统中自动对焦功能优化方法研究

杨瑞宇，吕 浩，龚晓霞，吴 诚，李学宽，苏 兰，范明国，尹敏杰，杜润来

（昆明物理研究所，云南 昆明 650223）

为了在红外成像系统中实现高效的自动对焦功能，深入分析和讨论了红外成像系统中自动对焦功能的优化方法及特点。结合具体的工程化应用，提出了一种对图像清晰度评价函数局部随机起伏噪声的估计方法，该方法可以提高自动对焦功能的可靠性，通过将图像清晰度评价函数的灵敏度作为反馈量引入爬坡过程，优化了爬坡算法的收敛速度。其优化方法在工程应用中的实施效果，验证了设计的正确性，优化方法的有效性。

自动对焦；红外成像；图像清晰度评价函数；爬坡算法；自动对焦窗口

0 引言

红外成像技术作为光电成像技术的重要分支学科，其工程化的应用极大地拓展了人们的“视野”，成为了人类征服未知“漆黑”世界的一件“利器”。但受制于价格因素，目前阶段主要的应用，仍以军事运用背景为主，通常用于大型武器装备的侦查、稳瞄，或夜间导航，辅助驾驶等。在考虑到不增加红外系统复杂性前提下，基于数字图像信息处理的对焦深度自动对焦方法，成为了为一种高性价比、务实可行的自动对焦功能实现方案[1]。

采用基于数字图像信息处理的对焦深度方法，实现自动对焦功能，主要包含3个关键技术，一是清晰度评价函数，二是对焦窗口的选择，三是搜索算法。而自动对焦功能的优化实现过程，具体方法通常围绕着基于数字图像信息处理的对焦深度方法的3个关键技术而展开。

图像清晰度评价函数可分为多种，分别是灰度函数、频域函数、信息熵函数、统计学函数和基于边缘轮廓线提取函数等[2-5]。清晰度评价函数的选取应满足如下设计约束性要求：①有效性：运算得到的对焦位置要和实际的焦点位置表现出重合，而不是一个无关的位置；②单峰性：该函数在调焦的有效行程中有且仅有一个极值位置，对应着自动调焦的最优位置（或算法自身能剔除双峰或多峰带来的歧义）；③无偏性：该函数对不同目标背景有着类似的响应率分布（针对调焦行程），对不同目标背景计算得到的曲线要与场景的实际变化相吻合。选取的清晰度评价函数，应满足一定的性能要求：①高灵敏度：该函数要在峰值附近随焦距的变化表现出明显的数值变化，以方便确定峰值的位置；②高信噪比：该函数计算方法对图像噪声和目标背景的微小扰动的影响有一定抗干扰能力[5-6]。通过选择合理的对焦窗口可以降低评价函数运算量，剔除不同景深下对同一背景目标带来的影响[7]。对焦窗口的选择方案有：中央选择法、多区域选择法、黄金分割点位置法和神经算法等[8]。

搜索算法决定于控制系统，能否在自动对焦过程中，根据当前图像清晰度评价函数的值，控制焦距变化以快速收敛至最佳对焦位置。常用的对焦搜索算法有盲人爬坡法、穷举搜索法、Fibonacci搜索法、函数逼近法和黄金分割法等。具体实现应重点考虑如下3个要素：①合理初值的选取；②收敛的有效性；③高的收敛速度[9-10]。

大型武器装备中的红外成像系统中，视距通常是其系统功能追求的首要指标，但探测器往往匹配于复杂而笨重的光学成像机构，在此类红外成像系统中实现自动对焦功能，存在一定实施的困难。通常的具体表现有：视场变倍比大（调焦行程较长）、调焦结构载荷重（执行机构运动迟缓）、齐焦性能随温度漂移较大、和红外图像性噪比低等一系列特点，最终将导致自动对焦功能实时性能下降。本文针对上述红外成像系统的特点，通过研究自动对焦功能的关键技术，提出了一种基于数字图像信息处理的自动对焦深度优化方法，在某一型号无人机红外载荷自动对焦功能的实现过程中，通过成功率、精度和速度3个关键性能参数的测试和评价，验证了其优化方法的有效性。

1 自动对焦关键技术的优化

1.1 图像清晰度评价函数优化

清晰度评价函数提取方法有多种，其中基于边缘特性提取的方法有：常规的离散差分（differentiation）算子、基于微分的Prewitt算子、常规的梯度算子（gradient）、基于梯度的Roberts算子、Sigma算子和Sobel算子等。为了比较不同方法提取清晰度评价函数的效果，本文通过实验方法采集计算了上述算子计算得到的图像清晰度评价函数的实验数据，和与之对应的不同调焦位置的拟合曲线图，如图1所示。

在图1中，通过NI（National Instruments）公司的机器视觉软件，采样计算了某型号热像仪的上述6种不同算子得到的图像清晰度评价函数拟合曲线图，从图中我们不难发现其中的Sobel算子提取图像清晰度评价函数的拟合曲线较其他5条拟合曲线，相对平滑（局部噪声波动较小，图像清晰度评价函数拟合曲线的归一化均方根值较小），同时峰值绝对值较大（图像清晰度评价函数多项式拟合趋势图的峰值梯度），单调性较好（图像清晰度评价函数多项式拟合趋势图的平均梯度较大），见表1。在实际情况下，由于噪声的影响，对局部最大值与最小值的确定就存在较大的误差，从而导致图像细节模糊、不清晰。从图1的对比分析中我们可以得出结论：针对于实验中涉及的红外光电系统，上述的6种不同算子，Sobel算子更适合作为此红外成像系统中图像清晰度评价函数的提取方法。

图1 多种方法提取热像清晰度评价函数拟合曲线的比较图

在红外数字图像视频流处理过程中，合理选择提取图像清晰度的节点，是自动对焦功能优化方法的一个技术关键点。图2为某型号机载热像仪所拍摄得到的实物和经过数字滤波处理前后的图像及相应的图像清晰度评价函数（随焦距）曲线的对比图，其中图2(a)为某型号机载热像仪数字滤波处理前的图像场景图，该图有较多盲点，看起来较为模糊、清晰度较差；图2(b)为某型号机载热像仪数字滤波处理后的图像场景图，在图2(a)的基础上，我们引入了数字滤波处理，从处理前后的两幅对比图中可以很直观地看到，经过处理后的图像，剔除了原有图像中的较多盲点，整体提高了图像的质量和清晰度。

图2(c)和图2(d)为与2(a)和2(b)相对应的图像清晰度函数值拟合曲线，从图2(a)中可以明显看出，在该图中存在较多的高频椒盐噪声。结合该图我们来讨论椒盐噪声对图像清晰度函数（此处，定义为）的影响。对图2(c)和图2(d)进行认真观察和仔细比较后，可以发现2幅图像的清晰度函数值拟合曲线无论在形状上或者是整体趋势上变化均不大，主要的差异表现在于：图2(d)较图2(c)增加了一个相对固定的线性偏置分量。其结果是：由于图2(b)的椒盐噪声产生的线性偏置分量被滤除（或得以抑制），导致与之对应的曲线有较大相对变化率。

就上述情况，考虑到图像清晰度函数的灵敏度的影响，图2(b)较图2(a)更适合于自动对焦功能的实现。由此可见，在红外成像系统中为保证自动对焦功能的实现和性能的提升，往往更加期望一个“干净”（无噪声干扰）的场景。红外成像数字图像处理中，除了特有的非均匀校正算法和盲元替换算法，为了解决目标场景（或采样电路输入）与输出观瞄显示系统的动态范围不匹配的问题，往往还会引入一些非线性动态压缩和细节增强算法，此类非线性的处理，无疑将增加清晰度评价函数的选取违背自动对焦设计约束的风险（有效、单峰、无偏性）。兼顾考虑到其要求的性能参数：高性噪比和灵敏度，本文选择了经过非均匀校正，滤除图像本征的高频噪声，进行盲元替换后，实时直方图均衡前的视频流，作为图像清晰度评价函数的提取节点。本文所涉及红外成像视频的数据流图，如图3所示。

表1 多种图像清晰度评价函数计算方法的对比表

图2 热像数字滤波前后的图像及相应的图像清晰度评价函数的曲线

1.2 自适应的对焦窗口调整

动态自适应地选择对焦窗口，更有利于得到单峰的图像清晰度评价函数。假设F（取自然数，代表第次调焦的计数）为调焦过程中焦距相对位置序列，与之相对应的图像清晰度评价函数值，也记为D。本文涉及的具体工程实践中，通过细分子窗口，并根据图像清晰度评价函数调焦步长改变的变化量D（其中，D＝D－D－1），可以选择D较大的子窗口，作为清晰度评价函数计算中采样计算数据窗口，以实现本部分的设计方法的优化。如图4，如将中心窗口进一步细分16个子窗口，其中图4(c)和图4(d)，是图4(a)和图4(b)相对应图像，进行拉普拉斯滤波后的图像。在大视场情况下，不难发现子窗口W00，W01，W10，W30和W31对于图像清晰度评价函数的总体变化量的贡献量是有限的。此种情况下，选择计算的子窗口可以不包括上述子窗口；而在小视场情况下，情况则相反。所以，在自动对焦前或过程中动态、自适应地选取有效的对焦窗口，也是一种优化自动对焦功能的有效方法。

1.3 噪声的估计和爬坡算法的优化

爬坡算法的优化，一直是红外成像系统中实现自动对焦技术的难点和研究热点。近年来，林忠、王剑华和何炳阳等人提出了“两次下降爬坡算法”[2]，“变调焦步进的爬坡算法”[10]和“自适应的自动对焦算法”[1]，其要解决的问题是如何使爬坡算法能克服局部峰值，但大多数算法通常是增加了爬坡算法的冗余度（可能降低算法收敛速度）或加强了算法实现约束的条件[11]，在具体工程应用的情况中，也存在一定的实现难度。本文在某型号无人机红外观瞄热像系统的工程化实现中，设计如下自动对焦技术的优化方法，以实现上述方法。

图3 红外成像视频的数据流图

图4 热像的图像清晰度评价函数中心窗口细分的示意图

1.3.1 图像清晰度评价函数噪声的估计

通过对图像清晰度评价函数噪声合理估计，加强了快速爬坡搜索算法反向或结束的约束条件，可以提高算法的精度和可靠性。其理论方法简述如下：对于一个前期经过滤波的、稳定的数字成像系统，我们可以将其近似地看做，一个以目标场景为输入，图像清晰度评价函数为输出的一个惯性系统，目标场景输入如果是一个平稳随机过程，其输出也应该是一个平稳随机过程，显然大多数连续，慢速变化场景的成像系统满足上述条件。由于系统存在微小的震动、背景噪声或计算误差，图像清晰度评价函数采样值表示为¢＝＋N，其中N定义图像清晰度评价函数局部起伏波动的噪声，区别于数字图像的本征噪声，表示一个局部平滑的图像清晰度评价函数。

一个实际的图像清晰度评价函数曲线可由两者的叠加来表示。在自动对焦前或后的过程中，图像清晰度评价函数值通常是一个随视频同步信号同步采样计算值系列¢[]，显然，我们可以根据采样序列¢[]的均值或高阶项来估计局部噪声N（局部峰值）的大小。例如，在噪声高斯分布情况下，通过¢[]的序列计算，我们可以得到N均值和方差，例如，将噪声绝对值的最大值区间估计为{－3,＋3}（不同的系统，可更具不同的应用需求或置信度要求，合理调整估计区间），将得到一个大约99.74%的置信空间（其中，置信度={|N－|≤3}≈0.9974）。

若将爬坡算法由D¢-1＜D¢＞D¢+1，再加强一个条件：D¢=＋3，（其中D¢＝|D¢－D－1¢|），满足此条件下爬坡过程有效，则爬坡的过程，就可以跳出图像清晰度评价函数局部噪声峰峰值的区间（噪声阈值）完成算法，并有99.74%置信度保证其结果的有效性。

在本文的具体设计中，将涉及实现自动对焦功能实现的软件功能模块，部署于成像系统中进行图像处理的FPGA内部，其中嵌入了一个32位MCU软核处理器。上述软硬件架构，有较强的计算和图像处理能力，更有利于保证自动对焦功能实时性能的实现。考虑到自动对焦技术对于红外场景适应的多样性，实际应用要求N能自适应地调整和估计，本文构建了一个输入¢[]、最小均方误差N为设计约束的自适应数字滤波器，可实现对N的估计。在自动调焦前，固定的场景属于平稳随机过程，滤波器类似于维纳滤波器结构的数字滤波器，以N最小均方误差准则构建数字滤波器，估计量记为N，并以当前数字滤波器参数作为滤波器的初始值。当调焦机构在自动调焦功能工作模式下，输入变化为非平稳随机过程，滤波器进化为一个类似于卡尔曼滤波器结构的自适应数字滤波器，并实时调整滤波器序数矩阵的参数值，而得以实现上述自适应功能。采用上述的设计优化方法，额外带来的一个好处是，确定了算法的有效性的置信度后，也就确定图像清晰度评价函数局部噪声阈值区间。若定义调焦步长为D，最小步长（表示为MIN(D)，其中，D＝F－F－1）也可以确定，即自动调焦最小步长选取应大于等于，引起图像清晰度评价函数最小的改变量：＋3。

为了验证上述设计的正确性，分别在实施策略前后，各取1000次实验样本空间来验证设计的准确性和可行性，在1000次红外成像系统自动对焦实验中详细记录每次对焦清晰的次数。在红外成像系统未引入策略实施前，在1000次实验样本中，其中有916次执行完成自动对焦后，并达到清晰位置（命中），另外84次完成对焦后不能达到清晰位置（未命中），成功命中率为91.6%；在成功引入策略实施后，在1000次有实验样本中有982次执行完成自动对焦后达到清晰位置，只有18次完成对焦后不能达到清晰位置，成功命中率为98.2%。由此可见，在实施本文设计策略后，自动对焦的成功命中率提高了6.6个百分点，实验数据结果证明了本文针对红外成像系统所采用的策略设计准确、可靠。该策略的实施，将有效地抑制图像清晰度评价函数的噪声，并大幅提升自动对焦功能的成功命中率。

1.3.2 爬坡算法中反馈量的引入

若将S＝(D¢－D－1¢)/(D¢×(F－－1))，作为图像清晰度评价函数归一化后，相对焦距的变化量近似值引入，定义为灵敏度（图像清晰度评价函数随调焦变化量的敏感度），并以此作为爬坡算法的反馈量，将有利于爬坡算法的收敛。S及其高阶项也可用于估计爬坡搜索算法的步进步长，有利于算法的快速收敛。例如，在本文具体设计中，当D＞5(＋3)（即D远大于(＋3)）时，可取D＞((D－－3)×D¢/S)对D进行估计，当D不满足上述条件时，最小调焦步长的估计为；DMIN＝((＋3)×D¢/S)，实际的最小调焦步长应大于此估计值。

以实验验证上述的优化方法，分别在实施策略前后，取1000次实验样本空间，以平均迭代次数考察算法的收敛速度。实施前，爬坡算法平均迭代次数为7；实施后，爬坡算法平均迭代次数为5。实验表明，上述设计方法有利于爬坡算法的收敛。

1.3.3 分段标定并压缩对焦搜索的范围

本文涉及的红外成像系统应用于军用背景，要求有较宽的工作温度范围，较大视场变倍比，于是要求与之匹配的光学调焦系统也具有相应较长的调焦行程。同时考虑到红外成像光学系统的齐焦性随温度漂移较大，其温度漂移特性大多稳定的特点，如果在自动对焦前，通过实验方法，根据系统应用要求的实际景深，可分段标定其在各种温度的焦深，就能有效压缩自动对焦搜索的有效行程，以提高自动对焦功能的实时性能。通过实验来验证分区的有效性，具体实施方法如下，结合红外非均匀校正中两点校正的参数标定方法，将设备的全温工作范围（－50℃～＋70℃）化分为7个温区，压缩后的自动对焦搜索范围与全温范围的对比示意如图5所示，试验数据如表2所示。在本实验方案中，调焦系统全温调焦行程总长为15mm，最小调焦步进20mm。未分段前，系统每次自动对焦都将在0～15mm的调焦行程中遍历一遍，从而确定最佳调焦点；压缩对焦后最长的自动对焦搜索范围（比如温区6）比全温搜索范围大概压缩了60%的长度，效率就提高了60%以上，在实际工作中，系统每次对焦之前会读取系统当前的环境温度，根据不同的温度，在自动对焦时选择不同的温区进行对焦。在本次试验过程中，我们同样取1000次有效实验样本来进行实际测试。

图5 温区分段压缩后的搜索范围与全温的搜索范围对比示意图

通过自动对焦系统实施压缩对焦策略前后的实验数据分析，当系统采用了压缩对焦策略之后，系统在全温度范围内自动对焦的有效时长从2.6s提高到1.2s，自动对焦的速度提高了1.16倍。

分段标定压缩的自动对焦搜索范围的方法，能大幅地压缩自动对焦搜索范围，以提高其功能实时性。但其适用的条件也是有一定约束限制的。其一，该设计策略主要适用于更宽的温度工作范围，存在温度有较大漂移的成像系统；其二，其方法有效性和效率与成像系统的应用要求密切相关，例如本文设计的红外成像系统运用于无人机的观瞄和导航，其飞行高度很大程度将决定了有效的景深范围，自然分段压缩后的自动调焦搜索范围将有大幅的压缩；其三，其方法策略是针对于红外成像系统的齐焦性随温度漂移较大的特点而提出的，其更适用于多视场、大变倍比、长焦距调焦行程的红外成像系统。

2 结论

本文在某型号无人机机载红外热像仪的工程化应用中，采用了上述优化方法进行了自动对焦功能设计，其应用效果验证了优化方法的有效性。本方法除了能有效提高图像清晰度评价函数的信噪比、灵敏度、有效性，还能通过温区标定的方法压缩自动对焦搜索范围，优化爬坡搜索算法的收敛速度，提升自动对焦实时性能。然而，本文对自动对焦技术在红外成像系统中设计的优化方法，更多地局限于软件算法的思想。实际应用中，作为红外成像的光机要素，诸如红外探测器的性能，调焦伺服机构运动速度、精度，及光学设计的集成度等方面，仍然是制约自动对焦的技术瓶颈。期待随其相关硬件工艺及其综合制造能力的提升，红外成像系统中的自动对焦技术，将取得更为普遍而高效的应用。

表2 实施策略前后自动调焦平均用时对比表

[1] 何炳阳, 张智诠, 杨秋实, 等. 热成像系统自适应自动对焦算法[J]. 激光与红外, 2017, 47(10): 1199-1263.

HE Bingyang, ZHANG Zhiquan, YANG Qiushi, et al. Adaptive auto-focusing algorithm of thermal imaging system[J]., 2017, 47(10): 1199-1263.

[2] 林忠, 黄陈蓉, 卢阿丽. 自动对焦综合性能指标及一种基于双向两次下降的自动对焦算法[J]. 科学技术与工程, 2015, 15(32): 175-180.

LIN Zhong, HUANG Chenrong, LU Ali. Auto-focus compressive performance evaluation and an auto-focus algorithm based on two-way twice descent[J]., 2015, 15(32): 175-180.

[3] 郝争辉, 张学松, 王高, 等. 基于边缘轮廓线提取的自动对焦评价函数[J]. 红外技术, 2018, 40(2): 170-175.

HAO Zhenghui, ZHANG Xuesong, WANG Gao, et al. Auto focusing evaluation function based on edge contour extraction[J]., 2018, 40(2): 170-175.

[4] 王烨茹, 冯华君, 徐之海, 等. 一种覆盖范围可调的变频梯度自动对焦评价函数[J]. 红外与激发工程, 2016, 45(10): 258-263.

WANG Yeru, FENG Huajun, XU Zhihai, et al. An adjustable coverage range autofocus evaluation function using gradient operator with variable frequency[J]., 2016, 45(10): 258-263.

[5] 尤玉虎, 刘通, 刘佳文. 基于图像处理的自动对焦技术综述[J]. 激光与红外, 2013, 43(2): 132-136.

YOU Yuhu, LIU Tong, LIU Jiawen. Survey of the auto—focus methods based on image processing[J]., 2013, 43(2): 132-136.

[6] 李少华. 红外成像系统自动调焦功能的设计与实现[D]. 武汉: 华中科技大学, 2013.

LI Shaohua. Design & Realization of Auto-focusing in FPGA-based Infrared Imaging System[D]. Wuhan: Huazhong University of Science & Technology, 2013.

[7] 王红伟, 王加庆, 吴南健. 基于高速视觉目标跟踪系统的自动调焦算法的设计[J]. 光电系统, 2018, 39(5): 716-721.

WANG Hongwei，WANG Jiaqing, WU Nanjian. Design of automatix focusing algorithm based on high speed vision object tracking system[J]., 2018, 39(5): 716-721.

[8] 马宣. 能够自动对焦的红外成像系统软件的设计[D]. 成都: 电子科技大学, 2014.

MA Xuan. The Design of an Auto-Focusing Infrared Imaging System[D]. Chengdu: University of Electronic Science and Technology of China 2014.

[9] 王建瑞, 邓华秋, 陈参宁. 基于红外图像的自动调焦技术[J]. 光电技术应用, 2018, 33(3): 1-5.

WANG Jianrui. Auto focusing technology based on infrared image[J]., 2018, 33(3): 1-5.

[10] 王剑华, 邓华秋, 陈参宁. 数字自动对焦中的搜索算法研究[J]. 传感器与微系统, 2012, 31(5): 51-54.

WANG Jianhua, DENG Huaqiu, CHEN Canning. Research on search algorithm for digital auto-focus[J]., 2012, 31(5): 51-54.

[11] HE J, ZHOU R, HONG Z. Modified fast climbing search auto-focus algorithm with adaptive step size searching technique for digital camera[J]., 2003, 49(2): 257-262.

Optimizing Method of Autofocusing Function in Infrared Imaging System

YANG Ruiyu，LYU Hao，GONG Xiaoxia，WU Cheng，LI Xuekuan，SU Lan，FAN Mingguo，YIN Minjie，DU Runlai

(,650223,)

In order to realize high efficiency auto focusing function in infrared imaging system, the characteristics of infrared imaging systems are analyzed. The optimization methods of auto-focusing functions in infrared imaging systems are discussed and summarized. Combined with practical engineering applications, a method for estimating the local random fluctuation noise of the image sharpness evaluation function is proposed. The method improves the reliability of automatic focusing processes. By introducing the sensitivity of image sharpness evaluation function as feedback into the climbing process, the convergence speed of the climbing algorithm can be optimized. The optimization methods were applied to engineering applications, and its implementation verified the correctness of the design and the effectiveness of the optimization methods.

auto-focusing, infrared imaging system, image sharpness evaluation function, mountain-climb searching algorithm, focus window

TP751

A

1001-8891(2020)10-0940-07

2020-07-21；

2020-08-21.

杨瑞宇（1977-），男，云南昭通人，硕士，高级工程师，主要从事红外图像处理技术方面的研究工作。E-mail：yangruiyu@aliyun.com。