室外环境中的关联成像研究进展*

常宸 孙帅 杜隆坤 聂镇武 何林贵 张翼 陈鹏 鲍可 刘伟涛†

1) (国防科技大学理学院,量子信息研究所,长沙 410073)

2) (国防科技大学,量子信息学科交叉中心,长沙 410073)

3) (国防科技大学,湖南省量子信息机理与技术重点实验室,长沙 410073)

光学成像是人类不可或缺的信息获取方式之一,其在预警侦察、精确制导、交通运输和工业生产等军用和民用领域发挥着不可替代的作用.在室外环境中,由于背景光、杂散光和大气介质的影响,光学成像的分辨率、信噪比和作用距离等受到限制.近年来,在光学、物理、信息论及计算机等多学科的交叉融合发展的支撑下,新型光学成像技术不断涌现,为发展远距离、大视场、高信息通量的室外光学成像带来新的契机.关联成像作为新型主动成像技术之一,具有高灵敏、抗干扰、信息并行获取等特点,能够较好地应对室外光学成像中所面临的如远距离导致光功率急剧衰减、环境噪声干扰引起的低信噪比等问题,并能在一定程度上减少散射、湍流等导致的图像模糊等问题,是当前室外环境中光学成像的热门研究领域之一.本文从光学成像原理出发,分析室外环境中光学成像分辨率、信噪比、空间带宽积和成像距离的影响因素,重点介绍和梳理室外关联成像在成像系统、信噪甄别技术和成像算法等方面的研究进展,并浅析光学成像向更远距离、更广视场拓展的过程中需要研究的基础问题和待攻克的关键技术.

1 引言

成像是指将客观景物转变为图像的过程,是人类认识、改造世界的过程中不可或缺的工具.从冷冻电镜细分蛋白分子结构到韦伯望远镜巡查宇宙瑰丽场景,从飞秒脉冲测量超快过程到延迟摄影记录白云苍狗,再从激光雷达助力自动驾驶到超声波图像洞察体内组织,成像技术的进步在不断拓展人类的认知边界,服务人类的生产生活,并在医学诊断、智能制造、资源普查、环境保护和国防安全等领域发挥着关键性的支撑作用.

在成像过程中,待成像物景反射、透射或辐射电磁波、声波或物质波等信息载体,信息载体在介质中传播后被探测并解译,进而在物景以外的时空点记录、恢复或再现物景图像.根据信息载体的时空二元性,成像可以分为时间域成像和空间域成像.在空间域成像中,根据信息载体所编码自由度的不同,成像可以分为相位成像、强度成像、复振幅成像和偏振成像等.根据信息载体的不同,成像又分为声波成像、物质波成像(电子成像[1]、质子成像[2-4]等)、电磁波谱段成像(微波成像[5-7]、THz成像[8-10]、红外成像[11]、可见光成像、紫外成像[12]等),以及近年来出现的光声成像[13,14]、微波光子成像[15,16]等.根据探测手段和图像信息域的不同,成像还可以分为空间域成像、傅里叶域成像等.其中光学成像是指以光波为载体,利用成像系统和光电探测再现、恢复或重构物景图像.由于图像提供的信息丰富且直观,光学成像在天基遥感、地球测绘、预警侦察、自动驾驶等关系国计民生的重要领域中发挥着不可替代的作用.

在室外环境中,弱回波、强噪声,大气扰动等不利因素是各类光学成像手段所面临的共同挑战.待成像场景通常较为复杂,场景中物体以反射式物体为主,其材料、结构、形状多变,反射回波往往较弱.此外,由于成像距离较远,大气介质对光的吸收与扩散进一步扩大了弱回波的难题.较弱的回波通常携载了丰富物景的信息,这好比“小马(弱回波)拉大车(大信息量)”,图像恢复难度较大,并且这个问题将随着成像距离的提升变得愈发困难.同时,在室外环境中,来自其他目标或辐射体的杂散光不可避免,常常降低目标回波信噪比.此外,光在大气介质中传播时的波前畸变也会导致目标空间信息混叠,图像对比度和分辨率的退化严重.总而言之,要在远距离、广视域、强干扰、低信噪比和复杂场景条件下实时地获取大视场、高分辨、细节丰富的场景图像,这对成像系统的灵敏度、抗噪性能、空间带宽积、鲁棒性都有极高的要求.

关联成像,是一种起源于量子纠缠的主动成像技术,利用光场二阶相干性对物体的图像进行重构.和传统的光学成像不同,关联成像技术具有高灵敏、抗干扰、无透镜成像、多维信息并行获取等潜在优势,因此具备弱回波探测、低信噪比成像、突破分辨率极限等潜能,从而实现远距离成像.本文以室外环境中的光学成像为引,从成像理论、光源、算法等角度对室外关联成像的研究进展介绍,并对这一成像技术进行进一步的探讨与展望.

2 室外环境中的光学成像

2.1 光学成像的物理基础

光学成像的过程可以简化为: 基于包括光源、光学系统与探测装置等的成像系统,对目标辐射或反(透)射光子进行探测与记录,建立物像之间的“点对点”映射,以此重现或恢复目标信息.以高斯成像系统为例,目标各点自发辐射或反(透)射的光子经由透镜后被光电探测器记录.在这一过程中,根据单光子干涉的理论,任意光子仅与自己发生干涉.物体各点处光子在达到像面后,经过相同的光程而在像点处发生相长干涉,在其他点发生相消干涉.大量光子在干涉面积内非相干叠加,经系综平均形成规则艾里斑.物体上光强越强的点,单位时间内反(透)的光子数越多,形成的艾里斑也越亮,由此完成物面与像面点对点映射关系的建立.此外,这一映射关系也可通过算法恢复重构.例如,在共聚焦成像中,点对点(斑)映射直接通过光场通过光学系统后的一阶干涉实现.再如,散射成像中,点扩展函数是随机散斑,点对点映射可以通过算法恢复.

光学成像的构型如图1 所示.目标物体反射(自身辐射的光场)通过光学系统到达探测器,光场信息经过光电转换最终由计算机记录或恢复图像信息.同时,计算机控制光学系统和探测模块参数,使获得的图像质量更优.在主动光学成像中,光场调控和光子态的制备通常也需要计算机的控制和优化.因此,成像实验所需的技术包括光源模块技术,光路设计和搭建,光场信号探测以及图像信息解译等.

图1 光学成像构型示意图Fig.1.Schematic of optical imaging configuration.

在光学系统中,光源的强度、波长、类型等决定了成像过程中能够用于传递物体信息的光子数及其所传递信息的类型,间接影响着光学系统、探测器以及成像算法的选取与应用.光学系统在光传播过程中往往起着调整、约束光子的作用,使物像间满足成像关系的同时能有效提高光子的利用效率,进而提高信号的信噪比.此外,光学系统与工作波长共同决定了成像结果的光学分辨率.探测器负责记录光子的分布,其灵敏度、探测效率、探测噪声等影响着成像信噪比、成像视场与图像分辨率,在需进行多次测量的成像过程中,探测器的响应速率也决定了成像速率.对于部分光学成像过程,算法主要起到图像优化的作用,通过对成像环境、重构图像等的分析选取合适的优化算法,能够进一步提升成像质量.而对于散射成像或关联成像等,利用算法进行图像重构则是从探测器返回数据中反解物体信息必不可少的步骤,算法的性能直接决定着图像重构的速率、重构图像的质量.

2.2 光学成像的像质要素

在对成像系统的性能进行定量评价时,可靠的像质评价指标不可或缺.在此我们对成像相关研究中所常见的像质评价指标,包括分辨率、信噪比、对比度等进行简单的介绍.

成像分辨率成像分辨率是对图像细节分辨能力的衡量.成像系统的分辨率主要包括光学分辨率(衍射极限)与图像分辨率(像素尺寸).二者共同成为光学成像系统空间分辨率的制约因素.

光学分辨率是指通常指在衍射的影响下,物体上两点间能被区分开的最小距离.限制成像过程中光学分辨率的因素主要包括两个方面,其一为光学系统的孔径尺寸;其二为观察样本所用光源的波长.在表征光学分辨率时,通常需要考虑3 个物理概念: “艾里斑”、“瑞利判据”、“阿贝衍射极限”.“艾里斑”是指通过一定尺寸的光学系统时,由于衍射现象导致的多个亮暗相间的同心环,其中心为点状光斑.“艾里斑”之间能否互相区分,决定着图像中物体各点能否互相区分,即Rayleigh[17]于1896 年提出的“瑞利判据”理论:

其中,DAiry为艾里斑的直径,λ为光的波长,f为焦距,D为通光孔径,NA=D/(2f),即为数值孔径,数值孔径NA为量纲为一的量,通常用于表示镜头收光能力的强弱,进而决定了系统的光学分辨率.值得说明的是,瑞利判据严格意义上并不是一个基本的物理定律,而是一个有些主观定义的值.

1873 年,Abbe[18]提出了著名的阿贝成像原理,其显式地将成像过程分为两步,即分频与合成.成像系统对分辨率的限制作用就体现在频谱面的低通滤波效应,其所对应的最小可分辨间距为

这就是频域角度出发,得到的“阿贝衍射极限”.

如图2 所示,“艾里斑、瑞利判据”与“阿贝衍射极限”分别从不同的角度衡量了成像系统的分辨能力.

图2 艾里斑、瑞利衍射以及阿贝衍射极限[19]Fig.2.Limit of Airy disk,Rayleigh diffraction and Abbe diffraction[19].

在关联成像中,成像分辨率还可对应于光场自相关所得单峰函数的半高全宽.与传统成像所不同,关联成像是基于光场间的高阶关联获取重构图像,其重构图像中物体上两点能否分辨不再仅取决于光学系统,更多地是由照明光场其自身的性质所决定.照明光场中,相邻像素间的相关性决定了区分重构图像中相邻各点间的难以程度.显然,当光场中相邻像素间的相关性越高,重构图像中相邻点也越难以区分,此时光场自相关函数的半高全宽越宽.

图像分辨率,又称像素分辨率,表述了图像中对于物体细节的呈现能力,由单位图像(或探测器阵列)内像素点数决定.随着光电数字化的发展,图像需要通过图像传感器件进行数字化离散采样和记录.因此,光电探测器件的图像分辨率成为了光学分辨率外制约系统空间分辨率的另一大因素.在对光学图像进行离散化采样的过程中,在每个采样点上,局部区域内的辐照度被积分并被图像传感器所记录.由香农-奈奎斯特采样定理可得,采样间距必须大于信号中最高频率分量的两倍.对于光学图像来说,当探测器像素尺寸间距过大,或采样过于稀疏时,像素中的信息发生混叠,造成图像分辨率的下降.

信噪比(signal-to-noise ratio,SNR)在光学成像中,由于成像过程可分为数据采集与图像重构,相应地将信噪比分为信号的信噪比与图像的信噪比.前者是指所采集数据中信号光与噪声光的能量或功率之比,可用于定性评估系统的成像能力,后者是指系统所得重构图像中目标与背景噪声能量/功率之比,可用于定量评价系统的成像质量.光子是光学成像系统中的信息载体.被探测的信号光子数越少,光学系统可解耦的信息量越少.在光子通量有限的情况下,噪声会严重影响信息的解耦,具体表现为图像的信噪比极低、信息缺失、甚至无法成像.

在信号信噪比中,噪声光包括环境中非目标反(透)射的杂散光、探测器测量及信号传输过程中产生的散粒噪声与测量噪声等.由此可得信号的信噪比为

其中Np为光子数; QE 为探测器的量子效率;Ns,Ne和Nd分别为散粒噪声、环境噪声和探测器噪声.所以如何提高探测器的灵敏度,降低探测器的测量噪声成为了光学成像中的一个重要课题.

对于图像信噪比,我们将其中感兴趣区域(region of interest,ROI)像素的理想值视为图像中的信号真值,其与实际重构图像的差异视为噪声,此时可以定义图像信噪比为

其中〈S〉为信号均值,〈N〉为噪声均值,SDimg为图像的标准差.一般来说,信号的信噪比越高,得到的图像信噪比就越高.如何准确甄别信号与噪声、最大程度上抑制噪声也是一项极具挑战性的研究工作.相对其他像质评价指标,信噪比是相关研究中最为常用的评价指标.

图像对比度(contrast)对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的差异.差异范围越大代表对比越强烈,差异范围越小代表对比越小.常用的韦伯对比度表达式为

其中,S1为物体的亮度,S2为背景的整体亮度.韦伯对比度表示在同种刺激下,人感受到的刺激的动态范围正比于标准刺激的强度.另有Michelson 对比度:

其和韦伯对比度有异曲同工之处.

对比度也是图像质量的一种衡量方式.即使具有相同的信噪比,但依然可能具有不同的对比度,并呈现出较大的视觉差异.

图像衬噪比(contrast-to-noise ratio,CNR)与图像信噪比相似,CNR 是一类用于评价图像中信号与背景噪声差异的评价指标.关联成像特别是赝热光关联成像中,由于其原理决定即使无噪声情况下图像中非信号区域也会得到非零取值,因此通常将相应的背景项扣除后再对信号与噪声进行比较.即定义图像衬噪比CNR 为

其中To指重构图像中的目标区域,Tb指重构图像中的背景区域.

结构相似性(structural similarity index measure,SSIM)从图像的亮度、对比度及结构等角度评估了重构图像与实际物体间的相似性.其公式较为复杂,在此不再列出.由于SSIM 计算结果取值范围固定为0–1 (分别代表两张图像完全不同与完全相同),因此该指标能够直观地表现重构图像质量.但在SSIM 中,并未区分重构图像中的“信号”与“背景”,故而在成像目标占视场尺寸较小时,其评价结果更多地集中于对“背景区域”的评价,无法很好地反映图像中目标物体的重构情况.

图3 中以一张关联成像实验中所得的重构图像为基础,计算了其图像信噪比、对比度、衬噪比与结构相似性.图3(a)为参考图像,图3(b)和图3(c)分别为以涨落关联、差分关联算法所得的重构图像.所得的评价结果为: 对于图3(b),SNR 为4.02,CNR 为2.79,对比度为0.15,SSIM 为0.09;对于图3(c),SNR 为2.39,CNR 为1.51,对比度为0.11,SSIM 为0.05;

图3 (a)理想图像;(b)涨落关联重构图像;(c)差分关联重构图像Fig.3.(a) Ideal image;(b) reconstructed image by fluctuation correlation;(c) reconstructed image by differential ghost imaging.

2.3 室外环境对光学成像的影响

与室内环境相比,室外环境对光学成像的影响主要体现在弱回波、强噪声、环境影响等方面.

弱回波在传输过程中,受大气中组分的影响,不同波段的光波均会产生一定程度的衰减.对于可见光波段,由氮分子与氧分子所引起的瑞利散射不容忽视,大气中某些原子的共振吸收也将进一步导致可见光波段的衰减.对于红外波段,分子的带吸收是其衰减的重要原因.此外,由气溶胶颗粒所导致的米氏散射也将导致光波能量的急剧衰减.同时,光波在传输过程中将不可避免地发生扩散.根据激光雷达公式可知,探测器所接收光的功率与距离四次方成反比.

此外,在室外环境中成像目标多为反射式目标.与反射式目标相比,透射式目标的回波信号并未经过吸收或反射,其扩散角度与单位面积内光强可近似视为未受物体影响.而当目标为反射式目标时,回波信号是由目标表面对光波的反射形成,这一过程中物体表面将会发生对光波的吸收与反射,能量损失无可避免.与此同时,目标的粗糙表面或反射角度将会加剧光波的扩散现象,进一步加剧回波能量的衰减.综合而言,对于反射式目标,其材料性质、反射类型、反射角度等因素决定了可收集的回波远远小于照射信号,进一步恶化了室外环境中光学成像所面临的弱回波问题.

强噪声在光学成像中,背景光、散射光等会带来很强的噪声.面对噪声的干扰,常见的滤波降噪手段包括频率滤波、时域滤波或空间滤波等.在室外环境中,日光覆盖了绝大多数光学成像所用的波段,目标周边环境的反射光与目标回波具有相似的特征.而在主动成像体系中,散射介质引起的后向散射噪声与目标回波仅在时域上有着一定的区分.对于此类环境光噪声,难以借助单一的滤波手段进行有效地降噪,同时也会进一步降低回波信号能量.

此外,探测器自身在完成光电转换、信号传输的过程中会产生一定的量化误差与探测噪声.当回波能量较高时此类噪声的影响往往可忽略不计,但在室外环境下,目标回波通常较弱,此时此类噪声的影响将不容忽视.

大气环境影响大气环境对成像的影响不仅体现在吸收与散射引起的光能量衰减,还包括散射、气流或者湍流引起的像与物之间点对点关系的扭曲.大气湍流是大气中一种典型的不规则的随机过程,在远距离传播过程中,其引起的折射率随机起伏对成像的影响不容忽视.一种用于描述大气湍流的参数是大气结构常数,该参数表示大气折射率的起伏大小,在环境温度、风速等影响下将会产生上下波动.基于该参数,研究人员提出了多种模型,如SLC-Day 模型[20],H-V 模型(Hufnagel-Valley model)[21]、Greenwood 模型等[22].雨雾等不良天气条件下,大气散射显著增强,光的直线传播被破坏,从而物像之间的点对点对应快速退化,同样导致成像质量下降.针对散射或湍流的影响,研究人员提出了如利用弹道光成像的光学相位共轭、反馈控制的波前整形、基于光学记忆效应的散射成像技术及深度学习等方法.然而由于其影响的随机性和复杂性,散射及湍流影响仍是室外光学成像中亟待解决的难题.

3 室外环境中的关联成像

3.1 关联成像原理

关联成像,又称鬼成像,是一种基于光场高阶关联的主动成像技术.该技术通过对光源进行调制,并基于所采集数据进行重构运算得到目标图像.其起源可追溯至Hanbury-Brwon 和Twiss (HBT)实验[23],该实验原理如图4 所示.通过计算探测器C1和 C2所接受的星光的干涉条纹,计算其周期即可得到星体角.

图4 HBT 实验基础原理图[23]Fig.4.Schematic diagram of HBT[23].

在HBT 实验中,以I1与I2分别表示 C1和C2的探测结果,计算其内积可得

由于在关联成像中,光场各空间位置处强度相互独立且随机,因此光场的二阶相关度可写作:

其中g为由光场自身所决定的常数,δ(x,y) 为冲激响应,x和y分别代表空间坐标.此时相干长度与图像像素尺寸相匹配,若成像系统无需考虑散射等传播影响,物像间形成严格的“点对点”一一对应.

以Ir(x,y) 表示某一时刻参考臂照明光场,IB(x,y) 表示同一时刻探测臂照明光场,O(x,y) 表示目标物体的透过函数,则桶探测器所采数据可表示为

此时双臂数据的归一化二阶关联结果可写作:

第1 个具体的关联成像理论方案由Klyshko[24]于1988 提出,并由Shih[25]于1995 年以参量下转换纠缠光实现首例关联成像原理验证实验.随后经过近30 年的发展,在光源类型上逐渐出现了热光、赝热光甚至微波[26]、物质波[27]等关联成像实验;在成像架构上则在双臂关联成像之外衍生出了单臂(计算)关联成像[28];在重构算法上,在传统的强度/涨落关联算法外诞生了差分关联成像算法[29]、归一化关联成像算法[30],以及压缩感知算法[31-33]与深度学习算法[34-36].在相关研究所应用的各类光源中,自发参量下转换所得的纠缠光子数目过少,自然存在的热光光强的相干时间或涨落时间太短,相较之下,以其他光源模拟热光所得的赝热光光源易于制备,便于探测,因此成为研究所用的主流光源之一.其中以激光经过旋转毛玻璃所形成的赝热光最为常见,其实验架构如图5 所示.

图5 赝热光关联成像系统示意图Fig.5.Schematic diagram of ghost imaging based on pseudo-thermal light.

如图5 所示,激光经过毛玻璃后形成散斑场,随后被分束镜分为参考臂与探测臂两束光路,在参考臂光路中,散斑场经由面阵探测器直接记录其空间分布,在探测臂光路中,散斑场经由目标反射后由桶探测器记录其光强.面阵探测器没有对物体进行探测,探测臂上仅进行单像素的能量探测,不具有空间分辨能力,因此这两个探测器单独均不能对物体进行成像.但是借助光场的二阶关联特性,在完成多次采样后借助重构算法,对双臂所采集的数据进行关联运算则可得到目标的重构图像.在计算关联成像中,则是通过计算机生成光场的调制图样,并借助数字微镜(digital micromirror devices,DMD)或空间光调制器(spatial light modulator,SLM)等调制器件生成相应的照明散斑场,借此省略了对参考臂散斑场的记录需求,从而取消了参考臂光路.

对于关联成像而言,光场的二阶相干度相当于系统的点扩散函数.成像结果中物体分布可以写作物体反射率函数和光场的二阶相干度的卷积,所用光场二阶相干度的单峰特性保证了物和像的点对点的成像关系.因此光源产生光场的二阶相干度分布是影响成像质量的重要因素.以赝热光关联成像为例,激光经旋转毛玻璃后的光场打在物体上形成散斑场,散斑大小由激光照射在毛玻璃上的尺寸、激光波长和传播距离共同决定,二阶相干度函数的峰值宽度就对应于散斑大小且决定了成像的分辨率.根据关联成像的卷积关系可知,成像的对比度由二阶相干度的对比度决定,光场二阶相干度峰值越接近2,图像的对比度越高.当然,在任何成像系统中都不可避免受到外界噪声干扰,关联成像中探测器及信号传输将会产生探测噪声、电噪声及量化噪声等,光的传输也会引入相位噪声.对于成像系统中传输路径上的噪声研究,人们主要考虑大气湍流和散射介质的影响.

3.2 室外关联成像特点

与其他光学成像方式相比,关联成像具有高灵敏探测、抗噪声干扰及多维信息获取等特点,能够在一定程度上应对室外环境对成像的干扰,同时可实现成型应用场景的扩展.

高灵敏探测传统成像中是以阵列探测器收集待探测物体的空间分布信息,回波光子被分散到多个像元中完成探测,存在光子数难以达到像元探测阈值的可能性,加之环境中其他噪声和散射介质的存在,限制了成像灵敏度.而在关联成像中对物体回波的探测则是以桶探测器为主.桶探测器虽不具备空间分辨能力,但将探测范围内全部光子进行记录,因而使得关联成像系统具有更灵敏的探测能力,在相同光源功率的条件下具备更远成像距离的潜力,从而更好地应对室外成像场景下弱回波问题.

抗噪声干扰室外成像环境中,环境光噪声、目标周边的背景噪声等是影响成像质量的典型因素.关联成像基于光场的高阶关联获取目标图像,对照明光源的主动调控可视作是对物体进行编码,对回波进行关联运算则是解码过程,因此能够抑制与光源统计性质无关的光噪声.利用关联成像主动照明这一特点,结合时域、空域编码等技术可一定程度上去除背景噪声干扰,实现低信噪比条件下的成像.另外,在数据采集过程中还可以根据已有数据反解物体信息,并对后续照明光场的分布、类型等做出实时调整,进一步提升抗噪声能力.面对室外环境中的散射、湍流等干扰,关联成像可借助对成像架构、算法等的优化设计,或是与自适应光学相结合,提高对大气干扰的抵抗能力.

多维信息获取在实际应用中,信息需求往往不仅仅局限于图像,目标的距离、三维结构、运动状态也是重要信息.作为一种主动成像方式,关联成像能够对照明光场施以多维度并行编码从而同时获取多种信息.可基于时域关联获得飞行时间从而完成进行测距,或是仿照激光雷达/单光子成像的模式实现目标三维结构信息的获取,空间时间综合编码还可以实现测速甚至同时完成对运动目标的追踪与成像[37-41].

4 室外关联成像研究进展

室外关联成像系统依据其工作过程可分为光源调制、大气传输、回波探测与图像重构.为提高成像质量,扩展应用范围,相应的研究也主要围绕这四部分展开.

4.1 赝热光源获取

如前文所述,光源的强度、波长、类型决定了成像过程中能够用于传递物体信息的光子数及其所传递信息的类型,间接影响着光学系统、探测器以至于成像算法的选取与应用.因此,研制高刷新、高能量的赝热光源对室外关联成像至关重要.关联成像系统常用的光源包括以旋转毛玻璃、空间光调制器或数字微镜器件等作为光场调制器件的赝热光源,以高速光开关为核心技术的发光二极管(light emitting diode,LED)阵列,以及近年来崭露头角的片上集成赝热光源等.

基于激光穿过旋转毛玻璃所得的赝热光源,2016 年,中国科学院上海光学精密机械研究所Gong等[42]采用脉宽10 ns 的激光,实现了三维激光关联成像雷达.在2016 和2017 年,Deng 等[43,44]将近红外3D 成像雷达技术与关联成像、压缩感知理论相结合,实现了基于近红外波段的3D 激光关联成像雷达.

上述光源调制方式下的成像采用的是双光路形式,参考臂接收端采用的是采样效率较低的面阵探测器.采用其他光学调制装置,如DMD 或SLM代替旋转毛玻璃可以省略参考臂以减少采样时间、提高成像效率,此即2008 年Shapiro[28]提出的计算关联成像.在该类成像系统中,照明光场的散斑模式可预制后加载于DMD 或SLM 中,因此研究人员得以对散斑模式进行主动设计与实时优化.2016 年英国格拉斯哥大学以DMD 调制过的激光做了三维关联成像实验[45].后来Rai 等[46]提出了推扫式GISC LiDAR(light detection and ranging)系统,也是用DMD 对脉冲激光进行调制,发射经预置和校准好的矩形散斑图案.

上述两种主流的光源调制模式均是以激光结合调制器件形成照明光场.调制器件自身的刷新速率限制着光源的调制速率.因此,研究人员开始追求对光源直接进行调制,而非经过调制器件调制.2016 年,Shin 等[47]研制的高帧速率LED 阵列照明光源其刷新频率可达500 kHz,能够捕获动态场景的图像.2017 年中国科学院西安光学精密机械研究所研制了一种片上集成多倍速率的脉冲激光器[48],利用了片上集成激光模式选择机制,使其脉冲源的重频可达GHz 量级,也可用于室外远距离关联成像.2019 年,日本神户大学在此基础上提出了基于VCSEL 光源的快速计算关联成像[49].同年,日本东京大学制备了硅基赝热光源[50].此外,本课题组自主研制了一种新型赝热光源,显著提升了光场刷新率与能量利用率,成功将成像速率提高一个数量级,工作距离提升30%.

4.2 大气影响下的关联成像

在室外成像场景下,大气传输过程中所无法规避的能量衰减与湍流、气流等引起的折射率随机波动困扰着绝大多数光学成像手段.为解决此类问题,在关联成像的相关研究中出现了基于理论、硬件、架构、算法等多种方式方法,验证并不断提高着这一成像技术的抗干扰成像能力.

2009 年,Cheng[51]理论上推导了关联成像在大气湍流影响下的解析解,并指出光源尺寸越小、湍流强度越大、传播距离越远都会使得图像质量的下降.随后Li 等[52]推导了部分相干光源条件下通过大气湍流的关联成像公式,得出与Cheng[51]一致的结论并指出物体与桶探测之间的湍流不会影响成像质量.2010 年,Zhang 等[53]利用随机相位屏模型通过数值仿真验证了在湍流条件下关联成像能够获得比直接成像更好的分辨率,其实验结果如图6 所示,并于2013 年在真实大气环境下进行了关联成像实验[54],其实验结果如图7 所示,实验上验证了关联成像相对直接成像具有更强的抵抗大气扰动的能力.2011 年Meyers 等[55]提出了一种无湍流热光关联成像,并进行了理论论证以及实验验证.这一发现立即引发了广泛的关注.2012 年Sun 等[30]指出Meyers 等[55]给出的无湍流关联成像理论推导以及实验验证只有在光源尺寸小于源平面湍流相干尺寸时才成立.2011 年,Gong 和Han[56]研究了散射介质在物臂不同位置对二阶关联成像的影响.当散射介质处于光源与物体之间时,直接成像可以免受散射介质的干扰.当散射介质处于物体与探测器之间时(此时为桶探测器),关联成像可以免受散射介质的干扰.同年Hardy 和Shapiro[57]提出了更具有实用价值的反射式关联成像,并研究了其在湍流条件下的分辨率、对比度、信噪比,给出了和透射式关联成像一致的结论.

图6 湍流干扰条件下直接成像与关联成像图像质量对比[53] (a)直接成像图像;(b)关联成像图像Fig.6.Comparison of image quality between two imaging method[53]: (a) Traditional non-correlated imaging;(b) ghost imaging.

图7 不同天气条件下直接成像与关联成像图像对比,其中(a)–(e)分别代表晴朗、多云、小雨、中雾、夜晚天气对应;(1)–(4)分别对应实地场景、传统成像、关联成像、基于总变分约束的关联成像[54]Fig.7.Comparison of images between two imaging method in different weather: (a) Clear;(b) cloudy;(c) light rain;(d) moderately foggy;(e) night.Where (1) scenes of field experimental,(2) traditional imaging,(3) ghost imaging,(4) ghost imaging by TV (total variation)[54].

2015 年,Xu 等[58]在不同散射强度下对比了传统成像与关联成像的抗散射能力,其实验结果如图8 所示.随着散射强度的增加,关联成像不仅可以保持成像分辨率不变,而且相对传统成像可以有效抑制图像中的散射光的影响.研究表明,关联成像相对传统成像在抗扰动方面具有一定的优势,对物体与桶探测器之间的扰动免疫.

图8 双缝直接成像与关联成像结果,从(a)到(f)对应散射强度逐渐增加,β=100%,33.26%,12.14%,6.44%,3.16%,1.28%,β 表示散射介质的透过率,每一对图像的左图为关联成像结果,右图为传统直接成像结果[58]Fig.8.Imaging results of a double slit achieved with both methods.From set (a) to (f),the strength of scattering is increasing,β=100%,33.26%,12.14%,6.44%,3.16%,1.28%,where β shows the transmission ratio of the scattering media as a measure of strength of scattering.For each set,the left one is the result of ghost imaging and the right one is that of traditional non-correlated imaging[58].

为降低大气环境对关联成像的影响,研究人员分别在光源、系统、算法等不同角度对关联成像系统进行了相应的优化[59,60].此外,研究者们还积极将各种抗散射技术引入到关联成像中.2012 年Shi 等[61]将自适应光学技术引入关联成像中以解决大气湍流的问题,其实验结果如图9 所示,图像质量相对传统关联成像有明显提升.2021 年,Li等[62]将偏振成像技术引入到关联成像中,提出了基于直方图预处理的水下偏振差分关联成像方法.该方法结合了偏振成像技术以及差分关联成像,有效地提取出了在散射介质后面的物体图像并通过直方图预处理进一步加强图像对比度.2022 年,Yuan 和Chen[63]引入相位恢复算法来恢复受到严重散射影响的关联成像图像,实现了对被散射介质包围物体图像的恢复.

图9 字母“A”在不同强度大气湍流下的图像 (a)–(c)湍流系数分别为2.0,3.2,6.8 时常规关联成像图像;(d)–(f)湍流系数为2.0,3.2,6.8 时自适应关联成像图像[61]Fig.9.Obtained images of letter “A” under different strength atmospheric turbulence: (a)-(c) Images of convention ghost imaging at turbulence coefficient of 2.0,3.2 and 6.8,respectively;(d)-(f) images of adaptive optical ghost imaging at turbulence coefficient 2.0,3.2 and 6.8,respectively[61].

近几年还有一些新颖关联成像抗扰动方案被相继提出.2022 年Lin 等[64]研究发现当物臂存在散射介质扰动时,通过在参考臂加入与物臂散射介质特征相似的散射介质就可以补偿散射光场的扰动相位,实现利用散射光的透过散射介质的关联成像.2022 年,孙帅等[65]提出了一种计算波前整形的孔径合成关联成像方案.该方案基于计算关联成像,以物体本身为导星利用特定的优化函数结合遗传算法在计算参考臂光场的同时加入相位补偿,有效解决了光源的相位噪声带来的关联图像退化.2020 年,Gao 等[66]使用高斯模糊核来模拟散射介质在关联成像光路不同位置时的散射场景,并通过计算仿真的方式产生DNN 网络的训练数据,并实验验证了该DNN 神经网络在面对不同位置的散射介质时依然能够恢复出目标图像.由此可见,关联成像具有高度的开放性与灵活性,能够很好地与计算领域的新技术相结合,取得更好的成像效果,同时有效扩展了应用场景.

4.3 回波探测与信噪甄别

针对回波探测,相关研究的侧重点在于提高回波信噪比,实现高效、可靠的信噪甄别.信噪甄别,即从回波信号中尽可能识别、提取真实信号,降低背景噪声干扰.发展高探测效率、大探测面积、高动态范围的探测器有助于提高所接收的物体回波信号,是提高信噪比的手段之一.但此种手段仅能提高探测能力,缺乏信噪甄别能力.若噪声与物体回波信号具有一定的关联,如散射介质引起的后向散射、环境中与物体回波同频率的噪声光,仅提升探测能力并不能有效提高信噪比.而在室外关联成像中,此类噪声往往是干扰回波信号的主要噪声.为获取高质量重构图像,对信噪甄别技术的研究必不可少.由于关联成像所具有的如光源可主动调控、成像与优化过程可一体化等特点,基于成像架构或重构算法的信噪甄别研究也成为了研究的重要方面.

在时域对照明光场添加时域调制以实现信噪甄别是关联成像中行之有效的甄别技术之一.2016 年,Deng 等[43]率先提出将脉冲压缩技术、相干探测技术与关联成像结合的方案.通过将赝热光脉冲做啁啾幅度调制并分为两路,一路光作为本地振荡,另一路作为关联成像系统的照明光源,最后用物体的回波和本振光进行相干探测,实现了低信噪比下的关联成像.此外,也可以通过在光场调制的过程中加载周期脉冲信号作为标定,以此在回波中滤除时序上与照明调制匹配的噪声[66].而在已知目标空间距离的条件下,基于时间门控技术[67]则可以降低非物体反射的噪声光子,从而提高成像质量.

在频域对图像进行处理以提高成像质量的方式也是光学成像中常见的信噪甄别技术之一,这一方法同样适用于室外关联成像.在重构图像中,物体的形状是由空间频率域中的低频率决定的,而高频率则多表示物体细节,噪声在空间域具有典型的均匀分布,但在频率域中往往集中在高频区域.在部分室外成像场景下,信息获取能力有限的情况下,通常选择放弃细节,此时可通过对照明光场或重构图像进行频域变换及滤波,选择性保留部分低频信息,实现信噪甄别,提高图像信噪比.

4.4 图像重构算法、架构优化

在关联成像中,基于算法进行重构是获取目标图像最后也是最关键的一步,算法是决定重构图像质量的主导因素之一,也是这一成像技术能否顺利应用化的关键因素之一.成像过程中所面临的弱回波、低信噪比、环境干扰等问题,均可通过算法得到一定程度的解决.因此,对成像算法的优化一直是国内外各团队的研究重点.在室外成像场景下,关联成像算法研究目标主要集中于: 1)回波信号信噪甄别;2)成像质量的提升;3)成像应用的扩展.其中回波信号信噪甄别研究已在4.3 节中单独列出,在此不多赘述.要介绍在提升成像质量、扩展成像应用等方面的重构算法研究.

1) 成像质量的提升

在关联成像中,成像质量与采样数呈现正相关关系,因此提高成像质量与降低采样数互为表里.以最基础的强度关联为基础,为实现成像质量的提高,先后出现了差分关联成像、归一化关联成像、伪逆关联成像、奇异值分解关联成像、压缩感知算法及基于神经网络的重构算法等.其中对于强度关联算法、差分关联算法与归一化关联算法,可在重构过程中随时增加采样数据而中断重构成像过程;对于伪逆关联成像、奇异值分解关联成像与压缩感知算法,在重构时需先将参考臂数据整理为测量矩阵,而后续若要追加采样数据,则需重启重构过程;而基于神经网络的重构算法由于其特殊性,无法以上述标准进行分类.

强度关联算法如前文所述,关联成像是一种基于双臂光场的高阶关联,借助关联运算以重构目标图像的成像技术,其基础的重构公式为

即直接强度关联,其中IR(x,y;i) 为第i次采样中参考臂面阵探测器所得数据,IB(i) 则为第i次采样中探测臂桶探测器所得数据.强度关联无需数据的预处理或额外的实验架构,代码简洁、重构迅速,然而其对光源稳定性、光场的均匀性及探测信噪比水平有着较高的要求.因此,以直接强度关联为基础,衍生出了多种重构算法,以提升图像重构性能.

根据光场相干度的定义将其改写为

即可得归一化的强度关联.将公式由“除法”形式改写为“减法”形式,所得即为涨落关联算法的重构公式:

归一化强度关联及涨落关联重构公式中的分母/减数项可视为受照明光场平均强度影响的背景项,因而除法/减法运算使得归一化强度关联与涨落关联能够在一定程度上排除照明光场不均匀所带来的影响,提高图像对比度,从而实现成像质量的提升.

差分关联成像算法与归一化关联成像算法在关联成像中,当目标为高透过率或反射率的目标物体时,在有限次采样条件下,原本依赖光强涨落所体现的物体信息淹没于较强的光场平均强度,成像质量难免受到其影响.为解决这一问题,Ferri 等[29]于2010 年提出了差分关联成像(differential ghost imaging,DGI).在差分关联算法中,需将参考臂端将面阵探测器所采集数据求和以模拟桶探测器,并将模拟结果引入到重构运算中,其重构公式如下:

在差分关联成像的基础之上,Sun 等[30]于2012 年提出了归一化关联成像(normalized ghost imaging,NGI),其重构公式可概括为

其中ONGI(x,y) 为DGI 所得重构图像.

对比归一化强度关联与强度关联算法,可见NGI 同样是引入了光场强度均值作为分母项以排除光场平均强度非均匀所带来的干扰,从而在光场平均强度出现明显的涨落时,在DGI 的基础之上进一步提高成像质量.图10 为文献[68]中的结果图,以在同一条件下展示不同重构算法所得重构图像间的差异.

图10 不同算法所得重构图像对比[68]Fig.10.Images reconstructed by different algorithms[68].

伪逆关联成像与奇异值分解关联成像如前文所示,具有正交性的光场能够较好地压制背景噪声及环境噪声.当照明光场自身不具备正交性时,则可通过算法对其进行处理,通过正交变化,为其“赋予”正交性.

在伪逆关联成像(pseudo-inverse ghost imaging,PGI)中,通过将采样过程中所得的全部照明光场整理为测量矩阵,求解测量矩阵的伪逆矩阵,将其与探测臂数据所整理而成的向量进行重构运算,实现图像重构的同时有效提高成像的信噪比[69,70].图11 为文献[69,70]的实验结果图,直观地展现了伪逆鬼成像对成像质量的提升效果.

图11 强度关联算法与伪逆鬼成像重构结果图[69,70]Fig.11.Images reconstructed by GI and PGI[69,70].

与PGI 相似,由Zhang 等[71]于2018 年提出的奇异值分解关联成像(singular value decomposition ghost imaging,SVDGI)同样实现了照明光场的“正交化”.与PGI 所不同的是,SVDGI 选择了奇异值正交分解这一方法来实现测量矩阵的“正交化”.

压缩感知算法压缩感知(compressive sensing,CS)技术最初是为了突破香农采样定理,以更低的采样频率实现原始信号的重构.其理论基础为当具有稀疏性时,通过非均匀采样可以远低于奈奎斯特采样率的采样数准确还原原始信号.压缩感知算法最初由Katz 等[71]于2009 年引入关联成像,随后白旭等[72,73]对不同类型的压缩感知算法进行了详尽的分析或优化.

压缩感知的流程可大致分为: 信号的稀疏表示、非相干测量与信号重建.信号的稀疏表示是指借助正交完备字典或过完备字典将原始测量信号以更为简洁的形式进行表达.非相干测量是指测量矩阵与字典间的不相干.信号的重建则是指利用凸优化算法、贪婪算法以及贝叶斯压缩感知重构算法等从稀疏信号中恢复出原始信号的过程,根据所用的过完备字典或凸优化算法等不同,基于压缩感知技术衍生出了多种不同的算法,如基于稀疏约束压缩感知算法、正交追踪匹配算法、多选正交最小二乘算法等.

虽然不同类型的压缩感知算法其成像效果各不相同,但总体而言,相较于其他重构算法压缩感知算法在成像质量方面具有显著优势,此外,在重构的过程中压缩感知虽未改变每次采样中所获取的信息量,但其理论基础则带来了“物体具有稀疏性”这一额外信息,可视作降低了重构目标所需的总信息量,因而能够降低成像所需的采样数.此外,这一约束也抑制了重构时光场像素间的相关性,进而提高了成像分辨率.遗憾的是相较于前述各类算法,压缩感知算法在进行图像重构时所需的运算时间与空间远超其他算法,且对探测噪声较为敏感,限制了其在关联成像中的应用.

基于神经网络的关联成像重构算法作为机器学习算法中最受欢迎的算法,神经网络算法细分出了卷积神经网络、对抗神经网络、极限学习机等不同类型的算法,其应用领域广泛涉及到信息科学、计算机科学、生物医学、数理科学等学科领域中.算法的核心思路在于模拟神经系统,搭建输入层、隐藏层、输出层三层结构的网络体系,以大量数据进行训练,从而建立输入特征与所求结果间的对应关系.这一类算法最初由中国科学院上海光学精密机械研究所司徒国海小组[34]于2017 年引入关联成像领域中,随后Shimobaba 等[74]、Higham等[75]研究人员投入到了相关研究中.

与其他重构算法相比,基于神经网络的重构算法其重构原理、效果都更为依赖所使用的网络其本身的性能,而非关联成像这一技术其背后的物理原理,故在此不进行详细讨论.

2) 成像应用的扩展

由于在关联成像中获取单张图像需要进行多次的采样,在这一过程中难以确保目标与照明光场保持相对静止,因此在室外成像条件下,困扰关联成像应用的主要场景之一为对运动目标进行成像.本节介绍两类对运动目标进行追踪与成像的关联成像方法.

基于图像的动目标成像算法Sun 等[37]提出了一种基于图像互相关的动目标成像算法(corsscorrelation-based ghost imaging,CBGI).在该算法中,研究人员将成像过程划分为多个阶段,在每个阶段中基于采集数据进行一次图像重构,其后计算相邻两阶段重构图像互相关.互相关函数的峰值坐标中隐含了目标的位移与旋转角度信息,据此可获取目标的空间状态,从而后续成像过程中调整照明光场,使照明光场与运动目标保持相对静止,在实现对运动目标追踪的同时实现了对动目标的高质量成像,解决了动目标场景下高成像速率需求与关联成像大采样数需求间的矛盾.其实验结果如图12 所示.图中K表示采样分段后,当前成像所用的数据为从初始时刻到完成第K段采样的数据.

图12 基于互相关的运动目标成像结果[37]Fig.12.Results of CBGI with moving object[37].

与之相类似,Zha 等[39]提出了一种基于图像多阶矩的动目标成像算法.与CBGI 不同的是,在该算法中,通过对比每个阶段所得重构图像的低阶矩,从而获取了在采样过程中目标物体的运动信息并据此调整后续光场,实现对运动目标的成像与追踪.其中目标空间位置信息由图像一阶矩计算可得,目标的旋转角度由图像二阶矩计算可得.在该方案中,为精确计算目标的空间坐标及旋转角度,研究人员采用了压缩感知算法进行图像重构以抑制背景噪声.其实验结果如图13 所示.图中K表示采样分段后,当前成像所用的数据为从初始时刻到完成第K段采样的数据.

图13 基于低阶矩的运动目标成像结果[39]Fig.13.Results of GI based on low-order moments with moving object[39].

基于桶探测信号的动目标成像算法关联成像系统利用桶探测回波与参考光场的关联获取目标图像信息.因此,利用关联成像系统自身的回波信号变化也可以实现对运动目标的跟瞄追踪.Du等[41]提出了一种运动目标追踪与成像方法,基于四象限探测器,通过对关联成像系统自身的回波信号特征及变化的测试分析确定其运动方向,并实时反馈以调整照明范围,实现对目标的实时跟踪与准静止成像.由于无需进行采样分段及图像重构,因此该方法极大地提升了追踪速度与精度.其实验结果如图14 所示.

图14 四象限跟踪成像方法实验结果[41] (a) 成像结果;(b)目标追踪结果;(c)成像质量随时间变化曲线Fig.14.Experimental results of GI based on four-quadrant detector[41]: (a) Results of imaging;(b) trajectory of the moving object;(c) quality of reconstructed images over time.

Zha 等[40]提出了一种单像素成像方法的实时跟踪方法.在该方法中,照明光场被分为多组,每组中对同一张光场分别以匀强、水平递增、垂直递增的方式进行灰度调制,因此对于探测器所收集的回波进行相应强度计算,即可得成像区域图像的零阶矩与一阶矩,进而实时重建和跟踪快速移动物体的质心.其实验结果如图15 所示.该方法仅实现对目标的跟踪,无法进行成像.

图15 实时追踪方法实验结果[40] (a)实验架构示意图;(b)相机追踪轨迹(红)与算法计算所得轨迹(蓝)Fig.15.Experimental results of the real-time online tracking of a moving object[40]: (a) Experimental framework diagram;(b) camera tracking track (red) and algorithm calculated track (blue).

5 室外关联成像技术研究展望

室外关联成像技术朝着更高分辨率、更大工作距离、更大视场、更高分辨率及全天时甚至全天候发展.面向实际应用,我们提出以下4 个方面的发展建议.

1)主被动成像方式相结合与传统的被动成像方式相比,关联成像成像速率不佳且探测视场有限,其主要原因在于多次采样的需要及调制光源的刷新速率受限、照明范围受限.优点则在于信息维度丰富、不受天时限制.相较之下,被动成像利用物体自身辐射或反射的环境光,具有更广的探测视场且成像速率仅受信号积累需求限制.因此将主被动成像方式相结合,相互弥补对方的不足,可以成为室外关联成像技术向应用发展的一个方向.

2)研制高灵敏、高带宽探测器在室外关联成像中,远距离、大视场、高信噪比成像是其发展的必然需求.依据雷达公式,激光能量随着成像距离的增加而急剧下降,因此高灵敏的探测器愈加重要.另外,为尽可能实现实时成像,需要探测器在短时间内获得物体或场景的信息.低光通量、短时间探测使得探测器捕获的光子数极为有限,探测信号的信噪比极低.因此研制高灵敏、高信息带宽的探测器尤为重要.

3)研究高效信噪甄别技术与重构算法高灵敏探测使得关联成像能够探测更微弱的回波信号,赋予其比传统成像具有更远成像距离的潜力,但这也意味着探测器对噪声同样更加敏感,因而需要更精准的信噪甄别技术.除了前文所述的匹配滤波、频域滤波、光场设计等方式外,优秀降噪算法的开发也是重要的研究方向之一.

4)发展抗大气干扰成像技术室外成像中无法规避的另一个问题是大气环境对成像的影响.大气湍流具有随机、易变、难预测的特点,其对光场的扰动在一定程度上破坏了关联成像光场间的相关性,降低成像分辨率的同时影响了图像质量.如前文所述,研究人员已于光源、算法、实验方案等方面展开了相关研究,而为推进室外关联成像的研究与应用,进一步发展相应的抗大气干扰成像技术有着重要意义.

6 结语

在当前研究中,关联成像的应用领域已扩展到图像加密、生物医学、遥感探测、雷达探测等多个领域.关联成像特殊的硬件架构使得这一成像技术相较于其他光学成像方式,在解决室外成像所面临的困境时具有一定的优势.其所具有的主动照明、可控光场调控等特点有助于应对室外成像环境中弱回波、强噪声及大气干扰等问题.而其所必须的算法重构过程使得在成像过程中可以对成像系统进行实时且具有针对性的调整,以助其取得更好的成像效果.但关联成像的成像速率、视场及重构图像质量均有所限制,制约了这一成像技术的应用化.因此,开展室外关联成像的相关研究,进一步提升成像质量、扩展成像视场、压缩成像耗时,促进其在室外探测与成像领域的应用有着重要意义.