基于瞬态图像的非视距成像技术综述

梁云，宋柏延

（华南农业大学数学与信息学院，广州 510642）

引 言

随着光学成像技术在过去几十年里的高速发展，一种被称为瞬态成像的技术被提出。这种新颖的成像技术旨在解决非视距、散射等复杂场景的信息获取。传统相机所获取的图像数据是光与场景经多次交互（反射、散射等）后的稳定状态，是场景中的光脉冲在一个较长的时间窗口中积分的结果。基于专门的采集系统及算法，瞬态成像技术可以捕获光与场景的交互瞬间，生成一系列表征不同交互瞬间的图像序列。因此，瞬态图像是一组同时包含空间与时间信息的图像数据，是一种三维或多维数据。Heide等［1］通过对极细时间粒度场景光脉冲传播进行采集，捕获了包含空间及时间信息的瞬态图像数据，如：图1（a）为瞬态图像数据采集场景；图1（b）展示了随时间流逝，光脉冲在场景中逐渐传播，与场景交互的若干瞬间；图1（c）为光脉冲与场景交互的若干关键帧。

图1 光脉冲与场景的交互瞬间[1]Fig.1 Moment of interaction between light pulse and scene[1]

瞬态图像由Velten等［2］在2012年首次提出，并同时提出利用瞬态图像蕴藏在时间维度上纳秒或皮秒级别分辨率的丰富信息实现深度测量、材料检测和非视距成像等场景解析任务。Velten等［2］证明了经物体多次反射所形成的反射光脉冲在时间维度上仍蕴藏着足够恢复或重建物体三维形状的信息。该证明为基于瞬态图像数据的非视距成像的实现提供了理论基础。

非视距（Non⁃line⁃of⁃sight，NLOS）成像是瞬态图像在场景解析中最典型的应用之一。NLOS成像是一种针对不在视线范围内、非直接可视的场景或物体进行成像的技术。该技术旨在利用高时间分辨率的瞬态图像数据，对隐藏物体的三维形状或视觉外观实现复原重建。

针对隐藏物体的瞬态图像数据采集流程如下：通过发射光脉冲对一块中继面的照射，光线经中继面反射后抵达目标隐藏物体。光脉冲被隐藏物体反射后重新抵达中继面并再次被反射，最终被传感器捕获。Tsai等［3］表述的隐藏物体的瞬态成像过程如图2（a）所示，而图2（b）则展示了部分瞬态图像关键帧。对隐藏物体的瞬态图像数据进行分析，通过NLOS成像算法，最终可实现隐藏物体的三维形状或视觉外观的复原重建。

图2 NLOS场景瞬态图像数据采集Fig.2 Transient image acquisition in NLOS scenes

基于瞬态图像的NLOS成像算法大多具有较高的时间复杂度及空间复杂度。同时，瞬态图像采集设备所捕获的大部分光脉冲无法被隐藏物体反射，携带的信息与隐藏物体并不相关，无法用于估计隐藏物体的三维形状。这类信息会对NLOS成像造成极大干扰。针对该问题，迫切需要针对非直接可视、不在实现范围内的隐藏物体设计更适配的、具有更高时间精度的瞬态图像采集设备，从物理层面上更好地区分携带不同信息类型的光脉冲。同时也需要针对隐藏物体反射率、表面法线等特性，提出更合理的光脉冲传输模型。

本文根据不同的成像过程、成像原理将瞬态成像技术进行分类，分析不同的瞬态成像技术的优劣；介绍了基于瞬态图像的NLOS成像技术，并基于算法原理及成像效果对不同的NLOS成像算法进行分类；最后总结了基于瞬态图像的NLOS成像面临的挑战，并对NLOS成像技术的未来发展进行了展望。

1 瞬态成像技术及其分类

1964年麻省理工学院的哈罗德·埃格顿教授基于自己发明制作的频闪仪，成功针对超快事件实现成像。该实验首次实现对具有光速或超快速度事件的记录，如穿过苹果的子弹、一滴牛奶的飞溅或拍打翅膀的蜂鸟等［4］。这项工作的初衷是为了“冻结”运动中光的成像。该技术在过去数10年间启发了众多技术及设备的发展，如全息成像技术［5］、飞行时间相机［6⁃7］、条纹相机［2，8⁃9］及单光子雪崩二极管［10⁃11］等。这些技术及设备旨在捕获光脉冲与场景或物体交互的瞬间状态，获取高精度的场景光脉冲时间相关强度信息，即获取纳秒或皮秒级别的时间分辨率瞬态图像数据。

1.1 瞬态成像数学模型

瞬态成像过程可以简述为极短光脉冲发射并照亮整个场景，最后被传感器捕获。传感器捕获的数据是单一像素上光脉冲响应与时间相关的强度分布函数。这类单一像素被称为瞬态像素。Heide等［1］提出单一瞬态像素与沿不同路径抵达传感器的光脉冲响应间的关系为

式中：αp为沿着连接光源及传感器单一像素的路径p传播的光脉冲的强度信息；p为场景中存在的所有满足条件的路径；|p|为光脉冲沿路径p的传播时间；α(t)表征了光脉冲在单一像素上与时间相关的强度分布。具有不同时刻t值的α(t)序列被定义为瞬态像素。单一的瞬态像素αx，y(t)在空间上铺开形成的规则网格即为瞬态图像I(x，y，t)，其表达式为

1.2 基于光脉冲回波直接采样生成瞬态图像

瞬态图像数据是传感器在极短的快门时间内捕获场景中不断反射的光脉冲记录下的与时间相关的强度信息。基于此分析，可以利用具有极短的快门时间的传感器，并辅以超短脉冲照明，实现对光脉冲回波进行直接采样，生成瞬态图像数据。超短的脉冲照明及极短的快门时间可以规避光脉冲携带的信息在时间维度上卷积的影响。但极短的快门时间将导致快门时间内抵达传感器的光脉冲数量偏少，使瞬态图像数据信噪比偏低。根据成像系统或者设备不同，基于光脉冲回波采样方法主要可以分为：激光门控、条纹相机和单光子雪崩二极管3种。

1.2.1 基于激光门控的瞬态成像

自20世纪60年代以来，激光门控就已经作为一种成像方法得到研究［12］。随着光电技术的不断发展，更快速、更高精度的激光门控得以出现。激光门控系统通过控制选通门的开闭，减少非目标场景或物体反射光脉冲的干扰。相对于其他方法，激光门控更依赖于对硬件设备的高精度控制。

Laurenzis等［13］将激光门控扩展到瞬态成像，并对比了单点脉冲照明及区域脉冲照明两种不同照明条件的异同。通过采用超短激光脉冲与高灵敏度iCCD相机实现极小的捕获时间窗口（数百皮秒），并使用滑动传感器门获取场景的深度信息。每一个滑动传感器门都会记录一幅扫描图像用于后续提取三维信息。基于静态场景中光传输具有可重复性，Busck等［14］基于激光门控方法，提出加权平均求深度算法，实现瞬态图像数据对三维可视场景的复原。Xu等［15］提出激光门控距离选通NLOS成像的图像对比度模型，并推导了中继面反射特性及光脉冲回波对NLOS成像的影响。图3展示了Laurenzis等［16］用于成像的激光门控系统及捕获的图像序列。

图3 Laurenzis等[16]使用的激光门控系统及捕获的图像序列Fig.3 Laser gated system used by Laurenzis et al.[16]and the captured image sequence

激光门控系统会针对每一帧图像进行单独计算，因此最终效果与帧数成线性的比例关系。为了提高激光门控成像的收敛性，实现基于少量采样帧的成像，基于门控编码的方法得到开发。该方法主要包括对门控响应调制并通过强度分析重构的距离选通门控编码法［17⁃19］，或利用随机门控选通的压缩感知距离成像法［20⁃22］，或两种方法结合的混合编码压缩感知法［23⁃24］。对上述方法进行系统比较后，Lau⁃renzis等［16］指出，距离选通门控编码法容易受到采样帧边缘点噪声的影响，产生错误的解码数据。压缩感知距离成像法依赖于高性能的成像系统，如高速门控传感器、超短激光脉冲等。该方法优势在于具有明确的数学理论，并能解析场景中多个激光脉冲返回至传感器的信号。混合编码压缩感知法作为一种可行方案，结合了前两种方法的优点，数据采集设备要求与距离选通门控编码法一致，摆脱了对高性能成像系统的依赖。同时，通过压缩感知算法完成对激光脉冲返回信号的分析，规避了采样帧边缘点噪声的影响，并具有处理场景多激光脉冲返回传感器的能力。

1.2.2 基于条纹相机的瞬态成像

瞬态图像是一种与时间相关的多维数据。相比于激光门控系统，具有更高时间分辨率的条纹相机可以更轻易地获取更高时间精度的瞬态图像数据。与激光门控系统不同，条纹相机获取的并非是多帧x⁃y图像。条纹相机每一次成像获取的二维瞬态图像是具有时间维度信息的x⁃t图像。通过一个光电阴极，场景中被条纹相机捕获的光子在相机内部被转换为电子，并被时变电场更改飞行的角度。不同时刻被捕获的电子因飞行角度不同，CCD记录到的水平位置也不同。这些水平位置代表不同的时间映射。通过牺牲一个空间维度，条纹相机实现对时间维度数据的记录。条纹相机需要进行多次重复捕获才能获取完整的三维瞬态图像数据。基于对无限光速经典假设的放弃，Velten等［2］提出利用条纹相机，对场景光脉冲的传播瞬间进行捕捉。基于此想法，Velten等［8⁃9］利用条纹相机，实现皮秒级别的x⁃t数据获取，并通过对同一场景的多次扫描，实现x⁃y⁃t三维瞬态图像数据获取。图4展示了Velten等［8⁃9］基于条纹相机及渐进的旋转镜片实现x⁃t二维瞬态图像数据的采集，图4（a～d）分别展示了基于条纹相机瞬态图像采集设置、成像设备、条纹相机对场景单空间维度扫描及条纹相机采集的二维瞬态图像数据。

图4 Velten等[8-9]使用的条纹相机及拍摄的瞬态图像Fig.4 Streak sensor used by Velten et al.[8⁃9]and streak image taken by the streak sensor

针对条纹相机因为牺牲一个空间维度导致无法直接获取x⁃y⁃t三维瞬态图像现状，Heshmat等［25］通过小透镜阵列，将x⁃y两个空间维度编码为一个维度，实现对x⁃y⁃t三个维度的同时捕获。Gao等［26］则通过伪随机二进制模式对空间维度进行编码，并基于压缩感知实现三维瞬态图像的稀疏重构。

1.2.3 基于单光子雪崩二极管的瞬态成像

单光子雪崩二极管（Single photon avalanche diodes，SPAD）是一种具有较大偏置电压的半导体结构。当单个光子被二极管捕获，其拥有的能量将导致二极管雪崩击穿，光子抵达的信号被转化为电气信号。通过设置一个计数器记录不同时刻的电气信号数量，即记录不同时刻抵达的光子数量，最终形成光子抵达时刻的直方图［27］。Charbon等［28］、Kirmani等［10］和Gariepy等［11］利用SPAD成功对不同空间位置进行多次单光子捕获。Xu等［29］基于二值似然法，针对SPAD采集较低空间分辨率瞬态图像，提出了一种光子效率计算算法，扩展了低光子信息瞬态图像在NLOS成像应用的可能性。图5展示了Gari⁃epy等［11］使用SPAD记录不同时刻捕捉到的光子数量，实现时间维度数据的记录。图5（a）为SPAD采集设置示意图，图5（b）为不同时刻记录的光子数量直方图。

图5 SPAD拍摄飞行光脉冲及光子计数直方图[11]Fig.5 SPAD camera captures light-in-flight pulses and the photon count histogram[11]

与条纹相机不同，SPAD使用的脉冲照明较为温和，不会对人眼造成损伤。但SPAD被雪崩击穿后会出现一段死区时间，存在光子会在死区时间抵达，导致数据失真的可能。虽然SPAD单帧成像速率慢于条纹相机等成像系统，并存在光子死区时间，但因为SPAD成像系统设置及操作简单，成本低廉，且能在室外或日光条件下使用，SPAD在过去数年中已逐渐成为瞬态图像的首选采集方式。

1.3 基于光脉冲回波分析生成的瞬态图像

基于光脉冲回波分析，即基于对发射的光脉冲进行预处理调制或对捕获的反射光脉冲进行后处理分析，从而得到场景中光传输的时间相关信息。这种方法并不直接记录光脉冲抵达传感器的时刻，而是通过算法计算得出。相比1.2节基于光脉冲回波直接采集，本节方法降低了对高时间分辨率设备的依赖，使用商用飞行时间（Time⁃of⁃flight，ToF）相机即可完成数据采集任务。根据光脉冲处理方式的异同，主要可以分为以下两类方法：幅度调制法和干涉测量法。

1.3.1 基于光脉冲幅度调制的瞬态成像

基于光脉冲幅度调制的瞬态成像大多基于ToF相机实现。目前，商用的ToF相机成本约为数十或数百美元，在成本方面具有明显优势。通过对发射的光脉冲进行正弦调制，并对采集到的反射光脉冲进行解调。通过上述过程获取发射信号及采集信号之间相位差或者相位延迟。根据相位差计算ToF及场景深度距离。在Hebert等［6］及Adams等［7］基于ToF成像技术的距离成像研究中提出，限于ToF相机本身硬件特性，单次数据采集仅能检测出单一的深度及时刻。通过对ToF设备进行改进，引入一种基于CCD技术设备，在数10 MHz的调制频率运行条件下，Lange等［30⁃31］实现实时的深度及时刻测量。图6展示了Heide［32］基于幅度调制的ToF光脉冲发射器及传感器的基本工作原理。通过对调制后的发射信号及传感器捕获的信号进行互相关分析，估计光脉冲的ToF。

图6 基于幅度调制的ToF发射器及传感器的基本工作原理[32]Fig.6 Basic operation principle of a time-offlight emitter-sensor setup[32]

ToF相机具有的固有噪声是阻碍实时应用的另一因素。在实时应用中，ToF相机的固有噪声在有限的发射光强度下会导致瞬态图像数据信噪比普遍偏低，目前主要通过扩大光圈实现信噪比的提高。Godbaz等［33］及Xiao等［34］通过对ToF相机的孔径进行编码，基于散焦解决了因光圈增大提高信噪比后带来的景深过浅的问题。

针对幅度调制的瞬态成像方法，快门曝光时间设置过高会导致时域卷积误差及相位缠绕。其中，相位缠绕与调制周期决定的最大非歧义光路长度有关。当曝光时间比单个调制周期长时，即光脉冲途经的光路大于最大非歧义光路时就会出现相位缠绕。相位缠绕类似于多路径干扰，使瞬态图像数据产生歧义，并对NLOS成像等场景解析应用造成影响。解决相位缠绕最直接的方法是降低调制频率，以精度降低为代价，增加最大的光路长度。Jongenelen等［35］通过不同的高低调制频率组合，成功扩展了最大非歧义的光路长度，并解决了精度降低的问题。

基于ToF相机，Heide等［1］设计了光子混频器（Photonic mixer devices，PMD）采集系统。通过同步PMD设备采集不同频率及相位调制的光脉冲场景照射结果，实现了多频率及多相位调制瞬态图像采集。Lin等［36］将该采集系统推广到基于傅里叶变换的频域瞬态成像框架，降低了时间复杂度及空间复杂度。

1.3.2 基于干涉测量的瞬态成像

基于干涉测量的瞬态成像是一种依赖于电磁场之间产生干涉实现的技术，是基于光学相干层析成像的推广。通过对场景或物体反射的光与参考场之间产生的干涉条纹进行检测与分析，实现高空间分辨率的瞬态图像数据采集。尽管干涉测量在空间及深度分辨率上具有较高的精度，但对微米级的振动过于敏感，容易造成干扰误差。目前仅局限于对相对简单的场景进行瞬态成像。

2015年，Gkioulekaset等［37］受光学相干层析成像启发，利用干涉测量方法实现空间精度达10 µm分辨率的瞬态图像。基于ToF的频率采样，Kadambi等［38］引入宏观的干涉测量法，解决部分多路径干扰问题，使干涉测量技术在较低信噪比条件下具有鲁棒性。图7展示了Gkioulekaset等［37］干涉测量系统设置及获取的干涉图像。

图7 干涉测量方法及干涉图像[37]Fig.7 Interferometric method and interference image[37]

另一种相似的方法是全息技术。全息技术中用到的参考场是在空间维度扩展的激光脉冲。因不同的反射光脉冲抵达时刻不同，在曝光的感光板上会处于不同的水平位置。根据全息图结果，可以得到皮秒级别的瞬态图像数据。Abramson等［5，39］通过用短光脉冲照射物体表面和全息图板，首次使用全息技术实现了全息成像。

1.4 瞬态成像方法比较

1.2和1.3小节总结了不同的瞬态成像方法，描述了不同瞬态成像方法采用的成像设备及成像过程之间的异同。表1对部分具有代表性瞬态成像方法进行了总结，对瞬态图像数据中空间分辨率及时间分辨率2个成像指标提供直观的定量对比。

表1 不同瞬态成像方法的空间及时间分辨率对比Table 1 Comparison of spatial and temporal resolutions of different transient imaging methods

Larurenzis等［13］将激光门控运用于瞬态成像，实现皮秒级别的瞬态图像采集，代价是对硬件设备的高精度控制存在极大的依赖，如选通门的开闭控制时间。Velten等［8］所采用的条纹相机通过牺牲一个空间维度，直接在时间维度上采集瞬态图像数据，规避了硬件层面上的高精度控制依赖，但需要对同一场景多次扫描以弥补缺失的空间维度，因此成像时间较长，且设备价格较为昂贵。Heide等［1］则采用较为便宜的商业用的ToF相机实现瞬态成像，缺点在于ToF相机采集的数据均需要进行后处理，存在采集误差在一系列后处理中积累放大的风险。Gariepy等［11］则利用SPAD采集瞬态图像数据，通过记录不同时刻抵达的光子数量，同样在时间维度上实现数据记录。SPAD瞬态成像方法的数据精度并不突出，但成像系统操作简单、成本低廉，且对激光脉冲要求不高，能在室外条件下使用，因此SPAD是目前大多数瞬态图像的首选采集方式。

2 基于瞬态图像的非视距成像

NLOS成像技术是瞬态图像在场景解析领域的典型应用，是一种基于瞬态图像数据对非直接可视的隐藏物体进行成像的技术。近年来，随着瞬态成像技术的发展，瞬态图像所记录的场景信息具有更高的空间精度及时间精度，给予了NLOS成像技术更好的数据支持。

NLOS成像技术的成像对象是无法直接可视的隐藏物体，其成像过程是一个病态的逆问题。目前，该技术主要基于瞬态图像数据记录的在场景中多次反射或散射的光脉冲所携带的时间相关强度信息，通过建立NLOS光传输数学模型或数学约束实现对隐藏物体的成像。

作为NLOS成像的数据基础，瞬态图像是否记录了高精度的时空间数据是NLOS成像能否获取高质量结果的关键因素之一。同时，针对瞬态图像，能否建立正确的、高效的以及满足物理意义的光传输物理模型，是NLOS成像技术是否切实可行的关键。本节主要从算法原理及研究目标对基于瞬态图像的NLOS成像算法进行分类。

2.1 非视距成像重建算法

2.1.1 基于反投影法的非视距成像

滤波反投影法（Filter back⁃projection，FBP）是基于瞬态图像数据实现NLOS成像最常用的方法之一。该方法由Velten等［40⁃41］提出，并证明光脉冲经多次反射后，仍携带足够的时间相关场景三维信息，最终实现对隐藏物体反照率体积或三维形状的重建。该作者用一个方程组表征采集的瞬态图像数据与非直接可视的隐藏物体之间的关系，并通过滤波反投影法求解方程实现NLOS成像，成功复原40 cm3空间的隐藏物体，深度精度达亚毫米级。图8展示了反投影算法对场景中隐藏的小人的三维形状实现复原的实际效果。

图8 基于反投影算法复原隐藏物体的三维形状[40-41]Fig.8 Recovering the 3D shape of hidden objects based on back-projection algorithm[40-41]

针对滤波反投影算法成像速度较慢的缺点，Victor等［42］提出一种新的基于反投影的NLOS成像算法。该算法的关键理论在于用椭球空间表征光脉冲与隐藏物体的交点，其中光脉冲发射点及传感器捕获点作为椭球的极点，光脉冲的飞行路径表征椭球长短轴。通过体素化椭球，使算法实现适配现代GPU，在硬件层面上实现算法加速。

通过引入加性误差与乘性误差，Marco等［43］针对提高滤波反投影法重建效果较差这一缺点，提出误差反投影NLOS成像算法。通过引入迭代及舍弃部分误差鲁棒性，实现隐藏物体的重建效果的增强。

针对多个隐藏物体的NLOS成像，Jin等［44］提出一种基于椭球模式分解的反投影重建法。通过椭球分解，对每个隐藏对象进行单独重建，有效消除混叠伪影的影响。

2.1.2 基于逆滤波的非视距成像

O’Toole等［45］提出了共焦NLOS成像，即对中继可见表面同一点进行照明及扫描采集。基于该方法采集的瞬态图像数据在变换域中可以被变换为平移不变三维卷积，即光锥变换（Light⁃cone trans⁃form，LCT）。经过LCT，NLOS成像问题被表达为一个退化的三维图像的复原问题，并可通过维纳滤波实现复原，实现隐藏物体的NLOS成像。Young等［46］在O’Toole等提出的光锥变换基础上，将隐藏物体或场景的表面法线及体素反照率表达为一个向量反卷积问题，实现对物体表面法线及反照率的同时估计，并通过Cholesky⁃Wiener解决上述反卷积问题，克服了LCT算法无法估计曲面法线的缺陷。图9展示了O’Toole等［45］提出的LCT算法与反投影算法对隐藏物体三维形状的复原效果对比。

图9 LCT及反投影算法对隐藏物体三维形状复原效果的对比[45]Fig.9 Comparison of effects of LCT and back projection algorithms on 3D shape restoration of hidden objects[45]

2.1.3 基于逆渲染的非视距成像

Tsai等［3］提出了一种用于重建具有复杂表面的NLOS物体的综合分析框架。该框架的核心是一种新颖的渲染公式，可以高效计算NLOS物体的几何形状及反射率等相关参数的导数。通过引入可微渲染（亦被称为逆渲染或综合分析）用于估计未知参数的导数，恢复NLOS物体的表面位置、表面法线等参数，实现表面复原优化。图10展示了Tsai等［3］基于综合分析框架的隐藏物体表面几何优化过程及结果。

图10 表面几何优化及结果[3]Fig.10 Surface geometry optimization and result[3]

Iseringhausen等［47］提出了一种新的瞬态渲染器，可以有效模拟在场景中经三次反射的间接光脉冲，并在后续可微渲染重建物体表面形状这一反问题中充当正演模型，从而实现比反投影法更高效的物体细节复原。

2.1.4 其他方法

受地震学反演方法的启发，Lindell等［48］提出了一种基于波的NLOS成像模型，采用频域f⁃k偏移法实现NLOS成像。与反投影法相比，f⁃k偏移并不假定NLOS场景仅包含漫反射，该方法对包含各种反射函数（如漫反射、镜面反射等）的场景均适用。与LCT相比，f⁃k偏移不受基于非共焦扫描的瞬态图像数据影响。该方法通过对波动方程进行精确求解，实现NLOS成像。虽然f⁃k偏移法具有速度快、对反射特性及瞬态数据获取方式具有较强的鲁棒性，但波动偏移模型与基于几何光学的NLOS成像并不完全等价，存在无法规避的重构误差，因此f⁃k方法只能作为NLOS成像的近似解决方案。

Liu等［49］通过引入一个被称为向量场的虚拟波场，证明了NLOS成像问题可以被解释为衍射波的传播。利用向量场的Rayleigh⁃Sommerfeld衍射对NLOS场景中基于强度调制的光脉冲传播进行建模，并通过求解Rayleigh⁃Sommerfeld衍射实现对隐藏物体的复原成像。

Xin等［50］提出在可见场景与隐藏物体之间存在费马路径。以费马路径作为飞行路径的光脉冲要么服从镜面反射，要么被物体的边界反射。Tsai等［51］研究的利用光子首次返回时间估计表面形状属于费马路径的特殊情况。Xin等证明费马路径对应于瞬态图像数据中的不连续点，该证明联系了瞬态不连续点与空间导数及表面法线。基于费马路径对隐藏物体的表面形状进行编码可以实现对隐藏物体表面发现进行估计并实现表面重建。图11展示了Xin等［50］表述的费马路径与瞬态不连续点路径长度之间的关系。

图11 费马路径与瞬态不连续点路径长度[50]Fig.11 Fermat path and path length of transient discontinuities[50]

2.2 非视距成像研究目标

NLOS成像技术旨在实现隐藏物体的三维外观或者表面形状重建与复原。根据光脉冲传输的物理意义，基于不同的角度，众多不同的数学模型被提出。根据算法不同特点，不同的研究目标得以实现，如实现隐藏物体外观复原或隐藏物体表面重建。如何高效利用瞬态图像数据、摒弃无效反射光脉冲干扰、提高成像质量或实现复数目标重建、提高成像效率是一件极具挑战性的议题。

2.2.1 反照率体积复原

2012年，Velten等［40］首次提出基于瞬态图像数据恢复NLOS物体的反照率体积。该方法将NLOS物体认知为反照率体。其中，反照率体中的每个体素均蕴藏着反照率信息，体素的集合则表达了隐藏物体的三维形状。Velten等通过场景中仅存在漫反射这一假设，对模型进行简化，降低计算复杂度，代价是无法针对场景实现精确细致的细节重建，仅能实现三维外观的大致复原。同时，基于体素集合的模型无法估计表面法线，无法完成表面形状的重建。图12呈现Tsai等［3］基于瞬态图像数据对隐藏物体的体积复原及表面重建的效果对比。

图12 反照率体积复原及表面形状重建效果对比[3]Fig.12 Comparison of effect of albedo volume restoration and surface shape reconstruction[3]

基于瞬态成像技术在引入共焦设置后，O’Toole等［45］通过光锥变换，将NLOS成像表达为三维退化图像复原问题，并通过维纳滤波后处理实现对隐藏物体的重建复原。共焦设置提高了经多次反射的光脉冲的信号强度，并简化了光脉冲传输模型以适配光锥变换，使时间及空间效率得以提高。基于地震反演法启发的f⁃k偏移法则将光传输模型建模为波传播，联系了波动方程与NLOS成像，从而实现隐藏物体三维外观复原。这些方法在不同程度上均比反投影法更为高效，但本质上仍无法针对隐藏物体表面法线进行估计，无法实现表面形状的精确重建。

2.2.2 表面法线估计

针对隐藏物体的表面形状重建，一系列针对表面法线估计的算法被提出。通过表面法线拟合曲面参数，最终实现表面形状的高精度重建。

Young等［46］通过对O’Toole等［45］提出的标量光锥变换进行向量推广，成功克服无法估计表面法线的缺陷，使表面法线及反照率体积同时被有效估计，并实现隐藏物体三维形状复原及表面形状精确重建。基于NLOS瞬态成像过程，传感器捕捉到携带隐藏物体信息的光脉冲在场景中至少会经过3次反射，包括2次中继墙及1次隐藏物体表面反射。Tsai等［51］针对沿3次反射光路抵达传感器的光脉冲进行研究，提出基于场景首次返回光脉冲实现NLOS成像。场景首次返回光脉冲经中继墙、隐藏物体、中继墙这一最短飞行路径抵达传感器。该光脉冲ToF仅取决于隐藏物体的几何表面形状。因此，基于场景首次返回光脉冲，可以实现隐藏物体表面法线的精确估计。该方法的理论基础是费马最短路径原理。根据费马最短路径原理，Xin等［50］进一步证明了费马路径与瞬态图像数据中的不连续点具有对应关系，不连续点的时间位置仅是隐藏物体表面形状的函数。这一理论概括了Tsai等［51］对首次返回光脉冲的研究，首次返回光脉冲路径是费马路径的特殊情况。Xin等［50］提出的基于费马路径估计表面形状算法只取决于瞬态图像数据的几何约束，与强度约束无关。与之相对，Tsai等［3］提出的基于综合分析法的曲面重建算法主要基于瞬态图像数据的强度约束。使用渲染方程精确建模场景中光脉冲的传输，引入曲面优化方法，通过可微渲染实现蒙特卡洛渲染能有效估计数据辐射强度对隐藏物体表面各反射参数的导数。经多次最小化测量渲染光传输之间的差异，完成对各反射参数的估计，并最终实现对隐藏物体表面形状的精确重建。

总体而言，相对于重建反照率体积，估计隐藏物体的表面法线可以更精细地重建隐藏物体的表面形状，但对瞬态图像数据精度要求更高，对噪声更为敏感，同时具有更高的空间复杂度及时间复杂度。

2.2.3 稀疏分析及表达

相对于非隐藏物体，针对隐藏物体进行瞬态成像，携带有效信息的光脉冲在场景中的ToF较长，且需要进行至少3次反射。因此，NLOS瞬态图像数据信噪比偏低，多路径干扰影响更大。

为了保证NLOS成像算法的重建效果，需要对相应的隐藏物体瞬态图像数据进行去噪增强，减弱多路径干扰的影响。Kadambi等［52］通过稀疏反卷积恢复与多路径光脉冲相对应的冲激脉冲序列。冲激脉冲序列被用于表示稀疏的时间剖面数据，以此解决多路径干扰，提高NLOS瞬态图像数据的信噪比。考虑到经散射和浑浊介质的瞬态成像数据，Heide等［32］提出了基于指数修正的高斯模型，扩充稀疏编码的适用范围。基于深度学习，本文作者课题组设计了一种基于编码⁃解码神经网络模型的瞬态图像数据的压缩和恢复方法［53⁃54］，实现了瞬态图像数据时间维度上的数据特征提取及复原，实现对瞬态图像数据的去噪增强，提高了数据信噪比。

2.2.4 非视距成像重建算法比较

2.1和2.2节总结了不同的NLOS成像重建算法及其重建效果，对不同的NLOS成像重建算法进行分类。表2总结了部分具有代表性的NLOS成像重建算法，对不同算法在成像效果、瞬态图像数据采集设备的异同及是否要求数据共焦等方面进行了直观的对比。

表2 非视距成像重建算法比较Table 2 Comparison of NLOS imaging algorithms

在证明光脉冲经多次反射后仍携带足以重建场景的信息后，Velten等［41］基于条纹相机采集的瞬态图像数据，利用反投影法成功重建隐藏物体的反照率体积。针对反照率体积的重建，亦有O’Toole等［45］基于共焦瞬态图像数据及LCT、Lindell等［48］基于f⁃k偏移、Liu等［49］基于虚拟波等不同的实现方法被相继提出。Tsai等［3］基于综合分析框架及Xin等［50］基于费马路径及瞬态不连续点关系等方法则另辟蹊径，针对隐藏物体的表面法线进行估计，以实现比反照率体积重建更高精度的物体细节复原。

3 总结与展望

本文介绍了不同的瞬态成像技术，对近年来基于瞬态图像的NLOS成像技术所取得的进展进行了梳理总结。瞬态成像技术根据成像原理可以分为光脉冲回波直接采样及光脉冲回波分析两种。不同的成像方式在数据精度、操作难度、安全性和成本等均有所取舍，其中SPAD因成本相对便宜及便于室外扩展等优势，成为近年首选的瞬态成像采集系统。而基于瞬态图像的NLOS成像复原算法则主要可以分为反投影法、逆滤波和逆渲染等方法。根据研究目标的不同，这些算法或可以重建隐藏物体的反照率体积，或可以重建隐藏物体的表面形状。上述技术在近年来不断得到改进及完善，但瞬态图像及基于瞬态图像的NLOS成像仍然面临不少的挑战。如隐藏物体复原精度与蕴藏隐藏物体信息的光子占比较少的矛盾。针对该矛盾，一方面，可以通过改进瞬态成像设备提高捕获具有有效信息光子的比率；另一方面也可以通过构建合适的光传输模型，提出有效的NLOS成像算法，提高隐藏物体的三维外观及表面形状的复原精度。其他也有诸如多路径干扰、相位缠绕、设备操作过难、空间及时间资源损耗过大等问题需要解决。如何应对这些挑战将是基于瞬态图像的NLOS成像技术能否从实验室阶段迈向实用阶段的关键，也是未来研究的难点及热点。