-
传统的光电成像系统以几何光学为成像准则，受限于单一的信息获取方式，探测器只能记录视域范围内场景的二维强度信息。当成像目标与探测器间的光路被遮挡物阻隔时（如图1所示），由于光场信息的缺失和成像模型的局限，传统成像技术无法对视域范围外的物体进行成像。近年来，随着新型光电传感器的发展和信息计算能力的提升，非视域成像技术蓬勃发展，该技术采集沿间接路径散射传播的光子，并系统地建模光线的传输过程，同时应用场景特征对传输模型进行有效求解，使得超越视域范围成像或追迹成为可能，该技术在辅助自动驾驶、医疗检测、遥感探测、紧急救援和军事侦察领域都有广阔的应用前景。
图 1 视域成像与非视域成像示意图[1]。（a）视域成像；（b）光路被遮挡；（c）非视域成像
Figure 1. Schematic diagrams of line-of-sight imaging and non-line-of-sight imaging. (a) Line-of-sight imaging; (b) Optical path is blocked; (c) None-line-of-sight imaging
非视域成像场景中，目标物隐藏于探测器视域范围外导致信号光子无法被直接采集，只有少数光子在传播时与中继墙面（通常为漫反射表面）发生反射从而被探测器捕获[1]。非视域成像研究表明，光子的超视域传播不是成像的基本限制，有效解译所记录的光场信息可以重建视域范围外物体的三维图像。同时，非视域成像也面临着诸多现实挑战：从场景发出的光子经中继墙面的漫散射后，所携带的与目标场景有关的信息相互混叠，因此利用这些光信号进行非视域场景的高精度重建极具挑战，同时，信号光子的数量随传播时间和传播距离的增加不断衰减，这加剧了远距离非视域目标重建的难度。
为实现非视域成像，科研人员从对光场信息的获取、建模与解译出发，提出了一系列解决方案，文中依据成像机理的不同，将现有方法分为三类：基于相干信息的成像方法、基于二维强度信息的成像方法和基于光子飞行时间的成像方法。其中前两种方法属于被动式成像，基于相干信息的成像方法利用散射光场中残存的光子相干性来定位隐藏目标[2-8]，而基于二维强度信息的成像方法则通过分析隐藏目标投射的本影和半影信息来粗略估计物体的运动轨迹和结构特征[9-12]。基于光子飞行时间的成像方法属于主动式成像，这种方法利用主动光源对场景进行照明，并利用超快光子探测器记录入射光子的强度和飞行时间，通过反演具有时间分辨的瞬态图像形成过程来进行三维重建[1, 13-17]和目标追踪[18-21]。文中详细介绍和分析了这三类非视域成像技术的原理及实现方法。
近年来，国内外相关学者也对非视域成像技术进行了综述工作，归纳总结了不同成像方法的技术特征与实现方式。英国格拉斯哥大学的D. Faccio等人[22]详细分析了从具有时间分辨的采集数据中重建非视域场景的不同方法；美国麻省理工学院的T. Maeda等人[23]对非视域成像方法进行分类比较，并着重分析了各类方法在室外场景应用中面临的挑战。国内多家单位也对非视域成像技术进行了详细的分类总结：伊犁师范学院的X. Wang等人[24]将非视域成像技术分为基于激光距离选通、超快激光、光子技术探测和数字全息技术的四类成像方法；辽宁大学的G. Li等人[25]从多方面讨论了非视域探测与动态追踪技术；东南大学的S. Wu等人[26]分析总结了被动式非视域成像技术；哈尔滨工业大学的C. Jin等人[27]综述了最接近激光雷达构型的基于激光脉冲的非视域成像技术。电子科技大学的R. Geng等人[28]将非视域成像技术分为传统方法和深度学习方法，并讨论了新型非视域场景下的重建方法。
与现有的综述工作不同，文中全面分析了基于相干信息、二维强度信息和光子飞行时间信息的非视域成像技术原理，并在此基础上，在包含多类型目标和室内外场景的公共数据集中，定量测试了基于光子飞行时间的代表性方法的成像性能。进一步地，文中搭建了阵列式非共焦成像装置，单曝光采集了真实场景中的非共焦瞬态图像，并分析了典型非共焦成像方法在该成像架构下的成像能力与其面临的挑战。最终讨论了非视域成像技术的未来发展方向和应用前景。
-
在非视域成像场景中，中继墙面的散射作用改变了光子携带的原始信息，使得采集光场中不再含有可轻易分辨的场景特征，然而相关研究表明，散射后的光子中仍残存有一定的相干性特征，可以用来重建隐藏场景[29]，这类基于相干的成像方法主要包括基于散斑相关的成像方法和基于空间相干的成像方法。
-
用相干光源照射隐藏场景时，探测器可以采集到含有隐藏目标信息的散斑图案，如图2(c)所示，这是由相干光波干涉产生的一种强度波动。散斑图案保留了与目标物相关的角度一致性特征，被称为记忆效应[30-31]。通过分析散斑图案的空间相关性可以重建二维非视域图像[6]。2014年，O. Katz等人[32]证明了记忆效应可应用于空间不相干光源，如荧光光源，并实现了透过散射介质和非视域场景的单次曝光成像，成像结果如图2(d)所示。虽然这类方法可以实现衍射极限的空间分辨率，但记忆效应的有效视场角范围相对较小，其应用范围局限于微观尺度。
2019年，J. Boger-Lombard等人[7]将这一概念扩展到时域范围，通过干涉测量法采集场景的时域散斑图像，并从散射光的时域互相关中提取光子的ToF信息，将时间分辨率提升至数十飞秒，并基于此实现了多个白炽光源的被动式定位。同年，S. Ilya等人[33]对激光束的相位进行相干控制，使光束聚焦于目标物上一点，然后在记忆效应范围内进行扫描，从而得到场景的聚焦图像，该方法可重建的空间分辨率可达1 mm。2020年，C A. Metzler等人[34]设计了一个深度卷积神经网络来解决相关成像中的相位恢复问题，最终实现了微米级别的非视域重建。B. M. Smith等人[5]利用散斑相关的算法实现了多个非视域运动目标的追迹。
-
空间相干性指光波在不同空间位置处的相位相干性，可由高灵敏干涉仪，如双相Sagnac干涉仪（dual-phase sagnac interferometer，DuPSaI）测得[35]，测量装置如图3(a)所示，改变干涉仪的横向位置可以得到被测相干函数的二维相位图，如图3(b)所示。通过关联干涉仪的空间变化和空间相干函数的相位特征，可以重建目标物的深度信息。M. Batarseh等人[36]基于该原理实现了简单二维物体的几何重建。2019年，B. Andre等人[37]将非视域重建任务描述为一个多准则凸优化重建问题，该问题融合了不同尺度下反射场的强度和空间相干信息，然后结合瞬态图像的稀疏性特征和交替方向乘子法（alternate direction method of multipliers method，ADMM）对所提凸规划进行有效求解，最终实现了目标场景的二维重建。基于相干的成像方法也可用于隐藏目标的定位与追踪[38-39]。
此外，与空间相干信息类似的是，2020年，K. Tanaka等人[40]利用偏振信息实现了非视域重建。同样的，还有一些工作利用长波红外[41-42]、声波[43]、无线电波[44]等特定物理参数的高保真性实现了非视域重建。
-
基于相干的成像方法属于被动式成像的范畴，不需要向场景中发射特定的调制光波，其主要利用了散射光场中残存的相干性特征来重建目标场景。其中基于散斑相关的重建精度可达微米量级，但是受限于有效的视场角范围，该方法只适用于微观场景，而基于空间相干的重建算法依赖于高精度的干涉仪器采集场景的相干信息。总体来说，非相干目标物经散射后残存的相干信息过少，因此该算法目前只能重建简单的二维目标物体。
-
基于二维强度信息的成像方法，旨在利用传统相机记录的二维强度信息来实现非视域成像。相比于记录光场相干特征的高精度干涉仪，传统相机具有较低的光子灵敏度，只能采集曝光时间段内被积分的光子强度信息。为实现非视域重建，这类方法通常借助场景中的遮挡信息或物体的表面反照率来辅助建立成像模型，最后对其进行反向求解来完成场景重建。
-
这类方法根据场景中的遮挡物在中继墙面上投射的二维本影或半影信息（如图4(a)所示）来推测隐藏场景的光场信息。首先确定隐藏场景中自然反射的光与遮挡物间的相互作用，然后建立基于遮挡关系的光传输模型，并将模型建模为线性形式，同时结合场景结构的先验信息，对模型进行优化求解，最终实现隐藏场景的重建[9-12, 45]。相关研究证明，由遮挡关系形成的阴影可增加线性模型中传输矩阵的秩，从而使得不适定逆问题的求解更加容易[46]。2018年，M. Baradad等人[11]通过在场景中置入形状和位置已知的遮挡物来重建隐藏目标，如图4(b)~(e)所示，证明了遮挡物越复杂重建质量越佳。2019年C. Saunders等人[12]在场景中置入了形状已知但位置未知的简单遮挡物，首先根据采集的图像对遮挡物的位置进行优化估计，然后联合遮挡物信息建立正向成像模型，最后通过优化求解实现高分辨的二维场景重建，如图5所示。当遮挡物完全未知时，A. B. Yedidia等人[47]利用隐藏目标的稀疏运动来有效估计遮挡物，然后利用估计的遮挡物信息进行反卷积来恢复隐藏场景。2020年，Joshua等人[48]将基于场景遮挡和光子飞行时间的重建算法进行有效结合，从基于遮挡的光传输模型中提取角度分辨率，从时域响应中提取轴向分辨率，最终实现了180°大视角及3 m左右大型目标场景的重建。
基于场景遮挡的重建算法也可用于非视域场景下的目标定位。2017年，K. L. Bouman等人[10]利用隐藏场景中目标物运动造成的墙角地面上细微的空时变化的阴影信息，恢复了运动目标的一维角度轨迹。2019年，S. W. Seidel等人[49]将二维强度信息描述为地面反照率和隐藏场景中光线的非线性组合，在地板表面反照率不均匀的情况下，从单张照片中重建了隐藏目标的一维投影。还有一些工作[46, 50-51]设计了神经网络用来学习由遮挡物投射的阴影特征，证明了深度学习方法对特定场景进行重建、跟踪和目标分类的能力，但其通用性有待进一步的提升。
-
上述工作均假设中继墙面为朗伯表面，当中继墙面的双向反射分布函数趋向镜面反射时，会加剧逆问题的不适定性。2020年，T. Sasaki等人[52]利用全光相机记录中继墙面的全光场图像，同时将中继墙面的双向反射分布函数(bidirectional reflectance distribution function, BRDF)纳入第一类Fredholm积分方程组，严格化表述了物体光场和散射光场间的关系，最后通过求解方程组恢复隐藏场景。2021年，该课题组利用全光场图像中的散射光特征实现了非视域目标定位[53]。2020年，D. Lin等人[54]利用反射特性推导测量图像中的角度信息，利用场景内的遮挡先验推导测量图像中的空间信息，然后结合全光场图像的角度信息与空间信息实现了被动式非视域成像。R. Raskar等人[41]基于长波红外的镜面BRDF特性，使用热成像原理实现了隐藏目标的被动定位和实时位姿检测。
-
基于二维强度信息的成像方法也属于被动成像的范畴，主体上利用传统相机采集的二维强度图像进行场景重建。由于强度图像所能提供的场景信息有限，这类方法通常利用场景中的遮挡关系和表面反照率等先验信息进行重建。基于空间遮挡的重建算法在场景中置入遮挡物使其与目标物间形成遮挡关系，从而建立几何光传播的成像模型，然后利用由遮挡产生的本影或半影信息增强模型中传输矩阵的秩来改善不适定问题的求解，最终实现场景重建，然而这类方法需要在场景中置入遮挡物，并以遮挡物的形状与位置信息为先验，这类强先验条件限制了该方法的实际应用。基于表面反照率的重建算法将场景中物体表面的反照率特征融入成像模型中，提高了算法对中继墙面和重建目标物的鲁棒性。总体而言，由于传统相机所能提供的场景信息有限，基于二维强度信息的成像方法重建精度不高。
-
基于光子飞行时间（time-of-flight，ToF）的成像方案是非视域成像研究中使用最广泛的方法。这种方法利用超快光子探测器记录光子的飞行时间，并基于此建模光子在场景中传播的三次反射过程：如图6(a)所示，主动光源发射的光子沿路径r1照射到中继墙面上一点L，到达墙面的光子随后被散射到隐藏场景中，传播距离r2后到达目标物上一点O，光子在目标物表面再次散射并沿路径r3到达墙面上一点W，最后传播距离r4后到达光子探测器。光在隐藏场景中散射传播而生成球面波，被探测器采集后形成了含有光场三维空时信息的瞬态图像，如图6(b)所示，这些时变的光波包含了重建隐藏场景所需的基本信息。
-
依据所采用的主动光源和光子探测器的不同，现有采集光子飞行时间信息[55]的成像系统大致可分为：脉冲激光+条纹相机、脉冲激光+单光子需崩二极管（single-photon avalanche diode，SPAD）[56-57]、调制光源+幅度调制连续波（amplitude modulated continuous wave，AMCW）ToF相机[58]三类。三类成像系统的典型实现及性能对比如表1所示。
表 1 基于光子飞行时间的成像机制方案对比
Table 1. Comparison of time-of-flight based imaging schemes
Imaging scheme Related work Detector Source Time resolution Pixel size Wavelength/nm Frequency/MHz Pulsed width Pulsed laser & streak camera [Velten et al. 2012] 2 ps 1280×1024 795 75 50 fs [Gupta et al. 2012] 2 ps 1280×1024 795 75 50 fs Pulsed laser & SPAD [Gariepy et al. 2015] 45.5 ps 32×32 800 67 10 fs [O’Toole et al. 2018] 60 ps 1×1 670 10 30.6 ps [Lindell et al. 2019] 70 ps 1×1 532 10 35 ps [Liu et al. 2019] 67 ps 1×1 532 10 35 ps Modulated source & AMCW camera [Heide et al. 2014] 1 ns 160×120 650 - 2-3 ns [Kadambi et al. 2013] 100 ps 160×120 — 50 - 脉冲激光+条纹相机：2012年，A. Velten等人[14]使用飞秒脉冲激光和条纹相机首次在实验中证明了非视域成像的可行性。这种方案采用脉冲宽度为100 fs~100 ps的激光进行场景照明，使用条纹相机记录光子的ToF信息。条纹相机借助光电阴极将通过狭缝的光脉冲转化为电子流，不同时序到达的电子被时变电场投射到探测器的不同位置，从而将时域脉冲信号转化为探测器上的空域信号，经光电倍增后打到荧光屏上转化为光信号被标准电荷耦合器件（charge-coupled device，CCD）采集。条纹相机可以提供最佳的时间分辨率，可达亚皮秒到百飞秒量级，但其生产成本非常昂贵，且光子效率低、信噪比差[59]。
脉冲激光+SPAD：SPAD是工作在击穿电压下的雪崩二极管（avalanche photon diode，APD）[56-57]，具有很大的偏置电压，可导致载流子倍增，其对单个光子的吸收便可造成雪崩击穿，由此产生的电流脉冲信号被探测器检测，同步记录的探测器时间戳编码了光子的飞行时间。SPAD通常与时间相关的单光子计数器（time-correlated single-photon-counting，TCSPC）配合使用，以生成一段时间内光子的“强度时间流”。相比于条纹相机，SPAD具有更高的单光子灵敏度，光子探测效率高达40%，数据采集率也可达亚秒级[60]，且系统相对简单，成本低廉，但其时间分辨率较低（数十皮秒量级），且需要较长的曝光时间[61]。
调制光源+AMCW ToF相机：这种方案采用幅度调制光源进行场景照明，调制方式通常为正弦调制，调制频率范围为10~100 GHz。探测器接收到调制光后依据参考正弦波对其进行解调，最后从解调信号中提取相位延迟信息以解码光子传播路径[62-63]。相比于前述的脉冲ToF相机，AMCW ToF相机成本最低，已被开发用做商业产品，如微软的Kinect和PMD（photonic mixer device）相机，其时间分辨率也可达到数十皮秒[64]，但需要更长的曝光时间，且成像性能受调制频率和信噪比的限制。
-
采集到的光子飞行时间包含了光子在场景中传播的路径信息，即从光源出发依次到达中继墙面、目标物体后再返回中继墙面最终被探测器接收。当中继墙面表面为类镜面特性时，可以通过时间距离选通机制截取由目标物体返回的回波信号，从而对目标区域进行成像。2009年，瑞典国防研究中心和德国光子学和模式识别研究中心的E. Repasi等人[65]利用短波近红外波段光源进行时间距离选通，透过玻璃窗成功重建了房间内的隐藏目标。2012年，北京理工大学的K. Xu等人[66]利用时间距离选通原理，以玻璃窗和瓷砖墙为中继面，成功重建了50 m处的非视域目标。此外，法德圣路易斯研究中心的M. Laurenzis等人[67]和海军工程大学的H. Han等人[68]基于时间距离选通原理，在不同光照条件下实现了非视域重建。
-
采集到包含光子飞行时间的三维空时瞬态图像后，可依据场景的几何特征对光子的传播过程进行正向建模。当成像系统的输入为光脉冲时，探测器所记录的入射光子流随时间变化的信息就成为系统的瞬时脉冲响应，对应于三维空时瞬态图像
$ \tau (x,y,t) $ 。同时，ToF测量机制为隐藏场景中可能的目标位置提供了椭球约束，如图6(a)所示：L和W表示光子经历第一次和第三次反射的点，S和V分别表示光源和探测器的位置，则目标物上一点O位于以L和W为焦点的椭球上，且满足以下等式：$$ \left| {L - O} \right| + \left| {W - O} \right| = ct - \left| {L - S} \right| - \left| {W - V} \right| $$ (1) 式中：c为光速；t为探测器记录的光子到达时间。由于光源和探测器的位置是固定的，因此当光源入射点
$L({x_l},{y_l})$ 和探测点$W({x_w},{y_w})$ 确定时，图6(a)中的距离r1和r4为已知，可以在数据预处理阶段对其进行校准，以使光子飞行时间的起点为$L({x_l},{y_l})$ 点，终点为$W({x_w},{y_w})$ 点。因此，在后续的成像建模过程中，仅考虑传播距离r2和r3。不失一般性地，假设中继墙面位于
$z = 0$ 的位置，则在椭球约束的前提下，瞬态图像的形成过程可表述为：$$ \begin{split} & \tau ({x_w},{y_w},t) = \\ & \iiint\limits_\Omega {\frac{1}{{r_2^2r_3^2}}\rho ({x_o},{y_o},{z_o})}\delta (\sqrt {{{({x_w} - {x_o})}^2} + {{({y_w} - {y_o})}^2} + z_o^2} + \\ & \sqrt {{{({x_l} - {x_o})}^2} + {{({y_l} - {y_o})}^2} z_o^2} - ct){\rm{d}}{x_o}{\rm{d}}{y_o}{\rm{d}}{z_o} \end{split} $$ (2) 式中：
$\rho $ 为隐藏场景中一点的反射率；δ函数为椭球路径约束；r2和r3为光子的两段传播路径。非视域成像问题通过对正向成像模型（公式（2））进行有效求解从而重建场景信息$\rho (x,y,z)$ 。依据求解方法的不同，将现有算法归纳为反投影重建算法、线性优化算法、非线性重建算法、波传播重建算法、合成分析与几何重建算法及深度学习算法六大类，各算法采用的成像设备及成像性能的综合比对如图7所示，将在后续章节分别进行详细阐述。
图 7 基于光子飞行时间的瞬态成像重建算法、硬件系统与成像性能对比
Figure 7. Transient imaging reconstruction algorithm, hardware system and imaging performance comparison based on time-of-flight
-
从测量的瞬态图像中重建非视域目标最早使用的方法是反投影重建算法（back-projection），该算法在2012年被A. Velten等人[14]首次提出。算法大致流程如下：首先将待重建的笛卡尔空间划分为离散体素，然后根据瞬态图像
$ \tau (x,y,t) $ 和基于椭球约束的正向成像模型（公式（2））计算各体素作为目标物可能位置的置信度，并绘制场景热图，如图8(b)所示，最后使用滤波或其他后处理方法得到场景重建结果。由于上述重建过程是对大规模不适定方程的求逆问题，病态程度高，求解难度大、计算负荷重（计算复杂度达到$O({N^5})$ ），因而反投影算法的重建结果精度较低，如图8(c)所示。
为提升重建质量，一些工作在反投影算法的基础上做了进一步的改进[69-76]。2014年，M. Laurenzis等人在重建过程中加入拉普拉斯滤波，并考虑了特征选择[71]与帧间联系[77]，进一步提升了成像分辨率。2017年，V. Arellano等人[76]利用多个椭球约束的交点计算目标物热图，借助图形处理单元（graphics processing units，GPU）将重建速度提高了三个量级；2018年，M. L. Manna等人[69]提出了加性误差反投影算法和乘性误差反投影算法，利用迭代优化提高了场景重建精度；哈尔滨工业大学的C. Jin[73]等人提出了椭球模式分解，将置信度图中的椭球分为不同“簇”，实现了多目标物的重建；2019年，A. Pediredla等人[78]通过照明和扫描中继墙面上的椭球，使测量值聚焦于隐藏场景中的单个体素，用光学方法实现了反投影算法重建。
-
由公式（2）表述的正向成像模型可简化为以下线性问题：
$$ \tau = A\rho $$ (3) 式中：τ∈RM代表离散的瞬态测量值；ρ∈RN表示未知的场景中各点的反照率；A∈RN×M描述了具有时间分辨的光传输过程，包括传输路径的椭球约束和信号的传播衰减等。对公式（3）的求逆问题可以表述为下述正则化最小二乘问题：
$$ \widehat \rho = \mathop {\arg \min }\limits_\rho \left\| {\tau - A\rho } \right\| + {\mathit\Gamma} (\rho ) $$ (4) 式中：
$\mathit\Gamma (\rho )$ 为可引入的场景先验。如假设目标物表面是朗伯的，即发生在物体表面的光散射是各向同性的；或假设隐藏物体间不存在内部光反射；不存在遮挡关系等。求解公式（4）描述的有关
$\rho $ 的凸优化问题可以采用迭代优化的方法[79-82]。2014年，F. Heide等人[80]利用低成本的调制照明光源和PMD相机[83]生成瞬态图像，如图9(a)所示：以gw信号调制的光源经时间延迟τ的传播后到达传感器，PMD传感器用参考信号fw调制采集到的光信号并对其进行时间积分，改变调制信号gw的频率w与相位ϕ，可以获得一系列调制测量值Hw,ϕ，测量信号相对于参考信号的相位延迟表征了光子在场景中的飞行时间，因此可由Hw,ϕ计算获得瞬态图像τ。然后以场景的稀疏先验为正则项建立优化目标函数，并采用优化算法ADMM[84]进行求解，最终的重建结果如图9(b）~（d)所示。
2017年，A. Pediredla等人[82]提出了另外一种线性求解算法，这是一种基于平面的场景表示方法，将待重建的场景描述为不同平面的线性叠加，并提出了一种基于字典的重构算法，将公式（4）中的光传输矩阵A描述为字典D，通过提前在场景中记录不同平面产生的瞬态响应来获得字典D的具体表述形式，最后通过求解优化问题实现了房间结构的重建。2021年，中国科学技术大学的J. Ye等人[85]提出了基于压缩感知的优化重建方法，将公式（4）中的光传输矩阵A描述为感知矩阵，然后利用瞬态测量值的稀疏性特征求解优化问题，这种方法在保持重建质量的同时减少了扫描点数和采集时间。清华大学的X. Liu等人[86]建立了统一的正则化优化框架，该框架融合了隐藏目标的稀疏性、非局部自相似性和信号的平滑性，进一步提升了重建质量。
与反投影算法相比，加入场景先验的线性优化算法可以获得更好的重建质量，但迭代求解过程造成的存储消耗和计算负荷也是巨大的。2018年，M. O’Toole等人[1]利用共焦成像系统和光锥变换算法（light-cone transform，LCT）有效地简化了线性逆问题的求解，将计算复杂度降低到了
$O({N^3}\log N)$ 。如图10(a)所示，在共焦成像系统中，脉冲激光和光子探测器共享同一光路，即三次反射光子在墙面的入射点L等于出射点W，因此光子飞行路径的椭球约束简化为球面约束，这也使得公式（2）可以进一步化简为：
$$ \begin{split} & \tau ({x_w},{y_w},t) = \iiint\limits_\Omega {\frac{1}{{{r^2}}}\rho ({x_o},{y_o},{z_o})} \cdot \\ & \delta (2\sqrt {{{({x_w} - {x_o})}^2} + {{({y_w} - {y_o})}^2} + z_o^2} - ct){\rm{d}}{x_o}{\rm{d}}{y_o}{\rm{d}}{z_o} \end{split} $$ (5) 式中：r表示经过数据预处理后的光子传播路径，如图10(a)所示。公式（5）最显著的性质是对其进行如下积分变量代换：
${{z}_0} = \sqrt u$ ，$\dfrac{{{\rm{d}}{z_0}}}{{{\rm{d}}u}} = \dfrac{1}{{2\sqrt u }}$ ，$v = {\left( {\dfrac{{tc}}{2}} \right)^2}$ ，可以使其表述为标准的三维卷积形式：$$ \begin{split} & \underbrace {{v^{3/2}}\tau ({x_w},{y_w},2\sqrt v /c)}_{{R_t}\{ \tau \} ({x_w},{y_w},v)} = \iiint\limits_\Omega {\underbrace {\frac{1}{{2\sqrt u }}\rho ({x_o},{y_o},\sqrt u )}_{{R_z}\{ \rho \} ({x_o},{y_o},u)}} \cdot \\ & \underbrace {\delta ({{({x_w} - {x_o})}^2} + {{({y_w} - {y_o})}^2} + u - v)}_{h({x_w} - {x_o},{y_w} - {y_o},v - u)}{\rm{d}}{x_o}{\rm{d}}{y_o}{\rm{d}}u \end{split} $$ (6) $$ i.e.{\text{ }}{R_t}\{ \tau \} = h*{R_z}\{ \rho \} $$ 三维反卷积的求逆问题大大降低了存储消耗和计算复杂度，也由此带来了成像精度的进一步提升，重建结果如图10(b）~（d)所示。2018年，该课题组将LCT重建算法在GPU上运行，实现了非视域场景的实时重构[87]。2020年，Bernd等人[88]提出了一种基于定向光锥变换（directional light-cone transform，D-LCT）的非视域曲面重构算法，对隐藏场景的反照率和表面法线进行联合估计，并将其表述为向量反卷积问题，最后使用Cholesky-Wiener分解进行求解，得到了更为精确的曲面重建结果。2021年，中国科学院大学的C. Wu等人[89]基于共焦式成像模型，搭建了近红外双望远镜成像系统，实现了成像距离为1.43 km的远距离非视域成像。
-
对公式（2）所述正向成像模型的更精确表述可以进一步提高重建质量。例如在积分项中加入衰减函数
$ g({x_w},{y_w},{x_o},{y_o},{z_o}) $ 来表征各类与时间无关的衰减效应，包括隐藏表面的反射特性、隐藏表面的法线、目标点与探测点间的可见性、隐藏场景间的部分遮挡等[46, 90-91]。加入衰减函数后，成像模型不再是线性形式，对其求逆只能采用非线性重建算法。2019年，F. Heide等人[91]利用场景本身的遮挡关系在正向成像模型中加入了可视化因子和目标物的表面法线。模型中的可视化因子v∈[0,1]，模拟了中继墙面上一点i到目标物表面上一点j的遮挡关系，如图11(a)中所示，目标点j0和j1的可视化因子分别为1和0.6。通过将目标物表面的BRDF特性建模为空域可变的信号来表征目标物表面法线对成像的影响。最后利用多凸求解器对非线性方程进行求解，获得了比线性重建方法更高的重建质量，重建结果如图11(b-d)所示。
剑桥大学的C. Thrampoulidis课题组[46, 90]也探索了基于遮挡的主动式非视域成像方法，在场景中置入已知形状的遮挡物，并利用由遮挡物造成的目标物与探测点间的可视关系来区分从场景不同部分发出的光，最后利用二项式似然求解算法重建了场景反照率。
-
现有的瞬态渲染器可以利用蒙特卡洛、光线追迹等方式对公式（2）所表述的正向成像模型进行渲染。合成分析算法通过对比渲染器正向合成的数据和真实采集的数据，并对二者的残差进行反向迭代优化，从而重建场景参量，其算法流程如图12（a）所示。
该算法的场景重建任务可以描述为如下非线性最小二乘问题：
$$ \mathop {\arg \min }\limits_P \left\| {{\tau _{ref}} - \tau (G(P))} \right\|_2^2 $$ (7) 式中：P为描述场景的参数矢量；G(∙)为由场景参量主导的场景生成函数；τ(G(P))为渲染器生成的预测图像；τref为实际采集的瞬态图像；通过最小化二者的残差来不断修正场景参数P；最终达到重建场景G(P)的目的。这类方法能够精确重建目标物表面的纹理细节，如图12(b)~(c)所示，但其需要一个完整的场景模型，任何未知因素，如背景噪声都可能造成优化问题的不收敛，同时场景的精确渲染带来的时间消耗也是巨大的，因此前期工作大多基于仿真数据实现[92]。2020年，Julian等人[93]设计了更加高效的瞬态渲染器，并结合GPU加速算法实现了真实场景的重建。J. Klein等人[94]将合成分析算法应用于传统二维强度图像，实现了非视域目标追迹。
上述方法关注的均是瞬态图像的强度信息，然而C. Tsai等人[95]的研究证明，重建隐藏场景不需要记录多反射光子，最早返回的光子记录了探测器与目标物间的最短路径，同时这类信息与目标物表面的边界与法线等几何特征直接相关，因此可以建立最早到达光子与场景特征间的联系，进而实现场景重建。2019年，S. Xin等人[17]进一步扩展了这类几何特征，他们发现单个探测点的瞬态曲线（如图10（b）所示）的跳跃间断点类型直接表征了目标物表面的结构特征：当间断点为局部最小值、局部最大值或鞍点时，对应的目标物表面为凸面、凹面及鞍面，可依据该特征进行目标重建。同时，由于目标物表面的反射特性不影响间断点的几何位置，因此该方法可以应用在多种材质表面的物体上，但是受限于几何特性估计的不准确性，该方法只能用于重建具有简单几何形状的单个目标物。
-
前述重建算法均以几何光学为成像准则进行光传输建模，而波传播重建算法利用时变的波动方程或其他波动光学模型来表征光在隐藏场景中的传输过程[15-16, 96-98]。这类算法的总体思路为：将采集的瞬态图像视为一个波场，并将其在时域上向后传播至某一特定时刻，然后从演化后波场的特定性质中恢复隐藏场景的几何形状。
2019年，S. A. Reza等人[96]从基础物理学的角度出发，为非视域成像提供了一个基于波动光学的理论框架。类似于用电场来描述电磁能的传播，引入了辐照相量场（irradiance phasor field，
${\mathcal {P}} $ -field）来描述光子辐照度的波动，并证明了${\mathcal {P}} $ 场传播子的性能类似于惠更斯-菲涅尔传播子，因而非视域的光传输模型可以用传统视域成像的方法来描述。同年，X. Liu等人[16]提出了基于瑞丽-索末菲衍射的相量场虚拟波成像方法（phasor-field virtual wave optics），推导了三种视域成像系统在非视域场景中的迁移应用。方法的大致流程如图13(a)~(b)所示：将中继墙面看作视域成像系统中的虚拟孔径，并给定相应的照明波前${\mathcal {P}} $ (xp, t)作为虚拟系统的输入，单点脉冲激光入射生成的瞬态图像看作系统的时域脉冲响应H(xp→xc, t)，则计算系统输入与脉冲响应的卷积可以得到虚拟的系统输出${\mathcal {P}} $ (xc, t)，将视域成像系统的像函数Φ作用于系统输出可实现目标场景重建。由于这种方法使用成熟的视域成像求解器进行求解，因此计算复杂度低，成像质量高，可实现大型目标场景的三维重建，重建结果如图13(c)所示。2020年，该课题组基于相量场传播模型理论推导了非视域场景下的横向分辨率损失与Wigner分布函数的关系[99]，作为后续系统与算法优化的理论依据。
除了迁移视域成像方法之外，D. Lindell等人[15]直接用时变的波动方程建模共焦成像系统中的光传输过程，同时将非视域成像问题转换为波场的时域与空域的边值转换问题。由于探测器的空间位置是固定的，因此采集图像对应于波场的空域边界条件；由于共焦系统下的往返光路是等效的，因此建模过程中可以只考虑单向光路，即光从目标物出发经中继墙面散射后到达探测器，假设目标场景在零时刻发出球面波，则场景信息对应于波场的时域边界条件。此时，重建任务可描述为空域边界条件（采集图像）到时域边界条件（目标场景）的转化。频率波数迁移算法（f-k migration）通过波场的空时转化从而实现场景重建。得益于波动光学建模的准确性，该算法可以有效重建具有不同反射率表面的物体，其重建质量相较其他算法也有了大幅提升。
此外，波传播模型使非视域成像与视域成像、超声成像[100]、雷达成像[101]、地震成像[102]等发展成熟的领域建立联系，通过方法的迁移与改进形成了一些更可靠的非视域成像方法。
-
由于采集的非视域瞬态图像具有一些可学习的典型特征，近年来深度学习也成为非视域成像的有力工具[103-109]。2019年，W. Chen等人[105]设计了一种深度学习框架，通过训练隐藏物体表面反射的方向性导致的强度空间变化，实现了连续光照明和传统强度传感器下的高保真彩色非视域重建。2020年，W. Chen等人[106]从瞬态图像中提取了场景的稀疏特征并对其进行学习，然后利用图像渲染器生成场景的RGB图像，最后利用可视化网络和特征图生成场景的深度图。此外，深度学习方法对于推断隐藏目标的部分未知参数是很精准的，如目标类别、目标位置和目标轨迹等。M. Isogawa等人[108]将非视域成像、人体姿态估计与强化学习技术相融合，构建了端到端的数据处理通道，从而将原始的瞬态测量值转换为完整的3 D人体姿态估计。N. Scheiner等人[109]利用多普勒雷达生成瞬态数据，并将多普勒雷达的速度和位置测量值融入到非视域检测和跟踪网络中，实现了室外场景中行人和车辆的动态识别与跟踪。2021年，D. Zhu等人[110]利用深度学习融合点云信息和强度信息，并利用两步重映射策略来加强重建保真度。国内上海科技大学的S. Shen等人[111]利用多层感知器层(multilayer perceptron layers, MLP)构建神经瞬态场，将测量数据映射到隐藏场景中从而实现了无监督学习的NLOS重建。
基于深度学习的重建算法推进了非视域成像技术在实际场景中的应用，然而受限于特定的训练数据集，这类方法对不同场景的适应性不强，只能完成单一的重建任务。
-
基于光子飞行时间的非视域成像方法主体上使用具有时间分辨的探测器记录光子的飞行时间，同时依据场景中固有的几何特征如椭球约束或球约束等建立光子传输模型，最后对建立的成像模型进行有效求解以实现场景重建，不同重建算法的性能对比如表2所示。
表 2 基于光子飞行时间的非视域成像算法性能对比
Table 2. Performance comparison of NLOS algorithms based on time-of-flight
Algorithm Principle Related work Resolution Computational complexity Scenario requirement Back projection Geometrical optics [Velten et al. 2012] Low $O({N^5})$ Lambertian object Linear reconstruction Geometrical optics [O’Toole et al. 2018] Medium $O({N^3}\log N)$ Unlimited [Young et al. 2020] High $O({N^3}\log N)$ Lambertian object Nonlinear
reconstructionGeometrical optics [Heide et al. 2019] Medium $O({N^5})$ Lambertian object Analysis-by-synthesis Geometrical optics [Tsai et al. 2019] High — Unlimited [Xin et al. 2019] Low — Unlimited Wave based reconstruction Wave optics [Lindell et al. 2019] High $O({N^3}\log N)$ Unlimited [Liu et al. 2019] High $O({N^5})$ Non-mirror object Deep learning Geometrical optics [Chen et al. 2020] High Cost of training Unlimited Note: green, yellow and red represent the high, medium and low performance respectively. 从模型建立所依据的成像准则角度上讲，波传播重建算法基于波动光学，其他算法则基于几何光学。后者通过显式地分析光子传播的几何路径来构建正向成像模型（公式（2）），其中反投影重建算法通过计算目标物可能存在位置的置信度来重建场景的概率热图，但其重建精度较低，计算复杂度较大，对场景的要求也较为苛刻；线性重建算法将成像模型描述为线性优化问题，通过迭代求解以获得更高精度的重建结果，其中基于共焦成像系统的LCT算法将求解的计算复杂度降低到了
$O({N^3}\log N)$ ；非线性重建算法对成像模型做了进一步的精细化描述，在保证重建质量的同时增强了算法对复杂场景的适用性；合成分析和几何重建算法将正向模型渲染与反向迭代优化相结合，实现了目标物表面纹理的精确重建，然而精确渲染所需的时间消耗和优化模型对环境变量的敏感使得这类方法在实际场景中的应用受限。事实上，基于几何光学的成像建模需要特定的场景假设，例如：目标物表面是朗伯的、场景内无遮挡关系且物体间不发生内反射、采集的图像中只包含三次反射光子等，这些假设在辅助简化成像模型的同时也降低了场景的重建精度。相比之下，基于波动光学的成像方法建模并利用了采集的多反射光子，同时对场景的约束性较低，因而重建质量较高，得益于视域成像系统和其他成像系统中已发展成熟的求解器，波传播重建算法的计算复杂度较低。最后，深度学习重建算法基于数据驱动实现了非视域场景下的目标定位、轨迹追踪和姿态识别等任务，这类方法在实际场景中的表现较强，但受限于固定的训练数据集，只能处理单一的重建任务。
上述重建方法均基于中继墙面为理想朗伯平面的假设。当中继墙面为非平面结构时，光子的飞行路径将无法直接反应隐藏物体的结构特征，需要对当前的成像模型做进一步的修正，现有方法通过对非平面结构进行预标定，然后将采集数据校正到虚拟平面上来解决此类问题[15]，然而这种方法仅限于处理具有简单非平面结构的中继墙面。当中继墙面的反射特性为非朗伯型时，入射到其表面不同位置光子的反射方向将变得无序，使得当前成像模型无法准确追溯其飞行路径，现有方法在具有纹理变化和凹凸起伏的中继墙面上重建了非视域目标[15]，然而其仅适用于墙面反射率分布在空域上差异较小的情况。本质上，现有方法在非理想中继墙面上的失效是由于当前成像模型只考虑三次反射的光子造成的，未来可从高阶反射光子建模的角度出发来解决该问题。
此外，科研人员也基于光子飞行时间信息开发了一些新型非视域成像场景。C. A. Metzler等人[112]开发了一种锁眼成像的非视域场景，与传统扫描中继墙面的方式不同，该方法将激光经门上的锁眼发射到场景中，非扫描式的采集经锁眼的回波信号，进而对场景中的目标物体进行成像和追迹。C. Henley等人[113]设计了一种新型的双折射非视域成像场景，场景中的目标物体位于两面墙之间，利用激光扫描其中一面墙，光经墙面的反射与目标物的遮挡后达到另一面墙被探测器采集，利用物体对光线的遮挡特性进行三维重建。
-
由于基于光子飞行时间的重建方法是实现非视域重建性能最强、对场景环境最鲁棒、实用性前景最高的方法，选取其中的代表性方法，在现有的公开数据集中，定量比较其重建质量并分析影响重建性能的诸多因素。
选取的代表性方法包括：反投影重建算法（back-projection）[14]、光锥变换算法[1]（light-cone transform，LCT）、定向光锥变换算法[88]（directional light-cone transform，D-LCT）、频率波数迁移算法[15]（f-k migration）和相量场虚拟波成像方法[16]（phasor-field virtual wave optics）。测试数据包括共焦式采集的瞬态图像和非共焦式采集的瞬态图像，测试目标物包括简单平面物体和具有复杂结构的三维物体，测试场景包括室内场景和室外场景。同时，分析了数据采集条件如曝光时间和探测器时间分辨率对各算法重建性能的影响。最后，比较了各重建算法对目标物表面反照率的鲁棒性。
-
现有的大多数光子飞行时间的重建方法均基于M. O’Toole等人[1]提出的共焦式成像架构，因此文中首先比较各重建算法在该成像架构下的重建性能。选取了三组共焦式采集的数据，分别为公开数据集Zaragoza[114]中的简单平面物体“T”、D. Lindell等人[15]公开数据集中的具有复杂结构的室内场景“teaser”和受环境光照影响的室外场景“outdoor”。各方法的重建结果如图14所示。
图 14 基于共焦式图像的各算法重建结果对比
Figure 14. Comparison of reconstructions based on confocal images
从重建结果中可以看出，对于简单平面物体“T”，五个算法都可以成功重建其基本形貌，其中，反投影算法需要对大型不适定问题进行求解，因而其重建精度最低，其他算法在这组数据下的重建质量相当，f-k算法的边缘清晰度最高而LCT算法的边缘较为模糊。“teaser”场景中具有位于不同深度的三个复杂目标物体，分别为书架、雕塑和龙，反投影算法的重建能力较低，只能重建出雕塑的局部模糊特征，LCT和D-LCT算法利用反卷积方法求解线性逆问题，有效避免了对不适定问题的求解，因而成功重建出了场景中的三个主体，但重建的细节较为模糊，如书架上的分辨率板，其中D-LCT算法会对隐藏场景的反照率和表面法线进行联合估计，因而其重建精度高于LCT，f-k和Phasor field算法这两个基于波传播的重建方法能够重建出场景中较近的两个主体，而对于较远的雕塑只能给出模糊的轮廓信息，然而由于波传播方法对波场信息的充分解译，其对较近主体的重建精度较高。第三组数据“outdoor”为室外场景，场景中的太阳光及杂散环境光会增加采集数据的噪声，为场景重建带来挑战，从重建结果中可以看出，Phasor field算法依据室外场景下采集的数据调整虚拟成像系统的脉冲响应，因而对任意光照的鲁棒性最好，其余算法均未考虑环境噪声对成像模型的影响，因而其重建质量受到不同程度的影响，f-k和LCT算法的重建质量下降较小，而反投影和D-LCT算法的重建质量下降较大，受环境光照的影响较大。
除算法的重建质量以外，算法的重建速度会影响其在实际场景下的实时成像能力，在普通CPU （2.3 GHz，Inter Core i5）上测试了各算法的重建速度，统计结果如表3所示。从表中可以看出，D-LCT算法由于需要联合估计目标物反照率与表面法线，其重建速度最慢，f-k算法次之，反投影、LCT和Phasor field算法的重建速度相当。
表 3 基于共焦式图像的各算法重建时间对比(单位:秒)
Table 3. Comparison of reconstruction time based on confocal images (Unit: s)
Back-projection LCT D-LCT f-k Phasor field T 1.22 1.34 7.80 1.89 1.35 Teaser 4.41 4.48 42.94 8.53 4.93 Outdoor 4.13 4.42 52.00 7.03 4.66 -
虽然共焦式采集系统可以将成像模型简化为卷积形式，从而降低重建算法的计算复杂度，提升重建结果的质量。然而工作在共焦式成像架构下的光源和探测器共享同一光路，因此这种采集方式容易受到直接反射光子的影响。直接反射光子是指从光源发出未进入目标空间而直接被墙面反射回探测器的光子，其信号强度远大于重建所需的三次反射光子。虽然可以通过控制探测器的门控机制过滤掉大部分直接反射光子，但这种共焦成像方式仍然影响了采集数据的信噪比。此外，受限于共焦式成像架构的成像原理，共焦式数据的采集只能通过逐点扫描场景的方式完成，所需采集时间长，限制了其在实际场景中的应用能力。相比之下，非共焦式采集受直接反射光子的影响很小，采集数据的信噪比更高，虽然现有的大多数非共焦采集方法仍然依赖于扫描式采集，但是随着阵列式探测器的发展，单曝光非共焦采集逐渐兴起，在第六章中对单曝光非共焦采集下的非视域重建进行了实验验证。在本节中，基于扫描式非共焦式图像，测试各重建方法的重建性能。
选用的测试数据分别为公开数据集Zaragoza[114]中的简单平面物体“Z”和具有复杂结构的三维物体“bunny”以及公开数据集NLoS benchmark[115]中的“bike”。从成像原理上看，反投影和Phasor field算法可以直接处理非共焦数据，而LCT、D-LCT和f-k算法的成像模型是基于共焦式成像系统的，因此只能处理共焦式数据。这里采用D. Lindell等人[15]提出的中值近似转换方法将三组非共焦数据近似转换为共焦式数据，然后基于转换后的数据测试LCT、D-LCT和f-k算法的重建性能。各方法的重建结果如图15所示。
图 15 基于非共焦式图像的各算法重建结果对比
Figure 15. Comparison of reconstructions based on non-confocal images
从重建结果可以看出，对于简单平面物体“Z”，各重建方法均能重建出物体的基本形状，这是由于中值近似转换方法在目标为平面物体时转换误差较小。对于具有复杂结构的物体“bike”和“bunny”，LCT、D-LCT和f-k这三种基于共焦式成像模型的算法重建质量有所下降，相比之下，反投影和Phasor field算法可以重建出目标物体的完整形貌，然而受限于逆问题求解的误差，反投影算法的重建质量低于Phasor field算法，由于后者建模了场景中完整的波传播过程，且在求解中有效利用了多反射光子信息，其重建质量最高，在非共焦成像架构下的重建能力最强。
-
基于光子飞行时间的成像系统采集由目标物返回的光子，由于信号强度微弱，大多数工作通过延长曝光时间来增强信号强度，然而曝光时间的延长会增加数据采集的时间，影响算法的实际应用，因此对比了各算法在不同曝光时间下的重建结果，以测试算法对数据采集要求的严格性。测试数据选用D. Lindell等人[15]公开数据集中的“resolution”，数据采集时所用的扫描网格大小为512×512，曝光时间分别为10、30、60、180 min，各方法的重建结果如图16所示。
图 16 不同曝光时间下的各算法重建结果对比
Figure 16. Comparison of reconstructions using various algorithms at different exposure times
从重建结果可以看出，随着曝光时间的增加，各算法的重建质量均有不同程度的提升，重建结果的信噪比也逐渐增加，其中反投影算法受曝光时间的影响较大，由于其对信号光子的解译度低，当曝光时间较短时反投影算法的重建质量较差。LCT、D-LCT、f-k和Phasor field算法的重建性能受曝光时间的影响较小，其中D-LCT重建结果的信噪比略低于其他三种算法，而f-k和Phasor field算法即使是在曝光时间为10 min时，也能清晰重建分辨率板上的条纹信息，因此基于波传播的f-k和Phasor field算法对数据采集的要求更低。
-
基于光子飞行时间的成像系统利用超快探测器记录光子的时域信息，探测器的时间分辨率影响了采集数据的时域采样率，分析不同采集时间分辨率对各算法重建结果的影响。测试数据选用M. O’Toole等人[1]公开数据集中的“SU”，采集时间分辨率分别为4、16、32、64 ps，各方法的重建结果如图17所示。
图 17 不同采集时间分辨率下的各算法重建结果对比
Figure 17. Comparison of reconstructions using various algorithms at different temporal resolutions
从重建结果可以看出，当时间分辨率为64 ps时，由于时域采样点数减少，各方法重建结果的完整性均出现了不同程度的影响，证明了非视域三维重建需要保证时域采样的密度。对比时间分辨率为4、16、32 ps的三组实验可以发现，Phasor field算法受探测器时间分辨率的影响最小，LCT和D-LCT次之，反投影和f-k算法受探测器时间分辨率的影响较大。此外，对比不同时间分辨率下的重建结果可以发现，当时间分辨率非常小时，重建结果虽然完整度较高但信噪比较差，适当增大时间分辨率可以提高重建结果的信噪比。因此，在实际应用中，应权衡重建结果的信噪比与完整性，选择适用于目标场景的最优时间分辨率。
-
目标物的表面反照率，即光子在到达目标物表面后被其反射的方向和强度，直接影响了超快探测器对返回光子的接收情况。选用了三组具有不同表面反照率的目标物体来测试各方法的鲁棒性。测试数据选用D. Lindell等人[15]公开数据集中的“statue”、“dragon”和“discoball”，其中，“statue”为朗伯表面，“discoball”为镜面表面，“dragon”的表面特性为介于朗伯表面和镜面表面之间的带有光泽的金属表面。各方法的重建结果如图18所示。
图 18 各算法对具有不同表面反照率的目标物的重建结果对比
Figure 18. Comparison of reconstructions of objects with different surface albedo using various algorithms
从重建结果可以看出，对于朗伯表面的物体“statue”，各算法均能重建出物体的基本轮廓，且信噪比较高，其中波传播重建算法f-k和Phasor field的重建精度最高，LCT和D-LCT算法次之，反投影重建算法较差；对于带有光泽的金属表面的物体“dragon”，由于波传播重建方法不需要显式的建模目标物表面的反照率，因此f-k和Phasor field算法均能清晰重建目标物，而反投影、LCT和D-LCT算法的重建质量有不同程度的下降，其中D-LCT算法的鲁棒性较差，重建质量下降程度最大；由于目标物体“discoball”是一个全向镜面的物体，会向周围空间全向反射光子，因此反投影、LCT、D-LCT和Phasor field算法均不同程度的重建出全向反射的光线，相比之下，f-k算法未受到目标物镜面特性的影响而清晰重建出了物体的形貌，证明了其对目标物反照率的鲁棒性。
-
基于现有的公开数据集，本章首先测试了基于光子飞行时间的代表性方法在共焦式成像架构和非共焦式成像架构下的重建质量，其次分析了影响重建性能的数据采集条件及场景环境设置。
从定量测试结果中可以看出，在共焦式成像架构下，反投影重建算法由于逆问题的求解误差较大，因而重建质量最低，此外LCT和D-LCT的深度重建范围较大，f-k和Phasor field算法的深度重建范围较小，但对于近处物体的重建质量较高。在更具实用化前景的非共焦成像架构下，基于共焦成像模型的算法LCT、D-LCT和f-k算法无法有效重建复杂目标物体，反投影和Phasor field算法在该成像架构下的重建能力更强。
从对数据采集（曝光时间及采集时间分辨率等）和场景环境（室外场景及目标物反照率等）的要求可以看出，反投影和D-LCT算法对数据采集的要求较高，需要较长的曝光时间以保证数据具有较高的性噪比，同时其对场景环境的约束性也较强，对室外场景或非朗伯表面目标物的成像能力弱，相比之下，基于波传播的重建方法（f-k和Phasor field算法）不需要显式建模场景及目标物特性，因而对数据采集和场景环境的要求较低，是综合能力最佳的重建算法。
-
如前文所述，共焦式成像系统依赖于逐点扫描场景的方式采集数据，采集时间通常在几分钟甚至小时级别，限制了其在实际场景中的应用。虽然现有的非共焦成像系统也大多基于扫描成像的方式，然而随着阵列式超快探测器（如SPAD阵列）的发展，科研工作者开始探索基于单曝光非共焦图像的非视域重建方法[116-119]，清华大学的C. Pei等人[118]、哈尔滨工业大学的C. Jin等人[116]、中国科学院西安光学精密机械研究所的J. Wu等人[119]均利用SPAD阵列大大缩短了数据的采集时间。文中搭建了基于SPAD阵列和脉冲激光器的非共焦采集系统，单曝光采集了非共焦图像，并测试了典型非共焦重建算法（反投影和Phasor field算法）在该成像架构下的重建能力。
搭建的非共焦采集系统中，SPAD阵列的像素大小为32×32，时间分辨率为55 ps，皮秒脉冲激光器的功率为600 mW，波长为532 nm，频率为20 MHz。此外，系统还包括控制图像采集的数据采集卡以及用于同步激光器和探测器触发信号的信号整形与同步触发装置。激光器发射光线到中继墙面上一点，经墙面漫反射后到达目标场景，由场景返回的信号经墙面反射后被SPAD阵列单曝光采集，形成非共焦图像。设置场景中的目标物为字母“T”、“K”和“F”，利用所搭建的非共焦成像系统单曝光采集不同场景的非共焦图像，然后测试反投影和Phasor field算法在该成像架构下的重建能力，重建结果的三视图如图19所示。
图 19 单曝光非共焦图像下典型算法的重建结果对比
Figure 19. Comparison of reconstructions single-shot non-confocal images using typical algorithms
从重建结果中可以看出，两种算法都能成功重建成像目标的基本形貌，其中Phasor field算法利用波传播模型精确建模了多反射光子，因而重建精度更高。图19所示的重建结果证明了单曝光非共焦非视域成像的可行性，大大减少数据采集时间。然而由于探测器阵列的像素数较少，成像视场（field of view，FOV）较小，现有方法可重建的场景范围有限。同时，单曝光采集的信号光子数量较少，强度较低，影响了算法的重建质量。因此，开发新型成像设备及重建算法，以在有限信号的情况下实现大场景重建是单曝光非共焦成像未来的研究方向。
-
从成像机制、成像模型到成像性能，非视域成像打破了传统光电成像技术的固有局限，为超越视域成像、定位及追踪创造了可能，是成像领域一次新的突破。其高效而精确的处理能力为自动驾驶、智能机器人、远程遥感及国防安全的发展带来了广阔的空间。
文中从基于相干信息、二维强度信息和光子飞行时间的角度出发，综述了各类方法的成像原理、实现方案及重建性能，方法间的综合比对如表4所示。其中基于相干的成像方法中，散斑相关的方法能提供微米级别的重建精度，但受限于有效的视场角范围，只能用于微观场景，空间相干的方法可重建宏观场景，但相干信息的获取方式对环境的敏感度过高；基于二维强度信息的成像方法设备简单最易实现，但大多需要以场景特征为先验；基于光子飞行时间的成像方法可提供当下非视域成像领域的最佳重建结果，可实现宏观复杂场景下的三维重建，且对成像环境具有一定的鲁棒性，是最具发展潜力的一类方法，但其实用化进程需要进一步地优化采集方式（如开发新型采集设备及发展非共焦采集方式）和提升算法在弱信号场景下的成像能力。
表 4 非视域成像方案性能对比
Table 4. Performance comparison of NLOS imaging methods
Imaging method Equipment Resolution Prior Imaging ability Dimension Ambient light Time-of-flight based method Pulsed laser & streak camera High Not required Macroscopic complex object 3D Robust Pulsed laser &SPAD Modulated source & AMCW camera Coherence-based method Speckle-based: passive source &
traditional cameraHigh Part of methods required Microscopic simple object 2D/3D Sensitive Spatial-coherence-based: passive source & interferometer Low Not required Macroscopic simple object Intensity-based method Passive source & traditional camera Medium Required Macroscopic simple object 2D Sensitive Note: green, yellow and red represent the high, medium and low performance respectively. 此外，对成像方法的选取需在特定的应用环境中做进一步地权衡。在进行诸如安全侦察等任务时，对隐藏场景的3D重建是必要的，可对采集时间做相应的妥协从而实现更高精度的重建；然而，在诸如行人检测或路障定位等应用中，追求快速定位和准确追迹，因而可以牺牲重建精度而追求重建速度。
未来，非视域成像技术仍具有广阔的发展空间，文中对其发展方向做进一步讨论。有限范围的中继墙面只能为成像系统提供有限的成像孔径，因此基于三次反射光子的场景重建会存在部分成像盲区[120]，需要更有效的利用高阶反射光来弥补缺失的场景特征。同时，在非视域成像技术的户外应用中，光子的散射多路径效应会导致信号光子强度的急剧衰减，强烈的环境光干扰也会加剧信号光子与背景光子的耦合状态，因此研发高灵敏度的光子探测器以实现弱信号的有效探测和高性能的成像算法以实现强干扰下的弱信号解耦是未来非视域成像的重要目标。基于光子飞行时间的成像是当下主流的远距离成像方案——激光雷达成像的理想延伸，因此对非视域重建算法的有效修正，或将使现有激光雷达系统在进行简单的软件升级后，实现非视域场景重建，这将使得自动驾驶汽车提前感知视觉盲区的行人和路障成为可能。同时，多模态数据融合也为非视域重建提供了更大的进步空间，现有的算法已经尝试利用不同模态的数据进行重建，如长波红外、无线电波、声波、雷达信号等，而如何将多模态数据整合到同一个优化框架下，从而在不同维度上提升整体重建质量，是下一阶段非视域成像的目标之一。同样地，建立非视域成像与视域成像、雷达成像、地震成像等相关领域间的联系，实现算法的有效迁移，可以为非视域成像带来新的创新。
Progress and prospect of non-line-of-sight imaging （invited）
-
摘要: 传统的光学成像技术受限于信息获取和处理方式，只能对视域范围内的目标进行成像。伴随着新型成像设备和高性能计算方法的发展，集光学成像、计算技术和图像处理于一体的非视域成像技术（none-line-of-sight，NLOS）使超越视域范围成像成为可能。文中依据成像机理的差异，将现有非视域成像技术分为三类：基于相干信息的方法、基于二维强度信息的方法和基于光子飞行时间的方法，详细分析了不同成像方法的原理及实现。同时将基于光子飞行时间的方法作为综述重点，在包含多类型目标和室内外场景的公共数据集中，定量比较了代表性方法的成像性能，并进一步设计搭建了阵列式非共焦瞬态成像装置，单曝光采集了真实场景中的非共焦瞬态图像，分析了典型非共焦成像方法在该成像架构下的重建能力。最后讨论了非视域成像技术的未来发展方向并展望了其应用前景。Abstract: Limited by the methods of information acquisition and signal processing, traditional optical imaging technology can only image targets within the visual range. With the development of new imaging equipment and high-performance computing, nonline-of-sight (NLOS) imaging technology, which integrates optical imaging, computing technology and image processing, makes it possible to image beyond the field of view. Based on the differences in imaging mechanisms, we divide the existing NLOS methods into three categories: methods based on spatial coherence, two-dimensional intensity information and time-of-flight. We analyse the principles and implementations of different NLOS technologies. We focus on the time-of-flight methods and compare their imaging performance under the open dataset, which includes multiple types of targets and indoor and outdoor scenarios. Furthermore, we build a nonconfocal transient imaging system based on a detector array, capture the single-shot nonconfocal transient images and analyse the results of nonconfocal NLOS methods using these captured images. Finally, we prospect the future direction and application of nonline-of-sight imaging.
-
图 1 视域成像与非视域成像示意图[1]。（a）视域成像；（b）光路被遮挡；（c）非视域成像
Figure 1. Schematic diagrams of line-of-sight imaging and non-line-of-sight imaging. (a) Line-of-sight imaging; (b) Optical path is blocked; (c) None-line-of-sight imaging
图 7 基于光子飞行时间的瞬态成像重建算法、硬件系统与成像性能对比
Figure 7. Transient imaging reconstruction algorithm, hardware system and imaging performance comparison based on time-of-flight
图 14 基于共焦式图像的各算法重建结果对比
Figure 14. Comparison of reconstructions based on confocal images
图 15 基于非共焦式图像的各算法重建结果对比
Figure 15. Comparison of reconstructions based on non-confocal images
图 16 不同曝光时间下的各算法重建结果对比
Figure 16. Comparison of reconstructions using various algorithms at different exposure times
图 17 不同采集时间分辨率下的各算法重建结果对比
Figure 17. Comparison of reconstructions using various algorithms at different temporal resolutions
图 18 各算法对具有不同表面反照率的目标物的重建结果对比
Figure 18. Comparison of reconstructions of objects with different surface albedo using various algorithms
图 19 单曝光非共焦图像下典型算法的重建结果对比
Figure 19. Comparison of reconstructions single-shot non-confocal images using typical algorithms
表 1 基于光子飞行时间的成像机制方案对比
Table 1. Comparison of time-of-flight based imaging schemes
Imaging scheme Related work Detector Source Time resolution Pixel size Wavelength/nm Frequency/MHz Pulsed width Pulsed laser & streak camera [Velten et al. 2012] 2 ps 1280×1024 795 75 50 fs [Gupta et al. 2012] 2 ps 1280×1024 795 75 50 fs Pulsed laser & SPAD [Gariepy et al. 2015] 45.5 ps 32×32 800 67 10 fs [O’Toole et al. 2018] 60 ps 1×1 670 10 30.6 ps [Lindell et al. 2019] 70 ps 1×1 532 10 35 ps [Liu et al. 2019] 67 ps 1×1 532 10 35 ps Modulated source & AMCW camera [Heide et al. 2014] 1 ns 160×120 650 - 2-3 ns [Kadambi et al. 2013] 100 ps 160×120 — 50 - 
下载: 导出CSV
表 2 基于光子飞行时间的非视域成像算法性能对比
Table 2. Performance comparison of NLOS algorithms based on time-of-flight
Algorithm Principle Related work Resolution Computational complexity Scenario requirement Back projection Geometrical optics [Velten et al. 2012] Low $O({N^5})$ Lambertian object Linear reconstruction Geometrical optics [O’Toole et al. 2018] Medium $O({N^3}\log N)$ Unlimited [Young et al. 2020] High $O({N^3}\log N)$ Lambertian object Nonlinear
reconstructionGeometrical optics [Heide et al. 2019] Medium $O({N^5})$ Lambertian object Analysis-by-synthesis Geometrical optics [Tsai et al. 2019] High — Unlimited [Xin et al. 2019] Low — Unlimited Wave based reconstruction Wave optics [Lindell et al. 2019] High $O({N^3}\log N)$ Unlimited [Liu et al. 2019] High $O({N^5})$ Non-mirror object Deep learning Geometrical optics [Chen et al. 2020] High Cost of training Unlimited Note: green, yellow and red represent the high, medium and low performance respectively.
下载: 导出CSV
表 3 基于共焦式图像的各算法重建时间对比(单位:秒)
Table 3. Comparison of reconstruction time based on confocal images (Unit: s)
Back-projection LCT D-LCT f-k Phasor field T 1.22 1.34 7.80 1.89 1.35 Teaser 4.41 4.48 42.94 8.53 4.93 Outdoor 4.13 4.42 52.00 7.03 4.66
下载: 导出CSV
表 4 非视域成像方案性能对比
Table 4. Performance comparison of NLOS imaging methods
Imaging method Equipment Resolution Prior Imaging ability Dimension Ambient light Time-of-flight based method Pulsed laser & streak camera High Not required Macroscopic complex object 3D Robust Pulsed laser &SPAD Modulated source & AMCW camera Coherence-based method Speckle-based: passive source &
traditional cameraHigh Part of methods required Microscopic simple object 2D/3D Sensitive Spatial-coherence-based: passive source & interferometer Low Not required Macroscopic simple object Intensity-based method Passive source & traditional camera Medium Required Macroscopic simple object 2D Sensitive Note: green, yellow and red represent the high, medium and low performance respectively.
下载: 导出CSV
-
[1] O'Toole M, Lindell D B, Wetzstein G. Confocal non-line-of-sight imaging based on the light-cone transform [J]. Nature, 2018, 555(7696): 338-341. doi: 10.1038/nature25489 [2] Lei Xin, He Liangyu, Tan Yixuan, et al. Direct object recognition without line-of-sight using optical coherence[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 16-20, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 11729-11738. [3] Willomitzer F, Li Fengqiang, Rangarajan P, et al. Non-line-of-sight imaging using superheterodyne interferometry[C]//Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP), 25-28, June, 2018, Orlando, Florida, USA. Washington: Optical Society of America, 2018: CM2E.1. [4] Viswanath A, Rangarajan P, MacFarlane D, et al. Indirect imaging using correlography [C]//Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP), 25-28, June, 2018, Orlando, Florida, USA. Washington: Optical Society of America, 2018: CM2 E.3. [5] Smith B M, O'Toole M, Gupta M, et al. Tracking multiple objects outside the line of sight using speckle imaging [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT. New York: IEEE, 2018:6258-6266. [6] Katz O, Small E, Silberberg Y. Looking around corners and through thin turbid layers in real time with scattered incoherent light [J]. Nature Photonics, 2012, 6(8): 549-553. doi: 10.1038/nphoton.2012.150 [7] Boger-Lombard J, Katz O. Passive optical time-of-flight for non line-of-sight localization [J]. Nature Communications, 2019, 10(1): 3343. doi: 10.1038/s41467-019-11279-6 [8] Balaji M M, Viswanath A, Rangarajan P, et al. Resolving Non Line-of-Sight (NLoS) motion using Speckle [C]//Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP), 25-28, June, 2018, Orlando, Florida, USA. Washington: Optical Society of America, 2018: CM2 E.2. [9] Torralba A, Freeman W T. Accidental pinhole and pinspeck cameras: Revealing the scene outside the picture [C]//2012 IEEE Conference on Computer Vision and Pattern Recognition, Jun 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 374-381. [10] Bouman K L, Ye V, Yedidia A B, et al. Turning corners into cameras: Principles and methods [C]//2017 IEEE International Conference on Computer Vision, Oct 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 2289-2297. [11] Baradad M, Ye V, Yedidia A B, et al. Inferring light fields from shadows [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 18-23, 2018, Salt Lake City, UT, USA. New York: IEEE, 2018: 6267-6275. [12] Saunders C, Murray-Bruce J, Goyal V K. Computational periscopy with an ordinary digital camera [J]. Nature, 2019, 565(7740): 472-475. doi: 10.1038/s41586-018-0868-6 [13] Kirmani A, Hutchison T, Davis J, et al. Looking around the corner using transient imaging [C]//2009 IEEE 12th International Conference on Computer Vision, Sep 27-Oct 4, 2009, Kyoto, Japan. New York: IEEE, 2009: 159-166. [14] Velten A, Willwacher T, Gupta O, et al. Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging [J]. Nature Communications, 2012, 3: 745. doi: 10.1038/ncomms1747 [15] Lindell D B, Wetzstein G, O'Toole M. Wave-based non-line-of-sight imaging using fast f-k migration [J]. ACM Transactions on Graphics, 2019, 38(4): 116. [16] Liu X, Guillen I, La Manna M, et al. Non-line-of-sight imaging using phasor-field virtual wave optics [J]. Nature, 2019, 572(7771): 620-623. doi: 10.1038/s41586-019-1461-3 [17] Xin S, Nousias S, Kutulakos K N, et al. A theory of fermat paths for non-line-of-sight shape reconstruction [C]//2019 IEEE Conference on Computer Vision and Pattern Recognition, Jun 16-20, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 6793-6802. [18] Chan S, Warburton R E, Gariepy G, et al. Fast tracking of hidden objects with single-pixel detectors [J]. Electronics Letters, 2017, 53(15): 1005-1007. doi: 10.1049/el.2017.0993 [19] Chan S, Warburton R E, Gariepy G, et al. Non-line-of-sight tracking of people at long range [J]. Optics Express, 2017, 25(9): 10109-10117. doi: 10.1364/OE.25.010109 [20] Gariepy G, Tonolini F, Henderson R, et al. Detection and tracking of moving objects hidden from view [J]. Nature Photonics, 2015, 10(1): 23-26. [21] Pandharkar R, Velten A, Bardagjy A, et al. Estimating motion and size of moving non-line-of-sight objects in cluttered environments [C]//2011 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2011, Colorado Springs, CO. New York: IEEE, 2011: 265-272. [22] Faccio D, Velten A, Wetzstein G. Non-line-of-sight imaging [J]. Nature Reviews Physics, 2020, 2(6): 318-327. doi: 10.1038/s42254-020-0174-8 [23] Maeda T, Satat G, Swedish T, et al. Recent advances in imaging around corners [J]. arXiv, 2019: 1910.05613. doi: 10.48550/arXiv.1910.05613 [24] Xuefeng W, Xingsu C, Jinshan S, et al. Research status and progress of the non-line-of-sight vision imaging system [J]. Infrared Technology, 2017, 39(1): 8-13. [25] Guodong L, Yue L, Yifei H, et al. Research status and development trend of non-line-of-sight imaging system [J]. Navigation and Control, 2020, 19(1): 27-33,137. [26] Shukong W, Yuning Z. Research progress of passive non-line-of-sight imaging methods [J]. Optoelectronic Technology, 2021, 41(2): 87-93. [27] Chenfei J, Xiaorui T, Meng T, et al. Research advances on non-line-of-sight three-dimensional imaging lidar [J]. Infrared and Laser Engineering, 2022, 51(3): 20210471. doi: 10.3788/IRLA20210471 [28] Geng R, Hu Y, Chen Y. Recent advances on non-line-of-sight imaging: conventional physical models, deep learning, and new scenes [J]. arXiv, 2021: 2104.13807. [29] Freund I. Looking through walls and around corners [J]. Physica A: Statistical Mechanics and its Applications, 1990, 168(1): 49-65. doi: 10.1016/0378-4371(90)90357-X [30] Feng S, Kane C, Lee P A, et al. Correlations and fluctuations of coherent wave transmission through disordered media [J]. Physical Review Letters, 1988, 61(7): 834-837. doi: 10.1103/PhysRevLett.61.834 [31] Freund I, Rosenbluh M, Feng S. Memory effects in propagation of optical waves through disordered media [J]. Physical Review Letters, 1988, 61(20): 2328-2331. doi: 10.1103/PhysRevLett.61.2328 [32] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi: 10.1038/nphoton.2014.189 [33] Starshynov I, Ghafur O, Fitches J, et al. Coherent control of light for non-line-of-sight imaging [J]. Physical Review Applied, 2019, 12(6): 064045. doi: 10.1103/PhysRevApplied.12.064045 [34] Metzler C A, Heide F, Rangarajan P, et al. Deep-inverse correlography: towards real-time high-resolution non-line-of-sight imaging [J]. Optica, 2020, 7(3): 249-251. doi: 10.1364/OPTICA.391291 [35] Naraghi R R, Gemar H, Batarseh M, et al. Wide-field interferometric measurement of a nonstationary complex coherence function [J]. Optics Letters, 2017, 42(23): 4929-4932. doi: 10.1364/OL.42.004929 [36] Batarseh M, Sukhov S, Shen Z, et al. Passive sensing around the corner using spatial coherence [J]. Nature Communications, 2018, 9(1): 3629. doi: 10.1038/s41467-018-05985-w [37] Beckus A, Tamasan A, Ati G K. Multi-modal non-line-of-sight passive imaging [J]. IEEE Transactions on Image Processing, 2019, 28(7): 3372-3382. doi: 10.1109/TIP.2019.2896517 [38] Rangarajan P, Willomitzer F, Cossairt O, et al. Spatially resolved indirect imaging of objects beyond the line of sight [C]//Unconventional and Indirect Imaging, Image Reconstruction, and Wavefront Sensing 2019, Aug 14-15, 2019, San Diego, CA. Bellingham: SPIE-INT SOC Optical Eengineering, 2019: 111350. [39] Willomitzer F, Li F, Balaji M M, et al. High resolution non-line-of-sight imaging with superheterodyne remote digital holography [C]//Computational Optical Sensing and Imaging (COSI, IS, MATH, pcAOP), June 24–27, 2019, Munich Germany. OSA Technical Digest (Optica Publishing Group, 2019), 2019: CM2A.2. [40] Tanaka K, Mukaigawa Y, Kadambi A. Polarized non-line-of-sight imaging [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 2133-2142. [41] Maeda T, Yiqin W, Raskar R, et al. Thermal non-line-of-sight imaging [C]//2019 IEEE International Conference on Computational Photography, May 15-17, 2019, Univ Tokyo, Tokyo, JAPAN. New York: IEEE, 2019: 1-11. [42] Kaga M, Kushida T, Takatani T, et al. Thermal non-line-of-sight imaging from specular and diffuse reflections [J]. IPSJ Transactions on Computer Vision and Applications, 2019, 11(1): 8. doi: 10.1186/s41074-019-0060-4 [43] Lindell D B, Wetzstein G , Koltun V. Acoustic non-line-of-sight imaging [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 16-20, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 6773-82. [44] He Y, Zhang D, Hu Y, et al. Non-line-of-sight imaging with radio signals [C]//2020 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), Dec 7-10, 2020, Auckland, New Zealand. New York: IEEE, 2020: 11-16. [45] Naser F, Gilitschenski I, Rosman G, et al. ShadowCam: Real-time detection of moving obstacles behind a corner for autonomous vehicles [C]//2018 21st International Conference on Intelligent Transportation Systems, Nov 04-07, 2018, Maui, HI. New York: IEEE, 2018: 560-567. [46] Thrampoulidis C, Shulkind G, Xu F, et al. Exploiting occlusion in non-line-of-sight active imaging [J]. IEEE Transactions on Computational Imaging, 2018, 4(3): 419-431. doi: 10.1109/TCI.2018.2829599 [47] Yedidia A B, Baradad M, Thrampoulidis C, et al. Using unknown occluders to recover hidden scenes [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 16-20, 2019, Long Beach, CA. New York: IEEE, 2019: 12223-12231. [48] Rapp J, Saunders C, Tachella J, et al. Seeing around corners with edge-resolved transient imaging [J]. Nature Communications, 2020, 11(1): 5929. doi: 10.1038/s41467-020-19727-4 [49] Seidel S W, Ma Y, Murray-Bruce J, et al. Corner occluder computational periscopy: estimating a hidden scene from a single photograph [C]//2019 IEEE International Conference on Computational Photography, May 15-17, 2019, Tokyo, Japan. New York: IEEE, 2019: 1-9. [50] Chandran S, Jayasuriya S. Adaptive lighting for data-driven non-line-of-sight 3 d localization and object identification [J]. arXiv, 2019: 1905.11595. [51] Zhou C, Wang C-Y, Liu Z. Non-line-of-sight imaging off a phong surface through deep learning [J]. arXiv, 2020: 2005.00007. [52] Sasaki T, Leger J R. Light field reconstruction from scattered light using plenoptic data [J]. Journal of the Optical Society of America A-Optics Image Science and Vision, 2020, 37(4): 653-670. doi: 10.1364/JOSAA.378714 [53] Sasaki T, Leger J R. Non-line-of-sight object location estimation from scattered light using plenoptic data [J]. Journal of the Optical Society of America A, 2021, 38(2): 211-228. doi: 10.1364/JOSAA.394846 [54] Lin D, Hashemi C, Leger J R. Passive non-line-of-sight imaging using plenoptic information [J]. Journal of the Optical Society of America A, 2020, 37(4): 540-551. doi: 10.1364/JOSAA.377821 [55] Velten A, Wu D, Jarabo A, et al. Femto-photography: capturing and visualizing the propagation of light [J]. ACM Transactions on Graphics, 2013, 32(4): 44. [56] Richardson J A, Grant L A, Henderson R K. Low dark count single-photon avalanche diode structure compatible with standard nanometer scale CMOS technology [J]. IEEE Photonics Technology Letters, 2009, 21(14): 1020-1022. doi: 10.1109/LPT.2009.2022059 [57] Gersbach M, Richardson J, Mazaleyrat E, et al. A low-noise single-photon detector implemented in a 130 nm CMOS imaging process [J]. Solid-State Electronics, 2009, 53(7): 803-808. doi: 10.1016/j.sse.2009.02.014 [58] Kadambi A, Whyte R, Bhandari A, et al. Coded time of flight cameras: sparse deconvolution to address multipath interference and recover time profiles [J]. ACM Transactions on Graphics, 2013, 32(6): 1-10. [59] Gao L, Liang J, Li C, et al. Single-shot compressed ultrafast photography at one hundred billion frames per second [J]. Nature, 2014, 516(7529): 74-U159. doi: 10.1038/nature14005 [60] Musarra G, Lyons A, Conca E, et al. Non-line-of-sight three-dimensional imaging with a single-pixel camera [J]. Physical Review Applied, 2019, 12(1): 011002. doi: 10.1103/PhysRevApplied.12.011002 [61] Jarabo A, Masia B, Marco J, et al. Recent advances in transient imaging: a computer graphics and vision perspective [J]. Visual Informatics, 2017, 1(1): 65-79. doi: 10.1016/j.visinf.2017.01.008 [62] Buettgen B, Seitz P. Robust optical time-of-flight range imaging based on smart pixel structures [J]. IEEE Transactions on Circuits and Systems I-Regular Papers, 2008, 55(6): 1512-1525. doi: 10.1109/TCSI.2008.916679 [63] Faccio D, Velten A. A trillion frames per second: the techniques and applications of light-in-flight photography [J]. Rep Prog Phys, 2018, 81(10): 105901. doi: 10.1088/1361-6633/aacca1 [64] Yang L, Zhang L, Dong H, et al. Evaluating and improving the depth accuracy of Kinect for Windows v2 [J]. IEEE Sensors Journal, 2015, 15(8): 4275-4285. doi: 10.1109/JSEN.2015.2416651 [65] Repasi E, Lutzmann P, Steinvall O, et al. Advanced short-wavelength infrared range-gated imaging for ground applications in monostatic and bistatic configurations [J]. Applied Optics, 2009, 48(31): 5956-5969. doi: 10.1364/AO.48.005956 [66] Kaida X, Weiqi J , Jing L, et al. Non-line-of-sight imaging based on laser range-gated imaging technology [J]. Infrared Laser Eng, 2012, 41(8): 2073-2078. [67] Laurenzis M, Velten A. Non-line-of-sight active imaging of scattered photons [C]//Electro-Optical Remote Sensing, Photonic Technologies, and Applications VII; and Military Applications in Hyperspectral Imaging and High Spatial Resolution Sensing, Sep 24-26, 2013, Dresden, Germany. Bellingham: SPIE-INT SOC Optical Engineering, 2019, 8897:47-53. [68] Han H, Zhong W. Experimental study of non-line-of-sight imaging technology [J]. Optical Instruments, 2015, 37(3): 220-225. [69] Marco L M, Fiona K, Eric B, et al. Error backprojection algorithms for non-line-of-sight imaging [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018, 41(7): 1615-1626. [70] Laurenzis M, Velten A. Non-line-of-sight laser gated viewing of scattered photons [J]. Optical Engineering, 2014, 53(2): 023102. doi: 10.1117/1.OE.53.2.023102 [71] Laurenzis M, Velten A. Feature selection and back-projection algorithms for nonline-of-sight laser-gated viewing [J]. Journal of Electronic Imaging, 2014, 23(6): 063003. doi: 10.1117/1.JEI.23.6.063003 [72] Laurenzis M, Klein J, Bacher E, et al. Multiple-return single-photon counting of light in flight and sensing of non-line-of-sight objects at shortwave infrared wavelengths [J]. Optics Letters, 2015, 40(20): 4815-4818. doi: 10.1364/OL.40.004815 [73] Jin C, Xie J, Zhang S, et al. Reconstruction of multiple non-line-of-sight objects using back projection based on ellipsoid mode decomposition [J]. Optics Express, 2018, 26(16): 20089-20101. doi: 10.1364/OE.26.020089 [74] Gupta O, Willwacher T, Velten A, et al. Reconstruction of hidden 3 D shapes using diffuse reflections [J]. Optics Express, 2012, 20(17): 19096-19108. doi: 10.1364/OE.20.019096 [75] Buttafava M, Zeman J, Tosi A, et al. Non-line-of-sight imaging using a time-gated single photon avalanche diode [J]. Optics Express, 2015, 23(16): 20997-21011. doi: 10.1364/OE.23.020997 [76] Arellano V, Gutierrez D, Jarabo A. Fast back-projection for non-line of sight reconstruction [J]. Optics Express, 2017, 25(10): 11574-11583. doi: 10.1364/OE.25.011574 [77] Laurenzis M, Velten A. Investigation of frame-to-frame back projection and feature selection algorithms for non-line-of-sight laser gated viewing [C]//Electro-Optical Remote Sensing, Photonic Technologies, and Applications VIII; and Military Applications in Hyperspectral Imaging and High Spatial Resolution Sensing II, Sep 22-23, 2014, Amsterdam, Netherlands. Bellingham: SPIE-INT SOC Optical Eengineering, 2014: 9250: 113-120. [78] Pediredla A, Dave A, Veeraraghavan A, et al. SNLOS: Non-line-of-sight scanning through temporal focusing [C]//2019 IEEE International Conference on Computational Photography, May 15-17, 2019, Univ Tokyo, Tokyo, Japan. New York: IEEE, 2018: 2164-9774. [79] Wu D, Wetzstein G, Barsi C, et al. Frequency analysis of transient light transport with applications in bare sensor imaging [C]//12th European Conference on Computer Vision, Oct 07-13, 2012, Florence, Italy. Berlin: Springer-Verlag Berlin, 2012: 7572: 542-555. [80] Heide F, Xiao L, Heidrich W, et al. Diffuse mirrors: 3 D reconstruction from diffuse indirect illumination using inexpensive time-of-flight sensors [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, Jun 23-28, 2014, Columbus, OH. New York:IEEE, 2014: 3222-3229. [81] Achuta, Kadambi, Hang, et al. Occluded imaging with time-of-flight sensors [J]. ACM Transactions on Graphics, 2016, 35(2): 1-12. [82] Pediredla A K, Buttafava M, Tosi A, et al. Reconstructing rooms using photon echoes: A plane based model and reconstruction algorithm for looking around the corner [C]//2017 IEEE International Conference on Computational Photography, May 12-14, 2017, Stanford Univ, Stanford, CA. New York: IEEE, 2017: 1-12. [83] Heide F, Hullin M B, Gregson J, et al. Low-budget transient imaging using photonic mixer devices [J]. ACM Transactions on Graphics, 2013, 32(4): 45. [84] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers [J]. Foundations and Trends in Machine Learning, 2010, 3(1): 1-122. doi: 10.1561/2200000016 [85] Ye J-T, Huang X, Li Z-P, et al. Compressed sensing for active non-line-of-sight imaging [J]. Optics Express, 2021, 29(2): 1749-1763. doi: 10.1364/OE.413774 [86] Liu X, Wang J, Li Z, et al. Non-line-of-sight reconstruction with signal–object collaborative regularization [J]. Light: Science & Applications, 2021, 10(1): 198. [87] O'Toole M, Lindell D B, Wetzstein G. Real-time non-line-of-sight imaging [C]//ACM SIGGRAPH 2018 Emerging Technologies, Aug 12-16, 2018, Vancouver, British Columbia, Canada. New York: Association for Computing Machinery, 2018: 1-2. [88] Young S I, Lindell D B, Girod B, et al. Non-line-of-sight surface reconstruction using the directional light-cone transform [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 13-19, 2020, Seattle, WA. USA: IEEE, 2020:1404-1413. [89] Wu C, Liu J, Huang X, et al. Non–line-of-sight imaging over 1.43 km [J]. Proceedings of the National Academy of Sciences, 2021, 118(10): e2024468118. doi: 10.1073/pnas.2024468118 [90] Xu F, Shulkind G, Thrampoulidis C, et al. Revealing hidden scenes by photon-efficient occlusion-based opportunistic active imaging [J]. Optics Express, 2018, 26(8): 9945-9962. doi: 10.1364/OE.26.009945 [91] Heide F, O'Toole M, Zang K, et al. Non-line-of-sight imaging with partial occluders and surface normals [J]. Acm Transactions on Graphics, 2019, 38(3): 22. [92] Chia-Yin T, Sankaranarayanan A C, Gkioulekas I. Beyond volumetric albedo - a surface optimization framework for non-line-of-sight imaging [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 16-20, 2019, Long Beach, CA. USA: IEEE, 2018: 1545-1555. [93] Iseringhausen J, Hullin M B. Non-line-of-sight reconstruction using efficient transient rendering [J]. ACM Transactions on Graphics, 2020, 39(1): 8. [94] Klein J, Peters C, Martin J, et al. Tracking objects outside the line of sight using 2D intensity images [J]. Scientific Reports, 2016, 6: 32491. doi: 10.1038/srep32491 [95] Tsai C-Y, Kutulakos K N, Narasimhan S G, et al. The geometry of first-returning photons for non-line-of-sight imaging [C]//30th IEEE Conference on Computer Vision and Pattern Recognition, Jul 21-26, 2017, Honolulu, HI. New York: IEEE, 2017: 2336-2344. [96] Reza S A, Manna M La, Bauer S, et al. Phasor field waves: a Huygens-like light transport model for non-line-of-sight imaging applications [J]. Optics Express, 2019, 27(20): 29379-29399. [97] Reza S A, Manna M La, Bauer S, et al. Phasor field waves: experimental demonstrations of wave-like properties [J]. Optics Express, 2019, 27(22): 32587-32608. doi: 10.1364/OE.27.032587 [98] Teichman J A. Phasor field waves: a mathematical treatment [J]. Optics Express, 2019, 27(20): 27500-27506. doi: 10.1364/OE.27.027500 [99] Liu X, Velten A. The role of wigner distribution function in non-line-of-sight imaging [C]//2020 IEEE International Conference on Computational Photography (ICCP), Apr 24-26, 2020, Washington Univ St Louis, St Louis, MO. New York: IEEE, 2020: 1-12. [100] Garcia D, Tarnec L L, Muth S, et al. Stolt‘s f-k migration for plane wave ultrasound imaging [J]. IEEE Transactions on Ultrasonics Ferroelectrics & Frequency Control, 2013, 60(9): 1853-1867. [101] Cafforio C, Prati C, Rocca E. SAR data focusing using seismic migration techniques [J]. IEEE Transactions on Aerospace and Electronic Systems, 1991, 27(2): 194-207. doi: 10.1109/7.78293 [102] Numerical methods of exploration seismology: With algorithms in MATLAB [M]. Margrave G F, Lamoureux M P, 2018. [103] Caramazza P, Boccolini A, Buschek D, et al. Neural network identification of people hidden from view with a single-pixel, single-photon detector [J]. Scientific Reports, 2018, 8: 11945. doi: 10.1038/s41598-018-30390-0 [104] Tancik M, Swedish T, Satat G, et al. Data-driven non-line-of-sight imaging with a traditional camera [C]//Imaging and Applied Optics 2018 (3D, AO, AIO, COSI, DH, IS, LACSEA, LS&C, MATH, pcAOP), June 25-28, 2018, Orlando, Florida United States. OSA Technical Digest (Optica Publishing Group), 2018: IW2B.6. [105] Wenzheng C, Daneau S, Brosseau C, et al. Steady-state non-line-of-sight imaging [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 16-20, 2019, Long Beach, CA, USA. New York: IEEE, 2018: 6783-6792. [106] Chen W, Wei F, Kutulakos K N, et al. Learned feature embeddings for non-line-of-sight imaging and recognition [J]. ACM Transactions on Graphics, 2020, 39(6): 230. [107] Chopite J G, Hullin M B, Wand M, et al. Deep non-line-of-sight reconstruction [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 957-966. [108] Isogawa M, Ye Y, O'Toole M, et al. Optical non-line-of-sight physics-based 3D human pose estimation [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 7011-7020. [109] Scheiner N, Kraus F, Fangyin W, et al. Seeing around street corners: non-line-of-sight detection and tracking in-the-wild using doppler radar [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 2065-2074. [110] Zhu D, Cai W. Fast non-line-of-sight imaging with two-step deep remapping [J]. arXiv preprint arXiv, 2021, 2101.10492. [111] Shen S, Wang Z, Liu P, et al. Non-line-of-sight imaging via neural transient fields [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(7): 2257-2268. doi: 10.1109/TPAMI.2021.3076062 [112] Metzler C A, Lindell D B, Wetzstein G. Keyhole imaging: non-line-of-sight imaging and tracking of moving objects along a single optical path [J]. IEEE Transactions on Computational Imaging, 2020, 7: 1-12. [113] Henley C, Maeda T, Swedish T, et al. Imaging behind occluders using two-bounce light [C]//European Conference on Computer Vision, Aug 23-28, 2020, Glasgow, UK. Springer, 2020: 573-588. [114] Galindo M, Marco J , O'Toole M, et al. A dataset for benchmarking time-resolved non-line-of-sight imaging [C]//ACM SIGGRAPH 2019 Posters, Jul 28-Aug 01, 2019, Los Angeles, CA. New York: Association for Computing Machinery, 2019: 1-2. [115] Klein J, Laurenzis M, Michels D L, et al. A quantitative platform for non-line-of-sight imaging problems [C]//British Machine Vision Conference, Sep 6, 2018: 1-13. [116] Jin C, Tang M, Jia L, et al. Scannerless non-line-of-sight three dimensional imaging with a 32 x32 SPAD array [J]. arXiv, 2020(11): 05122. doi: 10.48550/arXiv.2011.05122 [117] Nam J H, Brandt E, Bauer S, et al. Real-time Non-line-of-Sight imaging of dynamic scenes [J]. arXiv, 2020: 2010.12737. doi: 10.48550/arXiv.2010.12737 [118] Pei C, Zhang A, Deng Y, et al. Dynamic non-line-of-sight imaging system based on the optimization of point spread functions [J]. Optics Express, 2021, 29(20): 32349-32364. doi: 10.1364/OE.439372 [119] Jingyao W, Xiuqin S, Jingjing T, et al. Study of theory for transient imaging of hidden object using single-photon array detector [J]. Infrared an d Laser Engineering, 2018, 47(S1): S120002. doi: 10.3788/IRLA201847.S120002 [120] Xiaochun L, Bauer S, Velten A. Analysis of feature visibility in Non-line-of-sight measurements [C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Jun 16-20, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 10132-10140. -
点击查看大图
图(19) / 表(4)
计量
- 文章访问数: 672
- HTML全文浏览量: 108
- PDF下载量: 253
- 被引次数: 0
