-
为了验证所提出方法的性能,通过实验横向对比了经典的最大似然估计(Maximum Likelihood Estimation, MLE)、FDTPC[19]、Rapp[11]以及针对多深度目标的ManiPOP[17]、SPISTA方法[16]等。MLE方法假设系统脉冲近似为高斯分布,且背景噪声可忽略不计,在此假设上使用对数匹配滤波,得到深度估计的具体公式为:
文中使用两个指标来评价实验结果:信号重建误差比(Signal to Reconstruction-Error ratio, SRE)和均方根误差(Root Mean Square Error, RMSE),$ SRE = 10\;{\log _{10}}\left( {{{\left\| {\boldsymbol{x}} \right\|}^2}/{{\left\| {{\boldsymbol{x}} - {{\boldsymbol{x}}_{true}}} \right\|}^2}} \right) $,$RMSE = \sqrt {{{\left\| {{\boldsymbol{x}} - {{\boldsymbol{x}}_{true}}} \right\|}^2}/N}$,其中$ N $表示像素总数,${\boldsymbol{x}}$和${{\boldsymbol{x}}_{true}}$分别为估计的深度图和参考深度图。
-
第一个仿真数据使用不同大小的几何形状构成的场景[17],包括$ {N_r} \times {N_c}{\text{ = 99}} \times {\text{99}} $个像素点和$ T = {\text{4\;500}} $个时间单元,每个时间单元的宽度为2 ps,设置激光脉宽$ {T_p} $约为0.8 ns。如图2(a)所示,该场景中不同大小的几何形状在不同位置上重叠,导致每个像素上的表面数不同,位于0~3范围之内。为了验证所提出方法在低信号光子和高背景噪声环境中的鲁棒性,图2比较了在不同每像素接收平均光子数(Photon Per Pixel, PPP)水平和信背比(Signal-to- Background Ratio, SBR)下的所提出方法的深度估计结果。对于不同PPP(11.12、2.23、1.08)和SBR(3.40、0.99、0.13)均使用$ {T_w}{\text{ = }}100 $的窗口大小。
Figure 2. Depth images and 3D point clouds of s of geometric shapes under different PPP and SBR. (a) Surfaces per pixel on geometric shapes; (b) Depth image estimated by MLE under PPP=11.12, SBR=3.40; (c)-(e) Depth images estimated by the proposed method respectively under PPP=11.12 and SBR=3.40, PPP=2.33 and SBR=0.99, PPP=1.08 and SBR=0.13, and (f)-(i) the corresponding 3D point clouds
图2(b)和(f)显示了MLE在PPP=11.12和SBR=3.40下的估计结果,此时目标被噪声所淹没,且不同表面的深度信息互相干扰,偏差较大。图2(c)和(g)显示了所提出方法在同样条件下的结果,有效地处理了背景噪声,同时很好地区分出不同几何形状,能够有效处理0~3个表面数的目标,恢复出场景绝大部分深度信息。当光子计数水平和信背比变低时,所提出方法仍能展现出不错的结果,证明其鲁棒性。
-
第二个仿真数据使用的是前方放置半透明平面的艺术场景[17],包括$ {N_r} \times {N_c}{\text{ = 183}} \times {\text{121}} $个像素点和$ T = {\text{4\;500}} $个时间单元,每个时间单元的宽度为2 ps。该场景每个像素由两个表面组成。仿真实验设置激光脉宽$ {T_p} $为90 ps,半透明平面后PPP=6.89,SBR=14.57。对于FDTPC、Rapp方法和文中所提出方法中的逐像素时域开窗,均使用$ {T_w}{\text{ = }}100 $的窗口大小。所有算法根据在调整参数后得到的深度图像、RMSE、SRE的最佳结果来在试验中选择参数。
图3和图4分别为艺术场景上不同方法的深度图像与点云图像,数值结果如表1所示。可以看出,所有方法的深度估计性能都优于MLE方法。FDTCP、Rapp方法与所提出方法考虑到时间相关性,使用逐像素时域开窗的方法极大程度降低了背景噪声。FDTCP和Rapp方法针对的是每个像素上只存在一个表面的情况,无法同时保留300 mm处的平面与后面的复杂场景,导致深度估计的RMSE与SRE较差。此外,FDTCP的计算复杂度是最低的,但由于该算法没有像Rapp方法一样考虑到空间先验信息,它的深度估计精度也是最差的。针对多表面目标,ManiPOP、SPISTA和文中所提出方法能够有效地处理多深度信息,具有较低的重建误差。文中所提出方法虽然在深度图像平滑方面不如ManiPOP,但从点云图像来看,该方法在每个像素上保留了更多的深度信息、目标更加完整、轮廓更加清晰,与其他方法相比,RMSE减少了至少43.88%,SRE提高了至少21.60%。该方法经过多深度快速去噪后,数据量由$ {\text{183}} \times {\text{121}} \times 4\;500 $减小至$ {\text{183}} \times {\text{121}} \times 100 \times 2 $,$ L = 2 $表示目标的层数,相比于同是处理多深度目标的方法,速度提升2倍以上。
Figure 3. Depth images of the art scene. (a) Reference; (b)-(g) MLE, FDTCP, Rapp, SPISTA, ManiPOP, and proposed method, respectively
Figure 4. 3D point clouds of the art scene. (a) Reference; (b)-(g) MLE, FDTCP, Rapp, SPISTA, ManiPOP, and proposed method, respectively
Method RMSE/mm SRE/dB Processing time/s MLE 187.54 11.11 1.12 FDTCP 233.93 12.65 1.56 Rapp 196.41 12.52 154.43 SPISTA 172.14 16.67 197.12 ManiPOP 155.60 13.66 1103.26 Proposed 87.32 20.27 83.49 Table 1. RMSE, SRE and processing time of different methods on the art scene
-
单光子激光雷达系统原理图如图5所示[21],光源发射重频为10 kHz、波长为1550 nm、宽度为3 ns的激光脉冲,其单脉冲能量为17.4 μJ。输出的激光经准直镜准直后进入出射口径为36 mm的望远镜,进一步聚焦整形后束散角为0.1 mrad,经口径为60 mm的二维扫描振镜偏转,扫描整个目标场景。单光子探测器(MPD PDM-IR)接收目标反射的激光回波和背景光。探测器在门控模式下工作,时间抖动约为70 ps,门控延迟时间为30 ns,并与激光源同步。在此模式下,当初始激光脉冲通过收发模块向外传播时,门控系统会保持关闭状态,从而避免探测到不需要的后向散射。TCSPC模块(PicoQuant PicoHarp 300)记录单光子探测器的响应并计算出每个光子的飞行时间,它的最小时间单元为4 ps。
-
如图6(a)所示,使用单光子激光雷达系统对距离1 km的复杂建筑物进行成像实验。该实验使用$ {N_r} \times {N_c}{\text{ = 200}} \times {\text{200}} $个像素点和$ T = {\text{10\;000}} $个时间单元,每个时间单元的宽度为1 ns。在无窗户散射情况下,将采集时间为50 ms的实验数据作为参考数据集,并对参考数据集进行以下处理:首先以精确的长度进行距离选通,然后通过设置阈值限制背景噪声的影响,最后使用MLE方法得到参考深度图像。关上窗户后,将采集时间为20 ms的实验数据作为测试数据。所有像素上的统计直方图如图6(b)所示,由于玻璃的散射较大,来自玻璃的回波光子数比来自复杂建筑物的回波光子数高出一个量级。许多像素在两个建筑物目标的深度边界,因此该场景每个像素至少有两个表面组成。FDTPC、Rapp方法和文中所提出方法均使用$ {T_w}{\text{ = }}100 $的窗口大小进行逐像素时域开窗,其中文中所提出方法针对此多表面目标选取深度层数$ L = 4 $。
图7和图8分别为复杂建筑物上不同方法的深度图像与点云图像。表2对比了复杂建筑物上不同方法的RMSE、SRE和处理时间。MLE和FDTCP方法受到来自散射光子的影响,完全无法估计出深度图像,具有最差的深度估计性能。Rapp与ManiPOP方法虽然能够探测到更多来自目标的光子,但是Rapp方法在单深度逐像素开窗中保留了玻璃深度附近的响应集合,因此丢失了高建筑物下方的大部分深度信息。而ManiPOP方法出现目标深度过平滑的问题,导致RMSE和SRE较差。相比之下,文中所提出方法与SPISTA方法获得了明显更好的数值和图像结果。尽管深度缺失较多,但这两个方法成功地得到了两个建筑物目标的轮廓,并且将其区分开。所提出方法将逐像素开窗法拓展到多深度目标,更有效地处理了背景噪声,并将数据大小由$ {\text{200}} \times {\text{200}} \times 10\;000 $减小至$ {\text{200}} \times {\text{200}} \times 100 \times 4 $,是原始数据大小的4%。与其他方法相比,在估计精度上RMSE减少了至少27.05%,SRE提高了至少18.39%,在处理速度提升1.21倍以上。
Figure 7. Depth images of complex buildings. (a) Reference; (b)-(g) MLE, FDTCP, Rapp, SPISTA, ManiPOP, and proposed method, respectively
Figure 8. 3D point clouds of complex buildings. (a) Reference; (b)-(g) MLE, FDTCP, Rapp, SPISTA, ManiPOP, and proposed method, respectively
Method RMSE/m SRE/dB Processing time/s MLE 751.04 2.16 4.74 FDTCP 876.05 4.77 4.08 Rapp 424.68 15.81 161.75 SPISTA 65.86 30.12 553.88 ManiPOP 584.98 4.32 738.35 Proposed 48.04 35.66 133.30 Table 2. RMSE, SRE and processing time of different methods on complex buildings
Time-correlated multi-depth estimation of Single-photon lidar
doi: 10.3788/IRLA20210885
- Received Date: 2021-11-24
- Rev Recd Date: 2022-01-11
- Available Online: 2022-03-04
- Publish Date: 2022-02-28
-
Key words:
- single-photon lidar /
- multi-depth image estimation /
- temporal correlation /
- ADMM
Abstract: Single-photon lidar has been widely used to obtain depth and intensity information of a three-dimensional scene. For multi-surface targets, such as when the laser transmit through a translucent surface, the echo signal detected on one pixel may contain multiple peaks. Traditional methods cannot accurately estimate multi-depth images under low photon or relatively high background noise levels. Therefore, a time-correlated multi-depth estimation method was introduced. Based on the time correlation of the signal responses, a multi-depth fast denoising method was adopted to point cloud data, and could identify the signal responses of multiple surfaces from background noise on each pixel. Considering the Poisson distribution model of the signal response set, the spatial correlation between pixels was introduced through total variation (TV) regularization to establish a multi-depth estimation cost function. The fast-converging alternating direction method of multipliers (ADMM) was used to estimate the depth image from the cost function. Experimental results on a multi-depth target at a distance of about 1 km show that the root mean square error (RMSE) and signal to reconstruction-error ratio (SRE) of the depth image estimated by the proposed method can be at least 27.05% and 18.39% better than that of other state-of-the-art methods. In addition, the data volume of this method is reduced to 4% of the original. It is proved that this method can effectively improve the multi-depth image estimation of single-photon lidar with smaller memory requirements and computational complexity.