-
MPPC是由多个SPAD组成的光子计数器件,文中采用的S15013系列的二维MPPC图像传感器共有32×32个像素,每个像素由12个子像素(SPAD)并联而成,所以每个像素点都具有12个光子计数级别,等效电路图如图1所示。
SPAD外置高于雪崩电压的反向偏压,以便于被入射光子触发,每一个亚像素都可以被入射光子触发,产生雪崩电流。放电电流经过了淬灭电阻,使二极管上的偏压下降,使其停止雪崩以便接收下一个入射光子。像素的峰值电流取决于触发光子的数量,利用时间数字转换器(Time to Digital Convert, TDC)测量的激光脉冲的飞行时间,和超阈值时间(Time Over Threshold, TOT)技术[17]测量的脉冲宽度之间的相关性来估计峰值电流脉冲。单个SPAD只能判断光子的有无,无法从雪崩电流中读取光的强度,而MPPC技术弥补了这一缺点。MPPC通过计算多个SPAD产生的光子触发事件数来计算光子数,并通过使用合适的阈值电压来区分背景光和激光信号。当接收到的光子数为
$ {n}_{r} $ ,探测效率为$ \eta $ 时,MPPC上的光子触发事件数可以使用泊松分布(参数$ {\lambda }_{s}={n}_{r}\eta $ )来近似,信号检测概率表示为[16]:$$ P\left({n}_{t}\right)={\sum}_{k={n}_{t}}^{\mathrm{\infty }}\frac{{\lambda }_{s}^{k}{\rm{e}}^{-{\lambda }_{s}}}{k!} $$ (1) 将信号检测的阈值设置为
$ {n}_{t} $ 个光子触发事件。通过高通滤波选择一个大于噪声光子事件数的阈值,可以减弱噪声的影响。关于该传感器的阵列结构,读出电路,暗电流,时钟等硬件电路的评估与测试在Mizuno的参考文献[16]中有详细说明。文中主要侧重于三维成像,利用该传感器搭建三维成像系统,研究系统中阈值电压、镜头光阑等参数对成像效果的影响,并据此提出优化成像效果的数据处理方法,实现远距离三维成像。 -
三维成像的核心是激光测距,直接测量TOF是测距方法之一,如图2所示,通过测量光源发射的光反射到目标物并被光传感器接收的时间来计算距离值。阵列中每个MPPC都有单独的TDC用于飞行时间的测量,激光从光源发射出去时TDC被激活,图3所示为时序图,在一个TDC测量窗口的时间内,若接收到激光返回信号,则TDC开始计数,直到测量窗口时间结束停止计数。若测量窗口内没有接收到回波信号,则TDC = 0。飞行时间是通过测量窗口减去TDC测量时间得到,目标距离R为:
$$ R=\frac{\left(W-t\right)\times c}{2},t\in [0,W] $$ (2) 式中:c 为光速;W为TDC测量窗口的时间;t为TDC测量时间。
激光发射后经过待测目标反射,假设激光能量是均匀扩散的,每个像素的入射光子数[16]可表示为:
$$ {n}_{r}=\frac{\tau {D}_{r}^{2}{\rho }_{t}}{4{R}^{2}{N}_{pix}hv}{P}_{t} $$ (3) 式中:
$ \tau $ 为光学透过率;$ {D}_{r} $ 为接收孔径;$ \;{\rho }_{t} $ 为目标表面反射率;$ R $ 为成像距离;$ {N}_{pix} $ 为像素数;$ h $ 为普朗克常数;$ v $ 为激光频率;$ {P}_{t} $ 为激光发射能量。由于实验场地的限制,在$R=37\;{\rm{m}}$ 处,目标物与背景墙面距离较小,可以认为激光光斑内几乎都有可探测物体。传感器光子探测效率约为7%,依据实际实验系统设置,取以下参数:$ \tau =0.6 $ ,${D}_{r}=0.017\;5\;{\rm{m}}$ ,$\; {\rho }_{t}=0.5 $ ,${N}_{pix}= 1\;024$ ,$v=3.314\;92\times {10}^{14}\;{\rm{Hz}}$ ,${P}_{t}=3.6\times {10}^{-7}\;{\rm{J}}$ 。可得到每个像素的入射光子数为26.85,进而得到理论上探测光子数约为1.88。Mizuno等[16]研究了60个光子入射到MPPC的(0,0)单元上时,光子触发阈值和信号检测概率之间的关系,得出大多数由暗计数引起的光子触发事件处于1光子水平(1-Pe)的结论,可使用2-Pe阈值排除大多数底噪,以区分真实信号和暗计数。由公式(3)可知,探测器接收到的光电平与距离R的平方成反比,距离越远信号衰减越快,为了增大回波信号,在硬件上通常可以通过增大接收孔径$ {D}_{r} $ ,增大发射激光功率来提高回波信号,软件上通过多帧数据处理与去噪算法提高成像质量。 -
为了评估基于MPPC阵列器件的三维成像能力,文中设计搭建了一套三维成像系统,展开三维成像实验。其中,三维成像系统器材包括滨松公司的S15013-0125 NP-01型号的光子计数图像传感器,905 nm脉冲光纤激光器,宝视纳公司的FL-CC3516-2 M型号的成像镜头,焦距为35 mm,大恒光电公司的GCX-L010-FC/PC-F40 AC型号的激光准直镜头,以及用于数据处理的普通计算机。系统实物图如图4所示,计算机控制MPPC采集数据,MPPC触发激光器,激光器的输出脉冲宽度为5 ns,单脉冲功率0.36 μJ,激光通过准直镜头后传播到待测目标,经待测目标散射后的光子通过成像镜头被MPPC阵列接收,最后经过计算机的后期处理完成三维成像,系统参数如表1所示。
表 1 基于MPPC的三维成像系统性能参数表
Table 1. Parameters of 3D imaging system based on MPPC
System parameter Value Laser wavelength/nm 905 Laser peak power/W 72.46 Laser pulse width/ns 5 MPPC array size 32×32 (100 μm × 100 μm) MPPC dark count/kcps 2 MPPC photo detection efficiency 7%@900 nm Objective lens focal length/mm 35 Objective lens relative aperture f/1.6-f/16 Collimating lens focal length/mm 40 Collimating spot diameter/mm 11 Collimating spot divergence angle/mrad 0.2 Frame rate 10 kfps(max) TDC measurement window/ns 320 Threshold voltage/V 0.8-1.25 -
TDC的最高时间分辨率为312.5 ps,利用公式(2)可计算出理论上该系统的纵向距离分辨率最高为4.6875 cm。文中所用MPPC像素单元为边长
$x= 100\,\,\text{μm}$ 的正方形,成像镜头焦距$f=35\,\,{\rm{mm}}$ ,将相机成像原理抽象成图5所示,目标成像距离为Z,可得成像系统在距离Z处的横向最小分辨距离X约为:$$ X=\frac{Z\cdot x}{f} $$ (4) 目前MPPC阵列数多在8×8以下,需要不同位置的数据采集,扫描成像和图像处理导致成像速度较慢。文中成像系统具有32×32的大MPPC阵列数,采集1 K像素的成像图只需要一帧,最快帧速为10 kfps,说明系统具备快速成像的基础。在数据处理过程中,根据实验条件的设置和对成像质量的评价,不同距离采用不同帧数进行最终成像,成像速度依据实际情况调节。在较远距离的极弱光下,只需30帧数据即可对目标形成较为清晰的图像。
-
(1)成像效果的评价指标
为了反映成像效果的质量,结合该系统成像图像的特征,采用对比度,噪声与有效信号的比值的结合来综合反映成像质量。对比度在一定程度上可以表征图像的清晰度,文中采用四近邻对比度计算方法[18],计算每个像素点和上下左右四个相邻像素点间的像素值差异。文中的三维成像图中,像素值代表了对应点的深度信息,一般性地,目标物与背景之间具有深度差,对比度在一定程度上反映了目标区域与周围环境的差异,决定了其显著性,该值越大越好。但仅有对比度还无法反映成像质量,因为MPPC阵列成像受噪声点的干扰,噪声点在图像中通常表现为与四周像素值差异过大,此时对比度受其影响偏高,但并不表示图像更清晰,所以需要结合噪声点的影响来综合评价成像效果。噪声点表现为失落信息与距离反常,失落信息为TDC = 0的像素点,距离反常为测量的距离值完全不反映真实距离的像素点。计算成像图1024个像素值中噪声点与有效信号点数量的比值,该值越小越好。将对比度视为指标
$ {x}_{1} $ ,噪声与有效信号的比值视为指标$ {x}_{2} $ ,并将所有指标值归一化到[1,100]区间。$ {x}_{1} $ ,$ {x}_{2} $ 对应的权重为$ {a}_{1} $ ,$ {a}_{2} $ 。对于值越小越好的指标,则数值前加负号,成像质量的评价指标为公式(5),文中T值越高代表成像效果较好。$$ T={a}_{1}{x}_{1}-{a}_{2}{x}_{2} $$ (5) 在实际成像效果中,笔者认为图像的对比度与噪声占比同等重要,因此选择两个相同的比重,取
$ {a}_{1}=0.5 $ ,$ {a}_{2}=0.5 $ 。阈值电压和接收孔径是基于MPPC的三维成像系统的重要参数,对T值有较大影响,在保持其他系统参数不变的情况下,通过调节它们的大小,来提高评价指标T值。(2)阈值电压对成像指标T的影响
通过数据手册可知阈值电压与光子触发事件(Photo-event, Pe)的对应关系如图6所示的蓝色点,红色实线为其对数函数拟合曲线,拟合结果为:
$$ y=0.109\,\mathrm{l}\mathrm{n}\,x+0.875 $$ (6) 阈值电压决定了信号探测概率,理论上阈值电压越高T值越高,成像质量更好,由1.2节可知,当探测光子数远大于2-Pe水平时,暗计数对T值的影响甚微,此时阈值电压越高,排除的低光子水平的触发事件越多,有效信号在所有回波信号中占比则越多。但随着成像距离的增加,回波光子数迅速减少,当探测光子数处于接近单光子水平的极弱光时,过高的阈值电压则有可能将有效信号排除在外,此时阈值电压则需要调整到1-Pe甚至0.5-Pe水平,才能保证从目标返回的光子信号不被滤除。
(3)接收孔径对成像指标T值的影响
接收孔径直接影响进光量的大小,在公式(3)中体现为
$ {D}_{r} $ 的大小,$ {D}_{r} $ 越大入射光子数越多,有效信号点越多,T值也就越大。文中所用的成像镜头以相对孔径f(焦距/接收孔径)来描述光阑通光能力,相对孔径为f/1.6、f/2、f/3、f/4分别代表接收孔径为0.021875、0.0175、0.0117、0.00875 m。在实验中通过调节光阑大小来控制进光量。
3D single photon imaging technology research based on MPPC array
-
摘要: 三维成像技术在自动驾驶、航空任务、军事领域等都有着广泛的应用,不同技术体制的成像系统有不同的优点,其中基于多像素光子计数器(Multi-Pixel Photon Counter, MPPC)的三维成像技术由于其成像速度快、对极弱光敏感等优势具有广阔的发展潜力。然而,由于MPPC阵列发展不成熟,基于MPPC阵列的弱光三维成像探测水平受到限制。利用日本滨松公司研发的具有32×32规模的MPPC阵列S15013系列二维光子计数图像传感器,开发了一套三维成像系统,传感器的每个像素由12个单光子雪崩二极管并联而成,其总探测像素达到1 K以上。基于该系统,分析了阈值电压、镜头光阑等参数条件对三维成像探测结果的影响,对系统探测灵敏度和精度进行了测试,并针对37 m远模拟目标开展了三维成像探测试验。试验结果表明:在回波光子数约1.98 (光子/像素)的暗弱条件下,目标区域测距精度达到0.268 m,三维结构特征明显,达到了接近单光子成像的探测水平。
-
关键词:
- 多像素光子计数器(MPPC) /
- 三维成像 /
- 光子计数器
Abstract: 3D imaging technology is widely used in autopilot, aviation mission and military field. Imaging systems with different technical regimes have different advantages. Among them, three-dimensional imaging technology based on multi-pixel photon counter (MPPC) has broad development potential because of its advantages of fast imaging speed and sensitivity to extremely weak light. However, due to the immature development of MPPC array, the detection level of weak light 3D imaging based on MPPC array is limited. In this paper, a three-dimensional imaging system is developed by using the 32×32 scale MPPC array S15013 series two-dimensional photon counting image sensor developed by Hamamatsu company of Japan. Each pixel of the sensor is composed of 12 single photon avalanche diodes in parallel, and its total detection pixels are more than 1 K. Based on the system, the effects of threshold voltage, lens aperture and other parameters on the three-dimensional imaging detection results are analyzed, the detection sensitivity and accuracy of the system are tested, and the three-dimensional imaging detection test is carried out for the simulated target 37 m away. The experimental results show that under the dark condition of echo photons of about 1.98 photons/pixel, the ranging accuracy of the target area reaches 0.268 m, and the three-dimensional structure characteristics are obvious, which is close to the detection level of single photon imaging.-
Key words:
- MPPC /
- 3D imaging /
- photon counter
-
表 1 基于MPPC的三维成像系统性能参数表
Table 1. Parameters of 3D imaging system based on MPPC
System parameter Value Laser wavelength/nm 905 Laser peak power/W 72.46 Laser pulse width/ns 5 MPPC array size 32×32 (100 μm × 100 μm) MPPC dark count/kcps 2 MPPC photo detection efficiency 7%@900 nm Objective lens focal length/mm 35 Objective lens relative aperture f/1.6-f/16 Collimating lens focal length/mm 40 Collimating spot diameter/mm 11 Collimating spot divergence angle/mrad 0.2 Frame rate 10 kfps(max) TDC measurement window/ns 320 Threshold voltage/V 0.8-1.25 -
[1] Bu Y M, Du X P, Zeng C Y, et al. Research progress and trend analysis of non-scanning laser 3D imaging radar [J]. Chinese Optics, 2018, 11(5): 23-39. (in Chinese) [2] Cao J, Hao Q, Zhang F H, et al. Research progress of APD three-dimensional imaging lidar [J]. Infrared and Laser Engineering, 2020, 49(9): 20190549. (in Chinese) [3] Hao Q, Tao Y, Cao J, et al. Development of pulsed-laser three-dimensional imaging flash lidar using APD arrays [J]. Microw Opt Technol Lett, 2021, 63(10): 2492-2509. [4] Liu B, Yu Y, Jiang S. Review of advances in LiDAR detection and 3D imaging [J]. Opto-Electronic Engineering, 2019, 46(7): 21-33. (in Chinese) [5] Yin Y K, Yu K, Yu C Z, et al. 3D imaging using geometric light field: A review [J]. Chinese Journal of Lasers, 2021, 48(12): 1209001. (in Chinese) [6] Wu G, Masia B, Jarabo A, et al. Light field image processing: An overview [J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 926-954. doi: 10.1109/JSTSP.2017.2747126 [7] Li X, Liu F, Shao X P. Research progress on polarization 3D imaging technology [J]. J Infrared Millim Waves, 2021, 40(2): 248-262. (in Chinese) [8] Liu F, Yan M Y, Li X, et al. Advances in diffused polarization-based three-dimensional imaging technology [J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811015. (in Chinese) [9] Yang P B, Deng L J, Chen Y, et al. Three-dimensional shape measurement of highly reflective objects based on structured light [J]. Chinese Journal of Lasers, 2019, 46(2): 0204004. (in Chinese) [10] ER Eiríksson, Wilm J, Pedersen D B, et al. Precision and accuracy parameters in structured light 3-D scanning [J]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 40-5(W8): 7-15. [11] Chen N J. Review of 3D laser imaging technology [J]. Laser & Infrared, 2015, 45(10): 1152-1156. (in Chinese) [12] He F T, Du Y, Zhang J L, et al. Research on the improved synchronous communication method of photon counting based on MPPC [J]. Laser & Optoelectronics Progress, 2021, 58(21): 2125001. (in Chinese) [13] Nie R J, Xu Z Y, Zhang Q H, et al. Model of electrical characteristics of SiPM array and optimization of front-end design for three-dimentional depth sounder [J]. Optics and Precision Engineering, 2012, 20(8): 1661-1668. (in Chinese) doi: 10.3788/OPE.20122008.1661 [14] He L J, Xue L, Zhai D S, et al. Satellite laser ranging system using MPPC array detector and its experiments [J]. Journal of Optoelectronics Laser, 2016, 27(2): 132-138. (in Chinese) [15] Fu C K, Zheng H B, Wang G, et al. 3D imaging method based on multi-pixel photon counter [J]. Transducer and Microsystem Technologies, 2021, 40(8): 17-19. (in Chinese) [16] Mizuno T, Ikeda H, Nagano T, et al. Three-dimensional image sensor with MPPC for flash LIDAR [J]. Transactions of the Japan Society for Aeronautical and Space Sciences, 2020, 63(2): 42-49. doi: 10.2322/tjsass.63.42 [17] Mei X D, Gong W L, Han S S. Laser ghost imaging based on time-over-threshold technology [J]. Chinese Journal of Lasers, 2020, 47(4): 0410003. (in Chinese) [18] Liu C. Quantitative analysis and assessment research on factors influencing the visual comfort of stereoscopic images[D]. Tianjin: Tianjin University, 2014. (in Chinese)