-
成像在自动驾驶、医学、工业生产等各个领域都有所应用,根据不同的使用环境,可以利用不同的成像方法。三维成像技术需要同时获得方位信息和距离信息,激光雷达通过发射脉冲激光来获取三维信息,具备主动照明、探测距离远、抗干扰能力强等优点[1-3],但激光雷达机械扫描式装置结构复杂[4],降低成像的帧速率,于是发展了面阵式三维成像。其次,激光雷达成像的关键是测量光脉冲信号在探测器与目标之间的飞行时间(Time of Flight, ToF),要求接收到足够的回波信号,所以追求更高的光子探测效率成为激光成像研究的热点。
为实现不同场景下的三维成像,研究人员研制和开发了不同技术体制的成像系统。如基于光场的三维成像[5],通过对光场数据进行处理和合理地建模实现光场深度估计和光场三维重建。但其角度分辨率是通过牺牲空间分辨率获得的[6],且相机阵列体积较为庞大,电路控制和数据传输较复杂,采集过程耗时较长。基于光偏振特性的三维成像技术[7-8]可实现单个目标的高精度恢复,但对多个不连续目标成像效果不理想。同时对目标物的材质较为敏感,易受到镜面反射的干扰。结构光三维成像技术[9-10]通过对照明光模式的编码和解码能够实现高精度高速度的三维成像,照明易受到环境光的干扰,且适用于近距离成像。另外,距离选通成像技术较为成熟,但存在三维成像帧频较慢等问题,其三维成像的方式决定了它适用于静止或低速运动的目标[11]。近年来,由多个单光子雪崩二极管(Single Photon Avalanche Diode, SPAD)串联淬灭电阻的基础上再并联组成的多像素光子计数器(MPPC)备受关注,因其具有高增益、高光子探测效率、快速响应以及优良的时间分辨率和宽光谱响应范围等显著优点,能够进行闪光成像和实现单光子分辨,在深空通信、核医学检测、距离测量、三维成像等领域存在巨大的应用价值[12]。
MPPC凭借其优异的光电特性和高光子探测效率,已应用在成像领域。中国科学院光电技术研究所的聂瑞杰等[13]分析了MPPC应用于水下三维探测的优势。2016年,中国科学院云南天文台的和丽娟等[14]将4×4的MPPC阵列作为回波探测器,利用卫星激光测距系统,实现了尺寸为60 cm×40 cm的地面静止漫反射靶的激光测距,测距精度均方根误差为21.7 cm。西安交通大学的付程坤[15]搭建了基于MPPC的三维成像系统,通过扫描式成像实现了分辨率为512×512的三维重建,成像距离约为0.5 m。但目前基于MPPC阵列的三维成像系统的阵列数大多在8×8以下,通过扫描拼接实现三维成像,耗时较长。所以探究MPPC的各种光电特性,发挥MPPC的优势,实现精度更高、成像速度更快、光子探测灵敏度更高的三维成像系统是研究者们追求的目标。
文中以二维MPPC光子计数图像传感器为基础搭建了三维成像系统,具有高探测灵敏度和能够实现闪光成像,若能将其与超分辨技术结合以提高空间分辨率,在弱光探测,远距离探测以及动态目标探测方面都会有不错的发展潜力。成像系统以滨松公司的S15013-0125 NP-01型号的光子计数图像传感器[16]作为探测器,该传感器由32×32阵列的MPPC组成,每个MPPC由12个SPAD构成。系统最高时间分辨率为312.5 ps,在900 nm波长下探测效率为7%,可用于弱光环境的成像与远距离测量。文中对系统的相关参数对成像效果的影响开展了性能测试工作,并针对测量结果和被测对象特性优化参数,通过多帧统计处理实现了对37 m远距离目标的实际测试。未来还将对系统的各项参数进行进一步优化,以实现动态目标探测及更远距离的三维成像。
-
MPPC是由多个SPAD组成的光子计数器件,文中采用的S15013系列的二维MPPC图像传感器共有32×32个像素,每个像素由12个子像素(SPAD)并联而成,所以每个像素点都具有12个光子计数级别,等效电路图如图1所示。
SPAD外置高于雪崩电压的反向偏压,以便于被入射光子触发,每一个亚像素都可以被入射光子触发,产生雪崩电流。放电电流经过了淬灭电阻,使二极管上的偏压下降,使其停止雪崩以便接收下一个入射光子。像素的峰值电流取决于触发光子的数量,利用时间数字转换器(Time to Digital Convert, TDC)测量的激光脉冲的飞行时间,和超阈值时间(Time Over Threshold, TOT)技术[17]测量的脉冲宽度之间的相关性来估计峰值电流脉冲。单个SPAD只能判断光子的有无,无法从雪崩电流中读取光的强度,而MPPC技术弥补了这一缺点。MPPC通过计算多个SPAD产生的光子触发事件数来计算光子数,并通过使用合适的阈值电压来区分背景光和激光信号。当接收到的光子数为
$ {n}_{r} $ ,探测效率为$ \eta $ 时,MPPC上的光子触发事件数可以使用泊松分布(参数$ {\lambda }_{s}={n}_{r}\eta $ )来近似,信号检测概率表示为[16]:$$ P\left({n}_{t}\right)={\sum}_{k={n}_{t}}^{\mathrm{\infty }}\frac{{\lambda }_{s}^{k}{\rm{e}}^{-{\lambda }_{s}}}{k!} $$ (1) 将信号检测的阈值设置为
$ {n}_{t} $ 个光子触发事件。通过高通滤波选择一个大于噪声光子事件数的阈值,可以减弱噪声的影响。关于该传感器的阵列结构,读出电路,暗电流,时钟等硬件电路的评估与测试在Mizuno的参考文献[16]中有详细说明。文中主要侧重于三维成像,利用该传感器搭建三维成像系统,研究系统中阈值电压、镜头光阑等参数对成像效果的影响,并据此提出优化成像效果的数据处理方法,实现远距离三维成像。 -
三维成像的核心是激光测距,直接测量TOF是测距方法之一,如图2所示,通过测量光源发射的光反射到目标物并被光传感器接收的时间来计算距离值。阵列中每个MPPC都有单独的TDC用于飞行时间的测量,激光从光源发射出去时TDC被激活,图3所示为时序图,在一个TDC测量窗口的时间内,若接收到激光返回信号,则TDC开始计数,直到测量窗口时间结束停止计数。若测量窗口内没有接收到回波信号,则TDC = 0。飞行时间是通过测量窗口减去TDC测量时间得到,目标距离R为:
$$ R=\frac{\left(W-t\right)\times c}{2},t\in [0,W] $$ (2) 式中:c 为光速;W为TDC测量窗口的时间;t为TDC测量时间。
激光发射后经过待测目标反射,假设激光能量是均匀扩散的,每个像素的入射光子数[16]可表示为:
$$ {n}_{r}=\frac{\tau {D}_{r}^{2}{\rho }_{t}}{4{R}^{2}{N}_{pix}hv}{P}_{t} $$ (3) 式中:
$ \tau $ 为光学透过率;$ {D}_{r} $ 为接收孔径;$ \;{\rho }_{t} $ 为目标表面反射率;$ R $ 为成像距离;$ {N}_{pix} $ 为像素数;$ h $ 为普朗克常数;$ v $ 为激光频率;$ {P}_{t} $ 为激光发射能量。由于实验场地的限制,在$R=37\;{\rm{m}}$ 处,目标物与背景墙面距离较小,可以认为激光光斑内几乎都有可探测物体。传感器光子探测效率约为7%,依据实际实验系统设置,取以下参数:$ \tau =0.6 $ ,${D}_{r}=0.017\;5\;{\rm{m}}$ ,$\; {\rho }_{t}=0.5 $ ,${N}_{pix}= 1\;024$ ,$v=3.314\;92\times {10}^{14}\;{\rm{Hz}}$ ,${P}_{t}=3.6\times {10}^{-7}\;{\rm{J}}$ 。可得到每个像素的入射光子数为26.85,进而得到理论上探测光子数约为1.88。Mizuno等[16]研究了60个光子入射到MPPC的(0,0)单元上时,光子触发阈值和信号检测概率之间的关系,得出大多数由暗计数引起的光子触发事件处于1光子水平(1-Pe)的结论,可使用2-Pe阈值排除大多数底噪,以区分真实信号和暗计数。由公式(3)可知,探测器接收到的光电平与距离R的平方成反比,距离越远信号衰减越快,为了增大回波信号,在硬件上通常可以通过增大接收孔径$ {D}_{r} $ ,增大发射激光功率来提高回波信号,软件上通过多帧数据处理与去噪算法提高成像质量。 -
为了评估基于MPPC阵列器件的三维成像能力,文中设计搭建了一套三维成像系统,展开三维成像实验。其中,三维成像系统器材包括滨松公司的S15013-0125 NP-01型号的光子计数图像传感器,905 nm脉冲光纤激光器,宝视纳公司的FL-CC3516-2 M型号的成像镜头,焦距为35 mm,大恒光电公司的GCX-L010-FC/PC-F40 AC型号的激光准直镜头,以及用于数据处理的普通计算机。系统实物图如图4所示,计算机控制MPPC采集数据,MPPC触发激光器,激光器的输出脉冲宽度为5 ns,单脉冲功率0.36 μJ,激光通过准直镜头后传播到待测目标,经待测目标散射后的光子通过成像镜头被MPPC阵列接收,最后经过计算机的后期处理完成三维成像,系统参数如表1所示。
表 1 基于MPPC的三维成像系统性能参数表
Table 1. Parameters of 3D imaging system based on MPPC
System parameter Value Laser wavelength/nm 905 Laser peak power/W 72.46 Laser pulse width/ns 5 MPPC array size 32×32 (100 μm × 100 μm) MPPC dark count/kcps 2 MPPC photo detection efficiency 7%@900 nm Objective lens focal length/mm 35 Objective lens relative aperture f/1.6-f/16 Collimating lens focal length/mm 40 Collimating spot diameter/mm 11 Collimating spot divergence angle/mrad 0.2 Frame rate 10 kfps(max) TDC measurement window/ns 320 Threshold voltage/V 0.8-1.25 -
TDC的最高时间分辨率为312.5 ps,利用公式(2)可计算出理论上该系统的纵向距离分辨率最高为4.6875 cm。文中所用MPPC像素单元为边长
$x= 100\,\,\text{μm}$ 的正方形,成像镜头焦距$f=35\,\,{\rm{mm}}$ ,将相机成像原理抽象成图5所示,目标成像距离为Z,可得成像系统在距离Z处的横向最小分辨距离X约为:$$ X=\frac{Z\cdot x}{f} $$ (4) 目前MPPC阵列数多在8×8以下,需要不同位置的数据采集,扫描成像和图像处理导致成像速度较慢。文中成像系统具有32×32的大MPPC阵列数,采集1 K像素的成像图只需要一帧,最快帧速为10 kfps,说明系统具备快速成像的基础。在数据处理过程中,根据实验条件的设置和对成像质量的评价,不同距离采用不同帧数进行最终成像,成像速度依据实际情况调节。在较远距离的极弱光下,只需30帧数据即可对目标形成较为清晰的图像。
-
(1)成像效果的评价指标
为了反映成像效果的质量,结合该系统成像图像的特征,采用对比度,噪声与有效信号的比值的结合来综合反映成像质量。对比度在一定程度上可以表征图像的清晰度,文中采用四近邻对比度计算方法[18],计算每个像素点和上下左右四个相邻像素点间的像素值差异。文中的三维成像图中,像素值代表了对应点的深度信息,一般性地,目标物与背景之间具有深度差,对比度在一定程度上反映了目标区域与周围环境的差异,决定了其显著性,该值越大越好。但仅有对比度还无法反映成像质量,因为MPPC阵列成像受噪声点的干扰,噪声点在图像中通常表现为与四周像素值差异过大,此时对比度受其影响偏高,但并不表示图像更清晰,所以需要结合噪声点的影响来综合评价成像效果。噪声点表现为失落信息与距离反常,失落信息为TDC = 0的像素点,距离反常为测量的距离值完全不反映真实距离的像素点。计算成像图1024个像素值中噪声点与有效信号点数量的比值,该值越小越好。将对比度视为指标
$ {x}_{1} $ ,噪声与有效信号的比值视为指标$ {x}_{2} $ ,并将所有指标值归一化到[1,100]区间。$ {x}_{1} $ ,$ {x}_{2} $ 对应的权重为$ {a}_{1} $ ,$ {a}_{2} $ 。对于值越小越好的指标,则数值前加负号,成像质量的评价指标为公式(5),文中T值越高代表成像效果较好。$$ T={a}_{1}{x}_{1}-{a}_{2}{x}_{2} $$ (5) 在实际成像效果中,笔者认为图像的对比度与噪声占比同等重要,因此选择两个相同的比重,取
$ {a}_{1}=0.5 $ ,$ {a}_{2}=0.5 $ 。阈值电压和接收孔径是基于MPPC的三维成像系统的重要参数,对T值有较大影响,在保持其他系统参数不变的情况下,通过调节它们的大小,来提高评价指标T值。(2)阈值电压对成像指标T的影响
通过数据手册可知阈值电压与光子触发事件(Photo-event, Pe)的对应关系如图6所示的蓝色点,红色实线为其对数函数拟合曲线,拟合结果为:
$$ y=0.109\,\mathrm{l}\mathrm{n}\,x+0.875 $$ (6) 阈值电压决定了信号探测概率,理论上阈值电压越高T值越高,成像质量更好,由1.2节可知,当探测光子数远大于2-Pe水平时,暗计数对T值的影响甚微,此时阈值电压越高,排除的低光子水平的触发事件越多,有效信号在所有回波信号中占比则越多。但随着成像距离的增加,回波光子数迅速减少,当探测光子数处于接近单光子水平的极弱光时,过高的阈值电压则有可能将有效信号排除在外,此时阈值电压则需要调整到1-Pe甚至0.5-Pe水平,才能保证从目标返回的光子信号不被滤除。
(3)接收孔径对成像指标T值的影响
接收孔径直接影响进光量的大小,在公式(3)中体现为
$ {D}_{r} $ 的大小,$ {D}_{r} $ 越大入射光子数越多,有效信号点越多,T值也就越大。文中所用的成像镜头以相对孔径f(焦距/接收孔径)来描述光阑通光能力,相对孔径为f/1.6、f/2、f/3、f/4分别代表接收孔径为0.021875、0.0175、0.0117、0.00875 m。在实验中通过调节光阑大小来控制进光量。 -
待测目标为边长66、30.6 cm的多边形纸板,如图7所示。实验中,目标和成像系统接收镜头之间距离约5 m,此时光斑基本能够刚好覆盖目标,且只需要单帧数据就能成像,无需进行数据处理,能够直接研究阈值电压和接收孔径对T值的影响。光阑相对孔径为f/3,计算得到探测光子数约为46。此时探测光子数大于2-Pe阈值,分别在阈值电压为0.8、0.87、0.9 V下测量,成像图为单帧成像。结果如图8所示,对应成像效果评价指标T的数值分别为27.51、30.55、37.44,图中颜色条代表深度信息,单位为cm。实验结果表明,阈值电压取0.9 V时T值最大。
保持阈值电压为0.9 V,比较相对孔径为f/1.6、f/2、f/3、f/4的成像质量,其成像效果评价指标T值分别为8.01、17.42、27.51、32.36,成像如图9可知,光阑为f/1.6或f/2时进光量过多,计算出探测光子约为160.8-Pe和102.9-Pe,图像出现过曝现象,导致T值较小。光阑减小到f/3(探测光子46-Pe)物体边缘逐渐清晰,T值也逐渐增大,可见在实验中调节合适的进光量是提高成像图T值的关键之一。
随着成像距离R的增大,入射光子数
$ {n}_{r} $ 减小。当接收孔径$ {D}_{r} $ 为最大,阈值电压为0.8 V时,单帧成像图多伴有噪点使得成像模糊,此时进行多帧统计处理。通过9000余次对同一个距离的目标进行数据采集并做统计分析,当目标物距离5 m时,得到的统计图如图10所示。统计分布图的包络线类似高斯分布曲线,均值和标准差拟合值分别为506.87、17.79 cm。在实验过程中以30帧统计的中位数为该点的测量结果。理论方面,当
$R=37\;{\rm{m}}$ ,${D}_{r}=0.017\;5\;{\rm{m}}$ 时,根据公式(3)可得每像素探测光子数为1.88-Pe水平。通过实验验证,由于阈值电压与探测光子数存在公式(6)的对应关系,当目标从成像图中完全消失时阈值电压为0.95 V,如图11(d)所示,可得回波光子数约为1.98-Pe,与理论结果一致。此时背景墙面与目标距离较近且反射率更高,故仍存在墙面的回波信号。37 m单帧成像如图11(b)所示,T值为−10.28。文中通过多帧统计处理提高T值,如图11(c)所示通过30帧数据统计取中位数实现了约37 m的目标三维成像,目标与背景层次清晰,T值增大到15.14。通过公式(4)计算出在37 m处横向最小分辨距离约为10.57 cm,结合目标尺寸可知目标分别在X和Y方向分布6.24与2.89个像素格,由此计算出目标区域的均方根误差为26.77 cm。表明基于MPPC阵列的三维成像系统在探测灵敏度和精度上都具有接近单光子成像水平。 -
文中利用MPPC阵列传感器与光纤激光器搭建了一套三维成像系统,并对该系统进行了成像性能分析与测试,通过改变MPPC的阈值电压,成像镜头的光阑大小,探究了该系统在不同实验条件下的三维成像效果。并针对该系统在远距离单帧成像噪声大的问题,进行了多帧去噪处理,达到了30帧下距离37 m,均方根误差为0.268 m,T值为15.14的三维成像效果,使得MPPC探测器实现了1.98-Pe接近单光子成像的探测能力。文中通过对二维MPPC 光子计数图像传感器的三维成像实验研究,说明了利用32×32大阵列的MPPC搭建的三维成像系统具有接近SPAD的单光子探测能力。系统具有灵敏而快速的响应和优良的时间分辨率等优点,使得其在远距离成像,动态目标跟踪,弱光环境成像都具有很好的应用前景。
3D single photon imaging technology research based on MPPC array
-
摘要: 三维成像技术在自动驾驶、航空任务、军事领域等都有着广泛的应用,不同技术体制的成像系统有不同的优点,其中基于多像素光子计数器(Multi-Pixel Photon Counter, MPPC)的三维成像技术由于其成像速度快、对极弱光敏感等优势具有广阔的发展潜力。然而,由于MPPC阵列发展不成熟,基于MPPC阵列的弱光三维成像探测水平受到限制。利用日本滨松公司研发的具有32×32规模的MPPC阵列S15013系列二维光子计数图像传感器,开发了一套三维成像系统,传感器的每个像素由12个单光子雪崩二极管并联而成,其总探测像素达到1 K以上。基于该系统,分析了阈值电压、镜头光阑等参数条件对三维成像探测结果的影响,对系统探测灵敏度和精度进行了测试,并针对37 m远模拟目标开展了三维成像探测试验。试验结果表明:在回波光子数约1.98 (光子/像素)的暗弱条件下,目标区域测距精度达到0.268 m,三维结构特征明显,达到了接近单光子成像的探测水平。
-
关键词:
- 多像素光子计数器(MPPC) /
- 三维成像 /
- 光子计数器
Abstract: 3D imaging technology is widely used in autopilot, aviation mission and military field. Imaging systems with different technical regimes have different advantages. Among them, three-dimensional imaging technology based on multi-pixel photon counter (MPPC) has broad development potential because of its advantages of fast imaging speed and sensitivity to extremely weak light. However, due to the immature development of MPPC array, the detection level of weak light 3D imaging based on MPPC array is limited. In this paper, a three-dimensional imaging system is developed by using the 32×32 scale MPPC array S15013 series two-dimensional photon counting image sensor developed by Hamamatsu company of Japan. Each pixel of the sensor is composed of 12 single photon avalanche diodes in parallel, and its total detection pixels are more than 1 K. Based on the system, the effects of threshold voltage, lens aperture and other parameters on the three-dimensional imaging detection results are analyzed, the detection sensitivity and accuracy of the system are tested, and the three-dimensional imaging detection test is carried out for the simulated target 37 m away. The experimental results show that under the dark condition of echo photons of about 1.98 photons/pixel, the ranging accuracy of the target area reaches 0.268 m, and the three-dimensional structure characteristics are obvious, which is close to the detection level of single photon imaging.-
Key words:
- MPPC /
- 3D imaging /
- photon counter
-
表 1 基于MPPC的三维成像系统性能参数表
Table 1. Parameters of 3D imaging system based on MPPC
System parameter Value Laser wavelength/nm 905 Laser peak power/W 72.46 Laser pulse width/ns 5 MPPC array size 32×32 (100 μm × 100 μm) MPPC dark count/kcps 2 MPPC photo detection efficiency 7%@900 nm Objective lens focal length/mm 35 Objective lens relative aperture f/1.6-f/16 Collimating lens focal length/mm 40 Collimating spot diameter/mm 11 Collimating spot divergence angle/mrad 0.2 Frame rate 10 kfps(max) TDC measurement window/ns 320 Threshold voltage/V 0.8-1.25 -
[1] Bu Y M, Du X P, Zeng C Y, et al. Research progress and trend analysis of non-scanning laser 3D imaging radar [J]. Chinese Optics, 2018, 11(5): 23-39. (in Chinese) [2] Cao J, Hao Q, Zhang F H, et al. Research progress of APD three-dimensional imaging lidar [J]. Infrared and Laser Engineering, 2020, 49(9): 20190549. (in Chinese) [3] Hao Q, Tao Y, Cao J, et al. Development of pulsed-laser three-dimensional imaging flash lidar using APD arrays [J]. Microw Opt Technol Lett, 2021, 63(10): 2492-2509. [4] Liu B, Yu Y, Jiang S. Review of advances in LiDAR detection and 3D imaging [J]. Opto-Electronic Engineering, 2019, 46(7): 21-33. (in Chinese) [5] Yin Y K, Yu K, Yu C Z, et al. 3D imaging using geometric light field: A review [J]. Chinese Journal of Lasers, 2021, 48(12): 1209001. (in Chinese) [6] Wu G, Masia B, Jarabo A, et al. Light field image processing: An overview [J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 926-954. doi: 10.1109/JSTSP.2017.2747126 [7] Li X, Liu F, Shao X P. Research progress on polarization 3D imaging technology [J]. J Infrared Millim Waves, 2021, 40(2): 248-262. (in Chinese) [8] Liu F, Yan M Y, Li X, et al. Advances in diffused polarization-based three-dimensional imaging technology [J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811015. (in Chinese) [9] Yang P B, Deng L J, Chen Y, et al. Three-dimensional shape measurement of highly reflective objects based on structured light [J]. Chinese Journal of Lasers, 2019, 46(2): 0204004. (in Chinese) [10] ER Eiríksson, Wilm J, Pedersen D B, et al. Precision and accuracy parameters in structured light 3-D scanning [J]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, 40-5(W8): 7-15. [11] Chen N J. Review of 3D laser imaging technology [J]. Laser & Infrared, 2015, 45(10): 1152-1156. (in Chinese) [12] He F T, Du Y, Zhang J L, et al. Research on the improved synchronous communication method of photon counting based on MPPC [J]. Laser & Optoelectronics Progress, 2021, 58(21): 2125001. (in Chinese) [13] Nie R J, Xu Z Y, Zhang Q H, et al. Model of electrical characteristics of SiPM array and optimization of front-end design for three-dimentional depth sounder [J]. Optics and Precision Engineering, 2012, 20(8): 1661-1668. (in Chinese) doi: 10.3788/OPE.20122008.1661 [14] He L J, Xue L, Zhai D S, et al. Satellite laser ranging system using MPPC array detector and its experiments [J]. Journal of Optoelectronics Laser, 2016, 27(2): 132-138. (in Chinese) [15] Fu C K, Zheng H B, Wang G, et al. 3D imaging method based on multi-pixel photon counter [J]. Transducer and Microsystem Technologies, 2021, 40(8): 17-19. (in Chinese) [16] Mizuno T, Ikeda H, Nagano T, et al. Three-dimensional image sensor with MPPC for flash LIDAR [J]. Transactions of the Japan Society for Aeronautical and Space Sciences, 2020, 63(2): 42-49. doi: 10.2322/tjsass.63.42 [17] Mei X D, Gong W L, Han S S. Laser ghost imaging based on time-over-threshold technology [J]. Chinese Journal of Lasers, 2020, 47(4): 0410003. (in Chinese) [18] Liu C. Quantitative analysis and assessment research on factors influencing the visual comfort of stereoscopic images[D]. Tianjin: Tianjin University, 2014. (in Chinese) -