-
高帧频CIS是高速成像系统的核心器件,器件的性能参数决定了成像系统的性能。文中选定的高帧频图像传感器采用5T像素结构,空间分辨率为1280×1024,像素量化精度为12 bit,在全分辨率条件下,最大帧频达到1000 fps [7]。其主要性能指标如表1所示。
表 1 高帧频CMOS图像传感器性能参数
Table 1. Performance of the high-speed CIS
Parameter Performance Parameter Performance Resolution 1280×1024 Response 10 V/Lux-s @525 nm Pixel size 5.5 μm×5.5 μm Conversion gain 75 μV/e− Pixel type 5T Shutter speed ≥500 ns Max frame rate 1000 fps Shutter type Global shutter Throughput 1440 Mpixel/s MAX SNR 42.5 dB ADC resolution 12 bits Dynamic range 56.8 dB Full well 18000 e− PRNU 0.9% rms 从表1可以看出,与高灵敏度的科学级CIS通常采用卷帘快门(Rolling Shutter)不同,高帧频CIS通常采用全局快门(Global Shutter)结构。卷帘快门读出噪声低,配合高精度的ADC进行量化,有利于实现高灵敏度的成像性能,而高帧频则主要关心图像推出速度,其列处理电路的噪声较大,数字化精度较低,对读出噪声不太敏感,因此高帧频CIS大多采用全局快门工作模式。高帧频CIS的电荷转移时间短,通常在百纳秒量级,浮置栅级电容较小,为了实现高帧频图像推出,像素列处理电路的工作频率较高,因此读出噪声较大。为实现较高的帧频率和较短的曝光时间,通常采用5T或更多晶体管的像素结构,以实现良好的全局曝光控制。
基于该款高帧频CIS,设计实现了一种瞬态成像系统,系统主要由前端高速相机及远端高速图像采集系统构成[8]。前端高速相机包括光学镜头、快响应像增强器、高压快脉冲发生器、光纤锥耦合CIS、以及传感器驱动电路等。该瞬态成像系统的构成和实物如图1所示。
瞬态成像系统通常需要实现很高的时间分辨能力,通过快响应像增强器配合高压快脉冲发生器,该系统实现了纳秒量级的时间分辨性能,同时像增强器可以对目标场景进行光增强,获得较好的图像信噪比。文中所设计的瞬态成像系统通过将快响应像增强器的开门时间与高帧频CIS的曝光时间相配合,实现了超短曝光的连续两帧瞬态图像获取功能。前端相机获取的瞬态图像通过光纤传输至后端图像采集系统进行处理和显示,有利于提高成像系统对各类不同科学实验的适用性。
-
(1)参数测试方法
成像系统的时间噪声指随时间发生变化的噪声,主要来源包括:热噪声、读出噪声及放大电路噪声、量化噪声、散粒噪声等。明场条件下,每个曝光强度下采集L=20幅图像,对20幅图像取平均获得平均灰度图像,并计算每个像素灰度相对于平均灰度图像的方差,再对整张图像求平均,获取输出信号的时间噪声
$ {\sigma }_{y}^{2} $ ,计算公式表示如下:$$ {\sigma }_{y}^{2}=\frac{1}{LMN}{\sum }_{l=1}^{L}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{Y}_{l}\left[i\right]\left[j\right] $$ (1) $$ {Y}_{l}\left[i\right]\left[j\right]={\left({y}_{l}\right[i\left]\right[j]-\overline{y}[i\left]\right[j\left]\right)}^{2} $$ (2) 暗场条件下,保持与明场图像曝光时间相同,计算暗信号时间噪声
$ {\sigma }_{dark}^{2} $ ,公式表示如下:$$ {\sigma }_{dark}^{2}=\frac{1}{LMN}{\sum }_{l=1}^{L}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{Y}_{l}\left[i\right]\left[j\right] $$ (3) $$ {{Y}_{l}\left[i\right]\left[j\right]=\left({y}_{darkl}\left[i\right]\left[j\right]-{\overline{y}}_{dark}\left[i\right]\left[j\right]\right)}^{2} $$ (4) 式中:
$ {y}_{l}\left[i\right]\left[j\right] $ 为测试图像像素灰度;$ \overline{y}\left[i\right]\left[j\right] $ 为20幅图像对应像素的平均灰度;$ {y}_{darkl}\left[i\right]\left[j\right] $ 为暗场图像像素灰度;$ {\overline{y}}_{dark}\left[i\right]\left[j\right] $ 为20幅暗场图像对应像素的平均灰度;M×N为图像分辨率,L为同一光强下获取的图像数量。(2)测试结果及分析
如图6(a)所示,在暗场条件下,瞬态工作模式下时间噪声大致为4.6 DN,稳态工作模式下为5.4 DN,瞬态模式时序噪声更低。其主要原因是瞬态工作模式下列处理电路处于初始等待状态,而稳态模式下,图像连续读出,列处理电路处于连续工作状态,高频工作状态使得稳态工作模式下时序噪声相比瞬态模式更大。
如图6(b)所示,明场条件下,时序噪声主要随入射光的散粒噪声变化,当像素未达饱和时,时序噪声随相对曝光强度的增加而增加,当曝光强度不断增大,部分像素逐渐饱和,此时时序噪声逐步下降,待所有像素均趋向饱和时,时序噪声趋向于0。由图可见,在瞬态模式下时序噪声较稳态条件下更早开始下降,主要是由于瞬态模式下图像的暗场本底较稳态模式要高,在相同曝光强度时传感器各像素相比稳态条件更早饱和,因此时序噪声较早开始呈现下降趋势且噪声最大值小于稳态条件下的噪声。
-
(1)测试参数
由于半导体制造工艺的缺陷,在暗场条件下,传感器感光表面也会自发产生电子,形成暗电流
$ {\mu }_{I} $ ,暗电流会降低图像的动态范围及信噪比,还会因像素间暗电流的差异,引发固定模式噪声。在相同温度下,暗电流$\; {\mu }_{I} $ 导致暗信号平均灰度值$ {\mu }_{dark} $ 随曝光时间$ {T}_{exp} $ 线性增长,关系表示如下:$$ {\mu }_{dark}={\mu }_{d.0}+K{\mu }_{I}{T}_{exp} $$ (6) 根据所拟合的
$ \;{\mu }_{dark} $ 与对应的$ {T}_{exp} $ 的线性方程,计算曲线斜率与系统增益$ K $ 的比值即为平均暗电流$ {\mu }_{I} $ 。(2)测试结果及分析
如图7所示,暗场条件下,暗信号平均灰度值随曝光时间基本呈线性增长关系,但线性度较低。其中瞬态模式下斜率
${{K}}_{darkS}$ =0.0795大于稳态模式斜率${{K}}_{darkW}$ =0.028。据公式(6)计算可知,瞬态模式下暗电流:${{I}}_{S}$ =$\dfrac{{{K}}_{darkS}}{{{K}}_{S}}=$ 0.414,稳态模式下暗电流:${{I}}_{W}$ =$\dfrac{{{K}}_{darkW}}{{{K}}_{W}}=$ 0.144。由计算结果可知,瞬态工作模式下的暗电流明显大于稳态工作模式下的暗电流,${{I}}_{S}\approx 2.88\times {{I}}_{W}$ 。这主要是由于瞬态工作模式下,像素长时间处于清零状态,暗电流造成浮置栅极、采样电容等读出电路不断累计热电荷。对于瞬态工作模式,暗电流的影响大多在数秒以上,而稳态工作模式的暗电流影响时间通常为帧频率的倒数,文中所涉及的传感器为1 ms。暗电流表现为图像暗场本底基线的漂移,瞬态工作模式与稳态工作模式在同一曝光时间下的图像平均灰度差值约为130 DN。瞬态成像模式下,图像的暗本底比连续成像模式高。 -
(1)参数测试方法
信噪比反映了CMOS图像传感器的信号质量,由有效信号与噪声的比值表示:
$$ S NR=\frac{{\mu }_{y}-{\mu }_{dark}}{\sqrt{{\sigma }_{y}^{2}}} $$ (7) 图像传感器的动态范围表征了图像传感器感光能力的大小。其中,感光上限取决于信号达到饱和时满阱电荷的大小;感光下限取决于图像传感器的本底噪声。由于信号光强与图像灰度均值呈线性关系,动态范围
$ DR $ 可表示为:$$ DR=\frac{{\mu }_{y.sat}-{\mu }_{dark.sat}}{{\mu }_{y.min}-{\mu }_{dark.min}} $$ (8) 式中:
$\; {\mu }_{y.sat} $ 为图像灰度均值的饱和输出值;$ \;{\mu }_{dark.sat} $ 为对应曝光下的暗场灰度均值;$\; {\mu }_{y.min} $ 为信噪比SNR=1时对应的光信号灰度均值,$ {\mu }_{dark.min} $ 为对应的暗场灰度均值。(2)测试结果及分析
如图8(a)所示,在低照度下图像信噪比随曝光时间近似线性增长,随着光强的增大,逐步转变为信噪比随曝光时间的平方根增长。在低曝光强度时,瞬态工作模式下图像有效信号及时间噪声均大于稳态工作模式下的图像,根据二者的比值可知瞬态工作模式下图像信噪比
${{S}{N}{R}}_{{S}}$ 略大于稳态工作模式下图像信噪比${{S}{N}{R}}_{{W}}$ ;在接近饱和曝光时,瞬态工作模式下图像较先饱和,此时对应时间噪声明显降低,瞬态工作模式下图像信噪比${{S}{N}{R}}_{{S}}$ 大于稳态工作模式下图像信噪比${{S}{N}{R}}_{{W}}$ ,中等曝光强度时,信噪比变化趋势大致相同。如图8(b)所示,当图像饱和时,瞬态工作模式的有效信号值:
$\left({\mu }_{yS.sat}-{\mu }_{darkS.sat}\right)=3\;908\; {\rm{DN}}$ ,稳态工作模式的有效信号值:$\left({\mu }_{yW.sat}-{\mu }_{darkW.sat}\right)=4\;022 \;{\rm{DN }}$ ,结合图2(a)可知,瞬态工作模式下的动态范围:${DR}_{S} = {3\;908}/{4.6} = 849$ ,稳态工作模式下的动态范围:${DR}_{W}={4\;022}/{5.4}=745$ 。稳态模式下传感器有更大的有效信号范围,但由于时序噪声更大,瞬态工作模式下的信噪比更高,动态范围更大。 -
(1)参数测试方法
由于制造工艺的限制,CMOS图像传感器各像元的感光面大小不同,光电转换效应存在差异,通过不同的放大器和AD转换器转换为灰度信号时,特性也存在一定差异,导致最终的图像传感器各像元输出信号呈现非均匀性 [10]。图像传感器的非均匀性包括暗信号非均匀性(DSNU)与光响应非均匀性(PRNU)。测量响应非均性的过程中,为了降低时间噪声的影响,每个曝光时间下取20帧的测试图像求平均。
PRNU与DSNU的计算公式表示如下:
$$ PRNU=\frac{\sqrt{{s}_{y}^{2}-{s}_{dark}^{2}}}{{\mu }_{y}-{\mu }_{dark}} $$ (9) $$ \begin{split} \\ DS NU={s}_{dark} \end{split} $$ (10) 其中,
$ {s}_{y}^{2} $ 与$ {\mu }_{y} $ 分别代表明场环境下,图像半饱和状态时$ {t}_{0.5} $ 的各像元的空间方差与灰度均值,计算公式如下:$$ {\mu }_{y}=\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}y\left[i\right]\left[j\right] $$ (11) $$ {s}_{y}^{2}=\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{\left(y\left[i\right]\left[j\right]-{\mu }_{y}\right)}^{2} $$ (12) $ {s}_{dark}^{2} $ 与$ {\mu }_{dark} $ 分别代表暗场环境下,曝光时间为$ {t}_{0.5} $ 时各像元的空间方差与灰度均值,计算公式同上。(2)测试结果及分析
由图9(a)可知,DSNU随着相对曝光的变化较为平稳,其中瞬态工作模式下的DSNU_S≈42 DN,稳态工作模式下的DSNU_W≈27 DN,暗信号非均匀性主要表征的是像素暗电流特性、读出电路、列处理电路及量化电路等的不一致性,由于瞬态工作模式下,暗电流的影响时间在秒级,像素阵列外围电路的热电荷积累时间长,使得其暗信号非均匀性明显高于稳态工作模式。
由图9(b)可知,PRNU随着相对曝光强度的增大而减小,瞬态工作模式下的PRNU值小于稳态工作模式下的PRNU值。通常采用像素阵列半饱和状态下的PRNU值反映传感器的光响应非均匀性。此时瞬态工作模式的光响应非均匀性PRNU_0.5 satS=0.51%,稳态工作模式的光响应非均匀性PRNU_0.5 satS=1.25%,因此,瞬态工作模式下各像元对光信号响应的一致性更优,连续成像模式下,曝光时间越短,光响应不一致性越差。
Study on the performance of high-speed CMOS image sensors in transient imaging mode
-
摘要: 高帧频CMOS图像传感器具有集成度高、帧频高、功耗低、抗干扰抗辐照能力强等特性,在科学实验中应用广泛。为提高外同步触发瞬态成像模式下的成像性能,首先介绍了基于高帧频CIS(5T像素,超大快门)的瞬态成像系统构成及其工作模式;从像素结构出发,对该款CIS在不同工作模式下的成像性能进行了理论分析;搭建了基于EMVA1288的标准化测试平台,对瞬态工作模式下的多项关键性能指标进行了测试,并与稳态工作模式下的性能进行了对比。分析结果表明:与稳态工作模式相比,瞬态成像模式下图像传感器具有更大的暗本底和固定模式噪声,但传感器的时序噪声、光响应非均匀性优于稳态工作模式,具有更高的信噪比和动态范围,与理论分析基本吻合。测试分析结果可用于指导科学成像系统设计与性能优化。
-
关键词:
- 高帧频CMOS图像传感器 /
- 瞬态成像 /
- 性能分析 /
- 响应非均匀性
Abstract: High-speed CMOS image sensors (CISs) have the advantages of high integration, high frame rate, low power consumption, and radiation difficulty. It is widely used in scientific experiments. When used in image measurement and diagnosis, CIS usually works at a synchronized mode triggered by an external signal. This mode, called the transient imaging mode, is quite different from the continuous imaging mode in which the sensor outputs images frame-by-frame at a specific frame rate. In this paper, the performance of a high-speed CIS that has 5T pixels and a global shutter is analysed in transient imaging mode, and the key performance of the sensor is tested using an EMVA1288 compatable device and compared with continuous imaging mode. The results show that in transient imaging mode, CIS has a larger dark current and a lower signal-to-noise ratio and dynamic range. However, the temporal readout noise and photo response nonuniformity are better. The test results could be used in scientific imaging system design and performance optimization.-
Key words:
- high-speed CMOS image sensor /
- transient imaging /
- performance analysis /
- PRNU
-
表 1 高帧频CMOS图像传感器性能参数
Table 1. Performance of the high-speed CIS
Parameter Performance Parameter Performance Resolution 1280×1024 Response 10 V/Lux-s @525 nm Pixel size 5.5 μm×5.5 μm Conversion gain 75 μV/e− Pixel type 5T Shutter speed ≥500 ns Max frame rate 1000 fps Shutter type Global shutter Throughput 1440 Mpixel/s MAX SNR 42.5 dB ADC resolution 12 bits Dynamic range 56.8 dB Full well 18000 e− PRNU 0.9% rms -
[1] Dong Jianting, Yang Xiaole, Dong Jie. Performance test and image processing of area CMOS image sensor [J]. Infrared and Laser Engineering, 2013, 42(12): 3396-3401. (in Chinese) [2] Pan X, Arellano V, Jarabo A. Transient instant radiosity for efficient time-resolved global illumination [J]. Computers & Graphics, 2019, 83: 107-113. [3] Dou Runjiang, Cao Zhongxiang, Li Quanliang. High-speed CMOS image sensor and its application [J]. Journal of Tianjin University, 2021, 54(4): 426-434. (in Chinese) [4] Dong Jianting, Yang Xiaole, Dong Jie. Research on response nonuniformity correction of area CMOS image sensor [J]. Semiconductor Optoelectronics, 2012, 33(4): 570-578. (in Chinese) [5] Yao Hongtao, Li Xiaoning, Tian Qingqing. Research and design of 5T structure global shutter CMOS image sensor [J]. Modern Computer, 2018, 631(31): 77-81. (in Chinese) [6] Sun Honghai, Liu Yanying. Application and test of two different high-speed digital CMOS image sensors [J]. Chinese Optics, 2011, 4(5): 453-460. (in Chinese) [7] Yan Ming, Li Gang, Yang Shaohua, et al. A real-time remote image acquisition system based on CMOS image sensor [J]. Modern Applied Physics, 2016, 7(4): 63-68. (in Chinese) [8] Ning Yonghui, Liu Hui, Zhao Qinglei. High-frame frequency imaging system of large area CMOS image sensor [J]. Optics and Precision Engineering, 2019, 27(5): 1167-1177. (in Chinese) doi: 10.3788/OPE.20192705.1167 [9] Li Qiang, Jin Longxu, Li Guoning. Fixed pattern noise correction of CMOS image sensor based on dark current [J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(2): 327-333. (in Chinese) [10] Xiong Ping. Comparison of CCD and CMOS image sensors [J]. Semiconductor Optoelectronics, 2004, 25(1): 1-4. (in Chinese)