Study on the performance of high-speed CMOS image sensors in transient imaging mode

随着半导体光电技术的不断发展，基于CMOS工艺的图像传感器（CMOS Image Sensor， CIS）性能不断提升，由于其独有的高集成度、高帧频、低功耗和强抗干扰抗辐照能力等特性^[1]，在科学实验中应用日益广泛。在图像测量与诊断领域中，成像系统通常工作于外部信号同步触发的瞬态成像模式。与连续图像输出的稳态模式不同，瞬态成像模式主要以触发等待时间长、曝光时间短、图像推出速度快、图像曝光输出不连续为突出特点。瞬态成像技术可以较好地捕捉快速物理现象中的过程图像，以反应其物理过程的发展变化规律。因此，瞬态成像技术广泛应用于等离子体物理研究、高速碰撞实验、爆轰效应等科学实验领域^[2]。高帧频的图像传感器作为瞬态成像系统的核心器件，由于生产工艺的个体差异、半导体材料特性变化、传感器工作模式的差异^[3]，有必要对传感器的实际性能参数进行精细化测量与分析，并根据分析结果对图像进行相应的优化处理，以获得最佳的测试图像。

国内外针对CIS的性能研究大都集中在连续图像输出的稳态模式，主要有针对暗电流信号的性能优化^[4]、针对光响应一致性的性能优化^[5]、针对不同高帧频传感器的性能测试与对比分析^[6]等。但是很少有针对CIS工作在瞬态成像模式下的性能研究。因此，开展高帧频CMOS图像传感器在瞬态成像模式下的性能研究具有十分重要的价值。

CMOS图像传感器工艺将光二极管工艺与标准CMOS工艺相结合，片内集成列读出放大及高速并行AD转换器，有利于大像素阵列集成和高帧频实现。随着特种半导体工艺技术的进步，CIS在量子效率、灵敏度等方面接近CCD技术水平，而更低廉的加工成本和独特的性能优势，使得CIS逐渐取代CCD成为图像传感器的主流器件。尤其在对传感器性能要求较高的科学成像领域，CIS在高灵敏度、高帧频和大面阵成像系统方面已经取代CCD器件，成为大部分成像系统设计的首选。

文中首先介绍了一款高帧频CIS的性能参数以及基于该CIS的瞬态成像系统构成；然后从像素结构出发，分析了高帧频CIS在不同工作模式下的成像性能特征；搭建了基于EMVA1288的标准化测试平台，对瞬态工作模式下的多项关键性能指标进行了测试，并与稳态工作模式下的成像性能进行了对比，测试结果与理论分析相吻合。

高帧频CIS是高速成像系统的核心器件，器件的性能参数决定了成像系统的性能。文中选定的高帧频图像传感器采用5T像素结构，空间分辨率为1280×1024，像素量化精度为12 bit，在全分辨率条件下，最大帧频达到1000 fps ^[7]。其主要性能指标如表1所示。

从表1可以看出，与高灵敏度的科学级CIS通常采用卷帘快门（Rolling Shutter）不同，高帧频CIS通常采用全局快门（Global Shutter）结构。卷帘快门读出噪声低，配合高精度的ADC进行量化，有利于实现高灵敏度的成像性能，而高帧频则主要关心图像推出速度，其列处理电路的噪声较大，数字化精度较低，对读出噪声不太敏感，因此高帧频CIS大多采用全局快门工作模式。高帧频CIS的电荷转移时间短，通常在百纳秒量级，浮置栅级电容较小，为了实现高帧频图像推出，像素列处理电路的工作频率较高，因此读出噪声较大。为实现较高的帧频率和较短的曝光时间，通常采用5T或更多晶体管的像素结构，以实现良好的全局曝光控制。

基于该款高帧频CIS，设计实现了一种瞬态成像系统，系统主要由前端高速相机及远端高速图像采集系统构成^[8]。前端高速相机包括光学镜头、快响应像增强器、高压快脉冲发生器、光纤锥耦合CIS、以及传感器驱动电路等。该瞬态成像系统的构成和实物如图1所示。

Figure 1.  Structure and picture of the transient imaging system

瞬态成像系统通常需要实现很高的时间分辨能力，通过快响应像增强器配合高压快脉冲发生器，该系统实现了纳秒量级的时间分辨性能，同时像增强器可以对目标场景进行光增强，获得较好的图像信噪比。文中所设计的瞬态成像系统通过将快响应像增强器的开门时间与高帧频CIS的曝光时间相配合，实现了超短曝光的连续两帧瞬态图像获取功能。前端相机获取的瞬态图像通过光纤传输至后端图像采集系统进行处理和显示，有利于提高成像系统对各类不同科学实验的适用性。

高帧频CIS通常采用的典型像素结构为5T像素，该结构可以实现较快的全局电子快门，高帧频CIS的典型芯片结构及5T像素结构如图2所示。

Figure 2.  Pixel and typical structures of the high-speed CIS

图2所示的5T像素结构主要包括光敏区复位、浮置栅级复位、转移门、源极跟随输出及行选择输出等晶体管。全局电子快门通过全局光敏区复位信号配合全局转移信号实现，快门时序如图3所示。

Figure 3.  Global shutter timing of 5T pixel

如图3所示，5T像素通过PD_RST信号对全局像素光敏区进行清零，关闭该信号像素阵列开始曝光，打开转移信号TX则开始全局电荷转移，转移结束标志一次全局曝光的电子快门结束。在瞬态成像模式下，等待触发信号时像素阵列处于状态①，此时5T像素仅光敏区处于复位状态，转移信号和浮置栅级复位信号关闭，传感器像素阵列内部仅有光敏区的光生电荷通过复位管的直接泄放电流。5T像素CIS的瞬态成像模式和稳态连续成像模式时序驱动不同，两者的对比如图4所示。

Figure 4.  Comparison of 5T pixel drive timing in transient and continuous imaging mode

两种成像模式在像素阵列的工作状态方面存在较大不同：如图4 （a）所示，在瞬态成像模式下，传感器光敏区长时间处于复位状态，光敏区电势被拉高至V_PIX，当外部触发信号到来，PD_RST管关闭，阵列光敏区开始累积光生电荷，此时V_PIX负载降低，由于此时光敏区与V_PIX断开，V_PIX负载降低带来的电压波动，对光敏区的感光不产生影响；如图4 （b）所示，在稳态成像模式下，光敏区大部分时间处于电荷累积状态，光敏区的复位间隔小于帧间隔，当曝光时间与帧间隔接近时，光敏区复位时间非常短。像素阵列光敏区短时间复位，会在V_PIX上造成负载的短时增大，尤其PD_RST复位管打开的瞬间，V_PIX上会增加一个20 nF的瞬时容性负载，峰值瞬时电流负载达到1 A/50 ns。该负载造成V_PIX在像素阵列内部的波动，带来像素阵列光响应一致性变坏。即连续成像模式下，像素阵列的光响应一致性差于瞬态成像模式，曝光时间越短，连续成像模式下光响应一致性越差。

两种成像模式在读出电路的工作状态方面存在不同：瞬态成像模式下长时间没有图像读出，列处理电路处于初始等待状态，此时CDS电路的采样电容、PGA电路的信号放大电容、信号传输链路上的存储电容等容性负载在热噪声影响下会不断积累电荷，使得像素阵列的暗本底信号不断上升，但由于电路没有处于高频率工作状态，时序噪声会略小；而稳态模式下，图像处于连续读出状态，列处理电路处于连续工作状态，每行读出后，列处理电路会自动复位清零，因此像素阵列的暗本底信号较小，但电路一直处于高频工作状态，时序噪声会略大。即连续成像模式下，像素阵列暗本底较低，但时序噪声略大；瞬态成像模式下，像素阵列暗本底较高，但时序噪声略小。

为测试不同工作模式下成像系统的关键性能指标，文中所搭建的成像性能测试系统如图5所示，主要由光源系统、暗室、信号源、高帧频CMOS相机、图像采集卡、上位机控制系统构成^[9]。该测试系统可提供明场、暗场两种测试光场；可分别对成像系统的瞬态工作模式及稳态工作模式进行测量。瞬态工作模式采用外触发信号获取单帧图像，稳态工作模式采用连续曝光获取多幅图像，抽取其中一幅图像进行测试。

Figure 5.  Structure and picture of the transient imaging performance measure system

稳态工作模式下，系统选用LED光源，利用光源控制器控制光源强度，可输出稳定单色光，通过进光口后拆分为两路，一路直接照射到被测相机的CMOS图像传感器的感光平面，用于稳态图像的采集；一路通过光电转换模块，输入示波器，与信号源原始波形进行对比。瞬态工作模式下，信号源控制纳秒激光器，发射脉宽为5 ns的脉冲激光，用于瞬态图像的采集，激光器的光谱在200~1000 nm范围内可调，频谱宽度为5 nm。

前端相机获取不同工作模式下的图像数据通过光纤实时传输至后端图像采集卡；图像采集卡获取测量图像后通过USB3.0接口传输存储到上位控制主机内，上位机软件对采集的图像数据进行处理分析，获取最终的性能测试结果。

暗场测试过程中，测试系统关闭光源，通过改变相机的曝光时间，测量暗信号时间噪声及暗信号非均匀性（DSNU）等性能参数。明场测试过程中，为了获取一系列不同曝光量的测试图像，保持光源光照强度不变，改变图像传感器的曝光时间，测量时间噪声、光响应非均匀性（PRNU）等性能参数。并结合明场、暗场测试结果，进一步分析获得信噪比、动态范围、暗电流、总体系统增益等性能参数。

（1）参数测试方法

成像系统的时间噪声指随时间发生变化的噪声，主要来源包括：热噪声、读出噪声及放大电路噪声、量化噪声、散粒噪声等。明场条件下，每个曝光强度下采集L=20幅图像，对20幅图像取平均获得平均灰度图像，并计算每个像素灰度相对于平均灰度图像的方差，再对整张图像求平均，获取输出信号的时间噪声$ {\sigma }_{y}^{2} $，计算公式表示如下：

暗场条件下，保持与明场图像曝光时间相同，计算暗信号时间噪声$ {\sigma }_{dark}^{2} $，公式表示如下：

式中：$ {y}_{l}\left[i\right]\left[j\right] $为测试图像像素灰度；$ \overline{y}\left[i\right]\left[j\right] $为20幅图像对应像素的平均灰度；$ {y}_{darkl}\left[i\right]\left[j\right] $为暗场图像像素灰度；$ {\overline{y}}_{dark}\left[i\right]\left[j\right] $为20幅暗场图像对应像素的平均灰度；M×N为图像分辨率，L为同一光强下获取的图像数量。

（2）测试结果及分析

如图6(a)所示，在暗场条件下，瞬态工作模式下时间噪声大致为4.6 DN，稳态工作模式下为5.4 DN，瞬态模式时序噪声更低。其主要原因是瞬态工作模式下列处理电路处于初始等待状态，而稳态模式下，图像连续读出，列处理电路处于连续工作状态，高频工作状态使得稳态工作模式下时序噪声相比瞬态模式更大。

Figure 6.  Temporal noise curve related to exposure time

如图6(b)所示，明场条件下，时序噪声主要随入射光的散粒噪声变化，当像素未达饱和时，时序噪声随相对曝光强度的增加而增加，当曝光强度不断增大，部分像素逐渐饱和，此时时序噪声逐步下降，待所有像素均趋向饱和时，时序噪声趋向于0。由图可见，在瞬态模式下时序噪声较稳态条件下更早开始下降，主要是由于瞬态模式下图像的暗场本底较稳态模式要高，在相同曝光强度时传感器各像素相比稳态条件更早饱和，因此时序噪声较早开始呈现下降趋势且噪声最大值小于稳态条件下的噪声。

（1）测试参数

由于半导体制造工艺的缺陷，在暗场条件下，传感器感光表面也会自发产生电子，形成暗电流$ {\mu }_{I} $，暗电流会降低图像的动态范围及信噪比，还会因像素间暗电流的差异，引发固定模式噪声。在相同温度下，暗电流$\; {\mu }_{I} $导致暗信号平均灰度值$ {\mu }_{dark} $随曝光时间$ {T}_{exp} $线性增长，关系表示如下：

根据所拟合的$ \;{\mu }_{dark} $与对应的$ {T}_{exp} $的线性方程，计算曲线斜率与系统增益$ K $的比值即为平均暗电流$ {\mu }_{I} $。

（2）测试结果及分析

如图7所示，暗场条件下，暗信号平均灰度值随曝光时间基本呈线性增长关系，但线性度较低。其中瞬态模式下斜率${{K}}_{darkS}$=0.0795大于稳态模式斜率${{K}}_{darkW}$=0.028。据公式（6）计算可知，瞬态模式下暗电流：${{I}}_{S}$=$\dfrac{{{K}}_{darkS}}{{{K}}_{S}}=$0.414，稳态模式下暗电流：${{I}}_{W}$=$\dfrac{{{K}}_{darkW}}{{{K}}_{W}}=$0.144。由计算结果可知，瞬态工作模式下的暗电流明显大于稳态工作模式下的暗电流，${{I}}_{S}\approx 2.88\times {{I}}_{W}$ 。这主要是由于瞬态工作模式下，像素长时间处于清零状态，暗电流造成浮置栅极、采样电容等读出电路不断累计热电荷。对于瞬态工作模式，暗电流的影响大多在数秒以上，而稳态工作模式的暗电流影响时间通常为帧频率的倒数，文中所涉及的传感器为1 ms。暗电流表现为图像暗场本底基线的漂移，瞬态工作模式与稳态工作模式在同一曝光时间下的图像平均灰度差值约为130 DN。瞬态成像模式下，图像的暗本底比连续成像模式高。

Figure 7.  Average gray of dark image in different imaging mode

（1）参数测试方法

信噪比反映了CMOS图像传感器的信号质量，由有效信号与噪声的比值表示：

图像传感器的动态范围表征了图像传感器感光能力的大小。其中，感光上限取决于信号达到饱和时满阱电荷的大小；感光下限取决于图像传感器的本底噪声。由于信号光强与图像灰度均值呈线性关系，动态范围$ DR $可表示为：

式中：$\; {\mu }_{y.sat} $为图像灰度均值的饱和输出值；$ \;{\mu }_{dark.sat} $为对应曝光下的暗场灰度均值；$\; {\mu }_{y.min} $为信噪比SNR=1时对应的光信号灰度均值，$ {\mu }_{dark.min} $为对应的暗场灰度均值。

（2）测试结果及分析

如图8(a)所示，在低照度下图像信噪比随曝光时间近似线性增长，随着光强的增大，逐步转变为信噪比随曝光时间的平方根增长。在低曝光强度时，瞬态工作模式下图像有效信号及时间噪声均大于稳态工作模式下的图像，根据二者的比值可知瞬态工作模式下图像信噪比${{S}{N}{R}}_{{S}}$略大于稳态工作模式下图像信噪比${{S}{N}{R}}_{{W}}$；在接近饱和曝光时，瞬态工作模式下图像较先饱和，此时对应时间噪声明显降低，瞬态工作模式下图像信噪比${{S}{N}{R}}_{{S}}$大于稳态工作模式下图像信噪比${{S}{N}{R}}_{{W}}$，中等曝光强度时，信噪比变化趋势大致相同。

Figure 8.  SNR and effective average gray related to exposure time

如图8(b)所示，当图像饱和时，瞬态工作模式的有效信号值：$\left({\mu }_{yS.sat}-{\mu }_{darkS.sat}\right)=3\;908\; {\rm{DN}}$，稳态工作模式的有效信号值：$\left({\mu }_{yW.sat}-{\mu }_{darkW.sat}\right)=4\;022 \;{\rm{DN }}$，结合图2(a)可知，瞬态工作模式下的动态范围：${DR}_{S} = {3\;908}/{4.6} = 849$，稳态工作模式下的动态范围：${DR}_{W}={4\;022}/{5.4}=745$。稳态模式下传感器有更大的有效信号范围，但由于时序噪声更大，瞬态工作模式下的信噪比更高，动态范围更大。

（1）参数测试方法

由于制造工艺的限制，CMOS图像传感器各像元的感光面大小不同，光电转换效应存在差异，通过不同的放大器和AD转换器转换为灰度信号时，特性也存在一定差异，导致最终的图像传感器各像元输出信号呈现非均匀性 ^[10]。图像传感器的非均匀性包括暗信号非均匀性（DSNU）与光响应非均匀性（PRNU）。测量响应非均性的过程中，为了降低时间噪声的影响，每个曝光时间下取20帧的测试图像求平均。

PRNU与DSNU的计算公式表示如下：

其中，$ {s}_{y}^{2} $与$ {\mu }_{y} $分别代表明场环境下，图像半饱和状态时$ {t}_{0.5} $的各像元的空间方差与灰度均值，计算公式如下：

$ {s}_{dark}^{2} $与$ {\mu }_{dark} $分别代表暗场环境下，曝光时间为$ {t}_{0.5} $时各像元的空间方差与灰度均值，计算公式同上。

（2）测试结果及分析

由图9(a)可知，DSNU随着相对曝光的变化较为平稳，其中瞬态工作模式下的DSNU_S≈42 DN，稳态工作模式下的DSNU_W≈27 DN，暗信号非均匀性主要表征的是像素暗电流特性、读出电路、列处理电路及量化电路等的不一致性，由于瞬态工作模式下，暗电流的影响时间在秒级，像素阵列外围电路的热电荷积累时间长，使得其暗信号非均匀性明显高于稳态工作模式。

Figure 9.  DCNU and PRNU related to exposure time

由图9(b)可知，PRNU随着相对曝光强度的增大而减小，瞬态工作模式下的PRNU值小于稳态工作模式下的PRNU值。通常采用像素阵列半饱和状态下的PRNU值反映传感器的光响应非均匀性。此时瞬态工作模式的光响应非均匀性PRNU_0.5 satS=0.51%，稳态工作模式的光响应非均匀性PRNU_0.5 satS=1.25%，因此，瞬态工作模式下各像元对光信号响应的一致性更优，连续成像模式下，曝光时间越短，光响应不一致性越差。

文中在搭建成像性能测试系统的基础上，对一款5T像素全局快门型高帧频CMOS图像传感器在瞬态及稳态工作模式下的特性进行了理论分析，并对关键性能指标进行了测试和对比分析。测试及对比分析结果对进一步优化瞬态成像系统性能提供了重要数据支撑，测试结果表明：该款高帧频CMOS图像传感器在瞬态工作模式下，固定模式噪声及暗电流大于稳态工作模式；但其光响应非均匀性和读出噪声指标优于稳态工作模式，综合性能指标信噪比和动态范围优于稳态工作模式，测试结果与理论分析结论吻合。