留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

瞬态成像模式下高帧频CMOS图像传感器性能研究

严明 白琼 李刚 李斌康 杨少华 郭明安 张雪莹

严明, 白琼, 李刚, 李斌康, 杨少华, 郭明安, 张雪莹. 瞬态成像模式下高帧频CMOS图像传感器性能研究[J]. 红外与激光工程, 2022, 51(8): 20210694. doi: 10.3788/IRLA20210694
引用本文: 严明, 白琼, 李刚, 李斌康, 杨少华, 郭明安, 张雪莹. 瞬态成像模式下高帧频CMOS图像传感器性能研究[J]. 红外与激光工程, 2022, 51(8): 20210694. doi: 10.3788/IRLA20210694
Yan Ming, Bai Qiong, Li Gang, Li Binkang, Yang Shaohua, Guo Ming’an, Zhang Xueying. Study on the performance of high-speed CMOS image sensors in transient imaging mode[J]. Infrared and Laser Engineering, 2022, 51(8): 20210694. doi: 10.3788/IRLA20210694
Citation: Yan Ming, Bai Qiong, Li Gang, Li Binkang, Yang Shaohua, Guo Ming’an, Zhang Xueying. Study on the performance of high-speed CMOS image sensors in transient imaging mode[J]. Infrared and Laser Engineering, 2022, 51(8): 20210694. doi: 10.3788/IRLA20210694

瞬态成像模式下高帧频CMOS图像传感器性能研究

doi: 10.3788/IRLA20210694
基金项目: 国家自然科学基金(11475138,11775179)
详细信息
    作者简介:

    严明,男,副研究员,博士,主要从事高速成像及其相关方面的研究

    通讯作者: 白琼,女,助理研究员,硕士,主要从事图像处理、机器学习等方面的研究。
  • 中图分类号: TP212

Study on the performance of high-speed CMOS image sensors in transient imaging mode

Funds: National Natural Science Foundation of China (11475138,11775179)
  • 摘要: 高帧频CMOS图像传感器具有集成度高、帧频高、功耗低、抗干扰抗辐照能力强等特性,在科学实验中应用广泛。为提高外同步触发瞬态成像模式下的成像性能,首先介绍了基于高帧频CIS(5T像素,超大快门)的瞬态成像系统构成及其工作模式;从像素结构出发,对该款CIS在不同工作模式下的成像性能进行了理论分析;搭建了基于EMVA1288的标准化测试平台,对瞬态工作模式下的多项关键性能指标进行了测试,并与稳态工作模式下的性能进行了对比。分析结果表明:与稳态工作模式相比,瞬态成像模式下图像传感器具有更大的暗本底和固定模式噪声,但传感器的时序噪声、光响应非均匀性优于稳态工作模式,具有更高的信噪比和动态范围,与理论分析基本吻合。测试分析结果可用于指导科学成像系统设计与性能优化。
  • 图  1  瞬态成像系统构成及实物照片

    Figure  1.  Structure and picture of the transient imaging system

    图  2  高帧频CIS的像素结构和典型结构

    Figure  2.  Pixel and typical structures of the high-speed CIS

    图  3  5T像素全局快门时序

    Figure  3.  Global shutter timing of 5T pixel

    图  4  5T像素瞬态成像和连续成像时序对比

    Figure  4.  Comparison of 5T pixel drive timing in transient and continuous imaging mode

    图  5  瞬态成像性能测试系统构成

    Figure  5.  Structure and picture of the transient imaging performance measure system

    图  6  时序噪声随曝光的变化曲线

    Figure  6.  Temporal noise curve related to exposure time

    图  7  瞬态及稳态暗信号平均灰度随曝光的变化

    Figure  7.  Average gray of dark image in different imaging mode

    图  8  图像信噪比及图像有效信号随曝光时间的变化

    Figure  8.  SNR and effective average gray related to exposure time

    图  9  暗信号非均匀性和光响应非均匀性随曝光时间的变化

    Figure  9.  DCNU and PRNU related to exposure time

    表  1  高帧频CMOS图像传感器性能参数

    Table  1.   Performance of the high-speed CIS

    ParameterPerformanceParameterPerformance
    Resolution1280×1024Response10 V/Lux-s @525 nm
    Pixel size5.5 μm×5.5 μmConversion gain75 μV/e
    Pixel type5TShutter speed≥500 ns
    Max frame rate1000 fpsShutter typeGlobal shutter
    Throughput1440 Mpixel/sMAX SNR42.5 dB
    ADC resolution12 bitsDynamic range56.8 dB
    Full well18000 ePRNU0.9% rms
    下载: 导出CSV
  • [1] Dong Jianting, Yang Xiaole, Dong Jie. Performance test and image processing of area CMOS image sensor [J]. Infrared and Laser Engineering, 2013, 42(12): 3396-3401. (in Chinese)
    [2] Pan X, Arellano V, Jarabo A. Transient instant radiosity for efficient time-resolved global illumination [J]. Computers & Graphics, 2019, 83: 107-113.
    [3] Dou Runjiang, Cao Zhongxiang, Li Quanliang. High-speed CMOS image sensor and its application [J]. Journal of Tianjin University, 2021, 54(4): 426-434. (in Chinese)
    [4] Dong Jianting, Yang Xiaole, Dong Jie. Research on response nonuniformity correction of area CMOS image sensor [J]. Semiconductor Optoelectronics, 2012, 33(4): 570-578. (in Chinese)
    [5] Yao Hongtao, Li Xiaoning, Tian Qingqing. Research and design of 5T structure global shutter CMOS image sensor [J]. Modern Computer, 2018, 631(31): 77-81. (in Chinese)
    [6] Sun Honghai, Liu Yanying. Application and test of two different high-speed digital CMOS image sensors [J]. Chinese Optics, 2011, 4(5): 453-460. (in Chinese)
    [7] Yan Ming, Li Gang, Yang Shaohua, et al. A real-time remote image acquisition system based on CMOS image sensor [J]. Modern Applied Physics, 2016, 7(4): 63-68. (in Chinese)
    [8] Ning Yonghui, Liu Hui, Zhao Qinglei. High-frame frequency imaging system of large area CMOS image sensor [J]. Optics and Precision Engineering, 2019, 27(5): 1167-1177. (in Chinese) doi:  10.3788/OPE.20192705.1167
    [9] Li Qiang, Jin Longxu, Li Guoning. Fixed pattern noise correction of CMOS image sensor based on dark current [J]. Chinese Journal of Liquid Crystals and Displays, 2021, 36(2): 327-333. (in Chinese)
    [10] Xiong Ping. Comparison of CCD and CMOS image sensors [J]. Semiconductor Optoelectronics, 2004, 25(1): 1-4. (in Chinese)
  • [1] 王霞, 张艺馨, 赵雨薇, 金伟其.  Time-of-Flight透散射介质成像技术综述 . 红外与激光工程, 2023, 52(2): 20220318-1-20220318-12. doi: 10.3788/IRLA20220318
    [2] 冯婕, 李豫东, 文林, 郭旗.  CMOS图像传感器辐射损伤导致星敏感器性能退化机理 . 红外与激光工程, 2020, 49(5): 20190555-20190555-7. doi: 10.3788/IRLA20190555
    [3] 李毅超, 康福增, 王昊.  拼接镜成像性能分析 . 红外与激光工程, 2019, 48(1): 118006-0118006(6). doi: 10.3788/IRLA201948.0118006
    [4] 于海涛, 马金鹏, 范芸, 李科, 张春熹.  红外成像系统响应光谱非均匀性的理论分析 . 红外与激光工程, 2019, 48(2): 204002-0204002(7). doi: 10.3788/IRLA201948.0204002
    [5] 杨彪, 胡以华.  代数迭代法在激光反射断层成像目标重构中的应用 . 红外与激光工程, 2019, 48(7): 726002-0726002(7). doi: 10.3788/IRLA201948.0726002
    [6] 白雁力, 姚荣彬, 高海英, 党选举, 何国民.  高时间分辨分幅成像技术分析及性能测试 . 红外与激光工程, 2018, 47(6): 624002-0624002(6). doi: 10.3788/IRLA201847.0624002
    [7] 钟燕平, 袁红辉, 鞠国豪.  非均匀性校正的长波光导探测器读出电路设计 . 红外与激光工程, 2018, 47(1): 104001-0104001(6). doi: 10.3788/IRLA201847.0104001
    [8] 钱润达, 赵东, 周慧鑫, 于君娜, 王士成, 荣生辉.  基于加权引导滤波与时域高通滤波的非均匀性校正算法 . 红外与激光工程, 2018, 47(12): 1204001-1204001(6). doi: 10.3788/IRLA201847.1204001
    [9] 王明昌, 樊养余, 陈宝国, 雷伟, 周波.  基于SOPC的红外图像自适应非均匀性校正设计 . 红外与激光工程, 2017, 46(6): 628001-0628001(6). doi: 10.3788/IRLA201746.0628001
    [10] 付轶帆, 吴剑, 何宏辉.  偏振成像系统中的面阵CMOS传感器非线性校正 . 红外与激光工程, 2016, 45(6): 633001-0633001(5). doi: 10.3788/IRLA201645.0633001
    [11] 许轰烈, 陈钱, 刘宁, 杨春花.  模拟探测器列通道增益非均匀性研究 . 红外与激光工程, 2015, 44(7): 2044-2049.
    [12] 陈二虎, 刘颖, 刘璐, 程洪玮.  激光链路中继卫星系统网络设计及性能分析 . 红外与激光工程, 2015, 44(9): 2778-2782.
    [13] 郑亮亮.  多通道TDI CCD成像系统的非均匀性校正 . 红外与激光工程, 2014, 43(S1): 145-150.
    [14] 马文坡.  中波红外与长波红外推扫成像性能分析 . 红外与激光工程, 2014, 43(12): 3861-3865.
    [15] 赵春晖, 刘振龙.  改进的红外图像神经网络非均匀性校正算法 . 红外与激光工程, 2013, 42(4): 1079-1083.
    [16] 陈怀章, 王延杰, 孙宏海, 陈春宁, 樊博.  DMD结合图像传感器的高动态场景成像探测 . 红外与激光工程, 2013, 42(12): 3402-3409.
    [17] 任航.  高分辨率大面阵CCD相机高帧频设计及其非均匀性的校正 . 红外与激光工程, 2013, 42(6): 1491-1497.
    [18] 朱瑞飞, 王超, 魏群, 贾宏光, 周文明.  红外探测器非均匀性校正系统研制 . 红外与激光工程, 2013, 42(7): 1669-1673.
    [19] 董建婷, 杨小乐, 董杰.  面阵CMOS图像传感器性能测试及图像处理 . 红外与激光工程, 2013, 42(12): 3396-3401.
    [20] 宋宝安, 王乔方, 张莹昭, 戴世勋, 徐铁锋, 聂秋华, 王训四, 沈祥, 吴礼刚, 林常规.  红外硒基硫系玻璃光学非均匀性及影响因素分析 . 红外与激光工程, 2012, 41(8): 1985-1989.
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  247
  • HTML全文浏览量:  70
  • PDF下载量:  44
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-09-19
  • 修回日期:  2021-12-10
  • 刊出日期:  2022-08-31

瞬态成像模式下高帧频CMOS图像传感器性能研究

doi: 10.3788/IRLA20210694
    作者简介:

    严明,男,副研究员,博士,主要从事高速成像及其相关方面的研究

    通讯作者: 白琼,女,助理研究员,硕士,主要从事图像处理、机器学习等方面的研究。
基金项目:  国家自然科学基金(11475138,11775179)
  • 中图分类号: TP212

摘要: 高帧频CMOS图像传感器具有集成度高、帧频高、功耗低、抗干扰抗辐照能力强等特性,在科学实验中应用广泛。为提高外同步触发瞬态成像模式下的成像性能,首先介绍了基于高帧频CIS(5T像素,超大快门)的瞬态成像系统构成及其工作模式;从像素结构出发,对该款CIS在不同工作模式下的成像性能进行了理论分析;搭建了基于EMVA1288的标准化测试平台,对瞬态工作模式下的多项关键性能指标进行了测试,并与稳态工作模式下的性能进行了对比。分析结果表明:与稳态工作模式相比,瞬态成像模式下图像传感器具有更大的暗本底和固定模式噪声,但传感器的时序噪声、光响应非均匀性优于稳态工作模式,具有更高的信噪比和动态范围,与理论分析基本吻合。测试分析结果可用于指导科学成像系统设计与性能优化。

English Abstract

    • 随着半导体光电技术的不断发展,基于CMOS工艺的图像传感器(CMOS Image Sensor, CIS)性能不断提升,由于其独有的高集成度、高帧频、低功耗和强抗干扰抗辐照能力等特性[1],在科学实验中应用日益广泛。在图像测量与诊断领域中,成像系统通常工作于外部信号同步触发的瞬态成像模式。与连续图像输出的稳态模式不同,瞬态成像模式主要以触发等待时间长、曝光时间短、图像推出速度快、图像曝光输出不连续为突出特点。瞬态成像技术可以较好地捕捉快速物理现象中的过程图像,以反应其物理过程的发展变化规律。因此,瞬态成像技术广泛应用于等离子体物理研究、高速碰撞实验、爆轰效应等科学实验领域[2]。高帧频的图像传感器作为瞬态成像系统的核心器件,由于生产工艺的个体差异、半导体材料特性变化、传感器工作模式的差异[3],有必要对传感器的实际性能参数进行精细化测量与分析,并根据分析结果对图像进行相应的优化处理,以获得最佳的测试图像。

      国内外针对CIS的性能研究大都集中在连续图像输出的稳态模式,主要有针对暗电流信号的性能优化[4]、针对光响应一致性的性能优化[5]、针对不同高帧频传感器的性能测试与对比分析[6]等。但是很少有针对CIS工作在瞬态成像模式下的性能研究。因此,开展高帧频CMOS图像传感器在瞬态成像模式下的性能研究具有十分重要的价值。

      CMOS图像传感器工艺将光二极管工艺与标准CMOS工艺相结合,片内集成列读出放大及高速并行AD转换器,有利于大像素阵列集成和高帧频实现。随着特种半导体工艺技术的进步,CIS在量子效率、灵敏度等方面接近CCD技术水平,而更低廉的加工成本和独特的性能优势,使得CIS逐渐取代CCD成为图像传感器的主流器件。尤其在对传感器性能要求较高的科学成像领域,CIS在高灵敏度、高帧频和大面阵成像系统方面已经取代CCD器件,成为大部分成像系统设计的首选。

      文中首先介绍了一款高帧频CIS的性能参数以及基于该CIS的瞬态成像系统构成;然后从像素结构出发,分析了高帧频CIS在不同工作模式下的成像性能特征;搭建了基于EMVA1288的标准化测试平台,对瞬态工作模式下的多项关键性能指标进行了测试,并与稳态工作模式下的成像性能进行了对比,测试结果与理论分析相吻合。

    • 高帧频CIS是高速成像系统的核心器件,器件的性能参数决定了成像系统的性能。文中选定的高帧频图像传感器采用5T像素结构,空间分辨率为1280×1024,像素量化精度为12 bit,在全分辨率条件下,最大帧频达到1000 fps [7]。其主要性能指标如表1所示。

      表 1  高帧频CMOS图像传感器性能参数

      Table 1.  Performance of the high-speed CIS

      ParameterPerformanceParameterPerformance
      Resolution1280×1024Response10 V/Lux-s @525 nm
      Pixel size5.5 μm×5.5 μmConversion gain75 μV/e
      Pixel type5TShutter speed≥500 ns
      Max frame rate1000 fpsShutter typeGlobal shutter
      Throughput1440 Mpixel/sMAX SNR42.5 dB
      ADC resolution12 bitsDynamic range56.8 dB
      Full well18000 ePRNU0.9% rms

      表1可以看出,与高灵敏度的科学级CIS通常采用卷帘快门(Rolling Shutter)不同,高帧频CIS通常采用全局快门(Global Shutter)结构。卷帘快门读出噪声低,配合高精度的ADC进行量化,有利于实现高灵敏度的成像性能,而高帧频则主要关心图像推出速度,其列处理电路的噪声较大,数字化精度较低,对读出噪声不太敏感,因此高帧频CIS大多采用全局快门工作模式。高帧频CIS的电荷转移时间短,通常在百纳秒量级,浮置栅级电容较小,为了实现高帧频图像推出,像素列处理电路的工作频率较高,因此读出噪声较大。为实现较高的帧频率和较短的曝光时间,通常采用5T或更多晶体管的像素结构,以实现良好的全局曝光控制。

      基于该款高帧频CIS,设计实现了一种瞬态成像系统,系统主要由前端高速相机及远端高速图像采集系统构成[8]。前端高速相机包括光学镜头、快响应像增强器、高压快脉冲发生器、光纤锥耦合CIS、以及传感器驱动电路等。该瞬态成像系统的构成和实物如图1所示。

      图  1  瞬态成像系统构成及实物照片

      Figure 1.  Structure and picture of the transient imaging system

      瞬态成像系统通常需要实现很高的时间分辨能力,通过快响应像增强器配合高压快脉冲发生器,该系统实现了纳秒量级的时间分辨性能,同时像增强器可以对目标场景进行光增强,获得较好的图像信噪比。文中所设计的瞬态成像系统通过将快响应像增强器的开门时间与高帧频CIS的曝光时间相配合,实现了超短曝光的连续两帧瞬态图像获取功能。前端相机获取的瞬态图像通过光纤传输至后端图像采集系统进行处理和显示,有利于提高成像系统对各类不同科学实验的适用性。

    • 高帧频CIS通常采用的典型像素结构为5T像素,该结构可以实现较快的全局电子快门,高帧频CIS的典型芯片结构及5T像素结构如图2所示。

      图  2  高帧频CIS的像素结构和典型结构

      Figure 2.  Pixel and typical structures of the high-speed CIS

      图2所示的5T像素结构主要包括光敏区复位、浮置栅级复位、转移门、源极跟随输出及行选择输出等晶体管。全局电子快门通过全局光敏区复位信号配合全局转移信号实现,快门时序如图3所示。

      图  3  5T像素全局快门时序

      Figure 3.  Global shutter timing of 5T pixel

      图3所示,5T像素通过PD_RST信号对全局像素光敏区进行清零,关闭该信号像素阵列开始曝光,打开转移信号TX则开始全局电荷转移,转移结束标志一次全局曝光的电子快门结束。在瞬态成像模式下,等待触发信号时像素阵列处于状态①,此时5T像素仅光敏区处于复位状态,转移信号和浮置栅级复位信号关闭,传感器像素阵列内部仅有光敏区的光生电荷通过复位管的直接泄放电流。5T像素CIS的瞬态成像模式和稳态连续成像模式时序驱动不同,两者的对比如图4所示。

      图  4  5T像素瞬态成像和连续成像时序对比

      Figure 4.  Comparison of 5T pixel drive timing in transient and continuous imaging mode

      两种成像模式在像素阵列的工作状态方面存在较大不同:如图4 (a)所示,在瞬态成像模式下,传感器光敏区长时间处于复位状态,光敏区电势被拉高至VPIX,当外部触发信号到来,PD_RST管关闭,阵列光敏区开始累积光生电荷,此时VPIX负载降低,由于此时光敏区与VPIX断开,VPIX负载降低带来的电压波动,对光敏区的感光不产生影响;如图4 (b)所示,在稳态成像模式下,光敏区大部分时间处于电荷累积状态,光敏区的复位间隔小于帧间隔,当曝光时间与帧间隔接近时,光敏区复位时间非常短。像素阵列光敏区短时间复位,会在VPIX上造成负载的短时增大,尤其PD_RST复位管打开的瞬间,VPIX上会增加一个20 nF的瞬时容性负载,峰值瞬时电流负载达到1 A/50 ns。该负载造成VPIX在像素阵列内部的波动,带来像素阵列光响应一致性变坏。即连续成像模式下,像素阵列的光响应一致性差于瞬态成像模式,曝光时间越短,连续成像模式下光响应一致性越差。

      两种成像模式在读出电路的工作状态方面存在不同:瞬态成像模式下长时间没有图像读出,列处理电路处于初始等待状态,此时CDS电路的采样电容、PGA电路的信号放大电容、信号传输链路上的存储电容等容性负载在热噪声影响下会不断积累电荷,使得像素阵列的暗本底信号不断上升,但由于电路没有处于高频率工作状态,时序噪声会略小;而稳态模式下,图像处于连续读出状态,列处理电路处于连续工作状态,每行读出后,列处理电路会自动复位清零,因此像素阵列的暗本底信号较小,但电路一直处于高频工作状态,时序噪声会略大。即连续成像模式下,像素阵列暗本底较低,但时序噪声略大;瞬态成像模式下,像素阵列暗本底较高,但时序噪声略小。

    • 为测试不同工作模式下成像系统的关键性能指标,文中所搭建的成像性能测试系统如图5所示,主要由光源系统、暗室、信号源、高帧频CMOS相机、图像采集卡、上位机控制系统构成[9]。该测试系统可提供明场、暗场两种测试光场;可分别对成像系统的瞬态工作模式及稳态工作模式进行测量。瞬态工作模式采用外触发信号获取单帧图像,稳态工作模式采用连续曝光获取多幅图像,抽取其中一幅图像进行测试。

      图  5  瞬态成像性能测试系统构成

      Figure 5.  Structure and picture of the transient imaging performance measure system

      稳态工作模式下,系统选用LED光源,利用光源控制器控制光源强度,可输出稳定单色光,通过进光口后拆分为两路,一路直接照射到被测相机的CMOS图像传感器的感光平面,用于稳态图像的采集;一路通过光电转换模块,输入示波器,与信号源原始波形进行对比。瞬态工作模式下,信号源控制纳秒激光器,发射脉宽为5 ns的脉冲激光,用于瞬态图像的采集,激光器的光谱在200~1000 nm范围内可调,频谱宽度为5 nm。

      前端相机获取不同工作模式下的图像数据通过光纤实时传输至后端图像采集卡;图像采集卡获取测量图像后通过USB3.0接口传输存储到上位控制主机内,上位机软件对采集的图像数据进行处理分析,获取最终的性能测试结果。

      暗场测试过程中,测试系统关闭光源,通过改变相机的曝光时间,测量暗信号时间噪声及暗信号非均匀性(DSNU)等性能参数。明场测试过程中,为了获取一系列不同曝光量的测试图像,保持光源光照强度不变,改变图像传感器的曝光时间,测量时间噪声、光响应非均匀性(PRNU)等性能参数。并结合明场、暗场测试结果,进一步分析获得信噪比、动态范围、暗电流、总体系统增益等性能参数。

    • (1)参数测试方法

      成像系统的时间噪声指随时间发生变化的噪声,主要来源包括:热噪声、读出噪声及放大电路噪声、量化噪声、散粒噪声等。明场条件下,每个曝光强度下采集L=20幅图像,对20幅图像取平均获得平均灰度图像,并计算每个像素灰度相对于平均灰度图像的方差,再对整张图像求平均,获取输出信号的时间噪声$ {\sigma }_{y}^{2} $,计算公式表示如下:

      $$ {\sigma }_{y}^{2}=\frac{1}{LMN}{\sum }_{l=1}^{L}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{Y}_{l}\left[i\right]\left[j\right] $$ (1)
      $$ {Y}_{l}\left[i\right]\left[j\right]={\left({y}_{l}\right[i\left]\right[j]-\overline{y}[i\left]\right[j\left]\right)}^{2} $$ (2)

      暗场条件下,保持与明场图像曝光时间相同,计算暗信号时间噪声$ {\sigma }_{dark}^{2} $,公式表示如下:

      $$ {\sigma }_{dark}^{2}=\frac{1}{LMN}{\sum }_{l=1}^{L}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{Y}_{l}\left[i\right]\left[j\right] $$ (3)
      $$ {{Y}_{l}\left[i\right]\left[j\right]=\left({y}_{darkl}\left[i\right]\left[j\right]-{\overline{y}}_{dark}\left[i\right]\left[j\right]\right)}^{2} $$ (4)

      式中:$ {y}_{l}\left[i\right]\left[j\right] $为测试图像像素灰度;$ \overline{y}\left[i\right]\left[j\right] $为20幅图像对应像素的平均灰度;$ {y}_{darkl}\left[i\right]\left[j\right] $为暗场图像像素灰度;$ {\overline{y}}_{dark}\left[i\right]\left[j\right] $为20幅暗场图像对应像素的平均灰度;M×N为图像分辨率,L为同一光强下获取的图像数量。

      (2)测试结果及分析

      图6(a)所示,在暗场条件下,瞬态工作模式下时间噪声大致为4.6 DN,稳态工作模式下为5.4 DN,瞬态模式时序噪声更低。其主要原因是瞬态工作模式下列处理电路处于初始等待状态,而稳态模式下,图像连续读出,列处理电路处于连续工作状态,高频工作状态使得稳态工作模式下时序噪声相比瞬态模式更大。

      图  6  时序噪声随曝光的变化曲线

      Figure 6.  Temporal noise curve related to exposure time

      图6(b)所示,明场条件下,时序噪声主要随入射光的散粒噪声变化,当像素未达饱和时,时序噪声随相对曝光强度的增加而增加,当曝光强度不断增大,部分像素逐渐饱和,此时时序噪声逐步下降,待所有像素均趋向饱和时,时序噪声趋向于0。由图可见,在瞬态模式下时序噪声较稳态条件下更早开始下降,主要是由于瞬态模式下图像的暗场本底较稳态模式要高,在相同曝光强度时传感器各像素相比稳态条件更早饱和,因此时序噪声较早开始呈现下降趋势且噪声最大值小于稳态条件下的噪声。

    • (1)测试参数

      由于半导体制造工艺的缺陷,在暗场条件下,传感器感光表面也会自发产生电子,形成暗电流$ {\mu }_{I} $,暗电流会降低图像的动态范围及信噪比,还会因像素间暗电流的差异,引发固定模式噪声。在相同温度下,暗电流$\; {\mu }_{I} $导致暗信号平均灰度值$ {\mu }_{dark} $随曝光时间$ {T}_{exp} $线性增长,关系表示如下:

      $$ {\mu }_{dark}={\mu }_{d.0}+K{\mu }_{I}{T}_{exp} $$ (6)

      根据所拟合的$ \;{\mu }_{dark} $与对应的$ {T}_{exp} $的线性方程,计算曲线斜率与系统增益$ K $的比值即为平均暗电流$ {\mu }_{I} $

      (2)测试结果及分析

      图7所示,暗场条件下,暗信号平均灰度值随曝光时间基本呈线性增长关系,但线性度较低。其中瞬态模式下斜率${{K}}_{darkS}$=0.0795大于稳态模式斜率${{K}}_{darkW}$=0.028。据公式(6)计算可知,瞬态模式下暗电流:${{I}}_{S}$=$\dfrac{{{K}}_{darkS}}{{{K}}_{S}}=$0.414,稳态模式下暗电流:${{I}}_{W}$=$\dfrac{{{K}}_{darkW}}{{{K}}_{W}}=$0.144。由计算结果可知,瞬态工作模式下的暗电流明显大于稳态工作模式下的暗电流,${{I}}_{S}\approx 2.88\times {{I}}_{W}$ 。这主要是由于瞬态工作模式下,像素长时间处于清零状态,暗电流造成浮置栅极、采样电容等读出电路不断累计热电荷。对于瞬态工作模式,暗电流的影响大多在数秒以上,而稳态工作模式的暗电流影响时间通常为帧频率的倒数,文中所涉及的传感器为1 ms。暗电流表现为图像暗场本底基线的漂移,瞬态工作模式与稳态工作模式在同一曝光时间下的图像平均灰度差值约为130 DN。瞬态成像模式下,图像的暗本底比连续成像模式高。

      图  7  瞬态及稳态暗信号平均灰度随曝光的变化

      Figure 7.  Average gray of dark image in different imaging mode

    • (1)参数测试方法

      信噪比反映了CMOS图像传感器的信号质量,由有效信号与噪声的比值表示:

      $$ S NR=\frac{{\mu }_{y}-{\mu }_{dark}}{\sqrt{{\sigma }_{y}^{2}}} $$ (7)

      图像传感器的动态范围表征了图像传感器感光能力的大小。其中,感光上限取决于信号达到饱和时满阱电荷的大小;感光下限取决于图像传感器的本底噪声。由于信号光强与图像灰度均值呈线性关系,动态范围$ DR $可表示为:

      $$ DR=\frac{{\mu }_{y.sat}-{\mu }_{dark.sat}}{{\mu }_{y.min}-{\mu }_{dark.min}} $$ (8)

      式中:$\; {\mu }_{y.sat} $为图像灰度均值的饱和输出值;$ \;{\mu }_{dark.sat} $为对应曝光下的暗场灰度均值;$\; {\mu }_{y.min} $为信噪比SNR=1时对应的光信号灰度均值,$ {\mu }_{dark.min} $为对应的暗场灰度均值。

      (2)测试结果及分析

      图8(a)所示,在低照度下图像信噪比随曝光时间近似线性增长,随着光强的增大,逐步转变为信噪比随曝光时间的平方根增长。在低曝光强度时,瞬态工作模式下图像有效信号及时间噪声均大于稳态工作模式下的图像,根据二者的比值可知瞬态工作模式下图像信噪比${{S}{N}{R}}_{{S}}$略大于稳态工作模式下图像信噪比${{S}{N}{R}}_{{W}}$;在接近饱和曝光时,瞬态工作模式下图像较先饱和,此时对应时间噪声明显降低,瞬态工作模式下图像信噪比${{S}{N}{R}}_{{S}}$大于稳态工作模式下图像信噪比${{S}{N}{R}}_{{W}}$,中等曝光强度时,信噪比变化趋势大致相同。

      图  8  图像信噪比及图像有效信号随曝光时间的变化

      Figure 8.  SNR and effective average gray related to exposure time

      图8(b)所示,当图像饱和时,瞬态工作模式的有效信号值:$\left({\mu }_{yS.sat}-{\mu }_{darkS.sat}\right)=3\;908\; {\rm{DN}}$,稳态工作模式的有效信号值:$\left({\mu }_{yW.sat}-{\mu }_{darkW.sat}\right)=4\;022 \;{\rm{DN }}$,结合图2(a)可知,瞬态工作模式下的动态范围:${DR}_{S} = {3\;908}/{4.6} = 849$,稳态工作模式下的动态范围:${DR}_{W}={4\;022}/{5.4}=745$。稳态模式下传感器有更大的有效信号范围,但由于时序噪声更大,瞬态工作模式下的信噪比更高,动态范围更大。

    • (1)参数测试方法

      由于制造工艺的限制,CMOS图像传感器各像元的感光面大小不同,光电转换效应存在差异,通过不同的放大器和AD转换器转换为灰度信号时,特性也存在一定差异,导致最终的图像传感器各像元输出信号呈现非均匀性 [10]。图像传感器的非均匀性包括暗信号非均匀性(DSNU)与光响应非均匀性(PRNU)。测量响应非均性的过程中,为了降低时间噪声的影响,每个曝光时间下取20帧的测试图像求平均。

      PRNU与DSNU的计算公式表示如下:

      $$ PRNU=\frac{\sqrt{{s}_{y}^{2}-{s}_{dark}^{2}}}{{\mu }_{y}-{\mu }_{dark}} $$ (9)
      $$ \begin{split} \\ DS NU={s}_{dark} \end{split} $$ (10)

      其中,$ {s}_{y}^{2} $$ {\mu }_{y} $分别代表明场环境下,图像半饱和状态时$ {t}_{0.5} $的各像元的空间方差与灰度均值,计算公式如下:

      $$ {\mu }_{y}=\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}y\left[i\right]\left[j\right] $$ (11)
      $$ {s}_{y}^{2}=\frac{1}{MN}{\sum }_{i=0}^{M-1}{\sum }_{j=0}^{N-1}{\left(y\left[i\right]\left[j\right]-{\mu }_{y}\right)}^{2} $$ (12)

      $ {s}_{dark}^{2} $$ {\mu }_{dark} $分别代表暗场环境下,曝光时间为$ {t}_{0.5} $时各像元的空间方差与灰度均值,计算公式同上。

      (2)测试结果及分析

      图9(a)可知,DSNU随着相对曝光的变化较为平稳,其中瞬态工作模式下的DSNU_S≈42 DN,稳态工作模式下的DSNU_W≈27 DN,暗信号非均匀性主要表征的是像素暗电流特性、读出电路、列处理电路及量化电路等的不一致性,由于瞬态工作模式下,暗电流的影响时间在秒级,像素阵列外围电路的热电荷积累时间长,使得其暗信号非均匀性明显高于稳态工作模式。

      图  9  暗信号非均匀性和光响应非均匀性随曝光时间的变化

      Figure 9.  DCNU and PRNU related to exposure time

      图9(b)可知,PRNU随着相对曝光强度的增大而减小,瞬态工作模式下的PRNU值小于稳态工作模式下的PRNU值。通常采用像素阵列半饱和状态下的PRNU值反映传感器的光响应非均匀性。此时瞬态工作模式的光响应非均匀性PRNU_0.5 satS=0.51%,稳态工作模式的光响应非均匀性PRNU_0.5 satS=1.25%,因此,瞬态工作模式下各像元对光信号响应的一致性更优,连续成像模式下,曝光时间越短,光响应不一致性越差。

    • 文中在搭建成像性能测试系统的基础上,对一款5T像素全局快门型高帧频CMOS图像传感器在瞬态及稳态工作模式下的特性进行了理论分析,并对关键性能指标进行了测试和对比分析。测试及对比分析结果对进一步优化瞬态成像系统性能提供了重要数据支撑,测试结果表明:该款高帧频CMOS图像传感器在瞬态工作模式下,固定模式噪声及暗电流大于稳态工作模式;但其光响应非均匀性和读出噪声指标优于稳态工作模式,综合性能指标信噪比和动态范围优于稳态工作模式,测试结果与理论分析结论吻合。

参考文献 (10)

目录

    /

    返回文章
    返回