留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于成像时刻校准的混合域TDICMOS成像技术研究

梁楠 翟立阳

梁楠, 翟立阳. 基于成像时刻校准的混合域TDICMOS成像技术研究[J]. 红外与激光工程, 2021, 50(2): 20200308. doi: 10.3788/IRLA20200308
引用本文: 梁楠, 翟立阳. 基于成像时刻校准的混合域TDICMOS成像技术研究[J]. 红外与激光工程, 2021, 50(2): 20200308. doi: 10.3788/IRLA20200308
Liang Nan, Zhai Liyang. Research on hybrid domain TDICMOS imaging technology based on imaging time calibration[J]. Infrared and Laser Engineering, 2021, 50(2): 20200308. doi: 10.3788/IRLA20200308
Citation: Liang Nan, Zhai Liyang. Research on hybrid domain TDICMOS imaging technology based on imaging time calibration[J]. Infrared and Laser Engineering, 2021, 50(2): 20200308. doi: 10.3788/IRLA20200308

基于成像时刻校准的混合域TDICMOS成像技术研究

doi: 10.3788/IRLA20200308
基金项目: 国家重点研发计划地球观测与导航重点专项(2016YFB0500802)
详细信息
    作者简介:

    梁楠 (1985−),北京空间机电研究所高级工程师,博士,研究方向为遥感领域视频电子学技术。长期从事高分辨率可见光领域技术、高行频推扫型TDI线阵相机电子学以及探测器方面的研究。申请3项国家发明专利及第一作者研究论文5篇

  • 中图分类号: TN401

Research on hybrid domain TDICMOS imaging technology based on imaging time calibration

  • 摘要: 随着航天遥感领域超高分辨率成像电子学中行频的不断提升,一个积分时间内光生电荷数量逐渐减少,弱光成像能力有所下降,电子学中需要采用增大时间延迟积分级数的方法弥补能量的不足。传统数字域累加探测器有着引入过多噪声与帧频受限的多项弊端,而电荷域探测器的超大级数累加会带来电荷转移效率的下降和图像的混叠。基于此,文章在采用低功耗、高集成度TDICMOS基础上,提出了一种基于电荷域和数字域混合的新型累加方式,并对影响弱光成像像质水平的主要指标进行分析。随后针对混合域累加方式下多感光单元间的像质退化,提出一种基于图像配准的成像时刻校准方法,通过多片感光单元间隔测量和成像时刻时序微调有效改善了大积分级数电荷运动与景物运动的失配程度。最后通过滚筒测试验证了成像时刻校准方法的有效性,通过性能测试验证了混合域成像在弱光照下探测能力的提升。结果表明,文中所提方法有效地解决了TDI型探测器的主要瓶颈,为超高分辨率遥感相机提供了有效的解决方案。
  • 图  1  混合域TDI累加系统结构

    Figure  1.  Structure of TDI accumulation system in hybrid domain

    图  2  双线性插值方法

    Figure  2.  Bilinear interpolation method

    图  3  多感光单元配准时序

    Figure  3.  Registration timing of multiple photosensitive units

    图  4  一片感光单元图像信噪比曲线

    Figure  4.  Curve of SNR in one photosensitive unit

    图  5  四片感光区图像信噪比曲线

    Figure  5.  Curve of SNR in four photosensitive units

    图  6  多片感光单元成像

    Figure  6.  Imaging of multiple photosensitive units

    图  7  成像时刻精调后图像

    Figure  7.  Image after fine adjustment at imaging time

    表  1  不同成像系统动态范围对比

    Table  1.   Comparison of dynamic range of different imaging systems

    Charge-DN factor/DN·e-1Full well/keDark noise/DNDynamic range/dB
    Charge domain0.15109.21.9566.4
    Hybrid domain0.1525.814.1571.92
    下载: 导出CSV

    表  2  成像时刻精调前后MTF对比

    Table  2.   MTF comparison before and after fine adjustment

    Charge domainhybrid domain (before adjustment)Hybrid domain (after adjustment)
    MTF0.1620.0550.143
    下载: 导出CSV
  • [1] Hyun Jung Lee. Charge-couple CMOS TDI imager[C]//Image Sensors Workshop, 2017: 155-162.
    [2] Laurens Korthout. A 256 stage charge domain TDI CMOS imager[C]//CNES workshop, 2017: 753-761.
    [3] 陶淑萍, 金光, 曲宏松, 等. 采用卷帘数字域TDI 技术的CMOS成像系统设计[J]. 红外与激光工程, 2012, 41(9): 2380-2385. doi:  10.3969/j.issn.1007-2276.2012.09.024

    Tao Shuping, Jin Guang, Qu Hongsong, et al. Design of CMOS imaging system based on rolling TDI in digital domain [J]. Infrared and Laser Engineering, 2012, 41(9): 2380-2385. (in Chinese) doi:  10.3969/j.issn.1007-2276.2012.09.024
    [4] Yu Hang, Qian Xinyuan, Chen Shoushun, et al. A time-delay-integration CMOS image sensor with pipelined charge transfer architecture[C]//IEEE International Symposium on Circuits and Systems, 2012: 1624-1627.
    [5] Bogaerts J, De Munck K, De Moor P, et al. Image sensor analog and digital on-chip processing[C]//Workshop Backside Illuminated Active Pixel Sensors for Earth Observation, 2007: 1123-1129.
    [6] Yu H, Qian X Y, Zhao B, et al. Design of a radiation tolerant CMOS image sensor[C]//International Symposium on Integrated Circuits, 2011: 412-415.
    [7] Chen X, Yin C, Feng Y. A virtual simulation system of TDI line scan camera[C]//IEEE International Conference on Advanced Intelligent Mechatronics, 2008: 138-144.
    [8] 朱明, 姚强, 唐俊, 等. 超图约束和改进归一化互相关方法相结合的图像配准算法[J]. 国防科技大学学报, 2019, 41(3): 50-55. doi:  10.11887/j.cn.201903009

    Zhu Ming, Yao Qiang, Tang Jun, et al. Image registration algorithm with hypergraph constraint and improved normalized cross correlation method [J]. Journal of National University of Defense Technology, 2019, 41(3): 50-55. (in Chinese) doi:  10.11887/j.cn.201903009
  • [1] 乔凯, 杨杰, 靳辰飞.  基于时间相关单光子计数的穿透成像激光雷达研究(特邀) . 红外与激光工程, 2022, 51(8): 20220404-1-20220404-13. doi: 10.3788/IRLA20220404
    [2] 王旭明, 黄伟, 张炳先, 魏久哲, 庄绪霞, 吕秋峰, 姜海滨.  帧间角点匹配的积分时间实时测算方法 . 红外与激光工程, 2021, 50(5): 20200492-1-20200492-9. doi: 10.3788/IRLA20200492
    [3] 吴钰, 周木春, 赵琦, 李扬彦, 吴李勇.  脉冲激光测距中阈值—峰值双通道时刻鉴别方法 . 红外与激光工程, 2019, 48(6): 606002-0606002(7). doi: 10.3788/IRLA201948.0606002
    [4] 蔡贵霞, 钱惟贤, 杨锦清, 张骏, 高青松.  差分信号时刻鉴别法的脉冲激光测距技术分析 . 红外与激光工程, 2019, 48(12): 1205001-1205001(10). doi: 10.3788/IRLA201948.1205001
    [5] 白雁力, 姚荣彬, 高海英, 党选举, 何国民.  高时间分辨分幅成像技术分析及性能测试 . 红外与激光工程, 2018, 47(6): 624002-0624002(6). doi: 10.3788/IRLA201847.0624002
    [6] 张猛蛟, 蔡毅, 叶梁, 陈远金, 徐春叶, 王岭雪.  利用抗光晕通道倾泻电荷的帧转移EMCCD电子快门方法 . 红外与激光工程, 2018, 47(6): 620001-0620001(7). doi: 10.3788/IRLA201847.0620001
    [7] 邵俊峰, 郭劲, 王挺峰, 郑长彬.  激光脉冲串对电荷耦合器件积累损伤效应研究 . 红外与激光工程, 2017, 46(10): 1003002-1003002(6). doi: 10.3788/IRLA201747.1003002
    [8] 崔坤, 陈凡胜, 苏晓锋, 蔡萍.  自适应积分时间改变的红外焦平面非均匀校正方法 . 红外与激光工程, 2017, 46(11): 1104001-1104001(7). doi: 10.3788/IRLA201746.1104001
    [9] 翟永成, 丁瑞军.  320×256大电荷容量的长波红外读出电路结构设计 . 红外与激光工程, 2016, 45(9): 904003-0904003(6). doi: 10.3788/IRLA201645.0904003
    [10] 陈剑武, 曹开钦, 孙德新, 刘银年.  高帧频低拖尾帧转移CCD驱动技术 . 红外与激光工程, 2016, 45(1): 123001-0123001(6). doi: 10.3788/IRLA201645.0123001
    [11] 宋德, 石峰, 李野.  基底均匀掺杂下EBAPS电荷收集效率的模拟研究 . 红外与激光工程, 2016, 45(2): 203002-0203002(5). doi: 10.3788/IRLA201645.0203002
    [12] 任彬, 石峰, 郭晖, 焦岗成, 胡仓陆, 成伟, 徐晓兵, 王书菲.  InP/InGaAs转移电子光阴极吸收层厚度设计与计算 . 红外与激光工程, 2015, 44(10): 3010-3014.
    [13] 李亚鹏, 何斌, 王文华.  面阵电荷耦合器件错位成像的建模与仿真 . 红外与激光工程, 2015, 44(9): 2767-2773.
    [14] 苏娟, 杨罗, 卢俊.  基于视觉注意模型的红外图像分级压缩方法 . 红外与激光工程, 2014, 43(6): 2040-2045.
    [15] 代霜, 王槐, 于涛, 宋克非.  紫外临边成像光谱仪时间同步系统的优化 . 红外与激光工程, 2014, 43(7): 2270-2276.
    [16] 李亚鹏, 何斌, 付天骄.  行间转移型面阵CCD成像系统设计 . 红外与激光工程, 2014, 43(8): 2602-2606.
    [17] 葛伦, 华卫红, 王红岩, 杨子宁, 韩海涛.  铷蒸气激光器中的碰撞能量转移效应 . 红外与激光工程, 2013, 42(2): 334-338.
    [18] 罗茂捷, 周金梅, 傅景能, 廖胜.  考虑积分时间变量的红外系统辐射响应定标 . 红外与激光工程, 2013, 42(1): 36-40.
    [19] 张伟, 谢蓄芬, 王付刚, 智喜洋.  变积分时间的空间红外相机单点绝对辐射定标法 . 红外与激光工程, 2012, 41(8): 2090-2095.
    [20] 刘宁, 陈钱, 顾国华, 隋修宝.  640×512制冷探测器积分时间与SNR分析 . 红外与激光工程, 2012, 41(1): 43-48.
  • 加载中
图(7) / 表(2)
计量
  • 文章访问数:  275
  • HTML全文浏览量:  67
  • PDF下载量:  30
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-09-10
  • 修回日期:  2020-10-20
  • 网络出版日期:  2021-02-07
  • 刊出日期:  2021-02-07

基于成像时刻校准的混合域TDICMOS成像技术研究

doi: 10.3788/IRLA20200308
    作者简介:

    梁楠 (1985−),北京空间机电研究所高级工程师,博士,研究方向为遥感领域视频电子学技术。长期从事高分辨率可见光领域技术、高行频推扫型TDI线阵相机电子学以及探测器方面的研究。申请3项国家发明专利及第一作者研究论文5篇

基金项目:  国家重点研发计划地球观测与导航重点专项(2016YFB0500802)
  • 中图分类号: TN401

摘要: 随着航天遥感领域超高分辨率成像电子学中行频的不断提升,一个积分时间内光生电荷数量逐渐减少,弱光成像能力有所下降,电子学中需要采用增大时间延迟积分级数的方法弥补能量的不足。传统数字域累加探测器有着引入过多噪声与帧频受限的多项弊端,而电荷域探测器的超大级数累加会带来电荷转移效率的下降和图像的混叠。基于此,文章在采用低功耗、高集成度TDICMOS基础上,提出了一种基于电荷域和数字域混合的新型累加方式,并对影响弱光成像像质水平的主要指标进行分析。随后针对混合域累加方式下多感光单元间的像质退化,提出一种基于图像配准的成像时刻校准方法,通过多片感光单元间隔测量和成像时刻时序微调有效改善了大积分级数电荷运动与景物运动的失配程度。最后通过滚筒测试验证了成像时刻校准方法的有效性,通过性能测试验证了混合域成像在弱光照下探测能力的提升。结果表明,文中所提方法有效地解决了TDI型探测器的主要瓶颈,为超高分辨率遥感相机提供了有效的解决方案。

English Abstract

    • TDI (Time delayed and integration)技术一直以来在航天遥感领域的应用较为普遍。高分辨率可见光遥感相机为了增强入瞳能量,主要采用TDI扫描方式,通过景物与传感器之间的相对运动进行叠加成像,从而提高成像质量。然而随着分辨率的进一步提高,积分时间极具缩短,TDI探测器的单像元尺寸势必减小。单像元在一个积分时间内入瞳能量成指数倍降低。因此需要探测器具有更加优异的量子效率,以及更大规模的TDI级数累加电路[1]。由于受限于工艺原因,电荷域TDI探测器的累加级数过大会导致电荷转移效率的降低,从而使得MTF下降[2]。针对上述问题,陶淑苹提出了通过卷帘曝光的面阵器件,以一定时序关系将每行图像进行数字叠加的级数累加方式[3]。而该方式采用大规模数字累加又会使得大量的量化噪声、读出噪声等得到累加,使得图像质量并不能按预期增强。图像动态范围理论上没有得到增强,图像信噪比提升也有限。

      文中基于此种背景下,针对超大规模TDICMOS探测器,提出了一种电荷域与数字域共存的大级数累加控制方法,并提出了基于FPGA进行数字累加的实现方式。在提高了信噪比和动态范围等关键成像参数的情况下,通过基于互相关方法的图像配准实现多片感光单元相互位置的测量,通过基于同步时序的方法调整多片感光单元成像时刻,从而达到精确匹配。最终,结合实验室测试,验证了文中所提出的混合域累加方法的有效性和可实现性。文中所提方法有效地解决了单纯电荷域或数字域累加在超高分辨率成像上的主要瓶颈,为后续航天产品高分辨率成像提供了有效的解决方案。

    • 对于像元尺寸较小的探测器而言,在低压工艺环境下,探测器满阱电荷无法提高到一个较高的量级,因此会使得所成图像在较高辐亮度下过早饱和,进而影响了图像的信噪比、动态范围。另外,由于探测器采用CMOS单层POLY结构,较双层POLY的CCD工艺在转移效率上有所减弱,限制了级数的增加。因此超高分辨率相机在弱光成像能力受到了极大的限制[4-6]

    • 针对以上两个限制因素,文中提出了一种混合域级数累加方法。具体方式主要思想如下:首先通过多片探测器感光单元分别感光;根据感光区物理位置的不同将感光后的多片数据通过FPGA进行一定缓存,将缓存后的数据进行数字累加。如此实现了多片电荷域累加图像的数字累加。感光区数量可根据需求自由调整,以四段感光区为例,结构如图1所示。

      图  1  混合域TDI累加系统结构

      Figure 1.  Structure of TDI accumulation system in hybrid domain

      具体步骤如下。首先,根据预设的积分时间,生成时间延迟积分电荷转移时序,控制探测器进行电荷转移,分时对每个子感光区域内n级感光像元针对同一景物感光产生的电荷,按列进行累加,将累加后的电荷进行量化并输出灰度值,得到按TDI扫描方向分时产生的四组数字图像;最后,将每一区域缓存的数字图像进行行向累加,累加后的结果做为多片感光区的综合累加结果。从而实现了TDICMOS超大级数累加功能。

    • 当高分辨率相机工作在弱光照条件下,影响图像的主要因素如下。

      (1)辐照度的降低、较小的曝光时间使得探测器的光生电荷数量远远达不到器件满阱,因此信噪比也会有一定程度下降;(2)暗电流和噪声的影响使得图像动态范围急剧降低;

      下面对文中所述混合域成像方式下信噪比和动态范围进行计算分析。

    • 光子照射到探测器像元感光区光敏面的过程可以被看作独立、均匀、持续发生的一种随机过程。在一定时间内光敏面所接收光子的数值是在一个平均状态下有着微小的波动。这种光子数值的微小起伏便成为了光子的散粒嗓声,也称为光子噪声。对地观测成像时,图像所表现出的主要噪声为光子噪声[7]。假设单位时间内光子入射到探测器光敏面上的数量为$\omega $,探测器的量子效率$\xi $,系统的积分时间为T,在该单位时间内光电转换产生的电子数L遵循如下公式:

      $$ L = \omega \xi T \;\;\;\;\;\sigma = \sqrt S = \sqrt {\omega \xi T} $$ (公式1)

      因此,在混合域累加系统中,两片感光单元累加后的光子散粒噪声为:

      $$ {\sigma _1}^{} = \sqrt {{\sigma ^2} + {\sigma ^2}} = \sqrt {2\omega \xi T} $$ (公式2)
    • 动态范围表示图像中所包含最亮值与暗场下噪声的比值,其数值的增加可有效提高图像的识别度。相比普通的图像,高动态范围的探测能力可以提供更多的图像细节。在一定程度上,动态范围的增加,可有效提高图像的弱光照成像能力,是高分辨率成像一个重要指标。

      动态范围计算公式如下:

      $$DR = 20\log \dfrac{{{{\mu} _{y.{\rm sat}}}}}{{{{\mu} _{y.{\rm readout}}}}}$$ (公式3)

      式中:DR为动态范围,单位dB;${{\mu} _{y.{\rm sat}}}$为探测器所能探测到最大信号,饱和输出,单位DN;${{{mu} _{y.{\rm readout}}}}$为探测器所能探测到最小信号,读出噪声,单位DN;

      探测器最小信号即低温测试条件下暗场情况能够达到的信号均值,理论上在该种情况下暗电平值远小于读出噪声,因此业内普遍采用读出噪声或链路噪声做为动态范围计算中的最小值:

      $$\overline {HDR} = 20\log \left(\frac{{n \times {D_{\rm S}}}}{{\sqrt n \times {N_{{\rm dark}}}}}\right)$$ (公式4)

      由公式可知,若为四段感光单元成像,根据四片感光单元独立不相关理论,链路噪声提高到原来的2倍。总亮度提高为原来的4倍,因此动态范围增加了6 dB。因此对于混合域累加而言,有效地提高了探测动态范围,对弱光照下成像能力的提升有较大作用。

    • 采用混合域多感光单元累加方式,探测器内部FPGA接收多片感光单元的高速数据的同时,需要将每片数据按一定方式进行缓存,经过特定时间缓存后的数据才能进行图像预处理和数字累加。因此缓存时间的精确程度直接影响累加数据的混叠情况,缓存时间偏大或偏小都会直接影响图像的MTF。而传统光学测量方法较低无法满足需求。基于此,文中提出一种基于互相关理论的图像配准方法实现多片感光单元间的位置关系的精确测量,并提出一种同步时序的方法实现多片探测器之间成像时刻的微调。

    • 图像配准方法的分类依据不同的应用方向而有所不同,对于文中可见光遥感图像而言,主要包括利用图像灰度信息的方法和利用图像特征的方法两个大类。

      其中利用灰度信息的方法有互相关法和最大互信息配准法。利用图像特征的方法主要包括:基于点特征的方法、基于轮廓的图像配准方法、基于其他特征的配准方法[8]

      (1)互相关法:一种最基本的基于灰度的图像配准方法,是一种相似性度量或表征图像配准的匹配程度,目前演变为多种匹配算法,最经典的如序列相关法。

      (2)互信息法:用来衡量两个随机变量的互相依赖程度,用熵来表示。20世纪末互信息作为一种相似性判据首次应用在医学图像中,当需要配准的两幅图像达到最佳配准度时,两幅图像的互信息值能够达到最大。

      (3)基于特征的图像配准方法:主要是由参考图像和待配准图像之间的几何关系来求得配准参数,这类方法实施起来比基于灰度的配准方法复杂点。它首先要对图像进行特征提取,这些特征主要有:边缘、点、线、角以及曲率等,并以这些特征作为配准的依据,然后根据这些提取出来的特征去寻找变换关系,最终求得配准参数。

      综上所示,基于特征的图像配准方法由于先验图像信息提取困难,计算复杂度高,无法实现在轨应用;互信息法虽然能够较好地表征两幅图像的信息匹配度,但多幅图像系统的计算量较大,所需硬件支持程度同样较高,因此不适用于航天遥感成像系统。而基于灰度的相关法图像配准方式,计算复杂度较低,且不需要对图像分割等进行图像预处理,经过一定的优化同样可以达到高精度的图像配准。因此文中采用该种方法,针对文章中多片感光单元特性与精度要求进行算法改进,从而达到多片感光单元间隔的高精度测量。下面文中在插值方式和资源优化两个方面分别对优化方法进行说明。

    • 对于文中所述相邻两片感光单元图像而言,所测景物被像元阵列离散化采样,其采样深度为1个像元。因此通过互相关法进行图像配准后,所得到uv值仅仅达到1个像元的精度。为了提高配准精度,假设图像中所体现的景物信息主要为低频特性,在相邻两个点之间灰度值线性程度较高,可以将离散化采样的图像进行线性填充,即采用插值的方法实现离散采样点的细化。

      灰度级插值有多种方法可以实现,典型的有以下三种方法,分别有:一次插值法、双线性插值法、立方卷积插值法。为了兼顾系统实时性与精度,文章采取双线性插值法对相邻感光单元所成图像进行多次插值,将插值后两幅图像通过互相关法计算得到相对位移。

      这种插值法的基本思想为:先确定一个内插点z,然后找出与z最相邻的四个点,假设这四个点围成的区域内图像的灰度值变化是线性的,根据这个假设就可以用线性内插法通过这最近邻的四个点求出点z的灰度值,如图2所示。

      图  2  双线性插值方法

      Figure 2.  Bilinear interpolation method

      假设待配准图像经过反向映射得到参考图像上的一个浮点坐标为(i+x, j+y),其中ij为整数,0<x<1, 0<y<1。则插值像元的灰度公式如下:

      $$ \begin{split} f(i + x,j + y) =& (1 - x)(1 - y)f(i,j) +x(1 - y)f(i,j + 1)+\\ & (1 - x)yf(i + 1,j) +xyf(i + 1,j + 1)\\ \end{split} $$ (公式5)

      该种方式很好地弥补了一次线性插值的不足,能够较好地体现探测器的二维离散化特性,使得插值像元更加线性,提高了互相关法计算时的准确度。

    • 依据混合域成像多片感光区的自身特点,文中进行如下针对性的算法优化和精度提升工作。

      (1)图像窗口的选取优化

      根据工艺装配精度和入轨前振动,以及在轨遥感卫星先验知识得知,探测器多感光单元之间间隔在振动前后产生的变化小于像元级别。因此文中首先选取待配准的两片感光单元图像,分别对每片感光单元选取一组5×5的小规模阵列作为计算窗口,如此可有效提高计算速度。

      (2)插值次数的选取优化

      根据现有电路资源可知,在5×5阵列的窗口条件下,可支持多次插值的图像配准计算,5×5原始窗口得到的配准精度仅能达到1个像元级别。若要实现0.1像元的配准精度,可将5×5的阵列转换为50×50的较大规模阵列。如此,配准模型的资源占用情况如下:

      配准模型需使用512个DSP48资源,主要使用了其中的乘法器,用于插值运算。32个BRAM资源主要在缓存模块用于数据存储。16%的Slice资源则主要是占用了其寄存器资源。同时根据模型的静态时序报告得知,校正模型最高可以在171.221 MHz(5.84 ns)的时钟下工作。

      根据以上分析,现有FPGA可以满足文中所述的互相关配准算法的实现。考虑舍入误差后,行向和列向在10倍插值后的图像的配准精度可达到0.1个像元。

      (3)计算量的优化

      与此同时,每片感光单元均存在噪声的引入。以单片感光单元12 bit图像满量程信噪比在43 dB计算,图像噪声均值为32 DN,即至少图像的低四位数据可以在计算中不进行带入。

      基于此,文中优化了模型中图像的bit位,仅采取8 bit图像带入计算。算法的BRAM和DSP 48资源进一步减少,执行速度也有一定提升。

      (4)计算误差的舍入

      在配准计算时,选取的图像主要信息应为低频信息。配准窗口内的高频信息会给双线性插值后图像带来失真,影响计算精度。为了防止在轨成像时窗口选取到高频景物信息,可依次选取多组不同窗口图像进行计算,计算结果通过均值处理后得到最终多片感光单元物理间隔。

    • 文中提出一种基于FPGA同步成像时刻的校准方法,可使得探测器在成像时刻处产生一定程度的精确延时。根据图3电极结构,探测器每一个像元的曝光的起始和终点时刻均通过PH1-〉PH2-〉PH3-〉PH4四个部分实现。对于感光单元小数部分的间隔,实际上可以通过改变曝光时刻的起始点实现景物位置的略微变化。

      根据分析,TDICMOS探测器通过FPGA所提供同步syn信号、垂直电荷转移驱动CI1、CI2、CI3、CI4信号。探测器通过势阱的高低变化实现固定方式的电荷转移。以四项连续转移为例,调整时序如下:

      图3感光单元2中的CI1~CI4、syn均与感光单元1有固定相位差。相位差的时间TDelay根据当前积分时间与计算出的成像间隔N的小数部分取值相关。

      图  3  多感光单元配准时序

      Figure 3.  Registration timing of multiple photosensitive units

      根据此相位差,CI1-CI4为FPGA根据行同步syn所生成的连续转移时序,感光单元1与感光单元2中该转移信号也具有相位差。因此通过FPGA实现图像精确配准的关键在于两个图像之间的时间间隔。

      $$ {T_{{\rm delay}}} = T \times c,\;\;\;\;\;\;{K_{}} = \frac{{0.5 \times {t_{\rm clk}}}}{{T \times c}} $$ (公式6)

      式中:T为当前积分时间;c为感光间隔N的小数部分;K为匹配误差;tclk为FPGA时钟周期。

      公式规定了时间间隔在FPGA中的处理方式。时间间隔的整数部分通过上一节中所述FPGA进行图像缓存的方式实现。而时间间隔的小数部分通过电荷转移的时序关系来实现。FPGA可处理的小数部分延迟时间约等于行周期与小数部分时间间隔的乘积。由于FPGA为时钟驱动的同步系统,因此主时钟周期决定了成像时刻的匹配精度。匹配后误差见公式(6)。以FPGA主时钟tclk为100 MHz为例,采用文章所述匹配方式后,匹配精度可达到99.9%以上。

      文中选用V7690T及其相关图像处理电路实现配准和相关数据的预处理。FPGA综合仿真后,可以实现4片感光单元100 kHz行频以上推扫成像。

      该方法同样也可在多片焦平面探测器品字形拼接以及大规模面阵探测器拼接时,用以减小拼接误差,提高大幅宽成像时多片拼接探测器的尺寸偏差,提高了图像拼接后的精确度。

    • 笔者进行实验室测试验证。首先,通过搭建成像测试环境,实现单纯电荷域与混合域成像方式下信噪比、动态范围的对比验证。随后在滚筒靶标背景下测试其成像能力。采用4片感光单元12 k像元7 μm器件,像距与物距达到3∶1。滚筒线速度达到2100 mm/s,工作行频100 kHz。

    • 实验室均匀光下,在一段感光单元成像系统下,采集20组不同光照条件下图像拟合信噪比曲线如图4所示。

      图  4  一片感光单元图像信噪比曲线

      Figure 4.  Curve of SNR in one photosensitive unit

      根据曲线可知,随着光强增加图像DN值在15000处,即接近饱和时,信噪比优于43.3 dB。

      成像系统为四段感光区混合域累加的情况下,采用同一级数,同一积分时间,增益适当调整使得与一段感光单元DN值相近,得到图像信噪比拟合曲线如图5所示。

      图  5  四片感光区图像信噪比曲线

      Figure 5.  Curve of SNR in four photosensitive units

      根据上图可知,图像DN值在15000处,信噪比优于49 dB。对比可知,四片感光单元与一片感光区相比增长接近于6 dB,符合文中第二章节关于信噪比的理论推导。

      随后文中测得两种成像系统在电荷-DN转换因子、等效满阱电荷、暗噪声的值,从而计算得到动态范围,对比如表1所示。

      表 1  不同成像系统动态范围对比

      Table 1.  Comparison of dynamic range of different imaging systems

      Charge-DN factor/DN·e-1Full well/keDark noise/DNDynamic range/dB
      Charge domain0.15109.21.9566.4
      Hybrid domain0.1525.814.1571.92

      根据表中所述测试结果,四段感光单元的混合域累加方式由于等效满阱四倍于电荷域的单片感光单元成像,同时暗噪声仅增加了两倍,因此动态范围提高了近6 dB。而动态范围的增强会有效提升弱光成像下景物细节,验证了第二章所述理论。

    • 在测试前通过对暗箱内的相机xyz轴的精调实现成像光轴在滚筒中心。之后分别对多段感光区、多段感光区成像时刻精调后两个状态进行动态成像测试。测试结果如图6所示。

      图  6  多片感光单元成像

      Figure 6.  Imaging of multiple photosensitive units

      从图中可知,由于在多片感光单元片外累加时,产生了多片感光单元匹配问题,在积分方向图像的混叠现象较为明显。在图像开启成像时刻精调算法后,输出图像如图7所示。

      图  7  成像时刻精调后图像

      Figure 7.  Image after fine adjustment at imaging time

      根据成像时刻精调后图像所示,与图6相比,图像在静态方向对比度保持较高水平的基础上,垂直动态方向对比度得到了有效地增强。原图显示较为模糊的较密线对在调整后,已经能够完全清晰可见。

      对以上三次所成图像进行MTF计算分别得到表2中结果。计算结果标明,四片感光单元由于掺杂了不同景物的图像,累加后图像产生了较大混跌,MTF下降较为明显,在经过文中所述成像时刻校准后,减少了不同景物的掺杂,较大程度上抑制了混叠,因此MTF得到了明显提升。该测试验证了精调方法的有效性。

      表 2  成像时刻精调前后MTF对比

      Table 2.  MTF comparison before and after fine adjustment

      Charge domainhybrid domain (before adjustment)Hybrid domain (after adjustment)
      MTF0.1620.0550.143
    • 文章首先针对高分辨率成像的特点,对TDICMOS探测器提出了一种针对超大规模级数的混合域累加结构,并阐述了具体实现方式。更进一步,通过对信噪比、动态范围理论推导,说明了混合域累加方式在弱光成像条件下的优势。通过互相关法和同步时序调整实现了多片感光单元间隔的测量与成像时刻精调。最后,通过实验室环境下搭建成像测试系统,通过实测对比验证了信噪比、动态范围等性能指标的提升,同时验证了多片感光单元图像匹配的有效性。文中所提混合域累加对超高分辨率弱光成像质量的提升有着十分显著效果。

参考文献 (8)

目录

    /

    返回文章
    返回