-
在低功率激光辐照下,CMOS图像传感器吸收的热量不足以影响破坏器件的物理结构和材料造成损伤,但可能会造成传感器图像饱和,影响电路信号的采集和传递,加重串扰,进而使图像质量下降直至图像完全不能识别,当激光撤去后仍可正常成像,这种瞬时的、可恢复性的器件功能变化被称为激光对图像传感器的干扰。相比于器件的损伤,干扰非常容易实现,常见的CMOS激光干扰现象包括饱和、过饱和干扰、串扰、全屏饱和等。不同干扰现象对CMOS成像功能的影响区别较大,难以用统一的评价指标来进行定量描述,所以此节首先对CMOS成像干扰效果的评估方法进行总结,然后通过对整体CMOS器件激光干扰特性相关研究的分析阐述,进一步阐明影响不同激光参数下CMOS干扰的可能的光学和电路因素。
-
器件的激光饱和干扰阈值是分析激光对光电系统干扰效应的重要参数,定义为使器件像元饱和的最小能量密度(或功率密度),其值与器件的物理结构、具体材料和积分时间等因素相关[4]。最直接的干扰阈值测量方法是用光斑直径较大的均匀激光束直接覆盖器件表面,并从未发生干扰的较低功率开始逐渐增大激光功率,使得器件像元刚好饱和。显然,这种方法要求入射激光束具有较好的稳定性和均匀性,且功率可以精确控制,对激光器和实验环境的要求很高。对于入射光的能量密度,张震[28]总结出一套方便的测量方法,被广为使用[3-4, 24, 29]。Christopher Westgate[30]对该测量方法进行了系统地总结。这种方法利用像元未饱和时其灰度值随入射光强的增加线性增大的特点,且传感器输出图像中未饱和像素(即灰度值都低于255)灰度值的相对大小代表着辐照光在这些像素上分配能量的相对大小。如果测得了入射光在这些像素上分配的总能量,则可以求得其中每个像素上的能量大小。实验中,如果采集到的激光光斑中无饱和像素,则可以根据去除背景后的灰度分布及激光功率求得每个像素上分配的激光能量值,然后再结合像素的面积,得到每个像素上的激光能量密度。由于一个相机的像素尺寸是统一的,灰度相对分布就代表着像素激光能量密度的相对分布。这种方法的测量和计算过程清晰、易操作,可以较快地计算出各像素点的入射能量密度。
干扰损伤阈值以像元作为研究对象,无法描述CMOS成像整体被干扰的效果,同时由于衍射效应和散射效应,随着入射激光功率密度增大,器件饱和干扰面积也随之增大。因此,可以用激光干扰饱和面积或饱和像元数来描述CMOS成像整体受到干扰的程度。2014年,王昂[4]对激光辐照CMOS成像系统饱和干扰面积扩展规律进行了研究,建立了综合考虑衍射和散射效应的理论模型:CMOS光学表面的饱和面积与平均入瞳能量密度(功率密度)在双对数坐标下成分段线性关系(如图7所示)。
低功率阶段的饱和面积扩展以衍射效应为主,饱和像元数随入射光平均功率的变化关系为:
$$ \lg {S_{\rm{d}}} = \frac{2}{3}\lg P + \frac{2}{3}\lg (\lambda fR) - \frac{2}{3}\lg {I_{{\rm{th}}}} + 1.92 $$ (1) 式中:Sd为饱和面积;P为入射光平均功率密度;f为光学系统焦距;R为入瞳半径;Ith表示衍射产生的艾里斑光场函数的包络。
$$ {I_{{\rm{th}}}} = \frac{{\lambda fR{E^2}}}{{{\pi ^2}{r^3}}} $$ (2) 可以看出,饱和干扰面积随入射激光功率密度增大而增大,在双对数坐标系中的斜率为2/3;在高功率密度下的饱和面积扩展以散射效应为主,在双对数坐标系中也近似成线性关系,斜率的具体数值由感光表面反射率和器件结构决定。
由于当激光功率超过饱和干扰阈值之后可能产生过饱和反转现象,即光斑中心点灰度值随能量密度增加而下降,饱和面积反而会因此减小。用饱和面积无法正确反映过饱和干扰的效果,这时可以采用图像评价函数来定量描述干扰效果。图像评价是指用未被干扰的图像作为参考,图像相关度、 结构相似性(SSIM)都是较为常用的干扰评价指标,可以较好地评价CMOS成像受激光干扰的程度[31-32]。前者定义为干扰后图像与参考图像之间的各个灰度值的协方差系数,其计算公式为:
$$ {{r = }}\frac{{ \displaystyle \sum\limits_{{m}} { \displaystyle \sum\limits_{{n}} {\left( {{A_{nm}} - \overline A } \right)\left( {{B_{mn}} - \overline B } \right)} } }}{{\sqrt {\left( { \displaystyle \sum\limits_m { \displaystyle \sum\limits_n {{{\left( {{A_{mn}} - \overline A } \right)}^2}} } } \right)\left( { \displaystyle \sum\limits_m { \displaystyle \sum\limits_n {{{\left( {{B_{nm}} - \overline B } \right)}^2}} } } \right)} }} $$ (3) 式中:Amn、Bmn分别表示参考图像和干扰后图像中m行n列的灰度值;$\overline A $、$\overline B $分别表示参考图像和干扰后图像的平均灰度值。相关度越小,表示受到干扰的程度越严重[33]。
SSIM从图片的亮度、对比度和结构三个方面衡量相似性,因此SSIM的计算可以表示为$ S\left( {x,y} \right) = l\left( {x,y} \right) \times c\left( {x,y} \right) \times s\left( {x,y} \right) $,其中x、y分别代表两张图片。l(x, y)、c(x, y)、s(x, y)分别表示亮度相似性、结构相似性、对比度相似性,其中l(x, y)表示为:
$$ l\left( {x,y} \right) = \frac{{2{\mu _x}{\mu _y} + {C_1}}}{{{\mu _x}^2 + {\mu _y}^2 + {C_1}}} $$ (4) 式中:$\;{\mu _x}$、$\;{\mu _y} $分别表示两幅图像的平均亮度。加入常数C1是为了防止分母为零。c(x, y)表示为:
$$ c\left( {x,y} \right) = \frac{{2{\sigma _x}{\sigma _y} + {C_2}}}{{{\sigma _x}^2 + {\sigma _y}^2 + {C_2}}} $$ (5) 式中:${\sigma _x}$、$ {\sigma _y} $分别表示两幅图像像素灰度的标准差。加入常数C2也是为了防止分母为零。s(x, y)表示为:
$$ s\left( {x,y} \right) = \frac{{{\sigma _x}_y + {C_3}}}{{{\sigma _x}{\sigma _y} + {C_3}}} $$ (6) 式中:${\sigma _{xy}}$表示两幅图像像素灰度的协方差。
图像相关度计算简单,在相机与目标完全固定且实验条件稳定的情况下可以很好地描述CMOS成像受激光干扰的程度。SSIM衡量图像的维度更全面,对拍摄稳定性要求不高,适用于更广泛的实验条件。可用于CMOS干扰效果评价的图像评价函数还有很多,例如颜色直方图、余弦相似度(Cosine Similarity, COSINE)、均方误差(Mean Squared Error, MSE)、峰值信噪比(Peak Signal to Noise Ratio, PSNR)等[31-32]。可以根据图像场景的不同选用合适的函数,或综合使用多个函数来避免单一指标出现偏差。
-
目前,CMOS图像传感器已经成为科研、生产和安全等领域重要的硬件设备,在民事以及军事等领域得到越来越广泛的应用。CMOS为了提高低光灵敏度,在可见光范围内吸收光子并转化为电信号的效率极高,在强光辐照下易受到干扰,而要使CMOS图像传感器产生大面积损伤以致失去成像功能是相对比较困难的[4, 11, 34],因此研究激光对CMOS的干扰有很重要的实际意义。国内外研究者已经开展了多种模式激光对CMOS图像传感器的干扰实验研究。部分测得的干扰阈值统计在表1中。
表 1 CMOS图像传感器激光干扰阈值对比
Table 1. Comparison of laser interference thresholds for CMOS image sensors
Laser source CMOS model Saturation Over saturation Crosstalk Full screen saturation 1.06 mm, 64 kHz, 10 ns SONY IMX035LQZ-C 35.8 W/cm2 - - 4.3×103 W/cm2 1.06 mm, 10 Hz, 5 ns DH HV1300FM 7.70×10−2 J/cm2 - - - 1.06 mm, 10 Hz, 5 ns (vacuum) DH HV1300FM 7.70×10- 2 J/cm2 - - - 532 nm CW Micron MT9V022 4.32×10−4 W/cm2 8.7×102 W/cm2 - - 1064 nm CW Micron MT9V022 5.87×10−3 W/cm2 6.0×102 W/cm2 2.0×10 3 W/cm 2 2.0×103 W/cm2 632 nm CW DH
HV-U1×10−1 mW - - - 632 nm CW Micron MT9V032 4.2×10−5 W/cm2 4.1 W/cm2 - 11.6-24.3 W/cm2 1031 nm, 226.5 ps, 9.6 MHz Micron
MT9V034- 2.3 mW 630 mW - 1031 nm, 226.5 ps, 2.4 MHz Micron
MT9V034- 1.3 mW 28.5 mW - 1064 nm, 5 Hz, 10 ns Micron
MT9V032- - - 0.76 mJ/cm 在入射激光能量密度持续增强的过程中,首先可以观察到采集图样饱和面积逐渐扩大,继续增加激光能量,有一些实验中观察到了过饱和现象,即光斑中心点灰度值开始下降,甚至减小至零值。当光强降低或者撤销激光后该现象消失,CMOS图像传感器功能完全恢复而不会受到损伤。在能量继续增加的过程中,有一些实验中观察到了串扰现象,有的实验中可以观察到图像全屏饱和。下面针对四种典型干扰现象的形成机理进行分析。
饱和、过饱和、串扰、全屏饱和等四种干扰现象,并不是在所有实验中都可以观察到,甚至在不同激光对相同型号CMOS或相似的激光对不同型号CMOS的干扰实验中也表现出差异。其中,饱和是由于入射光强超过CMOS图像传感器正常工作区间,使像元输出的电压对应的灰度值到达或超过灰度值255对应的电压,不同形式的激光虽然由于量子效率的不同在饱和干扰阈值上有差异,但只要光强足够,都可以造成CMOS图像传感器的像元饱和。
2014年,王昂[4]对过饱和现象进行了研究,发现该现象与CMOS图像传感器采用的相关双采样输出方式有关:当辐照激光功率密度远大于饱和阈值时,采集影响相关双采样中的两个信号,Vsig与Vres都趋于饱和,两次输出的电压差值输出减小,从而导致强光辐照下器件出现过饱和现象。进一步研究发现,当用连续激光或长脉冲激光辐照CMOS探测器时可以观察到过饱和现象,而当用较短脉冲辐照CMOS时则观察不到过饱和现象,这是因为在CDS信号采集过程中,res信号与sig信号的采集并不是同时进行的。以1080P、30帧工作的芯片为例,每帧的扫描时间约为33.3 ms,每帧逐行扫描1080列,每一列的扫描时间约为30.8 μs,而res信号与sig信号采集的时间间隔略短于这个时间,约为20~30 μs。当激光脉宽小于两者采样间隔时,只能对其中一个信号产生影响,输出电压V=|Vsig−Vres|同样为饱和信号。因此,在用皮秒、纳秒的单脉冲激光辐照CMOS实验中[16, 35]均观察不到过饱和现象。而对于重频工作的激光,能否产生过饱和现象除了与脉宽相关外,还与重复频率有关。Wang等人[36]用2.4 MHz百皮秒辐照CMOS时观察到过饱和现象:虽然他们使用的脉冲宽度远小于res信号与sig信号的采样间隔,但由于激光处于高重频工作模式下,对两个信号都产生影响,因此两者差分信号都出现反转;而邵铭等人[33]用64 kHz的纳秒激光辐照CMOS时则没有观察到过饱和现象。
串扰出现的原因同样与CMOS图像传感器的相关双采样(CDS)的工作方式有关。CMOS图像传感器中的每个像素都是集成的信号处理电路和放大,并且有DTI技术等隔离技术保护,使像素之间相互绝缘。但在CMOS图像传感器的输出电路中同一列像素使用同一根列线,而CDS采样的Vres电压也在这根列线上传输,正常情况下一个像素成像周期完成后,在PPD曝光阶段,该像素中的各效应管保持关断状态。当激光能量密度过大时,会导致像素单元的MOS管无法绝对关断,有漏电流输出到Vres传输的列线上,在同一列的其他像素读取时,输出的信号会受到影响,从而产生列串扰现象。在一些可见光尤其是绿色辐照CMOS图像传感器的实验研究中,串扰现象并没有发生[29, 37-38],这可能是由于在出现串扰之前,所在列像素已经全部饱和甚至全屏饱和,因此干扰了串扰线的观察,但有的研究在全屏饱和后继续提高激光能量时得到了过饱和串扰线[39]。因此,从干扰机理和实验结果分析,激光辐照CMOS图像传感器普遍会出现串扰现象,但当脉宽较短时难以被观察。CMOS图像传感器虽然会出现串扰,但与CCD相比更难达到,同时,CMOS的串扰只沿列线方向展开,不会造成全屏串扰。全屏饱和对于大画幅的CMOS图像传感器同样很难达到。这是由于在聚焦状态下工作的激光能量非常集中,CMOS图像传感器像元又相对独立,无法造成大面积的串扰,干扰光斑的面积扩展随入射能量增长较慢,因此在部分实验中,全屏干扰阈值甚至高于损伤阈值。
对图像传感器的干扰虽然可以造成光电成像系统功能的衰减和损失,但在时间上是可恢复的,在空间上又难以造成全屏干扰,使得在光电对抗过程中的作用有限,但在激光能量有限的条件下也是一种探测器致盲的手段。
-
在强激光辐照下,CMOS图像传感器吸收激光能量后温度逐渐升高,会产生熔融和汽化现象,甚至能产生高温高压的等离子体,材料和结构遭到破坏,造成传感器上部分或全部像元的功能衰退甚至失效,这种永久性的不可逆的器件功能性变化被称为损伤。光电图像传感器的损伤效应一直以来都是研究的热点,常见的CMOS激光损伤现象包括点损伤、黑线损伤、十字交叉损伤和完全失效等。国际标准化组织对激光损伤及其阈值的测量有明确的定义和方法规范,研究者结合光电传感器的特性对这些定义和方法进行了细化和改进,此节将首先介绍这些规范和方法,然后综述CMOS激光损伤的研究进展。
-
在2011年发布的国际激光损伤阈值检测标准文件ISO-21254-1[40]中规定:采用100倍或者150倍的Nomarski相衬显微镜所观察到的由激光导致材料发生的任何永久的形貌变化,定义为激光诱导损伤。而激光诱导损伤阈值(Laser Induced Damage Threshold,LIDT)定义为“光学器件损伤概率为零的最高激光辐照量”。我国在2017年发布了相应的行业标准文件GB 16601.1[41]中沿用了这一定义。用这种方法定义的激光损伤阈值是指器件或材料在损伤发生前能够承受的最大激光能量密度(脉冲激光器,通常以J/cm2为单位)或最大激光功率密度(连续波激光器,通常以W/cm2为单位)。激光损伤试验具有统计性质,LIDT不能被视为低于该值则绝对不会发生损伤的能量密度,而是低于该值则损伤概率小于临界风险水平的能量密度。在ISO-21254-3[42]中给出了光学元件对功率密度(能量密度)承受能力置信水平的检验和计算方法。影响置信水平取决于几个因素,包括激光的能量和时间空间稳定性、以及测试样品(或采样点)的数量。总体来说,激光参数越稳定,测试的样品和采样点越多,置信水平越高。
借助显微镜图像形貌变化判定损伤时需要操作人员对样品形貌的变化判断有一定经验,不同实验人员操作时可能存在偏差。图像传感器本身具备成像功能,其损伤的判定和测量可以不借助显微镜,而是通过自身的功能变化进行判定,由输出图像进行的损伤判定更为直观,也更方便定量测量。因此,在图像传感器的损伤阈值测量过程中,通常按照功能损伤的程度区划分损伤类型,CMOS图像传感器的常见损伤类型包括点损伤、(半边)黑线损伤、黑线交叉损伤以及完全失效损伤[2-4, 24]。再按照“造成该损伤类型概率为零的最高激光辐照量”来测量阈值。在部分测量中,也有研究者采用了不同的阈值定义方法,如Francis Theberge等[27]在测量彩色CCD和CMOS的损伤阈值时发现,传感器上最早受到损伤的部分是用于颜色选择的拜耳滤光片,而拜耳滤光片的受热分解会影响图像传感器对颜色的响应,虽然对成像能力影响较小,但也是由材料损伤引起的不可逆的功能变化,符合损伤的定义。因此,他们将单个像素上的某个颜色通道(红、绿或蓝)响应永久性变化50%(正或负)定义为第一级损伤。对于不同的研究目标,有的研究者采用了更为灵活的定义方式。朱孟真等[5]以CMOS损伤占全屏2/3以上的面积为致盲损伤阈值判断标准,来达到对比不同制式激光损伤效果的目的。而Bastian Schwarz等[43]则是将损伤面积和入射能量密度联系起来,便于对比不同图像传感器的抗损伤能力。综上所述,在符合国际标准测试规定的前提下,测量者可以根据实验设备、靶材和实验目标的差异选择最为合适的阈值定义形式。
入射光的能量密度可以使用4.1节所述的方法进行测量和计算。在能量密度可测的基础上,国际激光损伤阈值检测标准文件ISO-21254-2[44]中规范了两种LIDT的测量方法:1-on-1法和S-on-1法。其中l-on-1法是指使用相同的激光脉冲能量辐照多个不同的测试点,测量出不同激光能量密度下的损伤几率,然后再利用直线拟合包含0~100%的损伤几率,求出损伤阈值。由于1-on-1法不对同一个点进行多次辐照,不会产生累积效应而影响损伤阈值,可以得到比较准确的损伤阈值,是最为常用的测量手段,主要适用于单脉冲的实验测量,固定脉冲个数的重频激光也可使用该方法[36]。S-on-1法适用于有恒定能量密度的多脉冲测试,是指用S个相同脉冲辐照靶材的过程中,使用在线损伤探测样品观察样品的损伤,记录引起损伤的最小脉冲数,并选择合适的损伤几率绘制不同脉冲数下损伤能量密度变化的特征损伤曲线,以此标注损伤区域和非损伤区域。S-on-1法重复测试的次数和所需的样品数远远多于1-on-1法,而且需要对损伤实时监测,对设备的要求较高,这种测试方法的优点是可以较为准确地预测脉冲数N较大时的损伤阈值。
-
由于CMOS图像传感器在最近十几年逐步取代CCD,成为市场上主流的图像传感器,因此对CMOS激光辐照效应的研究也越发受到关注。表2中统计了近十年来部分CMOS损伤阈值的测量结果。2011年,Hiroshi用较低功率的手持式连续激光辐照CMOS电路观察到了信号的翻转和电路的故障[45]。2013年,郭锋[24]进行了激光对CMOS和CCD的辐照效应对比研究,实验中观察到单脉冲纳秒激光下前照式CMOS和CCD的不可逆损伤都可分为三个阶段,如图8所示。其中CMOS依次出现点损伤、半边黑线损伤和十字交叉损伤三个阶段的损伤现象;CCD 依次出现点损伤、白线损伤和完全失效三个阶段的损伤现象。使用的前照式CMOS与CCD在不同阶段的损伤阈值都十分接近,基本处于同一数量级。利用皮秒脉冲辐照CMOS可观察到类似的现象,而飞秒脉冲进行的实验由于激光器能量限制只观察到点损伤。对比三种激光的损伤阈值发现,飞秒激光比纳秒和皮秒激光更容易造成点损伤,损伤阈值小了一个数量级。为解释这一现象,使用扫描电镜对点损伤形貌(如图9所示)进行观察对比,发现点损伤时损伤区域内局部微透镜出现烧蚀,相对于纳秒、皮秒作用下的微观形貌,飞秒脉冲损伤并没有出现烧蚀比较严重的深坑,损伤区域边缘较为清晰,这主要是由于在单脉冲纳秒、皮秒激光的作用下,热效应对器件的损伤影响很大,而在飞秒激光的作用下,热效应导致的间接损伤影响较小,非线性效应引起的能量吸收占主要因素,强烈的非线性吸收阻碍了激光能量向半导体深处传输,仅上层材料被灼烧漏光。2014年,王昂[4]对相同型号CMOS进行了多脉冲辐照的研究,实验发现32 ns延迟到双纳秒脉冲比单脉冲的损伤阈值低,10 Hz的纳秒重频脉冲比1 Hz损伤效果更好,作者认为该结果是由于纳秒脉冲热效应的累积使器件更容易损伤。
表 2 CMOS图像传感器激光损伤阈值对比
Table 2. Comparison of laser damage thresholds for CMOS image sensors
Laser source CMOS model Test method Point damage Black line damage Cross damage 1064 nm, 10 Hz, 5 ns DH HV1300FM 1-on-1 0.5 J/cm2 - 626 J/cm2 1064 nm, 10 Hz, 5 ns (vacuum) DH HV1300FM 1-on-1 0.5 J/cm2 - 273 J/cm2 1064 nm, 60 ns Micron MT9V022 l-on-1 0.38 J/cm2 0.64 J/cm2 1.0 J/cm2 1064 nm, 25 ps Micron MT9V022 l-on-1 19.1 mJ/cm2 67.8 mJ/cm2 130.1 mJ/cm2 800 nm, 100 fs Micron MT9V022 l-on-1 4.1 mJ/cm2 - - 1.06 mm, 10 ns
double-pulses, interval 80 nsMicron MT9V022 1-on-1 0.29 J/cm2(double) - - 1-on-1 0.67 J/cm2 (single) 1031 nm, 226.5 ps, 9.6 MHz Micron MT9 V034 S-on-1 - 1.06 W 2.5 W 1031 nm, 226.5 ps, 2.4 MHz Micron MT9V034 S-on-1 - 720 mW 800 mW 532 nm, CW DCC1645C S-on-1 150 kW/cm2 1400 kW/cm2 >4000 kW/cm2 (destroyed) 532 nm, CW DCC1545M S-on-1 800 kW/cm2 1100 kW/cm2 >4000 kW/cm2 (destroyed) 532 nm, 10 ns MT9V024 l-on-1 0.035 J/cm2 38.6 J/cm2 - 526.5 nm, 8.2 ps MT9V024 l-on-1 0.01 J/cm2 18 J/cm2 - 2019年,Bastian Schwarz等[43]将CMOS和CCD、数字微镜器件(DMD)的皮秒激光饱和与损伤阈值进行了对比研究,测得CMOS的激光饱和损伤阈值在CCD和DMD之间。2021年,他们利用多种脉冲激光进行了同样的对比实验,得到了相似的结果[34]。值得关注的是,在测量的损伤阈值中,不同脉冲的损伤阈值差异很大,如皮秒激光脉冲照射的CMOS相机的损伤阈值比纳秒激光脉冲的损伤阈值低一个数量级。作者记录了这一现象,但并未从损伤机理上给出介绍。
2022年,Christopher Westgate[11]等区分前照式与背照式CMOS,测量了95%概率下的损伤阈值,并与CCD进行了对比。如图10所示,实验测得三种器件的点损伤阈值相近,但背照式CMOS完全损毁的损伤阈值要比前照式CMOS和CCD至少高两个数量级。作者认为这是由于背照式CMOS的放大器和读出电路位于光敏材料下方,因此受到了一定程度的保护。
在CMOS图像传感器损伤的理论研究方面,由于CMOS图像传感器的像元尺寸和功能层厚度都在微米甚至亚微米量级, CMOS图像传感器的结构复杂、尺寸微小,且包含多种材料组份,加之激光对其的损伤是一个包含了传热、流体流动、相变材料的去除的复杂物理过程,损伤发生的时间尺度也较为短暂,因此,理清激光能量在CMOS器件各层材料间沉积、传导、耦合的过程及特性是非常困难的。另一方面,虽然对CMOS激光干扰损伤的机理已有初步的认识,但并没有直接得到证据证明物理材料损伤和器件功能损伤之间的映射关系,因此目前仍然没有成熟的CMOS图像传感器干扰损伤理论模型。与CMOS传感器结构相似的CCD图像传感器损伤研究在此方面有一些可借鉴的研究成果。2015年,李泽文[46]基于热弹塑性理论,考虑CCD的阵列结构和多层结构,建立了毫秒激光辐照CCD的三维数值模型,并计算得到了CCD瞬态温度场和热应力场。2019年,韩敏[26]以热传导方程和热弹性力学方程为基础,建立了1.06 μm连续激光辐照CCD六层结构的热力耦合数学物理模型,分析了连续激光不同加载方式下CCD损伤特性的时间演化规律,但对于CMOS图像传感器和短脉冲辐照多层结构的理论建模还没有成熟的研究结果可供参考。
由于CMOS和CCD都是以光电二极管为感光单元,且人们对CCD的激光辐照损伤有广泛且深入的研究,因此很多研究者将CMOS的激光辐照损伤与CCD进行对比研究。从上述研究可以看出,CMOS较CCD有更好的抗损伤能力,尤其是背照式CMOS,很难造成大面积损伤。这是由于背照式CMOS的电路层位置更深,上方有一层较厚的硅基材料,形成了一定的固有保护层。随着背照式和堆栈式等新型CMOS芯片的广泛应用,如何提高激光对被照式CMOS的损伤效率是下一步研究中亟待解决的问题。
Research progress of laser dazzle and damage CMOS image sensor (invited)
-
摘要: 高能激光是对抗光电成像系统的有效手段。随着互补金属氧化物半导体(Complementary Metal Oxide Semiconductor, CMOS)图像传感器性能和制作工艺的快速发展,其市场占有率已逐步赶超电荷耦合器件 (Charge Coupled Device, CCD),成为当前主流的图像传感器。CMOS图像传感器的激光干扰和损伤也随之成为国内外相关领域的研究热点。文中首先根据CMOS图像传感器的发展历程,对其结构和工作原理进行了介绍,并在此基础上简要分析了CMOS图像传感器在激光辐照过程中的薄弱环节,之后综述了CMOS在激光辐照下受到干扰及损伤现象的研究进展,并对干扰的评价方法和损伤阈值的主要测量方法进行了总结归纳,最后探讨了利用复合激光系统提升损伤CMOS图像传感器能力的发展现状和前景。Abstract:
Significance Complementary Metal Oxide Semiconductor (CMOS) image sensors are currently the most mainstream solid-state image sensors. They have the characteristics of low power consumption, high integration, and fast imaging. In the past decade, breakthroughs have been continuously made in their performance, surpassing Charge Coupled Device (CCD) image sensors in market share and product iteration speed. It is widely used in the fields such as digital cameras, security monitoring equipment, mobile phones, drones, medical detection, and autonomous driving. As the core component of an optoelectronic imaging system, image sensors strongly absorb laser energy within their working wavelength, making them more susceptible to laser damage compared to other components of the optoelectronic system. However, the new back side illumination CMOS and stacked CMOS have significant structural differences from traditional front side illumination CMOS image sensors, and their ability to resist laser interference and damage has been greatly improved. Therefore, the laser interference effect and damage mechanism of CMOS image detectors have received widespread attention from scholars at home and abroad. Progress Firstly, the structure and working principle of CMOS image sensor according to its development history are introduced. The pixel structure of CMOS has evolved from passive pixels to active pixels, where each pixel can independently collect, amplify, and output signals. SiO2 deep trench isolation (DTI) structure (Fig.3(d)) is used between pixels for crosstalk suppression. The chip structure of CMOS has evolved from front illuminated to back illuminated and stacked, and the position of the metal wiring layer has buried deeper, making it more difficult to cause destructive damage. On this basis, the weaknesses of CMOS image sensor in the process of laser irradiation are briefly analyzed. CMOS uses a correlated double sampling (CDS) circuit to output signals, which uses the difference between two signals to output, and interfering with both signals causes pixel oversaturation; The use of the same column line to transmit the reference signal of a column of pixels provides the possibility of large-scale crosstalk. The damage at different stages is related to the depth of laser action. It can be concluded that the key to causing large-scale damage to CMOS image sensors is the severe damage to the internal circuit layer. CMOS image sensor is used more and more widely. More attention has been paid to the experimental study of laser-induced dazzle and damage of CMOS. The evaluation methods of interference and the main measurement methods of damage threshold are summarized. The representative measurement results of interference and damage threshold are summarized (Tab.1-2). By comparing the results of interference, the conditions of oversaturation and crosstalk are summarized, and the conclusion is verified that the above-mentioned CDS circuit is susceptible to interference. Compared with CCD, CMOS has better anti-damage ability, especially the back-illuminated CMOS, which is difficult to cause large area damage. This is because the back-lit CMOS circuit layer is deeper, above a thicker layer of silicon-based material, forming a certain inherent protective layer. With the wide application of backlit and stack CMOS chips, how to improve the damage efficiency of laser-illuminated CMOS chips is an urgent problem to be solved in the next research. Finally, the development status and prospects of using new laser systems to improve the damage ability of CMOS image sensors are discussed. The composite laser can be made up of two pulses with different parameters. The ablation and damage of the composite laser on the single material target has been well studied. If the laser parameters are matched properly, the absorption rate of laser energy can be improved effectively. It has been proved that the composite laser can improve the efficiency of damaged CMOS to some extent, but the effect is limited. To further improve the laser damage efficiency, we can consider to further increase the adjustable parameters of the laser, the combination of three or more pulses into the pulse string form. Conclusions and Prospects CMOS image sensors are booming, which have become the most mainstream image sensors. As an important countermeasure, the research of laser jamming and damage CMOS image sensor needs to be further explored. The purpose of this paper is to provide some references for the future research of laser jamming and damage CMOS, and the idea of using the new laser system to improve the damage efficiency is proposed. -
Key words:
- CMOS image sensor /
- laser irradiation /
- dazzle /
- damage
-
表 1 CMOS图像传感器激光干扰阈值对比
Table 1. Comparison of laser interference thresholds for CMOS image sensors
Laser source CMOS model Saturation Over saturation Crosstalk Full screen saturation 1.06 mm, 64 kHz, 10 ns SONY IMX035LQZ-C 35.8 W/cm2 - - 4.3×103 W/cm2 1.06 mm, 10 Hz, 5 ns DH HV1300FM 7.70×10−2 J/cm2 - - - 1.06 mm, 10 Hz, 5 ns (vacuum) DH HV1300FM 7.70×10- 2 J/cm2 - - - 532 nm CW Micron MT9V022 4.32×10−4 W/cm2 8.7×102 W/cm2 - - 1064 nm CW Micron MT9V022 5.87×10−3 W/cm2 6.0×102 W/cm2 2.0×10 3 W/cm 2 2.0×103 W/cm2 632 nm CW DH
HV-U1×10−1 mW - - - 632 nm CW Micron MT9V032 4.2×10−5 W/cm2 4.1 W/cm2 - 11.6-24.3 W/cm2 1031 nm, 226.5 ps, 9.6 MHz Micron
MT9V034- 2.3 mW 630 mW - 1031 nm, 226.5 ps, 2.4 MHz Micron
MT9V034- 1.3 mW 28.5 mW - 1064 nm, 5 Hz, 10 ns Micron
MT9V032- - - 0.76 mJ/cm 表 2 CMOS图像传感器激光损伤阈值对比
Table 2. Comparison of laser damage thresholds for CMOS image sensors
Laser source CMOS model Test method Point damage Black line damage Cross damage 1064 nm, 10 Hz, 5 ns DH HV1300FM 1-on-1 0.5 J/cm2 - 626 J/cm2 1064 nm, 10 Hz, 5 ns (vacuum) DH HV1300FM 1-on-1 0.5 J/cm2 - 273 J/cm2 1064 nm, 60 ns Micron MT9V022 l-on-1 0.38 J/cm2 0.64 J/cm2 1.0 J/cm2 1064 nm, 25 ps Micron MT9V022 l-on-1 19.1 mJ/cm2 67.8 mJ/cm2 130.1 mJ/cm2 800 nm, 100 fs Micron MT9V022 l-on-1 4.1 mJ/cm2 - - 1.06 mm, 10 ns
double-pulses, interval 80 nsMicron MT9V022 1-on-1 0.29 J/cm2(double) - - 1-on-1 0.67 J/cm2 (single) 1031 nm, 226.5 ps, 9.6 MHz Micron MT9 V034 S-on-1 - 1.06 W 2.5 W 1031 nm, 226.5 ps, 2.4 MHz Micron MT9V034 S-on-1 - 720 mW 800 mW 532 nm, CW DCC1645C S-on-1 150 kW/cm2 1400 kW/cm2 >4000 kW/cm2 (destroyed) 532 nm, CW DCC1545M S-on-1 800 kW/cm2 1100 kW/cm2 >4000 kW/cm2 (destroyed) 532 nm, 10 ns MT9V024 l-on-1 0.035 J/cm2 38.6 J/cm2 - 526.5 nm, 8.2 ps MT9V024 l-on-1 0.01 J/cm2 18 J/cm2 - -
[1] 倪晓武, 沈中华, 陆建. 强激光对光电器件及半导体材料的破坏研究[J]. 光电子(激光), 1997, 第8卷(6): 487-490. DOI:10.16136 /j .joel .1997.06.018 Ni Xiaowu, Shen Zhonghua, Lu Jian. Study of laser destruction for optoelectronic device and semiconductor material [J]. Journal of Optoelectronics · Laser, 1997, 8(6): 487-490. (in Chinese) doi: 10.16136/j.joel.1997.06.018 [2] 林均仰, 舒嵘, 黄庚华, 方抗美, 闫志新. 激光对CCD及CMOS图像传感器的损伤阈值研究[J]. 红外与毫米波学报, 2008, 27(6): 475-478 Lin Junyang, Shu Rong, Huang Genghua, et al. Study on threshold of laser damage to CCD and CMOS image sensors [J]. Journal of Infrared and Millimeter Waves, 2008, 27(6): 475-478. (in Chinese) [3] 王雪. 光电传感器激光致盲与损毁技术研究. 西安电子科技大学[D], 2018 Wang Xue. Study on laser blindness and damage technology of photoelectric sensors[D]. Xi’an: Xidian University, 2018. (in Chinese) [4] 王昂. 可见光CMOS图像传感器的激光辐照效应研究[D]. 国防科学技术大学, 2014 Wang Ang. Research on the irradiation effects of CMOS image sensor under laser[D]. Changsha: National University of Defense Technology, 2013. (in Chinese) [5] 朱孟真, 刘云, 米朝伟, 魏靖松, 陈霞, 田方涛, 冯苏茂, 王赛. 复合激光损伤CMOS图像传感器实验研究[J]. 红外与激光工程, 2022, 第51卷(7): 227-233. 20210537 Zhu Mengzhen, Liu Yun, Mi Chaowei, et al. Experimental study on a CMOS image sensor damaged by a composite laser [J]. Infrared and Laser Engineering, 2022, 51(7): 20210537. (in Chinese) [6] 邵俊峰, 郭劲, 王挺峰, 郑长彬. 激光脉冲串对电荷耦合器件积累损伤效应研究[J]. 红外与激光工程, 2017, 第46卷(10): 13-18 doi: 10.3788/IRLA201746.1003002 Shao Junfeng, Guo Jin, Wang Tingfeng, et al. Damage accumulation effects of multiple laser pulses irradiated on charged coupled device [J]. Infrared and Laser Engineering, 2017, 46(10): 1003002. (in Chinese) doi: 10.3788/IRLA201746.1003002 [7] Li Mingxin, Jin Guangyong, Tan Yong. Study on CCD detector irradiated by multi-pulse laser [C]//Proceedings of SPIE, 2016, 10152: 1015207. [8] 程勇, 朱孟真, 马云峰, 魏靖松, 刘旭, 丁方正, 谭朝勇, 陈霞, 郭延龙, 初华. 激光复合损伤机理与效应研究[J]. 红外与激光工程, 2016, 第45卷(11): 35-41 doi: 10.3788/IRLA201645.1105005 Cheng Yong, Zhu Mengzhen, Ma Yunfeng, et al. Mechanism and effects of complex laser ablation [J]. Infrared and Laser Engineering, 2016, 45(11): 1105005. (in Chinese) doi: 10.3788/IRLA201645.1105005 [9] 孙羽. 小尺寸背照式CMOS图像传感器像素结构研究[D]. 天津大学, 2012 Sun Yu. Study of pixel structure in small size backside illuminated CMOS image sensor[D]. Tianjin: Tianjin University, 2012. (in Chinese) [10] Kagawa Y, Fujii N, Aoyagi K. et al. Novel stacked CMOS image sensor with advanced Cu2Cu hybrid bonding [C]//2016 IEEE International Electron Devices Meeting (IEDM), 2016. [11] Christopher W, David J. Visible-band nanosecond pulsed laser damage thresholds of silicon 2D imaging arrays [J]. Sensors, 2022, 22(7): 2526. doi: 10.3390/s22072526 [12] 陈慧敏, 栗苹, 张英文, 孙建强, 李昆. CMOS图像传感器的研究新进展[J]. 半导体光电, 2006, 第27卷(6): 664-668 doi: 10.16818/j.issn1001-5868.2006.06.003 Chen Huimin, Li Ping, Zhang Yingwen, et al. Current developments of CMOS image sensors [J]. Semiconductor Optoelectronics, 2006, 27(6): 664-668. (in Chinese) doi: 10.16818/j.issn1001-5868.2006.06.003 [13] Panneerselvam A. A review on pixel performance in CMOS image sensors [J]. Journal of Advanced Research in Dynamical and Control Systems, 2017(5): 544-554. [14] 赖莉萍, 付博, 张蓉竹.宽谱光源对 CMOS 阵列电串扰的影响[J].红外与激光工程,2017,第46卷(1): 232-237 Lai Liping, Fu Bo, Zhang Rongzhu. Effect of broadband sources on electrical crosstalk of CMOS array [J]. Infrared and Laser Engineering, 2017, 46(1): 0120005. (in Chinese) [15] Tournier A, Leverd F, Favennec L et al. Pixel-to-pixel isolation by deep trench technology: application to CMOS image sensor [C]//International Image Sensor Workshop (IISW), 2011. [16] 汪豪. CMOS图像传感器像元结构设计与优化[D]. 西安理工大学, 2020 Wang Hao. Design and optimization of CMOS image sensor pixel[D]. Xi’an: Xi’an University of Technology, 2020. (in Chinese) [17] Shin Iwabuchi, Yasushi Maruyama, Yuko Ohgishi, et al. A back-illuminated high-sensitivity small-pixel color cmos image sensor with flexible layout of metal wiring [C]//IEEE International Solid State Circuits Conference - Digest of Technical Papers, 2006: 1171-1178. [18] Shunichi Sukegawa, Taku Umebayashi, Tsutomu Nakajima, et al. A 1/4-inch 8M pixel back-illuminated stacked CMOS image sensor [C]//IEEE International Solid-State Circuits Conference-Digest of Technical Papers, 2013, 22: 484-486. [19] Kagawa Y, Hashiguchi H, Kamibayashi T, et al. Impacts of misalignment on 1 μm pitch Cu-Cu hybrid bonding [C]//IEEE International Interconnect Technology Conference (IITC), 2020: 148-150. [20] Oike Yusuke. Evolution of image sensor architectures with stacked device technologies [J]. IEEE Transactions on Electron Devices, 2022, 69(6): 2757-2765. doi: 10.1109/TED.2021.3097983 [21] Jansz P V, Hinckley S. Extrinsic Evolution of the Stacked Gradient Poly-homojunction Photodiode Genre [M]//Betta G F D. Advances in Photodiodes. London: IntechOpen, 2011. [22] Wang Xinyang, Bogaerts J, Vanhorebeek G, et al. A 2.2 M CMOS image sensor for high-speed machine vision applications [C]//Sensors, Cameras, and Systems for Industrial/Scientific Applications XI, SPIE, 2010, 7536: 75360M. [23] Okada C, Zeituni G, Uemura K, et al. A 50.1-M pixel 14-bit 250-frames/s back-illuminated stacked CMOS image sensor with column-parallel kT/C-Canceling S&H and ADC [J]. IEEE Journal of Solid-State Circuits, 2021, 56(11): 3228-3235. doi: 10.1109/JSSC.2021.3111154 [24] 郭锋. 激光对CMOS和CCD的辐照效应对比研究[D]. 国防科学技术大学, 2013 Guo Feng. Comparative study on the irradiation effect of the laser to CMOS and CCD[D]. Changsha: National University of Defense Technology, 2013. (in Chinese) [25] 5刘传军. CMOS图像传感器的失效分析及工艺改进[D]. 天津大学, 2015 Liu Chuanjun. Failure analysis and process optimization of CMOS image sensor[D]. Tianjin: Tianjin University, 2015. (in Chinese) [26] Han Min, Nie Jinsong, Sun Ke, et al. Experiment on the temporal evolution characteristics of a CCD multilayer structure irradiated by a 1.06 μm continuous laser [J]. Applied Optics, 2018, 57(16): 4415-4420. doi: 10.1364/AO.57.004415 [27] Théberge F, Auclair M, Daigie J, et al. Damage thresholds of silicon-based cameras for in-band and out-of-band laser expositions [J]. Applied Optics, 2022, 61(10): 2473-2482. doi: 10.1364/AO.450317 [28] 张震. 可见光CCD的激光致眩现象与机理研究[D]. 国防科学技术大学, 2010 Zhang Zhen. Laser-induced dazzling phenomena in visible light CCD and their mechanism[D]. Changsha: National University of Defense Technology, 2010. (in Chinese) [29] 邵铭, 张雷雷, 赵威, 张乐. 高重频脉冲激光对CMOS相机饱和干扰效果研究[J]. 激光杂志, 2013, 34(6): 16-17 doi: 10.3969/j.issn.0253-2743.2013.06.006 Shao Ming, Zhang Leilei, Zhao Wei, et al. Experiment study on saturation effect of high-repetition-rate laser jamming CMOS camera [J]. Laser Journal, 2013, 34(6): 16-17. (in Chinese) doi: 10.3969/j.issn.0253-2743.2013.06.006 [30] Christopher W. How to Determine the Laser-induced Damage Threshold of 2D Imaging Arrays[M]. US: Society of Photo-Optical Instrumentation Engineers, 2019. [31] 车进喜, 王东, 张恒伟, 张蕾蕾, 张雷, 董泽俊. 激光参数对红外成像系统干扰效果影响的实验研究[J]. 应用光学, 2011, 32(5): 992-997 doi: 10.3969/j.issn.1002-2082.2011.05.035 Che Jinxi, Wang Dong, Zhang Hengwei, et al. Influence of laser parameters on jamming effectiveness of IR imaging system [J]. Journal of Applied Optics, 2011, 32(5): 992-997. (in Chinese) doi: 10.3969/j.issn.1002-2082.2011.05.035 [32] 支悦言. 无人机视觉传感器攻击方法研究[D]. 南京信息工程大学, 2021 Zhi Yueyan. Research on attack methods for UAV visual sensors[D]. Nanjing: Nanjing University of Information Science and Technology, 2021. (in Chinese) [33] 邵铭, 张乐, 张雷雷, 柴国庆, 胡琥香. 1.06 μm激光对CCD、CMOS相机饱和干扰效果对比研究[J]. 应用光学, 2014, 第35卷(1): 163-167 Shao Ming, Zhang Le, Zhang Leilei, et al. Comparative study on saturation effect of 1.06 μm laser jamming CCD and CMOS cameras [J]. Journal of Applied Optics, 2014, 35(1): 163-167. (in Chinese) [34] Schwarz Bastian, Ritt Gunnar, Eberle Bernd. Impact of threshold assessment methods in laser-induced damage measurements using the examples of CCD, CMOS, and DMD [J]. Applied Optics, 2021, 60(22): F39-F49. doi: 10.1364/AO.423791 [35] Zhu Rongzhen, Wang Yanbin, Chen Qianrong, et al. Nanosecond-laser induced crosstalk of CMOS image sensor [C]//Proceedings of SPIE, 2018, 10697: 1069745. [36] Wang Kaixuan, Li Pingxue, Yu Xuyang, et al. Experimental study on CMOS and materials irradiated by hundred-picosecond pulse laser with high repetition rate [C]//High-Power Lasers and Applications XI, 2020, 11544: 1154407. [37] 盛良, 张震, 张检民, 徐作冬. 632.8 nm连续激光辐照可见光CMOS相机实验研究[J]. 现代应用物理, 2015, 第6卷(3): 181-185 Sheng Liang, Zhang Zhen, Zhang Jianmin, et al. Experimental study on a visible light CMOS camera irradiated by 632.8 nm CW laser [J]. Modern Applied Physics, 2015, 6(3): 181-185. (in Chinese) [38] 王景楠, 聂劲松. 超连续谱光源辐照可见光CMOS 图像传感器的实验研究[J]. 红外与激光工程, 2017, 第46卷(1): 0106004 doi: 10.3788/IRLA20174601.106004 Wang Jingnan, Nie Jinsong. Experimental study on supercontinuum laser irradiating a visible light CMOS imaging sensor [J]. Infrared and Laser Engineering, 2017, 46(1): 0106004. (in Chinese) doi: 10.3788/IRLA20174601.106004 [39] Santos C N, Chretien S, Merella L, et al. Visible and near-infrared laser dazzling of CCD and CMOS cameras [C]//Proceedings of SPIE, 2018, 10797: 107970S. [40] International Organization for Standardization. ISO 21254-1 (2011). Lasers and laser-related equipment—Test methods for laser-induced damage threshold—Part1: Definitions and general principles [S].Europe: IHS Global Insight, 2011. [41] 中国国家标准化管理委员会. GB 16601.1—2017. 激光器和激光相关设备 激光损伤阈值测试方法 第一部分: 定义和总则[S]. 北京: 中国标准出版社, 2017. [42] International Organization for Standardization. ISO 21254-3 (2011). Lasers and laser-related equipment—Test methods for laser-induced damage threshold—Part3: Assurance of laser power (energy) handling capabilities [S]. Europe: IHS Global Insight, 2011. [43] Schwarz Bastian, Koerber Michael, Ritt Gunnar, et al. Further investigation on laser-induced damage thresholds of camera sensors and micro-optomechanical systems [C]//Technologies for Optical Countermeasures XVI, 2019. [44] International Organization for Standardization. ISO 21254-2 (2011). Lasers and laser-related equipment—Test methods for laser-induced damage threshold—Part2: Threshold determination [S].Europe: IHS Global Insight, 2011. [45] Hatano Hiroshi. Novel test circuit structures using selectively metal-covered transistors for a laser irradiation upset analysis [C]//12th European Conference on Radiation and Its Effects on Components and Systems, 2011. [46] 李泽文. 毫秒激光对硅及硅基光电探测器损伤机理研究[D]. 南京理工大学, 2015. Li Zewen. Research on the damage mechanisms of silicon and silicon-based photodetectors irradiated by millisecond laser [D]. Nanjing: Nanjing University of Science & Technology, 2015. (in Chinese) [47] 钟发成. 组合脉冲激光致单晶硅热力作用的数值计算[D]. 南京理工大学, 2017 Zhong Facheng. Numerical calculation of thermal effects on single crystal silicon induced by combined pulse laser[D]. Nanjing: Nanjing University of Science & Technology, 2017. (in Chinese) [48] 吕雪明. 组合脉冲激光致硅材料损伤机理研究[D]. 南京理工大学, 2018 Lv Xueming. Research on the damage mechanisms of silicon materials irradiated by combined millisecond and nanosecond laser[D]. Nanjing: Nanjing University of Science & Technology, 2018. (in Chinese) [49] Pan Yunxiang, Zhang Hongchao, Chen Jun, et al. Millisecond laser machining of transparent materials assisted by nanosecond laser [J]. Optics Express, 2015, 23(2): 765-775. doi: 10.1364/OE.23.000765 [50] Lv Xueming, Pan Yunxiangjia, Jia Zhichao, et al. Through-hole energy-density threshold of silicon induced by combined millisecond and nanosecond pulsed laser [J]. AIP Advances, 2018, 8(5): 055025. doi: 10.1063/1.5024607