-
根据最新GB/T 17444—2013的定义,无效像元由死元和过热像元组成,响应率小于平均像元响应率的50%的像元为死元(Dead pixel),也称为暗元;噪声电压大于2倍平均像元噪声电压的像元为过热像元(Over hot pixel),亦称为亮元[7]。为了直观描述无效像元,图1选择纯空背景下的过热像元15×15邻域二维图与灰度图进行展示。
针对点目标探测的应用需求,文中将成像系统中可能影响点目标探测性能的像素元统称为缺陷像元,并将其分为孤立盲元、闪元和盲元簇。孤立盲元主要由焦平面与读出电路的铟柱脱焊或者接触不连续、铟柱高度的不均匀、材料的不平整等原因引起,表现为像元不响应或者响应速率过高或者过低;闪元主要来源于碲镉汞等焦平面材料的离子键作用力弱,电学性能不均匀,载流子浓度不一致,成结损伤等造成像元有缺陷,同时探测器的1/f噪声也会带来像元灰度的闪烁,表现为像元输出电平有时正常有时无法表征辐射强度及其强度变化量;盲元簇的形成与前工艺的材料缺陷、钝化、铟渣残余、铟柱缺陷等关系密切,也可能来自于后工艺中的铟柱未连通、应力引起的芯片碎裂[8],同时电学串音与铟柱脱离的共同作用也可能带来小片的盲元簇,表现为连续的无效像元和十字盲元。总而言之,缺陷元的成因复杂多样,现有的工艺水平和材料制备很难根除。
理想条件下,达到一定距离阈值的目标在红外焦平面的成像为一个像素点,但受光量子效应和光敏元尺寸的影响,实际成像通常为一个衍射弥散斑,又称Airy斑,弥散斑的成因还与光的折射反射散射引起光学串音、光生载流子扩散引起电学串音等有关。通过分析目标和缺陷元在红外图像上的生成机理及其特征,本节把缺陷元、点目标与背景图像在实际场景下的时空区域灰度分布进行展示,如表1所示。
Type Gray distribution of spatial Gray distribution of temporal Over hot pixel Dead pixel Flickering pixel Defect pixel cluster Point target Background Table 1. Comparison of temporal and spatial gray distribution characteristics of defect element, target and clean background
传统对盲元闪元等缺陷像元检测算法利用其分布特征进行检测分类,采用的方法包括空间滤波、形态学、人类视觉系统、机器学习等。然而从表1的实际成像效果可知,无论亮盲元还是暗盲元灰度值都有微小变化,盲元簇在灰度分布和尺度上均与目标相似,同时缺陷元中的闪元存在灰度变化,有时能有效获取辐射量,有时甚至出现像元位移,与点目标空间分布特性极为相似,单一方式很难将缺陷元与目标进行分类。考虑到远距离快速移动目标的特殊性及其运动模型,目标在有限的统计域内不会一直在固定位置不动,这与目标与光学窗口两者的相对速度,角度和距离息息相关,通过以上分析,一种可以动态更新的基于时空统计特征的缺陷像元实时检测与修复算法呼之欲出。
-
为评估缺陷像元检测性能及普适性,采用国内某研究所研制的多款制冷型红外探测器在不同的积分时间下进行试验测试和数据分析(见表2),其中MCT为碲镉汞(HgCdTe),IS为锑化铟(InSb),SLs为II类超晶格(Type-II Super- lattice)。同时,实际点目标探测系统采用上述探测器分别在复杂平视背景,纯空背景,下视对地背景,机动变化背景等经典场景进行数据采集,包括大量目标与缺陷元,序列数据集展示如图5所示。
Resolution Device
materialsBand Frame-rate/
fpsIntegrated-time/
ms640×512 MCT Mid-wave 100 2.8-7.5 640×512 MCT Long-wave 300 0.3-1.2 1 k×1 k MCT Mid-wave 75 3-8 256×256 IS Mid-wave 75 0.5-3.6 64×64 IS Long-wave 500 0.2-0.5 640×512 IS Long-wave 100 0.8-5 320×256 SLs Long-wave 75 0.5-1.8 Table 2. Comparison of BSF of different algorithms
-
为了验证时空统计的缺陷元检测算法的实现效果,图8展示了近年来多种有效算法对不同场景的缺陷元检测与填充效果,因篇幅有限仅采用远程弹载净空背景(256×256)、机载前视云背景(640×512)、机载下视对地场景(640×512)等几个经典场景进行比较,图中缺陷元检测填充效果为基于FPGA的硬件实现效果复现。与文中方法对比的具体包括多尺度自适应中值滤波(AMF)、基于显著性的局域对比度(LCM)、联合Pair结构元素与3σ准则判定等。
Figure 8. Comparison of FPGA implementation using different methods. (a) Original image output by the detector; (b) Multi-scale adaptive median filter; (c) Local contrast method based on saliency; (d) Structural elements and 3σ criterion; (e) Proposed algorithm
从图8可以直观的发现,基于自适应中值滤波(AMF)采用较暴力的方式将多个尺度的缺陷元进行了剔除,但在几个场景的弱小目标均丢失,背景关键细节亦被弱化导致图像失真;基于显著性的局部对比度(LCM)的检测算法能识别绝大多数孤立亮元和暗元,但对闪元无法实时剔除,存在点目标当成缺陷元去除的缺陷;采用Pair结构元素进行形态学滤波,联合3σ准则实施判定的方法(SE-3σ)对缺陷元簇和闪元均出现漏检,无法有效剔除。除了图8所示,基于多帧统计的动态检测方法(DDABS)能对盲闪元进行提取,但缺陷簇抑制效果不佳,同时因其统计帧数无法动态调整,个别闪元因无法在指定统计数中达到概率阈值,最终造成漏检。所提方法则在多种探测器与应用场景、不同积分时间和帧频下均达到有效抑制效果,能在当前帧完成缺陷元填充,关键细节和背景纹理等到保留,经过大量统计,平均缺陷元从6‰降为0.046‰,剩下极少数漏检缺陷像元来源为大面盲元簇,实验采用三层金字塔结构,可实现对不大于4×4的大面盲元簇的检测修复,而大于这种尺度的缺陷元簇则不会存在引起后续小目标检测算法的虚警的可能;另一方面,大面积缺陷元的修复也存在局部失真,采用更多的图像金字塔层数产生的计算量效益比太低,不对其执行进一步的检测和修复工作。表3将不同算法对不同缺陷元的剔除效果和存在问题作了总结。
Algorithm Isolated
blind
pixelIsolated
flickering pixelDefect
pixel
clusterTiming
summary/msExisting problems AMF Valid Valid Valid 0.325 Background detail information are lost; Dim target will be removed LCM Valid Invalid Invalid 0.830 Dim target will be removed SE-3σ Valid Invalid Invalid 3.421 Dim targets may be removed;Algorithm running time is a little long OCSVM Valid Invalid Invalid -- Difficult to implement on FPGA; Dim target may be removed DDABS Valid Valid Invalid 0.326 Unable to adjust time-consuming flexibly Proposed Valid Valid Valid 0.329 N/A Table 3. Effects and problems of different algorithms for eliminating isolated pixel, flickering pixel and defective pixel clusterss
-
为了定性和定量的表征所提算法对点目标探测系统整体性能的提升,论证其是否满足点目标检测算法对缺陷元的抑制需求。图9对比了文中算法和SE-3σ缺陷元剔除算法在不同复杂度场景下的点目标邻域灰度效果图,表4将不同算法在不同场景下的检测性能参数进行比较。
Figure 9. Diagram of the performance improvement for point target detection. (a) Multiscene infrared point target detection; (b) Target neighborhood; (c) 3 D image of grayscale distribution of point target neighborhood; (d) Target neighborhood with the proposed algorithm; (e) 3 D image of the grayscale distribution of point target neighborhood with the proposed algorithm
Algorithm Clean background Ground background Complex cloud background SCRg BSF PFg DAR SCRg BSF PFg DAR SCRg BSF PFg DAR Proposed 1.21 1.36 2.34 0.98 1.45 1.63 8.21 0.95 3.15 1.92 8.92 0.95 AMF 0.12 1.81 6.43 0.52 0.31 2.72 3.24 0.49 0.32 3.32 2.93 0.48 LCM 1.16 1.23 1.89 0.83 0.84 1.28 1.42 0.76 0.78 1.76 1.39 0.73 SE-3σ 1.19 1.32 2.18 0.87 1.34 1.36 2.32 0.85 1.45 1.52 1.73 0.81 OCSVM 1.03 1.32 1.35 0.76 1.16 1.29 1.24 0.74 1.13 1.47 1.16 0.77 DDABS 1.21 1.36 1.92 0.91 1.42 1.54 4.21 0.88 2.38 1.74 5.21 0.82 Table 4. Comparison of detection performance of different algorithms in three kinds of scenes
从图9的点目标检测性能提升的示意图,可以清晰的观察到基于时空统计特征的动态缺陷元检测算法在不同的场景复杂度下均能有效工作,图(a)基于场景复杂度从上到下展示了真实点目标检测场景,图(b)、(d)分别为不同场景图像下进行SE-3σ方法和时空统计动态检测方法对缺陷元检测剔除的结果,可以发现SE-3σ算法存在较多漏检,文中算法在不弱化点目标的同时最大限度抑制了缺陷元,从图(c)、(e)的三维图能更直观体现复杂度越高的背景图像对该算法的依赖程度更高,如果不引入本缺陷元抑制算法,复杂度高的背景在缺陷元的影响下无法开展后续的点目标检测。
从4个客观评价指标对点目标检测性能提升的程度作定量对比,局部信杂比增益SCRg、背景抑制因子BSF、虚警率降低因子PFg和缺陷元检测准确率DAR (detection accuracy rate)。其中局部信杂比增益表示目标周围区域经过缺陷元填充后点目标的显著程度,SCRg越高代表在不降低目标特征强度的前提下,算法周围缺陷元填充得更完整,其表示为:
式中:σbi和σbo分别为经算法处理前后图像在目标邻域的标准差;μti和μto分别为算法处理前后的目标灰度;μbi和μbo分别为算法处理前后的目标邻域的平均灰度。背景抑制因子体现算法对缺陷元的抑制能力,其计算方式为:
虚警率降低因子PFg则为引入缺陷元抑制方法后对系统虚警的抑制程度的指标,即原目标检测算法的虚警率和融合缺陷元抑制之后的虚警率之比。结合缺陷元的种类和出现概率,提出了缺陷元检测准确率DAR作为评价指标,主要体现检测准确度,显然准确率越高越好,表达式为:
式中:TP表示被检出的缺陷元为真实缺陷元的数量;FP表示算法判断出的缺陷元为有效像元的个数;FN表示缺陷元算法漏检的数量;P称为查准率;Rec称为查全率;DARb为孤立盲元的检测准确度;DARƒ为图像中闪元的检测准确度;DARc为缺陷元簇检测准确度。表4为保持目标检测算法的结构和参数条件下,不同缺陷元填充方法的性能对比。AMF算法对背景和目标均进行了平滑抑制,LCM、SE-3σ、OCSVM等算法在不同场景下无法及时对闪元进行剔除,而红外图像一旦出现较多缺陷元簇则会引起DDABS算法失效,检测性能均有缺陷。显然,所提方法在多类场景下最优,在干净背景下检测准确率可达98%,复杂场景下亦能达到95%。
Dynamic real-time restoration algorithm of defective pixels based on spatio-temporal statistics feature
doi: 10.3788/IRLA20210798
- Received Date: 2021-12-20
- Rev Recd Date: 2022-01-25
- Publish Date: 2022-04-07
-
Key words:
- blind flick pixels real-time detection /
- spatio-temporal statistics feature /
- point target detection /
- image pyramid
Abstract: Restricted by the technology and material of infrared focal plane array (IRFPA), the infrared detector inevitably had some defective pixel such as blind pixel and flick pixel. The gray distribution and scale of blind flick pixel and infrared point target are consistent, which is easy to cause false alarm and missed detection of remote infrared detection system. Therefore, a dynamic real-time defect repair algorithm based on spatio-temporal statistical characteristics for infrared point target detection was proposed. Based on the indepth analysis of defect pixel, a spatial extreme value filter operator was constructed to extract the current frame feature mask, accumulate the historical mask value in the time domain, and make multi-dimensional judgment in combination with probability dynamic statistics. And the image pyramid was introduced to extract blind pixel, flick pixel and defect pixel clusters. Finally, the defect elements were eliminated by multi-scale median filter. The experiment takes DDR3 as off chip storage for FPGA hardware transplantation. The results show that the proposed algorithm cound be applied to all kinds of scenes requiring point target detection, dynamically update and repair new defective pixels, low computational complexity, strong real-time performance, the defect rate was reduced from 6 ‰ to 0.046 ‰, and the detection accuracy reached 98%.