-
随着红外焦平面阵列及其读出电路规模的进一步扩大、受现有制备材料和工艺水平的限制，盲元、闪元等缺陷元也随之增多，中波探测器盲元率一般在1‰~6‰，长波探测器盲元率甚至在8‰~20‰。另一方面，红外成像制导和机载光电系统在进行远程小目标检测跟踪截获时，缺陷元与红外弱小目标在灰度分布和空间尺度上一致，特别是闪元在时间域的灰度变化也与弱小目标类似，严重影响着红外探测系统的性能。因此，能实时进行盲元闪元等缺陷元剔除的方法至关重要。
目前，盲元检测算法主要分为两类：基于固定辐射源定标的盲元检测算法和基于场景的盲元检测算法[1]。基于定标的盲元检测算法主要通过对比不同温度下黑体辐射产生的像元差异大小来确定盲元，常用于生成固定盲元表在红外探测器出厂阶段进行检测。在需要进行点目标检测的应用中，目标所在背景复杂多变[2]，缺陷元随着探测器工作时长、积分时间、环境温度的增加而增多，基于标定的方法无法根据变化实时剔除缺陷元，不适用于远程红外探测系统。基于场景的盲元检测算法，主要通过背景图像和缺陷元特性实现盲元的检出。代少升[3]等基于局域显著性（LCM）预提取潜在盲元，通过焦距拉伸消除背景的影响，该方法可以有效提高盲元检测率但是跟踪状态下改变焦距容易引起点目标的丢失，得不偿失；李丽萍[4]等采用Pair结构元素Structuring element进行形态学滤波增强亮暗孤立元，避免了盲元联通，分别取均值倍数和3σ准则作为检测阈值得到了较好的检测结果，但该方法无法对闪元和盲元簇进行检测；张东阁[5]等基于一类支持向量机(OCSVM)结合场景图像序列，生成更新像元模型完成盲元的在线检测，该方法能有效区分亮盲元和暗盲元；刘崇亮[6]等提出了基于多帧统计的动态检测（DDABS）方法，采用单帧数据定位潜在的缺陷元，结合统计和固定阈值确认缺陷元，用相邻像素元替代补偿，该方法提取盲元与闪元效果明显而且能保留图像细节，但需要固定帧数才进行判断无法灵活快速的检测出时域特征不甚明显的缺陷元，也无法消除盲元簇的影响。文中在深入分析缺陷元特征的基础上，提出了一种基于时空统计特征的缺陷像元定位与填充方法。
-
根据最新GB/T 17444—2013的定义，无效像元由死元和过热像元组成，响应率小于平均像元响应率的50%的像元为死元（Dead pixel），也称为暗元；噪声电压大于2倍平均像元噪声电压的像元为过热像元(Over hot pixel)，亦称为亮元[7]。为了直观描述无效像元，图1选择纯空背景下的过热像元15×15邻域二维图与灰度图进行展示。
图 1 纯背景下的盲元15×15邻域灰度图
Figure 1. Blind element 15×15 neighborhood gray distribution on clean background
针对点目标探测的应用需求，文中将成像系统中可能影响点目标探测性能的像素元统称为缺陷像元，并将其分为孤立盲元、闪元和盲元簇。孤立盲元主要由焦平面与读出电路的铟柱脱焊或者接触不连续、铟柱高度的不均匀、材料的不平整等原因引起，表现为像元不响应或者响应速率过高或者过低；闪元主要来源于碲镉汞等焦平面材料的离子键作用力弱，电学性能不均匀，载流子浓度不一致，成结损伤等造成像元有缺陷，同时探测器的1/f噪声也会带来像元灰度的闪烁，表现为像元输出电平有时正常有时无法表征辐射强度及其强度变化量；盲元簇的形成与前工艺的材料缺陷、钝化、铟渣残余、铟柱缺陷等关系密切，也可能来自于后工艺中的铟柱未连通、应力引起的芯片碎裂[8]，同时电学串音与铟柱脱离的共同作用也可能带来小片的盲元簇，表现为连续的无效像元和十字盲元。总而言之，缺陷元的成因复杂多样，现有的工艺水平和材料制备很难根除。
理想条件下，达到一定距离阈值的目标在红外焦平面的成像为一个像素点，但受光量子效应和光敏元尺寸的影响，实际成像通常为一个衍射弥散斑，又称Airy斑，弥散斑的成因还与光的折射反射散射引起光学串音、光生载流子扩散引起电学串音等有关。通过分析目标和缺陷元在红外图像上的生成机理及其特征，本节把缺陷元、点目标与背景图像在实际场景下的时空区域灰度分布进行展示，如表1所示。
表 1 缺陷元、目标与纯背景时空灰度分布特性对比
Table 1. Comparison of temporal and spatial gray distribution characteristics of defect element, target and clean background
Type Gray distribution of spatial Gray distribution of temporal Over hot pixel 
Dead pixel 
Flickering pixel 
Defect pixel cluster 
Point target 
Background 
传统对盲元闪元等缺陷像元检测算法利用其分布特征进行检测分类，采用的方法包括空间滤波、形态学、人类视觉系统、机器学习等。然而从表1的实际成像效果可知，无论亮盲元还是暗盲元灰度值都有微小变化，盲元簇在灰度分布和尺度上均与目标相似，同时缺陷元中的闪元存在灰度变化，有时能有效获取辐射量，有时甚至出现像元位移，与点目标空间分布特性极为相似，单一方式很难将缺陷元与目标进行分类。考虑到远距离快速移动目标的特殊性及其运动模型，目标在有限的统计域内不会一直在固定位置不动，这与目标与光学窗口两者的相对速度，角度和距离息息相关，通过以上分析，一种可以动态更新的基于时空统计特征的缺陷像元实时检测与修复算法呼之欲出。
-
文中提出的盲闪元实时检测算法分为两个阶段，基于时空统计滤波的缺陷元检测算法与自适应中值滤波的校正算法。时空统计滤波主要包括空域滤波和动态时域统计两部分，具体流程见图2。探测器制备完成后会出现固定死元，出厂通常会给出盲元表，经过盲元表剔除进入算法单元。考虑到盲元簇的尺度，采用多级高斯金字塔进行下采样；针对盲闪元的时空特性，首先基于缺陷元灰度分布特征提出一种局部极值算子进行盲闪元与盲元簇预定位，接着在线动态统计潜在缺陷元像元的连续帧的时域灰度，当达到特定比例阈值则判定为缺陷元；最终采用多尺度自适应中值滤波对缺陷元进行在线补偿，这里中值滤波的邻域尺度与本次金字塔的层数相匹配：例如本次为第三层图像金字塔，说明其当前一个像素的感受野对应原图的（23−1）2，则中值滤波对应滤波核大小为4×4。
图 2 文中算法流程图
Figure 2. Flow chart of the proposed algorithm
-
传统的采用空域滤波器检测盲元的方法包括形态学滤波、小波变换和拉普拉斯算子等空间滤波结合固定阈值和自适应阈值等方法进行判定，但通过观察表1的缺陷元空间特征，复杂背景下缺陷元与正常元的差异并不固定，唯一确定的是盲元和闪元等孤立缺陷元与其相邻像元灰度在大部分时刻存在局部孤立突变，如果当前像素P （i，j）比其上P （i，j−1）、下P （i−1，j）、左P （i−1，j）、右P （i+1，j）邻域像素均大或者均小时，预判P （i，j）为潜在孤立缺陷元，具体步骤为：
步骤1：分别计算当前像素与周围像素大小，ε为与探测器性能相关的误差阈值，考虑到弱小目标和实际可能出现的盲闪元与背景差异极小，该算法ε为0。
$$\begin{array}{*{20}{c}} {{Q_1} = \left\{ {\begin{array}{*{20}{c}} {1,P(i,j) > P(i - 1,j) + \varepsilon }\\ { - 1,P(i,j) < P(i - 1,j) - \varepsilon } \end{array}} \right.}\\ {{Q_2} = \left\{ {\begin{array}{*{20}{c}} {1,P(i,j) > P(i + 1,j) + \varepsilon }\\ { - 1,P(i,j) < P(i + 1,j) - \varepsilon } \end{array}} \right.}\\ {{Q_3} = \left\{ {\begin{array}{*{20}{c}} {1,P(i,j) > P(i,j - 1) + \varepsilon }\\ { - 1,P(i,j) < P(i,j - 1) - \varepsilon } \end{array}} \right.}\\ {{Q_4} = \left\{ {\begin{array}{*{20}{c}} {1,P(i,j) > P(i,j + 1) + \varepsilon }\\ { - 1,P(i,j) < P(i,j + 1) - \varepsilon } \end{array}} \right.} \end{array}$$ (1) 步骤2：将上述4个方向比较结果相加
$$ T = \left| {{Q_1} + {Q_2} + {Q_3} + {Q_4}} \right|$$ (2) 步骤3：判断T的值，如果等于4则为潜在缺陷元。
在硬件实现时提出一种局部极值算子，基于局部极值算子对当前预判像素的上下左右四邻域的像素进行大小比较。如图3所示，局部极值算子包括4个算子（H1、H2、H3、H4），输入图像分别与之进行卷积操作，当该像素的4个卷积结果的判定恒为大或者恒为小则为潜在盲闪元。
图 3 局部极值算子
Figure 3. Local extremum operator
针对盲元簇，采用多尺度高斯金字塔进行下采样之后再分别执行基于局部极值的缺陷元预判方法，为了确认金字塔层数，结合点目标大小、缺陷元簇各尺度出现概率和计算复杂度，分别进行了二到五层金字塔池化的消融实验，最终确定三层金字塔为最佳。该模块算法流程见图4。
图 4 极值算子与三层金字塔的缺陷元定位
Figure 4. Defective pixel location based on extremum operator and three-layer pyramid
三层金字塔构造如下：第一层图像与高斯滤波窗口进行卷积并对卷积后的图像平均池化下采样，将下采样的图像作为第二层图像，进行多次迭代生成多层高斯金字塔，其公式为：
$$ {G_i}(x,y) = \sum\limits_{i = - 2}^2 {\sum\limits_{j = - 2}^2 {w(i,j)} } {G_i}_{ - 1}(2x + i,2y + j) $$ (3) 硬件实现时，多层金字塔的局部极值判定并行执行，分层提取潜在的孤立盲元、孤立闪元和不同尺度的缺陷元簇，同时生成不同层金字塔的潜在缺陷像素位置矩阵S1、S2、S3，当前像元位置如果为潜在缺陷元则为1，反之为0。
-
从统计的角度，在多帧进行空间滤波之后，若某一像元被判断成潜在盲元的次数大于一定阈值，则认为这一个或多个像元为缺陷元。在机载飞行条件下，考虑到场景复杂度和目标移动速度，背景几乎不会在固定像元成像，可对潜在缺陷元执行时域响应统计，最终确定缺陷像元。
现有的多帧统计方法是固定统计帧数，从起始帧开始计数，当达到固定帧数后判断其概率，这类方法容易出现漏判或者统计时间过长。文中提出的在线动态统计方法详见算法1，经过局部极值算子得出潜在缺陷像素位置矩阵S；C （i，j）为每个对应像元执行统计的帧数，R （i，j）为每个像元对应的缺陷像素出现帧数，cth为统计帧数门限，结合探测系统实时性要求，取30；V为帧数在线更新门限，参考闪元时域特征，经验值为3000；pth是潜在缺陷出现帧数占总统计帧数的比例，大于这个比例则确定为缺陷像素，这里取0.5，该值与系统的缺陷元容忍度有关。
算法1 ：时域在线动态统计算法
Input：潜在缺陷像素位置矩阵S。
Output：缺陷像素位置矩阵M。
1. 初始化：C(i,j)=0; R(i,j)=0; cth=30; V=3000; pth=0.5;M=0；
2. or i=1:H do
3. for j=1:W do
4. 根据当前帧的矩阵S计算各像元的统计帧数C(i,j)；
5. 根据当前帧的矩阵S计算各像元的潜在缺陷出现帧数R(i,j)；
6. if C(i,j)>cth & R(i,j)≥pth×C(i,j)
7. then M(i,j) = S(i,j)；
8. else 缺陷像素位置矩阵对应像素M(i,j)置零；
9. while C(i,j)>cth & C(i,j)≤V & R(i,j)<pth×C(i,j) do
10. 对应的统计帧数C(i,j)与潜在缺陷出现帧数R(i,j)清零；
11. end for
12. end for
算法1描述了时域在线动态统计算法的工作流程，同理，由不同金字塔尺度下的潜在缺陷像素位置矩阵S，可计算缺陷元簇位置矩阵M。
-
盲元校正算法常用的有相邻像元替代法，线性均值滤波，Kernel非线性滤波等方法。中值滤波是常用的非线性去噪滤波方法，结合缺陷元空间分布特性，基于金字塔层数F，对盲元校正模块进行3 L×3 L邻域的多尺度自适应中值滤波(
$ L = {2^{F - 1}} $ )，该方法具体流程如算法2，自适应中值滤波能实现多尺度的坏元簇校正。算法2 ：多尺度中值滤波
Input：潜在缺陷矩阵S1、S2、S3当前帧原始图像P。
Output：动态缺陷元修复图像U。
1. 由算法1获取的不同金字塔的缺陷像素位置矩阵M1、M2、M3
2. 对图像P进行3 L×3 L中值滤波，即：
$$D(i,j) = median\;\mathop {{\rm{ }}P}\limits_{3L \times 3L} \left( {i,j} \right)$$ (4) 3. 根据矩阵M1确定输出的动态孤立缺陷元修复图像U，如：
$$ \left\{ {\begin{array}{*{20}{c}} {U(i,j) = P(i,j),{M_l}(i,j) = 0} \\ {U(i,j) = D(i,j),{M_l}(i,j) = 1} \end{array}} \right.$$ (5) 4. 根据不同金字塔迭代不同尺度中值滤波盲元簇填充算法。
-
以碲镉汞中波制冷型640×512面阵探测器为例，采用现场可编程门阵列（FPGA）进行基于时空统计特征的缺陷元检测算法的程序实现,硬件主要采用Xilinx公司的XC7 K480系列FPGA实现局部极值检测、时域统计阈值比较、多尺度中值滤波的逻辑运算与多尺度金字塔分层的并行时序控制；采用型号为MT41 K512 M16的DDR3同步动态随机存取内存实施时域在线动态统计中矩阵S、C、R、M等动态统计单元的缓存。
该算法逻辑运算简单，各逻辑单元可并行执行，满足硬件移植要求，实现难点在于时域在线动态统计中矩阵的更新和读写，对当前帧图像盲元预提取的结果与历史统计帧数据进行比较和运算有两种实现方式，一是采用FPGA片上资源双口Block Rams，可同时使用两个端口数据线和地址线的读写操作，硬件实现简易，但存储数据多，片上资源消耗大，缺陷元检测剔除属于光电探测系统的预处理，过多的资源浪费会影响点目标检测识别系统的性能；另一种实现方式为采用片外存储器DDR3，DDR3同一时刻只能数据读或者写操作，片外存储延时也不固定，需要采用多个FIFO作多级缓存达到时序匹配效果，算法实现逻辑相对复杂，实验对两种方法均作了实现，文中仅基于片外存储进行算法实现描述，如图5所示。
图 5 文中算法FPGA逻辑实现流程
Figure 5. FPGA logic implementation flow of the proposed algorithm
图5给出实际硬件实现流程，首先局部极值算法采用循环移位卷积的形式实现，时域动态统计需要的历史帧信息采用DDR进行存储，保证场消隐区完成当帧数据写入和下帧数据读出。通过缺陷像素逻辑开关与多层金字塔对不同尺度缺陷元进行校正。结合DDR3的结构特性，图像分辨率为640×512，设定端口地址范围为1~327 680，像素位置从地址线写入和读出，相应的当前帧预判信息从数据线写入，统计结果由数据线读出。因数据同步需求，作为输入输出缓存的FIFO和DDR需要进行空间同步监听通信，同时将矩阵S、C、R拼接成一个新的矩阵写进FIFO和DDR数据线，数据线位宽为64 bit，其中潜在缺陷像素位置矩阵S数值范围为0或者1采用1 bit位宽，统计的帧数矩阵C和缺陷像素出现帧数矩阵R数值范围较大，分别采用32 bit和31 bit，拼接公式如下：
$$ DATA\left[63:0\right] = \left\{ S,C\left[31:0\right],R\left[30:0\right] \right\}$$ (6) 图6(a)为采用片外存储器DDR3进行历史帧数据更新的读写时序，图6(b)为算法实现时序。
图 6 硬件实现时序仿真结果
Figure 6. Timing simulation result of hardware implementation
并行操作与驱动高扇出负载的权衡也是算法实现关键点，多级金字塔结构下的时空统计缺陷元检测算法实现周期不同，以最高层为基准，依次打拍进行数据对齐，并通过寄存器逻辑复制来增强高扇出逻辑的信号驱动能力。
红外探测器在较高帧频下（75~500 fps），对算法实现的实时性要求较高，基于FPGA的算法实现将时钟倍频到200 MHz运行，从图7可以看出，局域极值检测需要的逐行匹配流水线操作占用642个时钟，算法逻辑占用6个时钟，并行同步占用10个时钟，单帧图像输入到输出运行共计658个时钟，仅耗时3.29 μs，经CameraLink接口连接到显示器观察能准确复现算法效果，当系统帧频在500 fps以下时，满足缺陷元校正算法作为目标检测预处理模块的实时要求。
图 7 多种场景下设置的目标与缺陷元序列集
Figure 7. Target and defect element sequence set in multiple scenarios
-
为评估缺陷像元检测性能及普适性，采用国内某研究所研制的多款制冷型红外探测器在不同的积分时间下进行试验测试和数据分析（见表2），其中MCT为碲镉汞(HgCdTe)，IS为锑化铟(InSb)，SLs为II类超晶格(Type-II Super- lattice)。同时，实际点目标探测系统采用上述探测器分别在复杂平视背景，纯空背景，下视对地背景，机动变化背景等经典场景进行数据采集，包括大量目标与缺陷元，序列数据集展示如图5所示。
表 2 不同算法背景抑制因子对比
Table 2. Comparison of BSF of different algorithms
Resolution Device
materialsBand Frame-rate/
fpsIntegrated-time/
ms640×512 MCT Mid-wave 100 2.8-7.5 640×512 MCT Long-wave 300 0.3-1.2 1 k×1 k MCT Mid-wave 75 3-8 256×256 IS Mid-wave 75 0.5-3.6 64×64 IS Long-wave 500 0.2-0.5 640×512 IS Long-wave 100 0.8-5 320×256 SLs Long-wave 75 0.5-1.8 -
为了验证时空统计的缺陷元检测算法的实现效果，图8展示了近年来多种有效算法对不同场景的缺陷元检测与填充效果，因篇幅有限仅采用远程弹载净空背景（256×256）、机载前视云背景（640×512）、机载下视对地场景（640×512）等几个经典场景进行比较，图中缺陷元检测填充效果为基于FPGA的硬件实现效果复现。与文中方法对比的具体包括多尺度自适应中值滤波（AMF）、基于显著性的局域对比度（LCM）、联合Pair结构元素与3σ准则判定等。
图 8 不同方法的FPGA实现结果对比。 （a）探测器输出原始图像；（b）多尺度自适应中值滤波；(c)基于显著性的局部对比度；（d）基于结构元素与3σ准则；（e）文中算法
Figure 8. Comparison of FPGA implementation using different methods. (a) Original image output by the detector; (b) Multi-scale adaptive median filter; (c) Local contrast method based on saliency; (d) Structural elements and 3σ criterion; (e) Proposed algorithm
从图8可以直观的发现，基于自适应中值滤波(AMF)采用较暴力的方式将多个尺度的缺陷元进行了剔除，但在几个场景的弱小目标均丢失，背景关键细节亦被弱化导致图像失真；基于显著性的局部对比度（LCM）的检测算法能识别绝大多数孤立亮元和暗元，但对闪元无法实时剔除，存在点目标当成缺陷元去除的缺陷；采用Pair结构元素进行形态学滤波，联合3σ准则实施判定的方法（SE-3σ）对缺陷元簇和闪元均出现漏检，无法有效剔除。除了图8所示，基于多帧统计的动态检测方法（DDABS）能对盲闪元进行提取，但缺陷簇抑制效果不佳，同时因其统计帧数无法动态调整，个别闪元因无法在指定统计数中达到概率阈值，最终造成漏检。所提方法则在多种探测器与应用场景、不同积分时间和帧频下均达到有效抑制效果，能在当前帧完成缺陷元填充，关键细节和背景纹理等到保留，经过大量统计，平均缺陷元从6‰降为0.046‰，剩下极少数漏检缺陷像元来源为大面盲元簇，实验采用三层金字塔结构，可实现对不大于4×4的大面盲元簇的检测修复，而大于这种尺度的缺陷元簇则不会存在引起后续小目标检测算法的虚警的可能；另一方面，大面积缺陷元的修复也存在局部失真，采用更多的图像金字塔层数产生的计算量效益比太低，不对其执行进一步的检测和修复工作。表3将不同算法对不同缺陷元的剔除效果和存在问题作了总结。
表 3 不同算法对孤立元、闪元和缺陷元簇剔除效果及存在问题
Table 3. Effects and problems of different algorithms for eliminating isolated pixel, flickering pixel and defective pixel clusterss
Algorithm Isolated
blind
pixelIsolated
flickering pixelDefect
pixel
clusterTiming
summary/msExisting problems AMF Valid Valid Valid 0.325 Background detail information are lost; Dim target will be removed LCM Valid Invalid Invalid 0.830 Dim target will be removed SE-3σ Valid Invalid Invalid 3.421 Dim targets may be removed;Algorithm running time is a little long OCSVM Valid Invalid Invalid -- Difficult to implement on FPGA; Dim target may be removed DDABS Valid Valid Invalid 0.326 Unable to adjust time-consuming flexibly Proposed Valid Valid Valid 0.329 N/A -
为了定性和定量的表征所提算法对点目标探测系统整体性能的提升，论证其是否满足点目标检测算法对缺陷元的抑制需求。图9对比了文中算法和SE-3σ缺陷元剔除算法在不同复杂度场景下的点目标邻域灰度效果图，表4将不同算法在不同场景下的检测性能参数进行比较。
图 9 点目标检测性能提升的示意图。（a）多场景红外点目标检测；（b）目标邻域；（c）点目标邻域灰度分布三维图；（d）采用文中算法的目标邻域；（e）采用文中算法的点目标邻域灰度分布三维图
Figure 9. Diagram of the performance improvement for point target detection. (a) Multiscene infrared point target detection; (b) Target neighborhood; (c) 3 D image of grayscale distribution of point target neighborhood; (d) Target neighborhood with the proposed algorithm; (e) 3 D image of the grayscale distribution of point target neighborhood with the proposed algorithm
表 4 不同算法在三类场景的检测性能比较
Table 4. Comparison of detection performance of different algorithms in three kinds of scenes
Algorithm Clean background Ground background Complex cloud background SCRg BSF PFg DAR SCRg BSF PFg DAR SCRg BSF PFg DAR Proposed 1.21 1.36 2.34 0.98 1.45 1.63 8.21 0.95 3.15 1.92 8.92 0.95 AMF 0.12 1.81 6.43 0.52 0.31 2.72 3.24 0.49 0.32 3.32 2.93 0.48 LCM 1.16 1.23 1.89 0.83 0.84 1.28 1.42 0.76 0.78 1.76 1.39 0.73 SE-3σ 1.19 1.32 2.18 0.87 1.34 1.36 2.32 0.85 1.45 1.52 1.73 0.81 OCSVM 1.03 1.32 1.35 0.76 1.16 1.29 1.24 0.74 1.13 1.47 1.16 0.77 DDABS 1.21 1.36 1.92 0.91 1.42 1.54 4.21 0.88 2.38 1.74 5.21 0.82 从图9的点目标检测性能提升的示意图，可以清晰的观察到基于时空统计特征的动态缺陷元检测算法在不同的场景复杂度下均能有效工作，图(a)基于场景复杂度从上到下展示了真实点目标检测场景，图（b）、（d）分别为不同场景图像下进行SE-3σ方法和时空统计动态检测方法对缺陷元检测剔除的结果，可以发现SE-3σ算法存在较多漏检，文中算法在不弱化点目标的同时最大限度抑制了缺陷元，从图(c)、(e)的三维图能更直观体现复杂度越高的背景图像对该算法的依赖程度更高，如果不引入本缺陷元抑制算法，复杂度高的背景在缺陷元的影响下无法开展后续的点目标检测。
从4个客观评价指标对点目标检测性能提升的程度作定量对比，局部信杂比增益SCRg、背景抑制因子BSF、虚警率降低因子PFg和缺陷元检测准确率DAR （detection accuracy rate）。其中局部信杂比增益表示目标周围区域经过缺陷元填充后点目标的显著程度，SCRg越高代表在不降低目标特征强度的前提下，算法周围缺陷元填充得更完整，其表示为：
$$ {{SCRg}} = \dfrac{{{\sigma _{bi}}\left| {{\mu _{to}}{{ - }}{\mu _{bo}}} \right|\;}}{{{\sigma _{bo}}\left| {{\mu _{ti}}{{ - }}{\mu _{bi}}} \right|\;}}$$ (7) 式中：σbi和σbo分别为经算法处理前后图像在目标邻域的标准差；μti和μto分别为算法处理前后的目标灰度；μbi和μbo分别为算法处理前后的目标邻域的平均灰度。背景抑制因子体现算法对缺陷元的抑制能力，其计算方式为：
$$ BSF = \frac{{{\sigma _{bi}}\;}}{{{\sigma _{bo}}\;}}$$ (8) 虚警率降低因子PFg则为引入缺陷元抑制方法后对系统虚警的抑制程度的指标，即原目标检测算法的虚警率和融合缺陷元抑制之后的虚警率之比。结合缺陷元的种类和出现概率，提出了缺陷元检测准确率DAR作为评价指标，主要体现检测准确度，显然准确率越高越好，表达式为：
$$ \left\{ \begin{gathered} P = \frac{{TP}}{{TP + FP}} \hfill \\ Rec = \frac{{TP}}{{TP + FN}} \hfill \\ DA{R_x} = \frac{{2P \cdot Rec}}{{P + Rec}} \hfill \\ \end{gathered} \right.$$ (9) $$ DAR = \frac{{DA{R_b} + DA{R_f} + DA{R_c}}}{3}$$ (10) 式中：TP表示被检出的缺陷元为真实缺陷元的数量；FP表示算法判断出的缺陷元为有效像元的个数；FN表示缺陷元算法漏检的数量；P称为查准率；Rec称为查全率；DARb为孤立盲元的检测准确度；DARƒ为图像中闪元的检测准确度；DARc为缺陷元簇检测准确度。表4为保持目标检测算法的结构和参数条件下，不同缺陷元填充方法的性能对比。AMF算法对背景和目标均进行了平滑抑制，LCM、SE-3σ、OCSVM等算法在不同场景下无法及时对闪元进行剔除，而红外图像一旦出现较多缺陷元簇则会引起DDABS算法失效，检测性能均有缺陷。显然，所提方法在多类场景下最优，在干净背景下检测准确率可达98%，复杂场景下亦能达到95%。
-
因红外焦平面研制与材料缺陷产生的缺陷元严重影响了远程点目标检测系统的成像质量和目标获取精度。通过对多种缺陷元的成因与特征进行分析，文中提出了一种基于时空特征的动态缺陷元检测和校正算法，同时引入多层金字塔对不同尺度的缺陷元簇进行识别填充。将所提出的算法用于多款点目标、弱小目标探测系统，硬件实现结果表明，该算法易于在FPGA上实现移植，能快速准确的定位缺陷像元位置，补偿校正效果好且不影响点目标的检测与跟踪。其动态时空多维滤波的思想在非制冷探测器、线列探测器同样适用[9]。综上所述，该算法实时性高，可扩展性强，将直接改善远程红外光电系统的成像和探测性能。
Dynamic real-time restoration algorithm of defective pixels based on spatio-temporal statistics feature
-
摘要: 受红外焦平面工艺和材料的限制，红外探测器不可避免存在盲元、闪元等缺陷像元。盲闪元与红外点目标在灰度分布和尺度上一致，易造成远程红外探测系统的虚警和漏检。为此，提出了一种面向红外点目标检测的基于时空统计特征的缺陷元动态实时修复算法。在深入剖析缺陷元的基础上，构造空间极值滤波算子提取当前帧特征掩码，在时间域对历史掩码值进行累加、结合概率动态统计进行多维判定，同时引入图像金字塔对盲元、闪元、缺陷元簇进行提取，最终采用多尺度中值滤波对缺陷元进行剔除。实验将DDR3作为片外存储进行FPGA的硬件移植，结果表明：所提算法可适用于各类需要执行点目标检测的场景，能动态更新并修复新增缺陷像元，计算复杂度低实时性强，缺陷率从6‰降为0.046‰，检测准确率达到98%。Abstract: Restricted by the technology and material of infrared focal plane array (IRFPA), the infrared detector inevitably had some defective pixel such as blind pixel and flick pixel. The gray distribution and scale of blind flick pixel and infrared point target are consistent, which is easy to cause false alarm and missed detection of remote infrared detection system. Therefore, a dynamic real-time defect repair algorithm based on spatio-temporal statistical characteristics for infrared point target detection was proposed. Based on the indepth analysis of defect pixel, a spatial extreme value filter operator was constructed to extract the current frame feature mask, accumulate the historical mask value in the time domain, and make multi-dimensional judgment in combination with probability dynamic statistics. And the image pyramid was introduced to extract blind pixel, flick pixel and defect pixel clusters. Finally, the defect elements were eliminated by multi-scale median filter. The experiment takes DDR3 as off chip storage for FPGA hardware transplantation. The results show that the proposed algorithm cound be applied to all kinds of scenes requiring point target detection, dynamically update and repair new defective pixels, low computational complexity, strong real-time performance, the defect rate was reduced from 6 ‰ to 0.046 ‰, and the detection accuracy reached 98%.
-
图 1 纯背景下的盲元15×15邻域灰度图
Figure 1. Blind element 15×15 neighborhood gray distribution on clean background
图 4 极值算子与三层金字塔的缺陷元定位
Figure 4. Defective pixel location based on extremum operator and three-layer pyramid
图 7 多种场景下设置的目标与缺陷元序列集
Figure 7. Target and defect element sequence set in multiple scenarios
图 8 不同方法的FPGA实现结果对比。 （a）探测器输出原始图像；（b）多尺度自适应中值滤波；(c)基于显著性的局部对比度；（d）基于结构元素与3σ准则；（e）文中算法
Figure 8. Comparison of FPGA implementation using different methods. (a) Original image output by the detector; (b) Multi-scale adaptive median filter; (c) Local contrast method based on saliency; (d) Structural elements and 3σ criterion; (e) Proposed algorithm
图 9 点目标检测性能提升的示意图。（a）多场景红外点目标检测；（b）目标邻域；（c）点目标邻域灰度分布三维图；（d）采用文中算法的目标邻域；（e）采用文中算法的点目标邻域灰度分布三维图
Figure 9. Diagram of the performance improvement for point target detection. (a) Multiscene infrared point target detection; (b) Target neighborhood; (c) 3 D image of grayscale distribution of point target neighborhood; (d) Target neighborhood with the proposed algorithm; (e) 3 D image of the grayscale distribution of point target neighborhood with the proposed algorithm
表 1 缺陷元、目标与纯背景时空灰度分布特性对比
Table 1. Comparison of temporal and spatial gray distribution characteristics of defect element, target and clean background
Type Gray distribution of spatial Gray distribution of temporal Over hot pixel Dead pixel Flickering pixel Defect pixel cluster Point target Background 
下载: 导出CSV
表 2 不同算法背景抑制因子对比
Table 2. Comparison of BSF of different algorithms
Resolution Device
materialsBand Frame-rate/
fpsIntegrated-time/
ms640×512 MCT Mid-wave 100 2.8-7.5 640×512 MCT Long-wave 300 0.3-1.2 1 k×1 k MCT Mid-wave 75 3-8 256×256 IS Mid-wave 75 0.5-3.6 64×64 IS Long-wave 500 0.2-0.5 640×512 IS Long-wave 100 0.8-5 320×256 SLs Long-wave 75 0.5-1.8
下载: 导出CSV
表 3 不同算法对孤立元、闪元和缺陷元簇剔除效果及存在问题
Table 3. Effects and problems of different algorithms for eliminating isolated pixel, flickering pixel and defective pixel clusterss
Algorithm Isolated
blind
pixelIsolated
flickering pixelDefect
pixel
clusterTiming
summary/msExisting problems AMF Valid Valid Valid 0.325 Background detail information are lost; Dim target will be removed LCM Valid Invalid Invalid 0.830 Dim target will be removed SE-3σ Valid Invalid Invalid 3.421 Dim targets may be removed;Algorithm running time is a little long OCSVM Valid Invalid Invalid -- Difficult to implement on FPGA; Dim target may be removed DDABS Valid Valid Invalid 0.326 Unable to adjust time-consuming flexibly Proposed Valid Valid Valid 0.329 N/A
下载: 导出CSV
表 4 不同算法在三类场景的检测性能比较
Table 4. Comparison of detection performance of different algorithms in three kinds of scenes
Algorithm Clean background Ground background Complex cloud background SCRg BSF PFg DAR SCRg BSF PFg DAR SCRg BSF PFg DAR Proposed 1.21 1.36 2.34 0.98 1.45 1.63 8.21 0.95 3.15 1.92 8.92 0.95 AMF 0.12 1.81 6.43 0.52 0.31 2.72 3.24 0.49 0.32 3.32 2.93 0.48 LCM 1.16 1.23 1.89 0.83 0.84 1.28 1.42 0.76 0.78 1.76 1.39 0.73 SE-3σ 1.19 1.32 2.18 0.87 1.34 1.36 2.32 0.85 1.45 1.52 1.73 0.81 OCSVM 1.03 1.32 1.35 0.76 1.16 1.29 1.24 0.74 1.13 1.47 1.16 0.77 DDABS 1.21 1.36 1.92 0.91 1.42 1.54 4.21 0.88 2.38 1.74 5.21 0.82
下载: 导出CSV
-
[1] Song Z, Zhang D, Zhang S. Scene-based blind and flicke- ring pixel dynamic correction algorithm[C]//International Conference on Signal, Information and Data Processing (ICSIDP). IEEE, 2019. [2] Dong L, Wang B, Ming Z, et al. Robust infrared maritime target detection based on visual attention and spatiotemporal filtering [J]. IEEE Trans Geosci Remote Sens, 2017, 55(5): 3037-3050. doi: 10.1109/TGRS.2017.2660879 [3] Dai S S, Zhang T Q. A new algorithm of blind pixels processing for IRFPA [J]. Piezoelectectrics& Acoustooptics, 2008, 30(3): 376-378. (in Chinese) [4] Li L P, Yuan Q G, Zhu H, et al. A new algorithm of blind pixel detection for infrared focal array [J]. Infrared Technology, 2014(2): 106-109. (in Chinese) [5] Zhang D G, Fu Y T. One class support vector machine used for blind pixel detection [J]. Infrared and Laser Engineering, 2018, 47(4): 0404001. (in Chinese) [6] Liu C L, Jin W Q, Cao Y, et al. New dynamic algori thm for IRFPA bad pixel detection and compensation based on statistics [J]. Journal of Beijing Institute of Technology, 2009, 18(4): 463-467. (in Chinese) [7] GB/T 17444—2013 Infrared focal plane array parameter test method[S]. Beijing: Standards Press of China, 2013. (in Chinese) [8] Hou Z J, Fu L, Si J J, et al. Identification and orientation of connected defective elements in FPA [J]. Journal of Infrared and Millimeter Wave, 2017, 36(2): 82-87. (in Chinese) [9] Liu G R, Sun S L, Lin C Q, et al. Analysis and supperssi- on method of flickering pixel noise in images of infra- red linear detector. [J]. Journal of Infrared and Millimeter Wave, 2018, 37(4): 21-26. (in Chinese) -
点击查看大图
计量
- 文章访问数: 249
- HTML全文浏览量: 57
- PDF下载量: 35
- 被引次数: 0
