Volume 51 Issue 8
Aug.  2022
Turn off MathJax
Article Contents

Lu Xiaofeng, Bai Xiaofei, Li Sixun, Wang Xuan, Hei Xinhong. Infrared small target detection method based on the improved weighted enhanced local contrast measurement[J]. Infrared and Laser Engineering, 2022, 51(8): 20210914. doi: 10.3788/IRLA20210914
Citation: Lu Xiaofeng, Bai Xiaofei, Li Sixun, Wang Xuan, Hei Xinhong. Infrared small target detection method based on the improved weighted enhanced local contrast measurement[J]. Infrared and Laser Engineering, 2022, 51(8): 20210914. doi: 10.3788/IRLA20210914

Infrared small target detection method based on the improved weighted enhanced local contrast measurement

doi: 10.3788/IRLA20210914
Funds:  National Natural Science Foundation of China  (62076201,U1934222)
  • Received Date: 2021-11-29
  • Rev Recd Date: 2022-01-01
  • Available Online: 2022-08-31
  • Publish Date: 2022-08-31
  • Infrared dim and small target detection is an important part of the infrared search and tracking system (IRST). Generally, in a complex background environment, infrared dim and small target detection often has the problem of a high false alarm rate and low detection rate. To solve this problem, an improved weighted enhanced local contrast measurement (IWELCM) detection framework is proposed. First, by combining the local contrast mechanism with the signal-to-clutter ratio (SCR) calculation, an enhanced local contrast measurement is proposed to enhance the SCR of the infrared image while enhancing the suspected small target region. Second, an improved weighting function is proposed to enhance the target and suppress the background by taking advantage of the characteristics of the target in infrared images and the significant difference between the target and the surrounding background. Finally, an adaptive threshold segmentation method is used to extract real targets. Experimental results on different scene datasets show that compared with the seven existing methods, the proposed method can effectively extract real dim targets from interference objects under complex backgrounds and has better detection performance.
  • [1] Xia C Q, Li X R, Zhao L Y, et al. Infrared small target detection based on multiscale local contrast measure using local energy factor [J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(1): 157-161. doi:  10.1109/LGRS.2019.2914432
    [2] Han J H, Liu S B, Qin G, et al. A local contrast method combined with adaptive background estimation for infrared small target detection [J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(9): 1442-1446. doi:  10.1109/LGRS.2019.2898893
    [3] Kim S, Yang Y, Lee J, et al. Small target detection utilizing robust methods of the human visual system for IRST [J]. Journal of Infrared, Millimeter, and Terahertz Waves, 2009, 30: 994-1011. doi:  10.1007/s10762-009-9518-2
    [4] Wang X, Lv G F, Xu L Z. Infrared dim target detection based on visual attention [J]. Infrared Physics & Technology, 2012, 55(6): 513-521.
    [5] Chen C L P, Li H, Wei Y T, et al. A local contrast method for small infrared target detection [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(1): 574-581. doi:  10.1109/TGRS.2013.2242477
    [6] Han J H, Ma Y, Zhou B, et al. A robust infrared small target detection algorithm based on human visual system [J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172. doi:  10.1109/LGRS.2014.2323236
    [7] Qin Y, Li B. Effective infrared small target detection utilizing a novel local contrast method [J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13: 1890-1894.
    [8] Wei Y T, You X G, Li H. Multiscale patch-based contrast measure for small infrared target detection [J]. Pattern Recognition, 2016, 58: 216-226. doi:  10.1016/j.patcog.2016.04.002
    [9] Han J H, Liang K, Zhou B, et al. Infrared small target detection utilizing the multiscale relative local contrast measure [J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 612-616. doi:  10.1109/LGRS.2018.2790909
    [10] Han J H, Moradi S, Faramarzi I, et al. A local contrast method for infrared small-target detection utilizing a tri-layer window [J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(10): 1822-1826. doi:  10.1109/LGRS.2019.2954578
    [11] Deng H, Sun X P, Liu M, et al. Entropy-based window selection for detecting dim and small infrared targets [J]. Pattern Recognition, 2017, 61: 66-77. doi:  10.1016/j.patcog.2016.07.036
    [12] Qin Y, Li B. Effective infrared small target detection utilizing a novel local contrast method [J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1890-1894. doi:  10.1109/LGRS.2016.2616416
    [13] Nie J Y, Qu S C, Wei Y T, et al. An infrared small target detection method based on multiscale local homogeneity measure [J]. Infrared Physics & Technology, 2018, 90: 186-194.
    [14] Liu J, He Z Q, Chen Z L, et al. Tiny and dim infrared target detection based on weighted local contrast [J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(11): 1780-1784. doi:  10.1109/LGRS.2018.2856762
    [15] Lv P Y, Sun S L, Lin C Q, et al. A method for weak target detection based on human visual contrast mechanism [J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 261-265. doi:  10.1109/LGRS.2018.2866154
    [16] Han J H, Moradi S, Faramarzi I, et al. Infrared small target detection based on the weighted strengthened local contrast measure [J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(9): 1670-1674. doi:  10.1109/LGRS.2020.3004978
    [17] Shi Y F, Wei Y T, Yao H, et al. High-boost-based multiscale local contrast measure for infrared small target detection [J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(1): 33-37. doi:  10.1109/LGRS.2017.2772030
    [18] Zhang H, Zhang L, Yuan D, et al. Infrared small target detection based on local intensity and gradient properties [J]. Infrared Physics & Technology, 2018, 89: 88-96.
    [19] Nasiri M, Chehresa S. Infrared small target enhancement based on variance difference [J]. Infrared Physics & Technology, 2017, 82: 107-119.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(6)  / Tables(3)

Article Metrics

Article views(231) PDF downloads(71) Cited by()

Related
Proportional views

Infrared small target detection method based on the improved weighted enhanced local contrast measurement

doi: 10.3788/IRLA20210914
  • Department of Computer Science and Engineering, Xi’an University of Technology, Xi’an 710048, China
Fund Project:  National Natural Science Foundation of China  (62076201,U1934222)

Abstract: Infrared dim and small target detection is an important part of the infrared search and tracking system (IRST). Generally, in a complex background environment, infrared dim and small target detection often has the problem of a high false alarm rate and low detection rate. To solve this problem, an improved weighted enhanced local contrast measurement (IWELCM) detection framework is proposed. First, by combining the local contrast mechanism with the signal-to-clutter ratio (SCR) calculation, an enhanced local contrast measurement is proposed to enhance the SCR of the infrared image while enhancing the suspected small target region. Second, an improved weighting function is proposed to enhance the target and suppress the background by taking advantage of the characteristics of the target in infrared images and the significant difference between the target and the surrounding background. Finally, an adaptive threshold segmentation method is used to extract real targets. Experimental results on different scene datasets show that compared with the seven existing methods, the proposed method can effectively extract real dim targets from interference objects under complex backgrounds and has better detection performance.

    • 随着计算机视觉和红外成像技术的发展,红外搜索和跟踪(IRST)系统在制导、预警和交通安全等领域有着广泛的应用,而红外小目标检测在IRST系统的性能中起着至关重要的作用[1]。在背景复杂的场景中,由于成像距离远,目标成像面积小,缺乏形状和纹理信息。同时,复杂的场景存在严重的干扰,如高亮背景、背景边缘和PNHB[2],导致该任务非常具有挑战性。

      到目前为止,已经提出大量的红外小目标检测算法,主要包括基于序列的算法和基于单帧的算法。基于序列的算法主要利用小目标多帧之间的信息检测目标,导致计算量大,检测速度慢。相比之下,基于单帧的检测算法仅使用单帧的信息,计算量小,检测速度较快。文中只关注基于单帧的检测算法。

      近年来,研究人员发现在已有的基于单帧的检测算法中,仿生方法引起了广泛的关注。生物学家宣称,在人类视觉系统中,最重要的部分是对比度,而不是亮度。仿生算法通过使用对比度机制设计有效的算法来检测红外图像中的目标。例如:Kim等[3]提出使用LoG滤波器对原始红外图像进行滤波实现小目标检测;Wang等[4]提出使用更为简单的DoG滤波器进行目标检测。Chen等[5]提出局部对比度测量(LCM),采用一个带有八个方向的嵌套窗口捕捉目标块的灰度最大值和周围背景块的平均值,把二者间的比值作为目标的增强系数;Han等[6]提出改进的LCM,采用目标块的平均灰度抑制背景;Qin和Li[7]提出NLCM,在计算平均灰度时只考虑最大的几个像素;Wei等[8]提出MPCM,将两个相对应方向的局部灰度差合并在一起提高算法的性能;Han等[9]提出一个相对的局部对比度测量(RLCM);Han等[10]提出一个三层嵌套窗口的局部对比算法,等。

      在最新的研究中,许多研究人员倾向于使用加权函数与局部对比度相结合的算法去获得更好的性能。例如:Deng等[11]提出采用局部熵作为对比度增强的加权函数;Qin和Li[12]提出采用目标的方差加权局部对比度;Nie等[13]提出采用目标的标准差加权; Liu等[14]提出WLCM,采用周围背景的灰度值大于中心的像素的数量作为加权函数;Lv等[15]提出区域强度水平(RIL),采用目标块与周围背景块之间的RIL差分对局部对比度进行加权;Han等[16]提出改进的RIL,等。

      针对复杂背景下红外弱小目标检测问题,受上述先进方法的启发,文中提出一种将加权函数与局部对比度相结合的算法,称为IWELCM。算法可以分为分割和检测两个阶段。首先,采用嵌套窗口将原始红外图像分割成局部区域,其次,利用得到的局部区域计算ELCM和IW的显著性映射,然后,将ELCM和IW结合得到IWELCM的显著性映射,最后,采用一个自适应的阈值分割机制来提取目标区域。文中的贡献可以总结如下:

      (1)提出一个增强的局部对比度测量(ELCM)。它可以将目标与周围背景之间的灰度差异进一步扩大,很好地使目标得到增强,并提高图像的SCR值。

      (2)提出一个改进的加权函数(IW)。它利用目标的方差、目标与周围背景之间的统计差异进行加权,在增强目标的同时极大地抑制背景。

      (3)设计一个IWELCM的红外小目标检测方法。在不同的场景下,小目标可以很容易地分割出来。在真实图像数据集上的实验结果表明,提出的方法具有较好的检测性能。

    • 使用一个嵌套窗口(如图1所示)计算原始红外图像中每个像素点的ELCM。首先,一个嵌套窗口被分为两个部分:T为中心块,目标可能在该块出现,${{bi(i = 1,2,}} \cdots {\rm{,8)}}$为周围八个方向的背景块。然后,将当前像素(x, y)的ELCM定义为:

      Figure 1.  Nested window

      式中:$ {M}_{T} $表示目标块TK1个最大像素的平均灰度值;$ {mean}_{bi} $表示周围背景块bi所有像素的平均灰度值;$ {Std}_{b} $表示周边八个方向背景块bi之间的标准差的平均值;$ \phi $为一个先验参数,值为0.0001,避免除以0。需要注意的是:$ \dfrac{{M}_{T}}{{mean}_{bi}} $ 表示目标在嵌套窗口中第i个方向的增强系数;$ {\left({M}_{T}-{mean}_{bi}\right)}^{3} $在被用来放大目标与周围背景块的差异的同时确保符号的一致性;$ {Std}_{b} $被用来去提升SCR;八个方向之间的最小值操作被用来去抑制背景边缘。

      首先计算目标块TK1个最大像素的平均灰度:

      式中:K1为考虑目标块T最大灰度的个数;$ {G}_{T}^{q} $为目标块T的第q个最大灰度。其次计算周围背景块bi的平均灰度值:

      式中:$ {N}_{b} $为背景块bi包含的像素的个数;$ {G}_{bi}^{q} $为周围背景块bi的第q个最大灰度值。然后计算周围八个方向背景块bi之间的标准差的平均值:

      式中:${{S}{t}{d}}_{bi}$为周围背景块bi的灰度标准差。最后,通过一个非负约束得到原始红外图像中每个像素点(x, y)最终的ELCM:

    • 一般来说,原始红外图像中弱小目标的对比度总是非常低,仅靠ELCM的结果找到图像中的目标,所得到的检测结果有很多虚警点。因此,文中提出了一个改进的加权函数框架对ELCN进行加权,使得所提出算法达到一个理想的效果。

      对于加权函数的设计考虑两个方面:(1) 目标的特征;(2) 目标与周围背景之间的统计差异,来更好地增强目标和抑制背景。在考虑目标的特征 (WT) 对ELCM进行加权时,嵌套窗口中目标块T的方差被使用,一个像素点(x, y) WT的定义如下:

      式中:$ f\left(c,d\right) $为像素点(c, d)处的灰度值;(x, y)为嵌套窗口中心块T的中心坐标;$ {mean}_{T} $表示中心块T中所有像素的平均灰度,中心块T与周围背景块bi的尺寸相同,均为${n}\times {n}$

      在考虑目标与周围背景之间的统计差异 (WTB) 时,提出了一个块灰度比 (BGC) 的新概念。对于嵌套窗口的中心块T和周围背景块bi,BGC的定义如下:

      式中:$ {M}_{bi} $的计算类似于$ {M}_{T} $,表示的是背景块biK1个最大像素的平均灰度。接着,一个像素点 (x, y) WTB的定义如下:

      通过上述计算,一个像素点 (x, y) 改进的加权函数IW被定义为:

    • 通过对ELCM和IW进行计算,一个像素点 (x, y) 的IWELCM可以被定义如下:

      在实际应用中,红外弱小目标的大小通常是未知的,因此,多尺度的操作是必须的。这里所谓的多尺度指目标在红外图像上可取的大小范围。首先,计算像素 (x, y) 在每一个尺度上的IWELCM,然后通过最大池化操作得到最终的IWELCM,计算公式为:

      式中:p表示第p个尺度;s表示尺度的总数。

    • 将IWELCM算法处理后的图像 ($ {I}_{IWELCM} $) 归一化到0~255灰度级的范围内,计算公式如下:

      式中:$ \mathrm{max}\left({I}_{IWELCM}\right) $$ \mathrm{min}\left({I}_{IWELCM}\right) $分别为$ {I}_{IWELCM} $的最大值和最小值。

    • 对于得到的每个红外图像的$ {I}_{IWELCM} $显著图,其值越大,越可能是目标。采用自适应阈值分割的方法对目标和背景进行区分,阈值 (Th) 计算公式如下:

      式中:mean($ {I}_{IWELCM} $)为$ {I}_{IWELCM} $的平均值;$ \mathrm{\alpha } $是一个在0~1之间的因子。实验表明,对于单个目标检测,一个在0.4~0.8之间的$ \mathrm{\alpha } $将是合适的。将$ {I}_{IWELCM} $的计算、归一化过程和阈值分割结合起来,称为IWELCM算法。

      综上所述,IWELCM算法的流程如图2所示。

      Figure 2.  Algorithm flow chart

    • 讨论当一个像素(x, y)是真正的目标中心、纯背景、背景边缘或PNHB(如图3所示)时,所提出算法的检测性能。

      Figure 3.  Raw infrared image

      (1) 如果(x, y)是真正的目标中心时,由于目标通常在局部区域内是显著的,而周围背景相对来说比较暗且连续分布,可以得到:

      因此,可以得到最后的IWELCM:

      (2) 如果(x, y)是纯背景时,由于背景通常是大面积连续分布的,可以得到:

      因此,可以得到最后的IWELCM:

      (3) 如果(x, y)是背景边缘,由于周围的区域可能包含明亮的背景,可以得到:

      因此,可以得到最后的IWELCM:

      (4) 如果(x, y)是一个PNHB,由于PNHB通常作为单个像素出现,其$ {M}_{T} $比真正的目标小,它的ELCM将小于真正的目标,而且它的IW也会小于真正的目标。因此,最后的IWELCM的值将小于真正目标。

    • 为了验证所提出算法的有效性,在四个真实的图像数据集进行了对比实验。通过Group A~Group D对数据集进行表示,表1列出了关于数据集的详细信息。

      FrameImage resolutionTarget typeBackground description
      Group A70$ 256\times 200 $Plane targetComplex sky background
      Group B152640$ \times 512 $Plane targetA comparatively smooth sky background
      Group C289$ 127\times 127 $, 300$\times \mathrm{200,320}\times 240,\mathrm{e}\mathrm{t}\mathrm{c}.$Plane target, truck target, ship targetComplex background interference
      Group D460$ 256\times 256 $Plane targetComplex land background

      Table 1.  Details of the dataset

      仿真和实验在一台具有8 GB内存和3.0 GHz Intel i7-9700处理器的计算机上进行,代码在MATLAB R2018a中实现。

      首先,在对所提算法的性能评价时,使用了四个尺度($ 3\times 3,5\times 5,7\times 7,9\times 9 $),并通过大量实验选择了K1在每个尺度下的最优值(5,9,13,13)。算法各阶段处理结果如图4所示。图4(a)为从数据集中选取的具有代表性的原始图像,所有的目标都被标记为圆形。可以看出,目标通常非常暗和小,背景通常非常复杂,边缘明显,噪声大。图4(b)为ELCM的显著性映射,图4(c)为IW的显著性映射,图4(d)为最终的多尺度IWELCM显著性映射,图4(e)为阈值分割后的结果。

      Figure 4.  The processing results of each stage of the proposed method

      图4的第一行是提出方法在复杂云层干扰场景下的实验结果,从图中可以看出,红外弱小目标淹没在明亮云层背景中,不易被发现。然而图像经过IWELCM算法后,可以从ELCM、IW、IWELCM的显著性映射中清楚地看到,明亮的云层背景基本都被抑制,并且目标被显著增强,最后通过阈值分割实现对红外弱小目标的提取。

      图4的第二行是提出方法针对灰暗天空背景的实验结果,从图中可以看出,目标非常小,只占几个像素点,但其背景分布比较均匀且比较暗。因此,目标在局部区域内是极其显著的。然后,通过IWELCM算法后,图中的灰暗天空背景很容易被抑制,同时目标得以增强,这些都可以清楚地在ELCM、IW、IWELCM的显著性映射中看到,最后通过简单的阈值分割检测到目标。

      图4的第三行是提出方法针对背景存在强干扰的实验结果,从图中可以看出,这些强干扰的背景亮度值甚至比目标的亮度值还要高,并且一部分背景与目标极其相似,很容易出现误检,给检测带来了很大的困难。从实验可以看出,通过IWELCM算法,大多数强干扰背景得到抑制,虽然还有少量的背景未被很好地的抑制,但目标的显著性与其有明显的区别,最后可以精确检测到目标。

      图4的第四行是提出方法在背景存在明亮云层边缘的实验结果,从图中可以看出,目标与明亮的云层边缘相比并不突出,并且其余部分的背景都相当暗,因此极易发生误检,产生虚警。然而通过IWELCM算法,明亮云层边缘背景得到抑制,从而目标在显著性映射中相当突出,可以通过阈值分割检测到目标。

      图4的第五行是提出方法针对灰暗弱小目标的实验结果,从图中可以看出,不仅目标灰暗,而且背景和目标极其相似,也比较灰暗,这给检测增加了难度。从实验可以看出,通过IWELCM算法,目标在显著性映射中比较突出,因此可以通过阈值分割实现目标检测。

      图4的最后一行是提出方法针对低空陆地复杂背景的实验结果,从图中可以看出,目标在其局部区域内比较突出,但因为陆地环境比较复杂,会有较多的背景也相当突出,如道路、滑坡、墙体等,增加了检测的难度。从实验可以看出,经过IWELCM算法,虽然ELCM和IW的显著性映射中存在一些背景,不能被很好地抑制,但目标在显著性映射中也是比较突出的。并且,在ELCM和IW结合得到最终IWELCM显著性映射中,进一步的对背景进行抑制,以便更好地检测出目标,有利于实现对目标的提取。

      图4的实验结果表明,提出方法在背景高亮、复杂云层干扰以及目标灰暗的场景下,可以实现对红外弱小目标的鲁棒性检测。

      选择了七个利用局部对比度测量的红外小目标检测算法进行比较,包括Wei的MPCM算法[8]、Shi的HBMLCM算法[17],Han的RLCM算法[9]、Liu的WLCM[14]算法、Zhang的LIG算法[18]、Nasiri的 VARD算法[19]和Han的WSLCM算法[16]图4使用的原始红外图像继续使用,每个算法的处理结果如图5所示。可以看出,提出算法可以有效消除更多的杂波和噪声。

      Figure 5.  Detection results of different methods

      为了进一步验证提出算法的有效性,首先对四个图像数据集使用信杂比增益(SCRG)和背景抑制(BSF)[15],如表2所示。可以看出,在大多数情况下,提出的算法可以达到较高的SCRG和BSF,其计算公式如下:

      GroupMPCMHBMLCMRLCMWLCMLIGVARDWSLCMProposed


      SCRG
      A13.774038.451535.696414.141840.866352.071064.594681.5212
      B0.227941.298546.318716.489841.574853.141659.369778.1993
      C18.113742.071642.561716.055651.924996.124196.7909113.1314
      D14.757929.698238.59276.460325.077246.729455.727467.7811


      BSF
      A3.853696.898714.31953.9775142.7530506.51471.7110E41.5063E5
      B9.3584135.505127.970115.82391.5340 E31.5539E31.0310E48.4945E5
      C10.8951239.365035.33254.4159914.21296.7779E61.0037E74.6611E9
      D6.882236.05687.06032.482815.1681131.0641748.63777.5116E3

      Table 2.  Different algorithms for SCRG and BSF

      式中:$ {S CRG}_{in} $$ {S CRG}_{out} $分别为原始图像和$ {I}_{IWELCM} $的SCRG;$ {\sigma }_{in} $$ {\sigma }_{out} $分别为原始图像和$ {I}_{IWELCM} $的标准差。

      其次,采用ROC曲线,即每个算法设置一百个阈值,绘制虚警率(Fa)和准确率(Pd)之间的关系,如图6所示。可以看出,在大多数情况下,提出的算法可以达到高检测率和低虚警率。FaPd的计算公式如下:

      Figure 6.  ROC curves of Group A-Group D

      除了良好的检测能力外,算法的运行时间也是需要考虑的重要因素。比较了不同算法的平均运行时间,如表3所示。可以看出,不同算法的平均运行时间与图像分辨率有关,尺寸越小的图像所消耗的时间越少。在所有算法中,MPCM、HBMLCM、VARD的平均运行时间较快,WSLCM的平均运行时间最慢。相比之下,所提算法的平均运行时间仅优于WSLCM。但是,通过对所提算法分析发现其非常适合并行处理。因此,所提算法可以通过应用并行计算提高其检测速度。

      GroupMPCMHBMLCMRLCMWLCMLIGVARDWSLCMProposed
      A0.04060.01531.09031.25530.54860.01071.52001.4018
      B0.13010.05826.49747.90613.71950.03788.71448.3904
      C0.04720.01461.07371.53800.86900.01131.53941.3968
      D0.05020.01631.47271.58010.71340.01262.06761.9152

      Table 3.  Average running time of different algorithms (Unit: s)

      所有的实验结果表明,所提算法在四个图像数据集均能取得较好的检测结果,在所有对比算法中的检测性能位居前列。

    • 针对复杂背景红外弱小目标检测问题,提出了一种新的红外小目标检测框架,即改进的加权增强局部对比度测量。首先,增强的局部对比测量在比差联合局部对比度测量算法基础上引入周围背景的标准差,提升图像的SCR。其次,加权函数通过目标的特性及目标与周围背景之间的统计差异对局部对比度进行加权。最后,通过一个简单的自适应阈值分割提取真实目标。在真实图像数据集上的实验结果表明,提出的方法提高了SCRG和BSF性能指标,在ROC曲线上也表现较好。

Reference (19)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return