Infrared small target detection using tri-layer window local contrast

红外探测系统具有隐蔽性好、抗干扰能力强等优点，在制导、预警等领域得到了广泛应用 ^{[ 1- 2]} 。但在一些实际场景中，由于红外探测系统的探测距离很远，目标在图像中面积小、亮度弱，很难被检测到 ^{[ 3- 4]} ；同时，在复杂背景存在的条件下，目标很容易被复杂背景淹没 ^{[ 5]} 。因此，要在高检测率、低虚警率的前提下检测出红外小目标通常是一个较大的难题 ^{[ 6]} 。此外，某些实际应用对检测实时性的要求比较高，通常要求在单帧内完成对目标的检测和输出，这进一步地加大了检测难度 ^{[ 7]} 。

目前，研究者们已经提出了很多类型的红外小目标检测方法，其中，基于人类视觉系统（Human Visual System，HVS）对比度机制的仿生学方法凭借理论简洁易实现、与真实目标特性契合较好等优势，尤其受到研究者们的关注 ^{[ 8- 9]} 。但是，不同研究者对于对比度的定义各不相同，主要可分为差值型、比值型和比差联合型三类：

差值型对比度算法以Shao等人 ^{[ 10]} 提出的LoG（Laplacian of Gaussian）和Wang等人 ^{[ 11]} 提出的DoG（Difference of Gaussians）等为代表，通过计算中心与邻域背景的灰度差值，可以有效抑制平缓背景，但往往无法有效增强目标；

比值型对比度算法包括Chen等人 ^{[ 12]} 提出的LCM（Local Contrast Measure）、Han等人 ^{[ 13]} 提出的ILCM（Improved Local Contrast Measure）、Qin等人 ^{[ 14]} 提出的NLCM（Novel Local Contrast Measure）等，他们以中心与邻域的灰度比值作为中心的增强系数，可以有效增强目标，但当背景本身的亮度极高时，仍然有可能淹没增强后的目标；

为了能够同时实现增强目标和抑制背景的效果，Han等人 ^{[ 15]} 提出了RLCM（Relative Local Contrast Measure），该算法采用比差联合的形式进行对比度计算，虽然原理很简单，但能够有效地结合比值和差值的优势，较好地提高了检测性能。MDTDLMS（Multi Directional Two Dimensional Least Mean Square） ^{[ 16]} 则进一步将比差联合对比度与背景估计思想相结合。

在实际应用中，小目标的尺度通常是未知的，这给对比度计算时的窗口大小选择带来了很大的困难。目前比较通行的做法是采用多尺度检测方法，即事先设置多个尺度不同的窗口，分别计算当前位置在每个尺度下的对比度信息，最后再在多个尺度的结果中使用max pooling等方法确定最终计算结果。例如，除了前面提到的LoG、DoG、LCM、RLCM等算法外，还有Wei等人 ^{[ 17]} 提出的MPCM（Multiscale Patch-based Contrast Measure）、Deng等人 ^{[ 18]} 提出的WLDM（Weighted Local Difference Measure）等等，也都属于多尺度检测算法。但是，多尺度检测算法往往存在计算量大的问题，导致算法的实时性不尽如人意。一些最新的研究注意到了这个问题，例如，在Pan等人 ^{[ 19]} 提出的DLCM（Double-layer Local Contrast Measure）算法中设计了一种新型三层窗口结构，可以使用单尺度计算完成不同尺度小目标的检测，从而大大地减少了算法的运算量。但是相关研究目前尚不充分。

概括而言，当前的对比度算法还存在一定的不足：首先，现有算法通常重点关注对比度计算中的算法设计和对比度计算后的加权校验两个环节，而对对比度计算前的环节重视不够。其次，虽然已有一些研究者开始关注单尺度计算解决多尺度小目标检测的思想，但相关研究还有待进一步完善。如DLCM虽然提出了三层窗口，却仅使用差值进行对比度计算，对目标的增强能力不足；另外，DLCM使用当前位置周围的最大值作为对比度计算时的参照背景，当目标周围存在亮度极高的背景时，这些高亮背景很容易淹没真实目标。

文中针对现有研究存在的不足，提出了一种三层窗口局部对比度算法。首先，为了降低计算量、提高实时性，该算法采用DLCM中的新型三层窗口，通过单尺度计算解决不同尺度小目标的检测难题。同时，为了提高检测率、降低虚警率，文中算法通过合理的设计，在对比度计算前、计算中和计算后等三个环节中均对真实目标进行了增强、对复杂背景进行了抑制。

DLCM算法是近年来最新提出的一种小目标检测算法，也是文中算法的重要基础之一。DLCM算法的一大贡献在于提出了一个新型三层窗口，如 图1所示。

Figure 1.  Structure of the novel tri-layer window

从 图1可以看出，该三层窗口共包含5×5个子窗，每个子窗的大小都是3×3。中心层子窗 T用于捕捉目标。中间层子窗 IB ₁ ~ IB ₈用于隔离目标与背景，由于小目标一般不超过9×9个像素点，不会超出该区域，所以不用根据目标的实际尺度调整窗口大小，从而可以使用单尺度计算解决不同尺度小目标的检测。最外层子窗 OB ₁ ~ OB ₁₆则用于捕捉目标周围的背景区域，参与对比度计算。

中心层子窗与某个中间层子窗的灰度对比度 d( T, IB _i )，和中心层子窗与某个最外层子窗的灰度对比度 d( T, OB _j )可分别表示为：

式中： m ₀代表中心层子窗T的灰度均值； m _IBi 代表中间层子窗 IB _i 的灰度均值； m _OBj 代表最外层子窗 OB _j 的灰度均值，其中， i = 1 ~ 8， j = 1 ~ 16，为子窗的序号。

接着，DLCM算法取中心层与最外层灰度差的最小值作为当前位置的对比度信息 D，即：

为进一步抑制复杂背景、突出真实目标，DLCM算法还取了 d( T, IB _i )的两两对角相乘结果作为加权函数，即：

于是，当前位置最终的对比度信息将是：

使用该窗口遍历原始红外图像的所有像素点，便可得到整幅图像的DLCM计算结果。笔者认为真实目标的DLCM值将最为突出，因此使用阈值分割即可提取出目标。

从DLCM算法的计算过程可以看出其存在以下缺陷：

（1）该算法未关注对比度计算前的环节，未能有针对性地对目标进行预增强、对复杂背景进行预抑制；

（2）该算法仅使用了差值运算进行对比度信息计算，虽然可以消除平滑背景，但当目标非常弱小时，对目标几乎没有增强能力；

（3）当目标靠近高亮背景边缘时，若高亮背景的灰度值远大于真实目标的灰度值，则目标将会被淹没，无法检测。

针对上述不足，文中拟提出一种三层窗口局部对比度算法，其流程图如 图2所示。

Figure 2.  Flowchart of the proposed algorithm

首先，为减少计算量、提高实时性，该算法采用了 图1中的新型三层窗口结构，用于对图像进行遍历和计算。同时，为了提高检测率、降低虚警率，文中算法在对比度计算前、计算中和计算后等三个环节中分别对真实目标进行了增强、对复杂背景进行了抑制：在对比度计算前，首先对三层窗口的中心层进行高斯滤波、对最外层进行最接近滤波，有针对性地对目标进行预增强、对背景进行预抑制；在对比度计算中，通过在中心层与最外层之间进行比差联合对比度的计算，实现对目标的增强和对背景的抑制；在对比度计算后，通过使用三层窗口中间层的信息对计算结果进行加权校验，进一步突出目标、消除复杂背景。最后，通过一个简单的阈值操作，即可提取出真实目标。

由于DLCM算法中的三层窗口可以提高算法的检测效率，因此，文中直接采用DLCM的三层窗口，对原始图像进行逐像素的遍历。并且针对DLCM算法的不足，文中提出在对比度计算前分别对中心层进行高斯滤波、对最外层进行最接近滤波的方案，以有针对性地对目标进行预增强、对背景进行预抑制。

根据匹配滤波器（matched filter）理论，如果使用滤波的方法对一个原始信号进行处理，那么当滤波器模板与信号形状一致时，原始信号的信噪比可以得到很好的增强 ^{[ 20]} 。考虑到红外小目标在图像中一般呈现中心高、四周低的特点，与二维高斯函数的分布极其相似，因此，文中引入了匹配滤波的思想，在对比度计算前，首先对中心层做高斯滤波，有针对性地增强真实目标的信噪比。根据中心层子窗的大小，文中设定高斯滤波模板如 图3所示。

Figure 3.  Template of Gaussian filter

将高斯滤波模板嵌套在三层窗口的中心层子窗，随三层窗口的移动遍历图像，定义每个位置处的匹配滤波结果为：

式中：( i, j)为当前像素点的坐标； T为中心层子窗； G为 图3中的滤波模板； I _mf为匹配滤波后的结果。

现有空域对比度算法（包括DLCM）通常选取目标周围的最大灰度值作为背景值参与对比度计算，但当目标靠近背景边缘时，若边缘另一侧的背景亮度极高，则很容易淹没目标。为了缓解目标被高亮背景淹没的问题，文中采用最接近原则对最外层进行处理，即选取与中心层高斯滤波值最接近的最外层子窗均值作为背景估计值：

式中：( i, j)为当前像素点的坐标； I _mf表示中心层子窗的高斯滤波值； m _OBn 表示第 n个（共16个）最外层子窗的均值； B表示计算得到的最终背景值。

在对比度计算中，文中采用比差联合的方式，在高斯滤波后的中心层与最接近滤波后的最外层之间进行对比度的计算，以增强真实目标、抑制复杂背景。

首先，考虑到真实目标在局部通常比较突出，而普通背景一般比较平缓，为了增强真实目标，采用比值对比度的思想，以中心层与最外层之间的灰度比值作为增强系数，对真实目标进行增强：

式中： ξ是一个大于1但是相对目标像素值而言又极小的约束因子，用来防止分母为0的情况出现。文中 ξ取为10。

显然，对于真实目标，由于目标通常在局部比较突出，其增强因子一般大于1，目标值被增强。对于普通背景，由于背景一般是大面积连续存在的，其增强因子一般约等于1，背景值不变。但是，若背景本身亮度极高，仍有可能大于增强后的目标值，造成目标被淹没。为此，引入差值对比度的思想，构建比差联合对比度为：

考虑到目标一般比周围邻域背景稍亮，引入非负约束操作，令最终的三层窗口比差联合对比度为：

根据红外探测的成像特性，真实目标一般呈现中心高、四周低的特点。当三层窗口的中心层子窗捕获到真实目标中心时，中心层子窗中的最大像素值一定会大于中间层任一子窗的平均像素值，反之，中心层子窗捕获到的一定不是真实目标。为进一步地突出目标、抑制背景杂波，在对图像中的某位置( i, j)进行对比度计算后，利用中间层信息对计算结果做进一步的加权操作，即若中心层子窗中的最大像素值小于中间层任一子窗中的平均像素值时，令该位置处的权值 W( i, j) = 0，反之令 W( i, j) = 1。最终的突出度矩阵（Saliency Map, SM）将是比差联合对比度与加权矩阵的Hadamard积：

经过在对比度计算前、计算中和计算后的一系列设计和操作后，在最终得到的 SM中，真实目标将会是最突出的，而其他干扰因素可以得到很好的抑制，故可采用一个简单的阈值操作提取目标。文中定义阈值为：

式中：max( SM)表示 SM中的最大值； μ是一个介于0~1的系数。大量实验表明，对于单目标检测而言， μ取值在0.7~0.95左右比较合适，但对于可能出现多目标检测的应用而言，考虑到不同目标的突出程度可能有差别， μ值应适当降低一些。

使用 TH对 SM做二值化，大于 TH的像素点标记为1，其他标记为0。标记完毕后，每个值为1的连通区域被当作一个检测到的目标区域进行输出（为了减少杂波干扰，在输出目标前，可以先对标记结果进行一次膨胀操作）。

为了检验文中算法的有效性，使用了大量包含小目标的真实和仿真图像数据（包括序列数据和单帧数据）进行实验验证。文中所有实验代码均在一台采用1.80GHz英特尔酷睿i5-8250处理器、内存（RAM）为8GB的个人电脑上运行，所使用的测试软件为MATLAB R2016a。

首先，选取了5组不同背景下的真实红外图像序列进行实验。同时，为了验证文中算法在目标靠近高亮背景时的优势，文中还采用了一组仿真序列进行实验说明，该仿真序列中包含一个位于高亮背景边缘附近的小目标，且高亮背景的灰度值远大于目标的灰度值。 表1给出了6组图像序列的详细信息。

图4给出了使用文中算法对6组图像序列进行检测的过程示意（除序列5中的 μ取为0.5外，其他序列中的 μ均取为0.9）。在原始图像中，目标通常亮度弱、尺寸小，不易被发现，且视场中往往存在很多复杂背景，很容易淹没目标。匹配滤波结果是对比度计算前对中心层进行高斯滤波后得到的，最接近滤波结果是对比度计算前对最外层进行最接近滤波后得到的背景估计。在匹配滤波结果和背景估计结果之间进行比差联合对比度计算后，可以看到目标变得比较突出，而大多数复杂背景都得到了很好的抑制，仅有少部分背景杂波残留。进一步地，经过中间层信息加权后（图中还给出了对该结果图像的三维显示效果），目标得到了进一步增强，同时上一环节残留的少部分背景杂波也得到了进一步的抑制。最终，经过阈值处理后，可以看到，所有目标都能被成功输出，仅序列1在坏点处出现了一处虚警。特别地，从序列6的原始图像示例中可以看出，此时目标位于背景边缘附近，且背景亮度远大于真实目标，而使用文中算法在这种极端情况下仍能成功检测出目标。

Figure 4.  Processing results of six sequences using the proposed algorithm

除了上述6组红外序列外，文中还使用了一个包含23帧图像、背景类型和目标类型更加多样化的单帧数据库，对算法性能进行辅助检验，如 图5所示。限于篇幅，此处仅给出了其中6帧图像作为示例（ μ均取0.9）。显然，与 图4类似，在不同背景场景、不同目标类型下，文中算法都可以成功输出真实目标，并且未产生任何虚警。

Figure 5.  Processing results of six frames using the proposed algorithm

为进一步地验证文中算法的优势，文中选择了8种现有对比度型算法作为对比算法，包括DoG、ILCM、NLCM、WLDM、MPCM、RLCM、MDTDLMS以及DLCM等。其中，DoG是差值型对比度算法，ILCM和NLCM是比值型对比度算法，WLDM和MPCM是多尺度型对比度算法，RLCM和MDTDLMS是比差联合型对比度算法，DLCM是最新提出的单尺度型对比度算法。

首先， 表2和 表3给出了各算法在6个序列中的信杂比增益（Signal-Clutter Ratio Gain，SCRG）和背景抑制因子（Background Suppression Factor，BSF），它们的定义为：

式中： SCR _in和 SCR _out分别表示原始图像和计算后图像的信杂比； σ _in和 σ _out分别表示原始图像和计算后图像的标准差。

从 表2和 表3的数据可以看出，DLCM算法中由于采用了最外层的最大值作为对比度计算时的背景参照，因此可以很好地抑制背景杂波，在大多数情况下都可以取得最好的SCRG和BSF结果。但是，对于序列6，当目标靠近高亮背景时，DLCM的检测将失效，目标完全被高亮背景淹没（SCRG为0）。文中算法由于采用了最接近滤波的思想，可以有效检测到高亮背景附近的目标（参见 图4第6行），这是文中算法相比DLCM的一大优势。在SCRG和BSF指标方面，虽然相比最大值思想而言，文中算法的最接近滤波思想对背景杂波的抑制能力稍弱，但也往往可以取得除DLCM算法之外的最好结果。

接着，文中引入了接受机工作性能（Receiver Operating Characteristic，ROC）曲线进一步地展示文中算法的有效性。通过对整个序列图像进行算法处理，计算出相应的检测率（True Positive Rate，TPR）和虚警率(False Positive Rate，FPR)，再以虚警率为横轴、检测率为纵轴绘制曲线，即为ROC曲线。其中，TPR和FPR的定义式分别为：

当虚警率一定时，检测率越高，说明算法的检测性能越好；同理，当检测率一定时，虚警率越低，说明算法的检测性能越好。在ROC曲线中则表现为，曲线越靠左上，说明算法的检测性能越好。 图6给出了采用以上8种对比算法与文中算法分别对6组图像序列进行处理得到的ROC曲线，可以看出，在大多数情况下，文中算法的检测性能比现有算法强，尤其是在序列6中，文中算法的优势更加明显。

Figure 6.  ROC curves of different sequences. (a) Seq. 1;(b) Seq. 2;(c) Seq. 3;(d) Seq. 4;(e) Seq. 5;(f) Seq. 6

最后，为了检验文中算法的实时性，测试并记录了不同算法在6组序列中平均检测一帧所消耗的时间，如 表4所示。

结合 表2、 表3、 图6和 表4可知：DoG、ILCM和NLCM的实时性很好，但是他们的检测性能往往较差，尤其是当目标微弱而背景复杂时；WLDM、MPCM和RLCM的检测性能略佳，但由于他们都是多尺度算法，耗时较长；MDTDLMS作为一种比较新颖的对比度算法，检测性能相比RLCM等又有了一定提高，但由于他内部包含大量迭代计算，导致算法的耗时最长，实时性很差；DLCM算法采用了三层窗口，以单尺度计算解决多尺度目标的检测难题，因而实时性有了很大的提高，检测性能也有了不小的提升，但当目标位于高亮背景附近时（序列6），算法性能很差。

文中算法也采用了三层窗口，因此实时性相比一些多尺度算法有了较好的改善，平均耗时仅为RLCM等算法的1/2~1/3左右，并且，由于文中算法采用了最接近滤波思想，对高亮背景的抑制能力更好，在所有六个序列中的检测性能都很好。

文中针对复杂背景下的红外小目标检测难题，提出了一种三层窗口局部对比度算法，可以通过单尺度计算解决不同尺度小目标的检测难题，因而可以大大提高检测的实时性。同时，通过在对比度计算前、计算中和计算后等环节中分别对真实目标进行增强、对复杂背景进行抑制，实现提高检测率、降低虚警率的目的：在计算前，针对窗口中心层进行高斯匹配滤波，有针对性地增强目标信噪比，对窗口最外层则采用最接近滤波思想，提高了算法对高亮背景边缘的抑制能力；在计算中，采用比差联合的思想进行对比度计算，达到同时增强目标和抑制背景的目的；在计算后，采用窗口中间层信息对结果进行加权校验，进一步突出目标、抑制背景杂波。通过在若干序列和图像中进行实验表明，相比8种现有算法而言，该方法可以取得更好的检测率和虚警率，其平均耗时仅为某些多尺度算法的1/2~1/3。