-
文中矩阵和向量分别用大小写字母表示,如:a和A,张量用Euclid数字字母表示,如:
$\mathcal{A} $ ,实数域用$\mathbb{R} $ ,复数域用$\mathbb{C} $ 表示。对于一个三阶张量${ \bar{\mathcal{A}}} \in {\mathbb{C}^{{n_1} \times {n_2} \times {n_3}}}$ ,它的第(i,j,k)个元素定义为$\mathcal{A} $ ijk,用Matlab符号标记第i个水平切片、侧面切片、正面切片分别为:$\mathcal{A} $ (i,:,:),$\mathcal{A} $ (:,i,:),$\mathcal{A} $ (:,:,i),此外,第i个正面切片简记为$\mathcal{A} $ (i)。$\mathcal{A} $ i,:,k 、$\mathcal{A} $ :,j,k和$\mathcal{A} $ i,j,:分别为张量$\mathcal{A} $ 的行纤维,列纤维和管纤维。特别地,称$\mathcal{A} $ i,j,:为tube。相同大小的张量$\mathcal{A} $ 和$\mathcal{B} $ 之间的内积定义为${\langle \mathcal{A},{\cal B}\rangle }_{F}={\displaystyle {\sum }_{ijk}{\mathcal{A}}_{ijk}}{\cal B}_{ijk}$ 。张量的l1范数为:$ {\left\| \mathcal{A} \right\|_1} \triangleq \displaystyle\sum {_{ijk}\left| {{a_{ijk}}} \right|} $ ,张量的Frobenius范数为:$ {\left\| \mathcal{A} \right\|_F} \triangleq \sqrt {\displaystyle\sum\nolimits_{ijk} {{{\left| {{\mathcal{A}_{ijk}}} \right|}^2}} } $ 。对于一个三阶张量
$ \mathcal{A} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ ,用Matlab函数命令$\bar {\mathcal{A}} \triangleq fft(A,[],3)$ 来表示张量$\mathcal{A} $ 沿着第三维度进行离散傅里叶变换,得到的张量为$\bar {\mathcal{A}} \in {\mathbb{C}^{{n_1} \times {n_2} \times {n_3}}}$ ,相当于在张量所有的tube($\mathcal{A} $ i,j,:)上进行傅里叶变换。而bdiag算子可以根据张量傅里叶变换后的正面切片来定义块对角矩阵,即:$$ \bar A \triangleq bdiag(\bar {\mathcal{A}}) \triangleq \left[ {\begin{array}{*{20}{c}} {{{\bar A}^{(1)}}}&{}&{}&{} \\ {}&{{{\bar A}^{(2)}}}&{}&{} \\ {}&{}& \ddots &{} \\ {}&{}&{}&{{{\bar A}^{({n_3})}}} \end{array}} \right] $$ (1) 张量
$\mathcal{A} $ 的块循环矩阵定义为:$$ bcirc(\mathcal{A}) \triangleq \left[ {\begin{array}{*{20}{c}} {{A^{(1)}}}&{{A^{({n_3})}}}& \cdots &{{A^{(2)}}} \\ {{A^{(2)}}}&{{A^{(1)}}}& \cdots &{{A^{(3)}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{A^{({n_3})}}}&{{A^{({n_3} - 1)}}}& \cdots &{{A^{(1)}}} \end{array}} \right] $$ (2) 张量
$\mathcal{A} $ 的折叠算子和展开算子定义为:$$unfold(\mathcal{A}) = \left[ {\begin{array}{*{20}{c}} {{A^{(1)}}} \\ {{A^{(2)}}} \\ \vdots \\ {{A^{(3)}}} \end{array}} \right] ,fold(unfold(\mathcal{A})) = \mathcal{A} $$ (3) -
在这里介绍张量之间的乘法(t-product)和张量的奇异值分解(t-SVD)如下[9]:
定义1(张量乘积):对于张量
$ \mathcal{A}\in \mathbb{R}^{{{n}_{1}\times {n}_{2}\times {n}_{3}}} $ 和$ \mathcal{B} \in \mathbb{R}^{{{n}_{2}\times p\times {n}_{3}}} $ ,则$\mathcal{A} $ 和$\mathcal{B} $ 的张量积$\mathcal{A} $ ×$\mathcal{B} $ 规模为n1×p×n3,即:$\mathcal{A} × \mathcal{B} \triangleq fold(bcirc(\mathcal{A}) \cdot unfold(\mathcal{B}))$ 。定义2(单位张量):若张量
$ \mathcal{I} \in {\mathbb{R}^{n \times n \times {n_3}}} $ ,且满足$\mathcal{I} $ 的第一个正面切片是一个n×n的单位矩阵,其余正面切片全为0,则称$\mathcal{I} $ 为单位张量。定义 3(正交张量):假设
$ \mathcal{Q} \in {\mathbb{R}^{n \times n \times {n_3}}} $ 为正交张量,则$ \mathcal{Q} $ 满足${Q^*} × Q = Q × {Q^*} = \mathcal{I}$ 。定义4(F-对角张量):若张量
$ \mathcal{A} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ 为正交张量,如果满足$\mathcal{A} $ 的每一个正面切片$\mathcal{A} $ (i)均为对角矩阵,则称张量$\mathcal{A} $ 为F-对角张量。定义5(张量奇异值分解t-SVD):对于一个三阶张量
$ \mathcal{X} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ 可以被分解为:$$ \mathcal{X} \triangleq \mathcal{U} × \mathcal{S} × {\mathcal{V}^{\rm{T}}} $$ (4) 式中:
$ \mathcal{U} \in {\mathbb{R}^{{n_1} \times {n_1} \times {n_3}}} $ 、$ \mathcal{V} \in {\mathbb{R}^{{n_2} \times {n_2} \times {n_3}}} $ 为正交张量;$ \mathcal{S} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ 为F-对角张量。图1给出了张量奇异值分解(t-SVD)的可视化模型。由第1节相关定义,S中非零管纤维的数目表示张量奇异值分解后张量的管道秩(tubal rank),即[6]:${{ran}}{{{k}}_{{t}}}(\mathcal{X}) = \# \{ i,\mathcal{S}(i,i,:) \ne 0\}$ ,等价于${{ran}}{{{k}}_{{t}}} = $ $ \# \{ i,s(i,i,1) \ne 0\}$ 。故经过傅里叶变换后,两个张量相乘等价于普通的矩阵相乘,具体做法如下:张量$\mathcal{X} $ 进行傅里叶变换$ \overline{\mathcal{X}}\triangleq fft(\mathcal{X},[],3) $ ;计算每一个正面切片的奇异值分解${\bar {\mathcal{X}}^{(i)}} = {\bar {\mathcal{U}}^{(i)}}{\bar {\mathcal{S}}^{(i)}}{\bar {\mathcal{V}}^{(i)}}$ ;计算傅里叶逆变换$\mathcal{U} = ifft(\bar {\mathcal{U}},[],3)$ ,$\mathcal{S} = ifft(\bar {\mathcal{S}},[],3)$ ,$\mathcal{V} = ifft(\bar {\mathcal{V}},[],3)$ 。 -
红外小目标检测大多应用于军事领域,公开的数据集有限,具有一定的保密性,所以可提供给研究者公开使用的红外数据集少。针对这一问题,文中使用FLIR T560型号的红外热像仪,搭载AutoCal光学智能镜头,红外分辨率为640×480 (307 200 pixel),部分红外图像拍摄于2021年3月内蒙古科技大学逸夫楼的楼下,所选场景为包含厚云层的天空背景、存在建筑物或树木遮挡的天空背景以及存在其他干扰信息的强背景边缘背景,拍摄目标均为无人机,拍摄距离由远及近,其中小目标用红色框标出,如图2所示。
图 2 拍摄的红外小目标图像。(a)~(c) 为厚云层天空背景下的红外图像;(d)~(f) 为含有遮挡物的天空背景下的红外图像
Figure 2. Infrared small target images. (a)-(c) Real scenes of sky background with thick cloud; (d)-(f) Real scenes of sky background with buildings and other complex occluders
接下来以原始红外图像为基础,构建张量模型。图3中,输入一张原始红外图像D,按照提前设定大小的滑动窗口从左上到右下的顺序遍历整幅图像,每一个小块作为张量的正面切片。设提取的小块个数为k,方形滑动窗口的长和宽分别为m和l,则所有的正面切片构成红外块张量
$ \mathcal{D} \in {\mathbb{R}^{m \times l \times n}} $ 。图 3 构建块张量模型(左边为原始红外图;右边为构建的块张量)
Figure 3. Construction of patch-tensor model (Left: Original infrared image; Right: Constructed patch-tensor)
Dai等人[6]在所提出的IPT模型中,将红外块张量表示为:
$$ \mathcal{D} = \mathcal{B} + \mathcal{T} + \mathcal{N} $$ (5) 式中:
$\mathcal{D} $ 、$ \mathcal{B} $ 、$ \mathcal{T}$ 以及$ \mathcal{N} \in {\mathbb{R}^{m \times n \times k}} $ 分别表示输入的红外块张量、背景块张量、目标块张量以及噪声块张量;m和n分别表示块张量的高度和宽度;k为块张量的个数。对于一个三阶张量,将其展开为矩阵,使矩阵的每一列对应着张量的列纤维、行纤维和管纤维便得到三个模态的展开矩阵。图4展示了两幅在后面的实验中用到的红外图像,以及相对应红外块张量的模1、模2和模3展开矩阵的奇异值曲线。显然,所有展开矩阵的奇异值都急剧变化为0,这证明了背景块张量在每一个模态下的展开矩阵都符合低秩特性。特别地,块图像模型可以看作是块张量模型的特殊情况,因为块图像就是相应块张量的模3展开矩阵。IPT模型不仅将IPI模型从矩阵向更高维的张量拓展,而且不同模态展开矩阵的信息有助于局部特征的提取。
图 4 展开矩阵的非局部自相关性。(a) 红外图像;(b) 模1展开矩阵的奇异值曲线;(c) 模2展开矩阵的奇异值曲线;(d) 模3展开矩阵的奇异值曲线
Figure 4. Nonlocal self-correlation property of unfolding matrices. (a) Infrared images; (b)-(d) Singular value curves of mode-1, mode-2, and mode-3 unfolding matrices
由前文展示的几幅红外图像可以看出,小目标仅占非常小的一部分像素,因此,目标块张量
$\mathcal{T} $ 是一个稀疏张量且满足$ {\left\| \mathcal{T} \right\|_0} \leqslant p $ ,其中p是一个很小的正数,完全取决于小目标的数量和大小。假设图像中的噪声均为加性高斯白噪声,且存在$ \delta $ >0使得$ {\left\| \mathcal{N} \right\|_F} \leqslant \delta $ ,则有$ {\left\| {\mathcal{D} - \mathcal{B} - \mathcal{T}} \right\|_F} \leqslant \delta $ 。张量恢复问题就是从已知的张量中分离出低秩张量和稀疏张量,它是一个含有两个变量的目标函数最小化问题,可以表示为凸优化问题。因此,可以将一幅红外图像中的目标和背景分离转化为张量恢复的问题,即求解下列属于凸优化问题的目标函数:$$ \begin{split}& \mathop {\min }\limits_{\mathcal{B},\mathcal{T}} rank(\mathcal{B}) + \lambda {\left\| \mathcal{T} \right\|_0} \hfill \\ &\;\;\;\;\;\;\;{\rm{s.t.}} \mathcal{D} = \mathcal{B} + \mathcal{T} \hfill \end{split} $$ (6) -
上一节对背景块张量进行了张量展开,分析后可对背景块张量
$\mathcal{B} $ 做如下假设:$$ rank({\mathcal{B} _{(i)}}) \leqslant {r_i} $$ (7) 式中:秩ri(i=1,2,3)在红外图像处理领域,它可以用来表达图像所包含信息的丰富性,即复杂程度。“雾”的出现会增加块张量的秩,基于此思路,降低背景的复杂程度即降低背景的秩,增加其低秩性。此外,针对红外图像普遍存在对比度低、图像整体信息模糊以及远距离拍摄导致的目标或边缘模糊等问题,需要对原始红外图像进行细节修复,以增强红外图像的清晰度和对比度,间接增强图像的本质特性。文中采用改进的暗通道先验算法处理原始红外图像,其原理步骤如下:
对任意输入的红外图像I(x),其暗通道图像可表示为:
$$ {J^{dark}}(x) = \min (J(y)) \to 0 $$ (8) 式中:
$ J(y) $ 为只有灰度信息的单通道图像,根据暗通道先验理论可知,暗通道的像素值是趋于零的,故有$ {J^{dark}} \to 0 $ 。文中的去雾增强算法就是根据红外图像细节模糊与可见光雾图相似的原理,分析大气光散射物理模型并将等式两端最小化,即:$$ \min (I(y)) = \min (J(y)t(x)) + A(1 - t(x)) $$ (9) 由公式(9)和公式(10),得到透射率t(x)的计算公式为:
$$ t(x) = 1 - \omega \frac{{{I^{dark}}(x)}}{A} $$ (10) 式中:
$ {I^{dark}}(x) = \min (I(y)) $ ;$ \omega (0 < \omega \leqslant 1) $ 为自适应常数;A为全局大气光值。根据红外图像的成像原理,文中利用指数变换在灰度值取值较高或较低时对灰度图像扩张或压缩的特性,可以清晰地区分雾和景,再进行直方图均衡化来改善图片的对比度。故此改进将原算法从彩色图像领域迁移到红外图像领域并提高了图片质量。为了更为直观地看出去雾增强的效果,将红外原始图像和处理后的图像进行对比,如图5 所示。图 5 不同场景下去雾增强对比结果。(a) 序列1;(b) 序列2;(c) 序列3;(d) 序列4
Figure 5. Contrast results of dehazing enhancement in different scenes. (a) Seq.1; (b) Seq.2; (c) Seq.3; (4) Seq.4
可以看出,经去雾后图像在整体上还原了部分细节,红外图像清晰化,更加适应于人眼视觉,后面将使用去雾增强后的红外图像进行实验。
-
将矩阵向更高维度的张量拓展存在诸多问题,2.1节已经将红外小目标检测转化为张量恢复问题,下面利用张量的l1-RIP条件去分析问题。
定义6(t-l1-RIP):对于一个感知的张量测量算子
$\mathfrak{M}$ ,它与目标函数作用之后,存在$ \delta \in (0,1) $ ,使得张量算子的l1 范数满足:$(1 - \delta ){\left\| \mathcal{X} \right\|_F} \leqslant {\left\| {\mathfrak{M}(\mathcal{X})} \right\|_1} \leqslant (1 + \delta ){\left\| \mathcal{X} \right\|_F}$ ,其中,$ \mathcal{X} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ ,$ rank({X_{(i)}}) \leqslant {r_i} $ 。定义7 (感知张量测量算子
$\mathfrak{M} $ ):假设算子$ \mathfrak{M}:{\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} \to {\mathbb{R}^m} $ ,它是一个线性映射被定义为$ {(\mathfrak{M}(\mathcal{X}))_i} = {\left\langle {{\mathcal{A}_i},\mathcal{X}} \right\rangle _F} $ ,其中,$ {\mathcal{A}_i}(i \in \left[\kern-0.15em\left[ {1:m} \right]\kern-0.15em\right]) $ 是感知张量,$\mathcal{X} $ 是要恢复张量。Hou等人[8]从不完全线性映射中重新构建潜在的张量
$ \mathcal{X} $ ,提出了1 bit张量恢复的方法,在张量奇异值分解的框架下,分别使用张量硬奇异管阈值算法(Hard singular tube thresholding, HSTT)和张量核范数极小化方(Tensor nuclear norm minimization, TNNM)法来恢复张量。Zhang等人[7]在基于张量核范数部分和的红外小目标检测中指出:使用ADMM求解的过程中最耗时的部分为背景块张量的更新过程,即奇异值分解和傅里叶变换的计算过程。并指出使用ADMM算法涉及到核范数极小化的问题,即需要复杂的奇异值分解步骤,导致了算法实时性不强,耗时比传统方法更久。文中采用HSTT算法,只需要简单的代数运算和一次T-SVD分解。首先对张量进行维度上的扩展,在张量的前两个维数上各加1。对于背景块张量和目标块张量$ \mathcal{B},\mathcal{T} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ ,如果两者的增广版本$\tilde {\mathcal{B}},\tilde {\mathcal{T}} \in {\mathbb{R}^{({n_1} + 1) \times ({n_2} + 1) \times {n_3}}}$ 的形式为:$$ \begin{split} & \tilde{\mathcal{B}}(:,:,1)=\left[\begin{array}{l}\mathcal{B}(:,:,1) \star \\ \star \;\;\;\;\;\;\;\;\;\;\;\; b\end{array}\right] \text{,} \tilde{\mathcal{B}}(:,:,i)=\left[\begin{array}{l}\mathcal{B}:,:,i)\star \\ \star \;\;\;\;\;\;\;\;\;\; \star \end{array}\right]\in \\ &{{\mathbb{R}}^{({n}_{1}+1)\times({n}_{2}+1)}} \text{,} i \in \left[\kern-0.15em\left[ {2:{n_3}} \right]\kern-0.15em\right]\\[-10pt] \end{split} $$ (11) $$ \begin{split} \tilde{\mathcal{T}}(:,:,1)=&\left[\begin{array}{l}\mathcal{T}(:,:,1)\star \\ \star\;\;\;\;\;\;\;\;\;\;\;\; t\end{array}\right] \text{,} \tilde {\mathcal{T}}(:,:,i) = \left[ \begin{gathered} \mathcal{T}(:,:,i) \star \hfill \\ \star \;\;\;\;\;\;\;\;\;\; \star \hfill \\ \end{gathered} \right] \in \\ &{\mathbb{R}^{({n_1} + 1) \times ({n_2} + 1)}} \text{,} i \in \left[\kern-0.15em\left[ {2:{n_3}} \right]\kern-0.15em\right]\\[-10pt] \end{split}$$ (12) 其中,
$ \star $ 表示与任何结论无关的向量或标量,那么其F范数可以控制在如下关系式中:$$ {\left\| {\frac{\mathcal{B}}{b} - \frac{\mathcal{T}}{t}} \right\|_F} \leqslant \frac{{{{\left\| {\tilde {\mathcal{B}}} \right\|}_F}{{\left\| {\tilde {\mathcal{T}}} \right\|}_F}}}{{\left| b \right|\left| t \right|}} \leqslant {\left\| {\frac{{\tilde {\mathcal{B}}}}{{{{\left\| {\tilde {\mathcal{B}}} \right\|}_F}}} - {{\frac{{\tilde {\mathcal{T}}}}{{\left\| {\tilde {\mathcal{T}}} \right\|}}}_F}} \right\|_F} $$ (13) 定义8(增广线性映射):
${(\tilde {\mathfrak{M}}( \cdot ))_i} = {\left\langle {{{\tilde {\mathcal{A}}}_i}, \cdot } \right\rangle _F}$ 其增广后的形式为:$$ \begin{split} & {\tilde {\mathcal{A}}_i}(:,:,1) = \left[ {\begin{array}{*{20}{c}} {\mathcal{A}(:,:,1)}&{u_1^{(i)}} \\ {v_1^{(i)}}&{ - {\tau _i}/\gamma } \end{array}} \right] \text{,}\\ &{\tilde {\mathcal{A}}_i}(:,:,k) = \left[ {\begin{array}{*{20}{c}} {\mathcal{A}(:,:,k)}&{u_k^{(i)}} \\ {v_k^{(i)}}&{g_k^{(i)}} \end{array}} \right] \end{split} $$ (14) 式中:
$\mathcal{A} $ 为一个感知张量,它的所有项都是从具有标准差为$ \sigma = \sqrt {\pi /2} /m $ 均值为零的高斯分布中独立生成的;$\tau $ 为阈值矢量;$\tau_{i}$ 由具有标准差为${{ \gamma \sigma}}$ 均值为零的高斯分布产生;$ k = 2, \cdots ,{n_3} $ ,$ i \in \left[\kern-0.15em\left[ {1:m} \right]\kern-0.15em\right] $ 。待恢复的管秩为r的背景块张量$ \mathcal{B} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $ 的维度也同样进行扩展,$\tilde {\mathcal{B} }\in {\mathbb{R}^{({n_1} + 1) \times ({n_2} + 1) \times {n_3}}}$ 的形式为:$$ \begin{split} & \tilde {\mathcal{B}}(:,:,1) = \left[ {\begin{array}{*{20}{c}} {\mathcal{B}(:,:,1)}&0 \\ 0&\gamma \end{array}} \right] \text{,} \tilde {\mathcal{B}}(:,:,k) = \left[ {\begin{array}{*{20}{c}} {\mathcal{B}(:,:,k)}&0 \\ 0&0 \end{array}} \right] \text{,}\\ &k \in [[2:m]] \end{split} $$ (15) 通过阈值测量,可以得到
${\tilde {\mathcal{B}}^ * }$ 为$\tilde {\mathcal{B}}/\parallel \tilde {\mathcal{B}}{\parallel _F}$ 的估计,假设${\mathcal{B}^ * }: = {\tilde {\mathcal{B}}^ * }\left( {1:{n_1},1:{n_2},1:{n_3}} \right)$ ${b^ * }: = \tilde {\mathcal{B}}_{{n_1} + 1,{n_2} + 1,1}^ *$ ,那么背景块张量可被恢复为$ \dfrac{\gamma }{{{b^ * }}}{\mathcal{B}^ * } $ 。只要保证测量数满足:$ m \geqslant C{\delta ^{ - 3}}\left( {{n_1} + {n_2}} \right){n_3}r $ ,便能高概率地恢复目标张量:$$ \mathcal{B} - \frac{\gamma }{{{b^ * }}}{\mathcal{B}^ * }_F \leqslant D\sqrt \delta \gamma + E{\sqrt {\parallel e\parallel } _1}\sqrt \gamma $$ (16) 式中:
$ D = 8\sqrt {10} $ ;$ \text{ }E=16\sqrt{2} $ 在采样率较低的情况下HSTT算法的恢复精度会受到负面影响,文中在图片预处理环节使用去雾增强算法加以补足,并提升了采样点的个数,因此最大程度减少了HSTT算法对检测精度的影响。
-
为了检验基于去雾增强和张量恢复的红外小目标检测算法的有效性,除使用公共数据集之外,文中并采用2.1节中自拍摄包含小目标的真实图片进行了大量的实验验证。实验计算环境为3.20GHz Intel i5-3470 CPU 处理器,4 GB 内存,所使用的测试软件是MATLAB 2018b。
文中先选取了背景各异的2组红外图像序列和2张单帧红外图像,又挑选5张使用高清红外热像仪拍摄到的5张红外图像进行实验,图6给出了该算法对各红外图像进行检测的结果,每张图像用矩形框显示真实目标区域。图6(a)为将要输入检测的图像,均已使用去雾增强算法处理完毕,图中还给出了整幅图像对应的全局三维显示图。经检测后,所有目标都能够被检测到,且9组检测结果都不存在噪声残存,仅在场景一的左侧边缘出现一处虚警。同样地,图6(d)给出目标区域对应的局部三维显示图,由于拍摄的无人机四个机翼处温度较高,故部分局部三维显示图可能会出现多处峰值。
图 6 文中算法的检测结果。(a) 原始红外图像;(b) 原始图像对应的全局三维显示图;(c) 用矩形框标记目标的检测结果;(d) 目标的局部三维显示图
Figure 6. Detection results of proposed algorithm. (a) Original infrared images; (b) Input original images with global 3D surf plot; (c) Mark the detection result of the target with a rectangular box; (d) Local 3D surf plot of target
为了进一步客观评价红外小目标检测方法的性能,文中采用的评价指标有信杂比增益(Signal to clutter ratio gain, SCRG)、背景抑制因子(Background suppression factor, BSF)。
-
为验证文中算法在复杂环境中的稳定性和鲁棒性,选择6种方法进行对比试验。分别是顶帽变换(Top-Hat)、拉普拉斯-高斯(Laplacian of Gaussian, LoG)滤波器[10]、局部对比度算法(Local contrast method, LCM)、多尺度的块对比度测量(Multi-scale patch-based contrast measure, MPCM)[11]、红外块图像模型(Infrared patch-image, IPI)[5]以及张量和范数部分和(Partial sum of the tensor nuclear norm, PSTNN)[7]。其中,Top-Hat是滤波的方法,利用了背景的连续性;LoG、LCM以及MPCM归属于人类视觉系统的方法,利用目标特征;IPI和PSTNN的方法属于基于低秩稀疏恢复的方法,与文中方法有一定的联系。
针对复杂多变的场景,文中选取了公开数据集中的5种场景,其中包含3组不同背景下的真实红外图像序列和2张单帧图像,同时,选取自行拍摄的6种场景下的红外图像进行场景鲁棒性的验证。限于篇幅,此处仅从每种类型中选其中之一展示各种方法的测试结果。如图7 展示了加入对比的6种方法和文中算法在分别在场景一到四的4个红外图像的检测结果,所有图像的小目标已用红框标记出。
图 7 所有对比方法在4种场景下的检测结果。(a) 原始红外图像;(b) Top-Hat;(c) LoG;(d) LCM;(e) MPCM;(f) IPI;(g) PSTNN;(h) 文中算法
Figure 7. Detection results of the different approaches to 4 sequences. (a) Original infrared images; (b) Top-Hat; (c) LoG; (d) LCM; (e) MPCM; (f) IPI; (g) PSTNN; (h) Proposed algorithm
文中所涉及的参数有块张量的大小、滑窗大小、滑动步长、目标函数中的平衡参数
$ \lambda $ 、独立零均值的高斯分布标准差$ \sigma = \sqrt {\pi /2} /m $ 以及测量数即采样样本数$ m \geqslant ({n_1} + {n_2}){n_3}r $ 。首先,块张量的尺寸取决于拍摄到的红外图片,在筛选匹配的张量正面切片时,一幅图片既要被分割均匀又要保证每一块的尺寸尽可能地大;其次,滑动步长要与小块的大小一致,这样可以避免块与块之间的重叠;最后,平衡参数$ \lambda $ 平衡背景块张量和目标块张量的成分,参考对照组实验[7],文中取$\lambda = 1/\sqrt {\max ({n_1},{n_2}) × {n_3}}$ ,n1,n2和n3分别表示块张量三个维度的大小。显然,文中所提算法在噪声抑制方面表现优异,4种场景均没有明显的噪声残存。表明文中算法在增强目标信号的同时能够很好地抑制背景,具有较好的场景鲁棒性。此外,对比图7(g) 以及图7(h) 发现,文中所提算法在场景一中虚警率降低50%,在虚警点的个数即虚警率方面具有明显的优势。
为了进一步量化分析,表1给出了4个图像序列经过7种不同检测算法处理后的SCRG和BSF值。该方法的BSF和SCRG已用粗体和下划线标记,显然两个值相较于其他6种检测算法均为最优,代表该局部区域内背景被完全抑制。
表 1 各红外图像序列下不同算法的SCRG和BSF值
Table 1. SCRG and BSF of different algorithms in different infrared image sequences
Algorithms Frame1 Frame2 Frame3 Frame4 SCRG BSF SCRG BSF SCRG BSF SCRG BSF Top-Hat 1.352 2.587 6.53 3.98 1.113 0.06 0.015 19.51 LoG 7.902 0.174 6.786 1.566 4.32 2.23 0.132 7.88 LCM 0.874 0.633 2.851 0.731 0.587 1.34 1.059 1.13 MPCM 2.216 0.154 0.021 3.303 46.5 23.85 0.019 — IPI 101.4 134.18 9.65 1.78 1.58 14.4 0.023 17.2 PSTNN 998.4 1158.65 132.8 — 598.5 213.77 43.32 33.2 Proposed 1297.92 1405.38 146.7 — 733.2 330.6 55.6 35.7
Infrared small target detection based on dehazing enhancement and tensor recovery
-
摘要: 为解决红外块张量模型中利用核范数难以找到张量秩的非凸逼近,得到的非最优解进而影响红外小目标检测,提出了一种基于去雾增强和张量恢复的红外小目标检测算法。首先,利用改进后的暗通道算法对红外图像去雾增强,提高清晰度的同时间接增强了红外图像中背景的低秩性;其次,筛选匹配的张量正面切片去构建红外块张量模型,在张量奇异值分解的框架下,将检测任务转化为张量恢复问题;最后,设计一种快速算法恢复出红外图像中的低秩成分和稀疏成分,运算简单降低算法复杂度。相较于滤波和人类视觉系统的方法,该算法在复杂背景下的误检率平均下降16.6%,在常见的高亮背景区域中检测性能良好,误检率可降低33%。实验结果表明:该算法可以适用于复杂场景,剔除潜在的虚警点。Abstract: To solve the problem that it is hard to find the nonconvex approximation of tensor rank by using nuclear norm in infrared patch tensor model, the obtained non optimal solution further affects. For infrared small target detection, an infrared small target detection algorithm based on dehazing enhancement and tensor recovery is proposed. Firstly, the improved dark channel algorithm is used to dehaze and enhance the infrared image, which improves the definition and indirectly enhances the low rank of the background in the infrared image; Secondly, the matching tensor frontal slices are selected to construct the infrared patch tensor model. Under the framework of tensor singular value decomposition, the detection task is transformed into tensor recovery problem; Finally, a fast algorithm is designed to recover the low rank components and sparse components in the infrared image, which is simple and reduces the complexity of the algorithm. Compared with the methods of filtering and human visual system, the false detection rate of the algorithm in complex background is reduced by 16.6% on average. In common highlighted background areas, the detection performance is good, and the false detection rate can be reduced by 33%. Experimental results show that the algorithm can be applied to complex scenes and eliminate potential false alarm points.
-
图 6 文中算法的检测结果。(a) 原始红外图像;(b) 原始图像对应的全局三维显示图;(c) 用矩形框标记目标的检测结果;(d) 目标的局部三维显示图
Figure 6. Detection results of proposed algorithm. (a) Original infrared images; (b) Input original images with global 3D surf plot; (c) Mark the detection result of the target with a rectangular box; (d) Local 3D surf plot of target
表 1 各红外图像序列下不同算法的SCRG和BSF值
Table 1. SCRG and BSF of different algorithms in different infrared image sequences
Algorithms Frame1 Frame2 Frame3 Frame4 SCRG BSF SCRG BSF SCRG BSF SCRG BSF Top-Hat 1.352 2.587 6.53 3.98 1.113 0.06 0.015 19.51 LoG 7.902 0.174 6.786 1.566 4.32 2.23 0.132 7.88 LCM 0.874 0.633 2.851 0.731 0.587 1.34 1.059 1.13 MPCM 2.216 0.154 0.021 3.303 46.5 23.85 0.019 — IPI 101.4 134.18 9.65 1.78 1.58 14.4 0.023 17.2 PSTNN 998.4 1158.65 132.8 — 598.5 213.77 43.32 33.2 Proposed 1297.92 1405.38 146.7 — 733.2 330.6 55.6 35.7 -
[1] Jiang Guoqing, Wan Lanjun. Detection of dim and small infrared targets based on the most appropriate contrast saliency analysis [J]. Infrared and Laser Engineering, 2021, 50(4): 20200377. (in Chinese) [2] Zhou Fei, Wu Yiquan, Dai Yimian, et al. Robust infrared small target detection via jointly sparse constraint of l1/2-metric and dual-graph regularization [J]. Remote Sensing, 2020, 12: 1963. [3] Du Peng, Hamaulla Askar. Infrared moving small-target detection using spatial–temporal local difference measure [J]. IEEE Geoscience and Remote Sensing Letters, 2020: 1817-1821. [4] Li Na, Deng Jiaxian, Cui Yani, et al. Infrared image clarifying and FPGA implementation based on dark channel prior [J]. Infrared and Laser Engineering, 2020, 50(3): 20200252. (in Chinese) [5] Gao Chenqiang, Meng Deyu, Yang Yi, et al. Infrared patch-image model for small target detection in a single image [J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009. doi: 10.1109/TIP.2013.2281420 [6] Dai Yimian, Wu Yiquan. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection [J]. IEEE J Sel Top Appl Earth Obs Remote Sens, 2017, 10: 3752-3767. [7] Zhang Landan, Peng Zhenming. Infrared small target detection based on partial sum of the tensor nuclear norm [J]. Remote Sensing, 2019, 11(4): 382. [8] Hou Jingyao, Zhang Feng, Qiu Haiquan, et al. Robust low-tubal-rank tensor recovery from binary measurements [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 7: 3302-3306. [9] Kathryn Lund. The tensor t-function: A definition for functions of third-order tensors [J]. Numerical Linear Algebra with Applications, 2019, 17(10): 1817-1821. [10] Kim S, Lee J. Scale invariant small target detection by optimizing signal-to-clutter ratio in heterogeneous background for infrared search and track [J]. Pattern Recognition, 2012, 45(1): 393-406. doi: 10.1016/j.patcog.2011.06.009 [11] Wei Yantao, You Xinge, Li Hong. Multiscale patch-based contrast measure for small infrared target detection [J]. Pattern Recognition, 2016, 58: 216-226. doi: 10.1016/j.patcog.2016.04.002