留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于去雾增强和张量恢复的红外小目标检测

王亚平 周裕丰 张宝华

王亚平, 周裕丰, 张宝华. 基于去雾增强和张量恢复的红外小目标检测[J]. 红外与激光工程, 2022, 51(4): 20210417. doi: 10.3788/IRLA20210417
引用本文: 王亚平, 周裕丰, 张宝华. 基于去雾增强和张量恢复的红外小目标检测[J]. 红外与激光工程, 2022, 51(4): 20210417. doi: 10.3788/IRLA20210417
Wang Yaping, Zhou Yufeng, Zhang Baohua. Infrared small target detection based on dehazing enhancement and tensor recovery[J]. Infrared and Laser Engineering, 2022, 51(4): 20210417. doi: 10.3788/IRLA20210417
Citation: Wang Yaping, Zhou Yufeng, Zhang Baohua. Infrared small target detection based on dehazing enhancement and tensor recovery[J]. Infrared and Laser Engineering, 2022, 51(4): 20210417. doi: 10.3788/IRLA20210417

基于去雾增强和张量恢复的红外小目标检测

doi: 10.3788/IRLA20210417
基金项目: 国家自然科学基金(61962046,62001255,61841204);内蒙古杰青培育项目(2018JQ02);内蒙古科技计划项目(202001);内蒙古草原英才;内蒙古自治区自然科学基金(2019MS06003,2018MS06018);教育部“春晖计划”合作科研项目(教外司留1383号);内蒙古自治区高等学校科学技术研究项目(NJZY145)
详细信息
    作者简介:

    王亚平,男,讲师,硕士,主要研究方向为图像处理及大数据分析

    通讯作者: 张宝华,男,教授,硕士生导师,博士,主要从事智能图像处理方面的研究。
  • 中图分类号: TP391

Infrared small target detection based on dehazing enhancement and tensor recovery

Funds: National Natural Science Foundation of China (61962046,62001255,61841204);Inner Mongolia Outstanding Youth Training Fund Project(2018JQ02);Inner Mongolia Science and Technology Plan Project(202001);Inner Mongolia Talent ;Natural Science Foundation of Inner Mongolia(2019MS06003,2018MS06018);Ministry of Education’s "Chung Hui Project" cooperative research project;Science and Technology Research Project of Higher Education Institutions in Inner Mongolia(NJZY145)
  • 摘要: 为解决红外块张量模型中利用核范数难以找到张量秩的非凸逼近,得到的非最优解进而影响红外小目标检测,提出了一种基于去雾增强和张量恢复的红外小目标检测算法。首先,利用改进后的暗通道算法对红外图像去雾增强,提高清晰度的同时间接增强了红外图像中背景的低秩性;其次,筛选匹配的张量正面切片去构建红外块张量模型,在张量奇异值分解的框架下,将检测任务转化为张量恢复问题;最后,设计一种快速算法恢复出红外图像中的低秩成分和稀疏成分,运算简单降低算法复杂度。相较于滤波和人类视觉系统的方法,该算法在复杂背景下的误检率平均下降16.6%,在常见的高亮背景区域中检测性能良好,误检率可降低33%。实验结果表明:该算法可以适用于复杂场景,剔除潜在的虚警点。
  • 图  1  张量的奇异值分解

    Figure  1.  Tensor singular value decomposition

    图  2  拍摄的红外小目标图像。(a)~(c) 为厚云层天空背景下的红外图像;(d)~(f) 为含有遮挡物的天空背景下的红外图像

    Figure  2.  Infrared small target images. (a)-(c) Real scenes of sky background with thick cloud; (d)-(f) Real scenes of sky background with buildings and other complex occluders

    图  3  构建块张量模型(左边为原始红外图;右边为构建的块张量)

    Figure  3.  Construction of patch-tensor model (Left: Original infrared image; Right: Constructed patch-tensor)

    图  4  展开矩阵的非局部自相关性。(a) 红外图像;(b) 模1展开矩阵的奇异值曲线;(c) 模2展开矩阵的奇异值曲线;(d) 模3展开矩阵的奇异值曲线

    Figure  4.  Nonlocal self-correlation property of unfolding matrices. (a) Infrared images; (b)-(d) Singular value curves of mode-1, mode-2, and mode-3 unfolding matrices

    图  5  不同场景下去雾增强对比结果。(a) 序列1;(b) 序列2;(c) 序列3;(d) 序列4

    Figure  5.  Contrast results of dehazing enhancement in different scenes. (a) Seq.1; (b) Seq.2; (c) Seq.3; (4) Seq.4

    图  6  文中算法的检测结果。(a) 原始红外图像;(b) 原始图像对应的全局三维显示图;(c) 用矩形框标记目标的检测结果;(d) 目标的局部三维显示图

    Figure  6.  Detection results of proposed algorithm. (a) Original infrared images; (b) Input original images with global 3D surf plot; (c) Mark the detection result of the target with a rectangular box; (d) Local 3D surf plot of target

    图  7  所有对比方法在4种场景下的检测结果。(a) 原始红外图像;(b) Top-Hat;(c) LoG;(d) LCM;(e) MPCM;(f) IPI;(g) PSTNN;(h) 文中算法

    Figure  7.  Detection results of the different approaches to 4 sequences. (a) Original infrared images; (b) Top-Hat; (c) LoG; (d) LCM; (e) MPCM; (f) IPI; (g) PSTNN; (h) Proposed algorithm

    表  1  各红外图像序列下不同算法的SCRG和BSF值

    Table  1.   SCRG and BSF of different algorithms in different infrared image sequences

    AlgorithmsFrame1Frame2Frame3Frame4
    SCRGBSFSCRGBSFSCRGBSFSCRGBSF
    Top-Hat 1.352 2.587 6.53 3.98 1.113 0.06 0.015 19.51
    LoG 7.902 0.174 6.786 1.566 4.32 2.23 0.132 7.88
    LCM 0.874 0.633 2.851 0.731 0.587 1.34 1.059 1.13
    MPCM 2.216 0.154 0.021 3.303 46.5 23.85 0.019
    IPI 101.4 134.18 9.65 1.78 1.58 14.4 0.023 17.2
    PSTNN 998.4 1158.65 132.8 598.5 213.77 43.32 33.2
    Proposed 1297.92 1405.38 146.7 733.2 330.6 55.6 35.7
    下载: 导出CSV
  • [1] Jiang Guoqing, Wan Lanjun. Detection of dim and small infrared targets based on the most appropriate contrast saliency analysis [J]. Infrared and Laser Engineering, 2021, 50(4): 20200377. (in Chinese)
    [2] Zhou Fei, Wu Yiquan, Dai Yimian, et al. Robust infrared small target detection via jointly sparse constraint of l1/2-metric and dual-graph regularization [J]. Remote Sensing, 2020, 12: 1963.
    [3] Du Peng, Hamaulla Askar. Infrared moving small-target detection using spatial–temporal local difference measure [J]. IEEE Geoscience and Remote Sensing Letters, 2020: 1817-1821.
    [4] Li Na, Deng Jiaxian, Cui Yani, et al. Infrared image clarifying and FPGA implementation based on dark channel prior [J]. Infrared and Laser Engineering, 2020, 50(3): 20200252. (in Chinese)
    [5] Gao Chenqiang, Meng Deyu, Yang Yi, et al. Infrared patch-image model for small target detection in a single image [J]. IEEE Transactions on Image Processing, 2013, 22(12): 4996-5009. doi:  10.1109/TIP.2013.2281420
    [6] Dai Yimian, Wu Yiquan. Reweighted infrared patch-tensor model with both nonlocal and local priors for single-frame small target detection [J]. IEEE J Sel Top Appl Earth Obs Remote Sens, 2017, 10: 3752-3767.
    [7] Zhang Landan, Peng Zhenming. Infrared small target detection based on partial sum of the tensor nuclear norm [J]. Remote Sensing, 2019, 11(4): 382.
    [8] Hou Jingyao, Zhang Feng, Qiu Haiquan, et al. Robust low-tubal-rank tensor recovery from binary measurements [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 7: 3302-3306.
    [9] Kathryn Lund. The tensor t-function: A definition for functions of third-order tensors [J]. Numerical Linear Algebra with Applications, 2019, 17(10): 1817-1821.
    [10] Kim S, Lee J. Scale invariant small target detection by optimizing signal-to-clutter ratio in heterogeneous background for infrared search and track [J]. Pattern Recognition, 2012, 45(1): 393-406. doi:  10.1016/j.patcog.2011.06.009
    [11] Wei Yantao, You Xinge, Li Hong. Multiscale patch-based contrast measure for small infrared target detection [J]. Pattern Recognition, 2016, 58: 216-226. doi:  10.1016/j.patcog.2016.04.002
  • [1] 唐文娟, 戴群.  红外图像去雾领域研究方法综述 . 红外与激光工程, 2024, 53(2): 20230416-1-20230416-11. doi: 10.3788/IRLA20230416
    [2] 李云辉, 安东阳, 苗中华.  采用张量分解的四摄像机测量系统标定方法 . 红外与激光工程, 2022, 51(9): 20220103-1-20220103-10. doi: 10.3788/IRLA20220103
    [3] 徐丹旸, 魏宏光, 金秋春, 钱金旺, 郭星辰.  基于二维模态分解与斑块对比度相结合的红外小目标检测算法 . 红外与激光工程, 2022, 51(12): 20220148-1-20220148-7. doi: 10.3788/IRLA20220148
    [4] 鲁晓锋, 柏晓飞, 李思训, 王轩, 黑新宏.  基于改进加权增强局部对比度测量的红外小目标检测方法 . 红外与激光工程, 2022, 51(8): 20210914-1-20210914-9. doi: 10.3788/IRLA20210914
    [5] 黄攀, 杨小冈, 卢瑞涛, 常振良, 刘闯.  基于空间联合的红外舰船目标数据增强方法 . 红外与激光工程, 2021, 50(12): 20210281-1-20210281-10. doi: 10.3788/IRLA20210281
    [6] 韩金辉, 蒋亚伟, 张小件, 梁琨, 李知铮, 董兴浩, 李楠.  采用三层窗口局部对比度的红外小目标检测 . 红外与激光工程, 2021, 50(2): 20200146-1-20200146-10. doi: 10.3788/IRLA20200146
    [7] 王博, 董登峰, 高兴华, 周维虎.  基于主动红外视觉探测的激光跟踪仪目标跟踪恢复方法 . 红外与激光工程, 2021, 50(4): 20200254-1-20200254-9. doi: 10.3788/IRLA20200254
    [8] 范明明, 田少卿, 刘凯, 赵嘉鑫, 李云松.  基于梯度方向一致性和特征分解的红外小目标检测算法 . 红外与激光工程, 2020, 49(1): 0126001-0126001(12). doi: 10.3788/IRLA202049.0126001
    [9] 南天章, 耿建君, 陈旭, 陈颖.  基于邻域特征的红外低慢小目标检测 . 红外与激光工程, 2019, 48(S1): 174-180. doi: 10.3788/IRLA201948.S128002
    [10] 张爱武, 赵江华, 赵宁宁, 康孝岩, 郭超凡.  结合张量空间与倒易晶胞的高光谱影像去噪去混叠 . 红外与激光工程, 2018, 47(10): 1026002-1026002(10). doi: 10.3788/IRLA201847.1026002
    [11] 张祥越, 丁庆海, 罗海波, 惠斌, 常铮, 张俊超.  基于改进LCM的红外小目标检测算法 . 红外与激光工程, 2017, 46(7): 726002-0726002(7). doi: 10.3788/IRLA201746.0726002
    [12] 贾桂敏, 卢薇冰, 路玉君, 杨金锋.  基于地理同名点配准的机载红外移动小目标检测方法 . 红外与激光工程, 2016, 45(8): 804002-0804002(7). doi: 10.3788/IRLA201645.0804002
    [13] 肖传民, 史泽林, 刘云鹏.  张量子空间降维的边缘图像匹配 . 红外与激光工程, 2015, 44(11): 3488-3493.
    [14] 李勇, 荀显超, 王青竹.  基于高维张量奇异值分解的图像加密 . 红外与激光工程, 2014, 43(S1): 243-247.
    [15] 张宝辉, 闵超波, 窦亮, 张俊举, 常本康.  目标增强的红外与微光图像融合算法 . 红外与激光工程, 2014, 43(7): 2349-2353.
    [16] 黄浩, 陶华敏, 陈尚锋.  基于混合融合策略的双波段红外小目标检测方法 . 红外与激光工程, 2014, 43(9): 2827-2831.
    [17] 张肃, 徐春云, 王文生.  基于多小波增强的雾天运动目标跟踪技术 . 红外与激光工程, 2014, 43(2): 625-632.
    [18] 杨一帆, 田雁, 杨帆, 黄彪.  基于改进Mean-Shift 算法的红外小目标跟踪 . 红外与激光工程, 2014, 43(7): 2164-2169.
    [19] 卢瑞涛, 黄新生, 徐婉莹.  基于Contourlet变换和Facet模型的红外小目标检测方法 . 红外与激光工程, 2013, 42(8): 2281-2287.
    [20] 刘运龙, 薛雨丽, 袁素真, 毛峡.  基于局部均值的红外小目标检测算法 . 红外与激光工程, 2013, 42(3): 814-822.
  • 加载中
图(7) / 表(1)
计量
  • 文章访问数:  181
  • HTML全文浏览量:  59
  • PDF下载量:  39
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-06-18
  • 修回日期:  2021-12-20
  • 录用日期:  2022-01-10
  • 刊出日期:  2022-05-06

基于去雾增强和张量恢复的红外小目标检测

doi: 10.3788/IRLA20210417
    作者简介:

    王亚平,男,讲师,硕士,主要研究方向为图像处理及大数据分析

    通讯作者: 张宝华,男,教授,硕士生导师,博士,主要从事智能图像处理方面的研究。
基金项目:  国家自然科学基金(61962046,62001255,61841204);内蒙古杰青培育项目(2018JQ02);内蒙古科技计划项目(202001);内蒙古草原英才;内蒙古自治区自然科学基金(2019MS06003,2018MS06018);教育部“春晖计划”合作科研项目(教外司留1383号);内蒙古自治区高等学校科学技术研究项目(NJZY145)
  • 中图分类号: TP391

摘要: 为解决红外块张量模型中利用核范数难以找到张量秩的非凸逼近,得到的非最优解进而影响红外小目标检测,提出了一种基于去雾增强和张量恢复的红外小目标检测算法。首先,利用改进后的暗通道算法对红外图像去雾增强,提高清晰度的同时间接增强了红外图像中背景的低秩性;其次,筛选匹配的张量正面切片去构建红外块张量模型,在张量奇异值分解的框架下,将检测任务转化为张量恢复问题;最后,设计一种快速算法恢复出红外图像中的低秩成分和稀疏成分,运算简单降低算法复杂度。相较于滤波和人类视觉系统的方法,该算法在复杂背景下的误检率平均下降16.6%,在常见的高亮背景区域中检测性能良好,误检率可降低33%。实验结果表明:该算法可以适用于复杂场景,剔除潜在的虚警点。

English Abstract

    • 随着红外成像技术的发展,红外图像处理系统已被应用到诸多领域,红外小目标检测作为其中的关键技术,近年来得到了快速发展[1]。红外小目标检测能搜索和定位远处潜在的可疑目标 [2]。然而,在实际场景中,由于探测距离长,目标在图像中面积小、纹理性差、亮度弱,检测精度低[3];同时,红外探测器易受外界环境的影响以及探测器本身具有的非均匀性,导致红外成像对比度低、边缘模糊、细节信息较差等问题[4];此外,诸如建筑物、植被树木、天空云层及鸟类等干扰也影响检测算法的鲁棒性。因此,设计一种检测性能良好、鲁棒性强的红外小目标检测算法是迫切需要的。

      基于低秩稀疏恢复的方法侧重于分析红外图像的本质,利用背景的低秩性和目标的稀疏性,实现被检测图像中目标与背景的分离。其中,Gao[5]提出的基于块图像(Infrared patch-image)的算法为该领域的研究开辟了新思路,但属于矩阵恢复模型,存在一定的局限性;Dai[6]将矩阵恢复理论推广到了张量,将张量恢复技术应用到单帧红外小目标检测领域,提出了张量块模型(Infrared patch-tensor, IPT),实现了由图像块到张量块的跨越,其使用的重加权红外块张量模型(Reweighted infrared patch-tensor, RIPT),利用结构张量和局部结构权重实现了多重特征融合,可以充分利用背景先验信息,但存在非点状目标可能出现过度收缩以及背景和目标均很暗时目标丢失的问题;张兰丹[7]提出了张量和范数部分和(Partial sum of the tensor nuclear norm, PSTNN)的红外小目标检测方法,解决了RIPT模型中核范数的次优性导致目标图像中存在噪声残存的问题,但该算法的计算效率低、特定场景下的虚警率高;随着IPT模型的提出,张量恢复技术被引入到基于单帧的红外弱小目标检测领域,并且在效果与速度上表现出色[7],但IPT模型并未很好地利用局部特征与全局特征;在张量恢复领域,侯景耀[8]提出了基于二值量化的低秩张量恢复模型,其中仅恢复张量方向和完全恢复张量的理论在数据处理技术领域内取得了突破,验证了张量奇异值分解相较于张量的CP分解和Tucker分解的优越性。

      为提高检测率,在图像预处理环节构建一种针对红外图像去雾的算法,其目的是消除红外图像中与可见光雾图类似的模糊成分,间接增强红外图像中背景的低秩性和小目标的稀疏性,便于下一步的检测。检测环节中,将红外小目标的检测任务转化为张量恢复问题,在张量奇异值分解的框架下,利用硬奇异管阈值的方法分离背景块张量和目标快张量,不同于常用来解决凸优化问题的交替方向乘子法(Alternating direction multiplier method, ADMM),文中的非迭代硬奇异管阈值(Hard singular tube thresholding, HSTT)算法不需要大量的奇异值分解和复杂的代数运算,更不必在每次外部迭代中求解次梯度算法,节省了检测系统的计算时间,提升了算法的实时性。

    • 文中矩阵和向量分别用大小写字母表示,如:aA,张量用Euclid数字字母表示,如:$\mathcal{A} $,实数域用$\mathbb{R} $,复数域用$\mathbb{C} $表示。对于一个三阶张量${ \bar{\mathcal{A}}} \in {\mathbb{C}^{{n_1} \times {n_2} \times {n_3}}}$,它的第(i,j,k)个元素定义为$\mathcal{A} $ijk,用Matlab符号标记第i个水平切片、侧面切片、正面切片分别为:$\mathcal{A} $(i,:,:),$\mathcal{A} $(:,i,:),$\mathcal{A} $(:,:,i),此外,第i个正面切片简记为$\mathcal{A} $(i)$\mathcal{A} $i,:,k$\mathcal{A} $:,j,k$\mathcal{A} $i,j,:分别为张量$\mathcal{A} $的行纤维,列纤维和管纤维。特别地,称$\mathcal{A} $i,j,:为tube。相同大小的张量$\mathcal{A} $$\mathcal{B} $之间的内积定义为${\langle \mathcal{A},{\cal B}\rangle }_{F}={\displaystyle {\sum }_{ijk}{\mathcal{A}}_{ijk}}{\cal B}_{ijk}$。张量的l1范数为:$ {\left\| \mathcal{A} \right\|_1} \triangleq \displaystyle\sum {_{ijk}\left| {{a_{ijk}}} \right|} $,张量的Frobenius范数为:$ {\left\| \mathcal{A} \right\|_F} \triangleq \sqrt {\displaystyle\sum\nolimits_{ijk} {{{\left| {{\mathcal{A}_{ijk}}} \right|}^2}} } $

      对于一个三阶张量$ \mathcal{A} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $,用Matlab函数命令$\bar {\mathcal{A}} \triangleq fft(A,[],3)$来表示张量$\mathcal{A} $沿着第三维度进行离散傅里叶变换,得到的张量为$\bar {\mathcal{A}} \in {\mathbb{C}^{{n_1} \times {n_2} \times {n_3}}}$,相当于在张量所有的tube($\mathcal{A} $i,j,:)上进行傅里叶变换。而bdiag算子可以根据张量傅里叶变换后的正面切片来定义块对角矩阵,即:

      $$ \bar A \triangleq bdiag(\bar {\mathcal{A}}) \triangleq \left[ {\begin{array}{*{20}{c}} {{{\bar A}^{(1)}}}&{}&{}&{} \\ {}&{{{\bar A}^{(2)}}}&{}&{} \\ {}&{}& \ddots &{} \\ {}&{}&{}&{{{\bar A}^{({n_3})}}} \end{array}} \right] $$ (1)

      张量$\mathcal{A} $的块循环矩阵定义为:

      $$ bcirc(\mathcal{A}) \triangleq \left[ {\begin{array}{*{20}{c}} {{A^{(1)}}}&{{A^{({n_3})}}}& \cdots &{{A^{(2)}}} \\ {{A^{(2)}}}&{{A^{(1)}}}& \cdots &{{A^{(3)}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{A^{({n_3})}}}&{{A^{({n_3} - 1)}}}& \cdots &{{A^{(1)}}} \end{array}} \right] $$ (2)

      张量$\mathcal{A} $的折叠算子和展开算子定义为:

      $$unfold(\mathcal{A}) = \left[ {\begin{array}{*{20}{c}} {{A^{(1)}}} \\ {{A^{(2)}}} \\ \vdots \\ {{A^{(3)}}} \end{array}} \right] ,fold(unfold(\mathcal{A})) = \mathcal{A} $$ (3)
    • 在这里介绍张量之间的乘法(t-product)和张量的奇异值分解(t-SVD)如下[9]

      定义1(张量乘积):对于张量$ \mathcal{A}\in \mathbb{R}^{{{n}_{1}\times {n}_{2}\times {n}_{3}}} $$ \mathcal{B} \in \mathbb{R}^{{{n}_{2}\times p\times {n}_{3}}} $,则$\mathcal{A} $$\mathcal{B} $的张量积$\mathcal{A} $×$\mathcal{B} $规模为n1×p×n3,即:$\mathcal{A} × \mathcal{B} \triangleq fold(bcirc(\mathcal{A}) \cdot unfold(\mathcal{B}))$

      定义2(单位张量):若张量$ \mathcal{I} \in {\mathbb{R}^{n \times n \times {n_3}}} $,且满足$\mathcal{I} $的第一个正面切片是一个n×n的单位矩阵,其余正面切片全为0,则称$\mathcal{I} $为单位张量。

      定义 3(正交张量):假设$ \mathcal{Q} \in {\mathbb{R}^{n \times n \times {n_3}}} $为正交张量,则$ \mathcal{Q} $满足${Q^*} × Q = Q × {Q^*} = \mathcal{I}$

      定义4(F-对角张量):若张量$ \mathcal{A} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $为正交张量,如果满足$\mathcal{A} $的每一个正面切片$\mathcal{A} $(i)均为对角矩阵,则称张量$\mathcal{A} $F-对角张量。

      定义5(张量奇异值分解t-SVD):对于一个三阶张量$ \mathcal{X} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $可以被分解为:

      $$ \mathcal{X} \triangleq \mathcal{U} × \mathcal{S} × {\mathcal{V}^{\rm{T}}} $$ (4)

      式中:$ \mathcal{U} \in {\mathbb{R}^{{n_1} \times {n_1} \times {n_3}}} $$ \mathcal{V} \in {\mathbb{R}^{{n_2} \times {n_2} \times {n_3}}} $为正交张量;$ \mathcal{S} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $F-对角张量。图1给出了张量奇异值分解(t-SVD)的可视化模型。由第1节相关定义,S中非零管纤维的数目表示张量奇异值分解后张量的管道秩(tubal rank),即[6]${{ran}}{{{k}}_{{t}}}(\mathcal{X}) = \# \{ i,\mathcal{S}(i,i,:) \ne 0\}$,等价于${{ran}}{{{k}}_{{t}}} = $$ \# \{ i,s(i,i,1) \ne 0\}$。故经过傅里叶变换后,两个张量相乘等价于普通的矩阵相乘,具体做法如下:张量$\mathcal{X} $进行傅里叶变换$ \overline{\mathcal{X}}\triangleq fft(\mathcal{X},[],3) $;计算每一个正面切片的奇异值分解${\bar {\mathcal{X}}^{(i)}} = {\bar {\mathcal{U}}^{(i)}}{\bar {\mathcal{S}}^{(i)}}{\bar {\mathcal{V}}^{(i)}}$;计算傅里叶逆变换$\mathcal{U} = ifft(\bar {\mathcal{U}},[],3)$$\mathcal{S} = ifft(\bar {\mathcal{S}},[],3)$$\mathcal{V} = ifft(\bar {\mathcal{V}},[],3)$

      图  1  张量的奇异值分解

      Figure 1.  Tensor singular value decomposition

    • 红外小目标检测大多应用于军事领域,公开的数据集有限,具有一定的保密性,所以可提供给研究者公开使用的红外数据集少。针对这一问题,文中使用FLIR T560型号的红外热像仪,搭载AutoCal光学智能镜头,红外分辨率为640×480 (307 200 pixel),部分红外图像拍摄于2021年3月内蒙古科技大学逸夫楼的楼下,所选场景为包含厚云层的天空背景、存在建筑物或树木遮挡的天空背景以及存在其他干扰信息的强背景边缘背景,拍摄目标均为无人机,拍摄距离由远及近,其中小目标用红色框标出,如图2所示。

      图  2  拍摄的红外小目标图像。(a)~(c) 为厚云层天空背景下的红外图像;(d)~(f) 为含有遮挡物的天空背景下的红外图像

      Figure 2.  Infrared small target images. (a)-(c) Real scenes of sky background with thick cloud; (d)-(f) Real scenes of sky background with buildings and other complex occluders

      接下来以原始红外图像为基础,构建张量模型。图3中,输入一张原始红外图像D,按照提前设定大小的滑动窗口从左上到右下的顺序遍历整幅图像,每一个小块作为张量的正面切片。设提取的小块个数为k,方形滑动窗口的长和宽分别为ml,则所有的正面切片构成红外块张量$ \mathcal{D} \in {\mathbb{R}^{m \times l \times n}} $

      图  3  构建块张量模型(左边为原始红外图;右边为构建的块张量)

      Figure 3.  Construction of patch-tensor model (Left: Original infrared image; Right: Constructed patch-tensor)

      Dai等人[6]在所提出的IPT模型中,将红外块张量表示为:

      $$ \mathcal{D} = \mathcal{B} + \mathcal{T} + \mathcal{N} $$ (5)

      式中:$\mathcal{D} $$ \mathcal{B} $$ \mathcal{T}$以及$ \mathcal{N} \in {\mathbb{R}^{m \times n \times k}} $分别表示输入的红外块张量、背景块张量、目标块张量以及噪声块张量;mn分别表示块张量的高度和宽度;k为块张量的个数。

      对于一个三阶张量,将其展开为矩阵,使矩阵的每一列对应着张量的列纤维、行纤维和管纤维便得到三个模态的展开矩阵。图4展示了两幅在后面的实验中用到的红外图像,以及相对应红外块张量的模1、模2和模3展开矩阵的奇异值曲线。显然,所有展开矩阵的奇异值都急剧变化为0,这证明了背景块张量在每一个模态下的展开矩阵都符合低秩特性。特别地,块图像模型可以看作是块张量模型的特殊情况,因为块图像就是相应块张量的模3展开矩阵。IPT模型不仅将IPI模型从矩阵向更高维的张量拓展,而且不同模态展开矩阵的信息有助于局部特征的提取。

      图  4  展开矩阵的非局部自相关性。(a) 红外图像;(b) 模1展开矩阵的奇异值曲线;(c) 模2展开矩阵的奇异值曲线;(d) 模3展开矩阵的奇异值曲线

      Figure 4.  Nonlocal self-correlation property of unfolding matrices. (a) Infrared images; (b)-(d) Singular value curves of mode-1, mode-2, and mode-3 unfolding matrices

      由前文展示的几幅红外图像可以看出,小目标仅占非常小的一部分像素,因此,目标块张量$\mathcal{T} $是一个稀疏张量且满足$ {\left\| \mathcal{T} \right\|_0} \leqslant p $,其中p是一个很小的正数,完全取决于小目标的数量和大小。假设图像中的噪声均为加性高斯白噪声,且存在$ \delta $>0使得$ {\left\| \mathcal{N} \right\|_F} \leqslant \delta $,则有$ {\left\| {\mathcal{D} - \mathcal{B} - \mathcal{T}} \right\|_F} \leqslant \delta $。张量恢复问题就是从已知的张量中分离出低秩张量和稀疏张量,它是一个含有两个变量的目标函数最小化问题,可以表示为凸优化问题。因此,可以将一幅红外图像中的目标和背景分离转化为张量恢复的问题,即求解下列属于凸优化问题的目标函数:

      $$ \begin{split}& \mathop {\min }\limits_{\mathcal{B},\mathcal{T}} rank(\mathcal{B}) + \lambda {\left\| \mathcal{T} \right\|_0} \hfill \\ &\;\;\;\;\;\;\;{\rm{s.t.}} \mathcal{D} = \mathcal{B} + \mathcal{T} \hfill \end{split} $$ (6)
    • 上一节对背景块张量进行了张量展开,分析后可对背景块张量$\mathcal{B} $做如下假设:

      $$ rank({\mathcal{B} _{(i)}}) \leqslant {r_i} $$ (7)

      式中:秩ri(i=1,2,3)在红外图像处理领域,它可以用来表达图像所包含信息的丰富性,即复杂程度。“雾”的出现会增加块张量的秩,基于此思路,降低背景的复杂程度即降低背景的秩,增加其低秩性。此外,针对红外图像普遍存在对比度低、图像整体信息模糊以及远距离拍摄导致的目标或边缘模糊等问题,需要对原始红外图像进行细节修复,以增强红外图像的清晰度和对比度,间接增强图像的本质特性。文中采用改进的暗通道先验算法处理原始红外图像,其原理步骤如下:

      对任意输入的红外图像I(x),其暗通道图像可表示为:

      $$ {J^{dark}}(x) = \min (J(y)) \to 0 $$ (8)

      式中:$ J(y) $为只有灰度信息的单通道图像,根据暗通道先验理论可知,暗通道的像素值是趋于零的,故有$ {J^{dark}} \to 0 $。文中的去雾增强算法就是根据红外图像细节模糊与可见光雾图相似的原理,分析大气光散射物理模型并将等式两端最小化,即:

      $$ \min (I(y)) = \min (J(y)t(x)) + A(1 - t(x)) $$ (9)

      由公式(9)和公式(10),得到透射率t(x)的计算公式为:

      $$ t(x) = 1 - \omega \frac{{{I^{dark}}(x)}}{A} $$ (10)

      式中:$ {I^{dark}}(x) = \min (I(y)) $$ \omega (0 < \omega \leqslant 1) $为自适应常数;A为全局大气光值。根据红外图像的成像原理,文中利用指数变换在灰度值取值较高或较低时对灰度图像扩张或压缩的特性,可以清晰地区分雾和景,再进行直方图均衡化来改善图片的对比度。故此改进将原算法从彩色图像领域迁移到红外图像领域并提高了图片质量。为了更为直观地看出去雾增强的效果,将红外原始图像和处理后的图像进行对比,如图5 所示。

      图  5  不同场景下去雾增强对比结果。(a) 序列1;(b) 序列2;(c) 序列3;(d) 序列4

      Figure 5.  Contrast results of dehazing enhancement in different scenes. (a) Seq.1; (b) Seq.2; (c) Seq.3; (4) Seq.4

      可以看出,经去雾后图像在整体上还原了部分细节,红外图像清晰化,更加适应于人眼视觉,后面将使用去雾增强后的红外图像进行实验。

    • 将矩阵向更高维度的张量拓展存在诸多问题,2.1节已经将红外小目标检测转化为张量恢复问题,下面利用张量的l1-RIP条件去分析问题。

      定义6(t-l1-RIP):对于一个感知的张量测量算子$\mathfrak{M}$,它与目标函数作用之后,存在$ \delta \in (0,1) $,使得张量算子的l1 范数满足:$(1 - \delta ){\left\| \mathcal{X} \right\|_F} \leqslant {\left\| {\mathfrak{M}(\mathcal{X})} \right\|_1} \leqslant (1 + \delta ){\left\| \mathcal{X} \right\|_F}$,其中,$ \mathcal{X} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $$ rank({X_{(i)}}) \leqslant {r_i} $

      定义7 (感知张量测量算子$\mathfrak{M} $):假设算子$ \mathfrak{M}:{\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} \to {\mathbb{R}^m} $,它是一个线性映射被定义为$ {(\mathfrak{M}(\mathcal{X}))_i} = {\left\langle {{\mathcal{A}_i},\mathcal{X}} \right\rangle _F} $,其中,$ {\mathcal{A}_i}(i \in \left[\kern-0.15em\left[ {1:m} \right]\kern-0.15em\right]) $是感知张量,$\mathcal{X} $是要恢复张量。

      Hou等人[8]从不完全线性映射中重新构建潜在的张量$ \mathcal{X} $,提出了1 bit张量恢复的方法,在张量奇异值分解的框架下,分别使用张量硬奇异管阈值算法(Hard singular tube thresholding, HSTT)和张量核范数极小化方(Tensor nuclear norm minimization, TNNM)法来恢复张量。Zhang等人[7]在基于张量核范数部分和的红外小目标检测中指出:使用ADMM求解的过程中最耗时的部分为背景块张量的更新过程,即奇异值分解和傅里叶变换的计算过程。并指出使用ADMM算法涉及到核范数极小化的问题,即需要复杂的奇异值分解步骤,导致了算法实时性不强,耗时比传统方法更久。文中采用HSTT算法,只需要简单的代数运算和一次T-SVD分解。首先对张量进行维度上的扩展,在张量的前两个维数上各加1。对于背景块张量和目标块张量$ \mathcal{B},\mathcal{T} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $,如果两者的增广版本$\tilde {\mathcal{B}},\tilde {\mathcal{T}} \in {\mathbb{R}^{({n_1} + 1) \times ({n_2} + 1) \times {n_3}}}$的形式为:

      $$ \begin{split} & \tilde{\mathcal{B}}(:,:,1)=\left[\begin{array}{l}\mathcal{B}(:,:,1) \star \\ \star \;\;\;\;\;\;\;\;\;\;\;\; b\end{array}\right] \text{,} \tilde{\mathcal{B}}(:,:,i)=\left[\begin{array}{l}\mathcal{B}:,:,i)\star \\ \star \;\;\;\;\;\;\;\;\;\; \star \end{array}\right]\in \\ &{{\mathbb{R}}^{({n}_{1}+1)\times({n}_{2}+1)}} \text{,} i \in \left[\kern-0.15em\left[ {2:{n_3}} \right]\kern-0.15em\right]\\[-10pt] \end{split} $$ (11)
      $$ \begin{split} \tilde{\mathcal{T}}(:,:,1)=&\left[\begin{array}{l}\mathcal{T}(:,:,1)\star \\ \star\;\;\;\;\;\;\;\;\;\;\;\; t\end{array}\right] \text{,} \tilde {\mathcal{T}}(:,:,i) = \left[ \begin{gathered} \mathcal{T}(:,:,i) \star \hfill \\ \star \;\;\;\;\;\;\;\;\;\; \star \hfill \\ \end{gathered} \right] \in \\ &{\mathbb{R}^{({n_1} + 1) \times ({n_2} + 1)}} \text{,} i \in \left[\kern-0.15em\left[ {2:{n_3}} \right]\kern-0.15em\right]\\[-10pt] \end{split}$$ (12)

      其中,$ \star $表示与任何结论无关的向量或标量,那么其F范数可以控制在如下关系式中:

      $$ {\left\| {\frac{\mathcal{B}}{b} - \frac{\mathcal{T}}{t}} \right\|_F} \leqslant \frac{{{{\left\| {\tilde {\mathcal{B}}} \right\|}_F}{{\left\| {\tilde {\mathcal{T}}} \right\|}_F}}}{{\left| b \right|\left| t \right|}} \leqslant {\left\| {\frac{{\tilde {\mathcal{B}}}}{{{{\left\| {\tilde {\mathcal{B}}} \right\|}_F}}} - {{\frac{{\tilde {\mathcal{T}}}}{{\left\| {\tilde {\mathcal{T}}} \right\|}}}_F}} \right\|_F} $$ (13)

      定义8(增广线性映射):${(\tilde {\mathfrak{M}}( \cdot ))_i} = {\left\langle {{{\tilde {\mathcal{A}}}_i}, \cdot } \right\rangle _F}$其增广后的形式为:

      $$ \begin{split} & {\tilde {\mathcal{A}}_i}(:,:,1) = \left[ {\begin{array}{*{20}{c}} {\mathcal{A}(:,:,1)}&{u_1^{(i)}} \\ {v_1^{(i)}}&{ - {\tau _i}/\gamma } \end{array}} \right] \text{,}\\ &{\tilde {\mathcal{A}}_i}(:,:,k) = \left[ {\begin{array}{*{20}{c}} {\mathcal{A}(:,:,k)}&{u_k^{(i)}} \\ {v_k^{(i)}}&{g_k^{(i)}} \end{array}} \right] \end{split} $$ (14)

      式中:$\mathcal{A} $为一个感知张量,它的所有项都是从具有标准差为$ \sigma = \sqrt {\pi /2} /m $均值为零的高斯分布中独立生成的;$\tau $为阈值矢量;$\tau_{i}$由具有标准差为${{ \gamma \sigma}}$均值为零的高斯分布产生;$ k = 2, \cdots ,{n_3} $$ i \in \left[\kern-0.15em\left[ {1:m} \right]\kern-0.15em\right] $待恢复的管秩为r的背景块张量$ \mathcal{B} \in {\mathbb{R}^{{n_1} \times {n_2} \times {n_3}}} $的维度也同样进行扩展,$\tilde {\mathcal{B} }\in {\mathbb{R}^{({n_1} + 1) \times ({n_2} + 1) \times {n_3}}}$的形式为:

      $$ \begin{split} & \tilde {\mathcal{B}}(:,:,1) = \left[ {\begin{array}{*{20}{c}} {\mathcal{B}(:,:,1)}&0 \\ 0&\gamma \end{array}} \right] \text{,} \tilde {\mathcal{B}}(:,:,k) = \left[ {\begin{array}{*{20}{c}} {\mathcal{B}(:,:,k)}&0 \\ 0&0 \end{array}} \right] \text{,}\\ &k \in [[2:m]] \end{split} $$ (15)

      通过阈值测量,可以得到${\tilde {\mathcal{B}}^ * }$$\tilde {\mathcal{B}}/\parallel \tilde {\mathcal{B}}{\parallel _F}$的估计,假设${\mathcal{B}^ * }: = {\tilde {\mathcal{B}}^ * }\left( {1:{n_1},1:{n_2},1:{n_3}} \right)$${b^ * }: = \tilde {\mathcal{B}}_{{n_1} + 1,{n_2} + 1,1}^ *$,那么背景块张量可被恢复为$ \dfrac{\gamma }{{{b^ * }}}{\mathcal{B}^ * } $。只要保证测量数满足:$ m \geqslant C{\delta ^{ - 3}}\left( {{n_1} + {n_2}} \right){n_3}r $,便能高概率地恢复目标张量:

      $$ \mathcal{B} - \frac{\gamma }{{{b^ * }}}{\mathcal{B}^ * }_F \leqslant D\sqrt \delta \gamma + E{\sqrt {\parallel e\parallel } _1}\sqrt \gamma $$ (16)

      式中:$ D = 8\sqrt {10} $$ \text{ }E=16\sqrt{2} $

      在采样率较低的情况下HSTT算法的恢复精度会受到负面影响,文中在图片预处理环节使用去雾增强算法加以补足,并提升了采样点的个数,因此最大程度减少了HSTT算法对检测精度的影响。

    • 为了检验基于去雾增强和张量恢复的红外小目标检测算法的有效性,除使用公共数据集之外,文中并采用2.1节中自拍摄包含小目标的真实图片进行了大量的实验验证。实验计算环境为3.20GHz Intel i5-3470 CPU 处理器,4 GB 内存,所使用的测试软件是MATLAB 2018b。

      文中先选取了背景各异的2组红外图像序列和2张单帧红外图像,又挑选5张使用高清红外热像仪拍摄到的5张红外图像进行实验,图6给出了该算法对各红外图像进行检测的结果,每张图像用矩形框显示真实目标区域。图6(a)为将要输入检测的图像,均已使用去雾增强算法处理完毕,图中还给出了整幅图像对应的全局三维显示图。经检测后,所有目标都能够被检测到,且9组检测结果都不存在噪声残存,仅在场景一的左侧边缘出现一处虚警。同样地,图6(d)给出目标区域对应的局部三维显示图,由于拍摄的无人机四个机翼处温度较高,故部分局部三维显示图可能会出现多处峰值。

      图  6  文中算法的检测结果。(a) 原始红外图像;(b) 原始图像对应的全局三维显示图;(c) 用矩形框标记目标的检测结果;(d) 目标的局部三维显示图

      Figure 6.  Detection results of proposed algorithm. (a) Original infrared images; (b) Input original images with global 3D surf plot; (c) Mark the detection result of the target with a rectangular box; (d) Local 3D surf plot of target

      为了进一步客观评价红外小目标检测方法的性能,文中采用的评价指标有信杂比增益(Signal to clutter ratio gain, SCRG)、背景抑制因子(Background suppression factor, BSF)。

    • 为验证文中算法在复杂环境中的稳定性和鲁棒性,选择6种方法进行对比试验。分别是顶帽变换(Top-Hat)、拉普拉斯-高斯(Laplacian of Gaussian, LoG)滤波器[10]、局部对比度算法(Local contrast method, LCM)、多尺度的块对比度测量(Multi-scale patch-based contrast measure, MPCM)[11]、红外块图像模型(Infrared patch-image, IPI)[5]以及张量和范数部分和(Partial sum of the tensor nuclear norm, PSTNN)[7]。其中,Top-Hat是滤波的方法,利用了背景的连续性;LoG、LCM以及MPCM归属于人类视觉系统的方法,利用目标特征;IPI和PSTNN的方法属于基于低秩稀疏恢复的方法,与文中方法有一定的联系。

      针对复杂多变的场景,文中选取了公开数据集中的5种场景,其中包含3组不同背景下的真实红外图像序列和2张单帧图像,同时,选取自行拍摄的6种场景下的红外图像进行场景鲁棒性的验证。限于篇幅,此处仅从每种类型中选其中之一展示各种方法的测试结果。如图7 展示了加入对比的6种方法和文中算法在分别在场景一到四的4个红外图像的检测结果,所有图像的小目标已用红框标记出。

      图  7  所有对比方法在4种场景下的检测结果。(a) 原始红外图像;(b) Top-Hat;(c) LoG;(d) LCM;(e) MPCM;(f) IPI;(g) PSTNN;(h) 文中算法

      Figure 7.  Detection results of the different approaches to 4 sequences. (a) Original infrared images; (b) Top-Hat; (c) LoG; (d) LCM; (e) MPCM; (f) IPI; (g) PSTNN; (h) Proposed algorithm

      文中所涉及的参数有块张量的大小、滑窗大小、滑动步长、目标函数中的平衡参数$ \lambda $、独立零均值的高斯分布标准差$ \sigma = \sqrt {\pi /2} /m $以及测量数即采样样本数$ m \geqslant ({n_1} + {n_2}){n_3}r $。首先,块张量的尺寸取决于拍摄到的红外图片,在筛选匹配的张量正面切片时,一幅图片既要被分割均匀又要保证每一块的尺寸尽可能地大;其次,滑动步长要与小块的大小一致,这样可以避免块与块之间的重叠;最后,平衡参数$ \lambda $平衡背景块张量和目标块张量的成分,参考对照组实验[7],文中取$\lambda = 1/\sqrt {\max ({n_1},{n_2}) × {n_3}}$n1n2n3分别表示块张量三个维度的大小。

      显然,文中所提算法在噪声抑制方面表现优异,4种场景均没有明显的噪声残存。表明文中算法在增强目标信号的同时能够很好地抑制背景,具有较好的场景鲁棒性。此外,对比图7(g) 以及图7(h) 发现,文中所提算法在场景一中虚警率降低50%,在虚警点的个数即虚警率方面具有明显的优势。

      为了进一步量化分析,表1给出了4个图像序列经过7种不同检测算法处理后的SCRG和BSF值。该方法的BSF和SCRG已用粗体和下划线标记,显然两个值相较于其他6种检测算法均为最优,代表该局部区域内背景被完全抑制。

      表 1  各红外图像序列下不同算法的SCRG和BSF值

      Table 1.  SCRG and BSF of different algorithms in different infrared image sequences

      AlgorithmsFrame1Frame2Frame3Frame4
      SCRGBSFSCRGBSFSCRGBSFSCRGBSF
      Top-Hat 1.352 2.587 6.53 3.98 1.113 0.06 0.015 19.51
      LoG 7.902 0.174 6.786 1.566 4.32 2.23 0.132 7.88
      LCM 0.874 0.633 2.851 0.731 0.587 1.34 1.059 1.13
      MPCM 2.216 0.154 0.021 3.303 46.5 23.85 0.019
      IPI 101.4 134.18 9.65 1.78 1.58 14.4 0.023 17.2
      PSTNN 998.4 1158.65 132.8 598.5 213.77 43.32 33.2
      Proposed 1297.92 1405.38 146.7 733.2 330.6 55.6 35.7
    • 文中针对红外小目标检测算法复杂度和检测性能的权衡,提出了基于去雾增强和张量恢复的红外小目标检测算法。实验结果表明,与前文提到的6种方法相对比,该算法在减少虚警点保证检测率的同时具有较强的鲁棒性和实时性,特别是在现实场景中具有一定的应用价值。后续将针对更多的实际使用场景找寻更为鲁棒、性能好和实时性高的新方法。

参考文献 (11)

目录

    /

    返回文章
    返回