留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

红外图像去雾领域研究方法综述

唐文娟 戴群

唐文娟, 戴群. 红外图像去雾领域研究方法综述[J]. 红外与激光工程, 2024, 53(2): 20230416. doi: 10.3788/IRLA20230416
引用本文: 唐文娟, 戴群. 红外图像去雾领域研究方法综述[J]. 红外与激光工程, 2024, 53(2): 20230416. doi: 10.3788/IRLA20230416
Tang Wenjuan, Dai Qun. Survey of research methods in infrared image dehazing[J]. Infrared and Laser Engineering, 2024, 53(2): 20230416. doi: 10.3788/IRLA20230416
Citation: Tang Wenjuan, Dai Qun. Survey of research methods in infrared image dehazing[J]. Infrared and Laser Engineering, 2024, 53(2): 20230416. doi: 10.3788/IRLA20230416

红外图像去雾领域研究方法综述

doi: 10.3788/IRLA20230416
详细信息
    作者简介:

    唐文娟,女,工程师,博士生,主要从事图像处理方面的研究

  • 中图分类号: TP391

Survey of research methods in infrared image dehazing

  • 摘要: 红外图像去雾是指通过去除雾霾、烟雾等介质对红外图像的影响,恢复红外成像系统对比度和视觉质量的过程。红外图像凭借全天时、不受光照限制等优势,在军事、安防、医疗、能源勘探等领域广泛地应用。然而,由于大气介质对红外图像的干扰,这些应用往往受到限制,因此红外图像去雾成为一个重要的研究领域。近年来,随着计算机视觉、深度学习等技术的不断发展,红外图像去雾技术也取得了一系列重要进展,为红外图像应用的发展提供了强有力的支持。根据红外图像去雾过程中所依赖数据的不同,将现有的红外图像去雾方法划分为多信息融合和单帧图像处理两大类,其中多信息融合因为需要额外的信息来帮助图像恢复而使其应用受到限制;而目前基于单帧图像处理的主流方案包括图像增强和图像重建两个发展方向。对各种分类的代表算法进行了简要梳理,并分析了其原理、优势及不足。最后,对红外图像去雾的发展趋势做出了预测。该工作既可以帮助初学者快速了解该领域的研究现状和发展趋势,也可作为其他研究者的参考资料。
  • 图  1  红外图像去雾算法分类

    Figure  1.  Infrared image defogging algorithm classification

    图  2  基于偏振的图像去雾算法原理

    Figure  2.  Polarization-based image dehazing algorithm principle

    图  3  直方图均衡化算法中插值运算原理图

    Figure  3.  Schematic diagram of interpolation operation in histogram equalization algorithm

    图  4  (a) 红外成像系统拍摄图;(b) CLAHE算法去雾效果图

    Figure  4.  (a) Infrared imaging system to take pictures; (b) CLAHE algorithm dehazing effect diagram

    图  5  视网膜皮层理论算法原理图。(a) SSR算法原理图;(b) MSR算法原理图

    Figure  5.  Schematic diagram of the theoretical algorithm of the retinal cortex. (a) SSR algorithm schematic; (b) MSR algorithm schematic

    图  6  (a) 红外成像系统拍摄图;(b) MSR算法去雾效果图

    Figure  6.  (a) Infrared imaging system to take pictures; (b) MSR algorithm dehazing effect diagram

    图  7  基于超像素和马尔可夫随机场的去雾算法流程

    Figure  7.  Flow of dehazing algorithm based on superpixel and Markov random field

    图  8  基于局部光照估计的去雾算法流程

    Figure  8.  Flow of dehaze algorithm based on local lighting estimation

    图  9  雾霾浓度与亮度和饱和度的差值呈正相关。(a)模糊的影像;(b)密集雾霾区域的特写图及其直方图;(c)中等模糊区域的近景斑块及其直方图;(d)无雾区域的近景斑块及其直方图

    Figure  9.  Haze concentration is positively correlated with the difference between brightness and saturation. (a) Blurry images; (b) Close-up of areas of dense haze and histograms; (c) Close-up patches in moderately blurred areas and their histograms; (d) Close-up patches in fog-free areas and their histograms

  • [1] Weichao H, Zhi Y, Shangbin J, et al. Research on color image defogging algorithm based on MSR and CLAHE [C]//2020 Chinese Automation Congress (CAC), 2020: 7301-7306.
    [2] Peng Dongliang, Wen Chenglin, Xue Anke. Theory and Application of Multi-sensor Multi-source Information Fusion [M]. Beijing: Science Press, 2010. (in Chinese)
    [3] Yang Yuqing. Research on learning based super-resolution reconstruction of single frame image [D]. Beijing: Beijing University of Technology, 2018. (in Chinese)
    [4] Chen Kewen, Zhang Zuping, Long Jun. Research progress and new trends in multi-source information fusion [J]. Computer Science, 2013, 40(8): 6-13. (in Chinese)
    [5] Zhang Haiyu. Research on super-resolution reconstruction algorithm of single frame image based on generative adversarial network [D]. Xi'an: Shaanxi University of Science and Technology, 2019. (in Chinese)
    [6] Wu Q, Zhang J, Ren W, et al. Accurate transmission estimation for removing haze and noise from a single image [J]. IEEE Transactions on Image Process, 2020, 29: 2583-2597. doi:  10.1109/TIP.2019.2949392
    [7] Schechner Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze [J]. Appl Opt, 2003, 42(3): 511-525. doi:  10.1364/AO.42.000511
    [8] Kudo Y, Kubota A. Image dehazing method by fusing weighted near infrared image [C]//Proceedings of the International Workshop on Advanced Image Technology (IWAIT), 2018: 1-2.
    [9] Gao X, Tian Y, Song F, et al. Research on the defogging algorithm based on image enhancement [C]//2021 3rd International Conference on Machine Learning, Big Data and Business Intelligence (MLBDBI), 2021: 478-481.
    [10] Huang Weichao, Yang Zhi, Jiao Shangbin, et al. Research on color image defogging algorithm based on MSR and CLAHE [C]//2020 Chinese Automation Congress (CAC), 2020: 7301-7306.
    [11] Yang Jianneng. Research on optimization of image enhancement algorithm based on histogram equalization [D]. Urumqi: Xinjiang University, 2021. (in Chinese)
    [12] Han Shaogang. Research on image enhancement algorithm based on multi-histogram equalization [D]. Anqing: Anqing Normal University, 2020. (in Chinese)
    [13] Dai Shengkui, Zhong Zheng, Huang Zhengwei. Double histogram equalization algorithm based on maximum entropy model [J]. Acta Electronica Sinica, 2019, 47(3): 678-685. (in Chinese)
    [14] Patel S. Goswami comparative analysis of histogram equalization techniques [C]//2014 International Conference on Contemporary Computing and Informatics (IC3I), 2014: 167-168.
    [15] Kim T K, Paik J K, Kang B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J]. IEEE Transactions on Consumer Electronics, 1998, 44(1): 82-87.
    [16] Wen Haiqiong, Li Jiancheng. Adaptive threshold image enhancement algorithm based on histogram equalization [J]. China Integrated Circuits, 2021, 26: 135-136. (in Chinese)
    [17] Zuiderveld K. Contrast limited adaptive histogram equalization [J]. Graphics Gems, 1994, 39: 45-52.
    [18] Land E H. The retinex [J]. American Scientist, 1964, 52(2): 247-264.
    [19] Jobson D J, Rahman Z. Properties and performance of a center/surround retinex [J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462. doi:  10.1109/83.557356
    [20] Li Hua Shuo. Research on low-illumination image enhancement based on wavelet and multi-scale Retinex fusion algorithm [D]. Beijing: China University of Mining and Technology, 2021. (in Chinese)
    [21] Zhang H, Dai S, Image inpainting based on wavelet decomposition [C]//2012 International Workshop on Information and Electronics Engineering (IWIEE), 2012, 29: 3674-3678.
    [22] He Xingzhen. Research on image restoration algorithm based on attention model and wavelet decomposition [D]. Chengdu: Chengdu University of Technology, 2020. (in Chinese)
    [23] Wang Xin, Xu Pingping, Wu Fei. Infrared image enhancement algorithm based on exponential homomorphic filtering coupled with detail sharpening rule [J]. Journal of Electronic Measurement and Instrumentation, 2021, 35(10): 9-16. (in Chinese)
    [24] Dong Jingwei, Zhao Chunli, Hai Bo. Research on image defogging algorithm based on fusion of homomorphic filter and Wavelet transform [J]. Journal of Harbin University of Science and Technology, 2019, 24(1): 66-70. (in Chinese)
    [25] Zhang Ke, Liao Yulong, Luo Yalun, et al. Infrared image enhancement algorithm based on improved homomorphic filter [J]. Advances in Laser and Optoelectronics, 2023, 60(10): 63-69. (in Chinese)
    [26] He K, Sun J, Tang X. Single image haze removal using dark channel prior [J]. IEEE Trans Pattern Anal Mach Intell, 2011, 33: 2341-2353. doi:  10.1109/TPAMI.2010.168
    [27] Tan Y, Wang G. Image haze removal based on super pixels and Markov random field [J]. IEEE Access, 2020, 8: 60728-60736. doi:  10.1109/ACCESS.2020.2982910
    [28] Ancuti C, Ancuti C O, Vleeschouwer C D, et al. Day and nighttime dehazing by local airlight estimation [J]. IEEE Trans Image Process, 2020, 29: 6264-6275. doi:  10.1109/TIP.2020.2988203
    [29] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior [J]. IEEE Trans Image Process, 2015, 24: 3522-3533. doi:  10.1109/TIP.2015.2446191
    [30] Li Zhang H, Yuan D, et al. Single image dehazing using the change of detail prior [J]. Neurocomputing, 2015, 156: 1-11. doi:  10.1016/j.neucom.2015.01.026
    [31] Singh D, Kumar V, Kaur M. Single image dehazing using gradient channel prior [J]. Appl Intell, 2019, 49: 4276-4293. doi:  10.1007/s10489-019-01504-6
    [32] Chang Liang, Deng Xiaoming, Zhou Mingquan, et al. Convolutional neural networks in image understanding [J]. Journal of Autochemistry, 2016, 42(9): 1300-1312. (in Chinese)
    [33] Hu Zhongyuan, Xue Yu, Zha Jiajie, et al. Survey on evolutionary recurrent neural networks [J]. Computer Science, 2023, 50(3): 254-265. (in Chinese)
    [34] Liu Cuilian. Research on hyperspectral image classification based on CNN and LSTM [D]. Chongqing: Chongqing University of Posts and Telecommunications, 2022. (in Chinese)
    [35] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets [C]//Neural Information Processing Systems, 2014.
    [36] Bengio Y, Courville A, Vincent P. Representation learning: A review and new perspectives [C]//Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.
    [37] He Jun, Zhang Caiqing, Li Xiaozhen, et al. Research review of multi-modal fusion technology for deep learning [J]. Computer Engineering, 2020, 46(5): 1-11. (in Chinese)
  • [1] 李鹏越, 续欣莹, 唐延东, 张朝霞, 韩晓霞, 岳海峰.  基于并行多轴自注意力的图像去高光算法 . 红外与激光工程, 2024, 53(3): 20230538-1-20230538-11. doi: 10.3788/IRLA20230538
    [2] 张骏, 朱标, 沈玉真, 张鹏.  基于引导滤波的多分支注意力残差红外图像去噪网络 . 红外与激光工程, 2022, 51(11): 20220060-1-20220060-11. doi: 10.3788/IRLA20220060
    [3] 贾鹏飞, 刘全周, 彭凯, 李占旗, 王启配, 华一丁.  多传感器信息融合的前方车辆检测 . 红外与激光工程, 2022, 51(6): 20210446-1-20210446-8. doi: 10.3788/IRLA20210446
    [4] 王鹏翔, 张兆基, 杨怀.  结合多特征融合和极限学习机的红外图像目标分类方法 . 红外与激光工程, 2022, 51(6): 20210597-1-20210597-6. doi: 10.3788/IRLA20210597
    [5] 张智, 孙权森, 林栩凌, 韩明亮.  基于临近时空帧间信息的空间目标图像增强方法 . 红外与激光工程, 2019, 48(S1): 193-197. doi: 10.3788/IRLA201948.S128004
    [6] 吕胜, 杨风暴, 吉琳娜, 焦玉茜.  红外光强与偏振图像多类拟态变元组合融合 . 红外与激光工程, 2018, 47(5): 504005-0504005(10). doi: 10.3788/IRLA201847.0504005
    [7] 李方彪, 何昕, 魏仲慧, 何家维, 何丁龙.  生成式对抗神经网络的多帧红外图像超分辨率重建 . 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
    [8] 宋言明, 潘志康, 孟晓辰, 娄小平, 祝连庆.  基于仿人眼自适应调节的多光谱视觉图像处理方法 . 红外与激光工程, 2017, 46(9): 910001-0910001(8). doi: 10.3788/IRLA201746.0910001
    [9] 王贵圆, 常本康, 富容国, 冯澍, 孙斌, 李英杰.  分光轴式多源图像融合系统近距离配准方法研究 . 红外与激光工程, 2016, 45(11): 1104003-1104003(7). doi: 10.3788/IRLA201645.1104003
    [10] 李英杰, 张俊举, 常本康, 钱芸生, 刘磊.  远距离多波段红外图像融合系统及配准方法 . 红外与激光工程, 2016, 45(5): 526002-0526002(6). doi: 10.3788/IRLA201645.0526002
    [11] 杨少魁, 刘文.  一种微光与红外图像彩色融合方法 . 红外与激光工程, 2014, 43(5): 1654-1659.
    [12] 李波, 赵怀慈, 花海洋.  红外多光谱图像仿真方法研究 . 红外与激光工程, 2014, 43(6): 1972-1976.
    [13] 童涛, 杨桄, 孟强强, 孙嘉成, 叶怡, 陈晓榕.  基于边缘特征的多传感器图像融合算法 . 红外与激光工程, 2014, 43(1): 311-317.
    [14] 杨风暴, 蔺素珍.  基于变换域多合成规则的双色中波红外图像融合 . 红外与激光工程, 2014, 43(11): 3663-3669.
    [15] 葛广一, 魏振忠.  图像去雾过程中的噪声抑制方法 . 红外与激光工程, 2014, 43(8): 2765-2771.
    [16] 王金玲, 贺小军, 宋克非.  采用区域互信息的多光谱与全色图像融合算法 . 红外与激光工程, 2014, 43(8): 2757-2764.
    [17] 李新娥, 任建岳, 吕增明, 沙巍, 张立国, 何斌.  NSCT域内基于改进PCNN和区域能量的多光谱和全色图像融合方法 . 红外与激光工程, 2013, 42(11): 3096-3102.
    [18] 杨扬, 戴明, 周箩鱼.  基于均匀离散曲波变换的多聚焦图像融合 . 红外与激光工程, 2013, 42(9): 2547-2552.
    [19] 谭东杰, 张安.  方向相关与互信息加权组合多模图像配准方法 . 红外与激光工程, 2013, 42(3): 836-841.
    [20] 徐琰珂, 梁晓庚, 贾晓洪.  雷达/红外复合导引头信息融合算法 . 红外与激光工程, 2012, 41(1): 30-36.
  • 加载中
图(9)
计量
  • 文章访问数:  191
  • HTML全文浏览量:  37
  • PDF下载量:  87
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-06-19
  • 修回日期:  2023-08-10
  • 刊出日期:  2024-02-25

红外图像去雾领域研究方法综述

doi: 10.3788/IRLA20230416
    作者简介:

    唐文娟,女,工程师,博士生,主要从事图像处理方面的研究

  • 中图分类号: TP391

摘要: 红外图像去雾是指通过去除雾霾、烟雾等介质对红外图像的影响,恢复红外成像系统对比度和视觉质量的过程。红外图像凭借全天时、不受光照限制等优势,在军事、安防、医疗、能源勘探等领域广泛地应用。然而,由于大气介质对红外图像的干扰,这些应用往往受到限制,因此红外图像去雾成为一个重要的研究领域。近年来,随着计算机视觉、深度学习等技术的不断发展,红外图像去雾技术也取得了一系列重要进展,为红外图像应用的发展提供了强有力的支持。根据红外图像去雾过程中所依赖数据的不同,将现有的红外图像去雾方法划分为多信息融合和单帧图像处理两大类,其中多信息融合因为需要额外的信息来帮助图像恢复而使其应用受到限制;而目前基于单帧图像处理的主流方案包括图像增强和图像重建两个发展方向。对各种分类的代表算法进行了简要梳理,并分析了其原理、优势及不足。最后,对红外图像去雾的发展趋势做出了预测。该工作既可以帮助初学者快速了解该领域的研究现状和发展趋势,也可作为其他研究者的参考资料。

English Abstract

    • 随着工业的快速发展,空气污染越来越严重,由此产生的雾霾天气日益增多,使得红外图像和视频质量下降,导致饱和度低、边缘细节清晰度差、成像模糊等问题,降低了对红外图像研究的科研分析效率 [1]。此外,由于浓雾对成像的退化作用,红外监测和红外遥感系统将陷入瘫痪。因此,在有雾天气下拍摄的红外图像质量是一个亟待解决的问题。

      由于在雾霾天气下室外能见度低,导致图像对比度下降,边缘信息丢失,使最终生成的红外图像或视频无法真实描述环境。为了提高雾霾环境下的红外图像采集质量,减少雾霾天气对红外成像采集系统的严重影响,国内外学者和研究人员对图像除雾处理技术进行了大量研究。目前,红外图像去雾可以通过多信息融合[2]与单帧图像处理[3]进行。多信息融合[4]是指将来自不同传感器、不同来源、不同类型的多种信息进行融合,以达到获取更全、更精确、更可靠信息的目的。这种方法可以减少信息的不确定性,提高信息的可靠性和准确性。同时,多信息融合也能够提高信息的可用性和可视化程度,使得人们更好地理解和利用这些信息。单帧图像处理是指对单个静止图像进行数字处理或图像处理的技术。它是数字图像处理领域的一个重要分支,广泛应用于计算机视觉、图像识别、图像增强、图像重建、医学影像分析、遥感图像处理、数字摄影、安防监控等领域。在实际应用中,单帧图像处理常常和机器学习、深度学习等技术相结合,以达到更好的效果[5]

      概括而言,现有的红外图像去雾方法大致包括多信息融合与单帧图像处理,其中单帧图像处理又包括图像增强与图像重建两部分,如图1所示。分析了这些算法的发展现状以及各种算法存在的主要问题,并讨论了未来研究的发展趋势。

      图  1  红外图像去雾算法分类

      Figure 1.  Infrared image defogging algorithm classification

    • 由于图像的退化程度受到悬浮粒子浓度和目标到检测器距离的影响,而这些信息很难直接从图像中获取,这使得图像去雾是一项非常具有挑战性的工作[6]。近年来,有研究人员提出了通过融合传感器或者多张图像获取额外信息的方式来帮助恢复红外图像的多信息融合算法。其中,主要包括偏振图像去雾方法和融合加权图像去雾方法。

      因为雾霾等散射颗粒的尺寸通常小于光的波长,导致散射光线偏振度增加,而直接光线的偏振度不变。Schechner等[7]据此特性提出了偏振图像去雾方法:通过测量光线的偏振状态并计算不同偏振度下的图像之间的比值来区分雾和目标物之间的差异,从而减轻雾的影响,得到更清晰的图像。该算法原理如图2所示:首先使用偏振相机采集了两幅图像,分别沿着平行于地面和垂直于地面方向的偏振光方向,通过对这两幅图像进行处理,可以得到具有空间解析度的亮度图像、偏振图像和方向图像;然后,利用这些信息,通过解析雾霾模型和计算表面反射模型,恢复出原始的场景图像。偏振图像去雾方法相对于传统的去雾方法不需要对雾霾的成因和密度等参数进行先验估计,可以适用于各种类型的雾霾图像;通过增加偏振成分来提升对比度,可以得到更清晰的图像;此外,在一些情况下,偏振图像可以提供更多的信息,从而得到更好的去雾结果。但是,由于需要使用到成本较高的偏振相机进行成像,该方法的应用范围有限。

      图  2  基于偏振的图像去雾算法原理

      Figure 2.  Polarization-based image dehazing algorithm principle

      由于近红外透射率较强,Kudo等[8]将同一场景下的红外图像与可见光图像进行融合,用以图像去雾,笔者提出了一种基于加权近红外图像融合的图像去雾方法,利用红外光谱中的近红外波段,对雾霾图像进行多光谱融合来消除雾霾的影响。该方法首先通过自适应直方图均衡化处理获取全景图像,然后通过近红外图像的高空间分辨率和真实的颜色还原能力来消除雾霾,并将处理后的红外图像和可见光图像进行加权融合,以保留原始图像的细节和纹理信息。通过实验验证,该方法在保留图像细节和色彩的同时,有效地去除了图像中的雾霾。但因为只处理亮度信息导致该方法并不能完全去除雾的干扰。此外,该方法引入了过多参数,在实际场景中如何准确地确定这些系数缺乏可靠性指导,而且基于融合的去雾方法对输入图像要求苛刻,实用性往往较差。

      总的来说,多信息融合作为一种重要的图像去雾方法,通过融合传感器或者多个图像获取更多的信息,具有更好的去雾效果、更强的抗干扰能力、更广的适用范围以及更高的可靠性,广泛应用于汽车自动驾驶、视频监控以及军事情报侦察中。

    • 单帧图像处理是指对单个静止图像进行数字处理或图像处理的技术。它是数字图像处理领域的一个重要分支,广泛应用于计算机视觉、图像识别、图像增强、图像重建、医学影像分析、遥感图像处理、数字摄影、安防监控等领域。在实际应用中,单帧图像处理常常与机器学习、深度学习等技术相结合,以达到更好的效果。主要从单帧图像处理中的图像增强与图像重建展开叙述。

    • 图像增强[9]主要是提高人们对图像的可解释性或感知性,并为其他自动化图像处理技术提供更好的输入。图像增强的主要目的是修改图像的属性,使其更适合于给定的任务和特定的观察者。在此过程中,修改图像的一个或多个属性,属性的选择及其修改方式是特定于给定任务的。此外,特定于观察者的因素,如人类视觉系统和观察者的经验,将引入大量的主观性图像增强方法的选择。

      目前,国内外常用的雾图像处理方法主要有直方图均衡相关算法和Retinex相关算法。将多尺度Retinex算法(MSR)与对比度有限自适应直方图均衡(CLACHE)算法相结合[10],实现雾图像的图像增强。

    • 直方图均衡化(Histogram Equalization)[2]是一种增强图像对比度(Image Contrast)的方法,其主要思想是将一幅图像的直方图分布变成近似均匀分布,从而增强图像的对比度。传统的直方图均衡化算法会存在由于灰度级过度拉伸而导致的过增强现象和伪影,使得图像增强效果不够自然,以及灰度级合并导致细节信息丢失和边缘信息模糊。例如,杨嘉能[11]、韩少刚[12]等分析出直方图均衡化算法对图像进行分割、裁剪、重分配映射区间等方式对图像进行处理来达到想要的结果;但是随着越来越多的研究发现,当图像中存在像素个数比较小的灰度级时,这些会被直接归并掉,会导致图像丢失部分细节信息。

      因此,更多的人在基于直方图均衡化算法的基础上研究出更多的优质算法。例如,基于最大熵模型的双直方图均衡算法[13]有效地提升图像对比度,对图像的亮度有着更明显的增强;基于边缘引导的直方图规定化的夜间图像增强算法有效地增强了图像对比度,尤其是边缘对比度,以及保持图像颜色的自然度;全局直方图均衡化(GHE)[14]是一种在不考虑图像亮度和暗度变化的情况下提高图像整体对比度的算法,结果表明,该算法对于雾分布不均匀的方式并不理想。为了解决这个问题,Kim T K等人[15]提出了一种局部直方图均衡(AHE)方法,该方法使用插值运算原理[16]将图像划分为块,并对每个块进行直方图均衡,如图3所示,该算法可以实现局部对比度增强,但会造成块效应和复杂的操作。针对某些局部直方图均衡算法可能导致阻塞效应和过放大噪声的问题,Karel等[17]提出了对比度有限自适应直方图均衡,可以提高图像对比度,抑制噪声的过度放大,消除阻塞效应,图像呈现效果如图4所示。

      图  3  直方图均衡化算法中插值运算原理图

      Figure 3.  Schematic diagram of interpolation operation in histogram equalization algorithm

      图  4  (a) 红外成像系统拍摄图;(b) CLAHE算法去雾效果图

      Figure 4.  (a) Infrared imaging system to take pictures; (b) CLAHE algorithm dehazing effect diagram

      限制对比度自适应直方图均衡化算法通过限制局部直方图的高度来解决图像局部地区过度增强的问题,同时对噪声的过度放大也可以有效限制。

    • 20世纪70年代初,美国科学家兰德[18]提出了Retinex理论。“视网膜”是“视网膜”和“皮层”(大脑皮层)两个词的组合,所以视网膜理论也被称为视网膜皮层理论。后来又提出色彩恒常知识理论,该理论认为图像由入射分量和反射分量构成,其中,入射分量表达图像的动态信息,对应图像低频区域,反射分量反映图像本质特性,对应图像高频分量部分。

      Retinex算法基于Land的Retinex理论,该理论基于人眼对颜色的感知。该算法的思路是将图像视为入射光分量与反射光分量的乘积,通过一定方法计算反射分量,实现图像去雾。目前,基于Retinex理论的方法包括单尺度Retinex算法(SSR)、多尺度Retinex算法(MSR)[19]等多个算法,如图5所示。SSR受比例常数C的影响很大,因此在高亮图像细节和色彩保真度之间取得平衡并不容易。多尺度MSR在选择小、中、大尺度方面具有单尺度Retinex算法的优点,算法复杂度适中。

      图  5  视网膜皮层理论算法原理图。(a) SSR算法原理图;(b) MSR算法原理图

      Figure 5.  Schematic diagram of the theoretical algorithm of the retinal cortex. (a) SSR algorithm schematic; (b) MSR algorithm schematic

      Retinex算法可以对光照不均匀、恶劣环境下的低照度图像进行处理,从整体上提升图像对比度和亮度,有效避免了颜色失真现象,呈现出较好的色彩观感,如图6所示。

      图  6  (a) 红外成像系统拍摄图;(b) MSR算法去雾效果图

      Figure 6.  (a) Infrared imaging system to take pictures; (b) MSR algorithm dehazing effect diagram

      该算法通过削弱入射分量同时增强反射分量,以此增强图像质量。为了有效避免Retinex 算法尺度因子的不确定性以及无法平衡动态范围压缩和颜色保真情况,其他学者基于传统 Retinex算法的研究,通过加权数字处理,将多个不同半径的单尺度 Retinex 算法增强后的结果线性加权求和,算法在原来的基础上设置不同的尺度因子进行运算,可以在保持动态压缩范围的同时较好地突出颜色信息,但是该算法在处理低照度图像时会放大噪声,颜色失真,图像整体泛白,高亮区域容易产生光晕伪影现象。由于同时运行三个不同尺度算法,算法处理效率有所降低。

    • 小波变换兴起于 20 世纪 80 年代,成为在信号处理以及图像处理领域的新型数学工具。小波变换[20]可以对信号中的频域和时域特性进行高效精准分析,通过小波基函数将信号展开,根据不同尺度进行处理,在时域空间中伸缩平移变换,对数字图像进行多尺度细化操作,对时频局部进行有效分析与细化。由于多分辨率特性,小波变换在图像降噪方面具备优越性能,因此,小波变换在图像增强领域,尤其是图像去噪方面应用范围较广。在图像处理中,首先利用小波变换将受损图像分解为结构子图像和纹理子图像;然后,利用曲率驱动扩散(CDD)算法重建结构中缺失信息区域的子图像,同时利用改进的基于范例的纹理合成填充纹理子图像中的相同区域;最后,将结构和纹理恢复结果重新组合得到恢复图像[21]。因此,将小波分解后的子图像与设定的系数相乘后,通过小波重建得到小波变换的图像的最常用的卷积方法称为“小波分解”[22]

      另外,同态滤波[23]是一种广泛用于信号和图像处理的技术,将原本的信号经由非线性映射,转换到可以使用线性滤波器的不同域,做完运算后再映射回原始域。同态的性质就是保持相关的属性不变,而同态滤波的好处是将原本复杂的运算转为效能相同但相对简单的运算。基于以上优点,在图像领域中,经常被用于边缘检测、图像去噪、图像融合等方面。同态滤波可以同时结合频率过滤与灰度变换方法,对光照不均的图像进行校正[24]。针对红外图像通常整体对比度低,暗区、边缘等细节不清晰,且具有乘性噪声干涉的特点,同态滤波可以通过定义频域动态范围内像素点与中心像素点的距离,调整图像的灰度动态范围,提升高频部分,增强对比度;同时压缩低频部分,尽可能缩小动态变化范围,增强暗区细节,同时不损失亮区的原有信息。快速傅里叶和小波变换也可以利用在同态滤波中,在对于红外图像增强任务中有着较好的视觉效果[25]

    • 图像重建是指通过对损失、缺失、模糊等影响图像质量的因素进行恢复和修复,使得图像质量得到提升的过程。将图像重建应用到红外图像去雾领域,可以根据已知信息的特征来估计未知信息,从而用于恢复受到雾霾影响而导致的图像质量下降问题。

    • 暗通道先验(Dark Channel Prior, DCP)是He等[26]提出的一种经典方法,既可以用在可见光,又可以用于红外领域部分,文中只讨论其用于红外领域部分。它的基本原理是利用图像中普遍存在的暗区域中暗通道值接近于零的特点,首先对原始图像进行滤波操作,求得每个像素点的暗通道值,然后根据暗通道图像,选取像素值最大的若干个像素来估计场景中的大气光照,这是因为亮度较高的像素点代表的区域更有可能是没有被雾霾遮挡的区域,即这些区域更接近原始图像。之后根据大气光照值估计每个像素点对应的透射率,即表征该像素点被雾霾遮挡程度的值。透射率与大气光照成反比,因此可以利用估计的大气光照值得到透射率的估计。最后根据估计的雾的浓度和全局大气光,对原始图像进行恢复,去除雾的影响,得到最终的去雾图像。暗通道先验虽然不是一种完美的去雾方法,但是其简单而高效的思想,以及在大量实验中取得的良好效果,使其成为了图像去雾领域最具有代表性和应用价值的方法之一。但是暗通道先验方法并不能很好地处理一些复杂的雾霾情况,例如厚重的云雾或者是带有颜色的雾霾。暗通道先验方法可能会在图像中引入新的伪影或瑕疵,尤其是在处理高对比度图像时。因此,暗通道先验去雾仍然需要进一步的改进和优化,以适应更多的实际应用场景。

    • 2020年,Tan等[27]在暗通道先验去雾的基础上提出了一种基于超像素和马尔可夫随机场(MRF)的图像去雾算法,如图7所示。该算法通过将图像划分成若干个超像素子区域来实现减小计算量,之后根据超像素子区域之间的相似性以及超像素子区域内像素的颜色值来计算出每个像素的透射率和大气光强度。接着,采用马尔科夫随机场并结合局部和全局的先验知识来优化去雾结果,从而得到清晰的图像。与传统的去雾算法相比,该算法通过超像素分割,提高了算法的效率和准确率;采用马尔科夫随机场进行全局优化,能够减少局部误差的影响,提高去雾效果;通过优化超像素内的雾浓度和透射率,能够减少图像中的色偏。尽管算法效率较高,但对于图像中的大面积雾霾仍存在一定的计算量问题,同时由于采用了超像素分割,会对图像的细节信息造成一定的损失。

      图  7  基于超像素和马尔可夫随机场的去雾算法流程

      Figure 7.  Flow of dehazing algorithm based on superpixel and Markov random field

    • Ancuti等[28]在暗通道先验去雾算法的基础上通过融合多尺度图像块来细化重建过程,充分利用图像的局部信息基于局部的光照估计来实现图像去雾的方法,如图8所示。该算法将图像分割成不同的区域,通过对每个区域的光照估计得到每个像素点的光照强度,从而计算出该像素点的透射率。该方法还提出了一种自适应的光照估计方法,能够有效地适应各种光照条件。该方法不需要估计全局环境光或者场景深度等信息,可以适用于各种场景,同时通过基于本地大气光的估计,能够对每个像素点进行更精准的去雾处理,还原出更真实的图像细节。但是由于该算法需要进行迭代求解,计算时间较长,处理大图像时可能会出现较大延迟;同时,算法的效果受到参数的影响较大,需要针对不同图像进行参数的调整,不太适用于批量处理;另外,算法对于雾霾程度较重的图像效果不太理想,可能出现颜色失真或图像模糊等问题。

      图  8  基于局部光照估计的去雾算法流程

      Figure 8.  Flow of dehaze algorithm based on local lighting estimation

    • 图像的颜色在深度方向上会有较强的变化,而且颜色值越大的像素深度越小,如图9所示。基于颜色衰减先验的特点,Zhu等[29]提出了一种基于颜色衰减先验的快速单图像去雾算法。该算法的主要思想是在图像预处理阶段中,利用颜色衰减先验来估计图像的大气光照分量,并在图像恢复阶段中,通过估计出的大气光照分量来恢复无雾图像。该算法具有简单、高效和鲁棒性强等优点,在不同数据集上的实验表明,该算法能够在保持图像质量的同时大大提高去雾速度。但是,同时也存在着对输入图像中的低对比度和弱边缘区域的恢复效果不佳;在一些情况下可能会产生色彩失真或伪影等现象;对输入图像中的高频细节信息可能会有所损失等问题。

      图  9  雾霾浓度与亮度和饱和度的差值呈正相关。(a)模糊的影像;(b)密集雾霾区域的特写图及其直方图;(c)中等模糊区域的近景斑块及其直方图;(d)无雾区域的近景斑块及其直方图

      Figure 9.  Haze concentration is positively correlated with the difference between brightness and saturation. (a) Blurry images; (b) Close-up of areas of dense haze and histograms; (c) Close-up patches in moderately blurred areas and their histograms; (d) Close-up patches in fog-free areas and their histograms

    • 细节先验是指天空和前景区域之间的图像细节是不同的,因为前景区域中的物体通常比天空更细致,所以前景区域的细节较强。Li等[30]提出了通过分析图像的细节信息来实现图像去雾的算法。该方法首先对输入图像进行预处理,包括雾图像的深度图估计和传统暗通道先验方法进行去雾预处理;然后使用预处理结果来提取细节信息,并计算细节差异,从而得到细节先验;最后将细节先验应用于图像去雾,从而实现图像去雾。但是该方法对图像的细节变化非常敏感,如果图像细节变化不明显,则去雾效果可能不理想。

    • Singh[31]等提出了一种基于梯度通道先验的图像去雾算法。该算法先估计图像的雾密度和全局透射率,然后使用梯度通道先验和双边滤波器进行局部补偿来实现去雾。具体来说,首先将图像分解为多个频带,并计算每个频带的梯度通道先验,然后使用这些先验估计传输率,最后使用逆传输来去除图像中的雾。该算法去雾效果良好,能够应用于多种不同类型的图像;同时计算速度较快,可以在实时应用中使用。但是对于一些特殊情况,如雾中出现重影,该算法的效果不佳。

    • 现有的红外图像去雾算法一般不能同时满足高效率和高质量的要求。多信息融合和单帧图像处理可以提高算法的实时处理效率,主要适用于雾气和单一场景信息的情况,在丰富图像细节和增强色彩饱和度方面也应进一步改进,或作为其他去雾算法的后续增强算法。

      目前,大多数红外图像采集系统的实现方案要求去雾算法能够实现各种天气条件下图像数据的自动分析,避免通过手动调整参数来校正结果的偏差,从而满足红外图像去雾化无差别环境的实际需求。

      虽然研究人员提出了许多图像去雾算法,但由于缺乏统一、客观的评价标准,只能通过用户定义的标准主观评价不同去雾算法的优缺点,给算法处理效果和适用场景的评价带来了诸多不便。因此,建立客观的标准评价体系将是未来研究的主要方向,以便从去雾效果、时空复杂度等多方面真正评估去雾算法的优缺点,为后续改进提供有针对性的参考方向,也为解决该领域的实际应用问题提供更完善的方案。

      未来红外图像去雾技术的发展趋势主要包括以下几个方面:

      1)更高效的去雾算法以及智能化的去雾处理。目前,红外图像去雾算法的效率仍然需要耗费大量的时间和计算资源。未来将继续研究开发更高效的去雾算法,以提高算法的处理速度和稳定性。随着人工智能技术的发展,将深度学习、卷积神经网络等技术用于解决红外图像去雾也逐渐得到发展。常用的深度学习算法包括但不限于以下几种:

      ① 卷积神经网络(Convolutional Neural Network, CNN)[32]:适用于图像处理等领域,能够从数据中自动提取特征,具有较好的分类和识别能力;

      ② 循环神经网络(Recurrent Neural Network, RNN)[33]:适用于序列数据,如自然语言处理领域的语言模型、机器翻译等任务;

      ③ 长短时记忆网络(Long Short-Term Memory, LSTM)[34]:RNN的一种改进版本,解决了RNN在长序列数据处理中的梯度消失和梯度爆炸问题,更适用于长期依赖关系的建模;

      ④ 生成对抗网络(Generative Adversarial Network,GAN)[35]:通过两个神经网络的博弈来训练一个生成模型,能够生成逼真的样本数据,适用于图像、音频、视频等领域;

      ⑤ 自编码器(Autoencoder, AE)[36]:通过训练一个编码器和解码器,将输入数据压缩到一个低维度的空间,再从低维度空间重构原始数据,用于数据压缩、降噪等任务。

      在使用深度学习理论进行红外图像去雾的同时应注意以下几方面:

      ① 数据集的选择:深度学习需要大量的训练数据来训练模型,因此需要选择具有代表性和多样性的数据集来训练模型。对于红外图像去雾,需要收集具有代表性的红外图像和可见光图像,以及它们之间的对应关系;

      ② 网络结构的设计:需要选择适合红外图像去雾的网络结构,如U-Net、ResNet等,同时还需要进行超参数的调整,以得到最佳的网络结构;

      ③ 模型的训练和优化:需要对网络进行训练,并根据实际情况进行参数调整和优化,以提高模型的准确度和泛化能力;

      ④ 模型的评估:需要对训练好的模型进行评估,包括准确度、召回率、F1值等指标,以确定模型的性能和可靠性;

      ⑤ 实际应用的适用性:需要对模型在实际应用中的适用性进行评估,如对不同类型的红外图像进行去雾处理时,模型的效果如何;

      ⑥ 模型的可解释性:需要考虑深度学习模型的可解释性,即模型如何得出结论和预测结果,这对于红外图像去雾等关键应用具有重要意义,以便在实际应用中对模型的预测结果进行解释和验证。

      未来工作中,红外图像去雾技术将更加智能化,研究者更加倾向使用深度学习与卷积神经网络技术来实现自动化的去雾处理,大大减轻操作员的负担。

      2)多模态融合技术[37]的应用。多模态数据融合的目标是在多个数据源的基础上提取最有用的信息,以便更好地理解和处理图像数据。未来的红外图像去雾技术将会与其他图像处理技术进行深度融合,形成多模态融合的处理方案,提高图像质量和处理效果,例如可见光图像、深度图像等,进行更加准确的去雾处理。可见光图像是指人眼可见的图像,它可以提供更加丰富的纹理和颜色信息。可以通过将可见光图像和红外图像进行融合,得到更加准确的图像信息,从而提高去雾效果。常用的融合方法有基于像素的加权平均法、基于变换的图像融合法、基于分解的融合方法等。深度图像是指能够反映场景中不同位置的距离或者深度信息的图像,它可以提供更加准确的场景深度信息。可以通过将深度图像和红外图像进行融合,从而得到更加准确的场景信息,从而提高去雾效果。常用的融合方法有基于双目视觉的深度图像融合、基于结构光的深度图像融合、基于光流的深度图像融合等。此外,还可以将其他传感器数据,例如雷达数据、激光雷达数据等,与红外图像进行融合,以进一步提高去雾效果。

      3)实时性和移动性。实时性是指去雾算法对于红外图像的处理速度,通常在实时场景下需要保证算法的处理速度足够快,能够满足实时应用的需求。移动性是指去雾算法对于红外图像中移动目标的处理能力,对于一些移动目标,比如车辆、人物等,需要保证算法能够实时地对其进行去雾处理,以保证图像的清晰度和准确性。为了实现红外图像的实时去雾和移动目标的实时处理,未来可能会加强在算法方面的更新以及技术方面的变革,例如基于GPU的计算、快速移动目标的检测、实时性能优化等方面。

      未来的红外图像去雾技术将面向实时性和移动性的应用场景,如航空、卫星、移动设备等。对于这些应用场景,需要研究和开发更加轻量级的算法和系统,以满足实时性和移动性的要求。

    • 红外图像去雾具有非常重大的理论意义和实际应用价值,但是受到大气介质的复杂性和不确定性的影响,要在不同场景中适应不同光照、天气等环境变化并在消除图像中的雾霾、烟雾等介质的同时保留目标物体的细节和特征,需要深入研究大气光学模型和散射模型以提高去雾算法的准确性和稳定性,同时也对算法的鲁棒性、韧性和处理速度提出了更高的要求。因此,红外图像去雾技术仍面临着多重挑战,需要通过理论研究和实践探索来解决,以更好地满足实际应用的需求。详细介绍了红外图像去雾的概念、意义和现有技术,对现有的红外图像去雾技术进行了分类,分析了各种方法的原理、优势和不足,并预测了该领域的发展趋势。希望这些内容不仅可以帮助初学者了解红外图像去雾的研究现状,也可以为其他研究者提供参考和借鉴,为相关领域的发展做出贡献。

参考文献 (37)

目录

    /

    返回文章
    返回