留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种改进的红外图像自适应增强方法

汪伟 许德海 任明艺

汪伟, 许德海, 任明艺. 一种改进的红外图像自适应增强方法[J]. 红外与激光工程, 2021, 50(11): 20210086. doi: 10.3788/IRLA20210086
引用本文: 汪伟, 许德海, 任明艺. 一种改进的红外图像自适应增强方法[J]. 红外与激光工程, 2021, 50(11): 20210086. doi: 10.3788/IRLA20210086
Wang Wei, Xu Dehai, Ren Mingyi. An improved infrared image adaptive enhancement method[J]. Infrared and Laser Engineering, 2021, 50(11): 20210086. doi: 10.3788/IRLA20210086
Citation: Wang Wei, Xu Dehai, Ren Mingyi. An improved infrared image adaptive enhancement method[J]. Infrared and Laser Engineering, 2021, 50(11): 20210086. doi: 10.3788/IRLA20210086

一种改进的红外图像自适应增强方法

doi: 10.3788/IRLA20210086
详细信息
    作者简介:

    汪伟,男,高级工程师,硕士,主要研究方向为智能感知与识别、物联网、嵌入式系统软件、驱动设计、机器视觉、数字图像处理

    任明艺,男,高级工程师,博士,主要研究方向为数字图像处理、机器视觉

    通讯作者: 许德海,男,助理工程师,主要研究方向为数字图像处理、机器视觉。
  • 中图分类号: TN211

An improved infrared image adaptive enhancement method

  • 摘要: 对红外图像而言,如何在压缩动态范围的同时增强细节、抑制噪声以提升显示效果是一个重要的课题。文中提出一种改进的红外图像自适应增强方法,首先设计了一种参数自适应的引导滤波方法,并基于引导滤波将原始红外图像拆分成基本层和细节层;然后基于像素灰度分布设计了一种新型的自适应阈值的直方图映射方法,以对基本层压缩动态范围并增强其对比度;之后利用自适应引导滤波的线性系数对细节层进行增强并抑制噪声;最后对增强后的基本层和细节层进行自适应融合得到增强后的红外图像。实验结果表明,与对比度受限的自适应直方图均衡方法、基于引导滤波的高动态红外图像增强方法等几种效果相对较好的方法相比,文中所提出的方法处理后的图像细节更丰富,噪声抑制效果更强,视觉效果更好,且该方法适应性更强,无须调整参数即可应对多种观测场景。
  • 图  1  文中方法流程图

    Figure  1.  Flow chart of the proposed method

    图  2  $\varepsilon $参数的选取对细节层的影响

    Figure  2.  Influence of parameter $\varepsilon $ selection on detail layer

    图  3  场景一增强效果对比图

    Figure  3.  Comparison of the enhanced effects for scene one

    图  4  场景二增强效果对比图

    Figure  4.  Comparison of the enhanced effects for scene two

    图  5  场景三增强效果对比图

    Figure  5.  Comparison of the enhanced effects for scene three

    表  1  增强后图像的平均梯度

    Table  1.   Average gradient results of enhanced image

    Scene oneScene twoScene three
    AGC1.15013.98964.7873
    CLAHE10.49928.106510.4713
    BF & DRP9.79066.651811.5035
    GF & DDE7.65711.790811.6869
    GF & AIE10.4149.453210.7707
    Proposed10.67312.332412.6819
    下载: 导出CSV

    表  2  增强后图像的信息熵

    Table  2.   Information entropy of enhanced image

    Scene oneScene twoScene three
    AGC2.71241.27532.6324
    CLAHE3.86273.18473.0975
    BF & DRP5.63724.80585.2785
    GF & DDE5.65294.32705.5469
    GF & AIE6.03714.91345.9575
    Proposed6.85845.37167.2170
    下载: 导出CSV

    表  3  增强后图像的对比度增强测量

    Table  3.   Contrast enhancement measurement of enhanced image

    Scene oneScene twoScene three
    AGC14.19035.655717.1270
    CLAHE42.189227.694753.5822
    BF & DRP53.485435.950249.8434
    GF & DDE56.157643.381654.8213
    GF & AIE67.964954.931669.9109
    Proposed77.936151.26377.3534
    下载: 导出CSV
  • [1] Liu Zhe. Research on algorithms of nonuniformity correction and enhancement for infrared images[D]. Wuhan: Huazhong University of Science & Technology, 2018. (in Chinese).
    [2] Silverman J. Display and enhancement of infrared images[C]//1992 International Conference on Image Processing and its Applications, 1992: 345-348.
    [3] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations [J]. Computer Vision, Graphics, and Image Processing, 1987, 39(3): 355-368. doi:  10.1016/S0734-189X(87)80186-X
    [4] Zuiderveld K. Contrast limited adaptive histogram equalization [J]. Graphics Gems, 1994: 474-485. doi:  10.1016/B978-0-12-336156-1.50061-6
    [5] Digital detail enhancement (DDE) technical note[EB/OL]. [2013-06-12] http://www.flir.com/uploadfiles/Eurasia/MMC/Tech_Notes. (in Chinese)
    [6] Fan Yongjie, Jin Weiqi, Liu Bin, et al. An analysis of digital detail enhancement (DDE) technology developed by FLIR [J]. Infrared Technology, 2010, 32(3): 161-164. (in Chinese) doi:  10.3969/j.issn.1001-8891.2010.03.010
    [7] Branchitta F, Diani M, Corsini G, et al. New technique for the visualization of high dynamic range infrared images [J]. Optical Engineering, 2009, 48(9): 096401. doi:  10.1117/1.3216575
    [8] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[C]//Proceedings of the 29th Annual Conference on Computer Graphics and Interactive Techniques, 2002: 257-266.
    [9] Zuo C, Chen Q, Liu N, et al. Display and detail enhancement for high-dynamic-range infrared images [J]. Optical Engineering, 2011, 50(12): 127401. doi:  10.1117/1.3659698
    [10] Liu N, Zhao D. Detail enhancement for high-dynamic-range infrared images based on guided image filter [J]. Infrared Physics & Technology, 2014, 67: 138-147.
    [11] He K, Sun J, Tang X. Guided image filtering[C]//European Conference on Computer Vision, 2010: 1-14.
    [12] Xie Wei, Wang Liming, Hu Huanjun, et al. Adaptive multi-exposure image fusion with guided filtering [J]. Computer Engineering and Applications, 2019, 55(4): 193-199. (in Chinese) doi:  10.3778/j.issn.1002-8331.1711-0196
    [13] Tan Yunlan, Tang Pengjie, Xia Jiewu. Adaptive guided Image filtering for the panoramic image enhancement [J]. Journal of Jinggangshan University (Natural Science), 2018, 39(4): 34-42. (in Chinese) doi:  10.3969/j.issn.1674-8085.2018.04.007
    [14] Zhou Bo, Liang Kun. Method, device and electronic equipment of image detail enhancement based on regularization parameter of guided filter [P]. Hubei: CN110728645A, 2020-01-24. (in Chinese)
    [15] Chen Y, Kang J U, Zhang G, et al. Real-time infrared image detail enhancement based on fast guided image filter and plateau equalization [J]. Applied Optics, 2020, 59(21): 6407-6416. doi:  10.1364/AO.396417
    [16] Zhao F, Zhao J, Zhao W, et al. Gaussian mixture model-based gradient field reconstruction for infrared image detail enhancement and denoising [J]. Infrared Physics & Technology, 2016, 76: 408-414. doi:  10.1016/j.infrared.2016.03.022
    [17] Zhang Xiaojuan, Fan Dongyan. Infrared image dynamic range compression and contrast enhancement study [J]. Laser Journal, 2020, 41(6): 76-79. (in Chinese) doi:  10.14016/j.cnki.jgzz.2020.06.076
    [18] Shan Ruiqing, Li Bin, Han Wei, et al. Display and detail enhancement for high-dynamic-range infrared images [J]. Optical Technique, 2019, 45(4): 475-481. (in Chinese)
    [19] Wang Zijun, Luo Yuanyi, Jiang Shangzhi, et al. An improved algorithm for adaptive infrared image enhancement based on guided filtering [J]. Spectroscopy and Spectral Analysis, 2020, 40(11): 3463-3467. (in Chinese) doi:  10.3964/j.issn.1000-0593(2020)11-00-05
  • [1] 孙旭旦, 吴清, 赵春艳, 张满囤.  语义增强引导特征重建的遮挡行人检测 . 红外与激光工程, 2022, 51(9): 20210924-1-20210924-10. doi: 10.3788/IRLA20210924
    [2] 张骏, 朱标, 沈玉真, 张鹏.  基于引导滤波的多分支注意力残差红外图像去噪网络 . 红外与激光工程, 2022, 51(11): 20220060-1-20220060-11. doi: 10.3788/IRLA20220060
    [3] 庞忠祥, 刘勰, 刘桂华, 龚泿军, 周晗, 罗洪伟.  并行多特征提取网络的红外图像增强方法 . 红外与激光工程, 2022, 51(8): 20210957-1-20210957-9. doi: 10.3788/IRLA20210957
    [4] 张方, 肖辉.  基于三角函数变换与IRDPSO优化的图像增强算法 . 红外与激光工程, 2022, 51(8): 20210709-1-20210709-8. doi: 10.3788/IRLA20210709
    [5] 曹海杰, 刘宁, 许吉, 彭杰, 刘宇昕.  红外图像自适应逆直方图增强技术 . 红外与激光工程, 2020, 49(4): 0426003-0426003-7. doi: 10.3788/IRLA202049.0426003
    [6] 王新伟, 孙亮, 王敏敏, 杨于清, 周燕.  水下二维及三维距离选通成像去噪技术研究 . 红外与激光工程, 2020, 49(2): 0203002-0203002. doi: 10.3788/IRLA202049.0203002
    [7] 蔡怀宇, 张玮茜, 韩晓艳, 汪毅, 陈文光, 陈晓冬.  眼轴及眼前节SS-OCT一体化成像系统 . 红外与激光工程, 2020, 49(4): 0413006-0413006-9. doi: 10.3788/IRLA202049.0413006
    [8] 顾忠政, 殷达, 聂守平, 冯少彤, 邢芳俭, 马骏, 袁操今.  基于涡旋滤波的图像边缘增强研究进展 . 红外与激光工程, 2019, 48(6): 603015-0603015(14). doi: 10.3788/IRLA201948.0603015
    [9] 张智, 孙权森, 林栩凌, 韩明亮.  基于临近时空帧间信息的空间目标图像增强方法 . 红外与激光工程, 2019, 48(S1): 193-197. doi: 10.3788/IRLA201948.S128004
    [10] 钱润达, 赵东, 周慧鑫, 于君娜, 王士成, 荣生辉.  基于加权引导滤波与时域高通滤波的非均匀性校正算法 . 红外与激光工程, 2018, 47(12): 1204001-1204001(6). doi: 10.3788/IRLA201847.1204001
    [11] 叶华, 谭冠政, 胡长坤, 戴正科.  曲率滤波-经验模式分解的运动人体目标检测预处理 . 红外与激光工程, 2018, 47(2): 226001-0226001(6). doi: 10.3788/IRLA201847.0226001
    [12] 鲍雪晶, 戴仕杰, 郭澄, 吕寿丹, 沈成, 刘正君.  基于插值的共焦显微镜非线性畸变失真图像校正 . 红外与激光工程, 2017, 46(11): 1103006-1103006(7). doi: 10.3788/IRLA201746.1103006
    [13] 宋言明, 潘志康, 孟晓辰, 娄小平, 祝连庆.  基于仿人眼自适应调节的多光谱视觉图像处理方法 . 红外与激光工程, 2017, 46(9): 910001-0910001(8). doi: 10.3788/IRLA201746.0910001
    [14] 卢丙辉, 陈凤东, 刘炳国, 刘国栋, 戚子文.  基于映射图像匹配的子孔径拼接技术 . 红外与激光工程, 2016, 45(8): 824005-0824005(6). doi: 10.3788/IRLA201645.0824005
    [15] 许轰烈, 陈钱, 顾国华, 张玉珍.  利用导向滤波的宽动态范围图像增强技术 . 红外与激光工程, 2015, 44(12): 3843-3849.
    [16] 朴燕, 刘磊, 刘笑宇.  低照度环境下视频增强技术 . 红外与激光工程, 2014, 43(6): 2021-2026.
    [17] 刘雪超, 吴志勇, 王弟男, 杨华, 黄德天.  结合自适应窗口的二维直方图图像增强 . 红外与激光工程, 2014, 43(6): 2027-2034.
    [18] 高陈强, 阎兵早, 李强.  基于非线性映射模型的红外弱小目标图像仿真 . 红外与激光工程, 2013, 42(11): 2919-2924.
    [19] 贺明, 王亚弟, 贺菁, 陈向军, 路建方, 寇广, 沈鹏.  双边滤波直方图均衡的非均匀性校正算法 . 红外与激光工程, 2013, 42(10): 2620-2624.
    [20] 徐利民, 范文慧, 刘佳.  太赫兹图像的降噪和增强 . 红外与激光工程, 2013, 42(10): 2865-2870.
  • 加载中
图(5) / 表(3)
计量
  • 文章访问数:  509
  • HTML全文浏览量:  154
  • PDF下载量:  98
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-02-02
  • 修回日期:  2021-05-29
  • 网络出版日期:  2021-12-03
  • 刊出日期:  2021-11-30

一种改进的红外图像自适应增强方法

doi: 10.3788/IRLA20210086
    作者简介:

    汪伟,男,高级工程师,硕士,主要研究方向为智能感知与识别、物联网、嵌入式系统软件、驱动设计、机器视觉、数字图像处理

    任明艺,男,高级工程师,博士,主要研究方向为数字图像处理、机器视觉

    通讯作者: 许德海,男,助理工程师,主要研究方向为数字图像处理、机器视觉。
  • 中图分类号: TN211

摘要: 对红外图像而言,如何在压缩动态范围的同时增强细节、抑制噪声以提升显示效果是一个重要的课题。文中提出一种改进的红外图像自适应增强方法,首先设计了一种参数自适应的引导滤波方法,并基于引导滤波将原始红外图像拆分成基本层和细节层;然后基于像素灰度分布设计了一种新型的自适应阈值的直方图映射方法,以对基本层压缩动态范围并增强其对比度;之后利用自适应引导滤波的线性系数对细节层进行增强并抑制噪声;最后对增强后的基本层和细节层进行自适应融合得到增强后的红外图像。实验结果表明,与对比度受限的自适应直方图均衡方法、基于引导滤波的高动态红外图像增强方法等几种效果相对较好的方法相比,文中所提出的方法处理后的图像细节更丰富,噪声抑制效果更强,视觉效果更好,且该方法适应性更强,无须调整参数即可应对多种观测场景。

English Abstract

    • 与可见光成像技术不同,红外热成像技术是通过红外传感器接收热辐射的一种被动成像技术[1]。目前,高质量的红外相机通常拥有14 bit或者更高的高动态范围,然而典型显示设备的位宽为8 bit并且人类的视觉系统只能分辨128个灰度级[2]。因此需要将高动态范围的原始数据映射到较低的动态范围,并且在映射的过程中保持图像的细节信息、抑制噪声、增强视觉效果。

      直方图均衡(Histogram Equalization, HE)是一种常见的映射方法,可以有效压缩图像动态范围并增强图像对比度,但是该方法存在丢失图像细节的问题。Pizer[3]等人提出了自适应直方图均衡方法(Adaptive Histogram Equalization, AHE),通过计算局部直方图以获取像素的映射关系,从而提高图像局部对比度并保留更多的图像细节,然而AHE方法在增强图像的同时也带来了更多的噪声。在AHE的基础上,Zuiderveld[4]提出了对比度受限的自适应直方图均衡方法(Contrast Limited AHE, CLAHE),在选择局部直方图映射函数时通过设置一定的阈值对图像对比度进行限制从而在一定程度上避免噪声的放大。

      对红外图像而言,由于小目标(或目标局部细节)像素数相对较少,基于直方图的处理方法往往会造成图像细节的大量损失,增强效果欠佳。为此,FLIR公司提出一种数字细节增强技术(Digital Detail Enhancement, DDE)[5],该技术在压缩红外图像高动态范围的同时可保留更多的细节。FLIR公司并未公布DDE的技术细节,通过对DDE技术的分析[6],可推测出DDE技术的基本原理是将原始红外图像拆分成基本层和细节层,然后针对基本层和细节层的特性分别进行增强。基于DDE的思想,一些研究人员进行了相关研究,提出了一系列的红外图像增强方法[7-18]。Branchitta[7]等人提出一种基于双边滤波的红外图像增强方法(Bilateral filter and dynamic range partitioning, BF&DRP),该方法使用双边滤波[8]处理原始红外图像得到基本层,将原始图像减去基本层获得细节层,然后分别对两部分进行不同参数的伽玛校正,最后将两部分加权融合得到增强图像。BF&DRP方法在梯度变化较大的位置容易出现梯度反转现象并产生伪影,且计算量较大,无法实现实时处理。

      Zuo[9]等人对BF & DRP进行改进,提出了一种红外图像显示和细节增强方法(Bilateral filter and Digital detail enhancement, BF & DDE),该方法同样采用双边滤波将原始图像划分为基本层与细节层;然后使用自适应高斯滤波(Adaptive Gaussian Filtering, AGF)修正基本层和细节层;之后将基本层投影为8 bit图像,并使用自适应增益控制方法增强细节层;最后两部分重新组合得到增强图像。BF & DDE方法可在一定程度上避免双边滤波产生的伪影。

      Liu等[10]提出了基于引导滤波的红外图像增强方法(Guided filter and Digital detail enhancement, GF&DDE),该方法采用引导滤波[11]将原始红外图像拆分为基本层和细节层,从而避免了伪影的产生并且大幅提升了计算速度,但其参数需要人工设定其随意性较大,且对于一些场景细节增加过多,噪声较为明显,图像不自然。

      汪子君等[19]提出了一种基于引导滤波的自适应红外图像增强改进方法(Guided filter and Adaptive infrared image enhancement, GF & AIE),该方法同样采用引导滤波拆分原始图像,对基本层图像利用直方图分布信息确定自适应门限,去除图像中无效灰度值,使得基本层图像能更好地显示有效信息,对细节层图像采用自适应增益控制方法进行增强,最后通过加权融合得到增强图像,但GF & AIE方法未指定引导滤波的参数,且所设计的基本层自适应门限不合理,在某些场景下效果较差。

      文中提出一种改进的红外图像自适应增强方法,首先设计了参数自适应的引导滤波方法将原始红外图像拆分成基本层和细节层;对于基本层图像,基于灰度分布设计了一种新型的自适应阈值的直方图映射方法,以压缩动态范围并增强对比度;对于细节层图像,利用自适应引导滤波的线性系数进行增强并抑制噪声;最后对增强后的基本层和细节层进行自适应融合得到增强后的红外图像。文中所提方法处理后的图像细节更丰富,噪声抑制效果更强,视觉效果更好,且无须调整参数即可适应多种观测场景。

    • 文中方法流程如图 1所示,在引导滤波方法的基础上进行改进,首先分析引导滤波参数并重新设计一种参数取值方式,然后采用自适应参数的引导滤波将原始红外图像拆分为基本层和细节层。

      $${I_{GF}} = GF(I)$$ (1)

      式中:$GF( \cdot )$表示引导滤波。

      将引导滤波图像${I_{GF}}$作为基本层${I_{\rm B}}$,细节层由原始图像与基本层图像相减得到。

      $${I_{\rm D}} = I - {I_{\rm B}}$$ (2)

      基本层表征图像的灰度分布,对基本层进行自适应阈值的直方图映射得到增强后的基本层${I_{\rm BP}}$,细节层包含图像大量的边缘和纹理信息,因此对细节层采用自适应增益控制的方法进行增强得到增强后的细节层${I_{\rm DP}}$,然后将增强后的基本层和细节层进行自适应加权融合,最后将融合后的图像的灰度范围通过线性映射的方式调整为[0, 255]。

      图  1  文中方法流程图

      Figure 1.  Flow chart of the proposed method

    • 引导滤波是一种线性滤波器,如下式所示:

      $${I_{GF}} = GF(I) = \frac{1}{{\left| w \right|}}\sum\limits_{(i,j) \in w} {\left( {\overline a(i,j)I(i,j) + \overline b(i,j)} \right)} $$ (3)

      式中:$w$为滤波窗口;$\overline a(i,j)$$\overline b(i,j)$为线性系数。其计算过程如下:

      $$\left\{ {\begin{array}{*{20}{l}} {a(i,j) = \dfrac{{\dfrac{1}{{\left| w \right|}}\displaystyle\sum\limits_{(i,j) \in w} {I(i,j)G(i,j)} - {\mu _{i,j}}\overline I(i,j)}}{{\sigma _{i,j}^2 + \varepsilon }}} \\ {b(i,j) = \overline I(i,j) - a(i,j){\mu _{i,j}}} \end{array}} \right.$$ (4)
      $$\left\{ {\begin{array}{*{20}{l}} {\overline a(i,j) = \dfrac{1}{{\left| w \right|}}\displaystyle\sum\limits_{(i,j) \in w} {a(i,j)} } \\ {\overline b(i,j) = \dfrac{1}{{\left| w \right|}}\displaystyle\sum\limits_{(i,j) \in w} {b(i,j)} } \end{array}} \right.$$ (5)

      式中:$G(i,j)$为引导图像$G$$(i,j)$处的像素灰度;${\mu _{i,j}}$$\sigma _{i,j}^2$分别为图像$G$在滤波窗口$w$内的局部均值与方差;$\overline I(i,j)$为图像$I$$(i,j)$处局部窗口$w$内的均值;$\left| w \right|$表示局部窗口$w$内的像素数目。通常可令引导图像$G$为原始红外图像$I$

      从上述公式可以看出引导滤波的边缘保持特性:如果一个像素位于高方差窗口区域,即$\sigma _{i,j}^2 \gg \varepsilon $,它的值几乎不会改变,如果一个像素它位于较“平坦”区域(即低方差区域),则其滤波后的值接近于邻域像素的平均值。因此$\varepsilon $为判定该像素处于高方差区域还是低方差区域的评价参数。目前使用引导滤波进行红外图像增强的方法[10, 19],并未对$\varepsilon $的取值进行研究,通常将其人为设定为一个固定值,对于一幅图像需要通过反复的调整才能达到一个较好的效果,但固定的$\varepsilon $值无法适用于所有的观测场景,其适应性较差。

      针对引导滤波参数自适应问题,研究人员进行了相关研究。参考文献[12]认为,边缘区域中${a_k}$值较大,需要较小的$\varepsilon $,过渡平滑区域需要较大的$\varepsilon $去获取更小的逼近误差,因此设计了一个与梯度倒数成正比的$\varepsilon $系数,但该方法需要计算梯度图像,增加了计算量,而且在图像边缘处放大了噪声,在平坦区域丢失了图像细节;参考文献[13]在原引导滤波中引入梯度模差值作为偏移量,但该方法并未实现$\varepsilon $参数的自适应;参考文献[14]首先计算各个像素点的局部方差,然后统计局部方差的直方图,对直方图按照方差值递增的方向进行遍历,并依次与设定的阈值进行比较,当直方图的取值首次小于阈值时所对应的方差值即为引导滤波的自适应参数,其中的阈值设计为图像像素总数的0.02%,但该方法需要统计像素方差直方图,计算较为复杂,为了解决上述问题,文中提出了一种自适应参数的引导滤波方法,该方法对不同的场景具有良好的适应性,且计算量较小。

      由前文分析可知,$\varepsilon $的选取受到局部方差大小的影响,在没有其它先验信息的条件下,可以认为$\varepsilon $为一个与所有局部方差的均值相关的系数,假定不考虑局部窗口重叠的情况,则有

      $$\varepsilon = {k_1}{\overline \sigma ^2} = k\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} $$ (6)

      式中:${\overline \sigma ^2}$为所有局部方差的均值;$\sigma _m^2$为第$m$个局部方差;$z$为局部方差的数目;${k_1}$$k$为系数。

      局部方差$\sigma _m^2$可表示为:

      $$\sigma _m^2 = \frac{1}{n}\sum\limits_{q = (m - 1) + 1}^{(m - 1) + n} {{{({x_q})}^2}} - \mu _m^2$$ (7)

      式中:$n$为局部窗口的大小;${x_q}$为像素点的灰度;${\mu _m}$为局部窗口内像素的均值。

      对于图像的全局方差${\sigma ^2}$,则有

      $${\sigma ^2} = \frac{1}{{{\textit{z}} \cdot n}}\sum\limits_{q = 1}^{{\textit{z}} \cdot n} {{{({x_q})}^2}} - {\mu ^2}$$ (8)

      式中:$\mu $为图像全局均值。

      将公式(7)代入公式(8),可得

      $${\sigma ^2} = \dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} + \dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\mu _m^2} - {\mu ^2}$$ (9)

      公式(9)右端可以划分为两部分,即$\dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} $$\dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\mu _m^2} - {\mu ^2}$。当$n$的取值越大时(即窗口尺寸越大时),$\dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\mu _m^2} - {\mu ^2}$越小,此时$\dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} $将越接近于公式左侧的${\sigma ^2}$,只要$n$的取值足够大($n \geqslant 9$),$\dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} $$\dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\mu _m^2} - {\mu ^2}$将产生数量级的差异,可以认为${\sigma ^2} \approx \dfrac{1}{{\textit{z}}}\displaystyle\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} $,即可以用全局方差${\sigma ^2}$近似局部方差$\sigma _m^2$的均值。在考虑邻域重叠的情况下,使用实测数据可以验证具有相同的结论,因此

      $$\varepsilon = k\sum\limits_{m = 1}^{\textit{z}} {\sigma _m^2} \approx {k_1}{\sigma ^2}$$ (10)

      图 2为采用3×3窗口大小,不同的$\varepsilon $参数进行引导滤波获取的细节层图像。当$\varepsilon $选择较小时,细节层更加丰富,噪声更加明显;当$\varepsilon $选择较大时,细节层会丢失一部分细小的纹理,噪声较小;与设置固定$\varepsilon $参数的方法相比,文中方法对$\varepsilon $值的选取更为合理,在滤除天空中噪声的同时楼房、植物部分的纹理得以保留。

      图  2  $\varepsilon $参数的选取对细节层的影响

      Figure 2.  Influence of parameter $\varepsilon $ selection on detail layer

    • 基本层包含了图像的灰度基本分布情况,因此需要对基本层进行动态范围压缩,调整其灰度分布并增强对比度。参考文献[10]对基本层的处理采用了直方图映射的方法,并对其进行了改进。令待处理的基本层图像为${I_{\rm B}}$,则直方图映射的详细步骤如下:

      (1)计算基本层直方图

      $$h\left( x \right) = \mathop \sum \nolimits_{i,j} \delta \left( {{I_{\rm B}}\left( {i,j} \right) - x} \right)$$ (11)

      式中:${I_{\rm B}}$为基本层图像;$\delta ( \cdot )$为离散时间单位脉冲函数。

      (2)对直方图进行二值化

      $${h_{\rm B}}\left( x \right) = \left\{ {\begin{array}{*{20}{l}} 0&{h\left( x \right) < T} \\ 1&{h\left( x \right) \geqslant T} \end{array}} \right.$$ (12)

      式中:$T$为阈值。

      针对参考文献[10, 19]设计的阈值方法容易造成增强后的图像过曝的问题。文中从像素的灰度分布出发,设计了一种自适应的阈值方法。

      文中认为,对一幅图像而言,像素数目越多的灰度级越重要,只要最重要的像素的总数超过图像总像素数的一定比例,即可表征整幅图像。因此按照像素数目对直方图进行降序排序得到降序排序直方图${h_{\rm BD}}$,然后对${h_{\rm BD}}$计算累积直方图${h_{\rm BDC}}$,当累积直方图占比超过总像素数的$\zeta $倍时,所得到的灰度级对应的降序排序直方图${h_{\rm BD}}$中的像素数目即为阈值。

      $$\left\{ {\begin{array}{*{20}{l}} {{t_{\rm{1}}} = \arg \mathop {\min }\limits_t \left( {{h_{\rm BDC}}(t) \geqslant \zeta \cdot W \cdot H} \right)} \\ {T = {h_{\rm BD}}({t_1})} \end{array}} \right.$$ (13)

      (3)计算累积分布函数

      $${h_{\rm C}}\left( x \right) = \left\{ {\begin{array}{*{20}{l}} 0&{x = 0} \\ {\dfrac{{\displaystyle\mathop \sum \nolimits_{y = 0}^{x - 1} {h_{\rm B}}\left( y \right)}}{{{n_{valid}}}}}&{x > 0} \end{array}} \right.$$ (14)

      式中:${n_{valid}}$表示有效灰度级的总数;${n_{valid}} = \displaystyle\mathop \sum \nolimits_{y = 0}^{L - 1} {h_{\rm B}}\left( y \right)$$L$为基本层图像的最大灰度级。

      (4)根据累积分布函数进行直方图投影

      $${I_{\rm BP}} = D + \left( {{h_{\rm C}}\left[ {{I_{\rm B}}} \right] - 1} \right) \cdot R$$ (15)

      式中;$D$表示监视器的动态范围,$D = 255$${h_{\rm C}}\left[ {{I_{\rm B}}} \right]$表示灰度级为${I_{\rm B}}$的累积分布函数,$R$的计算公式如下:

      $$R = \min \left( {{n_{valid}},D} \right)$$ (16)
    • 细节层由原始图像与引导滤波图像相减得到,即

      $$ {I}_{\rm D}= I-{I}_{\rm B}$$ (17)

      对细节层${I_{\rm D}}$的处理包含两个目的,即抑制噪声和增强细节。文中提出首先采用饱和处理的方法对细节层的噪声进行抑制,再利用自适应增益控制的方法对细节层图像进行增强。

      首先,计算细节层的均值$\;{\mu _{\rm D}}$和标准差${\sigma _{\rm D}}$,采用饱和处理的方法抑制细节层噪声。

      $$\left\{ {\begin{array}{*{20}{l}} {{I_{\rm DM}}\left( {i,j} \right) = {\mu _{\rm D}} + 3{\sigma _{\rm D}},}&{{I_{\rm D}}\left( {i,j} \right) > {\mu _{\rm D}} + 3{\sigma _{\rm D}}} \\ {{I_{\rm DM}}\left( {i,j} \right) = {\mu _{\rm D}} - 3{\sigma _{\rm D}},}&{{I_{\rm D}}\left( {i,j} \right) < {\mu _{\rm D}} - 3{\sigma _{\rm D}}} \\ {{I_{\rm DM}}\left( {i,j} \right) = {I_{\rm D}}\left( {i,j} \right),}&{{\mu _{\rm D}} - 3{\sigma _{\rm D}} \leqslant {I_{\rm D}}\left( {i,j} \right) \leqslant {\mu _{\rm D}} + 3{\sigma _{\rm D}}} \end{array}} \right.$$ (18)

      式中:${I_{\rm DM}}$为抑制噪声后的细节层图像;${\mu _{\rm D}}$${\sigma _{\rm D}}$分别为原细节层图像的均值与标准差。

      利用自适应增益控制方法对${I_{\rm DM}}$进行增强,以加强细节层图像的主边缘部分。其公式如下:

      $${I_{\rm DP}}\left( {i,j} \right) = Gain\left( {i,j} \right) \cdot {I_{\rm DM}}\left( {i,j} \right)$$ (19)

      式中:${I_{\rm DP}}\left( {i,j} \right)$为增强后的细节层在点$\left( {i,j} \right)$处的像素灰度值;$Gain\left( {i,j} \right)$为在点$\left( {i,j} \right)$处的增益系数。

      如果点$\left( {i,j} \right)$位于平坦区域,则$Gain\left( {i,j} \right)$值应该较小,而当$\left( {i,j} \right)$位于图像的边缘处,则$Gain\left( {i,j} \right)$值应该较大。由于在进行引导滤波时,其线性系数$\overline a$可表征局部的波动程度,因此将增益系数表示为:

      $$Gain\left( {i,j} \right) = q + \overline a\left( {i,j} \right) \cdot p$$ (20)

      式中:$q$表示增益系数的偏置;$p$表示增益系数的线性因子。

    • 参考文献[19]则根据有效灰度级的数目占整个灰度级的比例来设定融合系数,该方法具有一定的自适应性。由于文中获取的基本层与细节层图像所表征的图像信息更为完整,无需复杂的融合算法即可获取良好的增强效果,同时为了降低方法的复杂度,选择简单的固定系数加权和的方式进行基本层与细节层融合,即

      $${I_{out}} = \eta \cdot {I_{\rm BP}} + \left( {1 - \eta } \right) \cdot {I_{\rm DP}}$$ (21)

      式中:$\eta $为固定的融合系数。

    • 为了验证文中方法的红外图像增强效果,选用不同观测场景的原始红外图像进行测试,实验数据均为14 bit,文中选择了AGC、CLAHE、BF & DRP、GF &DDE和GF & AIE增强方法作为对比。其中CLAHE、BF & DRP、GF & DDE与GF & AIE所使用的参数均采用作者推荐的参考值。文中方法所涉及的参数取值为${k_1} = 0.94$$\zeta = 0.97$$q = 1$$p = 1.5$$\eta = 0.7$,且对所有的场景保持不变。

      图 3表示第一组场景的增强效果对比,该场景包含有灌木、建筑物和天空区域,边缘信息丰富。图3(a)(b)(c)(d)(e)(f)分别表示自动增益控制(AGC)、CLAHE、BF & DRP、GF & DDE、GF & AIE与文中方法的处理结果。可以看出,CLAHE方法增强效果不明显,图像整体偏暗,难以看清细节,BF & DRP有一定的增强效果,但细节依然较为模糊,GF & DDE方法虽然增强效果明显,但噪声过强,增强后的图像不够自然,GF & AIE方法增强效果相对较好,但左下角的建筑物窗户、楼顶等细节丢失,而文中方法增强后的图像细节丰富,对比度强,且没有受到噪声的影响,基本还原了实际场景。

      图  3  场景一增强效果对比图

      Figure 3.  Comparison of the enhanced effects for scene one

      图 4为第二组场景的增强效果对比,该场景中包含有挖掘机、工地杂物、围栏和杂草等,由于挖掘机排气口温度过高,造成原始图像对比度很差。CLAHE方法增强效果较差,基本难以看清背景,BF & DRP方法、GF & DDE方法与GF & AIE方法增强后的图像在挖掘机机体处均存在明显的过曝现象,细节较为模糊,而文中方法所获取的增强图像视觉效果良好,挖掘机上的文字清晰可见。

      图  4  场景二增强效果对比图

      Figure 4.  Comparison of the enhanced effects for scene two

      图 5为第三组场景的增强效果对比,该场景灰度分布较为均匀,场景中包含有建筑、树木、防护栏,边缘信息丰富。几种方法增强效果较为接近,但在右上角房屋顶部,文中方法所获取的增强图像细节更加清晰明显。

      图  5  场景三增强效果对比图

      Figure 5.  Comparison of the enhanced effects for scene three

      从上述各种场景的对比中,可以看出文中方法所获取的增强图像细节更加明显,对噪声的抑制效果更强,主观效果更好。

      文中选择平均梯度、信息熵、互信息图像增强效果的客观评价标准。

      (1)平均梯度

      平均梯度可以在一定程度上表征一幅图像包含的细节丰富与否,反映图像细节信息的呈现能力。平均梯度越大,图像细节信息越丰富,平均梯度的表达式如下:

      $$\begin{split} {G_a} =& \frac{1}{{NM}}\sum\limits_{i = 2}^N {\sum\limits_{j = 2}^M {{\rm{(}}\left| {{I_{out}}(i,j) - {I_{out}}(i - 1,j)} \right| +}}\\ &{{ |{I_{out}}(i,j) - {I_{out}}(i,j - 1))/2} } {\rm{ }} \end{split}$$ (22)

      式中:${G_a}$表示平均梯度;${I_{out}}$为增强后的图像;$N$$M$分别为图像的高和宽。

      6种方法对上述3种场景增强后的平均梯度值如表1所示。

      表 1  增强后图像的平均梯度

      Table 1.  Average gradient results of enhanced image

      Scene oneScene twoScene three
      AGC1.15013.98964.7873
      CLAHE10.49928.106510.4713
      BF & DRP9.79066.651811.5035
      GF & DDE7.65711.790811.6869
      GF & AIE10.4149.453210.7707
      Proposed10.67312.332412.6819

      (2)信息熵

      信息熵是评价图像质量的一种重要指标。图像的信息熵越大说明,图像细节越丰富,信息熵越大。信息熵的公式如下:

      $$E = - \sum\limits_{i = 0}^{L - 1} {{P_i}} \log _2^{{P_i}}$$ (23)

      式中:$E$表示信息熵;$L$为图像最大灰度级;${P_i}$图像直方图。

      6种方法对上述3种场景增强后的平均梯度值如表2所示。

      表 2  增强后图像的信息熵

      Table 2.  Information entropy of enhanced image

      Scene oneScene twoScene three
      AGC2.71241.27532.6324
      CLAHE3.86273.18473.0975
      BF & DRP5.63724.80585.2785
      GF & DDE5.65294.32705.5469
      GF & AIE6.03714.91345.9575
      Proposed6.85845.37167.2170

      (3)对比度增强测量

      对比度增强测量为一种图像对比度的评价指标,可以在一定程度上反应图像的对比度,对比度增强测量越大图像对比度越高,图像信息越丰富。对比度增强测量公式如下:

      $$EME = \frac{1}{{{k_1}{k_2}}}\sum\limits_{i = 1}^{{k_1}} {\sum\limits_{j = 1}^{{k_2}} {20\ln \frac{{\max ({X_{i,j}})}}{{\min ({X_{i,j}})}}} } $$ (24)

      式中:$EME$为对比度增强测量值;${X_{ij}}$${k_1}{k_2}$个不重叠的图像子块;$\max ( \cdot ),\min ( \cdot )$为最大值和最小值函数。

      6种方法对上述3种场景增强后的对比度增强测量如表3所示。

      表 3  增强后图像的对比度增强测量

      Table 3.  Contrast enhancement measurement of enhanced image

      Scene oneScene twoScene three
      AGC14.19035.655717.1270
      CLAHE42.189227.694753.5822
      BF & DRP53.485435.950249.8434
      GF & DDE56.157643.381654.8213
      GF & AIE67.964954.931669.9109
      Proposed77.936151.26377.3534

      比对3种评价指标,分析文中方法更好的原因,是由于采用引导滤波实现基本层与细节层的拆分,避免了双边滤波的梯度翻转问题,同时文中对引导滤波的滤波参数进行了精心的设计,使得拆分后的基本层和细节层图像更为准确的表征原图像的概貌和细节信息,并从基本层图像的灰度分布出发,设计了基于灰度分布的自适应的直方图映射阈值,处理后的基本层图像在大幅提升对比度的同时防止过曝现象,最终获取的增强图像纹理清晰、细节丰富、噪声较小,视觉效果良好。

    • 文中提出一种改进的红外图像自适应增强方法,首先通过自适应参数的引导滤波将高动态范围的原始红外图像拆分成基本层和细节层;然后利用基本层的灰度分布信息,设计自适应阈值的直方图映射方法,以压缩基本层的动态范围压缩并增强其对比度;采用自适应增益控制方法对细节层进行增强并抑制噪声;最后对增强后的基本层和细节层进行自适应融合得到增强后的红外图像。理论分析与实验结果表明,与其它方法比较,文中方法增强后的图像细节更丰富,噪声抑制效果更强,视觉效果更好,且文中方法的适应性更强,无须调整参数即可处理多种观测场景的红外图像。

参考文献 (19)

目录

    /

    返回文章
    返回