Parallel multifeature extracting network for infrared image enhancement

红外图像是仅反映目标物体红外辐射能量的灰度图像，其受环境干扰较小，已在野外侦察、航空航天及居家看护等军事和民生领域发挥着不可替代的作用^[1]。然而，红外波段的辐射波长比可见光长，导致红外图像的空间分辨力比可见光低，图像细节信息不丰富^[2]。此外，受红外成像器件本身的缺陷和外部环境的影响，红外图像通常呈现低对比度，目标边缘不清晰和人眼视觉效果不佳等缺点，很难完成目标定位识别、人体姿态估计等机器视觉任务^[3]。因此，为了得到适合人眼观察或机器识别的高质量红外图像，有必要对红外图像增强，提高图像对比度、丰富细节特征，区分背景和目标，从而提高上述任务的效率和精度^[4]。

深度学习流行前，针对红外图像增强任务，主要采用基于灰度变换的直方图均衡化（Histogram Equalization, HE）^[5]和基于物理模型的Retinex算法^[6]。HE在低照度图像增强任务上取得了良好的效果。然而，针对低对比度红外图像增强，HE通常会加大红外图像的各种噪声，局部区域呈现过增强，产生非常差的结果^[7]。为了解决这个问题，出现了许多基于直方图均衡化的变体，如DPHE^[8]、CLAHE^[9]等。这些方法虽能够在一定程度上提高对比度和抑制噪声，但会产生光晕现象，并造成边缘模糊，降低人眼视觉效果。模仿人眼视觉系统的Retinex方法在处理红外图像时，能更进一步地保留细节信息，丰富图像纹理，然而其依赖参数选择，模型泛化能力差，不能自适应地优化图像。

深度学习广泛应用于计算机视觉领域后，Choi等人^[3]受SRCNN启发，首次设计了一个相对浅的卷积神经网络TEN用于热图像增强。Lee等人^[10]提出了TIECNN用于红外图像增强，它结合亮度域和残差学习，以提高网络性能和收敛速度。Kuang等人^[11]在卷积神经网络结构中加入生成对抗网络，提出了IE-GAN用于单帧红外图像增强，能有效抑制背景噪声，并增强图像对比度和细节，但需要设计相对复杂的损失函数。He等人^[12]提出了一种具有多个感受野（CDN_MRF）的深度级联网络架构，以解决具有大比例因子的单帧红外图像超分辨率问题。虽然上述基于CNN的方法对红外图像增强做出了贡献，但这些方法在增强对比度的同时会加重图像伪影，造成目标边缘模糊及产生光晕，不能充分展现图像的边缘和纹理。由此，提出了端到端学习的并行多特征提取网络红外图像增强方法解决以上问题。一方面，设计了结构特征权重映射块，用于生成全局特征权重，以保留原始图像的空间结构特征；另一方面，构造了双尺度特征提取块对不同尺度的特征图进行深度特征提取，学习图像的多特征信息，捕获细节和纹理。最后，解码模块对已提取的特征和初始权重进行融合，提升对比度，丰富细节纹理，生成高质量的增强红外图像。

并行多特征提取网络的整体框架如图1所示，由3条不同尺度的卷积路径组成，分别为Path1（$ 128\; \times 128 $）、Path2（$ 64\times 64 $）和Path3（$ 32\times 32 $）。Path1为结构特征权重映射块，直接对原始输入图像进行操作，构建全局特征权重。两种不同尺度的特征提取路径Path2、Path3构成的双尺度特征提取块，学习深层的纹理细节，完成多尺度特征提取、融合，捕获图像中需要增强的目标信息。解码器（Decoder）整合多路径特征信息，生成高质量的红外图像。

Figure 1.  Architecture of the overall network

为保持原始图像的整体结构，避免图像局部区域过增强，设计了结构特征权重映射块(Structural Feature Weight, SFW)，以学习低质量红外图像的全局信息，生成全局结构特征映射。如图1中Path1所示，该路径由4个卷积块(Conv-BN-PReLU)、全局平均池化(Global Average Pooling，GAP)和Mish激活函数组成。表1所示为文中提出的结构特征权重映射块参数信息，K表示卷积核大小，s表示步长，p表示填充，c表示通道数。除了第一个卷积块，其余卷积块均包含批次归一化操作(Batch Normalization, BN)，则结构权重映射可表示为：

式中：$ {F}_{in}\in {\mathbb{R}}^{C\times H\times W} $表示前4个卷积层提取的特征信息；H和W表示输入特征图的高度和宽度；$ {Y}_{GAP} $为全局平均池化操作；$ f(i,j) $表示每张特征图上的特征值；$ Mish $为非线性激活函数。给定$ 128\times 128 $的单通道输入图像，经结构特征权重映射块操作后，输出特征大小为$ {F}_{o}\in {\mathbb{R}}^{32\times 1\times 1} $。

为了提取图像纹理、边缘等高频细节信息，提出了双尺度特征提取网络块(Two-scale Feature Extraction Block，TSFEB)。该模块由Path2和Path3两种不同尺度的特征提取路径构成。首先给定输入大小为$ 128\times 128 $的图像，经卷积降采样操作，分别获得$64\times 64 \left({F}_{1}\right)$和$ 32\times 32\left({F}_{2}\right) $大小的双尺度特征图，如图1所示。其次，$ {F}_{1} $经通道压缩后，送入由不同卷积感受野组成的多尺度特征提取模块(MS-feature extraction)，以学习多尺度信息，提取$ {F}_{1} $的纹理结构。此外，在Path2中加入残差学习，用于融合前层提取的特征，避免了梯度消失或梯度爆炸。最后，微调特征图信息，实现Path2的输出。图2列出了MS-feature extraction的具体结构和参数设置，其中n、s、p和c分别表示卷积核尺寸、步长、填充和通道数。$ {F}_{3} $经通道压缩后送入由注意力(Attention Block, AB)和空洞卷积组成的特征提取块中以捕获更丰富的上下文信息。研究表明^[13]，注意力机制能够使网络专注需要增强的细节纹理，抑制背景，进而提高目标在图像中的表现度。图3所示为注意力模块的实现流程，首先前层输入经GAP后，得到多通道全局平均信息；再经过Conv、LeakyReLU和Sigmoid操作后，与前层输入相乘，输出注意力加权特征图Ô，Ô可表示为公式(4)：

Figure 2.  Module of the MS-feature extraction

式中：${{\hat A}}$表示输入特征图；$ \otimes $表示元素点乘；S代表Sigmoid激活函数，用来将权重压缩至$0 \sim 1$；L代表LeakyReLU激活函数。

Figure 3.  Architecture of attention block

此外，扩大卷积感受野有助于网络提取更多的信息，目前空洞卷积技术在扩大感受野方面具有广泛的应用，在图像去噪、图像增强等任务上有很好的效果^[14]。使用扩张因子为$ f $($ f=2 $)和扩张卷积层数为$ N $的空洞卷积，其感受野$ {R}_{F} $可以表示为公式(5)：

Path3采用$ f=2 $，$N=3$的空洞卷积块，$ {R}_{F} $大小为$ 13\times 13 $，相当于普通的6层卷积，这样既增加了网络对特征图上下文信息的关注度，还压缩了复杂的计算量。为避免网络加深而导致模型训练困难、梯度消失或爆炸的问题，在双尺度特征提取块中加入了多级残差结构。如图1所示，分别将下采样得到的双尺度特征信息通过元素相加的方式与下层特性信息融合，多级残差结构充分利用前层所提取的特征，使正向传播的特征得以保留，有益于网络的收敛。最后，Path3所提取的高维特征信息经deconv上采样后与Path2提取到的特征相加，实现双尺度多特征的融合。由此，双尺度特征提取网络块的整体参数设置如表2所示。融合结果$ {P}_{23}\in {\mathbb{R}}^{96\times 64\times 64} $可由公式(6)表示：

式中：${{{\hat E}}}\in {\mathbb{R}}^{96\times 64\times 64}$为Path2提取的特征；${{{\hat U}}}\in {\mathbb{R}}^{96\times 64\times 64}$为Path3提取的特征。

如图4所示的解码块用于恢复高质量的红外图像。首先，融合的双尺度特征图$ {P}_{23} $经卷积和反卷积操作后，特征图扩张为$ 128\times 128 $，实现特征升维。其次，将结构特征权重$ {F}_{o} $点乘各像素点，以保持原始图像的结构特征，避免局部区域过增强。最后，特征图经通道压缩卷积生成高质量的增强图像。

Figure 4.  Architecture of decoder block

红外图像可分解为图像空间结构权重和目标增强特征的乘积，其客观评价指标主要为峰值信噪比(PSNR)和结构相似性(SSIM)，通常采用均绝对误差（Mean Absolute Error, MAE)、均方差（Mean Square Error，MSE）或MSE与感知损失、生成对抗损失相结合等作为损失函数，以取得有意义的评价结果。考虑计算量、时间成本等因素，文中选择MSE对重构图像和标签图像的各个像素点计算，损失函数可表示为公式(7)：

式中：$ O\left(i,j\right) $与$ I\left(i,j\right) $分别表示重构图像和标签高质量图像；H和W为图像的高度和宽度；$\textit{Ǧ}$表示网络结构特征权重；$ G $表示理想特征权重；$\textit{Ê}$和$ E $分别表示网络增强映射和理想增强映射；$\textit{Ȓ}$表示$\textit{Ǧ}$和$ G $的差值，$\textit{Ř}$表示$\textit{Ê}$和$ E $的差值。

由于缺乏大规模多场景高低质量红外图像对，而低对比度化的灰度图像表现出相似的红外图像特性，如与红外图像有相近的均值和方差，且整体图像不够清晰，图像中目标与背景边界模糊，现有经典方法普遍对预处理后的可见光图像进行训练。文中实验从目标检测数据集ImageNet^[15]中随机选择部分图像，经滑窗裁剪的方式，生成85347张$ 128\times 128 $大小的图像块用于训练。首先，对这些图像块进行灰度化(Grayscale)处理，获得高质量灰度图片；其次，采用对比度因子$ \alpha \in \left[\mathrm{0.5,0.51}\right] $范围的随机对比度函数对高质量灰度图像低对比度化，获得相应的低质量灰度图片。部分训练样本如图5所示，第一行为高质量标签图像，第二行为低质量输入图像。

Figure 5.  Part of the training sample pairs

为验证所设计网络的性能质量和视觉效果，使用BSD200^[16]、TNO^[17]和OTCBVS^[18]数据集进行评价。常用于图像分割、图像超分辨等任务的公共数据集BSD200经灰度化，低对比度化处理后，用于图像质量的客观评价。

TNO和OTCBVS真实红外图像数据集缺乏对应的低质量图像，因此采用低对比度化的数据作为相应的低质量图像，以实现真实红外图像的客观评价和视觉效果对比。测试数据均调整为$ 256\times 256 $分辨率。

文中网络是在运行环境为 Ubuntu 20.04 操作系统和 Pytorch1.5.1 框架上搭建的。实验所用台式机使用了1块 Inter Xeon E5-2620 v4 CPU和1块 Nvidia TITAN XP 12 G GPU。批次大小为64，网络优化器选择Adam，初始学习率为$ 1 e-3 $，采用余弦学习率衰减策略，经300个epoch后，学习率降至$ 1 e-6 $。

对于图像增强任务，通常采用峰值信噪比(PSNR)和结构相似性(SSIM)定量评价网络模型的性能。PSNR是基于对应像素点之间的误差，其值越大，表示图像质量越好。PSNR计算方法如公式(8)所示：

式中：b为8；MSE计算如公式(2)。结构相似性（SSIM）是衡量2幅图片相似度的指标，SSIM值越接近1，表示2张图片越相似，输出图片更吻合真实标签图片，其计算公式如公式(9)所示：

式中：$ {\mu }_{x} $和$ {\mu }_{y} $分别为原始高增益图像和输出图像的平均灰度值；$ {\sigma }_{x} $和$ {\sigma }_{y} $为标准差；$ {C}_{1} $和$ {C}_{2} $为常数。

文中方法以平均PSNR和平均SSIM作为客观评价指标，与红外图像增强的典型传统方法HE^[5]、CLAHE^[9]、SSR^[6]、MSR^[6]和深度学习方法TEN^[3]、TIECNN^[10]及IE-GAN^[11]进行定量比较，对比度因子$ \alpha \in \left[\mathrm{0.5,0.51}\right] $，BSD200数据集实验结果如表3和图6所示。

从表3数据可知，文中方法在BSD200数据集上取得了最佳的PSNR和SSIM，较基于灰度变化的CLAHE方法分别提升了13.23 dB和0.02；较基于Retinex理论的MSR分别提升了17.85 dB和0.07；较基于对抗生成网络的IE-GAN分别提升了9.19 dB和0.03。文中方法较CLAHE和IE-GAN分别提升了约37.35%、2.1%和25.94%、3.15% 。从图6可知，文中网络在减小重构图像伪影、天空光晕等方面显著优于传统方法和其他深度学习算法，在提升企鹅、人像和建筑物等具体目标对比度的同时，文中方法避免了局部区域过增强，能清晰地区分目标和背景，重构效果接近高质量图像，实现低质量图像有效增强。

图7和表4展示了文中算法与其他方法在真实红外图像数据集上进行了增强的视觉效果对比及客观指标对比。图7中第1、3行为不同方法的增强结果，第2、4行为局部放大图，最后1列为高质量红外图像。与其他方法相比，文中方法能准确关注需要增强的目标区域，避免图像过增强，显著提升了图像整体对比度和纹理细节信息，同时降低了增强区域的图像伪影，使目标边缘更加清楚，图像整体更加平滑，具有更佳的视觉效果。文中方法较基于灰度变化的CLAHE方法分别提升了10.94 dB和0.01；较基于Retinex理论的MSR分别提升了17.36 dB和0.03；较基于SRCNN的TEN网络分别提升了9.95 dB和0.07；较基于对抗生成网络的IE-GAN方法分别提升了8.87 dB和0.02；较CLAHE和IE-GAN分别提升了约30.62%、1.04%和24.83%、2.08%。

Figure 6.  Image enhancement on BSD200 with $ \alpha \in \left[\mathrm{0.5,0.51}\right] $

Figure 7.  Test result on real infrared images with $ \alpha \in \left[\mathrm{0.5,0.51}\right] $

由于不同场景下的红外图像灰度变化具有随机性，进一步研究了文中方法在不同对比度因子条件下的图像增强。具体做法是仅将$ \left[\mathrm{0.5,0.51}\right] $的对比度范围动态调整为$ \left[\mathrm{0.1,0.11}\right] $，$ \left[\mathrm{0.2,0.21}\right] $，$ \left[\mathrm{0.3,0.31}\right] $及$ \left[\mathrm{0.4,0.41}\right] $，其他参数设置不变，验证提出的方法对不同场景的增强性能。图8和表5展示了灰度图像经不同对比度因子($ \alpha $)范围作用后的增强效果。图中第一行为输入的低质量图像，第二行为重构的增强图像。从图中可以直观看出，即使在极低对比度条件下，如图8(a)所示，低质量的灰度图像经网络学习后既能显著地提升对比度，增强图像中感兴趣的区域，还保留了目标区域的纹理细节，有效抑制了边缘处的伪影。表4列出了不同$ \alpha $条件下的平均PSNR和平均SSIM，文中方法对于不同的$ \alpha $也能保持较高的PSNR和SSIM，实现低质量图像的有效增强。

Figure 8.  Image enhancement effect on BSD200 with different $ \alpha $ using proposed method

为验证各模块对网络性能的影响，文中进行了消融实验。首先验证不同特征提取路径的增强效果，其次验证多尺度特征提取对网络模型的影响，实验结果如表6所示，最后1列为平均推理速度(s)。实验表明，不同特征提取路径表现出近似的增强效果，仅在结构特征权重映射块(SFW)作用下，PSNR与SSIM分别为27.35 dB、0.92；仅在双尺度特征提取块（TSFEB）作用下，PSNR与SSIM分别为29.15 dB、0.90。未结合多尺度特征提取的Path2路径测试结果分别为25.26 dB、0.83，相较于标准Path2，PSNR与SSIM分别降低了1.77 dB、0.04，推理速度提升了0.05 s。仅Path3模块作用下，PSNR与SSIM分别为24.58 dB、0.92。最后两列比较了多尺度特征提取对整体网络的影响，增加多尺度特征提取层后，标准方法在PSNR和SSIM上分别提升了约12.51%、2.10%，推理速度仅延迟了0.04 s。

针对低质量红外图像增强任务，文中提出了一种并行多路径网络的红外图像增强方法。将红外图像分解为空间结构特征和目标增强特征，提出了结构特征权重映射网络和双尺度特征提取网络，分别学习图像特征结构和需要增强的感兴趣区域。在双尺度特征提取网络中采用多尺度卷积层，增强多尺度间的信息交换，将空洞卷积融入注意力中，强调对上下文信息的理解，既自适应地学习感兴趣区域，还扩大了网络感受野。为了降低网络的训练难度，引入了残差学习结构。实验表明，文中方法的PSNR和SSIM较典型的传统方法和深度学习方法有明显提升，经$ \alpha \in \left[\mathrm{0.5,0.51}\right] $低对比度化后，在BSD200数据集上，较CLAHE和IE-GAN分别提升了约37.35%、2.1%与25.94%、3.15%，在真实红外图像上，较CLAHE和IE-GAN分别提升了约30.62%、1.04%和24.83%、2.08%，且文中方法对于不同对比度因子的低质量图像也能实现有效增强。