Data augmentation method of infrared ship target based on spatial association

近年来，基于深度学习的目标检测方法通过大量数据驱动的方式，对多种不同的目标场景进行训练，采用多层神经网络架构，对目标的深层语义特征进行抽象，弥补了传统检测算法的准确性与泛化性不高等问题^[1]。当前基于深度学习的舰船目标检测相关研究集中在可见光图像上，红外舰船图像目标检测技术的发展较慢，其主要原因是红外舰船目标检测训练集过少导致需要大量数据驱动的深度学习方法易出现训练模型过拟合^[2-3]。

目前有参考文献[4]采用基于半监督迁移学习的方法，结合可见光图像与训练模型，使用少量已标注红外图像对网络进行调优，也能获得精度较高的红外目标检测网络。但这种方法仅从对模型进行迁移训练，未能解决数据集少的根本问题。而参考文献[5]提出的数据增强技术，则是对深度学习中的有限的数据进行增广，从而获得大量数据来驱动神经网络进行训练的方法，能够有效克服训练过程中由于图像数据少导致训练模型过拟合的问题。主流数据增强方法包括基于几何空间的传统数据增强方法与基于特征空间的智能数据增强方法两个大类：

（1）基于几何空间的传统数据增强方法其利用几何变换、混合图像及随机擦除等图像变换方法完成对原始图像数据的拓展^[6]。参考文献[7-8]利用了几种几何变换的方法，指出对于空地目标检测算法，优点是很好的保持了数据集的有效性与真实性，采用此方法增强训练集能在一定程度上提高检测精度。其缺点是此类方法仅按照几种固定的变换规则来对整个图像进行一个整体变换，并未对图像中单个目标个体做改变，因而数据多样性并未得到提升，难以提高目标检测算法的适用性与泛化性。

（2）基于特征空间的智能数据增强算法其主要形式表现为生成对抗网络(Generative adversarial network, GAN)。GAN对于原始图像的特性进行学习，并模仿出类似的特性，其优点是通过拟合出新的目标特性增加了数据集的丰富度，避免了网络模型因数据集单一而导致的过拟合现象，提高了对不同舰船数据集的适用性与泛化性。其缺点是真实红外图像采用特定的红外传感器进行获取，根据目标的热辐射特性进行成像，与GAN通过神经网络进行拟合图像的方法成像原理上存在较大差异，参考文献[9-10]分别利用了AugGAN与几种GAN模型，证明了GAN能拟合出目标特性，其有效性与真实性还有待验证。

参考文献[11]设计了一种数据增强方法，从数据集入手解决了可见光遥感舰船目标检测模型易过拟合的问题。但该方法仅使用了图像混合的操作方法对数据进行增强而忽略了其余几种方法的贡献，使用的DCGAN并不能模拟出红外小目标舰船，不利于红外小目标检测。在此基础上提出一种基于改进空间联合的红外目标图像数据增强方法，联合几何变换与特征拟合的相关方法对红外舰船目标进行增强。文中的主要贡献有：

(1)根据红外舰船图像特点，改进金字塔生成对抗网络(SinGAN)结构，在生成器结构中，引入了In-SE通道间注意力机制，增强了通道小感受野特征的表达，丰富了生成舰船的细节。

(2)提出了一种基于改进空间联合的红外舰船目标图像数据增强方法，将几何空间的几何数据变化与特征空间的金字塔生成对抗网络特征拟合相结合，从数据集层面对获取难度高的红外舰船数据集进行数据增强，以满足红外舰船目标检测的需求。

(3)针对不同联合比例的红外舰船目标数据集，设计了消融实验和对比实验，讨论不同联合比例对目标检测结果的影响，得出了当前数据集的最优联合比例。

现在深度学习如火如荼，多数研究人员集中在特征空间的可见光数据增强，在可见光舰船图像领域，数据增强已经展现较好的性能^[12]，但由于红外舰船图像数量少，获取难度大等原因，目前对红外舰船目标数据增强的相关研究少有提及。

参考文献[13]对比几种基于几何空间的数据增强方法，发现通过几何变换与随机擦除的方法所增强的数据集，训练得到的检测模型精度稍有提升。图像混合方法通过一定的比例系数将舰船图像与纯海面背景图像的像素叠加，在不改变舰船目标的形状及轮廓的前提下，训练得到的检测模型精度有了明显的提升。但这种方法在原有的红外舰船图像里增加了额外的海面背景信息，导致原本的舰船红外特性的改变，带来了检测算法的虚检率上升，但对舰船目标轮廓特性没有影响，未增加目标数据丰富度。

针对几何空间方法存在的不足之处，文中通过基于特征空间的智能数据增强方法进行弥补。生成对抗网络算法在目标特征层面对红外舰船目标图像特性进行拟合，能够有效的丰富目标图像特征。文中分析红外舰船目标特性，结合两种空间的数据增强方法，设计了一种适应红外舰船目标的数据增强算法，流程如图1所示。

Figure 1.  Flow chart of the data augmentation algorithm with infrared ship target

特征空间中数据增强方法大多为不同结构的GAN，GAN起源于“博弈论”的思想，其核心逻辑是生成器和判别器之间相互博弈、相互对抗。GAN能够通过特征拟合的方法，学习当前样本的特征并生成类似的特征，从而丰富样本的多样性。许多GAN需要大量数据集进行数据驱动从而训练得到精细的网络模型，而金字塔多尺度GAN则适用于小样本目标数据，因此文中利用改进后的金字塔多尺度GAN完成红外舰船目标数据在特征空间中的增强。

金字塔多尺度生成对抗网络(SinGAN)采用倒金字塔多尺度结构^[14]，网络每一层都有一组生成器与判别器来负责当前尺度下的图像目标，最底层金字塔的特征图最小，所提取的语义信息忽略了全局信息。生成与判别都是从下到上由粗略到细致进行的，金字塔在上升的过程中，有效图像块尺寸逐渐减小。

图2中$ N $代表金字塔的层数也就是网络的尺度，由输入图像的大小决定的，图像越大尺度越多，金字塔层数越多。除了最底层之外，每一层金字塔将随机噪声$ z $同前一层的生成图像$ \stackrel{~}{x} $采样之后的结果作为生成器的输入，判别器的输入则是生成图像$\tilde x$与真实图像$x$。从金字塔最底层开始训练，仅将噪声${z_N}$作为输入，生成图像数据${\tilde x_N}$，表达式为：

Figure 2.  Structure of the data augmentation algorithm based on feature space

在生成出图像${\tilde x_N}$后，一方面将其与真实图像${x_n}$输入判别器${D_N}$；一方面通过采样因子为$r$的上采样之后得到图像，将其与噪声${z_{N - 1}}$作为输入，传输至($N - 1$)尺度下的生成器${G_{N - 1}}$中，再由其生成当前尺度下的假图像${\tilde x_{N - 1}}$，可表示为：

每一个尺度中的生成器都会将上一层生成图像所缺少的细节加入到本层中，逐步完成生成图像，从金字塔底层由下至上，生成图像的细节也从稀少到丰富。

SinGAN所训练的红外舰船目标模型主要面向巡航导弹下视景象匹配图像，图像中战斗舰、补给舰等小型舰船目标特征过小。为了捕捉到更多的细节特征，主要对生成器的结构进行改进。图3给出了改进后的生成器结构。

Figure 3.  Diagram of the improved generator structure

原生成器用5个由3×3的卷积、批标准化和LeakyReLU激活函数组成的全卷积网络来完成生成图像的工作，最粗糙的尺度选用通道数为32，金字塔每上升4层通道数增加2倍。参考文献[15]在生成器前端引入Inception模块用于获取图像细节特征，Inception模块将输入特征分别通过4个分支，分别利用尺寸分别为1×1，3×3，5×5的卷积进行不同的卷积操作，最后将所得结果进行整合输出，使输出的特征分布更密集，加快了网络的收敛速度，能在不同的大小的感受野下，提取到不同尺度的特征。但每个通道的大感受野的特征会带来杂波干扰，影响小感受野的表达。为了解决这一问题，采用通道加权机制，引入In-SE通道间注意力模块，对通道不同分支进行自适应加权，丰富生成图像细节。

In-SE通道间注意力模块由Inception模块和SE模块构成，如图4所示。SE模块是一个轻量化的通道间注意力模块，首先对各个通道输入的特征进行全局平均池化，得到具有全局感受野的特征图；再通过两个全连接层将所有的输入特征进行融合，紧接着利用激活函数Sigmoid将输入映射到0~1之间，得到各通道间的加权向量；最后通过将得到的各个通道间加权向量与输入特征图的各个通道特征分别相乘，对不同的分支通道进行自适应加权。

Figure 4.  Structure of the In-SE channel attention module

每一个尺度的生成器对应了一个马尔科夫判别器^[16]，其由5个全卷积组成，卷积核的大小为3×3，每个尺度下的通道数与生成器相同，图5给出了判别器结构。判别器通过下采样的方法提取输入图像的全局信息，将生成图像$\tilde x$与真实图像$x$进行对比。

Figure 5.  Structure of the discriminator

几何空间中的数据增强主要采用旋转、翻转、平移、裁剪、擦除和图像混合等方法对红外舰船目标数据集进行扩充^[17]。图像旋转为了增加旋转不变性，因此旋转角度选取30°、60°、150°和210°；图像翻转中，由于海面目标垂直翻转偏离了实际情况，主要选用水平翻转；图像随机擦除的方法擦除比例过高会导致图像目标信息损失过大，因此擦除比例选择为0.1、0.2和0.3；图像混合的方法为了充分叠加正负样本的图像信息，同时主要关注正样本的特征信息，因此将正负样本图像混合比例设置为0.5、0.6和0.7。图6给出了部分利用几何空间中数据增强方法得到的红外舰船目标增强结果。

Figure 6.  Results of infrared ship data augmentation based on geometric space

从图2可以看出，基于几何空间的数据增强方法保持了原目标的外形轮廓，仅对图像的像素做了几何空间上的改变。对增强后的图像进行挑选，剔除其中擦除目标比例太大的图像，最后将经过几何变换方法所增强过的数据集定义为${N_{\text{1}}}$。

特征空间中的数据增强采用改进后的SinGAN对红外舰船数据进行增强。金字塔第$n$层GAN的损失函数由对抗损失${\rm{loss\_adv }}$和重建损失${\rm{loss\_rec}}$构成，用公式表示：

式中：$\alpha $为重建损失占总训练损失的权重。

对抗损失：选用WGAN-GP损失函数^[18]，计算输入判别器的生成图像$\tilde x$与真实图像$x$之间的Wasserstein-1距离，并对每个样本独立的施加梯度惩罚Lipschitz-1约束正则化，从而避免梯度爆炸，提高了训练的稳定性。

重建损失：当$n < N$时，生成器的输入包含当前尺度的噪声$ z_n^{{\text{rec}}} $，以及上层尺度生成图像的上采样$ \left( {\tilde x_n^{{\text{rec}}}} \right)^{ \uparrow ^r} $，此时重建损失可表示为：

当$n = N$时，生成器的输入仅为当前的噪声${z_N}$，此时重建损失表示为：

训练过程中采用Adam自适应算法，重建损失占总训练损失的权重$\alpha $为10，学习率为0.000 5，一阶动量为0.5，每个尺度训练次数为2 000次，当学习次数达到1 600次时将学习率减半。对生成的图像进行挑选，剔除其中拟合程度过低的图像，最后将经过特征拟合方法所增强过的数据集定义为${N_{\text{2}}}$，图7给出了部分生成结果。

Figure 7.  Results of infrared ship data augmentation based on feature space

空间联合的方法分为3种：

(1)首先对原数据集$N$进行几何空间的增强，得到数据集${N_{\text{1}}}$。再对数据集${N_{\text{1}}}$进行基于特征空间的数据增强，得到最终的联合数据集${N_{\text{3}}}$。由于几何空间中的随机擦除与旋转会带来图像中含有多余干扰，利用GAN对其图像进行拟合的同时有可能会将干扰项的影响扩大带来的信息冗余，同时保证不了图像的真实性与有效性。

(2)首先对原数据集$N$进行特征空间的增强，得到数据集${N_{\text{2}}}$。再对数据集${N_{\text{2}}}$进行基于几何空间的数据增强，得到最终的联合数据集${N_{\text{3}}}$。这种方法GAN模拟出来的图像特性与原图像近似，再进行图像混合操作会进一步使生成的图像特性弱化，在本质上仅利用GAN对图像进行增强，几何空间中的方法并未保持原始数据集$N$的有效性与真实性。

(3)分别对原数据集$N$进行不同空间的增强，分别得到数据集${N_{\text{1}}}$和${N_{\text{2}}}$。再将原数据集$N$与数据集${N_{\text{1}}}$和${N_{\text{2}}}$进行不同权重系数的混合，得到最终的联合数据集${N_{\text{3}}}$。从数据集层面上的联合既保证了原数据集的有效性和真实性，又丰富了数据集的多样性，同时避免了信息冗余与图像特性弱化等问题，更加适用与红外舰船目标。

为了集成两个空间中不同数据增强方法的优点以及弥补各自的缺点，选用第（3）种方法对增强后所得到的数据集与原数据集进行数据集层面上的联合。为了探究联合数据集的最优联合比例，设计了消融实验与对比实验，利用4种不同的目标检测网络对不同联合比例的联合数据集进行对比分析，从而得到适用于红外舰船目标的联合数据集${N_{\text{3}}}$。

实验数据：原始数据集$N$为采用多模传感器仿真系统仿真出的红外舰船图像，尺寸大小为640×480 pixel，有红外舰船图像2 000张，数据集中船舶目标为正样本，其余为负样本。按照6∶2∶2的比例将原始数据集分为训练集、验证集与测试集，训练集包含船舶图像1 200张，图像中舰船数量为4 364艘，海面图像400张；验证集有船舶图像400张，图像中舰船数量为1 227艘；测试集船舶图像400张，图像中舰船数量为1 258艘。

实验平台：系统为Ubuntu 18.04，使用的深度学习框架为Pytorch，语言为Python 3.7。

实验过程中保持原数据集训练集测试集所有图片不变，对训练集中的红外舰船图像做数据增强。为了验证算法的数据增强效果，利用目标检测算法YOLOv3、SSD、R-FCN和Faster R-CNN做精度测试。采用平均准确度mAP值作为有效性评价指标，各个算法均在增强前后的数据集上训练至收敛，在同一个测试集上测试。

实验检测依据红外舰船目标的智能算法目标检测精度，因此主要关注不同实验方案里平均精度mAP值的变化。按照一般目标检测算法正负样本为3∶1的比例，实验统一将原始数据集扩充为4倍，其中包含原始数据集以及3倍数据增强的图像。

在数据集层面上的联合，需要将几何空间与特征空间扩充的数据集与原始数据集按照不同的比例系数进行混合，从而得到最终的联合数据集。为了确定几何空间与特征空间所扩充的数据集对最终联合数据集的影响，通过对不同联合比例系数的实验组进行目标检测实验，得到舰船模型的测试指标，从而得到最优的联合比例。按照扩充后的数据集为原始数据集4倍大小的实验方案，设置不同联合比例实验8组，表1给出了A1~A8各实验组3个数据集的联合比例以及红外舰船图像总数。

由表1中，$N$、${N_{\text{1}}}$、${N_{\text{2}}}$分别代表原始数据集、几何空间增强数据集和特征空间增强数据集所占比例。其中实验对照组A1代表增强前的原数据集，实验对照组A2、A8为消融实验代表仅用特征空间方法增强或仅用几何空间方法增强，其余实验对照组均为按不同比例混合的联合增强数据集。

图8给出了各个对照组在四种算法训练过程中的loss函数曲线对比。从图8可知，仅含原始数据集的A1组loss收敛值最大，消融实验组A2和A8利用任意单一空间的数据增强方法后四种目标检测算法loss曲线均下降的更快，收敛时的loss值更小。A3~A7对比实验组均联合不同比例的两种空间增强数据集，相比于A1组其loss曲线收敛值更低，说明采用了基于空间联合的红外舰船数据增强方法之后，红外舰船数据空间变得更加平滑，所训练出的模型更精确。表2给出了各实验组的数据增强对比实验目标检测mAP值。

Figure 8.  Comparison of the loss curves of each experimental group on different algorithms

由表2可知，消融实验组A2与A8在4种目标检测算法上的精度测试表现均高于原始数据集实验组A1，说明仅用任意单一空间的数据增强方法均对目标检测精度有所提升。A8组仅使用基于几何空间的方法，检测结果均对小目标舰船有不同程度的漏检。而A2组仅使用基于特征空间的方法，由于生成对抗网络所重构的舰船目标大多为小目标，检测算法则对测试集图像背景中的海杂波产生了少部分虚检。

对比第7组和第8组可知，在加入少部分基于特征空间的增广数据集之后，由生成对抗网络所重构的舰船目标丰富了目标特征多样性，能够使检测精度提升。对比A2组和A3组可知，加入了少部分基于几何空间的增广数据集之后，降低了对海杂波的虚检，也提升了检测精度。在对比实验组中，A3、A4与A5组的目标检测结果明显优于A6和A7组，但3组检测结果相差不大，说明在几何空间数据集增加到0.5比例的时候，几种网络的在训练集上的检测能力基本上均趋于饱和，A4组的检测精度有小幅上涨，因此最终联合数据集${N_{\text{3}}}$选用原始数据集$N$、几何空间增强数据集${N_{\text{1}}}$和特征空间数据集${N_{\text{2}}}$的联合比例为1∶1∶2。相比仅使用任意空间的数据增强方法，采用不同比例联合的方法能够同时结合两者的优点，在保证小目标舰船样本检测率的同时降低了海面背景中海杂波的虚检。与原始数据集$N$相比，四种算法在最优比例数据集${N_{\text{3}}}$上的检测精度均提升了10%左右，验证了基于空间联合的红外舰船目标数据增强方法的先进性与可行性。

文中提出了一种适用于红外舰船目标数据增强的方法，首先利用几何变换以及图像混合等操作在几何空间中对原始数据集进行增强得到数据集${N_{\text{1}}}$，其次在SinGAN的生成器引入In-SE通道间注意力机制模块，在特征空间中对红外舰船目标进行特征拟合得到数据集${N_{\text{2}}}$，最后将原数据集与两个数据集按1∶1∶2的比例进行混合得到联合数据集${N_{\text{3}}}$，经过4种目标检测算法的测试，平均精度（mAP）与$N$相比均提高了10%左右，从而验证了该方法的先进性与可行性，解决了红外舰船目标缺乏的问题，为红外舰船目标检测提供了数据来源。