Target recognition method of infrared imagery via joint representation of deep features

红外成像具备夜间侦察能力，是对可见光侦察的有力补充。随着红外图像处理技术的发展，其在目标跟踪、识别等方面已经取得广泛运用^[1-5]。在军事领域，基于红外图像的目标识别对于情报侦察具有重要意义。与传统基于图像的目标识别类似，红外图像目标识别主要涉及目标检测和分类两个阶段。检测阶段实现对大幅图像中的感兴趣区域定位，获取潜在目标图像切片。分类阶段则根据有效先验知识对为未知输入进行目标类别的决策。现有的红外图像目标识别方法主要通过特征提取和分类器设计两个阶段进行设计验证。其中，典型的特征包括目标轮廓、局部纹理、图像变换特征等^[6-9]。分类中，最为广泛的包括支持向量机（Support Vector Machine, SVM）^[10]、稀疏表示分类（Sparse Representation Classification, SRC）^[11]等。近年来，深度学习技术发展迅猛，已成为图像解译领域的主流工具^[12-15]。在红外图像目标识别领域，以卷积神经网络（Convolutional Neural Network, CNN）为代表的深度学习模型也得到运用和验证^[12-13]。相比传统的“特征提取+分类器”的方法，基于深度学习模型的算法实现了两者的紧耦合，通过端到端训练的形式学习红外目标图像的多层次特征进而获得最佳的决策机制。

文中提出了深度特征联合表征的红外图像目标识别方法。设计CNN学习红外目标图像的多层次深度特征。CNN不同卷积层通过多个卷积核获得红外目标的不同特性。各个层次深度特征具有独立性也具有内在关联性。为此，在分类决策阶段，采用联合稀疏表示（Joint Sparse Representation, JSR）^[16-17]对多层次深度特征进行表示。JSR可在独立表示各类深度特征的同时，利用它们之间的关联性提升表示精度。最终，根据不同训练类别对测试样本的重构误差进行决策。实验中，基于中波红外（MWIR）目标图像数据集开展实验，分别对原始测试样本、噪声测试样本进行分类。此外，还在少量训练样本的条件下进行验证。与现有基于CNN的红外图像目标识别方法相比，文中对于深度特征的运用更为充分，可为目标分类提供更充分的类别信息。此外，JSR模型的引入对于多层次深度特征的共同使用提供了良好工具，能发挥特征的有效性获得可靠的决策结果。实验结果表明，所提方法对于红外图像目标识别具有较强的有效性和稳健性，具有一定的使用潜力。

相比传统的神经网络，现代深度学习不断增加网络深度，特征学习能力显著增强。在图像处理领域，以CNN为代表的神经网络结构得到广泛运用和验证。CNN通过不同卷积核学习得到原始输入的多层次特征，实现对图像特性的互补描述。传统的CNN通过端到端的训练学习可直接用于分类问题。然而，这种处理方式对于中间过程中的多层次深度特征运用不够充分。为此，文中考虑将CNN网络中的多层次特征图进行同步运用，为后续分类提供更为有效的输入。

根据参考文献[12-15]等现有研究成果，文中设计红外图像目标识别的CNN结构如图1所示。该网络包括3个卷积层，共112个不同卷积核。对于训练得到的特征图，文中分别针对每个卷积层进行深度特征构造。具体地，对于每个卷积层的输出特征图，采用降采样进行降维处理，然后串接为特征矢量。对于不同卷积层的特征图，采用相同算法重复便可得到相应的深度特征矢量。不同卷积层获得的深度特征矢量在描述红外图像目标特性上存在互补性。同时，各层次深度特征源于同一幅红外目标图像，因此同时也具有内在相关性。

Figure 1.  CNN architecture for infrared imagery target recognition

JSR作为传统单任务稀疏表示算法的扩展，主要解决多个稀疏表示任务的同时求解问题。同时，JSR模型可引入内在约束，考察不同稀疏表示任务的关系从而提升整体精度。相比单个稀疏表示问题的独立求解，现有成果证明JSR模型具有更高的求解精度和运行效率^[16-17]。文中利用JSR对红外目标图像提取的多层次深度特征进行表征和分类。假设$y$为待识别的测试样本，按照图1所示的深度网络获得$K$个不同层次的深度特征矢量，记为：$\left[ {{y^{(1)}}\;{y^{(2)}}\; \cdots \;{y^{(K)}}} \right]$。JSR的核心问题是获得$K$个稀疏表示问题的最小重构误差，求解相应的系数矢量：

式中：${A^{(k)}}$为对应第k个层次深度特征的全局字典；${\alpha ^{(k)}}$为对应的稀疏系数矢量；$\beta = \left[ {{\alpha ^{(1)}}\;{\alpha ^{(2)}}\; \cdots \;{\alpha ^{(K)}}} \right]$为系数矩阵。

在公式（1）中，各个深度特征的稀疏系数求解之间并无关联，其最终结果等效于不同任务的独立求解。事实上，同一测试样本衍生得到的多层次深度特征之间是存在关联的。为此，JSR模型通过引入关联性约束更新优化目标函数如下：

式中：$\lambda $为大于零的正则化系数；$ {\left\| \beta \right\|_{2,1}} $（${\ell _{\rm{1}}}/{\ell _2}$）范数约束不同深度特征对应的系数分布规律，即为它们的内在关联性。

根据公式（2）的求解结果，可按照类别分别计算所有层次深度特征对于测试样本的重构误差。根据最小误差的原则可对输入红外图像的目标类别进行决策。

式中：$A_i^{(k)}$为第i类训练样本中对应第k层次深度特征的字典；$\alpha _i^{(k)}$为对应$A_i^{(k)}$的系数矢量。

文中将CNN和JSR模型联合运用于红外图像目标识别，构建如图2所示的流程图。CNN主要用于特征提取阶段，采用大量训练样本获得图1所示网络的最优参数。训练后的网络可分别对每一个用于训练的红外图像进行处理，按照第2章的流程构建不同层次的深度特征矢量，进而构建图2中所示的深度特征字典（含K个不同层次的深度特征）。对于待识别的测试样本，通过相同的网络获得其相应的K个深度特征矢量，并通过JSR进行联合表征。根据求解结果，按照公式（3）分别计算各个类别的重构误差，据此作出目标类别的判决结果。

Figure 2.  Illustration of infrared imagery target recognition via joint representation of deep features

采用中波红外目标数据集（MWIR）开展实验，覆盖波长范围3~5 μm，其中包含的10类目标类别及图像示意图如图3所示。该数据集采用目标圆周运动方式进行全方位采集，从而有效覆盖不同方位条件下的红外图像数据。实验中，对于任一类目标，通过图像平移、裁剪（包含目标区域）的方式获得120幅图像用作训练，100幅图像用于测试（测试样本与训练样本不同）。

Figure 3.  Labels and illustrations of the 10 targets in MWIR dataset

从公开文献中的红外目标识别算法中选取4类进行对比实验，包含采用SVM、SRC、JSR和CNN的方法。其中，SVM^[10]和SRC^[11]方法对红外目标图像提取的PCA特征矢量进行分类；JSR方法采用与文中一致的联合表征模型^[16]，但其特征均为投影变换类；CNN方法采用与文中相同的网络结构，但直接以原始图像为输入进行训练和决策，不涉及深度特征的进一步处理。

后续实验首先基于原始MWIR图像样本开展，然后对测试样本进行不同程度的噪声添加，检验所提方法的噪声稳健性，最后，对训练集进行不同程度的削减，考核方法在少量训练样本条件下的识别能力。

首先对3.1节设置的原始测试样本进行测试。此时，测试样本和训练集采集自相近的场景，相似度较高，目标识别难度相对较低。图4显示了所提方法对图3所示10类目标原始测试样本的混淆矩阵，对角线对应不同目标的正确识别率。定义平均识别率为${P_{{\rm{av}}}}{\rm{ = }}{N_{\rm{c}}}/{N_{\rm{T}}}$，式中${N_{\rm{c}}}$为所有类别正确识别的测试样本总数；${N_{\rm{T}}}$为所有测试样本的总数，据此计算得到所提方法的平均识别率为97.7%。表1对比了所提方法与4类对比方法的识别结果。对比可见，所提方法取得了最高的平均识别率，表明其对于MWIR数据集中原始测试样本的识别有效性。与JSR方法相比，文中通过运用鉴别力更强的深度特征有效提升了最终性能。与CNN方法相比，文中通过对其学习的多层次深度特征的联合运用，进一步提升了识别性能。上述结果验证了所提方法的有效性及其优势性能。

Figure 4.  Confusion matrix of the proposed method for original test samples

在原始测试样本的条件下，测试样本与训练集获取条件相近，具有相当的信噪比（SNR）。实际过程中，测试样本可能采集自不同的场景，受到不同程度的噪声干扰。为此，文中基于原始测试样本构造不同信噪比下的噪声样本。具体地，根据测试样本的能量，按照预设的信噪比要求构造加性高斯白噪声，并将其加入当前测试样本。通过调整信噪比要求，即可获得不同噪声水平（含信噪比10 dB、5 dB、0 dB、−5 dB和−10 dB）下的测试集。采用所提方法和对比方法对噪声样本进行测试，获得如图5所示的统计结果。可见，随着测试样本信噪比的降低，各类方法均出现性能下降。对比来看，所提方法在各个信噪比均取得了最高的平均识别率。特别是，CNN方法在低噪声水平下性能下降十分剧烈，文中方法引入JSR作为末端分类器提升了整体噪声稳健性。上述结果验证了所提方法对于噪声干扰的有效性。

Figure 5.  Comparison of recognition results on the noisy test samples with different methods

训练样本的规模和数量是分类器识别性能的重要影响因素。实际过程中，考虑到非合作目标红外图像获取的难度，训练样本往往十分稀缺。为此，识别算法在小规模训练集条件下的适应性十分关键。为此，文中对原始训练集进行随机削减，获得80%、60%、40%和20%比例下的训练集。图6显示了不同方法在各个削减训练集下的平均识别率。可以看出，所提方法在各个比例下均可确定最高性能，显示其在少量训练样本条件下的有效性。CNN方法识别性能与训练样本规模紧密相关，这也导致其在低比例训练集条件下识别率下降十分显著。文中通过结合多层次深度特征和联合稀疏表示提高了对于少量训练样本的适应性。

Figure 6.  Comparison of recognition results under reduced training sets with different methods

文中将CNN与JSR模型结合，用于红外图像目标识别。CNN用于红外目标图像的特征提取，获得了多层次的深度特征矢量；JSR模型对多层次特征矢量进行了表征分析，利用关联性约束提高了表示精度，获得了可靠决策。实验在MWIR数据集上开展，对10类目标进行了识别测试。根据实验结果，文中方法对原始图像样本以及噪声干扰样本均保持最高的平均识别率。随着训练集规模的减小，所提方法的性能依然高于对比方法。实验结果可有效验证所提方法对于红外目标识别的有效性。