-
红外成像是夜间观测的重要手段，基于获取的图像可开展情报分析和辅助决策。在军事领域，红外成像是单兵行动和战场侦察的有力工具[1-3]。基于获取的高分辨率红外图像，可对感兴趣的目标进行分析确认，获取其所属类别，即红外图像的自动目标识别。作为监督模式识别问题，红外目标识别遵循基本的特征提取和分类两个过程。特征提取过程获取红外图像中目标的关键信息，用于在分类过程中区分不同类别。现阶段用于红外图像的目标特征既包括描述目标外形的轮廓、区域等，也包括分析图像灰度分布的主成分分析（Principal component analysis，PCA），还包括描述目标细节特征的局部问题，如局部二值模式（Local binary pattern，LBP）等[4-8]。这些特征各具特点，可以在不同的场合进行针对性应用，还可以进行适当的融合使用[9]。进行分类阶段，可根据选用特征的特点适应性进行分类器的选择，典型的包括支持向量机（Support vector machine，SVM）、稀疏表示分类（Sparse representation-based classification，SRC）等[10-12]。深度学习算法的兴起为图像模式识别提供了新的有力工具，出现了多种基于卷积神经网络（Convolutional neural network，CNN）的红外图像目标识别方法[13-16]，并取得了良好的性能。
文中在现有研究的基础上，提出基于分类器决策融合的红外图像目标识别方法。在分类阶段，选用SRC和CNN两种分类器，并采用层次化融合思路。SRC作为第一轮分类器，可根据其输出的决策结果计算测试样本属于不同类别的概率。在此基础上，利用门限法获取若干候选类别，即为概率较高的训练类别。CNN作为第二轮分类器，其同样对不同类别输出了决策结果。文中针对第一轮获取的候选类别，采用线性加权融合对SRC和CNN的结果进行融合分析，并据此做出最终的识别决策。特别地，当SRC已经可以获得可靠决策时，则直接输出识别结果，无需进行第二轮识别，保证识别算法的整体效率。因此，文中方法通过结合SRC和CNN两类分类器的优势，提升最终的红外目标识别性能。实验中，在五类日常车辆目标的红外图像数据集上进行测试和对比。根据实验结果，文中方法的性能优于部分现有方法，针对红外目标识别问题具有良好性能。
-
SRC通过稀疏表示对未知样本进行表征和描述，并根据描述求解结果的规律性对样本的类别进行判定[11, 17-18]。SRC首先构建全局字典
$A = [{A^1}, {A^2}, \cdots , {A^C}] \in {{{R}}^{d \times N}}$ ，其中$ {A^i} \in {R^{d \times {N_i}}}(i = 1,2, \cdots ,C) $ 对应为第i类的局部字典，一般为该类别中的训练样本。基于全局字典对测试样本$ y $ 进行线性表征，可表示为：式中：
$ \alpha $ 表示需要求解的线性表示系数，并且约束具有稀疏特性；$ \varepsilon $ 为约束重构误差的门限。公式（1）为非凸优化，直接求解难度大。根据现有文献，一般采用
$ {\ell _{\text{1}}} $ 最小化（即采用$ {\ell _{\text{1}}} $ 范数替换公式（1）中的$ {\ell _0} $ 范数）或者正交匹配追踪等贪婪算法获取近似解。根据求解的线性系数矢量$ \hat \alpha $ ，可按照公式（2）分别计算不同类别对于测试样本的重构误差，比较其大小进行类别判断。式中：
$ {\hat \alpha _i} $ 为$ \hat \alpha $ 中与第$ i $ 类关联的系数；$ r(i){\text{ }}(i = 1,2, \cdots ,C) $ 为不同类别的重构误差。根据文献报道，SRC这种压缩感知处理机制对于噪声干扰、目标遮挡等情形具有很好的适应性，这一优点可与其它分类器进行科学融合，提升整体识别算法的稳健性。
-
CNN是传统神经网络与现代信号处理技术融合的结果，其核心是通过卷积操作获取输入二维信号，如图像的多层次特征，从而可以为针对性的解译提供支撑[13-16]。卷积层作为CNN的核心，是深度特征训练和学习的关键。在CNN的网络结构中，上一层特征图
$O_m^{(l - 1)}(m = 1, \cdots ,M)$ 会与下一层特征图$O_n^{(l)}(n = 1, \cdots ,N)$ 关联，两者之间的关系描述如下：式中：
$k_{nm}^{(l)}(p,q)$ 表示卷积核；$\sigma ( \cdot )$ 代表激活函数，如ReLu函数；$b_n^{(l)}$ 为常数偏置项。通常，对于每个卷积层输出的特征图采用池化层进行池化操作，从而提高整体效率和稳健性。以最大值池化为例，池化层的操作如下：
式中：
$ h \times w $ 为滑动窗口的尺寸。CNN通过多个卷积层、池化层，并在末端采用适当的分类器，如Softmax可实现端到端训练、学习，实现图像分析。文中参照参考文献[16]设计卷积神经网络，共包括3个卷积层、3个最大值池化层和1个全连接层；采用ReLu函数作为激活函数，Softmax作为分类器具体可对网络进行微调，适应不同目标数目的识别任务。
-
文中选用SRC作为第一轮识别的分类器，在获取识别结果的同时承担预筛选的作用。假设共有C个类别，通过SRC得到这些类别对应的重构误差为
$ r\left( i \right){\text{ (}}i = {\text{1}},{\text{2}}, \cdots ,C{\text{)}} $ 。为了后续处理方便，基于下式将这些重构误差转换为概率形式：式中：
$ P(i) $ 则表示在SRC分类结果中，测试样本属于选取的第$ i $ 类目标的可能性。在此基础上，设定合适的门限
$ T $ 对测试样本可能的类别进行筛选处理，即当某一类别的概率大于门限时，认为其为候选类别。反之，则测试样本属于该类别的可能性很小，在后续过程不再考虑。因此，经过SRC的第一轮分类，可以有效获取测试样本潜在的目标类别，可通过后续的进一步确认提升识别精度。 -
假设经过SRC预筛选后共有M个候选类别。对于这M个类别，基于CNN同样有输出的识别结果，记为
$ {P_1}\left( {\varGamma (i)} \right) $ ，其中$ \varGamma (i) $ 表示这M个类别中$ i $ 个对应原始$ C $ 类目标中的类别。采用线性加权融合的思路对SRC和CNN关于这M个类别的结果进行融合处理，形式如下：式中：
$ {P_F}\left( {\varGamma (i)} \right) $ 为经过决策融合后，测试样本属于原始类别中第$ \varGamma (i) $ 类目标的可能性；$ {w_1} $ 和$ {w_2} $ 为对应两个分类器的权值，根据多次试验确定$ {w_1}{\text{ = }}0.3,{w_2}{\text{ = }}0.7 $ ，即CNN对于最终的融合结果具有更大的印象。图1给出了文中基于分类器决策融合的红外图像目标识别流程，通过层次化利用SRC和CNN综合提升识别性能[17, 19]。特别地，文中采用PCA作为特征提取算法对红外图像进行降维处理。在SRC决策阶段，若仅有一个类别的转换概率值高于门限，则直接判定目标识别结果，不再进行后续的CNN分类和决策融合，从而保证识别方法的整体效率。
Figure 1. Procedure of infrared image target recognition based on decision fusion of classifiers
-
文中利用红外热像仪采集的车辆目标的红外图像作为基础样本，通过预处理获取目标区域切片，构建训练和测试集。图2所示为实验中涉及的五类目标，包括三轮车、摩托车、小货车、卡车和轿车。所有图像样本经适当裁剪后具备同一尺寸。对于各类目标，选用80幅不同条件下获取的图像作为训练样本，50幅目标图像作为测试样本。
Figure 2. Illustration of infrared images of targets used in the experiments
实验过程中，为充分验证提出方法的性能，选用现有几类红外图像目标识别方法进行对比分析。具体对比算法包括参考文献[11]中基于SRC的方法；参考文献[14]中基于CNN的方法；参考文献[16]联合深度特征的方法（记为JSRDeep）以及参考文献[5]中采用局部纹理特征的方法（记为Texture）。其中，SRC和CNN方法仅仅为文中方法的一部分，可通过结果对比直观反映文中分类器决策融合的实际效能。
-
首先在原始训练和测试样本的基础上对方法性能进行初步验证。如图2所示，原始样本的获取条件相对良好，图像中目标均为完整，且信噪比（signal-to-noise ratio，SNR）较高，因此识别问题的难度相对较小。表1所示为文中方法对于五类目标测试样本的详细识别结果，其中Tar1、Tar2、Tar3、Tar4和Tar5依次对应图2中的五类目标。根据表1计算得出它们对应的正确识别率分别为96%、100%、96%、98%、98%，平均识别率为97.6%。这一结果反映了提出方法对于红外目标识别的有效性。在相同的场景下，对4类对比方法进行了相同实验，得到SRC、CNN、联合深度以及局部纹理特征的平均识别率分别为95.8%、96.9%、97.2%、96.3%。对比可见，文中方法的识别性能优于几类对比方法，显示其性能优势。特别地，与SRC和CNN两类方法相比，文中正是对它们进行了联合运用和层次化的决策融合，进一步提升了识别性能，表明了文中决策融合算法的有效性。
Original samples Recognition Tar1 Tar2 Tar3 Tar4 Tar5 Tar1 48 1 1 0 0 Tar2 0 50 0 0 0 Tar3 0 1 48 0 1 Tar4 1 0 0 49 0 Tar5 0 0 1 0 49 Table 1. Recognition results of the proposed method on the original sample
-
噪声干扰是图像处理领域的一个常见问题，也是需要不断克服的难点问题。对于红外图像目标识别问题，当测试样本的信噪比远低于训练样本时，两者之中的目标特性将会存在较大的差异，导致训练得到的分类器性能下降。为在噪声干扰条件下进行文中方法的实验，首先按照参考文献[19]中的相关思路进行噪声测试集的构造。按照设定的信噪比进行噪声生成，并与原始红外图像进行混合处理，获得特定噪声水平的红外图像。在此条件下，文中对提出方法和4类对比方法进行分别测试，统计各类方法的平均识别率如图3所示。从总体趋势来看，噪声干扰对各类方法的性能均产生了较为显著的影响。对比信噪比为10 dB和−10 dB下的结果，都存在较大的差距。相比而言，文中方法的性能下降最为平缓，表明其受到噪声干扰的影响相对较小，显示其稳健性。文中通过SRC和CNN的有机融合，充分结合了两者的优势，对于噪声干扰的适应性得到了进一步的增强。
Figure 3. Average recognition rates of different methods on the noisy samples
-
原始测试样本中，目标都是完整存在的，因此可以通过目前的全面特性进行训练和分类。然而，图2中的车辆目标均可能发生部分遮挡，导致获取图像中的目标是不完整和部分缺失的。该实验中，首先基于原始样本进行遮挡样本的模拟。具体地，以完整目标的区域为参照，采用背景像素对其局部区域进行填充处理。根据填充区域的比例定义不同的遮挡程度。在获得遮挡测试集的条件下，对各类方法进行测试，统计它们的平均识别率如表2所示。随着遮挡水平的不断提升，各类方法的性能下降十分明显。在各个遮挡水平下进行横向比较，可以看出文中方法均可以保持最高的平均识别率，表明其稳健性。与噪声干扰的情况相近，文中通过结合SRC和CNN的优势，可以进一步提升识别方法对于遮挡样本的适应性。
Method Occlusion level 5% 10% 15% 20% 25% Proposed 95.4 89.7 80.3 72.4 61.8 SRC 94.2 86.9 79.1 68.2 58.6 CNN 93.6 85.8 77.8 66.8 57.2 JSRDeep 94.4 87.9 79.2 70.3 60.2 Texture 93.5 86.4 78.1 67.2 58.1 Table 2. Average recognition rates of different methods on the occluded samples
-
针对红外图像目标识别问题，文中提出一种分类器决策融合的方法。选用SRC和CNN作为基础分类器，并且前者用于决策结果的预筛选。对于SRC分类不可靠的样本，采用CNN做进一步确认，并且其结果与SRC结果做线性融合处理，确保最终结果的可靠性。提出方法通过有效融合SRC和CNN的优点提升了红外目标识别的性能。实验中，采用五类车辆目标的红外实测图像进行性能测试。通过在原始测试集、噪声样本集以及遮挡样本集的条件下进行对比实验，结果反映了提出方法的优越性能。
Infrared image target recognition method based on decision fusion of classifiers
doi: 10.3788/IRLA20210725
- Received Date: 2021-11-05
- Rev Recd Date: 2022-02-25
- Available Online: 2022-08-31
- Publish Date: 2022-08-31
Fund Project:
Science and Technology Project of Education Department of Jiangxi Province（GJJ180316）
-
Key words:
- infrared image /
- target recognition /
- decision fusion
Abstract: The problem of infrared image target recognition based on classifier decision fusion was proposed. The sparse representation-based classification (SRC) and convolutional neural network (CNN) were used as the basic classifiers. For the test sample, it was first classified based on SRC, and the reliability of the decision was judged based on the output decision variables. When it was determined that the recognition result is reliable, the recognition process ended and the target category was output. On the contrary, some candidate categories with higher confidence were selected according to the results of SRC, and CNN was employed to confirm the classification result in the next stage. In addition, the CNN output result and SRC were subjected to linear weighted fusion processing, and the final target category decision was made according to the fusion result. The proposed method integrated the advantages of both SRC and CNN classifiers to comprehensively improve the performance of infrared target recognition. At the same time, this hierarchical decision fusion method avoided the two classification processes for all samples, and could ensure the overall efficiency of the recognition algorithm. The experiment was carried out using five types of infrared images of common vehicle targets in daily life, and the original sample conditions, noise sample conditions and occlusion sample conditions were set respectively. By comparing with some existing methods, the results reflect the effectiveness and reliability of the proposed method.
DownLoad: