-
红外成像技术的发展和成熟为夜间观测提供了重要手段[1-2]。在民用领域,基于红外图像或视频可进行交通监测,有效避免车辆事故。在军事领域,红外成像可进行战场环境监视以及精确打击。基于红外图像的目标识别方法旨在确认观测样本中的目标类别,从而针对性获取有价值情报。作为一种监督学习问题,红外图像目标识别通常采用特征提取和分类决策的两阶段过程[3-12]。特征提取通过对红外图像的分析获取目标的灰度分布、局部纹理、关键点、区域分布等特征。参考文献[3]综合运用颜色、边缘和运动特征进行红外目标识别。参考文献[4]基于目标轮廓设计分类算法。参考文献[5]采用协方差描述子作为基础特征进行目标识别。参考文献[6]以目标区域为基础,提取Zernike矩特征作为特征输入。分类决策过程则利用成熟分类器对提取的特征进行训练学习,获取其对应的类别,典型的分类器包括支持向量机(Support Vector Machine, SVM)[9],稀疏表示分类(Sparse Repre Classification, SRC)[5]等。深度学习算法出现以来,以卷积神经网络(Convolutional Neural Network, CNN)为代表的分类模型在图像处理中得到广泛运用,也成为红外图像识别的有力工具[10-12]。参考文献[11]直接采用深度网络构建端到端的分类模型。参考文献[12]在深度网络的基础上,进一步获取多层次深度特征矢量,进行联合决策。
特征提取的结果作为后续实际决策的输入,其有效性直接决定了分类结果的有效性。从现有文献来看,大多数特征是基于模式识别领域的成熟算法直接进行应用,缺少针对性分析和筛选。参考文献[13-15]分别采用遗传算法和粒子群优化算法对提取的Zernike矩特征进行选择,其结果验证了特征筛选的必要性。文中受此启发,提出基于轻量级梯度提升机(Light Gradient Boosting Machine, LGBM)[16-17]的Zernike特征选取算法并在红外图像识别中进行应用。LGBM作为一种新的Boosting算法,在前期梯度提升决策树(Gradient Boosting Decision Tree, GBDT)的基础上,通过加法模型和前向分步算法实现学习的优化,有效提高学习速度和模型预测的准确率。基于LGBM可对提取的多阶Zernike矩特征进行分析筛选,获取其中有效成分,剔除冗余成分,从而保证最终特征的有效性。分类阶段,采用SRC作为基础分类器对最终选取的Zernike特征矢量进行表征识别,获取待识别图像的所属类别。实验中,采用公开的中波红外目标图像数据集(MWIR)对方法进行测试和验证,结果反映了其有效性和稳健性。
-
Zernike矩特征是描述区域分布的有效特征,传统的Hu矩具有良好的噪声稳健性,旋转平移等情形的适应性较差。通过对比可以看出,Zernike矩具有更强的旋转不变性和噪声稳健性,在图像识别领域应用更为广泛[6, 13-15]。Zernike矩特征的提取过程简要描述如下。
首先,在极坐标系下对目标区域
$f(r,\theta )$ 进行建模,定义其$n$ 阶$l$ 重的Zernike矩特征量如下:$${Z_{nl}} = \frac{{n + 1}}{\pi }\int_0^{2\pi } {\int_0^1 {\left[ {{V_{nl}}(r,\theta )} \right]} } ×f(r,\theta )r{\rm{d}}r{\rm{d}}\theta $$ (1) 式中:
$n = 0,1, \cdots ,\infty $ ;$l = 0, \pm 1, \cdots $ ;$n - \left| l \right|$ 为偶数且$\left| l \right| \leqslant n$ ;${V_{nl}}(r,\theta ) = R(r){{\rm{e}}^{il\theta }}$ 表示Zernike多项式,为单位圆${x^2} + {y^2} \leqslant 1$ 上一组正交的完整复数值函数。则满足以下约束:$$\int_0^{2\pi } {\int_0^1 {\left[ {{V_{nl}}(r,\theta )} \right]} } × {V_{mk}}(r,\theta )r{\rm{d}}r{\rm{d}}\theta = \frac{\pi }{{n + 1}}{\delta _{mn}}{\delta _{kl}}$$ (2) 在此基础上,Zernike矩可获得旋转不变量如下:
$${Z_{nl}} = {Z_{nl}} \times {Z_{n, - l}}(l = 0,1,2, \cdots )$$ (3) 因此,最终获得的
$\left| {{Z_{nl}}} \right|$ 具有良好的不变性。在文中应用过程中,首先对原始红外图像进行预处理,通过图像分割获得目标区域,并将图像中心至于极坐标系下的原点位置。然后,按照上述流程计算目标区域的多阶Zernike矩特征。具体得文中选用1~8阶矩作为原始特征输入,在后续过程中进行选择并最终用于分类决策。 -
由于各特征之间并非是完全不相关的,而且不同特征对目标分类的贡献度也有优劣之分,所以随着提取特征的数目增加,重复的冗余量会增大,噪声和误差也随之增大,不但导致算法的计算量增大,也会降低目标的识别率,因此,需要选出有利于目标分类的特征。文中采用LGBM进行特征选择[16-17],将训练样本放入LGBM中进行训练,计算每个特征的重要程度,根据特征重要性筛选关键特征来减少分类所需的特征数量,从而达到保证分类性能的同时降低识别时间。
LGBM算法根据特征在所有决策树中被用来分割的总次数来度量特征属性的重要性,按重要性对特征元素进行降序排列,从样本特征的全集开始进行搜寻,根据结果准确率判断是否剔除当前重要性程度最低的特征,如此循环,从而实现特征选择。
具体流程如下:
输入:数据集D,特征集
$F = \{ {T_i}|i = 1,2, \cdots ,d\} $ 输出:最优特征子集
${F_{best}}$ Step 1:使用LGBM分别计算样本特征元素
${T_i}$ 的重要性程度${I_i}$ ;Step 2:根据第一步得到的
${I_i}$ 对特征元素${T_i}$ 进行降序排列;Step 3:使用LGBM算法进行评估,计算当前特征子集F的准确率
${a_i}$ ;Step 4:对于Step2中排序后的特征子集进行选择,在F中删除最小重要度的特征元素
${T_i}$ ,并计算识别准确率${a_{best}}$ ;Step 5:如果
${a_i} < {a_{best}}$ ,则转回Step3执行;否则回收上一步删除的特征元素${T_i}$ ,再转回Step3执行;Step 6:当所有特征元素
${T_i}$ 被遍历完,输出最优特征子集${F_{best}}$ 。可见,所提出的LGBM特征选择算法根据特征的重要度进行排序,而且对模型的结果进行了初步评估,大大降低了特征的波动性,有利于后期目标识别精度的提高。同时,由于重要性比较小的特征被删除,使得特征的冗余量下降因此也可以降低目标识别所需的时间。
-
SRC作为一种基于压缩感知理论的分类器,在模式识别领域广泛运用[5]。具体到分类算法,其首选构建包含多个训练类别的全局字典
$A = [{A_1}, {A_2}, \cdots , $ $ {A_C}] \in {{{R}}^{d \times N}}$ ,其中${A_i}$ 表示第$i$ 类中的${N_i}$ 个样本特征。对于测试样本$y$ ,在保证线性重构精度的前期下尽可能提高表示系数的稀疏性:$$\begin{array}{l} \hat x = \mathop {\arg \min }\limits_x {\left\| x \right\|_0}\\ {\rm{s}}{\rm{.t}}{\rm{. }}\left\| {y{\rm{ - }}Ax} \right\|_2^2 \leqslant \varepsilon \end{array}$$ (4) 式中:
$x$ 为稀疏系数矢量;$\varepsilon $ 为重构误差上限。公式(4)为一个非凸优化问题,难以直接获得解析解。为此,研究人员通过
${\ell _{\rm{1}}}$ 范数逼近以及正交匹配追踪(Orthogonal Matching Pursuit, OMP)等算法获得逼近解。在此基础上,分类别计算对于测试样本的重构误差,可以表示为:$$r(i) = \left\| {y{\rm{ - }}{A_i}{x_i}} \right\|_2^2(i = 1,2, \cdots ,C)$$ (5) 根据以上结果,按照重构误差最小的原则即可判定测试样本的最佳所属类别。从早期研究可以看出,稀疏表示原理相比于传统的近邻分类器以及SVM具有更强的复杂场景适应性,其在噪声干扰和目标遮挡等环境下的识别能力相对更优。
-
图1所示为文中提出方法的基本流程,可按照传统思路定义为特征提取和分类决策两个阶段。
图 1 基于LGBM的Zernike特征选取及红外目标识别流程图
Figure 1. Flow chart of Zernike’s feature selection based on LGBM and identification methods of infrared image target
特征提取阶段,首选采用Zernike矩对红外图像的目标区域进行分析,获取多阶矩特征。在此基础上,通过LGBM进行训练学习,优选最佳的特征子集,剔除其中的冗余成分。对于训练样本,按照同样的操作,构建相应的全局字典,包含所有样本对应的Zernike特征矢量。最终,采用SRC对测试样本的Zernike特征矢量进行分类,获取其对应的目标类别。
-
实验采用在中波红外目标数据集进行,该数据集采集了中波红外传感器获取的10类典型军事目标的图像,各类目标图像均覆盖了完整的方位角范围。根据参考文献[12]中的相关实验设置,对于任一类目标,随机选取120幅图像作为训练集,100幅图像作为中长波红外线(VMIR)测试样本,其10类目标示意图如图2所示。实验过程中选用4类方法作为对比,分别记为4类SVM[9]、SRC[5]、Zernike和CNN[11]的方法。其中,Zernike方法未采用文中的二次特征筛选,对提取的多阶矩特征直接基于SRC进行分类。
-
首先在原始训练和测试样本的基础上进行实验。此时,测试样本与训练样本来自相近的条件,差异较小,识别问题相对简单。表1给出了文中方法对10类目标的详细识别结果,各类目标的识别率均达到98.5%以上,最终的平均识别率为97.9%,反映了方法的有效性。表2进一步对比了不同方法对原始样本的平均识别率。文中方法性能最高,显示其优势。CNN方法在当前条件下的性能仅次于文中方法,表明深度学习模型的有效性。与直接采用Zernike矩特征的方法相比,文中通过引入LGBM对其进行分析选择,最终保留的特征进一步提升了识别性能,表明提出方法的有效性。
表 1 文中方法对原始测试样本的识别结果
Table 1. Recognition results of the proposed method on the original test samples
Class Pickup SUV BTR70 BRDM2 BMP2 T72 ZSU23/4 2S3 MTLB D20 Recognition rate Pickup 97 0 2 0 1 0 0 0 0 0 97% SUV 0 98 0 1 0 0 0 0 0 1 98% BTR70 0 0 100 0 0 0 0 0 0 0 100% BRDM2 1 1 0 98 0 0 0 0 0 0 98% BMP2 0 0 1 0 97 0 0 1 0 1 97% T72 0 0 0 2 1 96 0 1 0 0 96% ZSU23/4 2 0 1 0 0 0 97 0 0 0 97% 2S3 0 0 0 0 0 0 0 100 0 0 100% MTLB 0 0 0 0 0 0 0 0 99 1 99% D20 0 1 0 1 0 1 0 0 0 97 97% Average 97.9% 表 2 各类方法在原始样本上的性能
Table 2. Performance of different methods on original samples
Method Average recognition rate Proposed method 97.9% SVM 94.5% SRC 95.1% Zernike 96.9% CNN 97.2% -
自然噪声、认为干扰以及传感器热噪声均可能导致最终获取的红外图像信噪比(Signal-to-Noise Ratio, SNR)降低。因此,提高识别方法在噪声干扰条件下性能十分必要。文中首先在原始测试样本的基础上通过添加白噪声的形式模拟生成不同信噪比下的测试集,然后对各类方法进行测试,获得如图3所示的结果。可以看出,噪声干扰导致了各类方法性能下降,但提出方法保持了最强的稳健性。SRC方法相比SVM具有性能优势,体现了稀疏表示机理对于噪声影响的适应性。尽管缺少二次特征选择,Zernike方法仍可以保持良好的噪声稳健性,反映Zernike特征在噪声干扰下的稳定性。从原理来看,Zernike矩主要于目标区域相关,而噪声干扰条件下目标的区域特征整体可以保持稳健,因此该类方法能够在噪声干扰条件下取得稳定性能。文中方法综合了Zernike矩、二次特征选择以及稀疏表示的优势,因此最终的识别结果具有优势。
-
造成部分缺失的原因可能有两种:一种是目标自身部分缺失;另一种是在成像过程中受到了局部遮挡。在这两种情况下,最终获得的图像中均存在部分目标特性的缺失,导致识别问题更为复杂。文中首先在原始测试样本的基础上,采用部分遮挡的方式模拟构建不同缺失等级(采用被遮挡区域占目标区域的比例衡量)下的测试集。图4所示为各类方法在部分缺失条件下的平均识别率曲线。由此可以看出,部分缺失条件下所有方法性能均出现了明显下降,文中方法在各个等级下均能保持最高识别率,表明其稳健性。SRC方法相比SVM方法具有性能优势,表明稀疏表示机理对于部分缺失的有效性。Zernike矩特征方法由于缺少二次特征筛选相比提出方法性能处于劣势,但比其他方法具有一定优势。这表明Zernike矩特征自身对于部分缺失带来的目标区域破坏具有一定的适应性。综上可知,文中方法通过结合Zernike矩特征、基于LGBM的特征筛选以及基于SRC的决策,共同提升了在当前测试条件下的识别性能。
-
文中针对红外图像目标识别问题提出基于Zernike矩特征选择的方法。采用LGBM对红外目标的多阶Zernike矩特征进行二次筛选,剔除其中的冗余分量。在此基础上,采用SRC对选择的Zernike矩特征矢量进行分类,判定测试样本的目标类别。提出通过有效提取LGBM特征的方法,进行二次分类得出结果数据,用于综合决策从而提高了最终的识别性能。在中波红外目标图像数据集上开展实验,对10类典型军事目标进行分类。根据实验结果可得出以下结论:(1)提出方法对原始测试样本、噪声干扰样本和部分缺失样本的识别性能均优于四类对比方法,显示其性能优势;(2)所提方法通过LGBM的引入和对原始多阶Zernike矩特征的选择,有效提升了整体识别性能。
Zernike’s feature selection based on LGBM and identification methods of infrared image target
-
摘要: 红外传感技术有效解决了夜间观测的难题,成为现代战场侦察的重要手段之一。不断提升基于红外图像的目标识别能力是实施精确打击、态势感知的有力途径。针对红外图像识别问题,提出基于轻量级梯度提升机(Light Gradient Boosting Machine, LGBM)的Zernike特征选取算法,并结合稀疏表示分类器(Sparse Representation-based Classification, SRC)完成目标类别确认。首先,基于红外图像中的目标区域提取多阶Zernike矩特征,表征待识别目标的本质特性;其次,采用LGBM特征选择算法对多阶矩特征进行二次筛选,减少冗余的同时提高特征的针对性;最后,基于SRC对最终选择的Zernike矩特征矢量进行分类。该方法通过LGBM的特征选择有效提高了最终特征的有效性,同时降低了分类的计算复杂度,有利于提高整体识别性能。采用公开的中波红外目标图像数据集(MWIR)开展验证实验,对10类典型军事目标进行区分识别。实验分别在原始样本、噪声干扰样本以及部分缺失样本三种条件下进行并与几类现有红外目标识别方法进行对比讨论。结果表明:所提方法可取得更优性能,证明其有效性。Abstract: Infrared sensing technology effectively handle the problem of night observation, which is becoming an important measure for battlefield reconnaissance. Continuously improving the ability of target recognition based on infrared images was a powerful way to implement precision strikes and situational awareness. Aiming at the problem of infrared image recognition, a Zernike feature selection algorithm based on Light Gradient Boosting Machine (LGBM) was proposed, combined with Sparse Representation-based Classification (SRC) to complete the target category confirmation. Firstly, based on the target area in the infrared image, multi-order Zernike moment features were extracted to characterize the essential characteristics of the target to be recognized; Secondly, the LGBM feature selection algorithm was used to screen the multi-order moment features twice to reduce redundancy and improve the pertinence of features; Finally, the final selected Zernike moment feature vector was classified based on SRC. The method effectively improves the effectiveness of the final features through the feature selection of LGBM, at the same time reduces the computational complexity of classification, which was beneficial to improve the overall recognition performance. The publicly available mid-wave infrared target image data set was used to carry out verification experiments to distinguish and identify 10 types of typical military targets. The experiment was carried out under the three conditions of original samples, noise interference samples and partially missing samples, and compared with several types of existing infrared target recognition methods. The results show that the proposed method can achieve better performance and prove its effectiveness.
-
Key words:
- infrared image /
- target recognition /
- light gradient boosting machine /
- Zernike feature
-
表 1 文中方法对原始测试样本的识别结果
Table 1. Recognition results of the proposed method on the original test samples
Class Pickup SUV BTR70 BRDM2 BMP2 T72 ZSU23/4 2S3 MTLB D20 Recognition rate Pickup 97 0 2 0 1 0 0 0 0 0 97% SUV 0 98 0 1 0 0 0 0 0 1 98% BTR70 0 0 100 0 0 0 0 0 0 0 100% BRDM2 1 1 0 98 0 0 0 0 0 0 98% BMP2 0 0 1 0 97 0 0 1 0 1 97% T72 0 0 0 2 1 96 0 1 0 0 96% ZSU23/4 2 0 1 0 0 0 97 0 0 0 97% 2S3 0 0 0 0 0 0 0 100 0 0 100% MTLB 0 0 0 0 0 0 0 0 99 1 99% D20 0 1 0 1 0 1 0 0 0 97 97% Average 97.9% 表 2 各类方法在原始样本上的性能
Table 2. Performance of different methods on original samples
Method Average recognition rate Proposed method 97.9% SVM 94.5% SRC 95.1% Zernike 96.9% CNN 97.2% -
[1] Wang Y Y, Zhao Y H, Luo H B, et al. Dynamic range compression and detail enhancement of sea-surface infrared image [J]. Infrared and Laser Engineering, 2019, 48(1): 0126003. (in Chinese) doi: 10.3788/IRLA201948.0126003 [2] Wang H Q, Xu T F, Sun X L, et al. Infrared-visible video registration with matching motion trajectories of targets [J]. Optics and Precision Engineering, 2018, 26(6): 1533-1541. (in Chinese) doi: 10.3788/OPE.20182606.1533 [3] Wu C L, Hao Y P, Zhang L, et al. Infrared target recognition algorithm based on multi-feature fusion [J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2019, 39(3): 39-44. (in Chinese) [4] Su J, Yang L, Zhang Y Y. Infrared target recognition algorithm based on fragment matching and graph searching [J]. Acta Armamentarii, 2015, 36(5): 854-860. (in Chinese) doi: 10.3969/j.issn.1000-1093.2015.05.013 [5] Su J, Yang L, Zhang Y Y, et al. An infrared target recognition method based on kernel sparse coding [J]. Infrared Technology, 2016, 38(3): 230-235. (in Chinese) doi: 10.11846/j.issn.1001_8891.201603010 [6] Guo W C, Cui H Y, Ma H W, et al. Infrared image target recognition of power equipment based on Zernike moment [J]. Laser & Infrared, 2019, 49(4): 503-506. (in Chinese) doi: 10.3969/j.issn.1001-5078.2019.04.020 [7] Xie Z H, Liu G D. Infrared face recognition based on co-occurrence histogram of multi-scale local binary patterns [J]. Infrared and Laser Engineering, 2015, 44(1): 391-397. (in Chinese) doi: 10.3969/j.issn.1007-2276.2015.01.065 [8] Zhao A G, Wang H L, Yang X G, et al. An affine invariant method of forward looking infrared target recognition [J]. Laser & Optoelectronics Progress, 2015, 52(7): 071501. (in Chinese) [9] Zhang D, Zhang J S, Yao K M, et al. Infrared ship-target recognition based on SVM classification [J]. Infrared and Laser Engineering, 2016, 45(1): 0104004. (in Chinese) doi: 10.3788/irla201645.0104004 [10] Huang L H, Cao L H, Li N, et al. A state perception method for infrared dim and small targets with deep learning [J]. Chinese Optics, 2020, 13(3): 527-536. (in Chinese) [11] D’acremont A, Fablet R, Baussard A, et al. CNN-based target recognition and identification for infrared imaging in defense systems [J]. Sensors, 2019, 19(9): 2040. doi: 10.3390/s19092040 [12] Shi G J. Target recognition method of infrared imagery via joint representation of deep features [J]. Infrared and Laser Engineering, 2021, 50(3): 20200399. (in Chinese) [13] Amoon M, Rezaiead G A. Automatic target recognition of synthetic aperture radar (SAR) images based on optimal selection of Zernike moment features [J]. IET Computer Vision, 2014, 8(2): 77-85. doi: 10.1049/iet-cvi.2013.0027 [14] Amoon M, Rreziead G A, Mohammad R D. PSO-based optimal selection of Zernike moments for target discrimination in high-resolution SAR imagery [J]. J Indian Soc Remote Sens, 2014, 42(3): 483-493. doi: 10.1007/s12524-013-0344-6 [15] Zhang X M, Wang P, Bai Y P. SAR image classification and recognition based on PSO-SVM [J]. Journal of Chongqing University of Technology (Natural Science), 2018, 32(8): 165-169. (in Chinese) [16] Wang P, Liu Y, Huang Z R. Transportation modes recognition using a light gradient boosting machine [J]. Journal of Harbin Institute of Technology, 2019, 51(9): 96-102. (in Chinese) doi: 10.11918/j.issn.0367-6234.201805161 [17] Song Y, Ye X D, Wang M L. An intent recognition method based on light gradient boosting machine [J]. Computer Simulation, 2019, 36(10): 312-316. (in Chinese) doi: 10.3969/j.issn.1006-9348.2019.10.065 -