-
为验证算法对天基预警任务中高动态红外弱小目标的检测能力,设计仿真算例序列图像。考虑天基预警任务的应用场景,根据低轨探测卫星相机性能及各背景物体红外特性,计算生成包含地面、海洋及低速运动云层的地物背景仿真图像;在此基础上,根据目标高动态特征,考虑目标可能出现的非线性运动场景,向序列背景图像中叠加匀速直线运动、正弦机动及复杂机动轨迹的目标信号;为验证算法处理目标出现和消失场景的能力,在数据集中设计了相应的仿真序列图像;最后,为提高仿真算例图像的拟真度,向其添加标准差为32的高斯噪声,得到平均信杂比为4.96、平均信噪比为4.07的序列图像。如图5所示。训练集规模为95040张,测试集4950张。
图5为包含目标、背景及噪声的算例图片,序列图像中缓慢运动的背景角点及无规律出现的噪声可能对目标检测造成干扰。对于单目标检测任务中的一帧图像,将算法给出的检测结果与真实目标进行比较,参考文献[17]中的定义方法,分别使用TP、FP、FN、TN代表可能出现的四种情况:
1)该帧中目标存在且算法认为目标存在,并计算出其正确坐标,即检测结果为正样本,实际也为正样本,定义该情况为TP (True Positive);
2)该帧中算法认为目标存在,但所计算的坐标处无真实目标,即检测结果为正样本,实际为负样本,定义该情况为FP (False Positive);
3)该帧中目标存在,但算法认为目标不存在而未能计算出其正确坐标,即检测结果为负样本,实际为正样本,定义该情况为FN (False Negative);
4)该帧中目标不存在,且算法正确地认为其不存在,即检测结果为负样本,实际为负样本,定义该情况为TN (True Negative)。
各情况如表1所示。
Detection result: Positive Detection result: Negative Reality: Positive TP FN Reality: Negative FP TN Table 1. Possible situations in target detection
文中使用精确率(Precision)和召回率(Recall)作为评估算法的指标[11]。其计算方法如公式(13)所示:
式中:${n_{\rm TP}}$、${n_{\rm FP}}$、${n_{\rm FN}}$分别表示情况中TP、FP、FN出现的数量。即精确率代表算法所做出的检测定位结果中正确的概率,召回率代表目标存在时算法能够正确检测定位的概率,两者值越高,算法的性能越好。
针对不同运动规律的目标,设计并测试了两类算例:实验一中目标坐标以正弦规律变化,用于验证算法处理较简单的非线性运动目标的能力;实验二中以多正弦波叠加后的函数描述目标坐标变化规律,用于验证算法处理复杂运动规律目标的能力。所有程序运行在相同的硬件平台上,其CPU为i7-11700,GPU为Nvidia GTX1660;运行深度学习程序所涉及的显卡驱动程序为Nvidia-smi510.54、CUDA版本11.6。
-
该实验中目标进行简单的非线性运动,运动规律为:
式中:$ x、y $均为像素坐标值;$t$为帧序号。算法运算结果如图6所示。
在图6中,LISTD算法目标检测精确率为0.9347,召回率为0.8851,即在大部分时刻对目标存在性与位置坐标做出了正确估计;目标出现后的0~50帧内,算法检测精度低于其他时刻,是由于算法的有效检测需要一定长度的图像序列输入。图6中,$(\alpha )$、$(\beta )$、$(\gamma )$和$(\delta )$处的检测场景分别如图7$(\rm a)$、$(\rm b)$、$(\rm c)$、$(\rm d)$所示。
Figure 7. Detection result. $(\rm a)$ False alarm scene; $(\rm b)$ Mistaken detection scene; $(\rm c)$ Missing alarm scene; $(\rm d)$ Correct detection scene
图6表明大部分时刻算法能够进行如图7$(\rm d)$所示的准确检测,但在目标突然出现、噪声及背景显著的情况下,算法有可能出现如图7$(\rm a)$~$(\rm c)$所示的虚警、错检、漏警等错误检测情况。图7$(\rm a)$中目标未出现,算法将运动的云层背景角点识别为目标;图7$(\rm b)$中算法预测到目标的大致区域,但将附近的噪声信号识别为目标;图7$(\rm c)$中算法未能在目标出现后的初始阶段进行准确检测;图7$(\rm d)$中算法成功检测出目标并获得准确的位置坐标。
该实验说明运动背景角点、强噪声及短暂出现的目标有可能限制算法的检测能力,但也证明了在多数情况下算法能够有效完成较强噪声环境下的较简单非线性运动目标的检测任务。
-
为进一步证明文中所提出的LISTD算法的有效性,实验二分别在直线、实验一中的典型正弦运动曲线与复杂机动曲线形成的数据集上,与中值滤波算法(Median Filtering, MF)、MMF[1]、SHT[7]及YOLOv5[18]进行对比,量化分析比较各算法的检测效果。实验中直线运动指目标在图像坐标系中进行速率处于1.4~5.6 pixel/帧之间的匀速直线运动,在序列图像中,若一条轨迹上的目标超出图像区域,则以前述速率范围内的随机速率在随机方向生成一条新的匀速直线运动轨迹;复杂机动曲线的描述函数由三个周期、幅值不同的正弦型函数叠加得到,如公式(14)所示:
实验结果如表2所示。
Uniform linear motion Sinusoidal motion Complex motion Average time consumption/帧·s−1 Peak memory usage/MiB Neural network GFLOPs Precision Recall Precision Recall Precision Recall MF 0.6444 0.8311 0.6387 0.8343 0.6415 0.8374 0.007253 360.44 - MMF 0.4513 0.8715 0.4493 0.8677 0.4510 0.8703 2.7241 359.24 - SHT 0.9954 0.7404 0.9630 0.7093 0.9585 0.6804 0.009351 359.25 - YOLOv5 0.3660 0.0949 0.3720 0.1010 0.3400 0.0924 0.06760 597.39 16.422 LISTD 0.9483 0.9237 0.9347 0.8851 0.9362 0.8633 0.008326 1214.13 0.108 Table 2. Performance comparison among algorithms
从表2中可以看出,在精确率方面,对于匀速直线、正弦和复杂机动轨迹的红外弱小目标检测,中值滤波、最大中值滤波、YOLOv5均低于文中所提出的LISTD算法,序列假设检验算法精确率略优于LISTD,二者没有显著差异,但序列假设检验召回率明显低于LISTD。在召回率方面,LISTD高于中值滤波、最大中值滤波、序列假设检验和YOLOv5算法。在帧均耗时方面,LISTD算法仅次于中值滤波算法,无明显差异,但在精确率和召回率方面,LISTD均高于中值滤波算法。最大中值滤波由于循环计算过多,导致在Python环境中帧均耗时达2.7 s左右;YOLOv5无法提取到目标的纹理、形状特征,在较强噪声的干扰下,漏警及虚警出现率极高,且其网络的复杂性造成了较其他算法更高的时间消耗。在计算资源使用方面,LISTD虽然内存占用峰值较高,但该量级不会对运算平台造成较大压力,且由于保持了LSTM的轻量级结构,LISTD的神经网络模型FLOPs值远低于YOLOv5。整体而言,虽然文中所提出的LISTD算法在精确率、帧均耗时和内存占用方面不是最优的,但考虑精确率、召回率、帧均耗时和计算资源使用等四方面的综合性能,LISTD优于对比的其他四种算法。
为测试LISTD算法的适用范围,分别在信噪比与信杂比不同的直线、实验一中的典型正弦运动曲线与复杂机动曲线形成的数据集上进行实验,通过在序列仿真图像生成时调整背景图像系数与高斯噪声的标准差,可得到不同的SCR与SNR组合,实验结果如表3所示。
SCR SNR Uniform linear motion Sinusoidal motion Complex motion Precision Recall Precision Recall Precision Recall 2 2 0.6905 0.3418 0.7322 0.3549 0.6542 0.3777 4 0.8191 0.6014 0.7974 0.6168 0.8433 0.6145 6 0.8674 0.6269 0.8286 0.6430 0.8415 0.6547 4 2 0.8460 0.6131 0.8842 0.6699 0.8709 0.6200 4 0.8723 0.7498 0.8958 0.7799 0.8740 0.7264 6 0.9095 0.7845 0.9399 0.8082 0.8507 0.7657 6 2 0.8971 0.7448 0.9229 0.7563 0.8778 0.6653 4 0.9290 0.8752 0.9500 0.8865 0.9282 0.8577 6 0.9487 0.8851 0.9454 0.9263 0.9557 0.9161 Table 3. LISTD detection results for datasets with different SCR and SNR
从表2中可以看出,LISTD适用于较低信噪比与信杂比下高动态非线性运动弱小目标的检测。若序列图像平均信杂比、平均信噪比均高于2,对于所测试的三种运动规律的目标,LISTD检测精确率高于0.6542,召回率高于0.3418,随着数据集信杂比与信噪比的提高,LISTD的检测精确率与召回率也相应增加。且经过实验验证,图像平均信杂比为4.96、平均信噪比为4.07时,若目标在长度128帧的图像序列中平均速率在1~6 pixel/帧之间,LISTD的精确率高于0.8026,召回率高于0.5051。实验证明了算法可适用于上述范围内的检测场景。
Research on LSTM method of high dynamic dim and small targets detection for space-based infrared early warning
doi: 10.3788/IRLA20230010
- Received Date: 2023-01-05
- Rev Recd Date: 2023-04-30
- Publish Date: 2023-10-24
-
Key words:
- space-based early warning /
- target detection /
- LSTM /
- high dynamic
Abstract: