-
在复杂背景以及目标与背景达到热平衡后[1],传统的红外成像技术将难以区分目标与背景,使后续的检测、跟踪等任务难以实现。红外偏振成像技术不仅能获取目标与背景的红外辐射强度信息,还能得到目标与背景的偏振信息。偏振信息能表示目标的理化特性[2],即使处于复杂背景或当目标与背景达到热平衡后依然能体现出目标与背景在偏振信息上的差异[3],提高目标与背景之间的对比度。基于机载、弹载的硬件设备对地面目标检测跟踪时,通常需要较高的实时性以及较低的功耗,因此检测跟踪系统的设计和实现至关重要。
基于红外偏振图像的目标检测方法主要是对特殊场景下的背景进行抑制[4],突出待检测的目标,应用场景包括:地雷探测[5-7]、野外车辆检测[8]、云层飞机目标检测[9] 、水下水面目标检测[10-11]等。这些场景下红外偏振图像可以有效的提高目标与背景的对比度,降低目标检测算法的复杂度。然而就目标跟踪方面,国内外尚无基于红外偏振马赛克视频的目标跟踪研究成果,因此文中借鉴现有的目标跟踪方法,将其用于红外偏振目标的跟踪。视频目标跟踪方法根据构建目标外观模型的不同方式可以分为生成式跟踪方法与判别式跟踪方法[12]。其中,生成式跟踪方法[13-15]是对前景目标进行表观建模后,按照一定的跟踪策略估计跟踪目标的最优位置实现目标跟踪,判别式跟踪方法[16-18]将跟踪问题看作前景与背景的二分类问题,通过训练分类器,将目标从背景中分离出来以同时实现目标建模与目标跟踪。判别式跟踪方法中基于相关滤波的目标跟踪方法具有较快的跟踪速度和较高的跟踪精度,因此文中基于相关滤波跟踪方法对红外偏振马赛克视频的特征提取进行改进,实现更加鲁棒的跟踪。
为构建功耗较低、实时性较高的硬件设备,文中基于ARM+FPGA硬件平台对目标检测跟踪系统进行设计,该系统的主要模块包括基于AXI总线协议的图像传输处理模块以及基于FPGA的特征加速模块。在对检测跟踪算法进行实现时,需要将检测跟踪系统的不同任务合理分配到不同计算平台,从而实现较高的实时性并降低系统整体功耗。该系统在图像的特征提取部分利用FPGA加速计算,保证了检测跟踪算法的实时性。
-
局部对比度信息[19]是目标信息和背景信息之间的对比,它能够更好地突出目标并且抑制背景,使得目标在检测过程中更加突出。文中利用局部对比度的机理,提出了基于偏振权重的偏振度显著图。
光波的任意偏振态可以由斯托克斯矢量来表示,斯托克斯矢量的表达式如下:
$$ S = \left( \begin{gathered} {S_0} \hfill \\ {S_1} \hfill \\ {S_2} \hfill \\ {S_3} \hfill \\ \end{gathered} \right) = \left( \begin{gathered} \frac{1}{2}({I_0} + {I_{45}} + {I_{90}} + {I_{135}}) \\ {I_0} - {I_{90}} \\ {I_{45}} - {I_{135}} \\ {I_R} - {I_L} \\ \end{gathered} \right) $$ (1) 式中:
${I_0}$ 、${I_{45}}$ 、${I_{90}}$ 、${I_{135}}$ 分别表示偏振方向为0°、45 °、90°、135°的图像强度;${S_0}$ 表示图像的总强度;${S_1}$ 为0°偏振图像与90°偏振图像的强度差,表示水平和垂直方向上的线偏振光分量;${S_2}$ 为45°偏振图像与135°偏振图像的强度差,表示45°或−45°方向上的线偏振光分量;${S_3}$ 为左旋、右旋偏振图像的强度差,表示圆偏振光分量;由于对地观测过程中,圆偏振光分量强度较小,可近似忽略为零。基于上述的斯托克斯矢量,可以计算出偏振度(Degree of polarization,Dop),其表达式如下:
$$ Dop = \frac{{\sqrt {{S_1}^2 + {S_2}^2} }}{{{S_0}}} $$ (2) 偏振度显著图是通过局部对比度计算来得到的。局部对比度的计算是通过滑窗操作来增强滑窗中心的目标区域。将滑窗均匀分割为3×3的区域。在每个滑窗区域中,9个区域分别记为
${R_i}(i = 0,1,2,\cdots,8)$ 。中心区域${R_0}$ 中偏振度最大值为:$$ {L_{Dop}} = \max (I_{Dop}^{{R_0}}) $$ (3) 式中:
${L_{Dop}}$ 表示滑窗区域的中心区域${R_0}$ 的偏振度最大值;$ I_{Dop}^{{R_0}} $ 表示滑窗区域的中心区域${R_0}$ 的每个像素的偏振度值。滑窗区域中每个区域的偏振度平均值
$m_{Dop}^i(i = 0,1,2,\cdots,8)$ 定义如下:$$ m_{Dop}^i = \frac{1}{N}\sum\limits_1^N {I_{Dop}^{{R_i}}} $$ (4) 式中:
$ I_{Dop}^{{R_i}} $ 表示滑窗区域中区域${R_i}$ 的每个像素的偏振度值;$N$ 表示每个区域${R_i}$ 中的像素总数。为了对目标区域进一步增强,引入中心区域的偏振度与背景区域偏振度的差值作为局部对比度的权重,该权重
${\omega _i}(i = 1,2,\cdots,8)$ 表达式如下:$$ {\omega _i} = \left| {m_{Dop}^0 - m_{Dop}^i} \right| $$ (5) 对偏振权重
${\omega _i}(i = 1,2,\cdots,8)$ 进行归一化并求取均值得到归一化后的偏振权重${\omega _p}$ ,表达式如下:$$ {\omega _p} = \frac{1}{8}\sum\limits_{i = 1}^8 {\frac{{{\omega _i} - {\omega _{\min }}}}{{{\omega _{\max }} - {\omega _{\min }}}}} $$ (6) 式中:
${\omega _{\max }}$ 和${\omega _{\min }}$ 分别表示公式(5)计算出的局部滑窗区域权重的最大值和最小值。因此,引入偏振权重的滑窗区域的偏振度局部显著图表示为:
$$ {C_{Dop}} = {\omega _p} \cdot \mathop {\min }\limits_i \frac{{{L_{Dop}}m_{Dop}^0}}{{m_{Dop}^i}},(i = 1,2,\cdots,8) $$ (7) 对整个图像进行遍历之后,得到整个图像的偏振度显著图,通过显著图可以快速关注到较为显著的目标。文中利用自适应阈值操作来对目标与背景进行分割,偏振度显著图的阈值
$T{h_{Dop}}$ 定义如下:$$ T{h_{Dop}} = {\mu _{Dop}} + k{\sigma _{Dop}} $$ (8) 式中:
${\mu _{Dop}} $ 表示偏振度显著图的平均值;${\sigma _{Dop}}$ 表示偏振度显著图的标准差;$k$ 为可调节的常数参数。当${C_{Dop}}$ 值大于阈值$T{h_{Dop}}$ 时,该像素为目标,反之则为背景。 -
文中数据采集所使用的分焦平面红外偏振相机是将检偏器件通过微纳加工覆盖在焦平面上,焦平面上每个像元对应一个微偏振片,由微纳光栅构成的微偏振片阵列中每2×2个像元为一组。
如图1所示,图1的左侧为2×2的微偏振片阵列,对应的偏振角度分别为:左上角0°、右上角45°、右下角90°、左下角135°,图1右侧为由2×2的微偏振片阵列重复排列所构成的红外偏振马赛克图像。
基于图1的红外偏振马赛克图像,文中利用偏振梯度直方图(Polarization Gradient Histogram)[20]作为特征提取法,跟踪算法采用KCF[21]跟踪算法。
-
图2中的箭头指向代表控制信号和数据流向。该设计的工作流程为:PS端首先对系统进行初始化,并将红外偏振马赛克数据读入DDR3内存中,然后检测算法模块通过VDMA(Video Direct Memory Access)读取第一帧图像得到目标的初始位置,特征提取模块利用目标初始位置对目标进行特征提取,然后跟踪算法利用目标特征对目标位置进行预测。最后,PS端将图像和跟踪结果通过VDMA送至HDMI显示模块,并在显示器进行显示。
图 2 检测跟踪系统软硬件协同设计框图
Figure 2. Block diagram of software and hardware collaborative design of detection and tracking system
基于上述的软硬件协同设计方式给出了整个系统的框架,系统结构如图3所示。
该系统根据不同任务的计算特点将其分配到PL和PS端执行,利用FPGA和ARM各自优势进行协同计算,使系统具备更快的数据处理能力以及更高的计算精度和灵活性。
其中,PS部分负责接口的驱动控制、DDR3内存读写、外围设备控制以及实现检测跟踪算法;PL部分负责HDMI、AXI、VDMA控制以及部分特征提取算法。该系统中将红外偏振图像数据存储到DDR3内存中,以便于后续的处理。
在PL部分,VDMA、HDMI等可以直接调用VIVADO的IP库的模块,然后在PS端编写程序进行驱动;特征提取算法需要使用HLS (High Level Synthesis,高层次综合)工具封装成IP核放到FPGA端实现算法加速。
-
该系统利用AXI总线搭建了图像传输以及处理的架构,如图4所示。该设计将图像数据存储到外部存储器DDR3中,特征加速模块是通过VDMA与DDR3相连接,利用AXI总线将DDR3中的图像数据经VDMA模块发送到特征加速模块,由特征加速模块对图像数据进行处理。经过处理之后,特征加速模块可以将处理数据以AXI总线数据流的形式传输给VDMA,然后VDMA将数据再发送到DDR3中,并由ARM读取DDR3中的处理结果,VDMA可以实现与外部存储控制器之间地址转换的细节操作。视频输出显示模块也是利用VDMA与DDR3相连接,读取DDR3中的处理结果并以HDMI输出到显示器。对于特征加速模块、视频输出模块以及VDMA的控制,可以将ARM通过AXI总线接入整个处理系统,利用ARM端的AXI接口(AXI-GP接口和AXI-HP接口)通过AXI Interconnet模块与PL端各模块互连实现控制。
-
HLS可以用来对FPGA端的IP核进行开发, 并且可以对程序进行优化,从而实现算法的加速。对于程序中的循环部分,可以采用unroll(展开循环);为了提高程序的并行化处理,可以选择PIPELINE优化指令;对于数组的优化,可以采用ARRAY_PARTITION指令,提高模块的数据吞吐量。
在HLS设计中,数据在FPGA中是以流水形式输入的,因此在窗口内计算梯度时候,无法对任意位置读取像素值,需要考虑这种流水结构。文中采用行缓存来构造3×3的窗口计算梯度,每行的缓存数与图像宽度一致,也就是640 pixel的行缓存,如图5所示。
由于FPGA中浮点计算会导致精度下降,因此,文中在计算水平Spa-PFM矩阵[20]和垂直Spa-PFM矩阵[20]时,将浮点型扩大10倍并近似为整型,最后将计算的结果在ARM中缩小10倍,以浮点型进行后面的计算,这样既可以实现算法加速,也可以避免因浮点型计算导致的精度下降。对于Polar-PFM矩阵[20]的计算,由于该矩阵需要在5×5的窗口内进行计算,因此在行缓存时需要扩展为5×5,结构与图5的3×3的行缓存类似。
由于梯度幅值以及梯度相角都涉及到复杂的浮点运算,因此这部分在ARM中执行。直方图统计以及归一化也会涉及浮点运算,并且在统计时需要先对Cell内进行统计完之后,再对多个Cell构成的Block内进行统计。按照这种方式需要统计完Cell内的缓存之后,清空所有缓存重新加载Cell的统计结果再对Block进行统计,会导致计算效率低下。因此,直方图的统计更适合放入ARM中执行。该设计在ARM+FPGA的结构中将特征提取算法进行分平台执行。特征提取模块整体框图如图6所示。
该设计将计算结构简单、重复性较强的梯度计算在FPGA中实现,利用行缓存的方式对数据流进行处理。对于梯度的幅值和相角计算以及直方图统计,这部分涉及到大量的浮点运算并且难以采用行缓存的形式来实现,因此放入ARM中执行。这样的分平台计算既可以减少精度损失、也可以利用FPGA的特性来实现部分算法的加速。因此,基于ARM+FPGA平台的特征提取软硬件协同计算综合考虑了速度以及精度问题,能够较好地实现算法,并且合理地利用硬件平台的资源。系统的原理样机如图7所示。
-
基于FPGA的场景一的车辆目标检测跟踪结果如图8所示,图8(a)~(d)为第1、20、45、60帧的目标检测结果,图(e)为Dop图像,图(f)为Dop显著图像。场景一在跟踪过程中存在相似的车辆目标干扰,可以发现道路上的车辆在偏振度图像上较为明显,因此跟踪中并未出现错误跟踪的情况。
基于FPGA的场景二的车辆目标检测跟踪结果如图9所示,图9(a)~(d)为第1、20、60、80帧的目标检测结果,图(e)为Dop图像,图(f)为Dop显著图像。场景二在跟踪过程中存在目标被遮挡的干扰,从偏振显著图可以看到目标的偏振显著度非常高,因此跟踪始终保持着非常高的准确性。
基于FPGA的场景三的车辆目标检测跟踪结果如图10所示,图10(a)~(d)为第1、20、60、80帧的目标检测结果,图(e)为Dop图像,图(f)为Dop显著图像。场景三中目标的红外辐射强度与背景相近,甚至低于部分背景。在跟踪过程中,由于文中的算法引入了偏振信息,因此具有较高的跟踪精度,解决了目标红外辐射强度较弱下的目标跟踪问题。
基于FPGA的场景四的飞机目标检测跟踪结果如图11所示,图11(a)~(d)为第1、20、60、90帧的目标检测结果,图(e)为Dop图像,图(f)为Dop显著图像。场景四中飞机目标的红外辐射强度与背景相近,利用红外辐射强度信息难以实现检测跟踪。由偏振度与偏振显著度图可以看到飞机的偏振信息与背景差异较大,因此文中的算法具有较高的检测跟踪精度,解决了目标红外辐射强度较弱下的目标检测跟踪问题。
对检测跟踪的实时性进行的测试结果表明,文中的检测跟踪系统的处理帧率能够达到25 fps,满足实时性的要求。
-
系统的功耗和硬件资源消耗情况关系到该硬件平台的使用场景,低功耗的硬件系统可以在特殊场景下使用,例如在机载环境、野外作业环境等。因此该小节对硬件系统的功耗以及资源使用率进行测试。
在Vivado软件中可以对系统的资源使用情况和功耗进行查看,见表1。从表中可以看出,该系统对硬件资源消耗较少,所消耗的资源比率较低。
表 1 系统硬件资源消耗情况
Table 1. System hardware resource consumption
Resource Used Usabl LUT 15440 171900 LUTRAM 665 70400 FF 18852 343800 BRAM 14 500 DSP 29 900 IO 8 250 MMCM 1 8 因此,该系统所使用的硬件资源只占了该硬件平台的一小部分,为低功耗的要求奠定了基础。硬件资源的消耗利用率如图12所示,各个硬件资源的利用率即均没有超过资源总量的15%,为低功耗的要求奠定了基础。
该系统的功耗情况如图13所示。系统的功耗分为静态功耗和动态功耗,总功耗为2.255 W,其中静态功耗为0.223 W,动态功耗为2.032 W。动态功耗中以PS部分功耗占比最多,为75%。因此可知,该系统的功耗情况满足低功耗要求,适用于一些特殊场景环境。
-
传统红外检测、跟踪系统在复杂背景以及目标与背景达到热平衡时难以对目标进行检测、跟踪。文中基于红外偏振摄像技术构建了红外偏振目标检测跟踪系统。系统采用模块化以及软硬件协同设计的方式,将软件的不同任务分平台执行,对整体硬件系统进行设计。文中对基于VDMA图像传输的图像显示模块、基于AXI总线协议的图像传输处理模块以及基于FPGA的特征加速模块这三个重要模块进行设计并实现。最后给出了检测跟踪系统的检测跟踪结果和分析,并对系统的硬件资源消耗及功耗进行测试,结果表明文中的红外偏振目标检测跟踪系统具有较高的检测跟踪精度,并且具有低功耗、较高实时性等特点。
红外偏振目标检测跟踪系统仍可以进行改进与完善。软件层面,为提高目标跟踪算法的计算速度,系统采用较简单的相关滤波目标跟踪算法,这提高了算法实时性,但一定程度上降低了系统的准确性与鲁棒性。利用偏振马赛克图像中不同通道包含的偏振信息,设计针对红外偏振马赛克图像的相关滤波算法,可以在保持算法实时性的基础上提高系统准确性与鲁棒性。硬件层面,系统针对梯度特征提取过程进行硬件加速而忽略了目标跟踪的加速,导致PS端功耗相较其他部分更大。若能充分利用FPGA的计算能力,对跟踪过程进行加速,系统有望获取更低的功耗与更高的实时性。
Maneuvering object detection and tracking system based on infrared polarization imaging (Invited)
-
摘要: 基于红外偏振摄像的机动目标检测跟踪系统对实时性要求较高,而且在野外场景下需要具备低功耗的特点。FPGA具有并行计算的特性,能够极大的提高系统吞吐量和处理数据速度,能够满足实时性的要求,因此一种基于FPGA的目标检测跟踪系统被设计出来并得以实现。在硬件开发平台上采用模块化以及软硬件协同设计的方式,将具有不同计算特点的任务分别在PS端(ARM)以及PL端(FPGA)实现,其中PL部分负责部分算法的加速、FPGA和ARM处理器之间数据传输以及HDMI等接口逻辑控制等,PS部分负责实现较为复杂的检测跟踪算法,以及负责控制FPGA端的各个模块。最后,对目标检测跟踪系统进行实验测试和分析,给出系统的硬件资源消耗及功耗,结果表明该目标检测跟踪系统能够满足实时性的要求,并且具备低功耗的特点。Abstract: The infrared polarization object tracking under dynamic scenes has a demand for real-time performance and low power consumption. FPGA has the characteristics of parallel computing, which can greatly improve the system throughput and data processing speed, and can meet the requirements of real-time. Therefore, a target detection and tracking system based on FPGA was designed and implemented. On the hardware development platform, the methods of modularization and software and hardware collaborative design were adopted to realize the tasks with different computing characteristics in PS (ARM) and PL (FPGA). PL was responsible for the acceleration of some algorithms, data transmission between FPGA and ARM processors, HDMI and other interface logic control. PS was responsible for the implementation of more complex detection and tracking algorithms, and controlled each module in FPGA. Finally, the target detection and tracking system was tested and analyzed, and the hardware resource consumption and power consumption of the system were also given in the experiment. The results showed that the purposed target detection and tracking system can meet the requirements of real-time and low power consumption..
-
Key words:
- infrared polarization /
- object tracking /
- object detection /
- FPGA
-
表 1 系统硬件资源消耗情况
Table 1. System hardware resource consumption
Resource Used Usabl LUT 15440 171900 LUTRAM 665 70400 FF 18852 343800 BRAM 14 500 DSP 29 900 IO 8 250 MMCM 1 8 -
[1] Li Bo. Application and development trend of infrared stealth technology [J]. Chinese Optics, 2013, 6(6): 818-823. [2] Liu Yi, Shi Haodong, Jiang Huilin, et al. Infrared polarization properties of targets with rough surface [J]. Chinese Optics, 2020, 13(3): 459-471. [3] Zhang Yan, Han Jiantao, Li Jicheng, et al. Characteristics analysis of infrared polarization for several typical artificial objects[C]//Image and Signal Processing for Remote Sensing. International Society for Optics and Photonics, 2014: 92440I. [4] Luo Haibo, Zhang Junchao, Gai Xingqin, et al. Development status and prospects of polarization imaging technology (Invited) [J]. Infrared and Laser Engineering, 2022, 51(1): 20210987. (in Chinese) [5] Forssell Goran. Test and analysis of the detectability of personnel mines in a realistic minefield by polarization in the infrared LW region[C]//Defense and Security. International Society for Optics and Photonics, 2004: 187-195. [6] Forssell Goran. Passive IR polarization measurements applied to covered surface landmines[C]//International Society for Optics and Photonics, 2003: 547-557. [7] Cremer Frank, Wim De Jong, Klamer Schutte. Infrared polarization measurements and modelling applied to surface laid anti-personell landmines [J]. Optical Engineering, 2002, 41(5): 1021-1032. doi: 10.1117/1.1467362 [8] Aron Yoram, Gronau Yuval. Polarization in the LWIR: A method to improve target acquisition [C]//Proceedings of SPIE, 2005, 5783(1): 653-661. [9] Bradley Ratliff, Daniel LeMaster, Robert Mack, et al. Detection and tracking of RC model aircraft in LWIR microgrid polarimeter data[C]//Proceedings of SPIE, 2011, 8160: 25-31. [10] Zhao Yongqiang, Dai Huimin, Shen Linghao, et al. Review of underwater polarization clear imaging methods [J]. Infrared and Laser Engineering, 2020, 49(6): 20190574. (in Chinese) doi: 10.3788/irla.4_2019-0574 [11] Gong Jian, Liu Liang, Qiu Rongchao, et al. Adaptive scale local contrast detection for infrared polarization ship targets [J]. Optics and Precision Engineering, 2020, 28(1): 223-233. (in Chinese) doi: 10.3788/OPE.20202801.0223 [12] Meng Lu, Yang Xu. A survey of object tracking algorithms [J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260. (in Chinese) [13] Lu Ruitao, Yang Xiaogang, Shen Lurong, et al. Robust distribution fields tracking based on bayesian mutual information[C]//2018 Chinese Automation Congress, 2018: 919-925. [14] Yuan Yuan, Xiong Zhitong, Wang Qi. An incremental framework for video-based traffic sign detection, tracking, and recognition [J]. IEEE Transactions on Intelligent Transportation Systems, 2017, 18(7): 1918-1929. doi: 10.1109/TITS.2016.2614548 [15] Wan Minjie, Gu Guohua, Qian Weixian, et al. Unmanned aerial vehicle video-based target tracking algorithm using sparse representation [J]. IEEE Internet of Things Journal, 2019, 6(6): 9689-9706. doi: 10.1109/JIOT.2019.2930656 [16] Sam Hare, Stuart Golodetz, Amir Saffari, et al. Struck: structured output tracking with kernels [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(10): 2096-2109. doi: 10.1109/TPAMI.2015.2509974 [17] Hua Weixin, Mu Dejun, Guo Dawei, et al. Visual target tracking based on multi-view feature fusion with online multiple instance learning[C]//2017 36 th Chinese Control Conference (CCC), 2017: 10783-10788. [18] Guo Qing, Feng Wei, Zhou Ce, et al. Structure-regularized compressive tracking with online data-driven sampling [J]. IEEE Transactions on Image Processing, 2017, 26(12): 5692-5705. doi: 10.1109/TIP.2017.2745205 [19] Han Jinhui, Ma Yong, Zhou Bo, et al. A robust infrared small target detection algorithm based on human visual system [J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172. doi: 10.1109/LGRS.2014.2323236 [20] Qiao Xinbo, Chen Lulu, Zhao Yongqiang. Polarization gradient histogram for object tracking in infrared polarization imaging: A feature extraction method for polarization mosaic image[C]//2021 10th International Conference on Computing and Pattern Recognition, 2021: 224-230. [21] Joao Henriques, Rui Caseiro, Pedro Martins, et al. High-speed tracking with kernelized correlation filters [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596. doi: 10.1109/TPAMI.2014.2345390 -