Target tracking acceleration scheme adopting adaptive fuzzy optimization

目标跟踪是利用目标在图像中第一帧的位置，推断出该目标在整个图像序列集或在跟踪过程中的位置轨迹，并在视频监控、无人驾驶以及人机交互等许多方面上都有着十分广泛的应用前景^[1]。

传统的目标跟踪方案都是以高性能主机作为基础来实现的，这种方案使得目标跟踪平台体积大、功耗高，大大限制目标跟踪算法在日常生活中的便携式的应用场景的应用。为了进一步提高目标跟踪算法的性能^[2]，国内外学者在目标追踪领域进行了不断地尝试。

基于相关滤波的目标跟踪算法凭借着出色的跟踪表现近些年受到广泛的关注^[3-4]。2010年，Bolme首次将相关滤波理论引入了目标跟踪领域并提出了经典的MOOSE算法^[5]。通过傅里叶变换将时域的相关运算迁移到空域的点乘运算，大大地降低了算法的运算量，显著提高了算法的推理速度。由于只采用了表征能力较弱的灰度特征，使得算法在多场景的表现性能急速下降。2014年，Henriques等人在MOOSE算法的基础上提出了核相关滤波(Kernel Correlation Filter, KCF)算法^[6]。该算法通过引入循环矩阵结构巧妙地解决了训练样本不足的问题，引入HOG特征显著地提高了目标跟踪算法的精度以及鲁棒性；并利用核函数以及循环矩阵对角化的特性大大降低了目标跟踪算法的运算量。逐渐地，也有学者将卷积神经网络融入相关滤波框架，比较有代表性的算法就是Ma提出的基于深度学习的卷积特征HCF目标跟踪算法^[7]。通过将卷积特征引入目标检测器进行训练，使得跟踪精度得到大幅度的提高，但是高运算量也导致其跟踪实时性较低，无法在嵌入式平台有效地运行。为了提高目标跟踪算法在嵌入式设备上的运行效率，王向军等人提出了一种低复杂度的目标跟踪算法并在嵌入式平台取得了不错的效果^[8]。

论文在核相关滤波目标跟踪的加速框架下提出采用自适应模糊的目标跟踪加速方案。首先自适应模糊算法在算法的最开始阶段自适应地模糊目标图像的像素质量，显著降低算法的运算量。其次采用了跟踪响应结果的峰值旁瓣比(PSR)与平均相关能量(APCE)判据来判定跟踪结果的可信度，实现跟踪模型的自适应更新以及目标位置重搜索。最后为了提高算法在嵌入式平台的移植能力，利用FPGA对算法中的矩阵运算进行并行处理，在降低功耗的同时能够有效提高算法的运行效率。最终将优化后的算法移植到嵌入式平台，验证其在嵌入式平台的运行效率。

核相关滤波算法是一种基于判别式模型的跟踪算法，它是将目标跟踪问题视作图像前景与背景的二分类问题。因此，一个可以区分背景以及前景的目标检测器是尤为关键的，它的性能优劣决定着核相关跟踪算法的跟踪精度以及鲁棒性。

算法是利用岭回归去训练目标检测器，核心就是需要找到一个目标函数$f(x) = {w^{\rm T}}x$，使得样本目标与回归目标之间的平方误差达到最小值，最小平方误差和可以表示为：

式中：x为通过特征提取算法得到的感兴趣目标样本的特征信息；$ \lambda $为正则化系数，用于保证目标检测器的泛化性能；y为回归标签对应值。

由于训练样本是通过循环矩阵密集采样得到的二维矩阵，同样具有可利用傅里叶变换矩阵实现对角化的性质，因此分类器求解运算将利用傅里叶变换转移至频域进行实现。结合求解支持向量机(SVM)问题的方法，得知必定存在一个封闭解，令公式(1)的导数为零，可得到：

在大多数情况下样本在原始空间下是非线性可分的，因此，需要将这些样本映射到高维空间，然后利用岭回归在高维空间寻找合适的目标分类器，并完成对样本的正确划分。同时为了解决样本在高维度空间的内积运算量大的问题，相关滤波跟踪算法引入了核函数的概念。

设$ \phi ({x_i}) $为映射函数，目标函数就转换为$f(x) = {w^{\rm T}}\phi ({x_i})$，w是$ \phi (X) $的行向量的一个线性组合，即$ w = \sum\nolimits_i {{\alpha _i}\phi ({x_i})} $，于是公式(2)就变为：

利用核函数将求解w的问题转换为求解a的问题，同时核函数避免在高维空间进行内积运算，进一步使得目标检测器的解形式更加简单。待分类的训练样本是通过循环矩阵产生，因此核函数对应的核矩阵也是一个循环矩阵。借助于循环矩阵频域可对角化的性质，最后得到目标分类器如公式(4)所示：

式中：$ {\hat k_{xx}} $为核函数矩阵的第一行向量，它是由图像特征信息决定的；$\hat Y$为高斯回归标签的傅里叶变换结果；$ \lambda $为用于防止目标检测器过拟合的正则化系数。

基于核相关滤波跟踪加速算法主要包括三个阶段，算法整体流程如图1所示。(1)初始化阶段，利用初始帧图像给定的目标信息进行初始化，然后对图像进行特征提取，求解初始的目标检测器。(2)目标检测器的训练与更新阶段，首先根据自适模糊算法对下一帧图像进行自适应模糊，接着对其进行特征提取并训练出第T帧的目标检测器，之后与上一帧的目标检测器进行线性组合完成目标检测器的更新。(3)跟踪处理阶段，借助于上一阶段得到的目标检测器，将其与第T+1帧中上一帧目标位置区域所提取的图像特征进行相关运算，并利用PSR与APCE判据评估运算结果的可信度，当目标未被严重干扰时，采取自适应模型更新策略；当目标被严重干扰时，启动目标位置的重检测，最后完成跟踪位置的更新。

Figure 1.  Flowchart of target tracking acceleration algorithm based on kernel correlation filtering

核相关滤波算法的跟踪模型(跟踪检测器)如公式(4)所示，它是高斯回归标签$\hat Y$与跟踪目标特征信息以及常量正则化系数$\lambda $的比值，因此，只要图像的特征信息以及高斯回归标签拟合合理，同样可以完成对跟踪模型的训练。由于高斯回归标签以及图像信息量都是与跟踪目标的尺寸成比例的，因此可以通过模糊图像，使用更少的图像特征完成对目标的有效跟踪。

为了验证这一推论，首先选取了basketball， bolt， girl， deer 序列集进行仿真实验。如图2所示，对于前三个数据集，模糊优化并不会降低算法的跟踪精度。可是对于第四个数据集来说，模糊优化已经导致算法无法准确地跟踪目标。因此模糊优化对一些序列集来说是不适合的，所以需要找到一种合理判据来达到对图像的自适应模糊的目的。

Figure 2.  Qualitative results analysis of origin algorithm and optimized algorithm

在OTB-2015跟踪数据集中，每个图像序列集的跟踪目标所包含的信息量是不一样的，通常，跟踪目标的信息量是由像素个数决定的。因此需要在保证跟踪精度的前提下，找到更为合理的跟踪目标的像素点阈值，并将该阈值作为衡量图像特征多少的依据，并依此判定依据来决定是否需要对图像进行模糊处理。

OTB-2015数据集包含了100个序列集，不同数据集的像素点的个数差别较大，无法简单地利用平均值或中位数作为图像序列集模糊处理的判定依据。因此，如何根据跟踪目标像素点的多少，对这100个数据集进行合理划分，以确定合理的跟踪目标的像素点阈值，该文引入了聚类分析的方法^[9]。

首先根据跟踪目标的像素点的个数进行升序排列，然后将相邻的每五个序列集作为一小类，总计分为20小类，并以这五个序列集像素点个数的平均值作为每个小类的初始值，最终再通过聚类分析实现对整体序列集的分类。

由于OTB-2015跟踪数据集是根据样本进行分析的，在每次的聚类分析过程中需要将相似度最高的两个样本划分为新的一类。因此，欧式距离被用来作为衡量相似度的指标。欧式距离是欧几里得空间两点之间的直线距离，欧式距离在二维空间的计算公式如下所示：

为了将欧式距离应用到聚类分析中，需要在欧氏空间中，将每个小类跟踪目标的像素点个数表征出来。通过计算每个小类跟踪目标平均像素点个数的算术平方根，可以将得到的算术平方根作为x轴与y轴的坐标，并在二维坐标系中描点，得到每个小类在欧氏空间的量化分布。

系统聚类的核心思想是通过计算类之间的距离将两个最相似的类合并成一个新的类。系统聚类的具体实现过程如下：

(1) 计算初始样本之间的欧式距离$ {\rho _{ij}} $，并将结果记录在相似矩阵之中。

(2) 找到相似矩阵当中的最小元素，并将其对应 的两个小类合并成一个新小类。

(3) 利用得到的新小类样本更新相似矩阵。

(4) 重复步骤(2)，(3)。

(5) 直至所有的小类都合并为一个大类。

在经过多次的合并之后，所有的小类最终合并为一个大类。从图3中看出，最终可以将OTB-2015数据集分为大、中、低目标三大簇，且大目标与中目标的分类阈值为11130，中目标与小目标的分类阈值为2857。对于大目标则进行1.5倍的模糊优化，对中目标则进行0.75的模糊优化，由于小目标所包含的信息量较低，则不对其进行模糊优化，以此达到对序列集的自适应模糊，具体的量化分类过程如图4所示。

Figure 3.  Combined results of system clustering

Figure 4.  Diagram of sequence for quantization classification

如图4所示，其中x, y轴分别表示序列集跟踪框的长与宽，红色曲线表示为大目标与中目标的分类曲线，其表达式为$y = 11\;130/x$；蓝色曲线表示为中目标与小目标的分类曲线，其表达式为$y = 2\;875/x$。蓝色曲线与坐标轴围成的区域则为小目标区域，蓝色曲线与红色曲线围成的区域则为中目标区域，红色曲线之外的则为大目标区域。

对于Panda序列集，其跟踪框尺寸为23×28，因此可被归为小目标一类；对于Car1序列集，其跟踪框尺寸为55×66，则可被划分为中目标一类；对于Fleetface序列集，跟踪框尺寸为148×122，则可被划分到大目标一类，分别对每小类进行不同程度的模糊优化就可以实现运算量的优化。

传统的核相关滤波跟踪算法是以跟踪结果的响应峰值作为目标的预测位置，然后再根据目标的预测位置训练新的跟踪模型，并与上一帧的跟踪模型线性融合完成跟踪模型更新，如公式(6)所示：

式中：$\alpha $为更新之后的跟踪模型；${\alpha _{curr}}$为当前帧训练得到的跟踪模型；$ {\alpha _{pre}} $为前一帧的跟踪模型；$\beta $为模型的更新系数。

当目标未被干扰时，跟踪响应峰值是一个很尖锐的峰值，而且周围的响应结果波动很低，当目标面对旋转、遮挡、运动模糊等挑战因素时，跟踪结果不再是单一峰值，而且跟踪结果波动很剧烈。图5展示了序列集在不同挑战场景中跟踪结果的响应图。

Figure 5.  Tracking response results of Lemming sequence sets under different conditions

从图5可以看出，当目标处于正常跟踪(图5(a))、运动模糊(图5(b))以及遮挡(图5(c))不同的场景中，跟踪响应的结果之间差异很大。当目标没有受到干扰时，跟踪响应结果的峰值旁瓣较高，而且整体的波动程度很低；当目标发生运动模糊时，跟踪结果不再是一个很明显的尖峰，而且整体也不再是那么平稳；当目标被遮挡时，跟踪结果的峰值变得很钝，而且波动程度更加剧烈；这些干扰都会影响后续对目标的持续跟踪。因此选择了峰值旁瓣比PSR以及平均峰值相关能量比APCE用于衡量峰值的尖锐程度以及响应结果的整体波动程度，两者的定义如下：

式中：${g_{\max }}$为响应结果的峰值；${\mu _{s1}}$和${\sigma _{s1}}$分别为峰值周围旁瓣元素的平均值与标准差。

式中：${g_{\max }}$与${g_{\min }}$分别为响应结果的峰值以及谷值；${g_{x,y}}$为跟踪结果中位于(x,y)处的响应值。

由于不同跟踪序列集包含的挑战因素也不一样，因此为了提高对跟踪结果判定的可靠性，还参考了历史帧的PSR_i(x)与APCE_i(x)的结果，只有当前帧的PSR_curr(x)与APCE_curr(x)均以一定的比例大于各自的历史均值，才可认为此时的跟踪结果是可信的，即：

式中：n为参考的历史帧结果的个数；${\delta _1}$，${\delta _2}$分别为历史帧的PSR_i(x)与APCE_i(x)的参考比例。当两个判定指标均满足条件，则正常跟踪；若仅满足一个条件，则将跟踪模型的更新率$\;\beta $降为原来的1/3；如果两个判定条件均不满足，则停止目标更新，舍弃预测的目标位置，并对目标进行重搜索。

重搜索流程如图6所示，图中绿色的虚线框为当目标被严重干扰时的搜索框，黄色的框为上一帧图像中的目标跟踪框。当跟踪结果的两个判定条件均不满足时，算法会自动启动重搜索模块，通过在目标周围产生四个搜索框并分别计算跟踪模型与这四个搜索框的跟踪响应结果，如果此时的跟踪结果均满足判定条件，则将搜索框的位置修正为跟踪目标在下一帧所在的位置。

Figure 6.  A re-search of the tracking target

在核相关滤波算法的相关操作以及核函数运算中存在大量的矩阵相乘运算，这部分运算很适合通过并行化来加快运行速度。因此，可以将该部分运算从算法抽离，将其移植到FPGA来实现，这对提高核相关跟踪算法的跟踪实时性是非常有效的。

在FPGA中实现一次32位的浮点数运算需要三个DSP48单元。仿真实验表明将32位浮点数转换为16位定点数进行运算对算法的跟踪精度没有太大的影响。因此，在FPGA硬件电路设计中采用了16 bit对输入数据进行量化，进一步降低算法的运算时间以及功耗。为了降低硬件电路的开发时间和提高算法的准确率，硬件加速电路主要是利用HLS工具进行设计开发^[10-11]。在设计过程中，针对矩阵相乘运算加入并行流水线优化操作，并为输入接口配置了传输速度更高的AXI-stream接口，最终生成的硬件IP如图7所示。

Figure 7.  Module diagram of hardware acceleration IP

为了验证提出的优化算法对核相关滤波算法跟踪性能的效果，首先在上位机平台基于OTB-2015数据集进行仿真实验，上位机平台的参数为Intel i5-7300 HQ，主频2.50 GHz，软件平台为Matlab2018 a，主要采用跟踪精度以及跟踪实时性对算法的性能进行评估。

算法中的参数配置为：初始更新率$\beta $为0.02，公式(9)中历史数据的参考帧数为50，用于评估PSR以及APCE的判定系数${\delta _1}$，${\delta _2}$分别为0.25，0.30。

为了验证自适应模糊优化的可行性，对OTB-2015数据集进行了仿真实验，如图8所示，可以看出优化后的算法跟踪精度是59.74%，跟踪实时性为368 frame/s，相比于原始算法跟踪实时性仅降低了0.94%，但跟踪实时性提高了44.7%.

Figure 8.  Performance comparison for adaptive fuzzy optimization

自适应模糊优化主要是对算法整体运算量的考量，跟踪结果的判定以及重定位则是用于提高算法的跟踪精度以及鲁棒性。下面对整体优化后的算法进行了仿真验证。

图9为不同跟踪算法在OTB-2015数据集上的跟踪精度表现，可以看出文中算法的跟踪精度为65.8%，相比传统的核相关滤波算法精度提升了8.4%，结合跟踪算法的跟踪精度以及表1中跟踪速度的表现，可以看出文中提出的算法可以在保持跟踪精度的同时，保证跟踪速度。因此，文中提出的算法有望高效地运行在嵌入式平台上。

Figure 9.  Comparison of tracking accuracy between different tracking algorithms

为了验证文中提出的算法是否可以有效运行在嵌入式平台，结合算法的特点以及设计的需要，最终选取了融合ARM与FPGA的异构平台PYNQ-Z2完成算法的移植，并在OTB-2015^[12]跟踪数据集上进行仿真实验，与原始算法的实验结果进行分析与对比，结果如表2所示。

论文提出了一种采用自适应模糊的目标跟踪硬件加速方案，它在核相关滤波跟踪算法框架下进行设计。首先提出了图像的自适应模糊优化，可以根据目标图像的尺寸自适应地降低输入图像的质量，达到在不明显降低跟踪精度的前提下显著降低了需要处理的数据量的目的。其次采用了跟踪响应结果的PSR与APCE判据来评估跟踪结果的可信度，当目标未被严重干扰时，降低跟踪模型以及预测位置的学习率，当目标被严重干扰时，采用重搜索机制修正目标的真实位置。最后将算法中跟踪检测器训练以及相关滤波运算转移到FPGA上运行，并采用流水线架构进一步提高运算的执行效率。最终借助PYNQ Z2平台完成算法加速方案的设计，实验结果表明所提出的目标跟踪加速方案的跟踪精度为65.8%，跟踪实时性为17.28 frame/s，可以满足大多数便携式应用场景对目标跟踪算法的实时性要求。