Fast motion target information acquisition method based on dynamic window opening

随着红外传感器的不断发展，红外运动目标轨迹预测技术在诸多领域有着越来越广泛的应用，如自动驾驶，先进的船舶、车辆和行人监控系统等^[1–5]。此类场景的共同特点是目标在系统成像平面上的运动速度较慢，常规的30 Hz成像系统即可满足需求。而当场景中出现快速移动目标时，获取的目标轨迹坐标变得稀疏、点密度较低，导致后续处理算法的轨迹预测精度下降。为解决这一问题，常见的方法是采用计算复杂度较高的算法或使用具有更高时间分辨率的成像系统^[6]。如Gibson^[7]等人采用马尔科夫随机场框架，利用插值和估计局部运动方程的方法降低了在稀疏数据集的轨迹预测误差。Qiao S J^[8]等人提出了具有自适应参数调节技术的隐马尔可夫模型，当轨迹点的间隔在[20,40]区间内时模型的轨迹预测精度在80%以上。Wang H D^[9]等人提出了一种基于多任务学习的行人轨迹预测算法，利用轨迹之间的相似性来克服轨迹点的稀疏问题，相比其他的先进算法在稀疏数据集上的性能提升了10%。上述方法没有提升获取的目标轨迹点密度，而是利用已有的稀疏轨迹点数据进行预测，模型复杂度高且计算量较大(尤其在广域、大视场监控系统中)，通常难以应用于实时性要求较高的系统。成像系统方面，较多研究从读出电路和探测器的设计方面来提升获取的目标运动轨迹点密度，如Genki Mizuno等人设计了一种30~500 fps (frame per second)可编程的读出电路，Mohsen Rezaei等设计了基于InGaAs和石墨烯材料的新型红外探测器^[10-12]。通过提升系统工作帧频的方式可直接提升获取的运动目标轨迹点密度，但会产生巨大的数据量，带来极高的传输带宽要求，且当场景中的目标运动速度较低时会产生大量的冗余数据，增加后续处理算法的运算负担。

针对以上问题，文中提出了一种基于动态开窗(Dynamic Windowing, DW)的目标运动信息获取方法，基于系统响应反馈调节探测系统的工作参数。对快速运动目标开窗成像在提高帧频的同时去除冗余数据，提升获取的运动轨迹点密度，从而提高目标轨迹预测的精度。文中简单介绍了研究背景与现状，分析了探测系统与探测场景的数学模型，并给出所提方法的处理流程，给出了实验方案和结果分析。

探测器开窗可以减少冗余背景信息的读出，提高系统的工作帧频，提升轨迹点密度，但同时会限制积分时间，减少对目标能量的积累、降低信噪比(Signal-to-Noise-Ratio, SNR)，从而导致目标丢失。单项性能的提升通常需要牺牲其他性能，所提出的动态开窗方法的数学模型是对探测系统和探测场景相互制约关系进行解耦，分别分析不同探测场景对帧频和积分时间的制约，在两个参数间做出平衡并寻求临界工作条件，以实现快速运动目标信息的高灵敏度获取，提高目标轨迹预测精度。

系统工作帧频取决于读出时间和积分时间，在高速视觉系统中，探测器工作在边积分边读出模式下，其帧频可表示为：

式中：$ {{T}_{readout}}{\text{、}}T_{int} $分别表示积分时间和读出时间所需的时钟周期数；$ {T}_{readout} $表示窗口尺寸和读出时钟的函数；$ cl{k}_{period} $表示一个像素读出的时钟周期。对于快速运动目标而言，当$ {T}_{readout}< {T}_{int} $时，最高帧频受限于积分时间，$ fp{s}_{max}=\dfrac{1}{{T}_{int}} $。当$ {T}_{readout}\ge {T}_{int} $时，最高帧频受限于最小窗口尺寸和系统时钟，可表示如下：

式中：H、V分别表示目标实际的水平、垂直尺度；$ \theta $、S为目标运动方向与光轴所在平面的夹角和物距；f、pix为系统焦距和像元尺寸；$ WR $为系统窗口分辨率。定义窗口尺寸需满足相邻两帧的图像采集无需切换窗口位置，设目标实际运动速度为$ {v}_{true} $，最低帧频限制为：

式中：$ {v}_{dec,h} $、$ {v}_{dec,v} $分别为目标像面速度的水平和垂直分量。

积分是积累探测场景辐射能量的过程，在一帧积分时间内，为避免成像过饱和，积累的电子数应小于满井电荷^[13]，因此最大积分时间为：

式中：$ {N}_{full} $为满井电荷；$ IFOV $、$ {A}_{opt} $、$ {\tau }_{opt} $、$ \eta $分别为系统瞬时视场、入瞳面积、光学透过率和光电转换效率；$ {L}_{q,tar} $为目标自身光子辐亮度，一般对目标辐射特性建模得到，满足普朗克定律：

式中：$ \varepsilon \left(\lambda \right) $为目标发射率；$ h $、$ c $分别为普朗克常数和光速；$ M\left(\lambda ,T\right) $为目标光谱辐射率。依据光电转换特性，目标像元和背景像元的响应电子数为：

式中：$ {L}_{q,bg} $为背景光子辐亮度，可由背景辐射仿真计算得到。利用$ SNR $描述目标的可探测性^[13]：

式中：$ {n}_{sys} $为系统噪声；$ {n}_{ns} $为非场景噪声；$ {n}_{q} $、$ {n}_{readout} $、$ {n}_{MFP} $、$ {n}_{AFP} $、$ {n}_{opt} $分别为量子噪声、读出噪声、响应非均匀噪声、暗电流非均匀噪声和光学噪声；$ {T}_{opt} $为镜头温度；$ F $为焦比。通过定标获取系统噪声和非场景噪声中的参量后，由公式(6)～(8)可得出$ {T}_{int\_min} $与$ SNR $的定量关系。背景光子辐亮度与噪声共同限制了系统性能。将探测到目标后的开窗信息获取阶段分为强限制(SL)和亚限制(WL)两种系统工作状态，分别设定$ SNR $低于1.2倍、1倍的阈值信噪比时，认为目标不可探测。信噪比阈值一般可取3^[14]。

通过上述对探测系统、探测场景的分析，将系统工作帧频与积分时间极限值定义为判别矩阵：

该矩阵即为动态调整开窗尺寸和积分时间的触发条件。

探测系统工作框图如图1所示，模型输入为探测器采集的二维图像，输出为动态调节的开窗尺寸、位置、积分时间和增益模式参数。系统将模型解算的输出参数转换成指令通过信息获取模块下发给探测器，接收到一次指令时，探测器会在下一帧开始前完成参数的更新。此外，根据探测系统和场景需要预先设置的超参数有阈值信噪比、调整步长和非均匀校正参数。

Figure 1.  Block diagram of system

DW方法流程图如图2所示，当探测场景的判别矩阵无法同时满足时，调整工作状态以实现目标探测参数优化，方法实现步骤具体如下：

Figure 2.  Flow chart of DW method

(1) 全视场探测目标，积分时间和系统帧频为初始值，以信噪比、信背比为判据：

$ {L}_{q,tar} $与系统输出灰度值满足如下线性关系：

式中：$ \alpha $ 为定标获得的系统响应度，单位$\rm W\cdot s{\rm r}^{-1}\cdot {\rm m}^{2}$；$ {D}_{dark} $为暗电流引起的常量偏置。忽略目标边缘，取目标像元与背景像元的均值可得出公式(8)中的目标与背景的光子辐亮度与判据公式(10)。探测到目标则执行步骤(2)，否则执行步骤(1)；

(2) 进行图像预处理、目标检测，并行计算目标质心位置、目标尺度和信噪比，将该帧图像的计算结果暂存。系统工作在SL状态，取1.2倍阈值信噪比反演最低积分时间后更新判别矩阵中$ {T}_{int\_min} $，并根据目标质心位置和尺度执行初始化开窗操作。目标质心位置采用非卷积计算方法^[15]：

式中：$ \left({x}_{c},{y}_{c}\right) $为质心坐标；$ I\left(i,j\right) $为坐标$ \left(i,j\right) $处像素的灰度值；n、m为目标区域尺寸。根据$ {N}_{tar} $、$ {N}_{bg} $更新参数$ {T}_{int\_max} $、$ {T}_{int\_min} $；

(3) 调整系统参数, 调节步长取0.1倍当前值。对接下来输入的每帧图像执行步骤(2)中的计算，更新窗口尺寸和预测器输出的窗口位置。窗口尺寸的调节根据目标速度而定，需保证单帧内目标不会离开窗口视场。取内存中相邻两帧的目标质心位置进行运动速度计算：

目标的运动状态可以用如下模型表示：

根据公式(15)的实际计算结果更新判别矩阵中的$ fp{s}_{min} $。当目标特性反演结果与判别矩阵中的参数发生冲突时：

发出告警并自动进入WL工作状态。若冲突由目标辐亮度引发，则使用1倍阈值信噪比作为最小积分时间$ {T}_{int\_min} $限制并调节探测器工作在高增益模式。若冲突由目标运动速度引发，则强制扩大开窗尺寸、降低帧频，牺牲轨迹获取的点密度以确保目标不丢失；

(4) 当开窗位置到达视场边缘且质心坐标到达开窗边缘时，判定一个任务周期结束，回到全视场工作模式执行步骤(1)，等待下一次目标出现，否则执行步骤(3)。

采用均方根误差(Root Mean Square Error, RMSE)和弗雷歇距离^[16](Fréchet distance)两个指标来评价文中所提方法对快速运动目标轨迹预测精度的提升。RMSE是衡量预测值与真实值间差距的负向评价指标，RMSE结果越小代表预测精度越高，其计算公式如下：

式中：$ {l}_{i}{\text{、}}\overbrace {{l_i}}^{} $分别为第$ i $个变量的真实值和预测值；$ k $为变量的测量次数。

弗雷歇距离常用于时间敏感的轨迹距离度量^[4,17-18]，它表征了目标运动轨迹的预测值和真实值的相似度并考虑了轨迹点的位置和顺序，该距离越小表明两条轨迹曲线间的差异越小，其计算公式如下：

式中：A，B为两条连续曲线；$ f\left(i,j\right) $为$ \left(i,j\right) $点以及两点前的弗雷歇距离；$ d\left(i,j\right) $为$ \left(i,j\right) $点的欧氏距离。

实验方案示意图如图3所示，系统和实验设置的参数如表1所示。采用$ 512\times 512 $中波红外探测器进行验证(响应波段3~5 μm)，分别对自由下落的水滴和运动的烙铁成像。通过水滴成像实验验证开窗减小成像帧间间隔和降低占用数据带宽的性能，通过烙铁成像实验验证文中所提DW方法的目标运动轨迹预测性能。配置探测器采用双通道、边积分边读出的工作模式下，并将阈值信噪比设置为3。

Figure 3.  Schematic diagram of the experiment

设置探测器分别工作在$ 512\times 512 $全视场和$ 256\times 32 $开窗两种方式下，对自由下落的水滴成像，减去背景后的图像输出结果如图4所示。其中图(a)为帧频30 Hz时连续4帧(0.13 s)的成像结果，图(b)为帧频810 Hz时连续12帧(0.015 s)的成像结果。目标的帧间运动距离和占用数据传输带宽对比如图5所示，全视场成像时相邻两帧的目标平均运动距离为102.84 pixel，开窗后相邻两帧的目标平均运动距离为2.38 pixel，平均距离减小了43倍。相较于全视场，开窗可获取更为密集的目标运动轨迹坐标。而开窗后数据量从16.15 MB/s下降到13.24 MB/s，去除了冗余数据2.91 MB，占用带宽降低了18%。

Figure 4.  Detection imaging results of water droplets. (a) Full field of view imaging; (b) High frame rate imaging with window openning

Figure 5.  Histogram of inter-frame distance versus bandwidth for water droplets imaging

全视场与DW方法对烙铁成像的实验结果对比如图6所示，图中(a)为传统全视场探测30 Hz。目标的质心坐标和运动轨迹分别如图7(a)、(b)所示，图中的纵轴代表目标质心位置的坐标，横轴表示该坐标来自探测器获取到的第N帧图像。全视场探测时相邻两帧图像间目标的运动距离较大，在$ {T}_{0}\sim{T}_{1} $时间段内仅能获取一组目标位置坐标，获取的目标运动坐标较为稀疏，而采用文中提出的DW方法，系统平均工作帧频为480 Hz，在$ {T}_{0}\sim{T}_{1} $时刻可获取15组目标位置坐标。相邻帧的平均目标运动距离分别为64.13 、4.81 pixel，点密度扩展了约16倍，探测时间灵敏度有了较大提升。且传输数据量为12 MB/s，占用带宽降低了25%。

Figure 6.  Detection imaging results of electric soldering iron. (a) Full field of view imaging; (b) DW method imaging

Figure 7.  Target centroid coordinates and predicted trajectory error. (a) Target centroid coordinates acquired by the full field of view method; (b) Target centroid coordinates acquired by the DW method; (c) Error of trajectory prediction of the full field of view method; (d) Error of trajectory prediction of the DW method

运动轨迹预测曲线如图7(c)、(d)所示，为了更直观地展示预测误差随时间的变化情况，将预测误差的数值放大了100倍。采用文中提出的DW方法在预测运动轨迹时，前10帧的估计误差较大，但随着获取到的目标信息增加，较高的轨迹点密度为预测器提供了更多的迭代次数，使得误差降低了一个数量级。经过多次迭代修正后运动轨迹水平和垂直方向的预测误差分别从0.395、0.789下降到0.084、0.014。

为进一步评估文中方法对目标运动轨迹预测的性能，采用最小二乘和RANSAC算法对获取的目标质心坐标进行拟合^[19]，RANSCA的假设模型为圆周的运动模型，对所有轨迹点随机抽样得到支持率最高的模型并舍弃外点以去除图像质心提取时引入的误差。得到的参考目标运动方程如公式(15)所示，分别将传统全视场和DW方法获取的坐标代入运动方程(21)，利用公式(19)计算目标圆周运动半径估计值的均方根误差。

利用两种方法获取的坐标分别拟合得到其各自的运动轨迹如图8所示，生成1000组坐标计算预测运动方程与目标实际运动方程(21)的弗雷歇距离计算结果如图9所示，采用文中提出的DW方法，使得圆周运动半径的估计误差由0.82838降为0.05697，估计精度提升了14.5倍；预测的目标运动轨迹与实际轨迹的弗雷歇距离由8.89711下降到3.37335，轨迹预测精度提升了2.6倍。

Figure 8.  Motion trajectory fitting. (a) Fitting results of data acquired by full field of view method; (b) Fitting results of data acquired by DW method

Figure 9.  Comparative histogram of the error in motion trajectory prediction

针对传统全视场成像方式在获取快速运动目标信息时由于轨迹点密度较低导致轨迹预测精度下降的问题，文中提出了一种基于动态开窗的运动目标信息获取方法，对探测系统和探测场景辐射特性建模，利用快速运动目标变化剧烈而背景缓变的特性进行开窗，实现了目标信息获取与系统工作参数的动态反馈调节。实验结果表明，文中提出的方法在简单背景下能有效提高单运动目标轨迹获取的点密度，从而提升轨迹预测精度。针对文中的中波红外演示系统，目标运动轨迹点密度提升了16倍，轨迹预测精度提升了2.6倍。文中方法适合硬件平台部署，且实时性和可扩展性较强，为红外智能探测系统设计提升快速运动目标运动估计的精度提供了有价值的参考。