Geometric moment detection with single-pixel for moving object localization (Invited)

运动物体的定位跟踪在很多领域有重要应用，例如生物医学细胞跟踪，设备监控和人机交互等。传统的物体跟踪方法一般采用高分辨高帧频的面阵探测器捕获运动物体的序列图像，然后利用图像处理算法由捕获的序列图像提取物体的运动轨迹^[1-2]。当追踪快速运动物体时，需要使用高速相机，但高速相机所产生的图像数据量非常庞大，实时处理还需要辅助外设设备。并且高速相机在一些不可见波段无法工作或者造价昂贵，例如红外、太赫兹波段等。这些因素限制了传统基于面阵成像方法追踪运动物体的应用范围。

近年来，一种与面阵成像完全不同的成像技术——单像素成像成为研究热点。单像素成像方法使用调制结构光照射目标物体，物体反射或透射的光经单像素探测器获取总强度值，利用调制散斑和探测总强度值之间的相关运算重建物体的图像信息^[3-4]。由于单像素探测器具有响应波谱宽和灵敏度高的优点，所以单像素成像方法在一些面阵探测器无法有效工作或者造价昂贵的波段具有显著优势^[5]。

对于单像素成像追踪运动物体的方法主要分为两种：第一种与传统的追踪方法类似，通过重建连续图像，由连续图像分析运动物体的轨迹^[6-7]。然而受单像素成像帧频的限制，该种方法不能实现快速定位跟踪；第二种方法，不重建连续图像，直接获取目标物体的运动轨迹，可以大幅度减少所需的照明散斑数，从而提高跟踪帧频^[8-11]。

文中提出一种利用单像素探测器通过测量物体的零阶和一阶几何矩值获取运动物体的质心，从而实现快速定位运动物体的方法。所提方法仅用3张几何矩散斑调制入射光，单像素探测器收集得到的反射强度值与物体的零阶和一阶几何矩值相对应。由探测强度值经相应计算得到表征物体位置的质心参数。使用所提方法开展了仿真验证和实验验证，在实验中分别实现了帧频约为500 fps和1 000 fps的运动物体定位。

单像素成像利用一系列照明散斑$ {S_n}\left( {x,y} \right) $照射目标物体$ f\left( {x,y} \right) $，目标物体反射或透射的强度信号被单像素探测器所接收。探测得到的强度值$ {I_n} $可以表示为：

式中：$ n $为照明散斑的索引值。根据参考文献[12]，在二维空间内，物体的$ \left( {p + q} \right) $阶几何矩$ {m_{pq}} $可以定义为：

对比公式(1)、(2)，当3个照明散斑${S_n}\left( {x,y} \right) \left( {n = 1,2,3} \right)$分别满足$ {S_1}\left( {x,y} \right) = \left[ {\begin{array}{*{20}{c}} 1&1& \cdots &1 \\ 1&1& \cdots &1 \\ \vdots & \vdots & \vdots & \vdots \\ 1&1& \cdots &1 \end{array}} \right] $，$ {S_2}\left( {x,y} \right) = \left[ {\begin{array}{*{20}{c}} 1&2& \cdots &N \\ 1&2& \cdots &N \\ \vdots & \vdots & \vdots & \vdots \\ 1&2& \cdots &N \end{array}} \right] $和$ {S_3}\left( {x,y} \right) = \left[ {\begin{array}{*{20}{c}} N&N& \cdots &N \\ {N - 1}&{N - 1}& \cdots &{N - 1} \\ \vdots & \vdots & \vdots & \vdots \\ 1&1& \cdots &1 \end{array}} \right] $时，由单像素探测器探测得到的强度值$ {I_n}\left( {n = 1,2,3} \right) $分别与物体的零阶$ {m_{00}} $和一阶几何矩值$ \left( {{m_{10}},{m_{01}}} \right) $相对应。根据几何矩的性质构造非正交基照明散斑。由调制信息$ {S_{\text{1}}}\left( {x,y} \right) $，$ {S_{\text{2}}}\left( {x,y} \right) $和$ {S_{\text{3}}}\left( {x,y} \right) $生成的散斑称为几何矩散斑，如图1所示。标识运动物体位置的质心$ \left( {{x_c},{y_c}} \right) $可以通过零阶和一阶的几何矩值计算得到。计算公式表示为：

经上述理论分析，仅用3张几何矩散斑调制入射光，照射到目标物体上，单像素探测器所接收的反射或透射强度值与零阶和一阶几何矩值相对应，由此获取表征运动物体位置的质心参数。由于获取每帧物体位置所需的散斑数少，所以利用文中方法可实现高帧频实时运动物体定位。

Figure 1.  Geometric moment patterns

为了验证该方法的可行性，首先开展了仿真计算。在单像素成像的过程中，由于噪声的存在会影响所得实验结果的准确性。而在整个单像素成像系统中，噪声主要来自于单像素探测器，一般分为读出噪声、背景噪声、背景光子噪声以及离散采样误差等^[13]。仿真选择加入高斯噪声来模拟单像素探测器中的噪声模型。

为了衡量高斯噪声的大小，选用峰值信噪比来评估噪声的强弱。峰值信噪比PSNR的表达式为：

式中：$ MAX $表示图像灰度的最大值；$ MSE $为均方误差。选用质心误差(Centroid Estimation Error)^[14]作为检验获取质心准确性的参数，用来表征计算质心位置$ \left({x}_{c},{y}_{c}\right) $与真实质心位置(无噪声无背景情况下质心的位置$ \left({x}_{0},{y}_{0}\right) $)的距离之差。其数学表达式为：

图2展示了两种仿真场景。图2(a)表示物体在一个均匀的黑色背景下，此时为无噪声均匀背景的理想情况，此时的质心位置作为真实质心位置，图2(b)为复杂背景，图2(c)表示物体处在图2(b)的复杂背景中。3张图像的空间分辨率均为256$ \times $256，分别对两种场景进行仿真计算。不同信噪比下的质心误差结果如图3所示，图中绿色线是物体在均匀背景情况下的结果，蓝色线是复杂背景下的结果。对比仿真结果，可以看出随着峰值信噪比不断提高，质心误差CEE不断减小。当峰值信噪比小于40 dB时，质心误差CEE随着峰值信噪比的增大明显减小，而当峰值信噪比大于40 dB时，质心误差CEE减小趋势逐渐趋于平稳，稳定在两个像素以内。

Figure 2.  Simulation scenes. (a) Target object; (b) Complex background; (c) Target object in complex background

Figure 3.  Graph of centroid estimation error versus peak signal-to-noise ratio

根据文中所提方法，搭建相应的实验系统，系统组成如图4所示，LED为发光二极管，DMD为数字微镜装置，PMT为光电倍增管，IPC为工控机。在照射端，使用LED（M530L4-C1, thorlabs）为光源。数字微镜装置（DMD, Texas Instruments Discovery V7000, 22.7 kHz）为空间光调制器，用于将照明散斑投影到实验场景中。实验场景中运动物体距离照射端约2 m，光源发出的光经过DMD调制后，经焦距为125 mm的投影镜头照射到运动物体上，物体反射光经焦距为100 mm的聚焦透镜被接收端的单像素探测器（PMM002, thorlabs）所接收。高速数据采集装置（M4i-2218, Spectrum，1.25 GS/S）将单像素探测器采集得到的信号进行量化采样后传入计算机进行处理。由于3张几何矩散斑是灰度散斑，DMD对灰度散斑的调制频率比较低，为了充分发挥DMD较高的二进制散斑调制频率的优势，将3张灰度几何矩散斑按时间抖动的方法分解成17张二进制几何矩散斑^[15]。实验中所用的二进制几何矩散斑的空间分辨率均为$ 256\times 256 $。实验分为两组：(1) 与传统成像方法的对比实验（~500 fps）；（2）高帧频下运动物体追踪实验（~1 000 fps）。

Figure 4.  Experimental system diagram

第一组实验中运动物体为直径50 mm的漫反射纸。二维电动平台可承载漫反射纸按照不同的轨迹运动。图5(a)~(d)给出了追踪做直线运动的物体的实验结果。为了评估实验结果的准确性，在追踪过程中，同时利用相机(240 fps, iPhone)捕获运动物体的序列图像，然后通过质心算法^[16]由序列图像分析出物体的运动轨迹。图5(a)为文中方法和利用相机拍照方法所获得的实验结果，其中黑色虚线是由序列图像分析出质心运动轨迹，红色实线是利用文中所提方法实时探测物体质心的运动轨迹。从轨迹图可以看出，文中方法所获取物体质心的轨迹与图像法求出的质心轨迹基本吻合。质心的横纵坐标变化曲线如图5(c)和(d)所示，图(d)为文中方法获取的物体质心轨迹与利用图像法所得轨迹之间的误差曲线，横轴为相机捕获的帧频数，纵轴为质心位置误差CEE。结果表明与传统图像法获取的质心相比，所提方法实时探测运动物体的质心误差最大不超过1.63个像素，并且大多数帧的误差均在1个像素以内，均方误差为0.118 3个像素。实验结果证明了文中所提方法的准确性,且该方法获取质心的实时帧频约为500 fps。接着开展了对不规则运动的磁铁($ 47\;{\rm{mm}}\times 17\;{\rm{mm}}\times $$ 4\;{\rm{mm}} $)的追踪实验。图6(a)~(c)为相应的实验结果。视频同时记录了磁铁的运动过程和相应的实时探测过程。图(a)和(b)为物体质心的横纵坐标从14 001~17 000帧的变化过程，由于受到探测噪声的影响，实时探测得到的质心坐标会有所波动，图中灰色线为原数据，红蓝色线是滤波后数据。为减小噪声干扰波动，采用中值滤波去除原数据中误差较大的点。根据滤波后数据描绘出磁铁从14 001~17 000帧的运动轨迹，见图(c)。图7截取了视频中磁铁开始运动时的4个场景。以图中方形光斑的左下顶点为原点建立直角坐标系，从图中可以看出，实时探测得到的质心横纵坐标的变化趋势与物体的实际运动趋势相吻合。当磁铁在运动过程中发生不规则变化时，利用所提方法依然能追踪运动磁铁。

Figure 5.  Comparative experimental results with a frame rate ~500 fps

Figure 6.  Experimental results of tracking a moving magnet at a frame rate ~500 fps

Figure 7.  Tracking experimental scenes with a frame rate ~500 fps

第二组实验中，运动物体为无人机模型$\left(50\;{\rm{mm}}\times $$ 50\;{\rm{mm}}\times 27\;{\rm{mm}}\right)$，设置获取质心的帧频约为1 000 fps。图8(a)~(c)为获取的实验结果。图8(a)、(b)为小无人机质心横纵坐标从3 001~6 000帧的变化曲线。与第一组实验相似，为减少探测噪声带来的波动，采用中值滤波方法对原数据进行处理，图中灰色线为原数据，红蓝色线为滤波后的数据。图(c)为根据滤波后的质心横纵坐标描绘出无人机模型从3 001~6 000帧的运动轨迹。视频同时记录了无人机模型完整的运动过程和相应的探测过程。图9截取了视频中无人机模型开始运动时的两个场景，且计算质心横纵坐标的变化趋势与无人机模型位置的变化趋势相吻合。

Figure 8.  Experimental results of tracking a moving drone model at a frame rate of ~1 000 fps

Figure 9.  Tracking experimental scenes with a frame rate ~1 000 fps

文中提出了一种利用单像素探测器通过测量零阶和一阶几何矩值来获取运动物体的质心，以此来定位运动物体的方法。在探测过程中，仅用3个几何矩散斑对光源进行调制，照射到运动物体上，由单像素探测器接收的透射或反射强度值来计算运动物体的质心。利用该方法分别实现了帧频约为500 fps和1 000 fps的运动物体定位。计算质心误差在1.63个像素以内，均方误差为0.118 3个像素，证明了文中算法的准确性。文中所提方法使用时间抖动^[15]的方法来生成二进制几何矩散斑。当然还可以利用空间抖动的方法来实现更高帧频的运动物体跟踪^[17]。不仅如此，文中方法无需先验知识也不受物体运动类型的影响，在快速定位跟踪运动物体领域具有一定的使用价值。