-
事件相机是一种生物启发的视觉传感器，可实时捕获场景变化。事件相机不是以恒定速率输出帧图像，而是仅输出局部像素级亮度变化，以微秒分辨率输出异步事件流，具备高事件分辨率、高动态范围、低延迟、低带宽等优点[1]。
基于事件相机的独特优势，其在空间探测领域的应用逐渐被研究人员关注。Mcmahon-Crabtree P N等人[2]设计了一个极限观测模型，针对事件相机在空间探测中的应用性能作出初步评估，表明事件相机在捕获时间、持续观测等方面的优势前景。Roffe S等人[3]研究了事件相机在空间领域中的适用性，以及中子辐射对其性能的影响，表明了事件相机能够在空间辐射环境中工作。吕媛媛等人[4]建立了事件相机空间目标探测灵敏度模型，分析了灵敏度的影响因素，明确了事件相机可以能够实现空间目标探测。西悉尼大学国际神经形态系统中心在地基空间态势感知项目中，使用事件相机和大口径、长焦距地基望远镜对空间运动目标进行探测[5]。Afshar等人[6]提出了一种检测和跟踪方法，设计了基于特征的检测器和能够同时跟踪多个目标的顺序最小二乘跟踪器，实现对空间事件流数据的处理。
目前，事件相机在应用上存在以下挑战：一方面事件相机对环境变化响应敏感，产生大量噪声输出[7]；另一方面，远距离空间目标探测输出点目标事件流，信噪比很低，对空间事件流的处理算法提出更高要求。因此对于空间目标事件流降噪作为数据的预处理环节至关重要。
Delbruck等人[8]提出一种基于空间信息的滤波方法。对于每个到达的事件，记录在固定时间邻域内的8个相邻像素是否存在事件。若不存在，则被判定为噪音而滤掉。Czech等人[9]进一步引入用区分极性、改变范围大小、指定相邻事件数量等约束。这些基于空间信息的过滤器优点在于在简单场景中有效，可实时运行。缺点在于容易滤掉出由小目标或缓慢移动目标生成的事件，造成信息丢失。Mueggler等人[10]在活动事件（SAE）[11]表面的基础上构建了活动事件滤波面（FSAE）。对于每个到达事件，只有当它的时间戳与相同像素上邻近事件的时间戳之间的差异大于阈值时，事件才会传递。Baldwin等人[12]进一步改进了FSAE，提出了初始事件曲面的概念。与边缘到达的确切时间一致的第一个到达事件称为初始事件。初始事件表面只传递初始事件。基于时间的滤波可以快速提取物体特征，但通常会去除事件流中的大部分事件，导致场景信息的显著减少。Fang Huachen等人提出基于神经网络的事件降噪算法[13]，通过建立异步事件去噪神经网络AEDNet保持数据异步性，建立嵌入特征提取模块保持时空相关性。然而，该模型数据集的训练需要占用时间成本，对于空间目标实时探测需求并不适用。
文中针对于空间目标事件流数据，基于邻域密度的时空相关性事件流降噪算法（Neighborhood Density-based Spatiotemporal Event Filter, NDSEF），即在经典滤波器基础上通过压缩类图像帧，对每个时间邻域进行局部空间邻域降噪处理，结合空间目标轨迹特性设置圆形局部滑动窗口调整空间邻域选取范围，实现基于空间信息的噪声滤波。该滤波器不仅可以有效地滤除空间场景中的噪声事件，保留目标事件，同时提升了滤波性能，保证空间探测的准确性和实时性。此外，文中还针对空间环境中的不同场景和目标提出了基于NDSEF的级联滤波器，通过多级增加像素维度的累积窗口，实现多维度组合滤波器对事件数据的逐步细化获得最佳的降噪性能，保证整个系统滤波速度和效果。通过该降噪算法可以得到清晰、完整的空间场景描述，为后续的空间场景视觉应用提供基础。
-
事件相机是一种生物启发的视觉传感器，以完全不同于标准相机的方式工作。事件相机不是以恒定速率输出强度图像帧，而是仅输出局部像素级亮度变化的相关信息。这些像素级亮度变化（称为“事件”）超过设定阈值时，事件相机以微秒级分辨率标记时间戳，并采用地址-事件格式输出异步事件流，事件可以表示为：
$$ e = \left( {x,y,p,t} \right) $$ (1) 式中：$ e $表示在相机传感器上位于$ u = (x,y) $处的像素响应在时间$ t $上的亮度变化而产生的变化事件；$ p $为亮度变化的信号编码，$ p \in \left[ { - 1,1} \right] $，$ p = 1 $表示ON事件，即正事件代表亮度增加，反之表示OFF事件，即负事件代表亮度减少。
事件相机异步工作，生成的事件彼此独立。由相对运动或光照变化引起的事件往往具有较强相关性，因此，目标事件可以视为连续运动在时空域上的延续。图1所示为一段空间事件流中的目标及噪声的时空可视化图。图1（a）是空间事件流，图1（b）为空间目标事件，在其时空邻域内呈持续性和规则性。事件流中的噪声事件分为两类：热像素噪声（Hot pixel noise）和背景活动噪声（Background Activity noise, BA noise）。热像素噪声由某些像素高频率地输出噪声事件产生的，位置固定，噪声频率高相对比目标事件更加稀疏，如图1（c）所示。BA噪声随机出现在不同位置和时刻，相对比真实事件缺少与邻域内事件的空间相关性，在3D事件流框架中显得离散和无序，如图1（d）所示。
图 1 (a) 空间事件流3D可视化图；(b) 空间目标事件；(c) 热像素噪声；(d) BA噪声
Figure 1. (a) 3D visualization of the space event streams; (b) Space target event; (c) Hot pixel noise; (d) BA noise
噪声与目标事件之间的区别在于，噪声与空间邻域内的事件缺乏时空相关性，而目标事件与空间邻域内的事件具有时空相关性。利用这种差异，可以通过检测邻域内像素产生的事件来过滤掉噪声，这就是经典时空相关滤波器（简称经典滤波器）[14]。如图2所示，存储每个像素周围临近像素事件的时间戳，新的时间戳 t2 覆盖前一个时间戳 t1，检测当前时间戳与前一个时间戳的时间差是否小于${\rm{d}}T$，若是则保留该事件，否则将该事件滤除。该原理如公式（2）所示：
$$ \begin{split}& e\left( {x,y,p,t} \right) \Leftrightarrow \exists \left| {t - {t_{ij}}} \right| < {\rm{d}}T \\ &\quad {\rm{s.t.}}\left| {i - x} \right| \leqslant 1,\left| {j - y} \right| \leqslant 1 \end{split} $$ (2) 式中：$ {t_{ij}} $为表示第$ i $行和第$ j $列事件的时间戳。
图 2 时空相关滤波器原理示意图
Figure 2. Schematic diagram of spatiotemporal correlation filter principle
-
针对事件相机观测空间目标信号弱、信噪比低等特性，文中提出NDSEF算法，即在经典滤波器基础上通过压缩类图像帧，设置圆形局部滑动窗口调整空间邻域选取范围，优化降噪性能，便于后续目标的特征提取。
NDSEF算法结构如图3所示，采用的固定时间间隔$ \Delta t $依次读取事件流块，通过计算事件流块内每个像素触发事件的累计数量，可以形成一个类图像帧$ F_i^t $,$ F_i^t $的公式定义为：
$$ {F}_{i}^{t}={\displaystyle {\sum }_{(i-1)\Delta t}^{i\Delta t}e(x,y,t)}\text{，}i=1,2,\cdots $$ (3) 式中：$ i $为读取事件流块的顺序。
类图像帧可以看做一种规则化操作，有利于后续空间相关性的特征提取。空间数据集中目标信号的轨迹接近于圆柱形管道，体现在类图像帧中其空间邻域更接近于为圆形邻域而非矩形邻域，因此类图像事件帧$ {F_i} $上设置圆形局部滑动窗口$ H_i^t\left( {{e_0}} \right) $遍历$ F_i^t $，其中$ H_i^t\left( {{e_0}} \right) $表示为：
$$ H_i^t\left( {{e_0}} \right) = \left\{ {{e_j}\left| {\left| {{e_j} - {e_0}} \right|} \right. < r} \right\},{e_j} \in F_i^t $$ (4) 式中：$ r $为$ F_i^t({e_0}) $的圆形邻域半径。
类图像帧通过设置邻域半径$ r $统计事件$ {e_0} $（用红色点表示）的密度值$ d({e_0}) $，事件邻域密度表示了在新到达事件的邻域的内的事件个数，可以判断事件相关程度及邻域内事件的分布情况可表示为：
$$ d({e_0}) = \sum {{e_j},}\; {e_j} \in H_i^t\left( {{e_0}} \right) $$ (5) 在每个像素位置，使用固定时间间隔$ \Delta t $内累积的事件密度$ d({e_0}) $来描述事件$ {e_0} $的稀疏性。设置事件密度阈值$ {d_{Th}} $，对噪声进行滤波，滤波结果用二值函数D表示，1表示目标事件，0表示噪声事件，如公式（6）所示：
$$ D({e_0}) = \left\{ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} 1&{d\left( {{e_0}} \right) \geqslant {d_{Th}}} \end{array}} \\ {\begin{array}{*{20}{c}} 0&{d\left( {{e_0}} \right) < {d_{Th}}} \end{array}} \end{array}} \right.,{e_0} \in F_i^t $$ (6) NDSEF算法具体流程如下：
输入：事件流$ {e_i}(x,y,t,p)_{i = 1}^N $,${N'}$为输出事件流包含到的事件数量。时间间隔$ \Delta t $，空间圆形窗口$ H_i^t\left( {{e_0}} \right) $半径$ r $。
输出：事件流${e_i}(x,y,t,p)_{i = 1}^{{N'}}$，${N'}$为输出事件流包含到的事件数量。
1）输入事件流$ {e_i}(x,y,t,p)_{i = 1}^N $，根据时间间隔$ \Delta t $压缩图像帧$ F_i^t $。
2） 遍历$ F_i^t $中事件$ {e_0} $，根据圆形滑动窗口$ H_i^t\left( {{e_0}} \right) $，确定邻域密度$ d({e_0}) $。
3）根据公式(6)判断事件为噪声还是目标事件，若为噪声则滤除，若为目标事件则保留。
4）输出累积事件流${e_i}(x,y,t,p)_{i = 1}^{{N'}}$，返回步骤1）。
图 3 NDSEF算法结构示意图
Figure 3. Structure diagram of NDSEF algorithm
-
经典滤波算法和NDSEF算法属于单级滤波器，仅在时间维度上累积事件，对于低信噪比空间事件流的降噪效果有限。同时单级滤波器参数的选择对于准确性和运行速度至关重要：NDSEF算法中选择较小的密度阈值和较大的邻域半径可以保证目标事件的完整性，伴随滤波器降噪能力的下降，运算时间长；反之可以滤掉大量噪声加快滤波速度，同时造成目标的损失和信噪比下降。设置自适应阈值算法会增加运算成本，对于平台有限的计算能力和空间实时探测任务来说并不适用。
文中通过增加像素维度的累积窗口，设计联级滤波器，根据空间场景和目标特性设置多维度NDSEF滤波器。通过多维度组合滤波器对事件数据逐步细化，取代计算复杂、高选择性的滤波器，同时保证算法滤波速度，保留目标事件原生性，提升信噪比。
2.1节中介绍的NDSEF是以时间$ t $维度累积，选取时间间隔$ \Delta t $读取事件流块，作为一级滤波器。同样地，增加像素维度的累积窗口，即分别在X维度和Y维度上选择$ \Delta x $和$ \Delta y $累积来自于一级滤波器的事件流，作为二、三级滤波器。X维度滤波过程（Y维度同理）：取$ \Delta x $读取事件流块累积类图像帧，则：
$$ {F}_{i}^{x}={\displaystyle {\sum }_{(i-1)\Delta x}^{i\Delta x}e(x,y,t)}\text{，}i=1,2,\cdots $$ (7) 圆形局部滑动窗口、邻域密度及滤波二值函数的计算参照公式（4）~（6）。
事件相机的数据按照时间T线性存储，因此T维度滤波器在计算事件累积和空间邻域处理上时间成本更低，处理速度比像素维度滤波器更快。因此对于不同空间场景的事件流数据，联级滤波器的设计充分兼顾滤波器级数和维度的选择，以期达到最优滤波的效果。
-
为了便于对噪声滤波器进行定量评价，滤波器的性能通过信号比（Signal Ratio, SR）、噪声比（Noise Ratio, NR）、信噪比（Signal to Noise Ratio, SNR）进行定量分析，如公式（8）~（10）所示：
$$ SR = \frac{{E_{signal}^f}}{{E_{signal}^o}} $$ (8) $$ NR = \frac{{E_{noise}^f}}{{E_{noise}^o}} $$ (9) $$ \begin{split} & SN{R^o} = 10 \times {\lg _{10}}\frac{{E_{signal}^o}}{{E_{noise}^o}} \\& SN{R^f} = 10 \times {\lg _{10}}\frac{{E_{signal}^f}}{{E_{noise}^f}} \\ \end{split} $$ (10) 式中：$ {E^f} $为降噪后事件数量；$ {E^o} $为降噪前事件数量；$ signal $为原始事件流；$ noise $为添加噪声的事件流；$ SN{R^o} $表示降噪前的信噪比；$ SN{R^f} $表示降噪后的信噪比。
-
实验数据来源于两个部分：基于地面事件相机的公开数据集和基于星载事件相机的仿真数据集。由于事件相机的空间应用是一个新兴的研究领域，目前没有专门基于星载事件相机的空间目标数据集。文中采用Afshar[6]等人构建的地面基于事件的空间态势感知数据集来验证文中滤波算法的性能。星载事件相机探测目标主要是各类航天器、太空碎片等，目标事件量受探测距离、目标尺寸、光学系统等影响，远距离探测以生成稀疏的点目标事件为主，星载空间事件流信噪比很低。而地面系统采集到的数据主要包含恒星、行星以及近地轨道大型目标，相对空间环境目标事件量有显著提升，因此地面场景不能完全反映出星载空间场景中低信噪比特性。文中通过仿真模拟星载事件相机和空间场景采集数据，进一步验证了文中滤波算法的有效性。
-
1）实验设计
空间成像数据集[15]来源于西悉尼大学在南澳大利亚爱丁堡做的一组地面观测实验，采用型号为ATIS和DAVIS两款事件相机。该数据集记录超过8 h和3.77亿个事件。文中选择分别包含单目标和双目标两类典型空间场景，如表1所示，场景1~3为3个不同亮度的单目标场景，场景4为火箭SL-8 R/B及其视野中的随机目标，选择设置单目标（火箭SL-8 R/B）和双目标（增加随机目标）进行算法验证。
表 1 公开数据集场景信息
Table 1. Scenes of public datasets
Scene Target quantity Target name Mag 1 1 Sirius −1.44 2 1 Hip50456 5.52 3 1 Tycho 6612 10.19 4 2 SL-8 R/B and random target - 通过对4个场景进行降噪实验，采用经典滤波器、NDSEF滤波器、基于NDSEF的级联滤波器（简称级联滤波器）进行对比。经典滤波器和NDSEF设置一级滤波。级联滤波器设置为三级，依次为T-X-Y，3个维度。
2）结果分析
图4为单目标场景1~3的降噪效果图。图4（a）中Sirius星等最高，目标数量最多，降噪后目标清晰可见，图4（b）中Hip50456次之，图4（c）中Tycho 6612星等最低，目标事件数量最少，滤波器降噪效果最差。可见随着目标星等的降低，目标事件数量降低，滤波器降噪能力受限。
图 4 降噪处理效果图。 (a)场景1；(b)场景2；(c)场景3
Figure 4. Denoise processing diagram. (a) Scene1; (b) Scene2; (c) Scene3
如图4（a）~（c）所示，在单目标场景下，经典滤波器虽然保留了更多的信号事件，但滤波后存在大量噪声，于后期任务而言无法达到要求。NDSEF滤波降噪效果明显，目标信号清晰可见，这说明滤波器中圆形局部滑动窗口的设置更加适应空间数据集中目标信号的轨迹，证明了空间数据集中目标信号的轨迹更接近于圆柱形管道，但事件流经NDSEF滤波后仍然存在大量噪声。级联滤波器通过进一步从像素维度上滤除稀疏噪声，达到优化滤波的效果。同时，针对多目标场景，级联滤波器同样具备良好表现，如图5（a）和图5（b）所示，级联滤波器适用于多目标的降噪处理。这充分说明级联滤波器通过多维度组合实现事件数据逐步细化，取代计算复杂、高选择性的滤波器，同时提升信噪比和算法滤波速度。
图 5 场景4降噪处理效果图。 (a)单目标；(b)双目标
Figure 5. Denoise processing for Scene4. (a) Single target; (b) Double target
图6使用信号比、噪声比、信噪比和事件处理时间4个指标定量评估三种滤波器的特性。从图6（a）~（c）可以看出，经典滤波器降噪后信号比最大，噪声比也最大，信噪比较原始事件流有一定提高，具备有限的滤波效果。NDSEF信号比略有降低，噪声比大幅减小，信噪比有一定提升，滤波效果得到优化。级联滤波器信号比保持小幅下降，而噪声比大幅减小信噪比得到显著提升，说明级联滤波器在保持信号比的基础上进一步强化了滤波能力，更加适用于空间目标事件流的降噪处理。
图 6 公开数据集滤波算法评价指标汇总图。 （a）信号比；（b）噪声比；（c）信噪比；（d）事件处理时间
Figure 6. Evaluation index of filtering algorithm on public datasets. (a) SR; (b) NR; (c) SNR; (d) Event processing time
算法运行环境为：64位笔记本电脑，处理器为i5-10210U CPU@1.60 GHz，Matlab2018B。图6（d）所示为事件处理时间，经典滤波器和NDSEF处理时间在10 μs内，处理速度很快，而级联滤波器处理时间略长，这是受到滤波器级数影响，同时事件相机的数据按照时间T线性存储，X/Y维度滤波器耗时较T维度滤波器更长，因此级联滤波器在计算事件累积和空间邻域处理上时间成本高，处理速度比T维度滤波器慢。从图6（d）中可以看出，级联滤波器能够保证10 μs的处理速度，完全满足空间探测的实时性需求。
以上分析并不完全适用于所有空间场景，会受到目标特性影响，如场景3中事件数量2496883，其中目标数量3329，噪声2493554，目标事件数据量小，如图6（c）所示，信噪比只有−28.7508 dB，经NDSEF和级联滤波器后信噪比提高到−0.0535 dB，同时信号比会受到较大影响，这是由于目标事件特性不明显，与噪声混杂在一起，故滤波器的设置时需综合考虑这一因素，既要尽可能降低噪声比又要兼顾信号比不至于下降太多。图6（d）中场景3，经典滤波器在处理时间上较NDSEF和和级联滤波器更慢，说明对于信噪比低的空间场景，NDSEF和级联滤波器在事件流的运算速度上更具优势。
-
1）实验设计
文中星载事件相机的仿真数据集是通过模拟卫星轨道参数、相机的光学参数等输出事件，增加噪声生成仿真数据。星载事件相机探测目标以稀疏的点目标事件为主，为了验证文中算法对空间场景降噪能力的普适性，实验设置两种低信噪比的极限工况，如表2所示：场景5中包含单目标（卫星1），与探测器初始距离为248.7 km；场景6在场景5中增加卫星2。卫星在视场中形成的点目标数量为150，噪声量添加100000。正确处理低信噪比事件流的同时保证足够的处理速度，于滤波算法而言是一个挑战。其中考虑到数据集低信噪比特性，联级滤波器设置五级滤波器，顺序依次为T-X-T-Y-T。
表 2 仿真数据场景信息
Table 2. Scenes of simulation datasets
Scene Target quantity Target name Target events Noise events 5 1 Satellite 1 150 100000 6 2 Satellite 1, 2 237 100000 2）结果分析
图7为场景5~6的滤波器降噪效果图。如图7（a）和图7（b）所示，事件流经经典滤波器后几乎无变化，而经NDSEF后噪声明显减少，但信噪比仍然很低，不利于后期目标提取。滤波效果与滤波器参数设置有直接关系，可以通过改变滤波器参数提高降噪能力，但同时会导致信号量的损失，如场景5中目标事件只有150，这并不是一个很好的选择。级联滤波器的降噪能力明显优于经典滤波器和NDSEF，通过增加五级滤波器，前两级粗滤波，保证滤掉大部分背景噪声。后三级精细滤波，进一步实现多维度降噪的效果。同时，对于双目标的降噪效果较单目标略差，这是因为在滤波器设计时需要尽可能保留两个目标的信号，精细滤波时会损失更多的信号。
图 7 降噪处理效果图。 (a) 场景5；(b) 场景6
Figure 7. Denoise processing diagram. (a) Scene5; (b) Scene6
表3为场景5~6滤波算法的评价指标汇总表。可以看出，经典滤波器保持目标信号能力最好，但滤波后噪声最大，信噪比无明显提高，对于空间点目标场景下的事件流处理效果欠佳。与经典滤波器相比，NDSEF信号比基本保持不变，噪声比大幅减小，信噪比有一定提升，说明NDSEF在经典滤波器基础上得到优化。级联滤波器则大幅提升信噪比、降低噪声比，同时信号比有小幅下降，说明级联滤波器对噪声的抑制能力最强，更加适用于极限工况的降噪处理。三种滤波器事件处理速度接近，都在10 μs左右，满足空间目标实时探测的需求。
表 3 仿真数据滤波算法评价指标汇总表
Table 3. Evaluation index of filter algorithms on simulation datasets
Scene Algorithm SR NR SNR/dB Event processing time/μs·event−1 Scene5 Classical filter 0.9467 0.94298 −28.2221 16.1795 NDSEF filter 0.9467 0.38542 −24.3365 11.9075 Cascade filter 0.8400 0.0028 −3.4523 12.4852 Scene6 Classical filter 1.0000 0.9445 −26.0046 10.1843 NDSEF filter 0.9789 0.3925 −22.2829 7.5926 Cascade filter 0.9156 0.0727 −15.2484 11.3501 -
文中介绍了一种基于事件相机的空间目标事件流降噪算法，即NDSEF降噪算法，充分利用空间事件流的时空约束和低信噪比的信号特性，通过压缩类图像帧，对每个时间邻域进行局部空间邻域降噪处理，结合空间目标轨迹特性设置圆形局部滑动窗口调整空间邻域选取范围。在此基础上提出基于NDSEF的级联滤波器，增加像素维度窗口累积实现算法的高度优化，达到细化滤波的目的。通过实验验证，该降噪算法针对极限工况下的空间多目标事件流具备准确性和实时性优势，这项工作为基于事件相机的空间多目标探测奠定了基础。
后续工作将会针对滤波器维度/级数设计与参数选择问题进行自适应参数寻优算法和普适性研究，降低运行时间，保证算法适用于不同的空间场景。未来将进一步进行基于事件相机的空间目标检测、跟踪等视觉导航任务研究。
Denoising algorithm for space target event streams based on event camera
-
摘要: 针对事件相机探测空间目标时输出大量噪声的问题，提出基于事件相机的空间目标事件流降噪算法。首先，考虑到事件流的时空相关性和异步特性，提出基于邻域密度的时空相关性事件流滤波器（Neighborhood Density-based Spatiotemporal Event Filter，NDSEF），以帧的形式在时间维度累积事件并计算邻域密度，达到降噪的目的。然后，提出基于NDSEF的级联滤波器，通过增加像素维度窗口累积实现算法的高度优化，达到细化滤波的目的。最后，在公共数据集和仿真数据集实验中实现滤波算法的高速与高泛化能力，该滤波器在信噪比和噪声比两项指标上均超过了经典滤波器，事件处理速度可达10 μs，对于多目标空间事件流可以有效处理噪声事件。实验结果表明该滤波器在低信噪比空间场景中保证了降噪算法的准确性和时效性。Abstract:
Objective Event camera can capture the real-time changes of the scene. It only outputs brightness changes of the pixel level and asynchronous event stream with microsecond resolution. It has the advantages of high event resolution, high dynamic range, low delay and low bandwidth. Its application in the space target detection has gradually attracted the attention of researchers. At present, there are following challenges in the application of event camera. On the one hand, event camera is sensitive to environmental changes and outputs a lot of noise. On the other hand, the remote detection of space target will output the point-target event stream, resulting in a low signal-to-noise ratio, which demands higher requirements for the processing algorithm of space event stream. Therefore, denoising algorithm for space target event streams is very important for data preprocessing. For this purpose, denoising algorithm based on event camera is proposed. Methods For event stream data of space targets, this paper proposes the Neighborhood Density-based Spatiotemporal Event Filter (NDSEF), which is based on the neighborhood density, to reduce the local spatial neighborhood noise of each time neighborhood by compressing the image frame. Combined with the characteristics of space target trajectory, a circular local sliding window is set to adjust the selection range of spatial neighborhood, and noise filtering based on spatial information is realized (Fig.3). On this basis, this paper proposes a cascade filter based on NDSEF for different scenes and targets in the space environment. Through multiple stages of increasing the cumulative window of pixel dimensions, the multi-dimensional combination filter can gradually refine the event data and obtain the best noise reduction performance. Results and Discussions This paper demonstrates the high-speed and high-generalization ability of the denoising algorithm in the public datasets and the simulation datasets. The scene information of the experimental datasets is shown (Tab.1-2), including three single-target scenes, a double-targets scene and a simulated space scene. The proposed filter outperforms the classical filter in signal-to-noise ratio and noise ratio (Fig.6, Tab.3), and the event processing speed can reach 10 μs, which meets the requirement of real-time detection of the space targets. Meanwhile, noise events can be effectively processed for multi-target event streams (Fig.5, Fig.7). The experimental results show that the proposed filter can ensure the accuracy and processing speed of the denoising algorithm in the space scene with low SNR. Conclusions This paper introduces denoising algorithm for space target event streams based on event camera, namely NDSEF algorithm, which makes full use of spatio-temporal constraints and signal characteristics of low signal-to-noise ratio. By compressing image frames, local spatial neighborhood denoising is processed for each time neighborhood. By combining space target trajectory characteristics, circular local sliding window is set to adjust the selection range of space neighborhood. On this basis, the cascaded filter based on NDSEF is proposed to increase the accumulation of pixel dimension windows to achieve a high degree of the algorithm optimization. The experimental results show that the proposed filter has obvious effect on denoising, the target signal is clearly visible. The signal-to-noise ratio and noise ratio are significantly improved, and the event processing speed is up to 10 μs. For space multi-target event streams under extreme conditions, it has the advantages of accuracy and real-time, which lays the foundation for the space multi-target detection based on event camera. -
Key words:
- event camera /
- space detection /
- spatio-temporal correlation /
- denoising
-
图 1 (a) 空间事件流3D可视化图；(b) 空间目标事件；(c) 热像素噪声；(d) BA噪声
Figure 1. (a) 3D visualization of the space event streams; (b) Space target event; (c) Hot pixel noise; (d) BA noise
图 2 时空相关滤波器原理示意图
Figure 2. Schematic diagram of spatiotemporal correlation filter principle
图 4 降噪处理效果图。 (a)场景1；(b)场景2；(c)场景3
Figure 4. Denoise processing diagram. (a) Scene1; (b) Scene2; (c) Scene3
图 5 场景4降噪处理效果图。 (a)单目标；(b)双目标
Figure 5. Denoise processing for Scene4. (a) Single target; (b) Double target
图 6 公开数据集滤波算法评价指标汇总图。 （a）信号比；（b）噪声比；（c）信噪比；（d）事件处理时间
Figure 6. Evaluation index of filtering algorithm on public datasets. (a) SR; (b) NR; (c) SNR; (d) Event processing time
图 7 降噪处理效果图。 (a) 场景5；(b) 场景6
Figure 7. Denoise processing diagram. (a) Scene5; (b) Scene6
表 1 公开数据集场景信息
Table 1. Scenes of public datasets
Scene Target quantity Target name Mag 1 1 Sirius −1.44 2 1 Hip50456 5.52 3 1 Tycho 6612 10.19 4 2 SL-8 R/B and random target - 
下载: 导出CSV
表 2 仿真数据场景信息
Table 2. Scenes of simulation datasets
Scene Target quantity Target name Target events Noise events 5 1 Satellite 1 150 100000 6 2 Satellite 1, 2 237 100000
下载: 导出CSV
表 3 仿真数据滤波算法评价指标汇总表
Table 3. Evaluation index of filter algorithms on simulation datasets
Scene Algorithm SR NR SNR/dB Event processing time/μs·event−1 Scene5 Classical filter 0.9467 0.94298 −28.2221 16.1795 NDSEF filter 0.9467 0.38542 −24.3365 11.9075 Cascade filter 0.8400 0.0028 −3.4523 12.4852 Scene6 Classical filter 1.0000 0.9445 −26.0046 10.1843 NDSEF filter 0.9789 0.3925 −22.2829 7.5926 Cascade filter 0.9156 0.0727 −15.2484 11.3501
下载: 导出CSV
-
[1] Kong Delei, Fang Zheng. A review of event-based vision sensors and their applications [J]. Information and Control, 2021, 50(1): 1-19. (in Chinese) doi: 10.13976/j.cnkixk.2021.0069 [2] Mcmahon-crabtree P N, Monet D G. Commercial-off-the-shelf event based cameras for space surveillance applications [J]. Applied Optics, 2021, 60(25): G144-G153. doi: 10.1364/AO.425623 [3] Roffe S, Akolkar H, George A D, et al. Neutron-induced, single-event effects on neuromorphic event-based vision sensor: a first step towards space applications [J]. IEEE Access, 2021, 9: 85748-85763. doi: 10.1109/ACCESS.2021.3085136 [4] Lyu Yuanyuan, Liu Zhaohui, Qiao Wenlong, et al. Analysis of detection capability of space target based on event camera [J]. Acta Photonica Sinica, 2023, 52(2): 0211001. doi: 10.3788/gzxb20235202.0211001 [5] Cohen G, Afshar S, Morreale B, et al. Event-based sensing for space situational awareness [J]. Journal of the Astronautical Sciences, 2019, 66: 125-141. doi: 10.1007/s40295-018-00140-5 [6] Afshar S, Nicholson A P, Schaik A V, et al. Event-based object detection and tracking for space situational awareness [J]. IEEE Sensors, 2020, 20(24): 15117-15132. (in Chinese) doi: 10.1109/JSEN.2020.3009687 [7] Su Li, Yang Fan, Wang Xiangyu, et al. A Survey of robot perception and control based on event camera [J]. Acta Automatica Sinica, 2022, 48(8): 1869-1889. doi: 10.16383/j.aas.c210263 [8] Delbruck T. Frame-free dynamic digital vision[C]//Proceedings of Intl Symposium on Secure Life Electronics Advanced Electronics for Quality Life & Society, 2008. [9] Czech Daniel, Garrick Orchard. Evaluating noise filtering for event-based asynchronous change detection image sensors[C]//2016 6th IEEE International Conference on Biomedical Robotics and Biomechatronics (BioRob), IEEE, 2016. [10] Mueggler E, Bartolozzi C, Scaramuzza D. Fast event-based corner detection[C]//British Machine Vision Conference, 2017. [11] Ryad Benosman, Charles Clercq, Xavier Lagorce, et al. Event-based visual flow [J]. IEEE Transactions on Neural Networks and Learning Systems, 2014, 25(2): 407-417. doi: 10.1109/TNNLS.2013.2273537 [12] Baldwin R W, Almatrafi M, Kaufman Jason R, et al. Inceptive event time-surfaces for object classification using neuromorphic cameras[C]//International Conference on Image Analysis and Recognition, 2019, 11663: 395-403. [13] Fang Huachen, Wu Jinjian, Li Leida, et al. Aednet: asynchronous event denoising with spatial-temporal correlation among irregular data[C]//Proceedings of the 30th ACM International Conference on Multimedia (MM '22), 2022: 1427-1435. [14] Liu H, Brandli C, Li C, et al. Design of a spatiotemporal correlation filter for event-based sensors[C]//2015 IEEE International Symposium on Circuits and Systems (ISCAS), 2015: 722-725. [15] Afshar S, Schaik A, Cohen G. Space imaging dataset[EB/OL]. (2019-05-20) [2023-01-20] https:// www. westernsydney.edu.au/icns/reproducible_research/publication%_support_materials/space_imaging. -
点击查看大图
计量
- 文章访问数: 162
- HTML全文浏览量: 51
- PDF下载量: 42
- 被引次数: 0
