-
根据上述分析,上述四种目标大气扰动图像处理方法,各有其局限性,如互相关算法计算准确率较差;光流法计算复杂度较高,实时性较差;帧间差分法易发生漏检与“空洞”的现象;背景减除法中的混合高斯模型需要先验信息,运算效率低;背景视觉提取法存在鬼影现像、背景适应性较差等,各类方法的局限性具体见表1。
Image processing method of target atmospheric disturbance Limitation Cross-correlation method The resolution of processing results is reduced, the calculation accuracy is poor, the detection effect is easily affected by the characteristics of flow field and environmental noise, and the application is limited in complex environment Optical flow method The calculation complexity is high, the timeliness is poor, and it is easy to fall into the local optimal value. When the illumination conditions change, there are occlusions, and the target moves locally, the detection effect is poor, and the application is limited Interframe difference method The ability of complete extraction of target information is poor, and the phenomenon of missing detection and "void" is easy to occur. The calculation accuracy is poor, and the detection effect is poor under the moving background or when the background changes dramatically Background subtraction Mixed Gaussian model Prior information is required to build the background model, which has low operational efficiency and limited application when the background changes dramatically ViBe method The background model construction method is relatively simple with large error, resulting in poor calculation accuracy. Also, due to the background model, its application is limited in the scene with drastic changes in the background environment Table 1. Limitations of various target atmospheric disturbance image processing methods
针对现阶段目标大气扰动图像处理算法的局限性,国内外学者纷纷进行优化改进方案的研究,具体的可以分为优化算法自身、同其他图像处理方法融合以及基于神经网络方法三种技术优化途径,下面对三种技术途径的最新研究进展进行介绍。
-
通过优化目标大气扰动图像处理算法,提高目标大气扰动图像的处理效率,提升准确度,弥补自身局限性,可以有效地提升目标大气扰动图像处理算法的运行速率、精度等。
在互相关算法方面,对其算法自身的优化主要集中于特征选取与跟踪方面。2021年,Hema Tekwani等人提出的基于模式跟踪的互相关运动估计算法(图4),利用交叉相关的方式进行图像相关。该方法可有效应用于高速摄像机进行双目物体运动估计[15]。
2022年,中国科学院谢宗明团队利用约束条件对互相关算法进行优化,通过构建一个目标函数(包括归一化互相关项的剩余量),一个负责空间平滑性的分量,一个负责时间平滑性的分量,通过最小化该目标函数得到一系列图像的最佳速度场。该算法减除系统误差仅为0.05 pixel的量级,测量不确定度约为0.1 pixel[67]。
同年,武汉大学 Li Mingci等人提出一种结合特征跟踪和最大互相关的运动估计算法,该算法首先对图像进行预处理,产生灰度图像;其次,计算非均匀分布的运动向量;再次,执行线性和多项式插值来估计规则网格上的运动向量,并利用最大互相关算法改进估计的运动向量;最后,利用基于局部一致流场过滤的方法,移除错误的运动向量。根据实验结果评估,该算法速度估计的结果误差为mm/s量级,具有较好的实用性。
在光流法方面,2021年,重庆科技大学Song Tao 等人提出一种基于半稠密光流的优化方法,该方法首先通过计算图像中像素梯度较大的像素点来保存特征点;其次,根据灰度不变形原理,构造相邻帧对应特征点之间的灰度差函数;最后,利用梯度下降原理优化灰度差函数,实现相邻帧对应特征点的精确匹配[68]。
帧间差分法方面,2021年,北京工业大学 Guo Wen-yue等人提出的一种基于精确运动矢量补偿的帧间差分优化方法。该方法首先采用SURF算法获取运动向量的匹配对;其次,使用RANSAC算法获取精确的运动向量;再次,采用自适应背景滤波方法消除目标运动矢量对全局运动估计的影响,并通过建立背景运动矢量的仿射变换模型,将背景的地面运动矢量代入模型进行参数估计;最后,运动补偿图像计算完成后,通过帧间差分得到运动目标检测结果。实验效果表明,该方法消除了目标点对全局运动估计的影响[69]。
背景减除法方面,2020年,天津理工大学与南非大学联合团队Dong Enzeng等人提出一种适用于相机运动的运动目标检测方案,该算法首先采用高斯混合模型算法对背景模型进行初始化,然后采用KLT特征跟踪器检测相邻两帧的光流特征点,采用RAN-SAC算法过滤正确的匹配点,从而得到一个单应矩阵,以此构建新的背景模型匹配当前帧,使用新的背景模型即可检测当前帧的移动目标。
同年,印度尼西亚Faculty of Computer Science Dian Nuswantoro University的Moch Arief Soeleman等人提出一种自适应阈值,用以改进混合高斯模型的运动检出效果。该方法首先对视频数据集进行帧分解,然后采用高斯混合模型、Otsu阈值和灰度阈值并行构成自适应阈值从视频数据集中提取前景,下面对帧中的二进制运动目标进行形态学运算,直到检测到运动目标[70]。
2022年,武汉大学与清华大学团队的Cai Enjian等人提出一种基于颜色压缩和空间加权广义的混合高斯模型优化方法,该方法利用图像的先验信息进行相位估计,采用基于斑块组的高斯混合模型学习算法(PG-GMM)对训练图像进行非局部自相似(NSS)先验学习;然后利用学习到的先验补丁组对相位信息进行建模,并采用高斯分量选择和加权稀疏编码的方法对相位信息进行优化[71]。
ViBe法方面,2022年,河北科技大学Wang Shuhai团队提出一种基于多帧结合自适应阈值的ViBe改进方法,该方法首先将ViBe算法的样本集扩展到24个字段,减少像素误分类的可能性;其次,引入历史像素队列,得到初始化的无鬼背景模型;最后,利用灰度特征收敛性和发散性动态调整距离判定阈值,通过两个自适应更新因子,优化背景模型的更新速率。改进算法在静止、运动背景下均可以较为精确地检出目标,提高了算法检测精度与鲁棒性[72]。
同年,北京工业大学Song Baoyu等人提出一种改进的双背景模型ViBe算法,解决了传统ViBe算法检测过程中容易出现的“鬼影”问题。首先,算法利用像素的时间特征,为每个像素添加时间背景模型;其次,改进原始背景模型,通过比较帧间的汉明距离实现双背景模型的共存;再次,改进前景检测的决策机制,利用当前像素与时间背景模型样本中值之间的欧氏距离来补充决策;最后,设计一种交叉更新策略,对双背景模型进行快速更新。实验结果表明,改进算法可以较好地抑制传统ViBe算法产生的鬼影现象 [73]。
-
通过同其他图像处理算法融合的方式,可以利用其他算法的技术优势,弥补目标大气扰动图像处理算法的局限性,提升算法检出精度、增强鲁棒性等。
光流法方面,2022年,Ladoke Akintola科技大学与Kwara State Polytechnic大学的Adegbola等人提出一中利用Canny边缘检测技术进行光流优化的方法。该团队提出一种基于上下文滤波与多尺度边缘跟踪相结合的边缘提取方法,首先在精细图像中寻找边缘,再在粗糙图像中跟踪边缘,可以减少噪声和模糊的影响,消除破碎边缘问题[74]。
帧间差分法方面,2022年, Zheng Dingchao等人提出一种结合光流法的帧间差分优化方法。首先,采用自适应中值滤波和直方图均衡化算法对图像进行预处理;其次,对预处理后的图像进行两两序列差分处理,并计算差分结果之和;最后,利用光流法对差分视频序列进行处理,实现对运动目标的准确检测和识别。实验结果表明,该算法前景目标检测准确率优于88%,检测错误率低于2%。
背景减除法方面,2022年,济南大学的 Liu Jianting提出一种利用像素漂移去噪算法对混合高斯模型进行优化的方法,该方法主要利用像素漂移去噪算法对图像帧中发生的灰度漂移进行去噪处理,以提高混合高斯模型对前景目标提取的效果。该优化方法可以较为有效地抑制图像中的噪声,提高混合高斯模型的检出准确性与灵敏度。
同年,安徽工程大学与河南工业大学联合团队的Zhang Qian等人提出一种基于多帧差分法的ViBe改进方法。首先,将第一帧图像初始化背景模型替换为多帧连续图像初始化背景模型;其次,采用改进的ViBe算法和自适应动态阈值五帧差分算法对运动目标进行检测,并对二者得到的二值前景图像进行逻辑“或”操作进行检测,消除光干扰下运动目标的阴影,实现对运动目标的精确检测。该算法具有一定优化效果,证明该优化路线具有合理性,可以为后续ViBe算法的优化提供技术借鉴[75]。
-
近年来,深度学习算法已经成为机器学习领域应用的主流模型,其中,卷积神经网络等神经网络在图像等数据对象的智能检测、识别应用中效果尤其突出,已经成为最主要的深度神经网络模型之一。随着精确感知和高精度识别任务需求的不断增长,将现有目标大气扰动图像处理方法同神经网络融合以提升算法性能的技术方向具有巨大潜力。
在互相关法方面,2021年,浙江大学高琪等人提出一种基于嵌入互相关的全卷积网络运动估计方法(图5),该方法利用互相关和完全卷积网络相互结合,利用图像与互相光求取的速度场作为完全卷积神经网络的输入层,通过两个金字塔模块分别对图像和速度场进行特征提取;其次,通过融合模块对特征进行融合;最后,通过一系列反卷积层实现速度精确求取。实验结果表明,该算法计算速度的偏零误差最小,检出精度最高可达百分之一个像素[76]。
Figure 5. Basic flow chart of motion estimation method for full convolutional networks based on embedded cross-correlation
光流法方面,2021年,中国电子科技大学的 Liu Shuaicheng等人提出一种基于无监督学习的遮挡修复光流估计方法,用以解决遮挡区域的光流估计问题,该团队提出一个遮挡修复框架,即一种新的外观流网络来修复基于图像内容的遮挡流。同时,该团队还提出了一种利用边界扩张扭曲来处理有超出图像边界位移引起的遮挡[77]。
同年,亚琛工业大学与剑桥大学团队的Lagemann Christian等人提出一种基于深度神经网络的方法,采用端到端的方式进行学习,以此来优化光流法的性能。该团队利用循环全对场变换(RAFT)的光流学习神经网络架构实现深度学习。实验结果表明,该算法具有较高的准确性,优于目前的有监督与无监督算法 [78]。如图6所示。
帧间差分法方面,2021年,武汉大学Mei Meng-qing等人针对缓动目标的提取,提出一种基于多标记学习和高斯背景描述模型的新型目标检测方法,同多帧差分法融合,以优化多帧差分法的性能。实验结果表明,该算法在检出成功率与检出精度方面具有明显的优化效果[79]。
同年, Zhang Xueliang团队利用机器学习对基于帧间差分法的运动目标检出方法进行优化研究。首先,利用四帧间差分法和背景平均法的融合算法改进帧间差分法和背景差分法的不足;其次,该融合算法利用机器学习方式实时更新背景,结合形态学处理对前景进行校正,可以有效地应对背景的缓慢变化。通过与最新研究成果对比,该算法的效率与准确性提高了近5% [80]。
背景减除法方面,2022年,上海交通大学的Wei Dong等人提出一种基于深度学习的全局-局部特征融合的ViBe优化方法,该方法主要分为预处理、提取前景目标、对目标进行回归与分类、合并分支结果四个步骤。该算法对吉林-1号卫星数据中的车辆检测效果较好,性能较好[81]。见图7。
-
根据上述各方向的研究成果,可做出如下总结,如表2所示。根据表2可以看出:互相关法方面,目前学者的主要研究方向集中于对互相关算法自身进行优化,以及同神经网络进行融合,对于互相关算法同其他图像处理算法进行融合方面的研究较少;针对算法自身的研究中,学者主要集中对互相关算法中特征提取与跟踪方法的优化研究,以提升算法性能,且效果较为明显。对于融合神经网络方面,基于神经网络的互相关算法性能提升明显,发展前景广阔。
Method Optimization algorithm itself Fusion with other image processing algorithms Neural network-based Cross-correlation
method●Autonomous velocity measurement and positioning technology based on improved optical flow algorithm[18]
●Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm[21]
●Phase-based disparity measurement[20]An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[19] Optical flow method ●Moving target detection algorithm based on Susan edge detection and frame difference[39] ●Moving object detection based on frame difference and W4[41] ●Object tracking in satellite videos by fusing the kernel correlation filter and the three-frame-difference algorithm[40]
●Moving target detection using inter-frame difference methods combined with texture features and lab color space[42]Interframe difference method ●A ship target image recognition method based on inter-frame difference algorithm[35] ●Underwater object detection based on bi-dimensional empirical mode decomposition and Gaussian mixture model approach[55] ●Optimal transport for Gaussian mixture models[53]
●Moving target detection based on improved Gaussian mixture model considering camera motion[54]Background subtraction Mixed Gaussian model ●An improved vibe algorithm of dual background model for quickly suppressing ghost images[73]
●Detection and tracking of a moving object using Canny edge and optical flow techniques[74]
●Deep learning-driven gaussian modeling and improved motion detection algorithm of the three-frame difference method●Application of pixel drift denoising algorithm in optimizing Gaussian mixture model ViBe method ●A robust single-pixel particle image velocimetry based on fully convolutional networks with cross-correlation
embedded [76]
●Deep recurrent optical flow learning for particle image velocimetry data[78]●Oiflow: Occlusion-inpainting optical flow estimation by unsupervised learning[77] ●An improved ViBe method for motion target detection[75] Table 2. Development of image processing methods for atmospheric disturbance detection of various targets
光流法方面,对于光流法自身的优化研究,主要集中于对于光流法特征点求取与跟踪方面的优化;对于同其他图像处理方法进行融合方面的研究较多,如边缘检测同光流法融合、帧间差分法同光流法融合等,效果较好;对于融合神经网络方面,目前研究较为深入,已有较为成熟的光流网络,如FlowNet1.0、Flow-Net2.0等,已取得了较好的研究效果。
帧间差分法方面,对于帧间差分法自身的优化研究,主要针对消除背景对于算法检出效果的影响方面,如提升帧间差分法在动态背景下的检出能力等;对于同其他图像处理方法进行融合方面,相关研究较多,如帧间差分法同光流法融合、帧间差分法同ViBe法融合等;对于融合神经网络方面,目前相关研究同样为利用神经网络减少背景目标对于前景目标的影响,增强前景目标检出能力方面。
背景减除法方面,对于背景减除法自身的优化研究,主要为两个方面,一是优化模型更新策略,二是优化前景与背景目标分割阈值,以此进行背景减除法的优化;对于同其他图像处理方法进行融合方面,学者们同样进行了广泛的研究,如利用去噪算法同背景减除法进行融合、利用互相关算法同背景减除法进行融合等,取得了一定的效果;对于融合神经网络方面,由于混合高斯模型自身为聚类算法,属于机器学习的范畴,故国内外学者并未对此算法同神经网络融合深入研究;对于ViBe法,研究主要集中于利用神经网络对前景目标与背景目标进行区分方面,取得了一定效果。
通过分析可知上述三种发展方向的优缺点(表3)。
Item Optimization algorithm itself Fusion with other image processing algorithms Neural network-based Advantage The algorithm has the advantages of low complexity, fast operation speed and good real-time performance The method can make up for their own technological limitations, can be used to achieve better performance, and better robustness The algorithm performance can be greatly improved, and the algorithm has strong adaptability in multiple scenarios. Disadvantage It is difficult to eliminate the technical limitations of the algorithm, and the robustness of the algorithm is generally low Increase algorithm complexity, reduce operational efficiency, real-time performance is poor Large amount of prior information is required for model construction and the operation speed is low Table 3. Analysis of advantages and disadvantages of three development directions
-
通过分析可知各类传统大气扰动目标检测图像处理方法的优缺点,具体见表4。
Performance Cross-correlation method Optical flow method Interframe difference method Background subtraction Detection effect The sparse flow field information of target atmospheric disturbance can be obtained, but the detailed description ability is insufficient More detailed information about atmospheric disturbance can be obtained, such as the motion vector in the x and y directions Only the shape and contour information of atmospheric disturbance can be obtained, and the ability to obtain details is poor To obtain the shape and contour information of atmospheric disturbance, more detail information is lost Disturbance inhibition ability Undisturbed background suppression capability Undisturbed background suppression capability Undisturbed background suppression capability Have ability to disturbance background suppression Algorithm complexity With Fourier change, the algorithm has some complexity It needs to use the least square method or other algorithms to obtain the approximate solution, and the algorithm complexity is high The gray difference between two frames is calculated, and the algorithm is simple Need to build background model algorithm complexity Algorithm applicability Best Best Good Poor Real-time performance Best Poor Best Good Advantage Simple calculation and high real-time performance High detection accuracy, complete target, can adapt to the background movement to a certain extent Simple calculation and high real-time performance High detection accuracy, complete target and small amount of calculation Disadvantage Reduced resolution and poor robustness to disturbance The calculation is complex, the calculation error of target contour is large, and the robustness to disturbance is poor Easy to produce "void", poor robustness to disturbance It is not universal to the environment and its robustness to disturbance is poor Table 4. Comparison of various high-precision image processing methods for atmospheric disturbance target detection
根据表4可以看出:
1)互相关算法具有较高的实时性与实用性,但该算法会降低图像分辨率,对扰动的鲁棒性差;
2)光流算法有较好的算法适用性以及一定的运动背景适应能力,但其计算复杂,实时性差,且目标轮廓计算误差较大,对扰动的鲁棒性差;
3)帧间差算法具有较好的实时性与实用性,但该算进行大气扰动检出时容易产生“空洞”,而且同样对扰动的鲁棒性较差;
4)背景减除法具有较高的检测精度,具有一定的抑制扰动的能力,但该算法实时性较差、鲁棒性同样较差,对环境的适应性不强。
根据上述分析可知,现阶段对于基于大气扰动的目标探测技术在实际应用中对算法提出的高精度、高鲁棒性以及高实时性需求,传统的目标大气扰动图像处理方法不能同时满足要求,故需对传统大气扰动目标探测图像处理方法进行优化。
-
根据各类目标大气扰动图像处理方法的优缺点,结合上述对于目标大气扰动图像处理方法的三种发展方向的对比分析可知:
利用其他算法对大气扰动目标检测图像处理方法进行优化的方法,同样适用于每一种大气扰动目标检测图像处理方法,适用性较强,且可以利用其他算法的优势弥补被优化方法的局限,如帧间差分法结合光流法提升大气扰动目标检测图像处理效果等,该种技术途径可以较好地满足实际应用中对算法的高精度、高鲁棒性的要求。针对该方法会增加算法复杂程度,降低实时性方面,可以采用硬件实现的方式加快运算速率,解决实时性问题,故现阶段该方法有望满足基于大气扰动的目标检测技术在实际应用中的需求,具有发展前景。
除此之外,神经网络具有可以自我学习的特点,可以实现自适应的优化方式,是一种极具应用前景的大气扰动目标检测图像处理方法的优化方法;该方法具有自我学习能力,可以实现自适应的功能,故其对多场景图片的适用性也较强,检出效果也非常好;但其缺陷在于,算法运算效率较慢,且有监督学习需要大量样本,但实际应用中一般不存在大量的先验信息,而无监督学习现阶段检出精度受限,不满足实际应用需求。
但面向未来而言,利用小样本无监督学习的大气扰动目标检测图像处理方法有望在满足算法实时性的基础上实现更高精度、更高鲁棒性的目标大气扰动图像处理方法,具有巨大的应用前景,将会是未来发展的主流方向。
A review of image processing methods in target atmospheric disturbance detection
doi: 10.3788/IRLA20230044
- Received Date: 2023-02-01
- Rev Recd Date: 2023-04-07
- Publish Date: 2023-10-24
-
Key words:
- atmospheric disturbance /
- image processing methods /
- target detection
Abstract: