-
随机粗糙面理论以像素坐标为x-y轴,以图像灰度为z轴数值,用曲面来表征图像,建立Dot-Curve体系,将整副图像的曲面分解成Dot点和Curve线,即多组一维曲线的集合进行数学表征。图3是Dot和Curve的示意图。
对图像进行二维曲率滤波,各个方向二维曲率最小值大于阈值的点,成为Dot点;各个方向二维曲率最大值大于阈值的点组成线状连通域,以其连通域线条内的点为Curve线主轴,在主轴上选择若干节点,以节点为中心,在垂直主轴方向上取若干点,作为副轴。
-
文中尾迹检测算法基于二维曲率滤波。对于连续曲面,曲率的求导公式为:
式中:$ y' $和$ y'' $为曲面上某点的一阶导和二阶导;$cur$为该点的曲率。对于由离散点构成的海面三维曲面,由于海面小目标附近的灰度值存在一个极值,即一阶导数等于0,由公式(1)可推得小目标处的曲率为:
即小目标处的曲率为二阶导数的绝对值。因此,为计算海面曲率,需要先计算出一阶导数为0的区域,然后再计算所得区域内的二阶导数,最后再求绝对值。基于曲率的尾迹检测算法流程如图4所示。
针对大尺寸、低对比度的红外遥感图像,为了提高图像对比度,实现图像去噪,需要先进行分辨率和灰度的调整,以及混合中值滤波等操作,对图像进行预处理。
卷积模板的计算参考facet模型[13],对预处理后的图像分别在与y轴成0°,45°,90°,135°的四个方向计算一阶方向导数。计算一阶导数为0的区域之前先抑制海浪背景,因为海浪背景灰度起伏相对较小,将小于阈值的部分剔除:
式中:$ T(x,y) $为去除了海浪背景部分的一阶方向导数图像;$ I'(x,y) $为原一阶方向导数矩阵;$ Th $为滤波阈值,按成像质量取值,普遍取$0.1 \times \max (I'(x,y))$。
由于目标处一阶导数为0的像素也被剔除,转由计算邻域像素一阶导数乘积小于0的区域代替得到一阶导为0区域,再将图像二值化:
同样参考facet模型计算图像四个方向的二阶导数。为了抑制海浪背景的干扰,将二阶导数数值为正的值置0,然后取绝对值后经过平滑操作去除剩余的海浪得到二阶导数图像${I_{sd}}$。
融合一阶导数和二阶导数图像,得到抑制海浪背景之后的单向曲率图像${I_{cur}}$,表示为:$ {I}_{cur}={I}_{zero}\cdot{I}_{sd} $。
由于曲面上一点的高斯曲率定义为该点主曲率的乘积,所以抑制了海浪背景的曲率图像为:
曲率图像中,值大于阈值的像素点构成的线状连通域即为候选目标,对连通域内线条进行细化、生成链码、主副轴修正等处理后得到Curve线,即候选尾迹,各向曲率均大于阈值的像素为Dot点,即候选舰船。
-
为了提取出舰船尾迹特征,分别对亮尾迹和暗尾迹进行尾迹初步检测和特征统计。
图5为韩国釜山港2019年10月21日短波红外波段图像中截取的部分场景,图中共有一条船,湍流尾迹前半部分被尾迹气泡覆盖,右边两块亮团和暗团为小块积云和它在海面上的倒影。
一共检测出一条Curve线,红色线状区域为主轴,绿色线状区域为副轴,蓝色x形区域为Dot点。主副轴灰度变化曲线如图6所示。主轴灰度曲线从左到右为从舰船到尾迹方向,由于尾迹气泡的亮度随着与舰船距离的增大而降低,尾迹与舰船相邻部分灰度先快速下降后逐渐平缓,主轴灰度可用双高斯函数进行拟合。副轴从1~3为近尾流到远尾流方向,灰度峰值依次下降,灰度曲线两边低中间高,符合高斯分布,副轴灰度最大值点在副轴中点附近。
对主副轴的灰度均值、灰度方差、副轴两侧灰度斜率(由两侧向尾迹方向拟合)进行统计,统计结果见表1。由于检测结果为亮尾迹,表格中,主轴灰度均值高于副轴灰度均值,主轴灰度方差较大,副轴两侧灰度斜率大于0。
Length of main axis Gray mean value of main axis Gray mean value of auxiliary axis Gray variance of main axis Gray variance of auxiliary axis Gray slope of auxiliary axis 28 5484.89 [5270.13;5227.13;5201.33] 271.58 [265.54;124.75;47.66] [107.77,98.12;33.06,
58.71;15.80,21.13]Table 1. Statistics of characteristics of main and auxiliary axes of bright wake
图7为韩国釜山港2019年8月2日短波红外波段图像中截取的部分场景,图中共有两条同向行驶的舰船,其湍流尾迹气泡少,表现为典型的暗尾迹,检测到的主轴为暗尾迹加上船只一侧边缘。主副轴灰度曲线如图8所示。
对主轴的灰度进行分析,曲线图从右到左为舰船到远尾流方向,由于航迹线区域海面粗糙度的变化,舰船部分灰度值较高,近尾流部分灰度逐渐降低,往远尾流方向去,灰度又有所上升。以第二条主轴的副轴灰度为例,图8中副轴5为舰船部分,两边低中间高,符合高斯分布;其余为尾迹部分,副轴灰度曲线两边高中间低,呈反高斯形状。
对主副轴的灰度均值、灰度方差、副轴两侧灰度斜率(由两侧向尾迹方向拟合)进行统计,统计结果见表2。对于暗尾迹,副轴灰度均值大于主轴灰度均值,主轴灰度方差较大,因灰度曲线中间下凹,尾迹部分副轴两侧灰度斜率小于0,而船只部分副轴两侧灰度斜率大于0。
Length of main axis Gray mean value of main axis Gray mean value of auxiliary axis Gray variance of main axis Gray variance of auxiliary axis Gray slope of auxiliary axis 75 12370.44 [12388.00;12478.40;12604.87;
12713.93;12673.53;12677.73]234.51 [134.72;142.01;133.78;
119.19;110.90;186.68][−58.02,−54.10;−48.65,−51.40;−44.44,
−59.24;−39.52,−37.06;−49.67,
−34.17;18.24,20.79]66 11638.26 [11982.47;11947.07;12003.33;
12096.13;12139.93]316.11 [215.08;279.53;232.71;
249.21;180.56][−91.08,−86.40;−100.71,−117.10;
−92.79,−34.55;−35.80,
−91.88;9.24,74.57]Table 2. Statistics of characteristics of main and auxiliary axes of dark wake
综合不同波段大量图像中尾迹的检测结果,对海面舰船及内波、岛屿、云等不同目标进行相同的检测步骤,Dot结果多为船只或背景中点目标,Curve结果多为船舶尾迹或背景中呈线状的虚警,总结特征如下:(1)同幅场景中,舰船尾迹主轴灰度方差明显大于干扰项的主轴灰度方差;(2)若是亮尾迹,副轴两侧灰度斜率均大于0;若是暗尾迹,副轴两侧灰度斜率均小于0,即二者正负符号具有一致性。而干扰项多为一正一负或其中一个绝对值明显更接近0;(3)相较干扰项目,舰船尾迹主轴的线性度较高,排除海水漂移和舰船转向情况,较少出现无规则弯曲;(4)舰船尾迹主轴线两端一定有与之匹配的候选Dot点,干扰项目则不一定。
-
总结上述舰船尾迹特征,形成数学表征的特征集,对检测到的候选尾迹进一步鉴别筛选,算法流程如图9所示。
对图像进行预处理后,提取出Dot点和Curve线,检测出候选点目标和线目标,定位主副轴,对候选对象进行全面的特征描述,如主轴长度、主副轴灰度均值、主副轴灰度方差、主副轴坐标曲率变化等统计特征和几何特征,建立明确的特征定义,构建相对应的特征表征数学模型。然后根据总结的舰船尾迹区别于干扰项的特性规律,通过特征筛选,捕获目标,实现海面舰船尾迹的检测与鉴别。
红外遥感图像的成像主要是光的反射和热辐射,分别对反射为主的短波红外波段SWIR、辐射为主的长波红外波段LWIR和二者皆有的中波红外波段MWIR三种波段的图像检验算法效能。截取大尺寸复杂背景下的海面场景对舰船目标进行检测及鉴别,分别对应不同海域,不同光照条件,不同波段,不同干扰项包括内波、岛屿、云、太阳耀光等,验证尾迹特征集的准确性和完备性,部分检测结果如图10所示。
Figure 10. Results of ship wake detection. (a), (d), (g), (j), (m) Original image; (b), (e), (h), (k), (n) Dot-Curve image; (c), (f), (i), (l), (o) Detection result
经过不同特征的多项组合,现行的尾迹鉴别选取了尾迹的四项特征转化成数学表征:尾迹主轴方差大于场景阈值,尾迹副轴两侧灰度斜率乘积大于0,尾迹主轴坐标到其进行一次多项式拟合后的直线的距离方差小于场景阈值,尾迹主轴端点邻域内存在候选Dot点目标。对复杂环境下的各类舰船进行目标检测及鉴别,每个波段分别选取100幅场景,统计场景中总船只数、识别船只数、正确识别船只数和误判船只数,计算检测率(正确识别船只数/总船只数)和虚警率(误判船只数/识别船只数),分析检测结果。
Band Detection rate False alarm rate SWIR 97.479% 8.403% LWIR 94.531% 3.968% Table 3. Efficiency of ship wake detection
从表3中算法检测效能数据可以发现,在不同红外波段,舰船检测率都很高,达到94.53%以上,高于现有大部分算法,经过尾迹鉴别,舰船虚警率降低到8.40%以下。其中,短波红外波段的舰船检测率最高,达到97.48%,但虚警率也最高,这是由于短波红外波段成像效果较好,部分舰船的多条尾迹均能检测出,在提高检测率的同时,偶尔会对同一个目标的多条尾迹造成重复检测,且在短波红外波段,部分舰船的尾迹,相较其他波段,长度较短,与背景对比度较弱,与同场景中部分高亮线状的岛屿边缘灰度分布差异较小,可能造成漏检。长波红外波段的舰船虚警率最低,低于3.97%,但检测率也相对最低,这是由于长波红外图像的灰度分布较为均匀,较长的尾迹和较少的干扰项降低了虚警率,但高温目标与低温背景的对比度不够高,在空间分辨率不够时会出现部分舰船的尾迹能检测出但船体消失的情况,造成漏检。中波红外波段对高温目标具有较强的探测能力,图像中的尾迹也长,所以检测率较高,但图像容易饱和,水面耀光对检测的影响相对明显,容易造成检测误差。基于曲率滤波的算法能够尽可能全面地提取尾迹,排除图像成像因素,算法带来的其余检测误差则需要对尾迹特征进行更深一步的分析研究。
如今大多数关于舰船尾迹检测的研究都集中在拉东变换或霍夫变换方法的改进上,要么在图像空间中增强尾流的直线形状,要么在变换空间中精确提取尾流响应的峰值,只有少数研究成功应用于海面光学图像中。与中山大学刘英飞等[14]基于光学图像的方法进行比较,该方法需手动提取船体,候选尾流首先通过以船体为中心的图像的归一化拉东变换获得,然后通过像素值验证、湍流尾迹识别、夹角验证和对比度验证来消除虚假尾流,在离散波段中表现最好的是全色波段,检测率为91.7%,相应的虚警率为6.7%。文中算法通过曲率阈值分割自动化获取船只;由于尾迹检测步骤不受船体位置限制,可检测大幅的背景复杂的图像,鲁棒性更好,不用裁剪成以船为中心的小图,提高了检测效率;基于曲率滤波的方法,对舰船转向、海水漂移等原因造成的有一定弯曲的尾迹检测效果更好,对长度较短、对比度较小的弱尾迹的检测效果也更好,提高了舰船检测率。
Ship wake extraction and detection from infrared remote sensing images
doi: 10.3788/IRLA20210844
- Received Date: 2021-11-12
- Rev Recd Date: 2022-01-14
- Available Online: 2022-03-04
- Publish Date: 2022-02-28
-
Key words:
- wake characteristics /
- remote sensing infrared /
- curvature filter /
- Dot-Curve
Abstract: In infrared remote sensing images with low or medium spatial resolution, the number of pixels occupied by ships on the sea is very small, and the geometric shape and specific texture structure of the target are difficult to obtain. In order to improve the detection limit signal to clutter ratio, the ship wake feature with linear feature was taken as the detection element, which was mathematically characterized. The Dot-Curve detection system was established innovatively. Based on the two-dimensional curvature filtering, the ship detection and wake feature extraction were carried out preliminarily. The feature set was established, from which a number of features with large difference from the background interference items, including wake gray variance, positive and negative gray slope on both sides of the wake, wake linearity and the distance from the hull detection results, were selected to identify the detection results of the candidate targets, remove interference items and extract targets. The results show that after target identification, the ship false detection rate in different bands of infrared images is reduced to less than 8.40%, and the detection rate is improved to at least 94.53%. The ship detection algorithm combines the physical and image characteristics of the wake, which is suitable for many scenes and bands. The algorithm is refined and effective, the physical laws are clear, and the samples needed are few.