HTML
-
随着国家大力提倡人工智能产业的发展,水下机器人被广泛使用在深海勘探等方面。由于悬浮的散射颗粒对光场的吸收和散射作用导致水下图像出现对比度低、颜色偏差和细节模糊等问题[1],使得水下机器人无法获取高质量的水下清晰图像,因此水下图像增强成为一个非常重要的处理步骤。
近年来,一些研究者尝试利用深度学习技术改善图像质量问题,并在图像去雾[2]等方面得到广泛应用。Fabbri等[3]提出水下生成对抗网络(Underwater Generative Adversarial Networks,UGAN),生成器使用了类似于编解码框架,而判别器通过对输出进行L约束,能较好地提升水下图像质量。针对水下图像存在细节模糊和颜色失真问题,Guo等[4]介绍了一种多尺度密集块(Multiscale Dense Block,MSDB)算法进行水下图像增强,即密集生成对抗网络(Dense Generative Adversarial Networks,DensGAN),在MSDB中,输入的特征需通过两个分支,并且特征会在两个分支中间进行串联之后再次反馈到各自支路中,判别器类似于PatchGAN[5](Patch Generative Adversarial Networks)。Ye等[6]提出了一种堆叠条件生成对抗网络的水下图像增强(Underwater Image Enhancement Based On Stacked Generative Adversarial Networks,UIE-sGAN),包括雾度检测子网和色彩校正子网,雾度检测子网的输出是雾度掩膜(Haze mask),并将雾度掩膜和RGB图像作为颜色校正子网的输入,并输出颜色校正的水下图像。
上述算法是单分支或多分支网络进行水下图像增强,能有效地进行水下图像颜色校正,但是都是单输入图像,不能同时对多个退化特征有效地进行增强。而文中针对比度低、颜色偏差和细节模糊等问题,提出基于多输入融合对抗网络的水下图像增强(Underwater Image Enhancement Base On Multi-Input Fusion Adversarial Network, MFGAN),算法主要有以下特点:(1) 以生成对抗网络为基本框架,并利用生成网络学习同一图像的不同特征增强之间的置信度图,还引入了两个纹理提取单元进行纹理特征提取,通过融合操作,获得清晰图像。此外,为提高网络的鲁棒性,构建了多损失函数。(2) 在MFGAN的残差连接中加入一层卷积层,通过对比实验证明其结构更有效地学习细节特征。(3) 构建了从水下退化图像到清晰图像的端到端映射,不依赖于任何水下成像模型和先验知识,适用性更强。通过主观和客观评价两方面表明MFGAN与其他经典及新颖算法相比,处理后的图像色彩鲜明和对比度提升。
-
为验证MFGAN的鲁棒性和有效性,将MFGAN与其他典型算法(包括基于深度学习和传统算法)进行实验对比,然后从主观评价和客观评价两方面对处理图进行对比分析,最后证明MFGAN在水下图像增强方面具有很强的实用性。
-
利用水下生成对抗网络(Underwater Generative adversarial network,UGAN)[3]进行训练获得6 128张水下图像,对6 128张图像进行筛选,获得6 000张图像作为MFGAN的数据集。MFGAN中的输入是长和宽为256的RGB图像,优化器为Adam,学习率为0.000 2,批量大小(batchsize)为4,时期(epoch)为60。
-
通过颜色恢复试验来验证MFGAN算法在水下图像颜色校正方面的有效性,该实验基于无失真色卡因水下成像环境复杂而产生色偏,通过对退化的色卡图像进行处理,可有效地验证MFGAN的颜色恢复效果。将MFGAN与基于
$L\alpha \beta $ 颜色空间的水下颜色校正(LAB)、水下图像增强深度网络(Deep Underwater Image Enhancement Network, DUIENet)[11]、暗通道先验(DCP)[8]、去雾网络结合混合小波与方向滤波器组(DehazeNet and HWD)[12]进行对比,实验结果如图6所示。Figure 6. Experimental of color restoration. (a) Origianl;(b) Standard color card;(c) LAB;(d) DUIENet;(e) DCP;(f) DehazeNet and HWD;(g) MFGAN
从图6中可以看出,LAB算法处理后的色卡图像整体偏暗,颜色信息不明确,而DehazeNet and HWD的对比度明显提高,但是各相同色系颜色区分度降低。DCP处理后的色卡图像颜色块不均匀,整体偏蓝,与真实的色卡颜色不符合。DUIENet的色卡图像整体偏暗和偏红色,且色卡图像中出现红色伪影。MFGAN的色卡图像色彩鲜明,不同色系颜色可清晰区分,且相近色系如蓝色与紫色等颜色对比度增强,增强的色卡图像颜色与真实色卡接近。
进一步验证水下图像的颜色校正和清晰度恢复效果,对6幅不同环境的水下图像进行实验。将MFGAN与传统的经典算法以及最新的深度学习方法进行分析比较,如图7所示。
Figure 7. Experimental result . (a) Original;(b) DCP;(c) LAB;(d) CLAHE;(e) DehazeNet and HWD;(f) DUIENet;(g) UGAN;(h) MFGAN
从图7可以看出,DCP算法对恢复水下退化图像清晰度方面效果很差,如Image4和Image5,由于缺少颜色校正处理,进行颜色校正基本无效。DehazeNet and HWD算法有效地解决色偏问题,但由于过度曝光及颜色补偿,导致处理后的水下图像普遍呈灰白色。在Image3中,限制对比度自适应直方图均衡化(Contrast-limited Adaptive Histogram Equalization, CLAHE)算法处理的之后整体偏绿,细节纹理特征比较清晰,DCP和UGAN算法的去雾效果良好,但是颜色恢复效果比较差,MFGAN算法在颜色校正和去雾两个方面均表现较好,比较符合视觉效果。DUIENet算法在清晰度恢复能力差,如Image4,而该算法在颜色恢复上取得不错效果,如Image5。UGAN与文中算法在提高水下图像对比度及清晰度方面均表现良好,相比之下,文中算法在颜色信息校正(如Image1)和去雾(如Image3)更具有优势。
从图7的Image4中红色框的部分可以看出,针对远景区域的图像去模糊和颜色校正的效果,MFGAN、DUIENet和UGAN对偏绿图像进行颜色校正效果更好更彻底。Image2红框部分,DCP、CLAHE和MFGAN对远距离纹理特征恢复更好。相比之下,MFGAN算法增强后的图像颜色更加自然、对比度更高和细节特征更突出。
-
为了更客观地评价和分析所提出算法的性能,进一步采用加速稳健特征[13]进行特征点匹配测试,水下彩色图像质量评价综合指标(Underwater Color Image Quality Evaluation,UCIQE)[14]和自然图像质量评价指标(Natural Image Quality Evaluator,NIQE)[15]进行质量测评。
采用加速稳健特征进行特征点匹配测试,通过对比处理前后图像的特征点匹配数目,验证算法在后续特征匹配过程中的应用效果,进而评估算法性能。一般情况下,图像清晰度越高,特征点匹配数目越多,在后续特征提取等过程中应用效果越好。DCP[8]、CLAHE、DUIENet[11]和MFGAN进行特征点匹配实验,测试效果如图8所示,每幅图的左上角为特征点匹配数,红色为最优值。在相同特征相似度阈值条件下,MFGAN相比其他算法,处理后的水下图像能匹配出更多的特征点,则MFGAN在后续特征匹配过程应用效果良好。
UCIQE代表水下图像色度、饱和度和对比度的综合指标,UCIQE值越高代表图像具有更好的视觉质量。UCIQE计算如公式(10)所示:
式中:
${\sigma _c}$ 为色度的标准差;$co{n_l}$ 代表亮度的对比度;${\mu _s}$ 为饱和度的平均值;${c_1}$ ,${c_{\rm{2}}}$ ,${c_{\rm{3}}}$ 为加权系数。表1对图7的UCIQE评价指标结果,加粗字体为算法的最优值。Image DCP LAB CLAHE DehazeNet and HWD DUIENet UGAN MFGAN 1 0.676 2 0.600 8 0.645 5 0.669 7 0.630 3 0.690 6 0.676 6 2 0.636 3 0.576 9 0.615 8 0.613 8 0.577 2 0.619 6 0.641 0 3 0.595 1 0.466 6 0.461 6 0.546 9 0.441 2 0.561 6 0.637 7 4 0.598 5 0.569 9 0.605 1 0.653 3 0.566 8 0.601 5 0.624 1 5 0.590 3 0.546 8 0.577 7 0.580 7 0.593 8 0.577 7 0.624 4 6 0.638 8 0.568 5 0.592 6 0.639 1 0.568 1 0.592 6 0.640 3 Average 0.622 5 0.554 9 0.583 1 0.617 2 0.562 9 0.607 3 0.639 9 Table 1. Quantitative results in terms of UCIQE
Image1经UGAN算法处理之后,因水体颜色信息恢复不彻底,导致色度、饱和度指标较高,影响了UCIQE指标的结果。经DehazeNet and HWD算法处理后的Image4,因过度曝光使得处理后的图像色彩过于鲜明,导致其UCIQE值较高,表1数据表明,MFGAN在测试图像中整体表现出较高的UCIQE值,尤其是针对偏蓝和偏绿的图像,如Image5和Image6,相比于对比算法能更好地平衡色度、饱和度和对比度,且颜色信息恢复自然,具有较高的清晰度。
NIQE满足水下图像无参考的特点,利用待评价的图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量,便可得到主观评价分数。NIQE与图像的自然性存在着负相关,值越小时,图像越接近自然状态。NIQE的计算如公式(11)所示:
式中:v1,v2分别表示自然图像和处理图像的均值向量;Σ1,Σ2分别表示自然图像MVG模型和处理图像MVG模型的协方差。表2为图8的NIQE评价指标结果,加粗字体为最优值。
Image DCP LAB CLAHE DehazeNet and HWD DUIENet UGAN MFGAN 1 3.559 5 3.850 2 3.909 8 4.715 6 4.700 6 4.663 0 3.614 4 2 3.581 4 3.547 5 3.411 6 4.873 4 4.901 1 3.525 3 3.442 2 3 6.457 1 6.047 4 5.804 9 8.510 4 6.034 8 3.327 0 4.548 6 4 3.585 5 3.712 1 3.875 2 3.993 4 4.150 3 4.562 4 3.359 9 5 4.050 1 4.065 9 3.904 6 3.868 5 4.507 8 5.097 9 3.745 3 6 3.226 1 3.400 2 3.497 2 3.580 7 3.061 8 5.546 0 3.455 4 Average 4.076 6 4.058 9 4.067 2 4.923 6 4.559 4 4.453 6 3.727 3 Table 2. Quantitative results in terms of NIQE
Image1经DCP处理后的NIQE的值比较低,但是颜色恢复效果不明显,对水体偏蓝图像作用效果较小。经CLAHE处理后的Image2,UCIQE的值不是很高,表明色彩信息恢复不准确,对比度低,然而从图7可以看出,CLAHE处理之后的Image2更符合视觉效果,因此有较高的NIQE值。Image3经UGAN处理后,整体偏白,色彩信息恢复不自然,导致NIQE的值偏低。经DUIENet处理后的Image6,饱和度和对比度较低,具有较低的UCIQE值,但是更符合训练好的模型参数,进而获得更小的NIQE值。MFGAN在测试图像中整体表现出较低的NIQE值,相比于其他算法更接近与自然状态。