地球表面大约70%被海洋覆盖，海洋中蕴藏着未知的生物和巨大的能源资源，对地球生命的延续起着重要作用。20世纪中叶以来，世界范围内都积极从事海洋勘探尖端技术的研究。水下成像视觉技术在海底地貌探测、海洋生物监测、水下资源勘探以及水下考古^[1-4]等多个领域都有着非常广泛而深入的应用并以其承载高信息密度的能力而备受关注。研究人员努力为各种水下应用捕捉高质量的水下图像，包括水下机器人技术、水下救援任务、水下人造结构物检查、生态监测、海洋生物跟踪和水下实时导航等^[1]。

然而水下图像存在严重的退化现象，这种图像的退化制约了水下成像技术的应用。自然光在水体中的传播距离非常有限，并且呈现指数衰减，导致图像的清晰度和对比度均有所下降^[2][3]；其次，研究表明水体对不同波长的光的吸收度各不相同，只有特定波长的光能够在水体中以较低的衰减率传播，从而造成了水下图像的色彩畸变^[3]；此外，水体中含有的微粒等物质不仅会使得水下图像具有较大的噪声，还会对光产生吸收和散射作用，其中散射作用主要分为前向散射和后向散射，前者使得光线偏离原有的方向从而使得图像分辨率降低；后者则会将水体中微粒信息传送至探测器引起“帷幔效应”，造成图像对比度下降^[4]。

为了解决水下图像的退化问题，许多学者都致力于恢复或增强水下环境的退化图像的研究。一般来说，水下清晰成像算法可分为两类：非物理模型算法与基于物理模型的算法。传统的白平衡调整、直方图均衡化和融合技术属于非物理模型算法范畴。研究人员建立了水下成像模型来描述水下图像的物理形成过程。利用各种类型的先验知识来估计深度相关的传输图，并进一步恢复更高可见性的图像。

文中将从以下方面进行阐述：首先对非物理模型的方法和基于物理模型的水下清晰成像方法进行概括总结；其次着重讲述基于偏振的水下清晰成像方法，详细分析各种方法的适用条件；最后选取经典的方法进行实验对比，在此基础之上指出水下偏振成像技术中存在的问题，进一步讨论了这些问题的解决方法以及水下偏振成像技术未来的发展方向。图1展示了文中对现有水下清晰成像方法的归类与总结。

图  1  水下清晰成像方法归类

Figure 1.  Categories of underwater clear imaging methods

非物理模型的方法通过单纯的图像处理手段，调整图像的像素值来改善水下图像的视觉质量。最初把应用于一般图像的增强方法直接用来改善水下图像的质量，增加对比度或者提升图像清晰度。对比度自适应直方图均衡化(CLAHE)方法是简单有效的图像增强方法，这一方法及其改进方法^[5-7]能够在一定程 度上改善水下图像质量，其中参考文献[5]将RGB空间与HSV空间里经过CLAHE处理的结果相结合，不仅能够有效地降低噪声，还能提高图像的对比度并保留图像的自然视觉感受。此外基于小波变换的传统图像增强方法^[8]同样可以应用到水下图像处理中，用来改善水下图像中存在的色彩畸变问题。

由于水下成像环境的独特性，传统的图像增强算法难以达到理想的效果，因此提出了诸多专门适用于水下图像的增强算法。在大气介质中环境光源通常被认定为是空间常量，参考文献[9]认为这一假设在水下场景中不成立，而是反射率的平均值为恒定的。结合深度图对水下图像进行颜色校正。针对水下图像存在着对比度低、噪声大、非均匀光照、颜色畸变等诸多问题，综合性的方法能够多方面地解决这些因素带来的图像质量下降问题。参考文献[10]通过一系列连续前处理：同态滤波、小波变换、颜色校正等以改善图像对比度，解决非均匀照明和色彩畸变问题。参考文献[11-13]则是通过对不同颜色空间中的图像处理来解决了水下图像的对比度低、非均匀光照和色彩畸变问题。图像融合方法同样能够有效地综合性地解决水下图像存在的问题^[14-16]，这类方法不需要对场景进行多次拍摄，依靠对水下不同特征的考虑采用不同的权重图即可通过融合得到最终理想的结果。

非物理模型的方法不需要有关成像环境的先验知识，单纯地通过图像处理手段来改善图像的视觉质量，这类的方法大多易于实现，计算复杂度低。然而，由于不考虑水下图像质量下降的本质原因，其处理结果不一定代表图像的真实原貌，图像的细节增强不够明显，处理后的图像存在着明显的噪声放大问题。

基于物理模型的方法通过对水下图像退化过程的建模，估计其中的关键参数反演退化过程进而获得清晰的水下图像。Jaffe-McGlamery模型是经典常用的水下成像模型之一，以此模型为基础提出了诸多出色地水下图像复原算法。Jaffe-McGlamery模型其示意图如图2所示。Jaffe-McGlamery模型认为探测器最终接收到的图像是三个分量的线性组合，这三个分量分别是目标反射光、后向散射光和前向散射光，即可以表示成公式（1）的形式：

目标信息光是光线经由物体反射直接进入到相机，其中包含了大量的目标物体的信息，后向散射光则是光线在传播过程中未照射到目标前由水体中的粒子散射进入到相机，后向散射光会使得物体变得模糊，同时图像对比度也会下降，前向散射则是光线经由物体反射后在到达相机前被水体中的粒子所散射，前向散射光会使得图像的分辨率降低，造成图像模糊。

一般认为后向散射光是造成水下图像对比度下降和可见距离缩减的主要原因，前向散射光对图像退化的影响则可忽略，因此在诸多水下图像复原方法中都不考虑前向散射光的作用，从而Jaffe-McGlamery模型化简为：

图  2  Jaffe-McGlamery水下成像模型

Figure 2.  J-M underwater imaging model

假定目标最初的辐照度为$J(x,y)$，即需要恢复出来的清晰图像，光从目标传播到探测器时由于散射和吸收损失部分能量，从而

$S(x,y)$可以表示为：

式中：$t(x,y)$是介质透射率。$B(x,y)$是被悬浮粒子散射到视线中，并被探测器捕获到的光。将来自各个方向的光源的作用相加，则$B(x,y)$可以表示为：

式中：${B_\infty }$表示水下环境光。结合公式(3)和公式(4)，简化后的Jaffe-McGlamery模型又可以表示为：

从公式(5)可以看出在获得了场景图片$I(x,y)$后，只要知道参数$t(x,y)$和${B_\infty }$即可反演出清晰的水下图像。

近年来的研究主要集中在对透射率的估计上。针对每个像素估计透射率是一个病态问题(ill-posed problem)，因此基于对成像环境统计特性的研究提出了一些有效的假设先验，并在此基础上提出了诸多适用于水下图像的复原方法。参考文献[17]提出水下环境中红色通道的衰减率要比绿色或蓝色通道高很多这一先验知识，利用这一先验估计三个通道的透射率，进而移除散射作用。暗通道先验知识认为清晰图像中三个通道至少有一个强度很低，可以利用这一先验可以估计出透射率。基于暗通道先验的算法^[18]是经典的图像复原方法之一，利用暗通道先验结合水下成像的特点提出了一些有效地水下图像复原算法^[19-22]。参考文献[19]认为透射率与衰减系数呈指数关系，利用这一先验对蓝绿两通道的透射率进行校正，能够有效地解决颜色畸变问题。根据水下成像环境的特点，参考文献[23]认为水下环境中由于水体的吸收作用三通道中红色通道的强度值必然较低，暗通道先验失效。实际上水下环境中红色通道的强度值随着距离的增加衰减更快，利用这一先验提出了依据红色通道恢复图像对比度的方法，解决对比度问题的同时还能一定程度上修正水下图像色彩。

基于物理成像模型的方法通过对参数的估计利用成像模型进行反演得到复原结果。这类方法的效果在很大程度带上依赖于所提出的先验条件。先验条件的普适性则决定这一方法的普适性，然而在实际应用中都是根据特定的环境提出相应的假设先验条件，因此基于成像物理模型的方法往往不能够得到广泛应用。此外这类方法会产生光晕、伪影等问题，实际的处理效果难以达到预期。

偏振是光的本质属性之一，表征了光在传播方向上的振动情况^[24-25]。基于菲涅耳理论偏振可以反映物体表面特征，并且可以用于物体表面建模、形状恢复、抗干扰目标检测和反射率分析^[26-30]。经研究与实践证明^[31]，利用偏振特性能够有效地在散射介质中解决图像退化问题，恢复图像改善图像质量。由于水体以及水体中粒子的存在，水下环境是一种典型的散射介质，最早Lythgo等人就已经证明在自然光照下利用偏振特性可以实现水下图像对比度的增强^[32]。针对水下环境如何运用偏振特性解决水下图像的退化问题，提出了一些有效的方法。这类方法大都建立在简化的Jaffe-McGlamery水下成像模型（2）上。文中依据对目标信息光和后向散射光的偏振态的不同讨论将这些方法进行了归纳总结，对这些方法的原理进行简要的阐述，总结其优缺点。

部分研究认为目标反射回探测器的目标信息光是有偏的，而被水体中粒子散射到探测器的后向散射光则是无偏的，以此为依据利用偏振差分成像技术对水下图像进行处理。偏振差分成像通过获取场景相互正交的线性偏振图像${I_ \bot }(x,y)$和${I_\parallel }(x,y)$，根据简化的J-M水下成像模型（2），目标信息光和后向散射光可以表示为：

结合上述有关偏振态的假设，偏振差分成像的结果即：

对比公式（8）和（9）可以看到后向散射光被去除而目标信息光则得以保留。这种方法通过共模抑制放大器减少后向散射光并放大目标信号^[33]，简单易于操作，但是在实际应用中需要对检偏器进行无规则的机械转动来实现对后向散射光的共模抑制，严重制约了这一方法的实时探测性能。针对传统偏振差分方法实时性差这一问题^[34]中引入Stokes矢量，提出了基于Stokes矢量计算的偏振差分水下实时成像系统，在解决水下图像退化问题，增加水下探测距离的同时利用Stokes矢量的程序处理实现了实时水下成像。

近年来通过对水下环境中光的偏振态的研究^[35]，部分学者认为后向散射光是无偏的这一假设不成立，在J-M模型中应当是目标信息光是无偏的而后向散射光是有偏的，建立在这一基础上提出了诸多方法。获取场景的两幅子图像分别对应目标场景的“最亮”和“最暗”时刻，表示为${I_{\max }}(x,y)$和${I_{\min }}(x,y)$，根据对偏振态的假设，J-M水下成像模型可以进一步表示为：

在前文中所提及的传统的偏振差分方法需要人工选择两幅图像，存在一定的主观因素，参考文献[36]建立在此偏振态假设基础上对传统的偏振差分方法作出了改进，引入主成分分析技术自适应地选择出最优的两幅偏振图像进而恢复图像。Schechne和Karpel针对偏振特性在水下成像中的应用进行了深入地系统地的探索研究，他们认为水下环境中偏振与后向散射光有关^[37]，提出了经典的水下偏振成像方法^[38-40]。参考文献[38]通过计算后向散射光的偏振度对介质透射率进行估计，随后根据对水下成像模型的反演恢复出对比度增强的清晰图像。为了验证上述方法有效性，作者在真实水下场景中拍摄的图像上利用上述方法对图像进行了恢复。结果表明相比于大部分的图像处理方法，利用偏振恢复水下图像能够有效地提高图像的对比度，有效地增强恢复的图像的细节。

经典的水下偏振成像方法^[38]由于其体积小、功耗低、复原效果佳的特点受到了越来越多的关注，许多学者针对其不足之处提出了一些改进方法。考虑水下环境中由于深度等因素以及日照随时间发生的不可预测的变化^[41]，引入人造光源对场景进行成像，在参考文献[38]的基础上，Schechner和Treibitz将光在传播过程中的衰减作用考虑进图像复原过程中^[42]，从消除了后向散射影响的图像中再次去除衰减影响，进一步提高图像质量。随后Schechner和Sarafraz将参考文献[43]中的单摄像相机方法拓展到双摄像机上，利用立体视差和偏振分析来构建增强的去散射视图。利用双目立体线索计算距离，新方法在低偏振条件下也能获得良好的效果，并且双目相机的使用可以通过同时获取图像来克服时间延迟，适用于动态场景。参考文献[44]通过简化目标重构模型提出主动估计全局最优偏振信息重构参数的方法，能够自动选取背景区域进行参数估计，提高了该方法的实时性和实用性。针对参考文献[38]在对水下图像进行处理时没有解决水下图像存在严重的色彩失真的问题，参考文献[45]考虑浅海水域的自然光照特性，重点研究了后向散射光的传输特性，深入挖掘后向散射光中包含的信息，建立了基于深度信息的水下Lambertian反射模型，据此对R、G、B三通道进行颜色补偿。该方法能够在不增加额外先验条件的情况下，实现无色彩畸变的水下清晰成像。

此外一些方法考虑到光源特性在成像中的作用，采用不同的光源对这一方法进行了改进。参考文献[46]指出线偏光散射较强，在浑浊度较高的水体中^[38]方法性能较差，考虑到圆偏光的偏振记忆效应，引入圆偏光进行照明，结合线偏光与圆偏光利用偏振特性对水下图像进行恢复。而参考文献[47]采用非偏光对水下场景进行照明。实际上在水下场景中使用线偏光时，当目标的材质和水体环境发生改变时，目标信息光和后向散射光的偏振态可能会非常相近，进而导致偏振方法失效，因此改用非偏光确保目标信息光和后向散射光始终存在偏振差异，并采用偏振角来估计后向散射光以提高对后向散射光估计的精确性。参考文献[48]中考虑主动照明带来的非均匀照明问题，认为后向散射光偏振度是空间变量，通过三维拟合求取后向散射光偏振度和强度来实现水下清晰图像的恢复。

上述两类方法都只假设目标信息光和后向散射光之一是有偏的，而实际水下环境中后向散射光和目标信息光可能都是有偏的，单一考虑其一为有偏会限制方法的复原效果，考虑目标信息光和后向散射光均为有偏的情形提出了一些方法。参考文献[49]中讨论了偏振差分成像方法在非偏振的和部分偏振的背景与遮蔽光这两种情形下的图像恢复能力，结果表明两种情形下偏振差分成像都能够有效地提高图像质量。参考文献[50]中提出了一种简单的基于偏振的方法，利用偏振度以及图像亮度信息恢复清晰图像，无论是对退偏目标还是保偏目标该方法都能奏效。在引入人造光源进行主动照明偏振成像时，参考文献[51]将目标信号的偏振差分信息引入到水下成像模型中并通过逐步搜索法对模型中的各项参数进行优化求解，该方法在改善恢复图像细节信息和视觉质量的同时还能显著提高包含退偏程度较低的目标图像的质量。参考文献[52]引入基于偏振光的偏振光束扩散函数，通过Stokes矢量成像相机获得偏振图像利用水下偏振成像模型反演目标偏振特性，模拟仿真与真实场景下的实验都证明了该方法的有效性。参考文献[53]中在对水下场景图像恢复过程中在经典水下偏振成像方法的基础上考虑目标信号的偏振特性。假定目标偏振特性在视场内均匀，建立目标信号与后向散射光之间的互信息(MI)，并根据互信息对目标的偏振特性进行优化求解。该方法能够快速有效地对水下图像进行恢复。在利用偏振特性对水下场景进行恢复过程中存在严重的噪声放大问题，由此参考文献[54]采用图像分层处理的思想，在参考文献[53]的基础上，将图像分为基础层和细节层，分别进行多尺度小波收缩处理和联合双边滤波处理，最终重建出高对比度、高信噪比的图像。经过这一处理，在原偏振成像恢复水下图像的基础上抑制噪声的同时再次提高了图像对比度，图像的细节轮廓以及纹理信息进一步地得到了凸显。

还有一些方法将偏振水下成像方法与图像复原、图像增强以及硬件设备相结合，以求达到更好的水下图像恢复效果。参考文献[55]首次将数字图像处理技术与偏振技术相结合，对某一偏振图像进行直方图均衡化处理后再利用传统的水下偏振复原方法恢复清晰图像，极大提升图像对比度的同时能够完整地恢复图像细节。参考文献[56]在参考文献[53]的基础进一步考虑之前被忽略的前向散射光，在利用偏振去除后向散射光影响的图像上再考虑图像模糊问题，通过估计前向散射的点扩散函数对成像模型进行反演进一步提高水下图像恢复的质量。参考文献[57]将主动偏振成像技术与基于光学相关性的方法相结合，将此作为决策准则时可以有效地改善水下目标检测的准确性。而参考文献[58]通过引入浑浊度量化模型，优化了传统的光学相关技术，能够对高度浑浊的情况下拍摄的图像进行复原。参考文献[59]则将偏振信息与光强以及光谱信息结合起来，采用融合策略进行图像恢复，该方法无需繁琐的图像预处理，并且运算复杂度低。参考文献[60]中将偏振方法与距离选通技术相结合，能够在高浑浊度情形下有效成像。

水下偏振成像技术表现出了良好的应用与发展前景。经典的偏振差分成像方法能够简单且有效地解决水下图像的退化问题，针对经典水下偏振成像方法存在的不足，提出了诸多的改进方法，以提高对图像质量的恢复效果，拓展水下偏振成像的实际应用范围。水下偏振成像技术相对其他的成像技术，如激光距离选通成像和线激光扫描成像技术，其系统简单便携，功耗低，成本低，有着广泛的实际应用范围。但是水下偏振成像方法中存在着手动选取特定区域存在主观误差、噪声放大、连续多次拍摄场景导致实时性差等问题，如何解决这些问题成为了水下偏振成像技术中的关键。一些研究尝试将水下偏振成像方法与水下增强或复原方法结合，这类方法也都取得了出色地效果。参考文献[61]中将偏振与图像去噪成功结合，在大气环境中恢复清晰图像，未来如何将这类方法引入到水下成像中解决水下偏振成像方法的噪声放大问题将是研究的重点内容之一。

为了比较各种不同类型的增强或复原算法，对比分析偏振成像方法在水下环境中的应用前景，在实验室搭建了模拟水下成像环境的实验场景。总共搭建四组场景，场景中包含了不同材质、不同表面属性(光滑或粗糙)的人造物品和天然物品。具体四组场景的搭建如图3所示。

图  3  四组实验场景

Figure 3.  Four experimental scenes

其中场景一是固定在22 cm×28 cm×11 cm的塑料水缸中的间距为3 cm的标定板，其余的三组场景均是搭建在22 cm×25 cm×15 cm的玻璃水缸中。拍摄时将相机固定在定制的机座上，机座上在相机位前有特制的凹槽用于固定偏振片，采集场景的偏振图像时，将偏振片固定在机座上，按需求旋转偏振片即可。其中实验选用的相机为彩色工业相机，最大分辨率为2 592×1 944，像元尺寸为2.2 μm×2.2 μm，采用焦距为8 mm定焦C口镜头。偏振片选用直径为2 in(1 in=2.54 cm)的线偏振片并配备了相应带有刻度盘旋转支架装置，保证每次旋转偏振片角度的准确性。光源使用了模拟自然光的卤素摄影灯。实验过程中，通过在水体中滴加全脂牛奶来模拟实际水下环境中的浑浊度的差异。对每组场景的采集持续到最终场景物体完全消失在浑浊水体中结束，期间每滴加10滴的全脂牛奶采集一组图像。图4展示了随着水体中牛奶浓度的增加场景一的变化。

图  4  场景一浑浊度变化

Figure 4.  Turbidity change of scene one

文中分别选取非物理模型方法：对比度自适应直方图均衡化方法(CLAHE)^[6]；基于物理模型的图像复原算法：暗通道去雾算法^[18]；偏振图像复原算法：水下偏振复原方法^[38]以及改进后的偏振去雾算法^[61]共4种算法，针对以上三大类的方法进行实验对比，综合地对这几种算法的处理效果进行全面地系统地评价。表1展示了此次实验中所选择的用作对比的算法的详细信息。

在对实验结果进行主观视觉质量评价同时，采用客观指标^[62-63]对不同算法处理的结果进行评价。在图5中展示了不同算法在场景一上的处理结果。

图  5  不同浑浊度情形下不同算法处理结果

Figure 5.  Results of different algorithms under different turbidity situations

从图5的结果可以看出传统的数字图像处理方法对水下图像的增强微乎其微，肉眼观察处理后的图像质量与原始图像相差无几，CUV算法在复原清晰图像过程中存在色彩畸变的问题(如图5所示)，两种偏振水下图像复原算法能够在增加图像对比度的同时在一定程度上校正水下图像的颜色，而基于暗通道先验的图像复原算法能够一定程度上改善图像质量但并未校正水下图像的颜色。图6展示了这四种算法在滴加了30滴全脂牛奶后的处理结果，可以看出原始图像中模糊难以辨明的数字“4”在经过暗通道算法和基于偏振的图像复原算法处理后变得清晰，通过肉眼即可轻易地辨认，而原图中无法看到的数字“3”经过偏振处理后(如图6所示)在图中显示出来。

图  6  三种算法结果对比

Figure 6.  Result comparison of three algorithms

在水下图像质量评价中，图像对比度是一个非常重要的评价指标，因此文中采用两种无参考的图像质量评价方法对以上不同算法处理结果进行客观评价：CDNSS^[62]、IL-NIQE^[63]。图7、8展示了针对场景一各个算法处理效果具体的评价结果，这两种指标集中反映了这四种算法对水下图像对比度的改善情况。综合以上两个评价指标，可以看出传统的数字图像处理方法对水下图像质量并无增益，基于暗通道先验的图像复原算法和另外两种基于偏振信息的图像复原算法都能够有效地改善图像质量，增强对比度，而且能够在浑浊度较高的情形下使得处理结果显示出原始图像中无法观察到的细节信息。观察这两种评价方法的结果不难发现这些图像增强或复原算法鲁棒性都较差，随着水下浑浊度的加大，算法的处理效果迅速下降。实验仿真过程中发现经典的偏振水下图像复原方法^[38]的复原过程中需要人工选取特定区域进行参数估计，特定区域是否有效严重制约了该算法的处理效果。而特定区域的选择完全由主观判断，存在着巨大的误差。基于大气环境提出的去雾算法^[61]能够在一定程度上适用在水下环境中，相较于其他三种算法，其鲁棒性能较好，而将图像去噪与偏振信息结合也进一步提高了算法效果。

图  7  CDNSS评价结果

Figure 7.  Outcome of CDNSS

图  8  IL-NIQE评价结果

Figure 8.  Outcome of IL-NIQE

通过上述对水下图像清晰成像方法的总结分析和对不同类型的算法的对比研究，可以看出偏振信息的引入能够在很大程度上提高水下图像质量，经典的偏振水下图像复原方法能够有效地改善水下图像质量，提高对比度，但是基于偏振的水下图像复原算法存在着诸多的问题。算法的鲁棒性能较差，整体算法在使用时需要人工选取特定区域对参数进行估计，存在主观误差的同时也导致了方法的自适应能力不足，此后的研究应当着重于感兴趣区域的自动选取，增加算法的适应能力。同时今后的研究须着重于解决现有方法存在的颜色偏差和细节增强不足等问题，改善算法实际处理效果。此外，在未来的研究中应当着重于如何将基于偏振的水下复原算法与其他类型的算法相结合，能够实现水下图像质量改善的同时提高算法的实时性，拓展此类方法的实际应用范围。