-
光照射在物体表面后携带有物体信息进入人眼中，人类对世界的大多数认知大都凭借于此。 然而在自然界中，天空中大气时常起伏不定，陆地上的水雾聚散无常，水中更是“泥沙俱下”，随处可见的自然现象严重阻碍了人类探索世界的目光。这是由于光束经过诸如大气湍流、雾气及浑浊溶液等物质的过程中，发生了散射及吸收效应，使得原始的图像到达探测器后信息损失严重，成像质量差[1-2]，难以辨别物体的真实信息。当使用相干光传输物体信息时，在观察平面上呈现为毫无规律分布的散斑，无法辨别物体[3-9]的原始信息。若能克服以上现象并获得清晰可视的物体原始信息，将为医疗、交通及军事等领域带来极大的帮助。
早在1990年，Freund便指出在合适的条件下，散射介质可以被当作一种不透明且发生多重散射的薄透镜，从而实现在散射介质后成像[10]。在2007年Vellekoop等人利用波前整形技术实现了相干光束经过强散射介质的聚焦[11]，这个工作进一步表明通过散射介质成像并非不可能，促进了光学界对透过强散射介质成像的研究[12-19]。在此之后，大量透过散射介质成像的方法涌现，例如光学相干层析[20-21]、波前整形[22-23]、相位共轭[24]、传输矩阵[25-26]及散斑相关[27]等技术，这些技术的研究发展为透过散射介质成像提供了多种解决方案。然而，当散射介质为随着时间动态变化的浑浊介质时，许多传统的散射成像技术将面临失效或成像效果下降[28]的问题。
当光束通过散射颗粒随机移动的浑浊介质时，光束与运动的散射介质相互作用，与静态的散射介质不同，光束传播在空间随机性外还具有时间随机性[29]，因此大多数方法难以在此场景中获得高质量的成像结果。为了克服浑浊介质中散射颗粒随机游走的效应，Donald B. Conkey等人介绍了一种相位控制全息技术[30]，通过高速率更新的变形反射镜器件（Deformable Mirror Device，DMD），利用传输矩阵法实现高速波前测量，成功透过浑浊介质获得聚焦光。这种方案对DMD与计算机等电子器件的处理速度有较高要求，且系统的对焦时间也受限于电子器件之间数据传输，对器材精度要求较高。Micha Nixon的团队利用全光反馈技术，通过光场的自组织效应，能够在亚微秒级实现透过浑浊介质产生聚焦光[31]，且无需电子反馈与空间光调制器等。这种现象与激光的模式竞争及相干反馈密切相关，因此当浑浊介质较厚、激光的散射路径较长时，该方法并不适用。
随着近年来深度学习技术的兴起[32-36]，Yiwei Sun等人将分类网络与生成式对抗网络（Generative Adversarial Network, GAN）相结合，实现了透过五种不同浓度浑浊介质的成像[29]。这种深度学习的方法避免了建模复杂的逆问题，将图像输入与散斑输出简化为一个简单的函数求逆问题，巧妙地利用分类网络提供先验信息以增强后续GAN网络恢复图像的能力，较普通卷积神经网络的方法改善了图像质量。但是当网络接收不在分类浓度内的散斑图像时，其恢复效果不佳，且其输出的恢复图像大小仅为28×28，分辨率较低。
在许多实际场景中，散射介质是以浑浊介质的形式存在，其不同于毛玻璃等固态散射介质静止不动的特点，且其散射效应强度也并非恒定不变，因此需要一种能够在克服浑浊介质动态变化的同时，拥有成像质量高且鲁棒性强的方法，从而解决透过浑浊介质的成像问题。文中提出了一种使用深度学习的方法以解决以上问题，构建了pix2pix（Pixel to pixel）[37]网络模型，使用实验装置采集了激光照射物体后经过浑浊介质的散斑图像，其中部分散斑图像用于训练pix2pix网络，并由训练后的pix2pix网络恢复剩余散斑图像对应的原始物体信息。研究了不同种类浑浊介质、不同浓度散射介质以及各浓度散斑图像混合，对pix2pix恢复图像的影响及网络恢复图像的效果，最后对网络输入不同的训练样本，测试了网络图像恢复能力的鲁棒性。
-
实验装置如图1所示，氦氖激光器（Thorlab，HNL210 LB）发射波长为632.8 nm的激光经过由L1，L2两个透镜组成的扩束系统后，通过线偏振片P，由分束器BS将照射在空间光调制器SLM（Holoeye, Pluto VIS-006）的光束反射进入浑浊介质中，空间光调制器上加载MINST手写数字集[38]作为暗场图像，在未添加散射介质时，调节凸透镜L3，使CCD（Pike F421 B, AVT）采集到清晰的像后，固定L3与CCD，之后依次添加不同散射介质，由电脑存储经过浑浊介质的散射图像。为了测试pix2pix网络在不同浑浊介质（Set 1~3）条件下的普遍适用性，及散射介质浓度（Set 3~6）对物体恢复的影响，实验中添加的浑浊介质如表1所示。
图 1 实验装置图。L，透镜；P，偏振片；BS，分束器；SLM，空间光调制器；CCD，工业相机
Figure 1. Schematic of experimental setup. L, lens; P, polarizer; BS, beam splitter; SLM, spatial light modulator; CCD, charge-coupled device
表 1 浑浊介质中添加的散射介质
Table 1. Scattering medium added in the turbid water
Scattering medium Set 1 Sea salt Set 2 Calcium carbonate Set 3 Polystyrene (250 mg/10 mL, 2 mL) Set 4 Polystyrene (250 mg/10 mL, 1.5 mL) Set 5 Polystyrene (250 mg/10 mL, 1 mL) Set 6 Polystyrene (250 mg/10 mL, 0.5 mL) 水箱中的浑浊介质由表中所示的各种散射介质与3000 mL纯净水均匀混合而成，水箱的尺寸为240 mm×155 mm×150 mm ，激光穿过水箱的长度为155 mm。Set 1中的海盐添加质量为1000 g；Set 2中为了防止超细微碳酸钙（平均粒径0.02 μm）的沉淀，加入了500 g的聚乙二醇以增加水体粘稠度，最后加入0.15 g超细微碳酸钙以达到较为明显的散射效应；Set 3~6分别为含有不同浓度的聚苯乙烯微球（平均粒径2 μm）悬浊液。实验中，使用空间光调制器依次加载MINST手写数字集中的10000张不同风格的手写数字图片，每组浑浊介质均采集10000张散斑图像，并将加载的手写数字图片作为真实值（Ground truth）与散斑图像随机分割为训练集与测试集输入网络进行训练测试。
-
实验使用的pix2pix网络模型如图2所示，为一种条件对抗生成网络（Conditional Generative Adversarial Network, cGAN），与使用随机噪声生成图像的GAN不同在于：其可以通过指定的输入与真实值进行成对训练，从而达到类似文本翻译效果的“图像翻译”效果，即通过指定的输入图像，生成与真实图像相似的图像。携带目标图像信息的光束在经过浑浊介质时，经历了散射与吸收效应，在接收端探测到的是高熵的噪声化的散斑图案。这样的散斑图案中依然包含目标图像信息，通过大量样本的训练，神经网络能够学习散斑图与目标信息的映射模型，以类似“翻译”的形式，提取散斑图像中的抽象特征并将其具象化，最后完成散斑图像的恢复。此外，不同于一般的卷积神经网络，pix2pix模型中，生成器在学习“翻译”的过程中，不仅有损失函数指导生成器训练，还有判别器在生成器生成效果不佳时反馈给生成器，提高训练效果。
图 2 pix2pix网络模型示意图。（a）生成器所使用的U-net架构；（b）判别器使用的PatchGAN架构。Conv，卷积；BN，批量归一化
Figure 2. pix2pix model diagram. (a) U-net architecture of the generator; (b) PatchGAN architecture of the discriminator. Conv, convolution; BN, Batch-Normalization
pix2pix模型由生成器（Generator，G）与判别器（Discriminator，D）两个部分组成。在实验中，物体经过浑浊介质后形成的散斑图案中，物体周围被散射光所覆盖，图片的对比度及信噪比极低，难以辨别出物体的真实信息。U-net[39]是一种经典的卷积网络，其使用对称的U型结构，并使用了跳层连接从而将压缩路径（contracting path）的特征映射与扩展路径（expansive path）的特征映射融合，将图像高层语义特征与浅层细粒度特征信息结合，常用于医学图像的分割。因此，选用带有U-net做为pix2pix模型的生成器，负责根据散斑图生成与原图相似的图片，其架构如图2（a）所示。生成器压缩路径卷积核大小为4×4，卷积步长为2，每层卷积层后批量归一化（Batch-Normalization, BN, momentum=0.8）以增加网络训练及收敛速度，防止过拟合，激活函数为ReLU。
扩展路径上采样大小为2，每次上采样后经过卷积层，其卷积核大小为4×4，卷积步长为1，使用Skip-connection将每一次上采样的特征映射与压缩路径对应的特征映射在通道上堆叠。该模型中，256×256 pixel的散斑图，经过压缩路径后成为2×2×512的张量，再由扩展路径上采样后输出为256×256 pixel的生成图。
网络使用的判别器如图2（b）所示的Patch GAN[40]，输入图像经过判别器卷积后成为一个16×16×1的张量，张量中每个元素均对应着输入图像的某处感受野。相较于普通的GAN判别器只将输入映射为真实输入概率的方式，PatchGAN更能够获取图像各个区域的细节，相关论文表明[37]，这种利用感受野进行判别的方式相较整体判别对提高局部特征分辨率上更具有优势，有助于帮助生成器生成更为真实的图像。
网络引入均方根误差（Mean square error，MSE）及二元交叉熵（Binary cross entropy）分别作为判别器与生成器的目标函数，定义分别为：
$$ MSE=\frac{1}{M\times N}{\displaystyle \sum _{i=1}^{M\times N}{\left({x}_{i}-{{x}'_i}\right)}^{2}} $$ (1) 式中：
${x_i}$ 与${x'_i}$ 分别为原图与其散斑图像重构的图像第$i$ 个像素值；M与N分别为图像行与列的像素个数。$$ H\left(p,q\right)=-{\displaystyle \sum _{x}(p(x)\mathrm{log}q(x)+ (1-p(x))\mathrm{log}(1-q(x)))} $$ (2) 二元交叉熵通过计算事件p(x)与q(x)之间的分布差异，从而判断两个事件的相似程度。神经网络的运行环境基于Tensorflow1.15，使用GPU（NVIDIA，RTX2080 SUPER）进行数据运算。选用Adam优化器[41]，动量参数为0.8，学习率为
${{2}} \times {{1}}{{{0}}^{{{ - 4}}}}$ ，训练迭代次数为20次，在第10代及16代时，学习率在原基础上衰减5倍。 -
文中使用了三种评价方法以评估网络恢复图像的性能，三种评价方法分别为结构相似性（Structural similarity，SSIM)[42]，皮尔逊线性相关系数（Pearson correlation coefficient, PCC）[43]及峰值信噪比（Peak signal to noise ratio, PSNR）[42]。三种评价方法的定义分别为：
$$ \begin{split} & SSIM(x,y) = \\ & \frac{{(2{\mu _x}{\mu _y} + {c_1})\left( {2{\sigma _{xy}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} \end{split} $$ (3) 式中：
${\mu _x}$ 、${\mu _y}$ 分别为x、y的均值；$\sigma _x^2$ 、$\sigma _y^2$ 分别为x、y的方差；${\sigma _{xy}}$ 为x，y的协方差；${c_1} = {\left( {{k_1}L} \right)^2}$ 、${c_{\text{2}}} = {\left( {{k_{\text{2}}}L} \right)^2}$ 为两个常数，避免公式（3）分母为0，其中L为像素值范围，${k_1}$ =0.01，${k_{\text{2}}}$ =0.03。$$ \begin{split} &PCC=\\ &{\displaystyle {\sum }_{i=1}^{a}{\displaystyle {\sum }_{j=1}^{b}(A(i,j)-\overline{A})(B(i,j)-\overline{B})}} \div \\ &\sqrt{{{\displaystyle {\sum }_{i=1}^{a}{\displaystyle {\sum }_{j=1}^{b}(A(i,j)-\overline{A})}}}^{2}} \div \\ &\sqrt{{{\displaystyle {\sum }_{i=1}^{a}{\displaystyle {\sum }_{j=1}^{b}(B(i,j)-\overline{B})}}}^{2}} \end{split} $$ (4) 式中：
$\overline A$ 和$\overline B$ 分别为原图A与散斑图B的像素平均值；$A\left( {i,j} \right)$ 与$B\left( {i,j} \right)$ 分别为原图A与散斑图B的第 i行、第j列像素值。$$ \begin{split} PSNR=&10\cdot {\mathrm{log}}_{10}\left(\frac{MA{X}_{I}^{2}}{MSE}\right)=\\ &20\cdot {\mathrm{log}}_{10}\left(\frac{255}{\sqrt{MSE}}\right) \end{split} $$ (5) 式中：
$MSE$ 为均方误差；$ MA{X_I} $ 为图片可能的最大像素值，此处最大像素值为255。 -
实验在三种不同散射介质条件下分别采集了10000张散斑图像，按海盐、碳酸钙、聚苯乙烯的顺序分别命名为Set 1，Set 2以及Set 3，每组随机选择8000张散斑图像作为训练集输入网络进行训练，剩余2000张作为测试集测试网络的恢复效果，并使用上述三种评价方法对网络恢复的图像进行评估。图3展示了在三种不同的散射介质条件下，CCD所采集到的散斑图像及由其恢复的图像：Set 1中的散斑由于加入海盐后导致溶液折射率变化，成像面偏离CCD感光面，在海盐中杂质的共同作用下，因此散斑呈无规则分布，展示的0~9的手写数字恢复图像中SSIM最小值为0.94；Set 2中散斑图像具有较多颗粒状散斑，图像细节及轮廓信息损失严重，经过网络恢复后，展示的0~9的手写数字恢复图像SSIM均大于0.9；Set 3中物体信息损失严重，散斑图中的散斑颗粒细密，展示的0~9的手写数字恢复图像中SSIM最小值为0.85。
图 3 不同散射介质（Set 1~3）悬浊液的原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 3. Ground truth, speckle patterns and reconstructed images of different scattering media (Set 1-3). Values of SSIM are marked in the upper left corner of the reconstructed images
-
在实验过程中发现，海盐悬浊液在高浓度条件下，其散射效果远不如碳酸钙悬浊液及聚苯乙烯悬浊液；碳酸钙悬浊液在水中极易产生大量沉淀，加入的聚乙二醇同样会使悬浊液产生分层现象，不同的折射率同样影响光束的成像效果；聚苯乙烯微球悬浊液同时具有较高的散射能力和不易沉淀的特点。因此，选用聚苯乙烯微球继续采集了另外三种浓度条件下的散斑图像，以研究散射介质在不同浓度条件下对图像重构的影响。
实验基于Set 3的基础上，逐渐降低聚苯乙烯微球在水中的浓度后，获得了Set 4~6共三组数据集，每组同样分别采集10000张散斑图像，随机选择8000张散斑图像输入网络用于训练，剩余2 000张用于测试网络恢复性能，以对比散射介质浓度对网络恢复的效果。
如图4所示，在低浓度下（Set 5及Set 6），物体的主体形状及轮廓可见，但图像整体对比度较低，与原图对比细节损失严重；在较高浓度下（Set 3及Set 4），CCD所采集的物体图像轮廓难以分辨，且光束周边的杂散光较多，图像散斑颗粒细密，图像特征不明显。网络在不同浓度条件下使用相同的学习率及迭代次数训练后，均获得了较高保真度的图像，且随着浓度下降，重构图像的细节与原图相比也更加丰富，图像结构相似度提升。
图 4 不同浓度聚苯乙烯（Set 3~6）悬浊液的原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 4. Ground truth, speckle patterns and reconstructed images of polystyrene suspension with different concentrations (Set 3-6). Values of SSIM are marked in the upper left corner of the reconstructed images
分别计算Set 1~6的平均SSIM，PCC及PSNR如图5及表2所示，Set 1~3中海盐悬浊液获得的重构效果最佳，聚苯乙烯悬浊液的重构效果略差；而在Set 3~6中，随着聚苯乙烯浓度下降，散斑图像包含的信息特征损失减小，网络重构图像细节增强且与原图相似度提高，其SSIM、PSNR及PCC得到显著提高。
图 5 Set 1~6恢复图像的SSIM、PCC及PSNR平均值对比
Figure 5. Comparison of SSIM, PCC and PSNR average values of Set 1- 6 restored images
表 2 各数据集恢复图像的SSIM、PCC及PSNR
Table 2. Values of SSIM, PCC, and PSNR of Set 1-6
SSIM PCC PSNR/dB Set 1 0.951 0.940 18.733 Set 2 0.92 0.923 16.934 Set 3 0.886 0.829 14.814 Set 4 0.925 0.891 16.681 Set 5 0.939 0.933 18.614 Set 6 0.951 0.957 20.462 -
此外，考虑到浑浊介质在某些场景下的浑浊浓度并非恒定不变，实验为了模拟此场景，分别从四组不同聚苯乙烯浓度条件所采集的数据集中各选择2500张，组合为一个共计10000张、具有四种浓度条件散斑图像的数据集(Set 3~6 mixed)。网络同样以8000张散斑图作为训练集进行训练，剩下2 000张作为测试集测试。最终测试集获得的结果如图6所示。
图 6 不同浓度聚苯乙烯（Set 3~6）悬浊液的散斑图像混合训练样本集的原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 6. Ground truth, speckle patterns and reconstructed images of polystyrene suspension with different concentrations (Set 3-6). Values of SSIM are marked in the upper left corner of the reconstructed images
如图6所示，按照浓度由低到高，以手写数字0~9的顺序，依次选择了以上散斑图及其对应的恢复图像作为展示。结果表明，pix2pix在多种浓度条件下，依然能够保持较好的恢复效果，其SSIM高达0.97，在高质量恢复散斑图像的同时还具有较好的泛化能力。
文中的pix2pix网络使用的激活函数为ReLU，且在训练至第10及第16代时，学习率分别衰减5倍，利于网络的重构效果，网络训练过程中使用不同的激活函数，以及使用学习率下降训练策略，获得的网络损失函数变化曲线，及网络在测试集重构图像的评价指标如图7及表3所示。
图 7 训练损失曲线随训练次数变化图，ReLU_down：使用激活函数ReLU，且训练过程中优化器学习率下降；LeakyReLU_down：使用激活函数LeakyReLU，且训练过程优化器学习率下降；ReLU：使用激活函数ReLU，优化器学习率不变
Figure 7. Loss evolution of the training loss, ReLU_down: using activation function of ReLU, learning rate of the optimizer decays; LeakyReLU_down: using activation function of LeakyReLU, learning rate of the optimizer decays; ReLU: using activation function of ReLU, learning rate of the optimizer unchanged
由图7及表3对比，在激活函数同样使用ReLU时，使用优化器学习率下降训练策略的ReLU_down在损失下降及测试集评价中表现均优于学习率不变的ReLU组；而对比使用LeakyReLU激活函数的pix2pix，使用ReLU激活函数在学习率下降或不变的情况下，调整后的pix2pix均优于LeakyReLU。
表 3 不同训练策略获得的测试集重构图像评价指标
Table 3. Evaluation index of the reconstructed images of test set in different training methods
SSIM PCC PSNR/dB ReLU_down 0.932 0.897 17.639 LeakyReLU_dwon 0.906 0.86 16.273 ReLU 0.928 0.893 17.564 此外使用不包含判别器的U-net对Set 3~6 mixed数据集进行图像重构，该U-net结构与pix2pix中生成器的结构相同，并且采用相同的训练策略，获得的恢复效果如表4所示：
表 4 分别使用pix2pix与U-net重构Set 3~6 mixed的SSIM、PCC及PSNR
Table 4. SSIM, PCC, and PSNR of Set 3-6 mixed used pix2pix and U-net, respectively
SSIM PCC PSNR/dB pix2pix 0.932 0.897 17.639 U-net 0.832 0.809 13.088 为了验证网络对其他非数字图像具有同样的恢复能力，实验以相同的方式在碳酸钙悬浊液额外采集了一组手绘涂鸦图案（QuickDraw）数据集[44]，随机选取8000张散斑图像用于网络训练，2000张散斑图像用于网络测试，部分测试集的恢复图像如图8所示。
图 8 在碳酸钙悬浊液样本采集的手绘涂鸦原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 8. Hand drawn graffiti original image, speckle and its restored image collected from the calcium carbonate suspension. The values of SSIM are marked in the upper left corner of the reconstructed images
pix2pix模型由于其生成器U-net使用的跳层连接融合了压缩路径及扩展路径的特征映射，因此具有更强的局部感知能力[39]，利于特征提取及图像恢复；判别器PatchGAN利用感受野判别的方式[40]更有利于判别将生成图判定为假，从而反馈给生成器，帮助生成与真实图像更为接近的图像。因此，pix2pix模型在不同散射条件、不同散射介质浓度及不同浓度散射介质采集的散斑图混合的场景中，均能够获得较好的恢复效果，在不同场景下具有较强的普遍适用性与鲁棒性，具有适用场景广泛、泛化能力强的优势。
-
对于雾霾及水体等浑浊介质，其内部的散射介质处于不断运动的动态变化中，部分场景中浑浊介质对光束的散射效应强度也处于变化中。大多数传统的光学图像恢复方法应对此类场景效果不佳，使用神经网络恢复图像则对网络的泛化能力及鲁棒性要求较高。针对以上问题，文中采用了具有生成对抗结构的pix2pix网络，实现了透过三种添加有不同散射介质的浑浊介质的成像，并对比了在四种不同浓度下的聚苯乙烯浑浊介质条件下，散射介质浓度对网络恢复效果的影响，最后建立了一个具有不同浓度散射介质条件下获得的散斑图像数据集，输入网络模型进行训练及测试。结果表明，网络对于不同的散射介质场景(Set 1~3)、不同浓度的散射介质场景(Set 3~6)以及散射介质浓度改变(Set 3~6 mixed)的条件下，均表现出较高的泛化能力与成像保真度，恢复的图像与原始物体的结构相似性高，鲁棒性强。这些结果为透过浑浊介质成像的研究与应用提供了解决方法，对水下成像、医疗成像等研究有参考价值及意义。此外，在散射效应与高浓度的聚苯乙烯微球悬浊液相似、散斑颗粒细密的情况下，如何进一步提高其重构的保真度，并适用于更为复杂的图像及场景，需要做更多工作。
Deep learning-based image reconstruction through turbid medium （invited）
-
摘要: 不同于毛玻璃等固态散射介质静止不变的特点，浑浊介质对光束的散射作用同时体现在空间及时间上，当浑浊介质动态变化时，大多数的传统散射成像方法失效。针对以上问题，文中采用了一种基于深度学习恢复散斑图像的方法，研究了浑浊介质中，不同散射介质及散射介质浓度不同的条件下，神经网络的图像恢复效果，并利用不同浓度散射介质获得的散斑图像混合训练测试神经网络的泛化能力。实验结果表明，在不同散射介质及散射介质浓度不同的条件下，该网络均能够根据散斑图像获得较高保真度的恢复图像，且在不同浓度散射介质的散斑图像混合训练的情况下，网络泛化能力及鲁棒性强。Abstract: Different from the static characteristics of solid scattering media such as ground glass, the scattering effect of turbid media on light beams is reflected both in the space and time domains. Most traditional scattering imaging methods are inapplicable to dynamic turbid media. To address this issue, a deep learning-based method is proposed to reconstruct objects in the presence of turbid media. The imaging quality of the proposed neural network under the conditions of different turbid media and turbid media with different concentrations is studied. The generalization ability of the neural network is tested. The experimental results demonstrate that high-quality imaging is achieved by the proposed network. Moreover, the network shows strong generalization ability and robustness under the mixed training of speckle images of turbid media with different concentrations.
-
Key words:
- image reconstruction /
- scattering medium /
- scattering imaging /
- deep learning
-
图 1 实验装置图。L，透镜；P，偏振片；BS，分束器；SLM，空间光调制器；CCD，工业相机
Figure 1. Schematic of experimental setup. L, lens; P, polarizer; BS, beam splitter; SLM, spatial light modulator; CCD, charge-coupled device
图 2 pix2pix网络模型示意图。（a）生成器所使用的U-net架构；（b）判别器使用的PatchGAN架构。Conv，卷积；BN，批量归一化
Figure 2. pix2pix model diagram. (a) U-net architecture of the generator; (b) PatchGAN architecture of the discriminator. Conv, convolution; BN, Batch-Normalization
图 3 不同散射介质（Set 1~3）悬浊液的原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 3. Ground truth, speckle patterns and reconstructed images of different scattering media (Set 1-3). Values of SSIM are marked in the upper left corner of the reconstructed images
图 4 不同浓度聚苯乙烯（Set 3~6）悬浊液的原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 4. Ground truth, speckle patterns and reconstructed images of polystyrene suspension with different concentrations (Set 3-6). Values of SSIM are marked in the upper left corner of the reconstructed images
图 5 Set 1~6恢复图像的SSIM、PCC及PSNR平均值对比
Figure 5. Comparison of SSIM, PCC and PSNR average values of Set 1- 6 restored images
图 6 不同浓度聚苯乙烯（Set 3~6）悬浊液的散斑图像混合训练样本集的原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 6. Ground truth, speckle patterns and reconstructed images of polystyrene suspension with different concentrations (Set 3-6). Values of SSIM are marked in the upper left corner of the reconstructed images
图 7 训练损失曲线随训练次数变化图，ReLU_down：使用激活函数ReLU，且训练过程中优化器学习率下降；LeakyReLU_down：使用激活函数LeakyReLU，且训练过程优化器学习率下降；ReLU：使用激活函数ReLU，优化器学习率不变
Figure 7. Loss evolution of the training loss, ReLU_down: using activation function of ReLU, learning rate of the optimizer decays; LeakyReLU_down: using activation function of LeakyReLU, learning rate of the optimizer decays; ReLU: using activation function of ReLU, learning rate of the optimizer unchanged
图 8 在碳酸钙悬浊液样本采集的手绘涂鸦原图、散斑及其恢复图像。图中左上角标注值为SSIM
Figure 8. Hand drawn graffiti original image, speckle and its restored image collected from the calcium carbonate suspension. The values of SSIM are marked in the upper left corner of the reconstructed images
表 1 浑浊介质中添加的散射介质
Table 1. Scattering medium added in the turbid water
Scattering medium Set 1 Sea salt Set 2 Calcium carbonate Set 3 Polystyrene (250 mg/10 mL, 2 mL) Set 4 Polystyrene (250 mg/10 mL, 1.5 mL) Set 5 Polystyrene (250 mg/10 mL, 1 mL) Set 6 Polystyrene (250 mg/10 mL, 0.5 mL) 
下载: 导出CSV
表 2 各数据集恢复图像的SSIM、PCC及PSNR
Table 2. Values of SSIM, PCC, and PSNR of Set 1-6
SSIM PCC PSNR/dB Set 1 0.951 0.940 18.733 Set 2 0.92 0.923 16.934 Set 3 0.886 0.829 14.814 Set 4 0.925 0.891 16.681 Set 5 0.939 0.933 18.614 Set 6 0.951 0.957 20.462
下载: 导出CSV
表 3 不同训练策略获得的测试集重构图像评价指标
Table 3. Evaluation index of the reconstructed images of test set in different training methods
SSIM PCC PSNR/dB ReLU_down 0.932 0.897 17.639 LeakyReLU_dwon 0.906 0.86 16.273 ReLU 0.928 0.893 17.564
下载: 导出CSV
表 4 分别使用pix2pix与U-net重构Set 3~6 mixed的SSIM、PCC及PSNR
Table 4. SSIM, PCC, and PSNR of Set 3-6 mixed used pix2pix and U-net, respectively
SSIM PCC PSNR/dB pix2pix 0.932 0.897 17.639 U-net 0.832 0.809 13.088
下载: 导出CSV
-
[1] Ishimaru A. Wave propagation and scattering in random media and rough surfaces [J]. Proc IEEE, 1991, 79(10): 1359-1366. doi: 10.1109/5.104210 [2] Li Y, Lu H, Li K C, et al. Non-uniform de-scattering and de-blurring of underwater images [J]. Mobile Networks and Applications, 2018, 23(2): 352-362. doi: 10.1007/s11036-017-0933-7 [3] Goodman J W, Huntley Jr W H, Jackson D W, et al. Wavefront-reconstruction imaging through random media [J]. Applied Physics Letters, 1966, 8(12): 311-313. doi: 10.1063/1.1754453 [4] Goodman J W. Speckle Phenomena in Optics: Theory and Applications[M]. Cao Q Z, Chen J B, Transl. Beijing: Science Press, 2009: 1-37. [5] 甘雨, 刘红林, 高敬敬, 等. 多模光纤远端光场重建的采样方案[J/OL]. 红外与激光工程: 1-10[2022-05-13]. http://kns.cnki.net/kcms/detail/12.1261.tn.20220310.1508.002.html Gan Yu, Liu Honglin, Gao Jingjing, et al. Effect of sampling manners on distal field reconstruction through a multimode fiber [J/OL]. Infrared and Laser Engineering, （2022-03-04) [2022-05-13]. http://kns.cnki.net/kcms/detail/12.1261.tn.20220310.1508.002.html. (in Chinese) [6] 范逸辉, 金欣, 邓儒嘉, 等. 用于深海视频去散射的深度校正散射统计模型(英文)[J/OL]. 红外与激光工程: 1-11[2022-05-13]. http://kns.cnki.net/kcms/detail/12.1261.tn.20220113.1911.012.html. Fan Yihui, Jin Xin, Deng Rujia, et al. Depth-rectified statistical scattering modeling for deep-sea video descattering [J/OL]. Infrared and Laser Engineering, (2022-01-14)[2022-05-13]. http://kns.cnki.net/kcms/detail/12.1261.tn.20220113.1911.012.html. (in Chinese) [7] Lu T F, Zhang K N, Wu Z J, et al. Propagation properties of elliptical vortex beams in turbulent ocean [J]. Chinese Optics, 2020, 13(2): 323-332. (in Chinese) doi: 10.3788/co.20201302.0323 [8] Vinu R V, Chen Z, Singh R K, et al. Ghost diffraction holographic microscopy [J]. Optica, 2020, 7(12): 1697-1704. doi: 10.1364/OPTICA.409886 [9] Vellekoop I M, Lagendijk A, Mosk A P. Exploiting disorder for perfect focusing [J]. Nature Photonics, 2010, 4(5): 320-322. doi: 10.1038/nphoton.2010.3 [10] Freund I. Looking through walls and around corners [J]. Physica A: Statistical Mechanics and its Applications, 1990, 168(1): 49-65. doi: 10.1016/0378-4371(90)90357-X [11] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media [J]. Optics Letters, 2007, 32(16): 2309-2311. doi: 10.1364/OL.32.002309 [12] Zheng S S, Yang W Q, Situ G H. Application of computational optical imaging in scattering [J]. Infrared and Laser Engineering, 2019, 48(6): 0603005. (in Chinese) doi: 10.3788/IRLA201948.0603005 [13] Han S S, Hu C Y. Review, current status and prospect of researches on information optical imaging research (Invited) [J]. Infrared and Laser Engineering, 2022, 51(1): 20220017. (in Chinese) doi: 10.3788/IRLA20220017 [14] Ye Meitu, Liang Jin, Li Leigang, et al. Discrete matching of weakly-correlated speckle images in oblique field of view [J]. Optical Precision Engineering, 2021, 29(9): 2235. (in Chinese) doi: 10.37188/OPE.20212909.2235 [15] Lu D X, Fang W H, Li Y Y, et al. Principle and research progress of optical coherence tomography [J]. Chinese Optics, 2020, 13(5): 2020-0037. (in Chinese) doi: 10.37188/CO.2020-0037 [16] Lai X, Li Q, Chen Z, et al. Reconstructing images of two adjacent objects passing through scattering medium via deep learning [J]. Optics Express, 2021, 29(26): 43280-43291. doi: 10.1364/OE.446630 [17] Chen L, Singh R K, Vinu R V, et al. A wavefront division multiplexing holographic scheme and its application in looking through diffuser [J]. New Journal of Physics, 2021, 23(11): 113034. doi: 10.1088/1367-2630/ac35a7 [18] Shao Xiaopeng, Su Yun, Liu Jinpeng, et al. Connotation and system of computational imaging (Invited) [J]. Acta Photonica Sinica, 2021, 50(5): 0511001. (in Chinese) doi: 10.3788/gzxb20215005.0511001 [19] Chen L, Chen Z, Singh R K, et al. Increasing field of view and signal to noise ratio in the quantitative phase imaging with phase shifting holography based on the Hanbury Brown-Twiss approach [J]. Optics and Lasers in Engineering, 2022, 148: 106771. doi: 10.1016/j.optlaseng.2021.106771 [20] Li F, Xu T, Nguyen D H T, et al. Label-free evaluation of angiogenic sprouting in microengineered devices using ultrahigh-resolution optical coherence microscopy [J]. Journal of Biomedical Optics, 2014, 19(1): 016006. doi: 10.1117/1.JBO.19.1.016006 [21] Liu Q Y, Tang Y G, Ouyang N, et al. High-speed and stable endoscopic optical coherence tomography system [J]. Optical Precision Engineering, 2021, 29(10): 2340-2348. (in Chinese) doi: 10.37188/OPE.20212910.2340 [22] Mosk A P, Lagendijk A, Lerosey G, et al. Controlling waves in space and time for imaging and focusing in complex media [J]. Nature Photonics, 2012, 6(5): 283-292. doi: 10.1038/nphoton.2012.88 [23] Vellekoop I M. Feedback-based wavefront shaping [J]. Optics Express, 2015, 23(9): 12189-12206. doi: 10.1364/OE.23.012189 [24] Ma C, Di J, Zhang Y, et al. Reconstruction of structured laser beams through a multimode fiber based on digital optical phase conjugation [J]. Optics Letters, 2018, 43(14): 3333-3336. doi: 10.1364/OL.43.003333 [25] Fan W, Chen Z, Yakovlev V V, et al. High-fidelity image reconstruction through multimode fiber via polarization‐enhanced parametric speckle imaging [J]. Laser & Photonics Reviews, 2021, 15(5): 2000376. doi: 10.1002/lpor.202000376 [26] Popoff S M, Lerosey G, Fink M, et al. Controlling light through optical disordered media: Transmission matrix approach [J]. New Journal of Physics, 2011, 13(12): 123021. doi: 10.1088/1367-2630/13/12/123021 [27] Xie X S, Liu Y K, Liang H W, et al. Speckle correlation imaging: from point spread function to light field plenoptics [J]. Acta optica Sinica, 2020, 40(1): 0111004. (in Chinese) doi: 10.3788/AOS202040.0111004 [28] Zheng S, Wang H, Dong S, et al. Incoherent imaging through highly nonstatic and optically thick turbid media based on neural network [J]. Photonics Research, 2021, 9(5): B220-B228. doi: 10.1364/PRJ.416246 [29] Sun Y, Shi J, Sun L, et al. Image reconstruction through dynamic scattering media based on deep learning [J]. Optics Express, 2019, 27(11): 16032-16046. doi: 10.1364/OE.27.016032 [30] Conkey D B, Caravaca-Aguirre A M, Piestun R. High-speed scattering medium characterization with application to focusing light through turbid media [J]. Optics Express, 2012, 20(2): 1733-1740. doi: 10.1364/OE.20.001733 [31] Nixon M, Katz O, Small E, et al. Real-time wavefront shaping through scattering media by all-optical feedback [J]. Nature Photonics, 2013, 7(11): 919-924. doi: 10.1038/nphoton.2013.248 [32] Ma L, Li H, Meng F, et al. Learning efficient binary codes from high-level feature representations for multilabel image retrieval [J]. IEEE Transactions on Multimedia, 2017, 19(11): 2545-2560. doi: 10.1109/TMM.2017.2703089 [33] Ma L, Li H, Meng F, et al. Discriminative deep metric learning for asymmetric discrete hashing [J]. Neurocomputing, 2020, 380: 115-124. doi: 10.1016/j.neucom.2019.11.009 [34] Ma L, Li H, Meng F, et al. Global and local semantics-preserving based deep hashing for cross-modal retrieval [J]. Neurocomputing, 2018, 312: 49-62. doi: 10.1016/j.neucom.2018.05.052 [35] Ma L, Li X, Shi Y, et al. Learning discrete class-specific prototypes for deep semantic hashing [J]. Neurocomputing, 2021, 443: 85-95. doi: 10.1016/j.neucom.2021.02.057 [36] Ma L, Li X, Shi Y, et al. Correlation filtering-based hashing for fine-grained image retrieval [J]. IEEE Signal Processing Letters, 2020, 27: 2129-2133. doi: 10.1109/LSP.2020.3039755 [37] Isola P, Zhu J Y, Zhou T H, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017. [38] Grother P J. NIST special database 19. NIST handprinted forms and characters database[DB]. Gaithersburg MD, USA: National Institute of Standards and Technology, 1995. [39] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention, 2017. [40] Li C, Wand M. Precomputed real-time texture synthesis with markovian generative adversarial networks[C]//European Conference on Computer Vision, 2016. [41] Diederik Kingma, Jimmy Ba. Adam: A method for stochastic optimization[C]//The 3rd International Conference for Learning Representations, 2015. [42] Wang Z, Bovik A C. Mean squared error: Love it or leave it? A new look at signal fidelity measures [J]. IEEE Signal Processing Magazine, 2009, 26(1): 98-117. doi: 10.1109/MSP.2008.930649 [43] Asuero A G, Sayago A, González G. The correlation coefficient: An overview [J]. Critical Reviews in Analytical Chemistry, 2006, 36(1): 41-59. doi: 10.1080/10408340500526766 [44] Jongejan J, Rowley H, Kawashima T, et al. The quick, draw! dataset [DB/OL]. (2017-5-15)[2021-03-02]. https://github.com/googlecreativelab/quickdraw-dataset. -
点击查看大图
计量
- 文章访问数: 271
- HTML全文浏览量: 57
- PDF下载量: 92
- 被引次数: 0
