Volume 51 Issue 2
Feb.  2022
Turn off MathJax
Article Contents

Zhu Shuo, Guo Enlai, Bai Lianfa, Han Jing. Efficient learning-based phase retrieval method through unknown scattering media[J]. Infrared and Laser Engineering, 2022, 51(2): 20210889. doi: 10.3788/IRLA20210889
Citation: Zhu Shuo, Guo Enlai, Bai Lianfa, Han Jing. Efficient learning-based phase retrieval method through unknown scattering media[J]. Infrared and Laser Engineering, 2022, 51(2): 20210889. doi: 10.3788/IRLA20210889

Efficient learning-based phase retrieval method through unknown scattering media

doi: 10.3788/IRLA20210889
  • Received Date: 2021-11-24
  • Rev Recd Date: 2022-01-25
  • Available Online: 2022-03-04
  • Publish Date: 2022-02-28
  • Imaging through scattering media with high fidelity is still one of the main challenges in imaging analysis of deep biological tissues and distant astronomical observations. The computational imaging method based on deep learning has made significant progress in reconstruction quality and other aspects. However, when the scattering media in the actual system is unstable and the structure of objects is complex, and the obtained scattering dataset for training is limited, the pure data-driven method cannot realize efficient reconstruction. An efficient imaging method was proposed in reconstructing complex objects through unknown thin scattering media with different statistical properties, which was based on the effective combination of the speckle correlation theory and the powerful data mining and mapping capabilities. More information had been unearthed with the redundancy of the speckles and had been fully used with the neural network. This method obtained high-quality recovery of complex objects with complex scattering scenes and the training set is limited. This approach can promote the applications of physics-aware learning in practical scattering scenes.
  • [1] Yang Hong, Huang Yuanhui, Gong Changmei, et al. Advances on techniques of breaking diffraction limitation using scattering medium [J]. Chinese Optics, 2014, 7(1): 1. (in Chinese)
    [2] Miao Shaofeng, Yang Hong, Huang Yuanhui, et al. Research progresses of photoacoustic imaging [J]. Chinese Optics, 2015, 8(5): 699. (in Chinese) doi:  10.3788/co.20150805.0699
    [3] He X, Jia H H, Chang S L, et al. The simulation of NLOS light propagation for multiple-scattering instance [J]. Optics and Precision Engineering, 2009, 17(2): 246-250. (in Chinese)
    [4] Xu Kaida, Jin Weiqi, Liu Jing, et al. Non-line-of-sight imaging based on laser range-gated imaging technology [J]. Infrared and Laser Engineering, 2012, 41(8): 2073-2078. (in Chinese)
    [5] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media [J]. Optics Letters, 2007, 32(16): 2309-2311. doi:  10.1364/OL.32.002309
    [6] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi:  10.1103/PhysRevLett.104.100601
    [7] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi:  10.1038/nphoton.2014.189
    [8] Wu T, Katz O, Shao X, et al. Single-shot diffraction-limited imaging through scattering layers via bispectrum analysis [J]. Optics Letters, 2016, 41(21): 5003. doi:  10.1364/OL.41.005003
    [9] Lyu M, Wang H, Li G, et al. Learning-based lensless imaging through optically thick scattering media [J]. Advanced Photonics, 2019, 1(3): 036002.
    [10] Zhu S, Guo E, Gu J, et al. Imaging through unknown scattering media based on physics-informed learning [J]. Photonics Research, 2021, 9(5): B210-B219. doi:  10.1364/PRJ.416551
    [11] Zheng Shanshan, Yang Wanqin, Situ Guohai. Application of computational optical imaging in scattering [J]. Infrared and Laser Engineering, 2019, 48(6): 0603005. (in Chinese) doi:  10.3788/IRLA201948.0603005
    [12] Zuo Chao, Feng Shijie, Zhang Xiangyu, et al. Deep learning based computational imaging: status, challenges, and future [J]. Acta Optica Sinica, 2020, 40(1): 0111003. (in Chinese) doi:  10.3788/AOS202040.0111003
    [13] Zhu S, Guo E, Cui Q, et al. Locating and imaging through scattering medium in a large depth [J]. Sensors, 2021, 21(1): 90.
    [14] Guo E, Sun Y, Zhu S, et al. Single-shot color object reconstruction through scattering medium based on neural network [J]. Optics and Lasers in Engineering, 2021, 136: 106310. doi:  10.1016/j.optlaseng.2020.106310
    [15] Li Y, Xue Y, Tian L. Deep speckle correlation: a deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190. doi:  10.1364/OPTICA.5.001181
    [16] Liu H, Liu Z, Chen M, et al. Physical picture of the optical memory effect [J]. Photonics Research, 2019, 7(11): 1323-1330. doi:  10.1364/PRJ.7.001323
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(6)  / Tables(1)

Article Metrics

Article views(471) PDF downloads(104) Cited by()

Related
Proportional views

Efficient learning-based phase retrieval method through unknown scattering media

doi: 10.3788/IRLA20210889
  • Jiangsu Key Laboratory of Spectral Imaging & Intelligent Sense, Nanjing University of Science and Technology, Nanjing 210094, China

Abstract: Imaging through scattering media with high fidelity is still one of the main challenges in imaging analysis of deep biological tissues and distant astronomical observations. The computational imaging method based on deep learning has made significant progress in reconstruction quality and other aspects. However, when the scattering media in the actual system is unstable and the structure of objects is complex, and the obtained scattering dataset for training is limited, the pure data-driven method cannot realize efficient reconstruction. An efficient imaging method was proposed in reconstructing complex objects through unknown thin scattering media with different statistical properties, which was based on the effective combination of the speckle correlation theory and the powerful data mining and mapping capabilities. More information had been unearthed with the redundancy of the speckles and had been fully used with the neural network. This method obtained high-quality recovery of complex objects with complex scattering scenes and the training set is limited. This approach can promote the applications of physics-aware learning in practical scattering scenes.

    • 目标信息经过强散射介质调制后,原始有效目标信息会发生严重的退化[1]。散射退化给实际生活和科研观察应用带来了很多的问题和困扰,如日常生活中浓雾天气下的交通监管。透过变化的散射场景对车辆进行有效监控,包括汽车的车牌号识别,甚至驾驶人员的人脸信息恢复都具有重要的意义。同时,人们为了获取特定的目标信息,散射干扰也是必须克服的问题,如透过湍流大气的天文观测以及透过活性组织的生物观察分析等[2-4]。但是,传统光学成像方法在通过复杂散射场景后的目标恢复任务中,无法对经过散射介质调制退化后的目标进行有效的复原和重建。随着现代光电器件和计算成像方法的发展,一系列新的方法被提出用来解决散射成像问题,主要方法有基于波前整形的方法[5]、基于光学传输矩阵的方法[6]、基于光学记忆效应的散斑相关方法[7-8]和基于深度学习的散射计算成像方法[9-10]。其中前三者为基于物理模型的计算成像方法,基于波前整形和传输矩阵的方法恢复效果也受限于调制器件的像素尺寸和数目,对散射场景不固定的情况也无法进行有效地恢复和测量[5-6];基于光学记忆效应的散斑相关技术可以实现对散射介质后方的目标进行非侵入成像,但是原理上则受限于光学记忆效应的范围,一旦超出记忆效应范围则无法对目标进行有效重建,同时基于相位恢复算法对复杂目标的信息恢复效果和成像质量也十分有限[7-8]

      随着深度学习等人工智能技术的飞速发展,深度学习依托其强大的数据挖掘能力,在计算成像领域有着广泛的应用场景,并取得了显著的成像结果[11]。尤其是在一些复杂的逆问题中,依托于数据驱动的学习模型,可以通过利用大量数据从中寻找复杂成像问题的最优解,甚至得到比传统计算成像更高质量的重建结果[12]。其中,透过散射介质成像是深度学习成功应用的一个典型的逆问题优化求解热点。利用深度学习求解散射成像问题在光散射领域取得了突破性的进展,比如目标复杂度高、大视场、大景深、动态散射介质和宽谱段响应[9-11,13-15]等各种复杂散射条件下的目标重建。散射调制对目标信息造成严重的退化,因此相对常见的计算机视觉任务难度更大。在基于深度学习的散射成像任务中,如何提高对不同散射场景的泛化能力和充分挖掘利用有限散斑的冗余信息,对该方法的实际应用至关重要。Li等人[15]首次提出可以应用于未知散射场景成像的方法,但是依赖大量的训练数据集和专门设计的复杂网络结构,并且成像目标的稀疏性、成像质量和未知散射场景相似度要求等问题都限制了该方法的泛化能力。笔者先前基于物理驱动网络的工作可以有效地解决上述工作中的大部分问题,但是对于复杂的目标需要相对较多的散射场景作为训练数据才能够对复杂目标进行有效的恢复[10]。因此,如何利用有限的散射场景数据挖掘更多的有效信息,高效地对复杂目标进行准确目标恢复是将散射计算成像技术推向实际应用场景的重要因素。

      通过进一步挖掘和讨论光散射中的物理机理,提出一种基于有限样本训练场景实现高效的散射目标相位恢复的算法。在仅使用一块薄散射介质的数据情况下,利用光学记忆效应范围内平移不变性和散斑的冗余性充分挖掘获取散斑中的有效信息,将透过不同的散射介质成像进行有效关联。最后利用深度神经网络强大的解析能力,通过有限的数据即可获取多散射场景中的相关信息,从而实现利用有限的训练实现透过未知散射介质的复杂目标高效高质目标重构。

    • 当散射介质的入射光转动一个小的角度时,其出射光也随着转动相同的角度,证明了在光学记忆效应范围内,即使光通过高度无序的散射介质时发生散射,出射光场仍然保留了入射光束所携带的信息[16]。因此,在光学记忆效应范围内的散射系统看作一个具有空间平移不变性的光学成像系统,此时获取的散斑可以表示为$I = O*S$,其中$I$为获取的散斑,$O$为目标,$S$为系统的点扩散函数,“$*$”为卷积运算符。利用相机采集到的散斑图案,并利用卷积定理可以得到:

      式中: “$ \star $”表示自相关运算符。由公式(1)可知,散斑的自相关可以描述为介质后方目标自相关与光学散射系统点扩散函数自相关之间的卷积,并由于点扩散函数的自相关,$(S \star S)$可以近似为$\delta $函数,因此公式(1)可以进一步化简为:

      式中:C为计算散斑自相关时产生的背景项[7]。采集到的散斑自相关计算公式如下:

      根据维纳-辛钦定理,散斑的功率谱可以表示为:

      因此,在光学记忆效应范围内,由公式(2)和(4)可得目标与散斑的功率谱关系为:

      式中:B为计算散斑功率谱时产生的背景干扰项。当目标超出光学记忆效应范围时,目标$O$可以被分为多个记忆效应范围内的子目标${O_i}$[10],公式(5)可以进一步改写为:

      散射过程可以看作对目标进行了随机调制,探测器采集到的散斑图案不同的子区域具有形状及结构不同的散斑颗粒。因此不同的子散斑区域可以表示不同的散射调制过程。目前,基于数据驱动的深度学习方法大多截取拍摄到的散斑的中心部分区域作为网络的输入进行训练和验证[14-15]。如图1(a)所示,首先使用低通滤波对原始散斑的包络线进行处理以得到平整的散斑,可以有效降低因散斑曝光不均匀带来的背景项干扰[7]。由图1(c)中曲线可以看出,同一帧散斑不同子区域的散斑图案差异明显,基于散斑相关原理进行功率谱计算,对应的功率谱具有相似的主体结构信息。同时,不同子区域的散斑功率谱也有着明显的差异,表征了不同子区域对应着不同的散射调制过程。得到隐藏目标的功率谱后,通过Fienup型相位恢复算法对不同的子区域包含的目标信息进行重构[7],结果如图1(b)中第三行所示,每一子区域散斑都包含隐藏目标的完整信息。因此,利用同一帧散斑的不同子区域可以帮助网络模型对随机散射过程进行更加完备的表征。

      Figure 1.  Statistical characteristics analysis of the different sub-regions of one speckle pattern. (a) Schematic of speckle pre-processing step and selection of different sub-regions; (b) Speckle of four different sub-regions and corresponding power spectrum and reconstruction results; (c) Intensity value corresponding to the dotted line of the normalized power spectrum pattern

    • 基于物理感知学习的相位恢复方法通过加入散射物理先验知识,充分发挥深度学习的优势,只使用传统的U-Net卷积神经网络结构就可以达到准确的重建结果,弱化了对网络结构设计的要求。如图2所示,基于物理感知的相位恢复重建方法原理图主要包含基于散斑相关的功率谱估计预处理模块和神经网络数据拟合模块。基于散斑的冗余特性进行数据增强,仅通过利用一块薄散射介质对应的数据进行模型训练,便可实现对复杂目标进行高保真准确重建的效果。

      Figure 2.  Schematic of the physics-aware learning method for efficient phase retrieval algorithm. (a) Speckle power spectrum pre-processing module; (b) Neural network post-processing module for object recovery

      通过在学习方法中嵌入散射物理模型可以有效挖掘散斑中普适性的先验规律和有效信息,即使利用传统的U-net卷积神经网络也可以对复杂目标在未知散射场景中进行高质量相位恢复和重建。基于物理感知的学习框架使用自适应矩阵优化器进行迭代优化,使用负皮尔逊系数(NPCC)和均方误差(MSE)组合的联合损失函数作为网络训练代价函数:

      式中:$i$和$I$分别为模型输出结果图像和相对应的真实图像;$\hat i$和$\hat I$分别为对图像求均值运算;$\tilde i$表示对输出图像做归一化处理。基于物理感知学习框架的训练和测试环境为Ubuntu 16.04系统下的PyTorch 1.4.0框架,硬件计算平台为1张Titan RTX图形处理单元和i9-9940 X中央处理器。

    • 数据采集装置图如图3所示,主要包括一个660 nm波段的激光器和旋转毛玻璃(RD)作为非相干照明光源。一个数字微镜器件(DMD,1024×768 pixel)来编码显示八位的目标图像信息并配合一个全内反射(TIR)棱镜折转光路便于散斑数据的采集。为了更好贴合实用场景,实验中使用的一个工业相机(acA1920-155 μm,Basler AG,Ahrensburg,Germany)作为探测器,而不是传统实验中大多使用具有更高成像质量和性能的科学级相机[8-9, 15]。使用工业相机采集的灵敏度更低、数据位深更小、成像质量相对较差的散斑图案也从侧面反映出文中方法的有效性。笔者设置DMD目标面与散射介质的距离为30 cm,散射介质与相机的距离为8 cm,光阑直径为8 mm。散射介质选取了三块具有不同统计特性的毛玻璃,一块Thorlabs 的220 grit毛玻璃(D1),一块Thorlabs的 120 grit毛玻璃(D2)和一块Edmund的220 grit毛玻璃(D3)。其中D1对应见过的目标(Seen objects)散斑数据作为训练数据,D2和D3对应所有目标的散斑数据作为未知散射场景的数据进行测试。

      Figure 3.  Experimental setup for the scalable imaging

      文中根据实验需求进行相应的数据采集,主要包括简单字符数据集和复杂人脸目标数据。首先随机挑选600张字符目标对实验方案进行简单验证,证明方法的可行性。进一步通过复杂人脸目标对方法的有效性进行验证和实验分析。从FEI Face数据集中选择400张正脸数据,其中前360张作为Seen objects,后40张作为未见过的目标(Unseen objects)。在散斑数据处理过程中,选择所有未知散射场景的中心256×256 pixel散斑进行功率谱估计预处理。为了利用散斑信息的冗余性对重建进行增强,选择D1的中心区域256×256 pixel和周围上、下、左、右、左上、左下、右上和右下偏移量为256个像素对原始散斑进行子区域的截取,因此共九个子区域散斑图做功率谱估计预处理。最后统一将所有计算得到的功率谱缩放至128×128作为网络训练和测试的输入数据。

    • 完成对散斑数据的采集和预处理后,对文中提出的基于物理感知学习的高效相位恢复方法进行验证和分析。笔者选取并展示了部分成像结果作为直观评价和分析,同时选择平均绝对误差(MAE)、结构相似性(SSIM)和峰值信噪比(PSNR)三个评价指标的统计平均作为客观指标来评价重建结果。通过主观成像结果的直观展示和客观定量评价指标详细地讨论和分析该方法的泛化重建能力和模型的鲁棒性。

      首先使用简单字符数据对文中方法的有效性进行实验验证。基于散斑相关原理的物理感知的学习方法可以有效提取不同散射场景下的统计不变量,减少因散射介质随机调制造成的信息扰乱分布差异较大的问题。如图4所示,其中呈现出的未加物理先验的重建结果为挑出的相对较好的恢复结果,对应用物理先验感知的深度学习方法的重建结果都可以进行准确的目标恢复。通过定量指标对记忆效应范围内的目标重建结果进行评价,未加物理先验信息的重建指标为0.448 9的结构相似性和11.01 dB的峰值信噪比,有效利用物理先验信息的重建指标为0.897 5的结构相似性和29.67 dB的峰值信噪比。即使是简单的字符数据通过直接的数据驱动方法在未知散射场景的成像效果也非常有限,实验证明了文中提出方法相对纯数据驱动方法的有效性。同时,基于深度学习强大的信息挖掘和拟合能力,当目标超出光学记忆效应范围1.2倍时,文中所提出的方法依然可以准确地重建出目标信息,与基于散斑相关的物理感知学习方法有相同的规律和结论[10]

      Figure 4.  Results comparison without or with physics-prior information for imaging through unknown diffusers

      进一步选择具有更为复杂的结构信息的人脸数据集进行实验验证。如图5所示,即使是只利用一块散射介质的散斑数据,通过有效利用散斑相关性和冗余性物理先验,就可以实现对透过具有不同统计特性散射介质的高保真准确重建。从重建结果可以看出,对于Seen objects,即使是面部的微表情和眉眼等细节特征都可以清晰的辨别出来。对于Unseen objects,由于采集数据的样本量有限和目标的高度复杂特性,只能重建出目标的大致轮廓信息,目标的细节信息的提升还需要进一步提升和研究。

      Figure 5.  Scalable imaging results of human faces data through different diffusers

      由于携带目标信息的光信号通过散射介质的随机调制造成相机获取的散斑信息是冗余的,每一块子区域散斑都包含原始目标的信息。如图6所示,使用不同数量D1的散斑子区域进行训练,选择D2作为测试场景,进而对散斑冗余性相关规律进行验证和分析。可以看出,通过对散斑冗余性的充分利用,随着选取散斑区域的增加,文中方法的重建能力更强。对应图6重建结果的定量评价指标如表1所示。选择子区域的多少有着明显的影响,空间结构更为复杂的人脸数据需要较多的子区域个数才可以取得相对稳定的重建结果(五块)。同时选择较大的散斑子区域768×768 pixel,使目标的功率谱估计更加准确,具有扰动更小的背景项[7],重建效果相比使用一块256×256 pixel子区域的重建效果更好。在使用散斑像素总数相同的情况下,选择九块256×256 pixel子区域相对一块768×768 pixel子区域可以更加可靠和准确地对人脸复杂数据进行重建。进一步选择一帧的全部散斑进行功率谱估计,相对256×256 pixel和768×768 pixel尺寸的子区域选择,在只使用一个子区域时具有最好的重建效果和重建指标。但是使用全部散斑进行计算的功率谱估计缺乏对不同散射状态进行表征,导致学习模型对未知场景的泛化能力有限,重建准确度相对使用多块子区域的重建效果要差。因此,基于散斑冗余性使用多个子区域散斑可以帮助感知模型学到更多不同散射状态下的数据表征过程,实现更加准确的复杂目标泛化重建。

      Figure 6.  Results comparison using speckle redundancy theory(Different numbers of sub-region speckles used and every sub-region size have different effect on scalable reconstruction imaging)

      Size of sub-region speckles/pixelNumber of sub-regionMAESSIMPSNR/dB
      256×25610.04970.666720.41
      30.03750.792222.59
      50.01920.913829.14
      70.01570.936131.45
      90.01000.963137.21
      768×76810.03790.726022.89
      30.01740.924730.18
      1 920×120010.03010.810724.96

      Table 1.  Reconstruction indicators corresponding to the use of different numbers of sub-region and different sizes of sub-region speckles

    • 针对当前基于深度学习方法的泛化能力有限和对散斑信息未能充分解析的问题,提出了一种应用于未知散射场景下的复杂目标相位恢复方法。通过将散斑相关原理和散斑冗余性物理先验与卷积神经网络强大的数据挖掘和映射能力进行有效结合,仅利用一块薄散射介质的散斑数据进行联合建模即可实现透过未知散射介质的复杂目标泛化成像。该方法通过对散斑冗余性进行有效探索可以更加充分地挖掘和利用散斑隐藏的有效信息。对实际散射场景复杂多变和目标信息特性复杂等情况下的目标进行高质量重建,人脸复杂程度目标的重建PSNR可达35 dB以上。基于物理感知的高效相位恢复算法不仅可以推动实际散射场景中的复杂成像任务,同时为物理模型和数据模型的有效结合提供了可行的范本,进一步为应用深度学习解决物理问题的广泛领域提供新的启发和参考。

Reference (16)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return