留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

高效学习的透过未知散射介质的相位恢复方法

朱硕 郭恩来 柏连发 韩静

朱硕, 郭恩来, 柏连发, 韩静. 高效学习的透过未知散射介质的相位恢复方法[J]. 红外与激光工程, 2022, 51(2): 20210889. doi: 10.3788/IRLA20210889
引用本文: 朱硕, 郭恩来, 柏连发, 韩静. 高效学习的透过未知散射介质的相位恢复方法[J]. 红外与激光工程, 2022, 51(2): 20210889. doi: 10.3788/IRLA20210889
Zhu Shuo, Guo Enlai, Bai Lianfa, Han Jing. Efficient learning-based phase retrieval method through unknown scattering media[J]. Infrared and Laser Engineering, 2022, 51(2): 20210889. doi: 10.3788/IRLA20210889
Citation: Zhu Shuo, Guo Enlai, Bai Lianfa, Han Jing. Efficient learning-based phase retrieval method through unknown scattering media[J]. Infrared and Laser Engineering, 2022, 51(2): 20210889. doi: 10.3788/IRLA20210889

高效学习的透过未知散射介质的相位恢复方法

doi: 10.3788/IRLA20210889
基金项目: 国家自然科学基金(62031018,61971227,62101255);中国博士后科学基金(2021 M701721)
详细信息
    作者简介:

    朱硕 ,男,博士生,主要从事计算成像和光散射等方面的研究

    柏连发 ,男,教授,博士,主要从事光电探测与成像等方面的研究

    通讯作者: 韩静,女,副研究员,博士,主要从事计算成像和智能感知等方面的研究。
  • 中图分类号: O438

Efficient learning-based phase retrieval method through unknown scattering media

  • 摘要: 透过散射介质对目标进行准确的重建仍然是阻碍人们对深层生物组织成像分析和深空天文观测的主要挑战之一。基于深度学习的散射计算成像方法虽然在成像质量和效率等方面取得了很大的进展,但是针对实际系统中散射介质状态不固定,目标结构具有较高复杂度以及可获取的训练散射数据有限的情况下,单纯利用数据驱动的方法已无法进行准确高效的重建。将散斑相关原理和卷积神经网络强大的数据挖掘和映射能力进行有效的结合,进一步挖掘和利用散斑所包含的冗余信息,实现了仅利用一块薄散射介质对应的散斑数据即可实现透过具有不同统计特性散射介质的复杂目标重构。该方法针对实际散射场景复杂多变和训练样本数据有限的情况,实现了对复杂目标的高质量恢复,有力地推动了基于物理感知的学习方法在实际散射场景中的应用。
  • 图  1  同一帧散斑不同子区域统计特性分析。(a) 散斑预处理及子区域选择示意图;(b) 四个不同子区域的散斑及对应的功率谱和重建结果;(c) 归一化后的功率谱图案虚线对应的强度值

    Figure  1.  Statistical characteristics analysis of the different sub-regions of one speckle pattern. (a) Schematic of speckle pre-processing step and selection of different sub-regions; (b) Speckle of four different sub-regions and corresponding power spectrum and reconstruction results; (c) Intensity value corresponding to the dotted line of the normalized power spectrum pattern

    图  2  基于物理感知学习的高效相位恢复算法原理图。(a) 散斑功率谱估计预处理模块;(b) 进行目标重建的神经网络后处理模块

    Figure  2.  Schematic of the physics-aware learning method for efficient phase retrieval algorithm. (a) Speckle power spectrum pre-processing module; (b) Neural network post-processing module for object recovery

    图  3  泛化成像实验装置图

    Figure  3.  Experimental setup for the scalable imaging

    图  4  未利用和有效利用物理先验信息对透过未知散射介质成像的结果比较

    Figure  4.  Results comparison without or with physics-prior information for imaging through unknown diffusers

    图  5  人脸数据透过不同散射介质的泛化成像结果

    Figure  5.  Scalable imaging results of human faces data through different diffusers

    图  6  利用散斑冗余性理论的对比实验结果(使用不同的散斑子区域个数和每个子区域大小对泛化重建成像能力有着不同的影响)

    Figure  6.  Results comparison using speckle redundancy theory(Different numbers of sub-region speckles used and every sub-region size have different effect on scalable reconstruction imaging)

    表  1  使用不同子区域数量以及子区域散斑大小时对应的重建指标

    Table  1.   Reconstruction indicators corresponding to the use of different numbers of sub-region and different sizes of sub-region speckles

    Size of sub-region speckles/pixelNumber of sub-regionMAESSIMPSNR/dB
    256×25610.04970.666720.41
    30.03750.792222.59
    50.01920.913829.14
    70.01570.936131.45
    90.01000.963137.21
    768×76810.03790.726022.89
    30.01740.924730.18
    1 920×120010.03010.810724.96
    下载: 导出CSV
  • [1] Yang Hong, Huang Yuanhui, Gong Changmei, et al. Advances on techniques of breaking diffraction limitation using scattering medium [J]. Chinese Optics, 2014, 7(1): 1. (in Chinese)
    [2] Miao Shaofeng, Yang Hong, Huang Yuanhui, et al. Research progresses of photoacoustic imaging [J]. Chinese Optics, 2015, 8(5): 699. (in Chinese) doi:  10.3788/co.20150805.0699
    [3] He X, Jia H H, Chang S L, et al. The simulation of NLOS light propagation for multiple-scattering instance [J]. Optics and Precision Engineering, 2009, 17(2): 246-250. (in Chinese)
    [4] Xu Kaida, Jin Weiqi, Liu Jing, et al. Non-line-of-sight imaging based on laser range-gated imaging technology [J]. Infrared and Laser Engineering, 2012, 41(8): 2073-2078. (in Chinese)
    [5] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media [J]. Optics Letters, 2007, 32(16): 2309-2311. doi:  10.1364/OL.32.002309
    [6] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi:  10.1103/PhysRevLett.104.100601
    [7] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi:  10.1038/nphoton.2014.189
    [8] Wu T, Katz O, Shao X, et al. Single-shot diffraction-limited imaging through scattering layers via bispectrum analysis [J]. Optics Letters, 2016, 41(21): 5003. doi:  10.1364/OL.41.005003
    [9] Lyu M, Wang H, Li G, et al. Learning-based lensless imaging through optically thick scattering media [J]. Advanced Photonics, 2019, 1(3): 036002.
    [10] Zhu S, Guo E, Gu J, et al. Imaging through unknown scattering media based on physics-informed learning [J]. Photonics Research, 2021, 9(5): B210-B219. doi:  10.1364/PRJ.416551
    [11] Zheng Shanshan, Yang Wanqin, Situ Guohai. Application of computational optical imaging in scattering [J]. Infrared and Laser Engineering, 2019, 48(6): 0603005. (in Chinese) doi:  10.3788/IRLA201948.0603005
    [12] Zuo Chao, Feng Shijie, Zhang Xiangyu, et al. Deep learning based computational imaging: status, challenges, and future [J]. Acta Optica Sinica, 2020, 40(1): 0111003. (in Chinese) doi:  10.3788/AOS202040.0111003
    [13] Zhu S, Guo E, Cui Q, et al. Locating and imaging through scattering medium in a large depth [J]. Sensors, 2021, 21(1): 90.
    [14] Guo E, Sun Y, Zhu S, et al. Single-shot color object reconstruction through scattering medium based on neural network [J]. Optics and Lasers in Engineering, 2021, 136: 106310. doi:  10.1016/j.optlaseng.2020.106310
    [15] Li Y, Xue Y, Tian L. Deep speckle correlation: a deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190. doi:  10.1364/OPTICA.5.001181
    [16] Liu H, Liu Z, Chen M, et al. Physical picture of the optical memory effect [J]. Photonics Research, 2019, 7(11): 1323-1330. doi:  10.1364/PRJ.7.001323
  • [1] 胡浩丰, 黄一钊, 朱震, 马千文, 翟京生, 李校博.  基于深度学习复杂环境的偏振成像技术研究进展(特邀) . 红外与激光工程, 2024, 53(3): 20240057-1-20240057-18. doi: 10.3788/IRLA20240057
    [2] 刘禹彤, 李妍, 金璐, 汤化旭, 王舜, 吴雨聪, 冯悦姝.  基于深度学习的多分辨显微关联成像系统设计 . 红外与激光工程, 2023, 52(4): 20220461-1-20220461-8. doi: 10.3788/IRLA20220461
    [3] 王伟, 蔡勋明, 赵鑫, 马文斌.  单次照射散斑高质量快速成像 . 红外与激光工程, 2023, 52(12): 20230345-1-20230345-11. doi: 10.3788/IRLA20230345
    [4] 刘金鹏, 冯怡, 刘蕾, 相萌, 刘飞, 邵晓鹏.  全息技术在散射成像领域中的研究及应用进展(特邀) . 红外与激光工程, 2022, 51(8): 20220307-1-20220307-15. doi: 10.3788/IRLA20220307
    [5] 卞殷旭, 邢涛, 邓伟杰, 鲜勤, 乔洪磊, 于钱, 彭吉龙, 杨晓飞, 蒋燕男, 王家雄, 杨慎敏, 沈韧斌, 沈华, 匡翠方.  基于深度学习的色彩迁移生物医学成像技术 . 红外与激光工程, 2022, 51(2): 20210891-1-20210891-18. doi: 10.3788/IRLA20210891
    [6] 席特立, 王毓植, 刘若玉, 赵梦泽, 樊增增, 梁文海, 孙杨帆, 刘金鹏, 相萌, 刘飞, 邵晓鹏.  基于散斑相关的宽视场成像技术研究进展(特邀) . 红外与激光工程, 2022, 51(8): 20220322-1-20220322-20. doi: 10.3788/IRLA20220322
    [7] 王嘉业, 李艺璇, 张玉珍.  基于学习的光栅图像噪声抑制方法 . 红外与激光工程, 2022, 51(2): 20220006-1-20220006-10. doi: 10.3788/IRLA20220006
    [8] 王志远, 赖雪恬, 林惠川, 陈福昌, 曾峻, 陈子阳, 蒲继雄.  基于深度学习实现透过浑浊介质图像重构(特邀) . 红外与激光工程, 2022, 51(8): 20220215-1-20220215-10. doi: 10.3788/IRLA20220215
    [9] 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静.  深度学习下的散射成像:物理与数据联合建模优化(特邀) . 红外与激光工程, 2022, 51(8): 20220563-1-20220563-13. doi: 10.3788/IRLA20220563
    [10] 和河向, 黎永耀, 黄锦圣.  基于相位共轭实现散射成像及光学幻像的双功能散射光调控方法(特邀) . 红外与激光工程, 2022, 51(8): 20220266-1-20220266-12. doi: 10.3788/IRLA20220266
    [11] 石峰, 陆同希, 杨书宁, 苗壮, 杨晔, 张闻文, 何睿清.  噪声环境下基于单像素成像系统和深度学习的目标识别方法 . 红外与激光工程, 2020, 49(6): 20200010-1-20200010-8. doi: 10.3788/IRLA20200010
    [12] 赵洋, 傅佳安, 于浩天, 韩静, 郑东亮.  深度学习精确相位获取的离焦投影三维测量 . 红外与激光工程, 2020, 49(7): 20200012-1-20200012-8. doi: 10.3788/IRLA20200012
    [13] 钟锦鑫, 尹维, 冯世杰, 陈钱, 左超.  基于深度学习的散斑投影轮廓术 . 红外与激光工程, 2020, 49(6): 20200011-1-20200011-11. doi: 10.3788/IRLA20200011
    [14] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [15] 陈妮, 左超, Byoungho Lee.  基于深度测量的三维成像技术 . 红外与激光工程, 2019, 48(6): 603013-0603013(25). doi: 10.3788/IRLA201948.0603013
    [16] 梁欣凯, 宋闯, 赵佳佳.  基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
    [17] 赵楠翔, 胡以华.  激光反射层析成像相位恢复算法研究 . 红外与激光工程, 2019, 48(10): 1005005-1005005(7). doi: 10.3788/IRLA201948.1005005
    [18] 郑珊珊, 杨婉琴, 司徒国海.  计算光学成像在散射中的应用 . 红外与激光工程, 2019, 48(6): 603005-0603005(15). doi: 10.3788/IRLA201948.0603005
    [19] 刘正君, 郭澄, 谭久彬.  基于多距离相位恢复的无透镜计算成像技术 . 红外与激光工程, 2018, 47(10): 1002002-1002002(16). doi: 10.3788/IRLA201847.1002002
    [20] 曾文雯, 钟小品, 李景镇.  从单幅干涉图中恢复相位的区间反转方法 . 红外与激光工程, 2014, 43(9): 3151-3156.
  • 加载中
图(6) / 表(1)
计量
  • 文章访问数:  484
  • HTML全文浏览量:  225
  • PDF下载量:  105
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-11-24
  • 修回日期:  2022-01-25
  • 网络出版日期:  2022-03-04
  • 刊出日期:  2022-02-28

高效学习的透过未知散射介质的相位恢复方法

doi: 10.3788/IRLA20210889
    作者简介:

    朱硕 ,男,博士生,主要从事计算成像和光散射等方面的研究

    柏连发 ,男,教授,博士,主要从事光电探测与成像等方面的研究

    通讯作者: 韩静,女,副研究员,博士,主要从事计算成像和智能感知等方面的研究。
基金项目:  国家自然科学基金(62031018,61971227,62101255);中国博士后科学基金(2021 M701721)
  • 中图分类号: O438

摘要: 透过散射介质对目标进行准确的重建仍然是阻碍人们对深层生物组织成像分析和深空天文观测的主要挑战之一。基于深度学习的散射计算成像方法虽然在成像质量和效率等方面取得了很大的进展,但是针对实际系统中散射介质状态不固定,目标结构具有较高复杂度以及可获取的训练散射数据有限的情况下,单纯利用数据驱动的方法已无法进行准确高效的重建。将散斑相关原理和卷积神经网络强大的数据挖掘和映射能力进行有效的结合,进一步挖掘和利用散斑所包含的冗余信息,实现了仅利用一块薄散射介质对应的散斑数据即可实现透过具有不同统计特性散射介质的复杂目标重构。该方法针对实际散射场景复杂多变和训练样本数据有限的情况,实现了对复杂目标的高质量恢复,有力地推动了基于物理感知的学习方法在实际散射场景中的应用。

English Abstract

    • 目标信息经过强散射介质调制后,原始有效目标信息会发生严重的退化[1]。散射退化给实际生活和科研观察应用带来了很多的问题和困扰,如日常生活中浓雾天气下的交通监管。透过变化的散射场景对车辆进行有效监控,包括汽车的车牌号识别,甚至驾驶人员的人脸信息恢复都具有重要的意义。同时,人们为了获取特定的目标信息,散射干扰也是必须克服的问题,如透过湍流大气的天文观测以及透过活性组织的生物观察分析等[2-4]。但是,传统光学成像方法在通过复杂散射场景后的目标恢复任务中,无法对经过散射介质调制退化后的目标进行有效的复原和重建。随着现代光电器件和计算成像方法的发展,一系列新的方法被提出用来解决散射成像问题,主要方法有基于波前整形的方法[5]、基于光学传输矩阵的方法[6]、基于光学记忆效应的散斑相关方法[7-8]和基于深度学习的散射计算成像方法[9-10]。其中前三者为基于物理模型的计算成像方法,基于波前整形和传输矩阵的方法恢复效果也受限于调制器件的像素尺寸和数目,对散射场景不固定的情况也无法进行有效地恢复和测量[5-6];基于光学记忆效应的散斑相关技术可以实现对散射介质后方的目标进行非侵入成像,但是原理上则受限于光学记忆效应的范围,一旦超出记忆效应范围则无法对目标进行有效重建,同时基于相位恢复算法对复杂目标的信息恢复效果和成像质量也十分有限[7-8]

      随着深度学习等人工智能技术的飞速发展,深度学习依托其强大的数据挖掘能力,在计算成像领域有着广泛的应用场景,并取得了显著的成像结果[11]。尤其是在一些复杂的逆问题中,依托于数据驱动的学习模型,可以通过利用大量数据从中寻找复杂成像问题的最优解,甚至得到比传统计算成像更高质量的重建结果[12]。其中,透过散射介质成像是深度学习成功应用的一个典型的逆问题优化求解热点。利用深度学习求解散射成像问题在光散射领域取得了突破性的进展,比如目标复杂度高、大视场、大景深、动态散射介质和宽谱段响应[9-11,13-15]等各种复杂散射条件下的目标重建。散射调制对目标信息造成严重的退化,因此相对常见的计算机视觉任务难度更大。在基于深度学习的散射成像任务中,如何提高对不同散射场景的泛化能力和充分挖掘利用有限散斑的冗余信息,对该方法的实际应用至关重要。Li等人[15]首次提出可以应用于未知散射场景成像的方法,但是依赖大量的训练数据集和专门设计的复杂网络结构,并且成像目标的稀疏性、成像质量和未知散射场景相似度要求等问题都限制了该方法的泛化能力。笔者先前基于物理驱动网络的工作可以有效地解决上述工作中的大部分问题,但是对于复杂的目标需要相对较多的散射场景作为训练数据才能够对复杂目标进行有效的恢复[10]。因此,如何利用有限的散射场景数据挖掘更多的有效信息,高效地对复杂目标进行准确目标恢复是将散射计算成像技术推向实际应用场景的重要因素。

      通过进一步挖掘和讨论光散射中的物理机理,提出一种基于有限样本训练场景实现高效的散射目标相位恢复的算法。在仅使用一块薄散射介质的数据情况下,利用光学记忆效应范围内平移不变性和散斑的冗余性充分挖掘获取散斑中的有效信息,将透过不同的散射介质成像进行有效关联。最后利用深度神经网络强大的解析能力,通过有限的数据即可获取多散射场景中的相关信息,从而实现利用有限的训练实现透过未知散射介质的复杂目标高效高质目标重构。

    • 当散射介质的入射光转动一个小的角度时,其出射光也随着转动相同的角度,证明了在光学记忆效应范围内,即使光通过高度无序的散射介质时发生散射,出射光场仍然保留了入射光束所携带的信息[16]。因此,在光学记忆效应范围内的散射系统看作一个具有空间平移不变性的光学成像系统,此时获取的散斑可以表示为$I = O*S$,其中$I$为获取的散斑,$O$为目标,$S$为系统的点扩散函数,“$*$”为卷积运算符。利用相机采集到的散斑图案,并利用卷积定理可以得到:

      $$ I \star I = (O * S) \star ({{O}} * S) = ({{O}} \star O) * (S \star S) $$ (1)

      式中: “$ \star $”表示自相关运算符。由公式(1)可知,散斑的自相关可以描述为介质后方目标自相关与光学散射系统点扩散函数自相关之间的卷积,并由于点扩散函数的自相关,$(S \star S)$可以近似为$\delta $函数,因此公式(1)可以进一步化简为:

      $$ I \star I = ({{O}} \star O) + C $$ (2)

      式中:C为计算散斑自相关时产生的背景项[7]。采集到的散斑自相关计算公式如下:

      $$ I(x,y) \star I(x,y) = F{T^{ - 1}}\{ |FT\{ I(x,y)\} {|^2}\} $$ (3)

      根据维纳-辛钦定理,散斑的功率谱可以表示为:

      $$ {S_I}(x,y) = |F{T^{ - 1}}\{ I(x,y) \star I(x,y)\} {|^2} = \left| {FT\{ I(x,y)\} } \right| $$ (4)

      因此,在光学记忆效应范围内,由公式(2)和(4)可得目标与散斑的功率谱关系为:

      $$ |FT\{ I(x,y)\} | = |FT\{ O(x,y)\} | + B $$ (5)

      式中:B为计算散斑功率谱时产生的背景干扰项。当目标超出光学记忆效应范围时,目标$O$可以被分为多个记忆效应范围内的子目标${O_i}$[10],公式(5)可以进一步改写为:

      $$ |FT\{ I(x,y)\} | = |\sum\limits_{i = 1}^n {FT\{ {O_i}(x,y)} \} | + {B'} $$ (6)

      散射过程可以看作对目标进行了随机调制,探测器采集到的散斑图案不同的子区域具有形状及结构不同的散斑颗粒。因此不同的子散斑区域可以表示不同的散射调制过程。目前,基于数据驱动的深度学习方法大多截取拍摄到的散斑的中心部分区域作为网络的输入进行训练和验证[14-15]。如图1(a)所示,首先使用低通滤波对原始散斑的包络线进行处理以得到平整的散斑,可以有效降低因散斑曝光不均匀带来的背景项干扰[7]。由图1(c)中曲线可以看出,同一帧散斑不同子区域的散斑图案差异明显,基于散斑相关原理进行功率谱计算,对应的功率谱具有相似的主体结构信息。同时,不同子区域的散斑功率谱也有着明显的差异,表征了不同子区域对应着不同的散射调制过程。得到隐藏目标的功率谱后,通过Fienup型相位恢复算法对不同的子区域包含的目标信息进行重构[7],结果如图1(b)中第三行所示,每一子区域散斑都包含隐藏目标的完整信息。因此,利用同一帧散斑的不同子区域可以帮助网络模型对随机散射过程进行更加完备的表征。

      图  1  同一帧散斑不同子区域统计特性分析。(a) 散斑预处理及子区域选择示意图;(b) 四个不同子区域的散斑及对应的功率谱和重建结果;(c) 归一化后的功率谱图案虚线对应的强度值

      Figure 1.  Statistical characteristics analysis of the different sub-regions of one speckle pattern. (a) Schematic of speckle pre-processing step and selection of different sub-regions; (b) Speckle of four different sub-regions and corresponding power spectrum and reconstruction results; (c) Intensity value corresponding to the dotted line of the normalized power spectrum pattern

    • 基于物理感知学习的相位恢复方法通过加入散射物理先验知识,充分发挥深度学习的优势,只使用传统的U-Net卷积神经网络结构就可以达到准确的重建结果,弱化了对网络结构设计的要求。如图2所示,基于物理感知的相位恢复重建方法原理图主要包含基于散斑相关的功率谱估计预处理模块和神经网络数据拟合模块。基于散斑的冗余特性进行数据增强,仅通过利用一块薄散射介质对应的数据进行模型训练,便可实现对复杂目标进行高保真准确重建的效果。

      图  2  基于物理感知学习的高效相位恢复算法原理图。(a) 散斑功率谱估计预处理模块;(b) 进行目标重建的神经网络后处理模块

      Figure 2.  Schematic of the physics-aware learning method for efficient phase retrieval algorithm. (a) Speckle power spectrum pre-processing module; (b) Neural network post-processing module for object recovery

      通过在学习方法中嵌入散射物理模型可以有效挖掘散斑中普适性的先验规律和有效信息,即使利用传统的U-net卷积神经网络也可以对复杂目标在未知散射场景中进行高质量相位恢复和重建。基于物理感知的学习框架使用自适应矩阵优化器进行迭代优化,使用负皮尔逊系数(NPCC)和均方误差(MSE)组合的联合损失函数作为网络训练代价函数:

      $$ Loss = Los{s_{NPCC}} + Los{s_{MSE}} $$ (7)
      $$ \begin{split} &Los{s_{NPCC}} =\\ &\frac{{ - 1 \times \sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {[i(x,y) - \hat i(x,y)][I(x,y) - \hat I(x,y)]} } }}{{\sqrt {\sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {{{[i(x,y) - \hat i(x,y)]}^2}} } } \sqrt {\sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {{{[I(x,y) - \hat I(x,y)]}^2}} } } }} \end{split}$$ (8)
      $$ Los{s_{MSE}} = {\sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {[\tilde i(x,y) - I(x,y)]} } ^2} $$ (9)

      式中:$i$和$I$分别为模型输出结果图像和相对应的真实图像;$\hat i$和$\hat I$分别为对图像求均值运算;$\tilde i$表示对输出图像做归一化处理。基于物理感知学习框架的训练和测试环境为Ubuntu 16.04系统下的PyTorch 1.4.0框架,硬件计算平台为1张Titan RTX图形处理单元和i9-9940 X中央处理器。

    • 数据采集装置图如图3所示,主要包括一个660 nm波段的激光器和旋转毛玻璃(RD)作为非相干照明光源。一个数字微镜器件(DMD,1024×768 pixel)来编码显示八位的目标图像信息并配合一个全内反射(TIR)棱镜折转光路便于散斑数据的采集。为了更好贴合实用场景,实验中使用的一个工业相机(acA1920-155 μm,Basler AG,Ahrensburg,Germany)作为探测器,而不是传统实验中大多使用具有更高成像质量和性能的科学级相机[8-9, 15]。使用工业相机采集的灵敏度更低、数据位深更小、成像质量相对较差的散斑图案也从侧面反映出文中方法的有效性。笔者设置DMD目标面与散射介质的距离为30 cm,散射介质与相机的距离为8 cm,光阑直径为8 mm。散射介质选取了三块具有不同统计特性的毛玻璃,一块Thorlabs 的220 grit毛玻璃(D1),一块Thorlabs的 120 grit毛玻璃(D2)和一块Edmund的220 grit毛玻璃(D3)。其中D1对应见过的目标(Seen objects)散斑数据作为训练数据,D2和D3对应所有目标的散斑数据作为未知散射场景的数据进行测试。

      图  3  泛化成像实验装置图

      Figure 3.  Experimental setup for the scalable imaging

      文中根据实验需求进行相应的数据采集,主要包括简单字符数据集和复杂人脸目标数据。首先随机挑选600张字符目标对实验方案进行简单验证,证明方法的可行性。进一步通过复杂人脸目标对方法的有效性进行验证和实验分析。从FEI Face数据集中选择400张正脸数据,其中前360张作为Seen objects,后40张作为未见过的目标(Unseen objects)。在散斑数据处理过程中,选择所有未知散射场景的中心256×256 pixel散斑进行功率谱估计预处理。为了利用散斑信息的冗余性对重建进行增强,选择D1的中心区域256×256 pixel和周围上、下、左、右、左上、左下、右上和右下偏移量为256个像素对原始散斑进行子区域的截取,因此共九个子区域散斑图做功率谱估计预处理。最后统一将所有计算得到的功率谱缩放至128×128作为网络训练和测试的输入数据。

    • 完成对散斑数据的采集和预处理后,对文中提出的基于物理感知学习的高效相位恢复方法进行验证和分析。笔者选取并展示了部分成像结果作为直观评价和分析,同时选择平均绝对误差(MAE)、结构相似性(SSIM)和峰值信噪比(PSNR)三个评价指标的统计平均作为客观指标来评价重建结果。通过主观成像结果的直观展示和客观定量评价指标详细地讨论和分析该方法的泛化重建能力和模型的鲁棒性。

      首先使用简单字符数据对文中方法的有效性进行实验验证。基于散斑相关原理的物理感知的学习方法可以有效提取不同散射场景下的统计不变量,减少因散射介质随机调制造成的信息扰乱分布差异较大的问题。如图4所示,其中呈现出的未加物理先验的重建结果为挑出的相对较好的恢复结果,对应用物理先验感知的深度学习方法的重建结果都可以进行准确的目标恢复。通过定量指标对记忆效应范围内的目标重建结果进行评价,未加物理先验信息的重建指标为0.448 9的结构相似性和11.01 dB的峰值信噪比,有效利用物理先验信息的重建指标为0.897 5的结构相似性和29.67 dB的峰值信噪比。即使是简单的字符数据通过直接的数据驱动方法在未知散射场景的成像效果也非常有限,实验证明了文中提出方法相对纯数据驱动方法的有效性。同时,基于深度学习强大的信息挖掘和拟合能力,当目标超出光学记忆效应范围1.2倍时,文中所提出的方法依然可以准确地重建出目标信息,与基于散斑相关的物理感知学习方法有相同的规律和结论[10]

      图  4  未利用和有效利用物理先验信息对透过未知散射介质成像的结果比较

      Figure 4.  Results comparison without or with physics-prior information for imaging through unknown diffusers

      进一步选择具有更为复杂的结构信息的人脸数据集进行实验验证。如图5所示,即使是只利用一块散射介质的散斑数据,通过有效利用散斑相关性和冗余性物理先验,就可以实现对透过具有不同统计特性散射介质的高保真准确重建。从重建结果可以看出,对于Seen objects,即使是面部的微表情和眉眼等细节特征都可以清晰的辨别出来。对于Unseen objects,由于采集数据的样本量有限和目标的高度复杂特性,只能重建出目标的大致轮廓信息,目标的细节信息的提升还需要进一步提升和研究。

      图  5  人脸数据透过不同散射介质的泛化成像结果

      Figure 5.  Scalable imaging results of human faces data through different diffusers

      由于携带目标信息的光信号通过散射介质的随机调制造成相机获取的散斑信息是冗余的,每一块子区域散斑都包含原始目标的信息。如图6所示,使用不同数量D1的散斑子区域进行训练,选择D2作为测试场景,进而对散斑冗余性相关规律进行验证和分析。可以看出,通过对散斑冗余性的充分利用,随着选取散斑区域的增加,文中方法的重建能力更强。对应图6重建结果的定量评价指标如表1所示。选择子区域的多少有着明显的影响,空间结构更为复杂的人脸数据需要较多的子区域个数才可以取得相对稳定的重建结果(五块)。同时选择较大的散斑子区域768×768 pixel,使目标的功率谱估计更加准确,具有扰动更小的背景项[7],重建效果相比使用一块256×256 pixel子区域的重建效果更好。在使用散斑像素总数相同的情况下,选择九块256×256 pixel子区域相对一块768×768 pixel子区域可以更加可靠和准确地对人脸复杂数据进行重建。进一步选择一帧的全部散斑进行功率谱估计,相对256×256 pixel和768×768 pixel尺寸的子区域选择,在只使用一个子区域时具有最好的重建效果和重建指标。但是使用全部散斑进行计算的功率谱估计缺乏对不同散射状态进行表征,导致学习模型对未知场景的泛化能力有限,重建准确度相对使用多块子区域的重建效果要差。因此,基于散斑冗余性使用多个子区域散斑可以帮助感知模型学到更多不同散射状态下的数据表征过程,实现更加准确的复杂目标泛化重建。

      图  6  利用散斑冗余性理论的对比实验结果(使用不同的散斑子区域个数和每个子区域大小对泛化重建成像能力有着不同的影响)

      Figure 6.  Results comparison using speckle redundancy theory(Different numbers of sub-region speckles used and every sub-region size have different effect on scalable reconstruction imaging)

      表 1  使用不同子区域数量以及子区域散斑大小时对应的重建指标

      Table 1.  Reconstruction indicators corresponding to the use of different numbers of sub-region and different sizes of sub-region speckles

      Size of sub-region speckles/pixelNumber of sub-regionMAESSIMPSNR/dB
      256×25610.04970.666720.41
      30.03750.792222.59
      50.01920.913829.14
      70.01570.936131.45
      90.01000.963137.21
      768×76810.03790.726022.89
      30.01740.924730.18
      1 920×120010.03010.810724.96
    • 针对当前基于深度学习方法的泛化能力有限和对散斑信息未能充分解析的问题,提出了一种应用于未知散射场景下的复杂目标相位恢复方法。通过将散斑相关原理和散斑冗余性物理先验与卷积神经网络强大的数据挖掘和映射能力进行有效结合,仅利用一块薄散射介质的散斑数据进行联合建模即可实现透过未知散射介质的复杂目标泛化成像。该方法通过对散斑冗余性进行有效探索可以更加充分地挖掘和利用散斑隐藏的有效信息。对实际散射场景复杂多变和目标信息特性复杂等情况下的目标进行高质量重建,人脸复杂程度目标的重建PSNR可达35 dB以上。基于物理感知的高效相位恢复算法不仅可以推动实际散射场景中的复杂成像任务,同时为物理模型和数据模型的有效结合提供了可行的范本,进一步为应用深度学习解决物理问题的广泛领域提供新的启发和参考。

参考文献 (16)

目录

    /

    返回文章
    返回