留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

深度学习下的散射成像:物理与数据联合建模优化(特邀)

郭恩来 师瑛杰 朱硕 程倩倩 韦一 苗金烨 韩静

郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静. 深度学习下的散射成像:物理与数据联合建模优化(特邀)[J]. 红外与激光工程, 2022, 51(8): 20220563. doi: 10.3788/IRLA20220563
引用本文: 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静. 深度学习下的散射成像:物理与数据联合建模优化(特邀)[J]. 红外与激光工程, 2022, 51(8): 20220563. doi: 10.3788/IRLA20220563
Guo Enlai, Shi Yingjie, Zhu Shuo, Cheng Qianqian, Wei Yi, Miao Jinye, Han Jing. Scattering imaging with deep learning: Physical and data joint modeling optimization (invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 20220563. doi: 10.3788/IRLA20220563
Citation: Guo Enlai, Shi Yingjie, Zhu Shuo, Cheng Qianqian, Wei Yi, Miao Jinye, Han Jing. Scattering imaging with deep learning: Physical and data joint modeling optimization (invited)[J]. Infrared and Laser Engineering, 2022, 51(8): 20220563. doi: 10.3788/IRLA20220563

深度学习下的散射成像:物理与数据联合建模优化(特邀)

doi: 10.3788/IRLA20220563
基金项目: 国家自然科学基金(62101255,62031018,61971227);中央高校基本科研经费(30920031101);中国博士后科学基金(2021 M701721)
详细信息
    作者简介:

    郭恩来,男,博士后,主要从事计算成像方面的研究

    通讯作者: 韩静,女,副研究员,博士,主要从事计算成像方面的研究。
  • 中图分类号: O438.2

Scattering imaging with deep learning: Physical and data joint modeling optimization (invited)

Funds: National Natural Science Foundation of China (62101255,62031018,61971227);Basic Scientific Research Funds of Central Universities(30920031101);China Postdoctoral Science Foundation(2021 M701721)
  • 摘要: 为了利用被散射的光信号实现成像,越来越多的散射成像方法被提出。其中深度学习以其强大的数据表征和信息提取能力在散射成像领域发挥着重要的作用。相较于传统散射成像方法,基于深度学习的散射成像方法在成像速度、质量、信息维度等方面都有着巨大的优势。但是,模型训练、模型泛化等问题也制约着该方法的发展。因此,越来越多的研究将物理过程与基于数据驱动的方法进行联合建模,利用物理先验指导神经网络优化。相较于单纯的数据驱动方法而言,物理-数据联合建模的方法对数据量、神经网络参数量的依赖程度大大降低,在保证成像质量的前提下有效降低数据获取难度及对实验环境的要求。联合建模优化的方式实现了介质、目标类型等散射成像中关键节点的泛化。同时在训练过程方面,实现了从有监督到半监督再到无监督的训练优化过程迭代,不同模型和监督方式的提出大大提升了基于深度学习方法的训练效率,在降低对硬件和时间成本的同时,提升了基于深度学习的散射成像方法在非实验室场景应用的可能性。
  • 图  1  基于深度学习的抗散射成像原理。 (a)重建传输矩阵角度; (b)散斑相关成像角度; (c)优化问题角度

    Figure  1.  Principle of anti-scattering imaging based on deep learning. (a) Reconstruction of transmission matrix angle; (b) Speckle correlation imaging angle; (c) Optimization problem angle

    图  2  不同种类的神经网络:(a) CNN[3];(b) RNN[19];(c) GAN[9]

    Figure  2.  Different kinds of neural networks: (a) CNN[3]; (b) RNN[19]; (c) GAN[9]

    图  3  基于CNN和GAN的模型优化:(a)解码器输出双通道进行分类[3];(b)解码器采用分支结构提取双目标信息[20];(c)编码器底部分支提取不同尺寸特征[23];(d)解码器增加注意力机制优化上采样特征权重[25]

    Figure  3.  Optimization of models based on CNN and GAN: (a) The decoder outputs dual channels for classification[3]; (b) The decoder uses a branch structure to extract dual-target information[20]; (c) The bottom branch of the encoder extracts features of different sizes[23]; (d) The decoder increases attention mechanism to optimize upsampling feature weights[25]

    图  4  网络自适应性:(a)自适应调整输出层参数21;(b)自适应调整模型权重26

    Figure  4.  Adaptability of network: (a) Adaptively adjust the parameters of output layer21; (b) Adaptively adjust the weights of model26

    图  5  基于深度学习深度抗散射成像方法的应用

    Figure  5.  Application of deep anti-scattering imaging method based on deep learning

    图  6  不同抗散射成像方法中的神经网络框架。(a) 单帧彩色目标成像方法[7];(b)透过大光学厚度散射介质成像方法[12];(c)单帧大视场复杂目标成像方法[29];(d)利用神经网络实现基于波前调制透过散射介质成像[5]

    Figure  6.  Neural network framework in different anti-scattering imaging methods. (a) Single-frame color target imaging method[7]; (b) Imaging method through scattering media of large optical thickness[12]; (c) Imaging method for complex objects with large field of view using a single frame speckle[29]; (d) Imaging through scattering medium based on wavefront modulation realized by neural network[5]

    图  7  基于物理模型与数据模型联合的感知学习框架概述。(a) 物理融合方法;(b) 物理约束方法;(c) 物理残差方法;(d) 物理嵌入方法

    Figure  7.  An overview of the physics-aware learning framework combined with physical model and data model. (a) Physical fusion method; (b) Physical regularization method; (c) Residual physics method; (d) Embedded physics method

    图  8  基于物理模型与数据模型联合的感知学习方法范例。(a) 融合ME透过未知介质抗散射成像方法[6];(b) 散斑自相关约束抗散射目标域泛化成像方法[24];(c) 物理残差优化的三维立体感知物理学习方法[51];(d) 物理学习设计编码照明硬件优化的定量相位成像方法[52]

    Figure  8.  Examples of the physics-aware learning framework combined with physical model and data model. (a) Imaging through unknown diffusers via fusing the ME prior [6]; (b) Imaging unknown target through scattering media via autocorrelation constraint [24]; (c) Untrained deep learning-based 3 D sensing method via residual physics optimization [51]; (d) Optimized coded-illumination for quantitative phase imaging via Physics-based learning method [52]

  • [1] Zhan X, Gao J, Gan Y, et al. Roles of scattered and ballistic photons in imaging through scattering media: A deep learning-based study [J]. arXiv, 2022: 2207.10263. doi:  10.48550/arXiv.2207.10263
    [2] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: An approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi:  10.1103/PhysRevLett.104.100601
    [3] Li Y, Xue Y, Tian L. Deep speckle correlation: A deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190. doi:  10.1364/OPTICA.5.001181
    [4] Matthès M W, Bromberg Y, de Rosny J, et al. Learning and avoiding disorder in multimode fibers [J]. Physical Review X, 2021, 11(2): 021060. doi:  10.1103/PhysRevX.11.021060
    [5] d’Arco A, Xia F, Boniface A, et al. Physics-based neural network for non-invasive control of coherent light in scattering media [J]. Optics Express, 2022, 30(17): 30845-30856. doi:  10.1364/OE.465702
    [6] Zhu S, Guo E, Gu J, et al. Imaging through unknown scattering media based on physics-informed learning [J]. Photonics Research, 2021, 9(5): B210-B219. doi:  10.1364/PRJ.416551
    [7] Zhu S, Guo E, Gu J, et al. Efficient color imaging through unknown opaque scattering layers via physics-aware learning [J]. Optics Express, 2021, 29(24): 40024-40037. doi:  10.1364/OE.441326
    [8] Liao M, Zheng S, Pan S, et al. Deep-learning-based ciphertext-only attack on optical double random phase encryption [J]. Opto-Electronic Advances, 2021, 4(5): 05200016.
    [9] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi:  10.1038/nphoton.2014.189
    [10] Freund I, Rosenbluh M, Feng S. Memory effects in propagation of optical waves through disordered media [J]. Physical Review Letters, 1988, 61(20): 2328-2331. doi:  10.1103/PhysRevLett.61.2328
    [11] Li S, Deng M, Lee J, et al. Imaging through glass diffusers using densely connected convolutional networks [J]. Optica, 2018, 5(7): 803-813. doi:  10.1364/OPTICA.5.000803
    [12] Lyu M, Wang H, Li G, et al. Learning-based lensless imaging through optically thick scattering media [J]. Advanced Photonics, 2019, 1(3): 036002.
    [13] Borhani N, Kakkava E, Moser C, et al. Learning to see through multimode fibers [J]. Optica, 2018, 5(8): 960-966. doi:  10.1364/OPTICA.5.000960
    [14] Rahmani B, Loterie D, Konstantinou G, et al. Multimode optical fiber transmission with a deep learning network [J]. Light: Science & Applications, 2018, 7(1): 1-11. doi:  10.1038/s41377-018-0074-1
    [15] Wang Z, Jin X, Dai Q. Non-invasive imaging through strongly scattering media based on speckle pattern estimation and deconvolution [J]. Scientific Reports, 2018, 8(1): 9088. doi:  10.1038/s41598-018-27467-1
    [16] Cheng S, Li H, Luo Y, et al. Artificial intelligence-assisted light control and computational imaging through scattering media [J]. Journal of Innovative Optical Health Sciences, 2019, 12(4): 1930006. doi:  10.1142/S1793545819300064
    [17] Sun Y, Shi J, Sun L, et al. Image reconstruction through dynamic scattering media based on deep learning [J]. Optics Express, 2019, 27(11): 16032-16046. doi:  10.1364/OE.27.016032
    [18] Yang M, Liu Z H, Cheng Z D, et al. Deep hybrid scattering image learning [J]. Journal of Physics D: Applied Physics, 2019, 52(11): 115105. doi:  10.1088/1361-6463/aafa3c
    [19] Yamazaki K, Horisaki R, Tanida J. Imaging through scattering media based on semi-supervised learning [J]. Applied Optics, 2020, 59(31): 9850-9854. doi:  10.1364/AO.402428
    [20] Lai X, Li Q, Chen Z, et al. Reconstructing images of two adjacent objects passing through scattering medium via deep learning [J]. Optics Express, 2021, 29(26): 43280-43291. doi:  10.1364/OE.446630
    [21] Luo Y, Yan S, Li H, et al. Towards smart optical focusing: Deep learning-empowered dynamic wavefront shaping through nonstationary scattering media [J]. Photonics Research, 2021, 9(8): B262-B278. doi:  10.1364/PRJ.415590
    [22] Sun Y, Wu X, Zheng Y, et al. Scalable non-invasive imaging through dynamic scattering media at low photon flux [J]. Optics and Lasers in Engineering, 2021, 144: 106641. doi:  10.1016/j.optlaseng.2021.106641
    [23] Zheng S, Wang H, Dong S, et al. Incoherent imaging through highly nonstatic and optically thick turbid media based on neural network [J]. Photonics Research, 2021, 9(5): B220-B228. doi:  10.1364/PRJ.416246
    [24] Shi Y, Guo E, Bai L, et al. Prior-free imaging unknown target through unknown scattering medium [J]. Optics Express, 2022, 30(10): 17635-17651. doi:  10.1364/OE.453695
    [25] Song B, Jin C, Wu J, et al. Deep learning image transmission through a multimode fiber based on a small training dataset [J]. Optics Express, 2022, 30(4): 5657-5672. doi:  10.1364/OE.450999
    [26] Tahir W, Wang H, Tian L. Adaptive 3D descattering with a dynamic synthesis network [J]. Light: Science & Applications, 2022, 11(1): 42. doi:  10.1038/s41377-022-00730-x
    [27] Turpin A, Vishniakou I, d Seelig J. Light scattering control in transmission and reflection with neural networks [J]. Optics Express, 2018, 26(23): 30911-30929. doi:  10.1364/OE.26.030911
    [28] Kang I, Pang S, Zhang Q, et al. Recurrent neural network reveals transparent objects through scattering media [J]. Optics Express, 2021, 29(4): 5316-5326. doi:  10.1364/OE.412890
    [29] Guo E, Zhu S, Sun Y, et al. Learning-based method to reconstruct complex targets through scattering medium beyond the memory effect [J]. Optics Express, 2020, 28(2): 2433-2446. doi:  10.1364/OE.383911
    [30] Cheng Q, Bai L, Han J, et al. Super-resolution imaging through the diffuser in the near-infrared via physically-based learning [J]. Optics and Lasers in Engineering, 2022, 159: 107186. doi:  10.1016/j.optlaseng.2022.107186
    [31] Guo E, Shi Y, Bai L, et al. Imaging complex targets through a scattering medium based on adaptive encoding [J]. Photonics, 2022, 9(7): 467. doi:  10.3390/photonics9070467
    [32] Cheng Q, Guo E, Gu J, et al. De-noising imaging through diffusers with autocorrelation [J]. Applied Optics, 2021, 60(25): 7686-7695. doi:  10.1364/AO.425099
    [33] Zhu S, Guo E, Cui Q, et al. Locating and imaging through scattering medium in a large depth [J]. Sensors, 2020, 21(1): 90. doi:  10.3390/s21010090
    [34] Satat G, Tancik M, Gupta O, et al. Object classification through scattering media with deep learning on time resolved measurement [J]. Optics Express, 2017, 25(15): 17466-17479. doi:  10.1364/OE.25.017466
    [35] Caramazza P, Boccolini A, Buschek D, et al. Neural network identification of people hidden from view with a single-pixel, single-photon detector [J]. Scientific Reports, 2018, 8(1): 11945. doi:  10.1038/s41598-018-30390-0
    [36] Zhao Q, Li H, Yu Z, et al. Speckle-based optical cryptosystem and its application for human face recognition via deep learning [J]. arXiv, 2022: 2201.11844. doi:  10.48550/arXiv.2201.11844
    [37] Kürüm U, Wiecha P R, French R, et al. Deep learning enabled real time speckle recognition and hyperspectral imaging using a multimode fiber array [J]. Optics Express, 2019, 27(15): 20965-20979. doi:  10.1364/OE.27.020965
    [38] Guo E, Sun Y, Zhu S, et al. Single-shot color object reconstruction through scattering medium based on neural network [J]. Optics and Lasers in Engineering, 2021, 136: 106310. doi:  10.1016/j.optlaseng.2020.106310
    [39] Gao Y, Xu W, Chen Y, et al. Deep learning-based photoacoustic imaging of vascular network through thick porous media [J]. IEEE Transactions on Medical Imaging, 2022, 41(8): 2191-2204. doi:  10.1109/TMI.2022.3158474
    [40] Li Q, Zhao J, Zhang Y, et al. Imaging reconstruction through strongly scattering media by using convolutional neural networks [J]. Optics Communications, 2020, 477: 126341. doi:  10.1016/j.optcom.2020.126341
    [41] Sun L, Shi J, Wu X, et al. Photon-limited imaging through scattering medium based on deep learning [J]. Optics Express, 2019, 27(23): 33120-33134. doi:  10.1364/OE.27.033120
    [42] Li X, Shi J, Wu X, et al. Photon limited imaging through disordered media: information extraction by exploiting the photon’s quantum nature via deep learning [J]. Applied Physics B, 2022, 128(2): 1-13.
    [43] Han J, Miao J, Shi Y, et al. Photon-limited imaging through scattering medium based on speckle coding [J]. Optik, 2022, 255: 168643. doi:  10.1016/j.ijleo.2022.168643
    [44] Liu K, Zhang H, Zhang B, et al. Hybrid optimization algorithm based on neural networks and its application in wavefront shaping [J]. Optics Express, 2021, 29(10): 15517-15527. doi:  10.1364/OE.424002
    [45] Zhao J, Sun Y, Zhu H, et al. Deep-learning cell imaging through anderson localizing optical fiber [J]. Advanced Photonics, 2019, 1(6): 066001.
    [46] Fan P, Zhao T, Su L. Deep learning the high variability and randomness inside multimode fibers [J]. Optics Express, 2019, 27(15): 20241-20258. doi:  10.1364/OE.27.020241
    [47] Wu H, Meng X, Yang X, et al. Single shot real-time high-resolution imaging through dynamic turbid media based on deep learning [J]. Optics and Lasers in Engineering, 2022, 149: 106819. doi:  10.1016/j.optlaseng.2021.106819
    [48] Barbastathis G, Ozcan A, Situ G. On the use of deep learning for computational imaging [J]. Optica, 2019, 6(8): 921-943. doi:  10.1364/OPTICA.6.000921
    [49] Rosen J, de Aguiar H B, Anand V, et al. Roadmap on chaos-inspired imaging technologies (CI2-Tech) [J]. Applied Physics B, 2022, 128(3): 1-26.
    [50] Ba Y, Zhao G, Kadambi A. Blending diverse physical priors with neural networks [J]. arXiv, 2019: 1910.00201. doi:  10.48550/arXiv.1910.00201
    [51] Yu H, Han B, Bai L, et al. Untrained deep learning-based fringe projection profilometry [J]. APL Photonics, 2022, 7(1): 016102. doi:  10.1063/5.0069386
    [52] Kellman M R, Bostan E, Repina N A, et al. Physics-based learned design: optimized coded-illumination for quantitative phase imaging [J]. IEEE Transactions on Computational Imaging, 2019, 5(3): 344-353. doi:  10.1109/TCI.2019.2905434
    [53] Wu H, Li Q, Meng X, et al. Cryptographic analysis on an optical random-phase-encoding cryptosystem for complex targets based on physics-informed learning [J]. Optics Express, 2021, 29(21): 33558-33571. doi:  10.1364/OE.441293
    [54] Stewart R, Ermon S. Label-free supervision of neural networks with physics and domain knowledge[C]//Thirty-First AAAI Conference on Artificial Intelligence, 2017.
    [55] Pan J, Dong J, Liu Y, et al. Physics-based generative adversarial models for image restoration and beyond [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(7): 2449-2462. doi:  10.1109/TPAMI.2020.2969348
    [56] Metzler C A, Heide F, Rangarajan P, et al. Deep-inverse correlography: Towards real-time high-resolution non-line-of-sight imaging [J]. Optica, 2020, 7(1): 63-71. doi:  10.1364/OPTICA.374026
    [57] Wang F, Bian Y, Wang H, et al. Phase imaging with an untrained neural network [J]. Light: Science & Applications, 2020, 9(1): 1-7. doi:  10.1038/s41377-020-0302-3
    [58] Monakhova K, Tran V, Kuo G, et al. Untrained networks for compressive lensless photography [J]. Optics Express, 2021, 29(13): 20913-20929. doi:  10.1364/OE.424075
    [59] Diamond S, Sitzmann V, Heide F, et al. Unrolled optimization with deep priors [J]. arXiv, 2017: 1705.08041. doi:  10.48550/arXiv.1705.08041
    [60] Li R, Cheong L F, Tan R T. Heavy rain image restoration: Integrating physics model and conditional adversarial learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 1633-1642.
  • [1] 陈钱.  先进夜视成像技术发展探讨 . 红外与激光工程, 2022, 51(2): 20220128-1-20220128-8. doi: 10.3788/IRLA20220128
    [2] 席特立, 王毓植, 刘若玉, 赵梦泽, 樊增增, 梁文海, 孙杨帆, 刘金鹏, 相萌, 刘飞, 邵晓鹏.  基于散斑相关的宽视场成像技术研究进展(特邀) . 红外与激光工程, 2022, 51(8): 20220322-1-20220322-20. doi: 10.3788/IRLA20220322
    [3] 赵海博, 刘彦丽, 杨雯铄, 苏云, 高大化, 孙权森, 赵慧洁.  双通道衍射计算成像光谱仪系统 . 红外与激光工程, 2022, 51(5): 20220077-1-20220077-8. doi: 10.3788/IRLA20220077
    [4] 左超, 陈钱.  计算光学成像:何来,何处,何去,何从? . 红外与激光工程, 2022, 51(2): 20220110-1-20220110-181. doi: 10.3788/IRLA20220110
    [5] 卞殷旭, 邢涛, 邓伟杰, 鲜勤, 乔洪磊, 于钱, 彭吉龙, 杨晓飞, 蒋燕男, 王家雄, 杨慎敏, 沈韧斌, 沈华, 匡翠方.  基于深度学习的色彩迁移生物医学成像技术 . 红外与激光工程, 2022, 51(2): 20210891-1-20210891-18. doi: 10.3788/IRLA20210891
    [6] 和河向, 黎永耀, 黄锦圣.  基于相位共轭实现散射成像及光学幻像的双功能散射光调控方法(特邀) . 红外与激光工程, 2022, 51(8): 20220266-1-20220266-12. doi: 10.3788/IRLA20220266
    [7] 王志远, 赖雪恬, 林惠川, 陈福昌, 曾峻, 陈子阳, 蒲继雄.  基于深度学习实现透过浑浊介质图像重构(特邀) . 红外与激光工程, 2022, 51(8): 20220215-1-20220215-10. doi: 10.3788/IRLA20220215
    [8] 朱硕, 郭恩来, 柏连发, 韩静.  高效学习的透过未知散射介质的相位恢复方法 . 红外与激光工程, 2022, 51(2): 20210889-1-20210889-9. doi: 10.3788/IRLA20210889
    [9] 刘金鹏, 冯怡, 刘蕾, 相萌, 刘飞, 邵晓鹏.  全息技术在散射成像领域中的研究及应用进展(特邀) . 红外与激光工程, 2022, 51(8): 20220307-1-20220307-15. doi: 10.3788/IRLA20220307
    [10] 刘云朋, 霍晓丽, 刘智超.  基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
    [11] 孙宝清, 江山, 马艳洋, 蒋文杰, 殷永凯.  单像素成像在特殊波段及三维成像的应用发展 . 红外与激光工程, 2020, 49(3): 0303016-0303016-16. doi: 10.3788/IRLA202049.0303016
    [12] 范斌, 刘彦丽, 赵海博, 徐婧, 孙权森, 王旭.  新型深空高光谱衍射计算成像探测技术(特约) . 红外与激光工程, 2020, 49(5): 20201005-20201005-6. doi:  10.3788.IRLA20201005
    [13] 石峰, 陆同希, 杨书宁, 苗壮, 杨晔, 张闻文, 何睿清.  噪声环境下基于单像素成像系统和深度学习的目标识别方法 . 红外与激光工程, 2020, 49(6): 20200010-1-20200010-8. doi: 10.3788/IRLA20200010
    [14] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [15] 刘正君, 耿勇, 谭久彬.  基于柱透镜多旋转测量的计算成像 . 红外与激光工程, 2019, 48(6): 603016-0603016(5). doi: 10.3788/IRLA201948.0603016
    [16] 周宏强, 黄玲玲, 王涌天.  深度学习算法及其在光学的应用 . 红外与激光工程, 2019, 48(12): 1226004-1226004(20). doi: 10.3788/IRLA201948.1226004
    [17] 郑珊珊, 杨婉琴, 司徒国海.  计算光学成像在散射中的应用 . 红外与激光工程, 2019, 48(6): 603005-0603005(15). doi: 10.3788/IRLA201948.0603005
    [18] 刘正君, 郭澄, 谭久彬.  基于多距离相位恢复的无透镜计算成像技术 . 红外与激光工程, 2018, 47(10): 1002002-1002002(16). doi: 10.3788/IRLA201847.1002002
    [19] 赵惠, 魏静萱, 庞志海, 刘美莹.  波前编码超分辨成像技术 . 红外与激光工程, 2016, 45(4): 422003-0422003(10). doi: 10.3788/IRLA201645.0422003
    [20] 刘子伟, 许廷发, 王洪庆, 申子宜, 饶志涛.  深度成像理论与实现 . 红外与激光工程, 2016, 45(7): 726001-0726001(5). doi: 10.3788/IRLA201645.0726001
  • 加载中
图(9)
计量
  • 文章访问数:  194
  • HTML全文浏览量:  48
  • PDF下载量:  60
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-08-10
  • 修回日期:  2022-08-20
  • 网络出版日期:  2022-08-31
  • 刊出日期:  2022-08-25

深度学习下的散射成像:物理与数据联合建模优化(特邀)

doi: 10.3788/IRLA20220563
    作者简介:

    郭恩来,男,博士后,主要从事计算成像方面的研究

    通讯作者: 韩静,女,副研究员,博士,主要从事计算成像方面的研究。
基金项目:  国家自然科学基金(62101255,62031018,61971227);中央高校基本科研经费(30920031101);中国博士后科学基金(2021 M701721)
  • 中图分类号: O438.2

摘要: 为了利用被散射的光信号实现成像,越来越多的散射成像方法被提出。其中深度学习以其强大的数据表征和信息提取能力在散射成像领域发挥着重要的作用。相较于传统散射成像方法,基于深度学习的散射成像方法在成像速度、质量、信息维度等方面都有着巨大的优势。但是,模型训练、模型泛化等问题也制约着该方法的发展。因此,越来越多的研究将物理过程与基于数据驱动的方法进行联合建模,利用物理先验指导神经网络优化。相较于单纯的数据驱动方法而言,物理-数据联合建模的方法对数据量、神经网络参数量的依赖程度大大降低,在保证成像质量的前提下有效降低数据获取难度及对实验环境的要求。联合建模优化的方式实现了介质、目标类型等散射成像中关键节点的泛化。同时在训练过程方面,实现了从有监督到半监督再到无监督的训练优化过程迭代,不同模型和监督方式的提出大大提升了基于深度学习方法的训练效率,在降低对硬件和时间成本的同时,提升了基于深度学习的散射成像方法在非实验室场景应用的可能性。

English Abstract

    • 人眼可以直接透过均匀介质获取目标的信息,但是当介质不再具有各向同性时人类的可视范围就受到了很大的限制。近年来越来越多的散射成像方法被提出,这些方法让人类对于强散射介质后的目标实现了从“不可见”到“可见”。但是传统的散射成像方法通常需要构建准确的物理模型,通过搭建较为理想化的光学系统进行数据的采集或者系统的优化。由于人眼或相机获取到的散射信息是往往是高度混叠的,传统方法往往无法对目标的细节进行有效的恢复,同时这些方法在成像速度和高维信息获取方面也有着较为明显的缺憾。

      随着集成电路的快速发展,人们可以更容易地获取具有更强计算能力的硬件平台,计算机算力的不断提升促进了以深度学习为代表的一系列算法的发展。在计算成像领域,深度学习已经被用于解决鬼成像、数字全息、傅里叶叠层显微等领域的问题。同时,深度学习强大的数据拟合能力和优化求解能力也在散射成像领域发挥着巨大的作用。一般来说,基于深度学习的方法需要配对的数据对神经网络参数进行优化,提升训练的数据量和神经网络的参数量可以显著提升成像质量。然而,越来越多的研究者发现通过将数据驱动的方法与物理模型的有效结合,可以实现在降低深度学习方法对数据量要求的同时提升在散射成像中的信息提取和重建能力。因此基于深度学习的散射成像方法从最初端到端训练U型网络实现目标结构重建的基本任务开始发展,新模型和新算法的提出不断解决了散射成像中更加复杂的问题。物理建模和数据驱动相结合的方式体现出对神经网络优化能力的提升,进一步扩展了深度学习方法在散射成像领域的应用范围,也成为近年来研究者关注的焦点。同时,半监督和无监督策略的应用也使得神经网络不再仅仅用于端到端的成像,而是嵌套至成像过程中的具体环节。

      文中第一节主要介绍了基于深度学习散射成像方法的基本原理,分别从光学传输矩阵、散斑相关和优化问题求解的角度解释了深度学习解决散射成像问题的可能性。第二节综述了神经网络的不同结构和优化策略的优势和限制条件,点明了数据驱动方法可能存在的问题。第三节综述了近年来的数据驱动方法解决的散射成像领域中的热点问题,指出了物理与数据联合建模优化方法的优势。第四节综述了四种将物理原理与深度学习方法进行联合建模的方法,给出了基于学习的抗散射成像方法的发展方向,并指明用数据挖掘规则学习补充并完善散射物理理论,将有助于实现传统抗散射计算成像技术的进一步发展和视域边界的突破。

    • 抗散射成像技术可以对复杂环境下人眼无法直接获取目标信息的散射信号进行重建。光子与散射介质相互作用时,其传播方向发生变化,即“散射”。当光信号透过散射介质后,其主要的信号成分为弹道光子和散射光子[1]。弹道光子几乎没有发生散射,包含着成像目标的直接信息;而散射光子由于发生多次散射,相当于散射介质对携带目标信息的光子进行了编码,无法直接获得目标信息。随着散射介质厚度的增加,弹道光子几乎是可以忽略不计的,因此对透过散射介质的光信号进行解码成为实现抗散射成像的关键。为了从散射光信号中解码出目标信息,自适应光学、波前整形、测量光学传输矩阵等传统的抗散射成像算法不断被提出。但是,这些传统算法求解能力和重建效果有限,并不能为后续的实际应用提供理想的帮助。近几年,深度学习以它强大的优化能力受到了人们的广泛关注,并且已经有研究学者将其应用于抗散射成像领域。无论是用深度学习进行端到端的重建,还是将其作为更好的优化算法,都取得了理想的效果,为抗散射成像在实际中的应用奠定了基础。目前基于深度学习的抗散射成像原理主要有三种,分别是从重建传输矩阵、散斑相关成像以及优化问题角度进行解释,如图1所示。

      图  1  基于深度学习的抗散射成像原理。 (a)重建传输矩阵角度; (b)散斑相关成像角度; (c)优化问题角度

      Figure 1.  Principle of anti-scattering imaging based on deep learning. (a) Reconstruction of transmission matrix angle; (b) Speckle correlation imaging angle; (c) Optimization problem angle

    • 透过散射介质的出射光场可以看作是散射介质对携带目标信息的输入光场的编码,可用一个二维矩阵来表征输入光场和出射光场之间的关系,即传输矩阵(Transmission Matrix, TM)[2]。若TM已知,就可以直接通过对TM做简单的反转操作来获得相机视场内任意位置的聚焦或成像。但是TM的测量过程复杂,只能用于固定的散射系统。参考文献[3-4]提出用神经网络学习输入光场和输出光场之间的关系这一过程看作是在求解单个散射介质的TM,D’Arco等人[5]则直接将双层神经网络解释为实际系统的双TM。

      当用TM对散射介质表征时,目标透过散射介质的成像过程就可以描述为一个正向模型:

      $$ E\left( {x,y} \right) = T\left( {x,y;\xi ,\eta } \right) \times O\left( {\xi ,\eta } \right) $$ (1)

      式中:$E(x,y)$为输出图像的复振幅光场;$ O\left( {\xi ,\eta } \right) $为输入的原始目标;$ T\left( {x,y;\xi ,\eta } \right) $指的是该散射介质的传输矩阵,那么就可以直接通过对TM进行简单的反转操作来获得原始目标的图像,即:

      $$ \begin{split} \\ O\left( {\xi ,\eta } \right) = {T^{ - 1}}\left( {x,y;\xi ,\eta } \right) \times E\left( {x,y} \right) \end{split} $$ (2)

      但是由于浑浊介质的固有复杂性,传输矩阵中的元素之间基本没有联系,从而传统方法的标定过程往往以单个单元进行,十分复杂耗时。而深度学习通过强大的数据特征提取能力实现对TM的准确快速地建模,使散射介质后的目标重建质量更高,为实际应用提供更加准确的目标信息。

    • 参考文献[68]从散斑相关成像理论[9]的角度对网络由散斑到原始目标的逆向过程的求解进行阐述。散斑相关成像是一种非侵入的抗散射成像方式,在光学记忆效应[10]的基础上,通过计算散斑的自相关提取傅里叶信息来对目标进行重建。由非相干散斑成像原理可知,散斑自相关可近似于目标本身的自相关与背景项之和[9],即:

      $$ I \star I = O \star O + C $$ (3)

      式中:$I$为散斑强度分布;$O$为散射介质后的原始目标;“★”为自相关操作;$C$为背景项。基于此,可以充分利用散斑的傅里叶信息来对目标重建:

      $$ \tilde O = F{T^{ - 1}}\left[ {\sqrt S {{\rm e}^{i\theta }}} \right] $$ (4)

      式中:$\tilde O$为重建目标;$S$为目标的功率谱;$\theta $为目标的傅里叶相位;$F{T^{ - 1}}$表示二维傅里叶逆变换。根据维纳辛钦定理,目标的功率谱为其自相关的傅里叶幅值,只需要求解出傅里叶相位即可恢复目标。由公式(1)可知,散斑自相关可以近似等于原始目标的自相关,由散斑自相关可以提取目标的傅里叶信息。由此,计算散斑的自相关作为网络的输入,可建立与原始目标之间的逆向模型:

      $$ \tilde O = {F^{ - 1}}\left( {I \star I} \right) $$ (5)

      式中:$ {F}^{-1}(·) $表示由散斑到原始目标的逆向关系。通过网络提取散斑中原始目标傅里叶信息,完成对傅里叶相位的恢复,可以最终实现透过未知散射介质的强鲁棒性的抗散射成像。

    • 深度神经网络具有非线性的特点,可对高度病态的问题求解。基于深度学习的抗散射成像方法将从散斑中求解原始目标的问题看作是一个逆过程的优化求解问题,他们通过卷积神经网络对目标经过不同散射介质所形成的散斑做优化重建[11-12],甚至有的工作可以通过神经网络有效识别和重建出多模光纤的输入[13]。具体来说,从散斑中恢复原始目标可以看作是成像的逆过程,即:

      $$ O = {F^{ - 1}}\left( I \right) $$ (6)

      式中:$O$表示待测的目标;$I$ 表示通过光学系统获得的输出结果,即散斑图像;$F$ 表示成像过程的正向模型。逆问题的求解可以看作是一个优化问题:

      $$ O = argmin{\left\| {F\left( O \right) - I} \right\|^2} + \lambda R\left( O \right) $$ (7)

      式中:$R\left( O \right)$是正则项。通过网络强大的特征提取能力可以更好地求出正向模型,$ F(·) $直接建立输入端与输出端的传输关系,从而实现未知目标的重建。

      综上所述,以上三种深度建模原理是目前深度抗散射成像技术的主要理论支撑。从光学传输矩阵角度理解,深度模型是通过网络对散射信号进行相位调制并重建TM,一旦建立该系统的传输矩阵,即可由散斑和传输矩阵求解原始目标信息;从散斑相关成像角度理解,深度建模是结合散斑自相关和原始目标自相关的物理联系,充分利用傅里叶信息建立散斑自相关到原始目标的反向模型,由于自相关物理先验或约束的支撑,网络更具导向性。从问题优化角度理解,深度模型建立了输入端和输出端的关系,可以直接由散斑求解原始目标,但是依赖训练数据量以及网络的数据分析能力。这三种理论从原理上解释了深度学习解决散射成像问题的可行性,为不同网络结构解决散射成像问题打下了坚实的物理基础。

    • 近几年来,基于深度学习的算法在解决抗散射成像的逆问题上展现出强大的活力和潜力[3,1127]。其中,越来越多的工作不断优化网络模型,提高深度学习性能。如图2所示,网络模型通常主要分为三类:常见卷积神经网络(Convolutional Neural Network, CNN)、含时序特征的递归神经网络(Recurrent Neural Network, RNN)和自带博弈过程的生成式对抗网络(Generative Adversarial Network, GAN)。经典的CNN通常由卷积层、池化层、全连接层组成,实质属于多层前馈网络,在图像处理方面有较好的应用。RNN含时序特征,可以同时对同一目标的不同测量值进行训练。在GAN的训练过程中,生成器逐渐逼近真实数据,判别器则不断提高生成图像真伪的能力,自带博弈过程使GAN网络具有强大的应用潜力。许多研究工作基于学习任务灵活应用三类经典网络,并在此基础上对网络进行优化。

      图  2  不同种类的神经网络:(a) CNN[3];(b) RNN[19];(c) GAN[9]

      Figure 2.  Different kinds of neural networks: (a) CNN[3]; (b) RNN[19]; (c) GAN[9]

      研究人员分别利用上述三种神经网络,讨论了网络参数、特征层连接方式或损失函数等对逆散射任务求解的影响。如Turpin等人利用神经网络进行波前矫正,在多类散射介质中(毛玻璃,光纤,和纸张)均能实现目标重聚焦[27]。与CNN相比,基于全连接结构的单层神经网络(Single-layer Neural Networks, SLNN)更符合散射的线性特性,实现了质量更好的聚焦结果。但这种单层结构的网络输入输出之间仅有一层神经元,其线性结构限制了应用任务的复杂性。Li等人基于U-Net网络结构,首次提出了用于透过散射介质成像的卷积神经网络IDiffNet,并采用负皮尔逊相关系数(Negative Pearson correlation coefficient, NPCC)作为损失函数,实现了目标重建[11]。如图2(a)所示,该网络采用密集连接的方式将前后特征层连接,实现特征复用,减少了参数量。此外,通过在编码器和解码器之间增加6个跳层连接,将编码器初识特征层中的高频信息传递至解码器。然而该方法受限于弱散射条件下的成像。Kang等人利用RNN训练不同角度的动态散斑序列,提取相邻散斑间的相关性特征,恢复了隐藏在动态散射介质中的目标[28]。Sun等人针对动态散射介质的成像问题,通过挖掘经动态介质传输的散斑特性,基于GAN网络提出了一种先分类后重建的方法[17]。这种学习策略的重建效果依赖于分类网络的准确率,且训练时间和内存需求随动态介质的增加而增加。在Sun等人的后续工作中,基于GAN网络进一步地研究了低光子通量下的动态散射介质成像问题[22]。优化了损失函数,即采用NPCC和交叉熵约束梯地下降方向。Guo等人提出了一种PDSNet(Pragmatic De-scatter ConvNet),该CNN网络中将常用的二维卷积改为两个一维卷积,在保证提取特征的同时,降低了计算复杂度,提高网络计算效率[29]。Cheng等人在利用GAN进行超分辨率重建时,在生成器中上采样部分采用亚像素卷积,将低分辨率特征信息扩展至高分辨率空间,实现低分辨率散斑到高分辨率目标间的建模[30]

      目前,相对于含有时序特征的RNN,CNN和GAN更广泛应用于逆散射成像的建模中。结合建模任务或数据特征,研究人员进一步地对这两类网络进行优化。根据将二值化目标进行像素分类的成像任务,Li等人基于U-Net搭建网络,将编码器最后一层输出设置为双通道。如图3(a)所示,该网络通过4个跳层连接保留高频信息,相应地采用交叉熵作为约束函数训练网络,成功分离出目标与背景,实现了同类散射介质的泛化[3]。该方法主要适用于稀疏分布的图像,对于分布复杂的目标和不同种类散射介质的泛化有一定的局限性。Lai等人基于双目标重建的任务特性,将生成器的解码器设计为双支路,如图3(b)所示[20]。Y型结构的GAN,恢复了隐藏在单帧散斑中不同深度的相邻两个目标。Zheng等人则是将编码器设计为一种底部分支型结构,优化网络的鲁棒性[23]。如图3(c)所示,基于U-Net型结构的CNN将U型底部设计为四条分支,分别提取不同尺寸的特征,实现了在动态散射介质中,重建出高质量字符或简单非字符的原始目标,且对目标或相机的移动有一定的鲁棒性。Song等人基于U-Net网络结构,不仅在编码器与解码器之间添加跳层连接,同时在每一层解码器的输出层增加了注意力机制,使其能够对下采样过程中得到的图像特征再次进行简单的特征提取,恢复经过多模光纤传输的目标[25]。如图3(d)所示,这种注意机制的目的是学习上采样数据的注意权重,并分配最优的权重和偏置信息。该方法显著提高了网络的恢复重建能力和学习迁移能力,在不同传输距离的多模光纤中有较好的鲁棒性。Shi等人基于GAN实现了非配对无监督建模,该网络将生成图像与输入图像间的自相关为约束,提高了网络泛化不同介质和不同类目标的能力[24]

      图  3  基于CNN和GAN的模型优化:(a)解码器输出双通道进行分类[3];(b)解码器采用分支结构提取双目标信息[20];(c)编码器底部分支提取不同尺寸特征[23];(d)解码器增加注意力机制优化上采样特征权重[25]

      Figure 3.  Optimization of models based on CNN and GAN: (a) The decoder outputs dual channels for classification[3]; (b) The decoder uses a branch structure to extract dual-target information[20]; (c) The bottom branch of the encoder extracts features of different sizes[23]; (d) The decoder increases attention mechanism to optimize upsampling feature weights[25]

      近段时间,网络的自适应问题引起了研究人员的关注。如Luo等人基于波前调制设计了一种自适应深度学习框架,通过自适应地调整TFOTNet(Timely-Focusing-Optical-Transformation-Net)最后一层的参数,在短时间内实现了透过散射介质的重聚焦[21],如图4(a)所示。Tahir等人提出了一种动态综合网络(Dynamic Synthesis Network, DSN),通过引入控制网络(Gating Network, GTN)自适应地调整模型权重,适应不同的散射条件[26],如图4(b)所示。

      图  4  网络自适应性:(a)自适应调整输出层参数21;(b)自适应调整模型权重26

      Figure 4.  Adaptability of network: (a) Adaptively adjust the parameters of output layer21; (b) Adaptively adjust the weights of model26

      综上所述,基于三类神经网络的逆散射成像算法中多采用U型结构,通过编码器提取输入数据的特征信息,通过解码器重构出目标信息。其中,RNN网络可以挖掘时序特征和语义特征,在解决动态成像问题方面有独特的优势。但目前针对时序性散斑进行建模的关注点较少,因此基于RNN的逆散射成像学习算法较少,大多采用CNN或GAN。结合任务类别,研究人员不断从网络结构参数、损失函数约束、卷积方式等方面优化学习策略。然而,仅以数据驱动的方式进行建模的学习策略容易过拟合,且网络参量随任务复杂度的增加而增加,建模效率较低。因此,如何以物理知识为先验指导网络学习方向,是实现更轻量、更高效、更智能的网络建模的重要基础。

    • 深度学习强大的映射能力最初被用于从散射信号中恢复不透明介质后的目标结构信息[3, 11],但随着研究的深入,深度学习也被用于针对性地解决散射成像中的不同问题,如图5所示。传统抗散射成像方法通常无法简单有效地恢复出复杂目标的细节信息和光谱信息。当散射介质增厚或在低光子状态下捕获的有效光子数会大幅下降,造成无法从散斑中有效提取目标信息。传统方法有时也需要利用优化算法实现对光束的有效调制。此外,波前调制、基于光学传输矩阵或点扩散函数的方法也无法实现透过动态散射介质成像。本节针对这些目前存在的主要问题,综述深度学习方法在这些问题中的应用,具体应用如图6所示。

      图  5  基于深度学习深度抗散射成像方法的应用

      Figure 5.  Application of deep anti-scattering imaging method based on deep learning

      图  6  不同抗散射成像方法中的神经网络框架。(a) 单帧彩色目标成像方法[7];(b)透过大光学厚度散射介质成像方法[12];(c)单帧大视场复杂目标成像方法[29];(d)利用神经网络实现基于波前调制透过散射介质成像[5]

      Figure 6.  Neural network framework in different anti-scattering imaging methods. (a) Single-frame color target imaging method[7]; (b) Imaging method through scattering media of large optical thickness[12]; (c) Imaging method for complex objects with large field of view using a single frame speckle[29]; (d) Imaging through scattering medium based on wavefront modulation realized by neural network[5]

    • 散射过程的随机性造成散斑中的目标信息混叠严重,复杂目标中的细节信息往往会淹没在混叠信号中。深度学习的方法通过大量数据对散射过程进行学习,利用神经网络模型对散射过程进行表征,在复杂目标(如人脸)重建方面有较为明显的优势[11]。研究者还希望将神经网络建模与物理过程相结合以实现目标重建质量提升[6,29,31-32]。同时,深度学习也可以直接利用散斑信息实现下游任务,如目标定位[33-34]、身份识别[35-36]。光谱作为目标的另一部分重要信息在散射过程中也会发生严重混叠,这种混叠与结构信息的混叠耦合密切,因此深度学习可以利用由多模光纤[37]、毛玻璃[7,38]产生的散射信号同时恢复目标的结构和光谱信息。

    • 当散射介质增厚时光子的路径会更加随机,经过多次散射后,如何从仅包含少量目标信息的散射信号中重建目标也成为一大挑战。深度学习方法不仅可以实现透过大光学厚度的散射介质成像[12],也可以与实现从多孔头盖骨中产生的散斑中提取光声信息[39]。同时也有研究人员探究了不同厚度散射板对成像的影响,并利用神经网络重建了位于两块散射介质间的目标[40]

      介质的厚度、目标的亮度都会影响最终采集到的有效光子数量,目前利用深度学习的方法实现低光子抗散射成像的方法主要分为两类:利用更高灵敏度的探测器、利用物理模型和神经网络结合。单光子雪崩二极管(single-photon avalanche diode, SPAD)因其极高灵敏度常用与弱信号的探测,深度学习方法可以利用由SPAD采集的信息实现在每像素最低约0.4个探测光子的弱光条件下重建原始目标[22,41-42]。此外通过利用单像素成像方法对散斑进行编码和探测可以实现对低光子状态下的目标探测,利用探测所得的一维编码信号对神经网络进行训练也可以实现高保真的目标重建[43]

    • 传统方法如基于波前调制的散射成像方法等需要利用优化算法对光束进行调制以实现光束的聚焦,传统优化算法往往需要长时间优化或迭代。借助于神经网络的优化能力可以实现更快甚至单次调制[27, 44],实现透过散射介质光束聚焦。通过将深度学习和物理先验的结合,最近也实现了透过时空非平稳介质聚焦[21],非侵入地透过散射介质聚焦与成像[5]

    • 深度学习的方法因为可以以更高速度重建出更高质量的目标,因此被广泛应用,但该方法需要大量的数据对神经网络内部参数进行优化,当待成像散射介质与训练所用散射介质的特性发生较大差异时会导致重建质量的下降,因此如何透过动态/未知的散射介质成像也是一个挑战。通常情况下,直接增加训练所需的数据及数据获取场景可以增加模型的泛化性,通过端到端的训练可以实现透过动态散射介质成像[23,45-46]。此外通过神经网络对不同属性的散射介质进行分类,并选择不同的重建子网络也可以实现对宏观动态变化的散射介质后目标进行成像[3,17]。对于高动态散射介质可以采用减少曝光时间的方法获取散斑,当曝光时间下降,介质可以被视为准静态介质,但是此时相机采集到的散斑信噪比会发生下降,通过与深度学习的结合也可以实现单帧的高速目标重建[47]。此外将物理模型与深度学习的结合可以有效减少训练所需的数据,以提升模型的泛化性[6,26],也能够通过非监督的训练同时提升模型对介质和目标类型的鲁棒性[24]

      基于深度学习方法有着更为强大的优化能力,在不同问题的解决上都表现出相较于传统方法的优势,可以实现更快速、更准确的目标结构、光谱、位置的重建。虽然其本身存在模型泛化的问题,但越来越多基于物理过程的模型极大地解决了这一问题。随着物理-学习这一耦合的进一步深入,基于深度学习方法在抗散射成像中不同问题的解决上将会发挥更大的作用。

    • 深度学习在抗散射计算成像领域展现出了巨大的潜力和优势,无需测量系统输入输出模式,仅通过拟合批量的强度数据即可完成透过散射介质的目标重构[48]。同时纯数据驱动的学习方法也带来一系列的问题,例如由特定数据集训练得到的数据模型对未知场景的泛化能力较差、网络结构的选择趋于经验主义以及缺乏对特定物理问题有针对性的优化求解等[49]。基于物理原理的优化方法可以通过与特定的物理场景精确建模,实现结果可预测的问题准确求解[50]。因此,将物理原理与深度学习方法进行联合建模可以将物理模型和数据模型的优势充分结合,是解决复杂计算成像问题的有效手段,也是解决复杂散射环境下目标重构的重要途径之一。

      图7(a)~(d)所示,基于物理原理在深度学习方法中承担的角色和任务,将物理感知学习联合建模方法分为四种不同的形式分别进行论述,包括物理融合方法、物理约束方法、物理残差方法和物理嵌入方法。相应的,利用相关感知学习方法的具体应用如图8(a)~(d)所示,分别为图7对应方法的具体应用。

      图  7  基于物理模型与数据模型联合的感知学习框架概述。(a) 物理融合方法;(b) 物理约束方法;(c) 物理残差方法;(d) 物理嵌入方法

      Figure 7.  An overview of the physics-aware learning framework combined with physical model and data model. (a) Physical fusion method; (b) Physical regularization method; (c) Residual physics method; (d) Embedded physics method

      图  8  基于物理模型与数据模型联合的感知学习方法范例。(a) 融合ME透过未知介质抗散射成像方法[6];(b) 散斑自相关约束抗散射目标域泛化成像方法[24];(c) 物理残差优化的三维立体感知物理学习方法[51];(d) 物理学习设计编码照明硬件优化的定量相位成像方法[52]

      Figure 8.  Examples of the physics-aware learning framework combined with physical model and data model. (a) Imaging through unknown diffusers via fusing the ME prior [6]; (b) Imaging unknown target through scattering media via autocorrelation constraint [24]; (c) Untrained deep learning-based 3 D sensing method via residual physics optimization [51]; (d) Optimized coded-illumination for quantitative phase imaging via Physics-based learning method [52]

    • 将基于物理模型的初始结果作为网络的输入或者作为网络分支的部分输入进行关键特征提取,可以为数据模型的训练学习提供正确的方向,大大减小了网络对复杂逆问题的优化求解难度。如图8(a)所示,在抗散射计算成像领域,通过引入基于记忆效应(ME)的散斑相关原理作为已知的物理先验信息对散斑数据进行预处理,可以大大提升深度学习在不同散射场景下的泛化能力,实现复杂目标在统计特性不确定的散射条件下的准确重构[6]。得益于物理模型较好的场景泛化能力,物理融合的深度学习方法同样也应用到了彩色宽谱抗散射成像[7]和光学加密等领域[8,53]

    • 利用一组物理约束中的正则化项实现数据模型的优化求解,可以有效提高深度学习方法对物理层面高维信息的特征提取。正则化项可通过损失函数的形式部分显式附加在计算模型中[54],也可以在物理重建过程中嵌入[55]。通过将散斑自相关作为物理约束和非视域成像深度学习框架的有效结合,可以在高速摄影的情况下得到准确的实时重建结果[56]。如图8(b)所示,将基于ME的自相关方程作为网络训练的代价函数用于散斑相关成像,可以提高网络对不同目标域的类别泛化能力[24]

    • 基于学习的网络模型的输出结果与物理模型的输出结果在训练过程中进行同步约束调整,使得神经网络学习到物理模型相应的匹配模式和优化过程。在实际应用中大多以精确的物理模型参与代价函数优化进行梯度回传,在准确的数学物理模型和公式表达作用下实现无监督的计算求解,已成功用于衍射相位成像[57]、无透镜压缩摄影[58]和三维立体感知[51]等领域。如图8(c)所示,为使用物理残差优化学习的三维立体感知自监督测量方法。

    • 将物理模型或物理参数嵌入网络的结构设计中,其中物理模型充当主干结构,神经网络进一步学习优化模型的参数,在训练过程中可以插入中间损失确保网络模型学习到与物理过程意义相符的结构参数。Kellman等人[52]通过结合测量方案的物理特性和非线性的重构算法,实现有效的硬件参数优化设定,在使用更少的训练样本情况下实现高效准确的定量相位成像。基于物理嵌入的方法还成功应用在变分网络和展开网络等领域中[59-60]。如图8(d)所示,为基于硬件物理嵌入学习的优化编码硬件照明的定量相位成像方法。

      在基于深度学习的抗散射计算成像研究领域中,目前仍主要聚焦在前两种物理感知的学习方法中,挖掘更多的物理约束先验进行物理残差优化学习和联合硬件物理模型优化求解则需进一步深入研究,以实现非侵入高效高保真目标学习重构,促进相关成像技术可应用于实际的复杂散射场景中。

      得益于物理模型具有可解释性强和精确的优化求解方案,基于学习的抗散射成像方法逐渐倾向于物理模型和数据模型互驱动的网络架构发展。充分利用物理先验驱动数据学习的同时,用数据挖掘规则学习补充并完善散射物理理论,两者相辅相成相互促进,从而实现传统抗散射计算成像技术的进一步发展和视域边界的突破。

    • 文章从传输矩阵、散斑相关及逆问题优化求解的角度对基于深度学习透过散射介质成像的基本原理进行阐述。总结了卷积神经网络、递归神经网络和自带博弈过程的生成式对抗网络在基于深度学习抗散射成像领域的应用,指出了仅以数据驱动方式进行建模的学习策略的不足。综述了深度学习方法在针对复杂目标、厚散射介质及弱光、模型泛化等问题的解决思路和方法,进一步指出物理模型和深度学习方法的结合有助于提升模型的鲁棒性和泛化性。最后从物理融合、物理约束、物理残差和物理嵌入四个方面综述了目前物理感知学习联合建模的方法。

      未来基于深度学习的散射成像方法与物理模型的结合一定会更加紧密,通过物理与数据联合建模优化的过程弥补传统抗散射成像方法的不足,同时神经网络则不再简单地用于数据间的拟合,而越来越有可能被作为优化工具用于求解从混叠数据中提取和重建信号这一逆问题,同时深度学习的优化求解能力也有可能用于传统散射成像方法中的迭代过程,以实现更快、更准确、更大视场、更远视距的散射成像。

参考文献 (60)

目录

    /

    返回文章
    返回