-
当散射介质的入射光转动一个小的角度时,其出射光也随着转动相同的角度,证明了在光学记忆效应范围内,即使光通过高度无序的散射介质时发生散射,出射光场仍然保留了入射光束所携带的信息[16]。因此,在光学记忆效应范围内的散射系统看作一个具有空间平移不变性的光学成像系统,此时获取的散斑可以表示为$I = O*S$,其中$I$为获取的散斑,$O$为目标,$S$为系统的点扩散函数,“$*$”为卷积运算符。利用相机采集到的散斑图案,并利用卷积定理可以得到:
$$ I \star I = (O * S) \star ({{O}} * S) = ({{O}} \star O) * (S \star S) $$ (1) 式中: “$ \star $”表示自相关运算符。由公式(1)可知,散斑的自相关可以描述为介质后方目标自相关与光学散射系统点扩散函数自相关之间的卷积,并由于点扩散函数的自相关,$(S \star S)$可以近似为$\delta $函数,因此公式(1)可以进一步化简为:
$$ I \star I = ({{O}} \star O) + C $$ (2) 式中:C为计算散斑自相关时产生的背景项[7]。采集到的散斑自相关计算公式如下:
$$ I(x,y) \star I(x,y) = F{T^{ - 1}}\{ |FT\{ I(x,y)\} {|^2}\} $$ (3) 根据维纳-辛钦定理,散斑的功率谱可以表示为:
$$ {S_I}(x,y) = |F{T^{ - 1}}\{ I(x,y) \star I(x,y)\} {|^2} = \left| {FT\{ I(x,y)\} } \right| $$ (4) 因此,在光学记忆效应范围内,由公式(2)和(4)可得目标与散斑的功率谱关系为:
$$ |FT\{ I(x,y)\} | = |FT\{ O(x,y)\} | + B $$ (5) 式中:B为计算散斑功率谱时产生的背景干扰项。当目标超出光学记忆效应范围时,目标$O$可以被分为多个记忆效应范围内的子目标${O_i}$[10],公式(5)可以进一步改写为:
$$ |FT\{ I(x,y)\} | = |\sum\limits_{i = 1}^n {FT\{ {O_i}(x,y)} \} | + {B'} $$ (6) 散射过程可以看作对目标进行了随机调制,探测器采集到的散斑图案不同的子区域具有形状及结构不同的散斑颗粒。因此不同的子散斑区域可以表示不同的散射调制过程。目前,基于数据驱动的深度学习方法大多截取拍摄到的散斑的中心部分区域作为网络的输入进行训练和验证[14-15]。如图1(a)所示,首先使用低通滤波对原始散斑的包络线进行处理以得到平整的散斑,可以有效降低因散斑曝光不均匀带来的背景项干扰[7]。由图1(c)中曲线可以看出,同一帧散斑不同子区域的散斑图案差异明显,基于散斑相关原理进行功率谱计算,对应的功率谱具有相似的主体结构信息。同时,不同子区域的散斑功率谱也有着明显的差异,表征了不同子区域对应着不同的散射调制过程。得到隐藏目标的功率谱后,通过Fienup型相位恢复算法对不同的子区域包含的目标信息进行重构[7],结果如图1(b)中第三行所示,每一子区域散斑都包含隐藏目标的完整信息。因此,利用同一帧散斑的不同子区域可以帮助网络模型对随机散射过程进行更加完备的表征。
图 1 同一帧散斑不同子区域统计特性分析。(a) 散斑预处理及子区域选择示意图;(b) 四个不同子区域的散斑及对应的功率谱和重建结果;(c) 归一化后的功率谱图案虚线对应的强度值
Figure 1. Statistical characteristics analysis of the different sub-regions of one speckle pattern. (a) Schematic of speckle pre-processing step and selection of different sub-regions; (b) Speckle of four different sub-regions and corresponding power spectrum and reconstruction results; (c) Intensity value corresponding to the dotted line of the normalized power spectrum pattern
-
基于物理感知学习的相位恢复方法通过加入散射物理先验知识,充分发挥深度学习的优势,只使用传统的U-Net卷积神经网络结构就可以达到准确的重建结果,弱化了对网络结构设计的要求。如图2所示,基于物理感知的相位恢复重建方法原理图主要包含基于散斑相关的功率谱估计预处理模块和神经网络数据拟合模块。基于散斑的冗余特性进行数据增强,仅通过利用一块薄散射介质对应的数据进行模型训练,便可实现对复杂目标进行高保真准确重建的效果。
图 2 基于物理感知学习的高效相位恢复算法原理图。(a) 散斑功率谱估计预处理模块;(b) 进行目标重建的神经网络后处理模块
Figure 2. Schematic of the physics-aware learning method for efficient phase retrieval algorithm. (a) Speckle power spectrum pre-processing module; (b) Neural network post-processing module for object recovery
通过在学习方法中嵌入散射物理模型可以有效挖掘散斑中普适性的先验规律和有效信息,即使利用传统的U-net卷积神经网络也可以对复杂目标在未知散射场景中进行高质量相位恢复和重建。基于物理感知的学习框架使用自适应矩阵优化器进行迭代优化,使用负皮尔逊系数(NPCC)和均方误差(MSE)组合的联合损失函数作为网络训练代价函数:
$$ Loss = Los{s_{NPCC}} + Los{s_{MSE}} $$ (7) $$ \begin{split} &Los{s_{NPCC}} =\\ &\frac{{ - 1 \times \sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {[i(x,y) - \hat i(x,y)][I(x,y) - \hat I(x,y)]} } }}{{\sqrt {\sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {{{[i(x,y) - \hat i(x,y)]}^2}} } } \sqrt {\sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {{{[I(x,y) - \hat I(x,y)]}^2}} } } }} \end{split}$$ (8) $$ Los{s_{MSE}} = {\sum\nolimits_{x = 1}^w {\sum\nolimits_{y = 1}^h {[\tilde i(x,y) - I(x,y)]} } ^2} $$ (9) 式中:$i$和$I$分别为模型输出结果图像和相对应的真实图像;$\hat i$和$\hat I$分别为对图像求均值运算;$\tilde i$表示对输出图像做归一化处理。基于物理感知学习框架的训练和测试环境为Ubuntu 16.04系统下的PyTorch 1.4.0框架,硬件计算平台为1张Titan RTX图形处理单元和i9-9940 X中央处理器。
-
数据采集装置图如图3所示,主要包括一个660 nm波段的激光器和旋转毛玻璃(RD)作为非相干照明光源。一个数字微镜器件(DMD,1024×768 pixel)来编码显示八位的目标图像信息并配合一个全内反射(TIR)棱镜折转光路便于散斑数据的采集。为了更好贴合实用场景,实验中使用的一个工业相机(acA1920-155 μm,Basler AG,Ahrensburg,Germany)作为探测器,而不是传统实验中大多使用具有更高成像质量和性能的科学级相机[8-9, 15]。使用工业相机采集的灵敏度更低、数据位深更小、成像质量相对较差的散斑图案也从侧面反映出文中方法的有效性。笔者设置DMD目标面与散射介质的距离为30 cm,散射介质与相机的距离为8 cm,光阑直径为8 mm。散射介质选取了三块具有不同统计特性的毛玻璃,一块Thorlabs 的220 grit毛玻璃(D1),一块Thorlabs的 120 grit毛玻璃(D2)和一块Edmund的220 grit毛玻璃(D3)。其中D1对应见过的目标(Seen objects)散斑数据作为训练数据,D2和D3对应所有目标的散斑数据作为未知散射场景的数据进行测试。
文中根据实验需求进行相应的数据采集,主要包括简单字符数据集和复杂人脸目标数据。首先随机挑选600张字符目标对实验方案进行简单验证,证明方法的可行性。进一步通过复杂人脸目标对方法的有效性进行验证和实验分析。从FEI Face数据集中选择400张正脸数据,其中前360张作为Seen objects,后40张作为未见过的目标(Unseen objects)。在散斑数据处理过程中,选择所有未知散射场景的中心256×256 pixel散斑进行功率谱估计预处理。为了利用散斑信息的冗余性对重建进行增强,选择D1的中心区域256×256 pixel和周围上、下、左、右、左上、左下、右上和右下偏移量为256个像素对原始散斑进行子区域的截取,因此共九个子区域散斑图做功率谱估计预处理。最后统一将所有计算得到的功率谱缩放至128×128作为网络训练和测试的输入数据。
-
完成对散斑数据的采集和预处理后,对文中提出的基于物理感知学习的高效相位恢复方法进行验证和分析。笔者选取并展示了部分成像结果作为直观评价和分析,同时选择平均绝对误差(MAE)、结构相似性(SSIM)和峰值信噪比(PSNR)三个评价指标的统计平均作为客观指标来评价重建结果。通过主观成像结果的直观展示和客观定量评价指标详细地讨论和分析该方法的泛化重建能力和模型的鲁棒性。
首先使用简单字符数据对文中方法的有效性进行实验验证。基于散斑相关原理的物理感知的学习方法可以有效提取不同散射场景下的统计不变量,减少因散射介质随机调制造成的信息扰乱分布差异较大的问题。如图4所示,其中呈现出的未加物理先验的重建结果为挑出的相对较好的恢复结果,对应用物理先验感知的深度学习方法的重建结果都可以进行准确的目标恢复。通过定量指标对记忆效应范围内的目标重建结果进行评价,未加物理先验信息的重建指标为0.448 9的结构相似性和11.01 dB的峰值信噪比,有效利用物理先验信息的重建指标为0.897 5的结构相似性和29.67 dB的峰值信噪比。即使是简单的字符数据通过直接的数据驱动方法在未知散射场景的成像效果也非常有限,实验证明了文中提出方法相对纯数据驱动方法的有效性。同时,基于深度学习强大的信息挖掘和拟合能力,当目标超出光学记忆效应范围1.2倍时,文中所提出的方法依然可以准确地重建出目标信息,与基于散斑相关的物理感知学习方法有相同的规律和结论[10]。
图 4 未利用和有效利用物理先验信息对透过未知散射介质成像的结果比较
Figure 4. Results comparison without or with physics-prior information for imaging through unknown diffusers
进一步选择具有更为复杂的结构信息的人脸数据集进行实验验证。如图5所示,即使是只利用一块散射介质的散斑数据,通过有效利用散斑相关性和冗余性物理先验,就可以实现对透过具有不同统计特性散射介质的高保真准确重建。从重建结果可以看出,对于Seen objects,即使是面部的微表情和眉眼等细节特征都可以清晰的辨别出来。对于Unseen objects,由于采集数据的样本量有限和目标的高度复杂特性,只能重建出目标的大致轮廓信息,目标的细节信息的提升还需要进一步提升和研究。
图 5 人脸数据透过不同散射介质的泛化成像结果
Figure 5. Scalable imaging results of human faces data through different diffusers
由于携带目标信息的光信号通过散射介质的随机调制造成相机获取的散斑信息是冗余的,每一块子区域散斑都包含原始目标的信息。如图6所示,使用不同数量D1的散斑子区域进行训练,选择D2作为测试场景,进而对散斑冗余性相关规律进行验证和分析。可以看出,通过对散斑冗余性的充分利用,随着选取散斑区域的增加,文中方法的重建能力更强。对应图6重建结果的定量评价指标如表1所示。选择子区域的多少有着明显的影响,空间结构更为复杂的人脸数据需要较多的子区域个数才可以取得相对稳定的重建结果(五块)。同时选择较大的散斑子区域768×768 pixel,使目标的功率谱估计更加准确,具有扰动更小的背景项[7],重建效果相比使用一块256×256 pixel子区域的重建效果更好。在使用散斑像素总数相同的情况下,选择九块256×256 pixel子区域相对一块768×768 pixel子区域可以更加可靠和准确地对人脸复杂数据进行重建。进一步选择一帧的全部散斑进行功率谱估计,相对256×256 pixel和768×768 pixel尺寸的子区域选择,在只使用一个子区域时具有最好的重建效果和重建指标。但是使用全部散斑进行计算的功率谱估计缺乏对不同散射状态进行表征,导致学习模型对未知场景的泛化能力有限,重建准确度相对使用多块子区域的重建效果要差。因此,基于散斑冗余性使用多个子区域散斑可以帮助感知模型学到更多不同散射状态下的数据表征过程,实现更加准确的复杂目标泛化重建。
图 6 利用散斑冗余性理论的对比实验结果(使用不同的散斑子区域个数和每个子区域大小对泛化重建成像能力有着不同的影响)
Figure 6. Results comparison using speckle redundancy theory(Different numbers of sub-region speckles used and every sub-region size have different effect on scalable reconstruction imaging)
表 1 使用不同子区域数量以及子区域散斑大小时对应的重建指标
Table 1. Reconstruction indicators corresponding to the use of different numbers of sub-region and different sizes of sub-region speckles
Size of sub-region speckles/pixel Number of sub-region MAE SSIM PSNR/dB 256×256 1 0.0497 0.6667 20.41 3 0.0375 0.7922 22.59 5 0.0192 0.9138 29.14 7 0.0157 0.9361 31.45 9 0.0100 0.9631 37.21 768×768 1 0.0379 0.7260 22.89 3 0.0174 0.9247 30.18 1 920×1200 1 0.0301 0.8107 24.96
Efficient learning-based phase retrieval method through unknown scattering media
-
摘要: 透过散射介质对目标进行准确的重建仍然是阻碍人们对深层生物组织成像分析和深空天文观测的主要挑战之一。基于深度学习的散射计算成像方法虽然在成像质量和效率等方面取得了很大的进展,但是针对实际系统中散射介质状态不固定,目标结构具有较高复杂度以及可获取的训练散射数据有限的情况下,单纯利用数据驱动的方法已无法进行准确高效的重建。将散斑相关原理和卷积神经网络强大的数据挖掘和映射能力进行有效的结合,进一步挖掘和利用散斑所包含的冗余信息,实现了仅利用一块薄散射介质对应的散斑数据即可实现透过具有不同统计特性散射介质的复杂目标重构。该方法针对实际散射场景复杂多变和训练样本数据有限的情况,实现了对复杂目标的高质量恢复,有力地推动了基于物理感知的学习方法在实际散射场景中的应用。Abstract: Imaging through scattering media with high fidelity is still one of the main challenges in imaging analysis of deep biological tissues and distant astronomical observations. The computational imaging method based on deep learning has made significant progress in reconstruction quality and other aspects. However, when the scattering media in the actual system is unstable and the structure of objects is complex, and the obtained scattering dataset for training is limited, the pure data-driven method cannot realize efficient reconstruction. An efficient imaging method was proposed in reconstructing complex objects through unknown thin scattering media with different statistical properties, which was based on the effective combination of the speckle correlation theory and the powerful data mining and mapping capabilities. More information had been unearthed with the redundancy of the speckles and had been fully used with the neural network. This method obtained high-quality recovery of complex objects with complex scattering scenes and the training set is limited. This approach can promote the applications of physics-aware learning in practical scattering scenes.
-
Key words:
- scattering imaging /
- speckle redundancy /
- power spectrum estimation /
- deep learning /
- phase retrieval
-
图 1 同一帧散斑不同子区域统计特性分析。(a) 散斑预处理及子区域选择示意图;(b) 四个不同子区域的散斑及对应的功率谱和重建结果;(c) 归一化后的功率谱图案虚线对应的强度值
Figure 1. Statistical characteristics analysis of the different sub-regions of one speckle pattern. (a) Schematic of speckle pre-processing step and selection of different sub-regions; (b) Speckle of four different sub-regions and corresponding power spectrum and reconstruction results; (c) Intensity value corresponding to the dotted line of the normalized power spectrum pattern
表 1 使用不同子区域数量以及子区域散斑大小时对应的重建指标
Table 1. Reconstruction indicators corresponding to the use of different numbers of sub-region and different sizes of sub-region speckles
Size of sub-region speckles/pixel Number of sub-region MAE SSIM PSNR/dB 256×256 1 0.0497 0.6667 20.41 3 0.0375 0.7922 22.59 5 0.0192 0.9138 29.14 7 0.0157 0.9361 31.45 9 0.0100 0.9631 37.21 768×768 1 0.0379 0.7260 22.89 3 0.0174 0.9247 30.18 1 920×1200 1 0.0301 0.8107 24.96 -
[1] Yang Hong, Huang Yuanhui, Gong Changmei, et al. Advances on techniques of breaking diffraction limitation using scattering medium [J]. Chinese Optics, 2014, 7(1): 1. (in Chinese) [2] Miao Shaofeng, Yang Hong, Huang Yuanhui, et al. Research progresses of photoacoustic imaging [J]. Chinese Optics, 2015, 8(5): 699. (in Chinese) doi: 10.3788/co.20150805.0699 [3] He X, Jia H H, Chang S L, et al. The simulation of NLOS light propagation for multiple-scattering instance [J]. Optics and Precision Engineering, 2009, 17(2): 246-250. (in Chinese) [4] Xu Kaida, Jin Weiqi, Liu Jing, et al. Non-line-of-sight imaging based on laser range-gated imaging technology [J]. Infrared and Laser Engineering, 2012, 41(8): 2073-2078. (in Chinese) [5] Vellekoop I M, Mosk A P. Focusing coherent light through opaque strongly scattering media [J]. Optics Letters, 2007, 32(16): 2309-2311. doi: 10.1364/OL.32.002309 [6] Popoff S M, Lerosey G, Carminati R, et al. Measuring the transmission matrix in optics: an approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi: 10.1103/PhysRevLett.104.100601 [7] Katz O, Heidmann P, Fink M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi: 10.1038/nphoton.2014.189 [8] Wu T, Katz O, Shao X, et al. Single-shot diffraction-limited imaging through scattering layers via bispectrum analysis [J]. Optics Letters, 2016, 41(21): 5003. doi: 10.1364/OL.41.005003 [9] Lyu M, Wang H, Li G, et al. Learning-based lensless imaging through optically thick scattering media [J]. Advanced Photonics, 2019, 1(3): 036002. [10] Zhu S, Guo E, Gu J, et al. Imaging through unknown scattering media based on physics-informed learning [J]. Photonics Research, 2021, 9(5): B210-B219. doi: 10.1364/PRJ.416551 [11] Zheng Shanshan, Yang Wanqin, Situ Guohai. Application of computational optical imaging in scattering [J]. Infrared and Laser Engineering, 2019, 48(6): 0603005. (in Chinese) doi: 10.3788/IRLA201948.0603005 [12] Zuo Chao, Feng Shijie, Zhang Xiangyu, et al. Deep learning based computational imaging: status, challenges, and future [J]. Acta Optica Sinica, 2020, 40(1): 0111003. (in Chinese) doi: 10.3788/AOS202040.0111003 [13] Zhu S, Guo E, Cui Q, et al. Locating and imaging through scattering medium in a large depth [J]. Sensors, 2021, 21(1): 90. [14] Guo E, Sun Y, Zhu S, et al. Single-shot color object reconstruction through scattering medium based on neural network [J]. Optics and Lasers in Engineering, 2021, 136: 106310. doi: 10.1016/j.optlaseng.2020.106310 [15] Li Y, Xue Y, Tian L. Deep speckle correlation: a deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190. doi: 10.1364/OPTICA.5.001181 [16] Liu H, Liu Z, Chen M, et al. Physical picture of the optical memory effect [J]. Photonics Research, 2019, 7(11): 1323-1330. doi: 10.1364/PRJ.7.001323