-
完成对散斑数据的采集和预处理后,对文中提出的基于物理感知学习的高效相位恢复方法进行验证和分析。笔者选取并展示了部分成像结果作为直观评价和分析,同时选择平均绝对误差(MAE)、结构相似性(SSIM)和峰值信噪比(PSNR)三个评价指标的统计平均作为客观指标来评价重建结果。通过主观成像结果的直观展示和客观定量评价指标详细地讨论和分析该方法的泛化重建能力和模型的鲁棒性。
首先使用简单字符数据对文中方法的有效性进行实验验证。基于散斑相关原理的物理感知的学习方法可以有效提取不同散射场景下的统计不变量,减少因散射介质随机调制造成的信息扰乱分布差异较大的问题。如图4所示,其中呈现出的未加物理先验的重建结果为挑出的相对较好的恢复结果,对应用物理先验感知的深度学习方法的重建结果都可以进行准确的目标恢复。通过定量指标对记忆效应范围内的目标重建结果进行评价,未加物理先验信息的重建指标为0.448 9的结构相似性和11.01 dB的峰值信噪比,有效利用物理先验信息的重建指标为0.897 5的结构相似性和29.67 dB的峰值信噪比。即使是简单的字符数据通过直接的数据驱动方法在未知散射场景的成像效果也非常有限,实验证明了文中提出方法相对纯数据驱动方法的有效性。同时,基于深度学习强大的信息挖掘和拟合能力,当目标超出光学记忆效应范围1.2倍时,文中所提出的方法依然可以准确地重建出目标信息,与基于散斑相关的物理感知学习方法有相同的规律和结论[10]。
Figure 4. Results comparison without or with physics-prior information for imaging through unknown diffusers
进一步选择具有更为复杂的结构信息的人脸数据集进行实验验证。如图5所示,即使是只利用一块散射介质的散斑数据,通过有效利用散斑相关性和冗余性物理先验,就可以实现对透过具有不同统计特性散射介质的高保真准确重建。从重建结果可以看出,对于Seen objects,即使是面部的微表情和眉眼等细节特征都可以清晰的辨别出来。对于Unseen objects,由于采集数据的样本量有限和目标的高度复杂特性,只能重建出目标的大致轮廓信息,目标的细节信息的提升还需要进一步提升和研究。
由于携带目标信息的光信号通过散射介质的随机调制造成相机获取的散斑信息是冗余的,每一块子区域散斑都包含原始目标的信息。如图6所示,使用不同数量D1的散斑子区域进行训练,选择D2作为测试场景,进而对散斑冗余性相关规律进行验证和分析。可以看出,通过对散斑冗余性的充分利用,随着选取散斑区域的增加,文中方法的重建能力更强。对应图6重建结果的定量评价指标如表1所示。选择子区域的多少有着明显的影响,空间结构更为复杂的人脸数据需要较多的子区域个数才可以取得相对稳定的重建结果(五块)。同时选择较大的散斑子区域768×768 pixel,使目标的功率谱估计更加准确,具有扰动更小的背景项[7],重建效果相比使用一块256×256 pixel子区域的重建效果更好。在使用散斑像素总数相同的情况下,选择九块256×256 pixel子区域相对一块768×768 pixel子区域可以更加可靠和准确地对人脸复杂数据进行重建。进一步选择一帧的全部散斑进行功率谱估计,相对256×256 pixel和768×768 pixel尺寸的子区域选择,在只使用一个子区域时具有最好的重建效果和重建指标。但是使用全部散斑进行计算的功率谱估计缺乏对不同散射状态进行表征,导致学习模型对未知场景的泛化能力有限,重建准确度相对使用多块子区域的重建效果要差。因此,基于散斑冗余性使用多个子区域散斑可以帮助感知模型学到更多不同散射状态下的数据表征过程,实现更加准确的复杂目标泛化重建。
Figure 6. Results comparison using speckle redundancy theory(Different numbers of sub-region speckles used and every sub-region size have different effect on scalable reconstruction imaging)
Size of sub-region speckles/pixel Number of sub-region MAE SSIM PSNR/dB 256×256 1 0.0497 0.6667 20.41 3 0.0375 0.7922 22.59 5 0.0192 0.9138 29.14 7 0.0157 0.9361 31.45 9 0.0100 0.9631 37.21 768×768 1 0.0379 0.7260 22.89 3 0.0174 0.9247 30.18 1 920×1200 1 0.0301 0.8107 24.96 Table 1. Reconstruction indicators corresponding to the use of different numbers of sub-region and different sizes of sub-region speckles
Efficient learning-based phase retrieval method through unknown scattering media
doi: 10.3788/IRLA20210889
- Received Date: 2021-11-24
- Rev Recd Date: 2022-01-25
- Available Online: 2022-03-04
- Publish Date: 2022-02-28
-
Key words:
- scattering imaging /
- speckle redundancy /
- power spectrum estimation /
- deep learning /
- phase retrieval
Abstract: Imaging through scattering media with high fidelity is still one of the main challenges in imaging analysis of deep biological tissues and distant astronomical observations. The computational imaging method based on deep learning has made significant progress in reconstruction quality and other aspects. However, when the scattering media in the actual system is unstable and the structure of objects is complex, and the obtained scattering dataset for training is limited, the pure data-driven method cannot realize efficient reconstruction. An efficient imaging method was proposed in reconstructing complex objects through unknown thin scattering media with different statistical properties, which was based on the effective combination of the speckle correlation theory and the powerful data mining and mapping capabilities. More information had been unearthed with the redundancy of the speckles and had been fully used with the neural network. This method obtained high-quality recovery of complex objects with complex scattering scenes and the training set is limited. This approach can promote the applications of physics-aware learning in practical scattering scenes.