Volume 49 Issue 10
Nov.  2020
Turn off MathJax
Article Contents

Qiu Xuejing, Zhao Wang, Yang Chao, Cheng Tao, Wang Shuai, Xu Bing. A single-frame deep learning phase retrieval algorithm based on defocus grating[J]. Infrared and Laser Engineering, 2020, 49(10): 20200273. doi: 10.3788/IRLA20200273
Citation: Qiu Xuejing, Zhao Wang, Yang Chao, Cheng Tao, Wang Shuai, Xu Bing. A single-frame deep learning phase retrieval algorithm based on defocus grating[J]. Infrared and Laser Engineering, 2020, 49(10): 20200273. doi: 10.3788/IRLA20200273

A single-frame deep learning phase retrieval algorithm based on defocus grating

doi: 10.3788/IRLA20200273
  • Received Date: 2020-07-10
  • Rev Recd Date: 2020-08-15
  • Available Online: 2020-11-03
  • Publish Date: 2020-11-03
  • Aiming at drawbacks of slow convergence rate and multiple measuring on focal or defocus plane by CCD in phase diversity algorithm, a single-frame deep learning phase retrieval algorithm based on defocus grating was proposed. Algorithm used a defocus grating to modulate incident wavefront, far-field intensity distribution of focal and positive/negative defocus plane can be acquired on focal plane of lens at the same time. In addition, convergence rate was improved when algorithm applied CNN to replace multiple perturbation optimization process. Numerical simulations indicate that the proposed method can achieve precise high-speed wavefront reconstruction with a single far-field intensity distribution, root mean square (RMS) of residual wavefront is 6.7% of that of incident wavefront, computing time for algorithm to perform wavefront reconstruction can be less than 0.6 ms.
  • [1] Fienup J R, Marron J C, Schulz T J, et al. Hubble Space Telescope characterized by using phase-retrieval algorithms [J]. Applied Optics, 1993, 32(10): 1747. doi:  10.1364/AO.32.001747
    [2] Nicolas Védrenne, Mugnier Laurent M, Vincent Michau, et al. Laser beam complex amplitude measurement by phase diversity [J]. Optics Express, 2014, 22(4): 4575-4589. doi:  10.1364/OE.22.004575
    [3] Gao C, Zhang S, Fu S, et al. Adaptive optics wavefront correction techniques of vortex beams [J]. Infrared and Laser Engineering, 2017, 46(2): 0201001. doi:  10.3788/IRLA20174602.0001
    [4] Cheng H, Xiong B, Wang J, et al. Phase retrieval technology based on chromatic dispersion and transport of intensity equation in lens model [J]. Infrared and Laser Engineering, 2019, 48(6): 0603018. doi:  10.3788/IRLA201948.0603018
    [5] Misell D L. An examination of an iterative method for the solution of the phase problem in optics and electron optics: I. Test calculations [J]. Journal of Physics D Applied Physics, 1973, 6(18): 2200-2216. doi:  10.1088/0022-3727/6/18/305
    [6] Fienup J R, Wackerman C. Phase-retrieval stagnation problems and solutions [J]. Journal of Optical Society of America A, 1986, 3(11): 1897-1907. doi:  10.1364/JOSAA.3.001897
    [7] Gonsalves R A. Phase retrieval and diversity in adaptive optics [J]. Optical Engineering, 1982, 21(5): 829-832.
    [8] Greenbaum A Z, Sivarakrishnan A. In-focus wavefront sensing using non-redundant mask-introduced pupil diversity [J]. Optics Express, 2016, 24(14): 15506-15521. doi:  10.1364/OE.24.015506
    [9] Ju G, Qi X, Ma H, et al. Feature-based phase retrieval wavefront sensing approach using machine learning [J]. Optics Express, 2018, 26(24): 31767-31783. doi:  10.1364/OE.26.031767
    [10] Paine S W, Fienup J R. Machine learning for improved image-based wavefront sensing [J]. Optics Letters, 2018, 43(6): 1235-1238. doi:  10.1364/OL.43.001235
    [11] Nishizaki Y, Valdivia M, Horisaki R, et al. Deep learning wavefront sensing [J]. Optics Express, 2019, 27(1): 240-251. doi:  10.1364/OE.27.000240
    [12] Qinghua T, Chenda L, Bo L, et al. DNN-based aberration correction in a wavefront sensorless adaptive optics system [J]. Optics Express, 2019, 27(8): 10765-10776. doi:  10.1364/OE.27.010765
    [13] Guo H, Xu Y, Li Q, et al. Improved machine learning approach for wavefront sensing [J]. Sensors, 2019, 19(16): 3533-3545. doi:  10.3390/s19163533
    [14] Blanchard Paul M, Greenaway Alan H. Simultaneous multiplane imaging with a distorted diffraction grating [J]. Applied Optics, 1999, 38(32): 6692-6699. doi:  10.1364/AO.38.006692
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(9)

Article Metrics

Article views(384) PDF downloads(76) Cited by()

Related
Proportional views

A single-frame deep learning phase retrieval algorithm based on defocus grating

doi: 10.3788/IRLA20200273
  • 1. Key Laboratory of Adaptive Optics, Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu 610209, China
  • 2. Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu 610209, China
  • 3. University of Chinese Academy of Sciences, Beijing 100049, China

Abstract: Aiming at drawbacks of slow convergence rate and multiple measuring on focal or defocus plane by CCD in phase diversity algorithm, a single-frame deep learning phase retrieval algorithm based on defocus grating was proposed. Algorithm used a defocus grating to modulate incident wavefront, far-field intensity distribution of focal and positive/negative defocus plane can be acquired on focal plane of lens at the same time. In addition, convergence rate was improved when algorithm applied CNN to replace multiple perturbation optimization process. Numerical simulations indicate that the proposed method can achieve precise high-speed wavefront reconstruction with a single far-field intensity distribution, root mean square (RMS) of residual wavefront is 6.7% of that of incident wavefront, computing time for algorithm to perform wavefront reconstruction can be less than 0.6 ms.

    • 相位反演(Phase Retrieval, PR)技术根据远场光强分布重构波前相位信息,它对环境不敏感,无需波前传感器,在天文观测、光束质量评价、自适应光学、相位恢复[1-4]等领域有广泛应用。Gerchberg-Saxton(GS)算法是一类经典的PR算法[5]。GS算法利用角谱传输理论,根据远场复振幅和近场复振幅的傅里叶变换关系多次迭代计算波前像差,它结构简单易于实现,但由于存在同一远场对应多个波前的多解问题[6],GS算法易陷入局部极值,收敛精度低。

      为了克服GS算法中的多解问题,Gonsalves利用焦面和离焦多帧远场光强信息反演波前相位[7],进而提高收敛精度,这类算法被称为相位差(Phase diversity, PD)法。PD法需要CCD在焦面和离焦面多次测量。此外,PD法仍需多次迭代才能收敛,实时性差。Alexandra引入非冗余掩膜实现单帧焦面图像相位反演[8],无需CCD在焦面和离焦面多次测量。然而,非冗余掩膜需要多次进出光路,系统结构复杂,该算法在实际波前探测中应用有限。

      近年来有学者开始利用卷积神经网络(Convolutional Neural Network,CNN)的非线性拟合特性来提高PR的收敛速度与收敛精度:Ju Guohao等人引入Tchebichef矩提取一对焦面和离焦远场图像的位置特征并将Tchebichef矩作为网络的输入[9],虽然这种方法简化了网络结构,但由于需要对图像进行预处理,系统实时性变差;有学者尝试根据单帧焦面远场光强分布利用CNN预测波前像差,但由于多解问题[6]的存在,目前仅能在小像差下进行高精度波前复原[10-12];Guo Hongyang等人利用PD的思想, 将CNN最后的全连接层替换成解卷积层,网络经一次计算直接输出相位屏,免去了Zernike模式拟合带来的误差[13],但此方法需要CCD在焦面和离焦面多次采样,系统结构复杂。

      文中提出了基于离散光栅的单帧深度学习PR算法:将离焦光栅引入光路,此时CCD在透镜焦面测量时可同时获得正负离焦和焦面远场光强分布;此外算法引入CNN直接输出波前信息,无需多次迭代寻优。

    • 离焦光栅由Blanchard等人发明[14],它的光学特性如图1(a)所示,示意图如图1(b)所示。离焦光栅可看成离轴的Fresnel波带片,它存在对称分布的±1级衍射光轴且1级衍射光轴上存在一对共轭的焦距。在±1级衍射光轴上,当离焦光栅与短焦距透镜密接使用时,离焦光栅对透镜聚焦能力进行微调,此时±1级衍射光轴上的焦距分别稍短和稍长于透镜焦距,短焦距透镜的焦平面在±1级衍射轴上的截面是前后对称的离焦面。因此,当CCD置于短焦距透镜焦平面处时,CCD可同时测量入射波前在焦面与前后对称的离焦面上对应的远场光强分布。

      Figure 1.  Optical properties(a) and schematic diagram(b) of defocus grating

      当入射波前如图2(a)所示时,置于短焦距透镜焦面处的CCD探测到的远场光强分布如图2(b1)所示,从图2(b1)中提取出正负离焦以及焦面远场光强分布,正离焦远场光强分布、焦面远场光强分布以及负离焦远场光强分布分别如图2(b2)(b3)(b4)所示。在设计CNN架构时将提取出的正负离焦以及焦面远场光强分布分为3个通道作为网络输入而不是直接输入CCD测量到的短焦距透镜焦面远场光强分布(如图2(b1)所示),这样既可以减小算法的计算量,也可以降低噪声对算法的影响。在波前探测中一组180°旋转翻转对称的入射波前对应同一远场光强分布,单个离焦面无法克服这类多解问题,而用相位差法进行波前复原时则不存在这类多解问题。

      Figure 2.  Far-field intensity distribution acquired by CCD (b1) and corresponding positive defocus spots (b2), focal plane spots (b3), negative defocus spots (b4) when incident aberration is (a)

      基于离焦光栅的单帧深度学习PR算法工作原理如图3所示,CNN用于拟合样本到相应的Zernike系数的非线性映射关系。在对CNN进行训练时,CNN预测的系数与目标系数间的差值作为成本函数的输入,CNN根据成本函数的梯度信息进行调参。训练完成后的CNN根据输入的样本直接输出Zernike系数,实现快速波前复原。

      Figure 3.  Schematic diagram of single-frame deep learning PR algorithm based on defocus grating

      文中所用CNN架构如图4所示,它共有15层,其中有4层卷积层,4层Batch正则化层,4层池化层,2层全连接层。超参数设置见图4: 输入层通道数为3,输入图像大小为100 pixel$ \times $100 pixel;卷积层的通道数分别为16、16、32、32;卷积核大小分别为5×5、5×5、4×4、4×4;池化层选用步长为2的最大池化;全连接层的神经元个数分别为300、20。CNN选用ReLU函数作为激活函数,它连接在全部卷积层以及第一个全连接层之后。

      Figure 4.  Schematic diagram of CNN architecture

    • 仿真相关参数如下:入射光波长1 064 nm,通光口径8 mm,离焦光栅边长16 mm,离焦光栅焦距7.5 mm,离焦光栅的扭曲光栅狭缝相对于规则线光栅狭缝位移33.75 mm,短焦距透镜焦距200 mm,CCD像素大小12 μm×12 μm,离焦光栅相位台阶深度分别为0.639${\text{π}} $与2${\text{π}} $,CCD上开窗大小100 pixel×100 pixel,CNN训练时batchsize设置为100,epoch设置为200,选用均方误差函数为CNN损失函数,Adam函数为梯度下降函数,工作站配置为Intel Core i7 9700 K 3.6 GHz,Kingston 64 GB,NVIDIA GeForce RTX2080Ti。仿真中,训练过程和测试过程均在GPU上完成。算法大概需要10 min去完成CNN训练,训练好后的CNN进行一次波前复原大概需要0.6 ms。当工作站配置更高时,算法耗时更少。

    • 像差倾斜项大小可根据焦面质心计算获得,因此文中不考虑第2与第3阶Zernike模式。根据第4~23阶Zernike系数随机生成10 000组入射波前,入射波前经离焦光栅调制后经CCD测量获得短焦距透镜焦面远场光强分布,从短焦距透镜焦面远场光强分布中提取出正负离焦以及焦面远场光强分布作为样本,各阶Zernike系数的范围在±0.5 μm以内。训练集与测试集的样本独立同分布,从这10 000组样本中随机抽取9 000组样本以及相应的Zernike系数分别作为训练集中的样本和标签,剩余的1 000组样本以及相应的Zernike系数分别作为测试集中的样本和标签。图5给出了训练集中一组样本以及对应的标签和此时的入射波前。由图5(c)知,样本由3个通道组成,3个通道分别为从短焦距透镜焦面远场光强分布中提取出的正离焦远场光强分布、焦面远场光强分布以及负离焦远场光强分布。

      Figure 5.  A sample from training set(c) and corresponding label(b), corresponding incident wavefront(a)

    • 为验证仿真结果,选取残差波前的方均根(Root Mean Square,RMS)作为评价指标,它的表达式为:

      式中:w表示残差波前;$ \widehat{w} $表通光口径内残差波前平均值。RMS的单位是波长$ {\rm{\lambda }} $。残差波前RMS越小,算法预测的波前面形越接近入射波前面形。

      引入均方根误差(Root Mean Square Error,RMSE)衡量CNN预测的Zernike系数拟合的好坏,它的表达式为:

      式中:n为Zernike阶数;上标(i)为第i阶Zernike系数;ypredict为CNN预测的各阶Zernike系数;ylabel为测试集中样本对应的标签,即真实值。文中,CNN输出第4~23阶Zernike系数,n=20。RMSE的单位是微米。RMSE越小,算法预测的Zernike系数与标签真实值拟合的越好,复原精度越高。

    • 图6为1 000组测试样本对应的入射波前进行波前复原前后的入射波前RMS与残差波前RMS变化情况。由图6可知,1 000组测试样本对应的入射波前的平均RMS为1.289$ {\rm{\lambda }} $,波前复原后残差波前平均RMS降到0.087$ {\rm{\lambda }} $,残差波前RMS为入射波前RMS的6.7%。

      Figure 6.  Reconstruction accuracy of 1 000 test samples

      从测试集中任意抽取2个样本,图7中(a1)~(a4)分别为第30组样本对应的Zernike系数拟合情况、入射波前、CNN预测波前和残差波前,(b1)~(b4)分别为第799组样本对应的Zernike系数拟合情况、入射波前、CNN预测波前和残差波前。

      Figure 7.  Fitting results of Zernike coefficients, incident wavefront, predicted wavefront and residual wavefront of 30th sample and 799th samples in test set

      图7知,第30组样本初始波前RMS=1.043$ {\rm{\lambda }} $,CNN预测波前RMS=1.036$ {\rm{\lambda }} $,残差波前RMS=0.05$ {\rm{\lambda }} $,CNN预测的各阶系数与真实值间的RMSE=0.0346 μm,各阶Zernike模式系数均实现了良好拟合。第799组样本对应的入射波前RMS=1.089$ {\rm{\lambda }} $,CNN预测波前RMS=1.072$ {\rm{\lambda }} $,残差波前RMS=0.056$ {\rm{\lambda }} $,CNN预测的各阶系数与真实值间的RMSE等于0.0251 μm,各阶Zernike模式系数均实现了良好拟合。

      图6图7知,CNN预测波前与入射波前面形近似一致,残差波前RMS远小于入射波前RMS,算法预测的Zernike模式系数与真实值拟合的很好,算法实现了高精度波前复原。

    • 由2.1节知,训练集和测试集的入射波前均根据第4~23阶Zernike多项式随机生成,各阶Zernike模式系数范围在±0.5 μm以内,此时训练好后的CNN可根据单帧短焦距透镜焦面远场光强分布经一次计算精确复原波前。此节为了验证高阶像差的波前复原精度,额外分别生成仅包含第19阶、第20阶、第21阶、第22阶、第23阶Zernike多项式的像差各100组,各阶Zernike模式系数范围在±0.5 μm以内。按照2.1节的描述,根据这500组入射波前生成一个新的测试集。用2.2节中训练好的CNN对这500组入射波前进行拟合,图8给出了这500组入射波前的拟合情况。由图8知,算法预测的第19~23阶Zernike系数与真实值间的RMSE分别为0.0391、0.0397、0.0354、0.0322、0.0308 μm,预测值与真实值间的差距很小,CNN实现了良好拟合。算法进行一次波前复原所需时间仍约为0.6 ms。

      Figure 8.  Reconstruction accuracy of another 500 samples

      从这500组样本里随机抽取5组样本,它们分别仅由第19阶、第20阶、第21阶、第22阶、第23阶Zernike多项式生成。图9给出了这5组样本对应的入射波前、CNN预测波前以及残差波前的面形以及RMS

      Figure 9.  Incident wavefront, wavefront predicted by CNN and residual wavefront corresponding to 19th-23rd Zernike modes

      图9可知,由各阶Zernike多项式生成入射波前与CNN相应的预测波前面形几乎一致,第19~23阶Zernike多项式对应的残差波前RMS分别为0.087$ {\rm{\lambda }} $、0.088$ {\rm{\lambda }} $、0.079$ {\rm{\lambda }} $、0.072$ {\rm{\lambda }} $、0.068$ {\rm{\lambda }} $,残差波前很小,训练好后的CNN可对单阶高阶像差进行高精度波前复原。

    • 文中提出了一种基于离焦光栅的单帧深度学习相位反演算法,建立了一种新的单帧焦面远场光强分布到Zernike系数的映射关系。算法引入离焦光栅对入射波前进行调制:离焦光栅与短焦距透镜密接使用时,离焦光栅±1级衍射光的焦距方向相反且分别稍短和稍长于透镜焦距,此时CCD可在短焦距透镜焦面上同时测量正负离焦以及焦面远场光强分布。算法还利用CNN的非线性拟合特性,引入CNN替代PR算法的迭代寻优过程,充分训练后的CNN仅需一次计算即可给出波前相位信息,极大提高了PR算法的收敛速度。数值仿真表明:文中提出的算法可根据离焦光栅调制后的单帧焦面远场光强分布实现高精度快速波前复原,残差波前RMS为入射波前RMS的6.7%,系统进行一次波前复原所需时间可小于0.6 ms。

Reference (14)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return