留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多测量矢量压缩感知的超分辨荧光显微成像研究

张赛文 邓亚琦 王冲 冷潇泠 张光富 文兵 邓杨保 谭伟石 田野 李稳国

张赛文, 邓亚琦, 王冲, 冷潇泠, 张光富, 文兵, 邓杨保, 谭伟石, 田野, 李稳国. 基于多测量矢量压缩感知的超分辨荧光显微成像研究[J]. 红外与激光工程, 2021, 50(11): 20210484. doi: 10.3788/IRLA20210484
引用本文: 张赛文, 邓亚琦, 王冲, 冷潇泠, 张光富, 文兵, 邓杨保, 谭伟石, 田野, 李稳国. 基于多测量矢量压缩感知的超分辨荧光显微成像研究[J]. 红外与激光工程, 2021, 50(11): 20210484. doi: 10.3788/IRLA20210484
Zhang Saiwen, Deng Yaqi, Wang Chong, Leng Xiaoling, Zhang Guangfu, Wen Bing, Deng Yangbao, Tan Weishi, Tian Ye, Li Wenguo. Research on super-resolution fluorescence microscopy imaging based on multiple measurement vector compressed sensing[J]. Infrared and Laser Engineering, 2021, 50(11): 20210484. doi: 10.3788/IRLA20210484
Citation: Zhang Saiwen, Deng Yaqi, Wang Chong, Leng Xiaoling, Zhang Guangfu, Wen Bing, Deng Yangbao, Tan Weishi, Tian Ye, Li Wenguo. Research on super-resolution fluorescence microscopy imaging based on multiple measurement vector compressed sensing[J]. Infrared and Laser Engineering, 2021, 50(11): 20210484. doi: 10.3788/IRLA20210484

基于多测量矢量压缩感知的超分辨荧光显微成像研究

doi: 10.3788/IRLA20210484
基金项目: 国家自然科学基金(11947088,U1832143);湖南省教育厅科学研究项目优秀青年项目(19B100,20B107,19B098);湖南省自然科学基金(2021JJ40029,2021JJ40020,2019jj50025,2018JJ2019,2020JJ4158);湖南省教育厅科学研究重点项目(19A084);省级大学生创新创业训练计划项目(湘教通〔 2021〕 197 号-3364)
详细信息
    作者简介:

    张赛文,男,讲师,博士,主要从事超分辨荧光显微成像和压缩感知方面的研究

    通讯作者: 邓杨保,男,教授,博士,主要从事超短脉冲的传输、控制、测量及应用方面的研究。
  • 中图分类号: O439

Research on super-resolution fluorescence microscopy imaging based on multiple measurement vector compressed sensing

  • 摘要: 在超分辨荧光显微成像技术中,单分子定位显微方法是被广泛应用的技术之一。根据荧光显微成像原理构造多测量矢量压缩感知模型(Multiple Measurement Vector-Compressed Sensing, MMV-CS),并采用多重稀疏贝叶斯学习算法进行求解,来实现超分辨荧光图像重建。分析了有效像元大小、荧光分子生成的光子数和背景信号泊松化噪声对重建结果的影响,以及在图像进行分块处理时算法运行时间的分析。模拟和实验计算分析表明,当点扩展函数的标准差在160 nm时,有效像元大小在120、160、200 nm能取得较好的重构效果,而在60 nm时效果较差。探测器收集的光子数越多,重构效果越好,随着背景信号光子数增加时,离得越近的样品结构越不能分辨。在同样的分块处理情况下,MMV-CS比同伦算法(L1-Homotopy, L1-H)和凸优化算法(CVX)分别快一个数量级和三个数量级,因此,在研究三维超分辨荧光显微成像时,MMV-CS算法在运行时间上具有更大的优势。
  • 图  1  模拟生成荧光图像序列。(a)一帧图像;(b) 500帧图像累加的宽场图像

    Figure  1.  Images of fluorescent molecules by simulation generated. (a) A frame image; (b) Wide-field image by 500 frames accumulated

    图  2  模拟不同像元尺寸生成的荧光图像。有效像元尺寸分别为(a) 60 nm;(b) 120 nm;(c) 160 nm;(d) 200 nm

    Figure  2.  Images of different pixel sizes by simulation generated. The pixel sizes are (a) 60 nm; (b) 120 nm; (c) 160 nm; (d) 200 nm, respectively

    图  3  不同的有效像元尺寸重构的超分辨图像对比分析曲线。有效像元尺寸分别为(a) 60 nm;(b) 120 nm;(c) 160 nm;(d) 200 nm

    Figure  3.  Comparison of curves of reconstructed super-resolution images based on different pixel sizes. The pixel sizes are (a) 60 nm; (b) 120 nm;(c) 160 nm; (d) 200 nm, respectively

    图  4  不同光子数对超分辨图像重构结果影响的对比曲线

    Figure  4.  Comparison of curves of reconstructed super-resolution images based on different photons number

    图  5  不同背景光子数对重构结果影响的对比曲线

    Figure  5.  Comparison of curves of reconstructed super-resolution images based on different background photons number

    图  6  重构500帧分块图像所需要的时间对比分析曲线(Box size为图像分块之后的大小)

    Figure  6.  Comparison of run time curves of reconstructed by 500 small block images (Box size is the size of divided image)

    图  7  L1-H算法和MMV-CS算法对高密度图像进行重建比较。(a) 1500帧图像累加的宽场荧光图像;(b)取1500帧里的一帧图像显示;(c)采用L1-H算法重构结果;(d)采用MMV-CS算法重构结果

    Figure  7.  Comparison of reconstructions images of L1-H and MMV-CS algorithms based on high-density images. (a) Wide-images of directly accumulated microtubule images by 1500 frames; (b) A frame of 1500 frames; Reconstructions images using (c) L1-H algorithm and (d) MMV-CS algorithm

    图  8  取图7(c)、(d)中两条白色线显示其强度曲线

    Figure  8.  Comparison of intensity curves along the white line in Fig. 7(c), (d)

  • [1] Khater I M, Nabi I R, Hamarneh G. A review of super-resolution single-molecule localization microscopy cluster analysis and quantification methods [J]. Patterns, 2020, 1(3): 1-20. doi:  10.1016/j.patter.2020.100038
    [2] Sun Yujie, Chen Xuanze. Nobel Prize in Chemistry 2014: Uper-resolved fluorescence microscopy [J]. University Chemistry, 2015, 30(1): 1-9. (in Chinese) doi:  10.3866/PKU.DXHX20150101
    [3] Hess S T, Girirajan T, Mason M D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy [J]. Biophysical Journal, 2006, 91(11): 4258-4272. doi:  10.1529/biophysj.106.091116
    [4] Rust M J, Bates M, Zhuang X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM) [J]. Nature Methods, 2006, 3(10): 793-796. doi:  10.1038/nmeth929
    [5] Fölling J, Bossi M, Bock H, et al. Fluorescence nanoscopy by ground-state depletion and single-molecule return [J]. Nature Methods, 2008, 5(11): 943-945. doi:  10.1038/nmeth.1257
    [6] You Sihai, Wang Hongli, Feng Lei, et al. Pulsar TOA estimation based on wavelet transform and compressed sensing [J]. Infrared and Laser Engineering, 2020, 49(2): 0226001. (in Chinese) doi:  10.3788/IRLA202049.0226001
    [7] Wu Jianbo, Lu Zhengwu, Guan Yurong, et al. SAR target recognition using feature fusion by 2 D compressive sensing with multiple random projection matrices [J]. Infrared and Laser Engineering, 2021, 50(6): 20200531. (in Chinese) doi:  10.3788/IRLA20200531
    [8] Zhu L, Zhang W, Elnatan D, et al. Faster STORM using compressed sensing [J]. Nature Methods, 2012, 9(7): 721-723. doi:  10.1038/nmeth.1978
    [9] Min J, Vonesch C, Kirshner H, et al. FALCON: fast and unbiased reconstruction of high-density super-resolution microscopy data [J]. Scientific Reports, 2014, 4: 4577. doi:  10.1038/srep04577
    [10] Nehme E, Weiss L E, Michaeli T, et al. Deep-STORM: Super-resolution single-molecule microscopy by deep learning [J]. Optica, 2018, 5(4): 458-464. doi:  10.1364/OPTICA.5.000458
    [11] Wu J, Li S, Zhang S, et al. Fast analysis method for stochastic optical reconstruction microscopy using multiple measurement vector model sparse Bayesian learning [J]. Optics Letters, 2018, 43(16): 3977. doi:  10.1364/OL.43.003977
    [12] Quan Tingwei, Zeng Shaoqun, Lv Xiaohua. Comparison of algorithms for localization of single fluorescent molecule in super resolution imaging [J]. Chinese Journal of Lasers, 2010, 37(11): 2714-2718. (in Chinese) doi:  10.3788/CJL20103711.2714
    [13] Zhang Hua, Cao Liangcai, Jin Guofan, et al. Progress on lensless digital holography imaging based on compressive sensing holographic algorithm [J]. Laser & Optoelectronics Progress, 2020, 667(8): 9-19. (in Chinese)
    [14] Ke Jun, Zhang Linxia, Zhou Qun. Applications of compressive sensing in optical imaging [J]. Acta Optica Sinica, 2020, 40(1): 0111006. (in Chinese) doi:  10.3788/AOS202040.011006
    [15] Min J, Jang J, Keum D, et al. Fluorescent microscopy beyond diffraction limits using speckle illumination and joint support recovery [J]. Scientific Reports, 2013, 3(6): 2075. doi:  10.1038/srep02075
    [16] Babcock H, Sigal Y M, Zhuang X. A high-density 3 D localization algorithm for stochastic optical reconstruction microscopy [J]. Optical Nanoscopy, 2012, 1(1): 1-10. doi:  10.1186/2192-2853-1-6
    [17] Biomedical Imaging Group, Ecole Polytechnique Fédérale de Lausanne (EPFL), Lausanne. Super-resolution microscopy metrics [EB/OL]. [2021-09-25]https://srm.epfl.ch/Metrics.
  • [1] 陆秋萍, 石岩, 戴晟昕, 陈义, 赵春柳, 赵天琦, 金尚忠, 牛海彬.  生物组织单像素成像重构的散射干扰抑制 . 红外与激光工程, 2022, 51(3): 20210722-1-20210722-7. doi: 10.3788/IRLA20210722
    [2] 徐亦静, 吴志鹏, 王琦龙.  光谱域编码的压缩光谱测量技术 . 红外与激光工程, 2022, 51(11): 20220093-1-20220093-17. doi: 10.3788/IRLA20220093
    [3] 李美萱, 王红, 刘小涵, 刘明, 宋立军.  基于相位调制的运动目标多光谱关联成像研究 . 红外与激光工程, 2021, 50(7): 20210184-1-20210184-8. doi: 10.3788/IRLA20210184
    [4] 翟鑫亮, 吴晓燕, 孙艺玮, 石剑虹, 曾贵华.  单像素成像理论与方法(特邀) . 红外与激光工程, 2021, 50(12): 20211061-1-20211061-14. doi: 10.3788/IRLA20211061
    [5] 刘瑞丰, 赵书朋, 李福利.  单像素复振幅成像(特邀) . 红外与激光工程, 2021, 50(12): 20210735-1-20210735-16. doi: 10.3788/IRLA20210735
    [6] 田鹤, 毛宏霞, 刘铮, 曾铮.  机载逆合成孔径激光雷达微动目标稀疏成像 . 红外与激光工程, 2020, 49(S2): 20200190-20200190. doi: 10.3788/IRLA20200190
    [7] 杨程, 鄢秋荣, 祝志太, 王逸凡, 王明, 戴伟辉.  基于深度学习的压缩光子计数激光雷达 . 红外与激光工程, 2020, 49(S2): 20200380-20200380. doi: 10.3788/IRLA20200380
    [8] 孙鸣捷, 张佳敏.  单像素成像及其在三维重建中的应用 . 红外与激光工程, 2019, 48(6): 603003-0603003(11). doi: 10.3788/IRLA201948.0603003
    [9] 刘显著, 王超, 江伦, 刘壮, 杨进华, 姜会林.  二维多项式位相光瞳滤波实现超分辨望远成像 . 红外与激光工程, 2018, 47(4): 418007-0418007(6). doi: 10.3788/IRLA201847.0418007
    [10] 时东锋, 黄见, 苑克娥, 王英俭, 谢晨波, 刘东, 朱文越.  空间编码复用散斑多信息融合关联成像(特邀) . 红外与激光工程, 2018, 47(5): 502001-0502001(8). doi: 10.3788/IRLA201847.0502001
    [11] 马鹏阁, 陈恩庆, 庞栋栋, 羊毅.  基于快速贝叶斯匹配追踪的激光大气信道估计 . 红外与激光工程, 2017, 46(9): 922002-0922002(7). doi: 10.3788/IRLA201746.0922002
    [12] 杨建宇, 潘雷霆, 胡芬, 张心正, 许京军.  随机光学重构显微术及其应用研究进展 . 红外与激光工程, 2017, 46(11): 1103008-1103008(8). doi: 10.3788/IRLA201746.1103008
    [13] 袁影, 王晓蕊, 吴雄雄, 穆江浩, 张艳.  多孔径压缩编码超分辨率大视场成像方法 . 红外与激光工程, 2017, 46(8): 824001-0824001(7). doi: 10.3788/IRLA201746.0824001
    [14] 王中阳, 周燕飞, 张小伟, 沈灏, 李恩荣, 韩申生, 宓现强, 田立君, 彭玉峰.  基于随机采样的超高分辨率成像中快速压缩感知分析 . 红外与激光工程, 2017, 46(2): 201002-0201002(7). doi: 10.3788/IRLA201746.0201002
    [15] 赵爱罡, 王宏力, 杨小冈, 陆敬辉, 何星.  融合几何特征的压缩感知SIFT描述子 . 红外与激光工程, 2015, 44(3): 1085-1091.
    [16] 韩申生, 龚文林, 陈明亮, 李恩荣, 薄遵望, 李望, 张惠, 高昕, 邓陈进, 梅笑东, 王成龙.  基于稀疏和冗余表象的鬼成像雷达研究进展 . 红外与激光工程, 2015, 44(9): 2547-2555.
    [17] 尹继豪, 孙建颖.  基于压缩感知理论的波段重构方法 . 红外与激光工程, 2014, 43(4): 1260-1264.
    [18] 孙鸣捷, 于康龙, 孟照魁.  像素感光面形状对基于微扫描的红外超分辨成像的影响 . 红外与激光工程, 2014, 43(10): 3183-3187.
    [19] 陈春利, 谢红梅, 彭进业, 王志成, 王保平.  压缩感知机动目标ISAR成像新方法 . 红外与激光工程, 2013, 42(8): 2269-2274.
    [20] 谭歆, 冯晓毅, 王保平.  稀疏带状测量矩阵在压缩感知ISAR成像中的应用 . 红外与激光工程, 2013, 42(11): 3137-3143.
  • 加载中
图(8)
计量
  • 文章访问数:  368
  • HTML全文浏览量:  93
  • PDF下载量:  36
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-07-15
  • 修回日期:  2021-09-27
  • 网络出版日期:  2021-12-03
  • 刊出日期:  2021-11-30

基于多测量矢量压缩感知的超分辨荧光显微成像研究

doi: 10.3788/IRLA20210484
    作者简介:

    张赛文,男,讲师,博士,主要从事超分辨荧光显微成像和压缩感知方面的研究

    通讯作者: 邓杨保,男,教授,博士,主要从事超短脉冲的传输、控制、测量及应用方面的研究。
基金项目:  国家自然科学基金(11947088,U1832143);湖南省教育厅科学研究项目优秀青年项目(19B100,20B107,19B098);湖南省自然科学基金(2021JJ40029,2021JJ40020,2019jj50025,2018JJ2019,2020JJ4158);湖南省教育厅科学研究重点项目(19A084);省级大学生创新创业训练计划项目(湘教通〔 2021〕 197 号-3364)
  • 中图分类号: O439

摘要: 在超分辨荧光显微成像技术中,单分子定位显微方法是被广泛应用的技术之一。根据荧光显微成像原理构造多测量矢量压缩感知模型(Multiple Measurement Vector-Compressed Sensing, MMV-CS),并采用多重稀疏贝叶斯学习算法进行求解,来实现超分辨荧光图像重建。分析了有效像元大小、荧光分子生成的光子数和背景信号泊松化噪声对重建结果的影响,以及在图像进行分块处理时算法运行时间的分析。模拟和实验计算分析表明,当点扩展函数的标准差在160 nm时,有效像元大小在120、160、200 nm能取得较好的重构效果,而在60 nm时效果较差。探测器收集的光子数越多,重构效果越好,随着背景信号光子数增加时,离得越近的样品结构越不能分辨。在同样的分块处理情况下,MMV-CS比同伦算法(L1-Homotopy, L1-H)和凸优化算法(CVX)分别快一个数量级和三个数量级,因此,在研究三维超分辨荧光显微成像时,MMV-CS算法在运行时间上具有更大的优势。

English Abstract

    • 在传统的光学显微术里,荧光图像的分辨能力受限于阿贝衍射极限[1]。分子的尺寸通常在几个纳米量级,而光学显微镜的分辨率极限却为几百纳米,这将导致观测到的图像与真实的样品图像之间不匹配而会丢失一些有用信息。单分子定位显微术(Single-Molecule Localization Microscopy, SMLM)通过重复定位一系列衍射受限的荧光分子图像,可以研究纳米级细胞组织结构,是超分辨荧光显微镜的关键技术之一,并于2014年获得诺贝尔化学奖[2]。SMLM包括光激活定位显微术(Photo-Activated Localization Micro-scopy, PALM)[3]、随机光学重建显微术(Stochastic Optical Reconstruction Microscopy, STORM)[4]和基态耗尽显微术[5]等。虽然单分子定位显微术最终可以得到一张超分辨图像,但是该方法由于重复激活、成像和定位过程,从而导致单分子定位显微术具有很差的时间分辨能力,不利于该方法在活细胞中的快速动力学过程中的应用。

      为了解决时间分辨率过低导致采样时间过长的问题,通过增加光激活分子密度来得到改善。但是该方法会面临一个问题,就是重构的原始图像随着激活的荧光分子密度的增加,荧光光斑会发生重叠。高密度的荧光图像不能采用传统的质心定位法、高斯拟合法等进行精确定位,这给研究算法人员提出了挑战。压缩感知(Compressed Sensing, CS)在信号处理与图像处理领域都取得了成功[6-7]:2012年,Bo Huang等提出采用压缩感知应用于STORM中,并取得了成功[8]。由于刚提出压缩感知应用时采用的是CVX算法,虽然该算法定位精度高,但是计算速度过慢,所以Zhuang Xiaowei等采用L1同伦算法(L1-Homotopy, L1-H)使其速度提高了两个数量级。压缩感知重构结果是由像素表示而不是空间的坐标点,这样定位精度会受重构像素大小的影响,为了解决该问题,Junhong Min等提出基于连续空间表达的快速定位算法(FAst Localization algorithm based on a CONtinuous-space formulation, FALCON)[9],该算法具有连续空间无偏移、定位精度高和计算速度快的特点。Elias Nehme等采用深度学习的算法实现了超快、高精度和无需参数调节的超分辨单分子定位显微成像,称之为深度随机光学重建显微(Deep learning Stochstic Optical Reconstruction Micoscopy, Deep-STORM),该算法不是给出分子坐标位置,而是直接得到超分辨图像[10]。吴晶晶等采用多测量矢量模型、多重稀疏贝叶斯学习,在同样精度下实现了快速超分辨成像[11]。上述方法在分析算法性能时只对计算分子重构密度、定位精度、错误恢复率和算法运行时间作对比,而没有分析一些参数的变化对重构结果的影响。

      基于上述问题,文中提出将多测量矢量压缩感知模型应用于超分辨荧光图像的重建,并分析图像分块大小对重构时间的影响,及有效像元尺寸大小或点扩展函数的标准差变化、荧光分子发出的光子数变化和背景信号泊松化噪声对重构结果的影响,并将算法应用于实际的生物样品成像。

    • 对于处在$({x_0},{y_0})$的单个荧光分子或发光粒子所发出的光的强度经过光学系统在相机上成像可以用一个二维的高斯函数近似表示:

      $$ I\left( {i,j} \right) = {N_0}\frac{{4\ln 2}}{{\pi {w^2}}}\exp \left( - 4\ln 2\frac{{{{\left( {i - {x_0}} \right)}^2} + {{\left( {j - {y_0}} \right)}^2}}}{{w_{}^2}}\right) + b $$ (1)

      式中:${N_0}$为荧光分子辐射的光子数,激发光激发的荧光光子数一般会服从对数正态分布[8]$(i,j)$ 表示相机像素所在的位置;$w$为荧光强度分布的半高全宽值;$b$为背景信号噪声。根据高斯函数的半高全宽与标准差的关系$w = 2\sqrt {2\ln 2} \sigma $$\sigma $为高斯函数的标准差,也可以将公式(1)写为:

      $$ I\left( {i,j} \right) = \frac{{{N_0}}}{{2\pi {\sigma ^2}}}\exp \left( - \frac{{{{\left( {u - {x_0}} \right)}^2} + {{\left( {j - {y_0}} \right)}^2}}}{{2\sigma _{}^2}}\right) + b $$ (2)

      如果一共有Q个荧光分子发光,那么探测器上接收到的总光强可用求和公式得到:

      $$ I\left( {i,j} \right) = \sum\limits_{k = 1}^Q {\frac{{{N_k}}}{{2\pi {\sigma ^2}}}\exp \left( - \frac{{{{\left( {u - {x_k}} \right)}^2} + {{\left( {j - {y_k}} \right)}^2}}}{{2\sigma _{}^2}}\right) + b} $$ (3)

      由于光信号在光电探测器上成像过程中会引入散粒噪声,在像素$(i,j)$处接收到$q$ 个光子的概率可以表示为[12]

      $$ {P_f}(i,j) = \frac{{\exp ( - {I_{i,j}})I_{i,j}^q}}{{q!}} $$ (4)
    • 在STORM的单分子定位中常用的是单测量矢量压缩感知模型(Single Measurement Vector-Compressed Sensing, SMV-CS),在该模型中,通常将采集到的一系列图像进行单张处理,如将一张图像转换为列矢量${\boldsymbol{b }}$,CS模型中的观测矩阵由点扩展函数构建。所以CS模型具体表达式如下[8]

      $$ \begin{gathered} {\text{minimize}}\;{\left\| {\boldsymbol{s}} \right\|_1} \hfill \\ \;{\text{subject}}\;{\text{to}}\;{{\boldsymbol{s}}_i} \geqslant 0\;{\text{and}}\;\left\| {{\boldsymbol{As}} - {\boldsymbol{b}}} \right\|_2 \leqslant \varepsilon {\left( {\sum {{{\boldsymbol{b}}_j}} } \right)^{1/2}}\\ \end{gathered} $$ (5)

      式中:${\boldsymbol{s}}$为待求的重构的单张分子定位图像,它的值可以反映出分子的位置和重构的分子所发出的光子数多少;观测矩阵${\boldsymbol{A}}$由系统的点扩展函数构造,其第$j$列为假设分子处在向量${\boldsymbol{s}}$的第$j$行所形成的图像。约束条件让重构的像素值大于等于零,因为分子发出的光子数不可能小于零,第二项约束是重构的荧光分子生成的图像与采集图像的方差小于等于$\varepsilon $$\varepsilon $的值可以控制重构信号的稀疏程度与重构结果和采集图像的匹配程序之间的平衡。

      为了解决单测量矢量压缩感知处理速度过慢、不利于实时成像的问题,需要对模型进行优化处理,故采用多测量矢量压缩感知模型,采集的所有图像转换成一列,然后组成一个矩阵${\boldsymbol{B}}$,则图像采集可以表示为${\boldsymbol{B}} = {\boldsymbol{AS}} + {\boldsymbol{E}}$。所以多测量矢量压缩感知模型变为:

      $$ \begin{gathered} {\text{minimize}}\;{\left\| {\boldsymbol{S}} \right\|_1} \\ {\text{subject}}\;{\text{to}}\;{\boldsymbol{S}}_i^{} \geqslant 0\;{\text{and}}\;\left\| {{\boldsymbol{AS}} + {\boldsymbol{B}}} \right\| \leqslant {{\boldsymbol{E}}} \\ \end{gathered} $$ (6)

      该问题可以通过多重稀疏贝叶斯学习算法进行求解。观测矩阵${\boldsymbol{A}}$与单测量矢量压缩感知模型的观测矩阵相同。其中,重构矩阵${\boldsymbol{S}}$中的每一列对应一帧图像的重构,这一列的行索引与荧光分子所处的空间位置信息对应,列向量里面的值对应荧光分子发出的光子数大小,与单测量矢量一次求解结果类似。多测量矢量是一次对所有采用的图像进行重构,每列对应一帧图像的重构结果,然后对所有列求和,最后将列向量转换为超分辨图像进行显示。

    • 压缩感知无论在信号处理还是在图像处理方面都取得了很大成功[13-14]。它指出:如果原始信号是稀疏的(信号里大部分信号为0或相对其他值很小)或通过某种变换能够变成稀疏信号,则可以把带有噪声的信号通过压缩感知算法精确地恢复出其原来的信号。公式(6)为多测量矢量(Multiple Measurement Vector, MMV)压缩感知优化问题。在合适的噪声和信号统计下,多重稀疏贝叶斯学习(Multiple Sparse Bayesian Learning,M-SBL)算法原始模型是最小化以下目标函数[15]

      $$ {L}^{\gamma }(\gamma )={\rm{Tr}}({\Sigma }^{-1}{{\boldsymbol{BB}}}^{*})+T\mathrm{log}\left|\Sigma \right| $$ (7)

      其中

      $$ \Sigma = {\sigma ^2}{\boldsymbol{I}} + {\boldsymbol{A}}{\boldsymbol{\varGamma}} {\boldsymbol{A}}^*\;,\;\;{\boldsymbol{\varGamma}} = {\text{diag}}(\gamma ) $$ (8)

      式中:${\sigma ^2}$ 表示测量噪声方差;I为单位矩阵;${{\boldsymbol{A}}^*}$ 表示矩阵${\boldsymbol{A}}$ 的转置矩阵。最小化目标函数(公式(6))可以等价于正则最小二乘化框架:

      $$ \mathop {{\text{min}}}\limits_{\boldsymbol{S}} {L^{\boldsymbol{S}}}({\boldsymbol{S}}),\;\;{{{L}}^{\boldsymbol{S}}}({\boldsymbol{S}}) = \left\| {{\boldsymbol{B}} - {\boldsymbol{AS}}} \right\|_F^2 + {\sigma ^2}{{{g}}_{{\text{msbl}}}}({\boldsymbol{S}}) $$ (9)

      其中

      $$ {{{g}}_{{\text{msbl}}}}({\boldsymbol{S}}) \equiv \mathop {\min }\limits_{\gamma \geqslant 0} \;{\rm{Tr}}({{\boldsymbol{S}}^*}{\boldsymbol{\varGamma}} {\boldsymbol{S}}) + T\log \left| {{\sigma ^2}{\boldsymbol{I}} + {\boldsymbol{A}}{\boldsymbol{\varGamma}} {{\boldsymbol{A}}^*}} \right| $$ (10)

      M-SBL算法的具体步骤如下:

      1) 最小化${\boldsymbol{S}}$:在第k次迭代,对于一个给定的估计${\gamma ^{(k)}}$,对于公式(9)中的${\boldsymbol{S}}$可以找到一个封闭的解:${{\boldsymbol{S}}^{(k)}} = {{\boldsymbol{\varGamma }}^{(k)}}{{\boldsymbol{A}}^*}{({\sigma ^2}{\boldsymbol{I}} +{\boldsymbol{ A}}{{\boldsymbol{\varGamma }}^{(k)}}{{\boldsymbol{A}}^*})^{ - 1}}{\boldsymbol{B}},\;{\boldsymbol{\varGamma}} = {\rm{diag}}({\gamma ^{(k)}})$

      2)最小化参数$\gamma $:对于一个给定的${{\boldsymbol{S}}^{(k)}}$${\gamma ^{(k + 1)}}$ 需要找到更新规则。其更新规则如下:

      $$ \gamma _i^{k + 1} = \dfrac{{\dfrac{1}{N}{\displaystyle\sum\nolimits_{t = 1}^{{T}}{{\left| {s_{it}^{(k)}} \right|}^2}} }}{{1 - \displaystyle\sum _{tt}^{(k)}/\gamma _i^{(k)}}} $$ (11)

      式中:$\Sigma _{tt}^{(k)}$ 表示$\Sigma _{}^{(k + 1)} = {\sigma ^{2(k)}} + {\boldsymbol{A}}{{\boldsymbol{\varGamma}} ^{(k)}}{{\boldsymbol{A}}^*}$$(t,t)$元素。

      3) 噪声方差${\sigma ^2}$ 估计:噪声方差的更新规则如下:

      $$ {\sigma ^{2(k + 1)}} = \frac{{\left\| {{\boldsymbol{B}} - {\boldsymbol{A}}{{\boldsymbol{S}}^{(k + 1)}}} \right\|_F^2}}{{n - m + \displaystyle\sum\nolimits_{t = 1}^{{T}} {\dfrac{{\displaystyle\sum\nolimits _{tt}^{(k + 1)}}}{{\gamma _i^{(k + 1)}}}} }} $$ (12)

      式中:$\Sigma _{tt}^{(k + 1)}$ 表示$\Sigma _{}^{(k + 1)} = {\sigma ^{2(k)}} + {\boldsymbol{A}}{{\boldsymbol{\varGamma}} ^{(k + 1)}}{{\boldsymbol{A}}^*}$$(t,t)$元素。

      将多测量矢量压缩感知模型应用于超分辨荧光显微成像中,其迭代次数一般设置为20次,其解最后收敛。最后通过公式(13)计算得到超分辨成像的解:

      $$ \mathop s\limits^ \wedge = \left[ \begin{gathered} \sqrt {\sum\nolimits_{t = 1}^{{T}} {{{\left| {s_{1t}^{(k)}} \right|}^2}/T} } \hfill \\ \sqrt {\displaystyle\sum\nolimits_{t = 1}^{{T}} {{{\left| {s_{2t}^{(k)}} \right|}^2}/T} } \hfill \\ \;\;\;\;\;\;\;\;\; \vdots \hfill \\ \sqrt {\sum\nolimits_{t = 1}^{{T}} {{{\left| {s_{nt}^{(k)}} \right|}^2}/T} } \hfill \\ \end{gathered} \right] $$ (13)
    • 为了测试多测量矢量压缩感知算法的性能,通过模拟方法进行分析。由于该算法是对所有序列图像一次进行重构计算,不像其他单分子定位算法可以对重构密度、定位精度和错误恢复率进行计算。即使多测量矢量算法可以对单帧图像进行定位,但是与其他算法进行对比时意义不大。文中重点分析了有效像元大小、光子数、背景信号泊松化噪声对重构结果的影响和图像不同分块大小对重构时间的影响。

    • 根据1.1节点扩展函数成像理论模拟生成有结构的生物样品图像。文中以分子带生成荧光图像,然后对其进行重构来分析不同参数对重构结果的影响。在模拟实验中,参数设置如下:荧光发射波长为690 nm,数值孔径为1.1,可以得到点扩展函数的标准差为160 nm。荧光分子辐射的光子数服从对数正态分布,其峰值设置为3000,标准差设置为1700。来自于背景噪声的光子数设置为70,且在光电转换过程中存在泊松噪声。有效像元尺寸设置为160 nm,生成图像大小为64×64 pixel。每张图像生成100个荧光分子,且随机分布在六对线对上。为了验证算法实现超分辨的能力,使其线对之间距离依次为51.2、76.8、102.4、128、153.6、179.2 nm,一共产生500张图像序列,其中一张图像显示如图1(a)所示,500张图像累加的宽场图像如图1(b)所示。在以下模拟中,除了验证参数变化对重构结果的影响外,其他参数都按此节设置不变。

      图  1  模拟生成荧光图像序列。(a)一帧图像;(b) 500帧图像累加的宽场图像

      Figure 1.  Images of fluorescent molecules by simulation generated. (a) A frame image; (b) Wide-field image by 500 frames accumulated

    • 有效像元尺寸大小与点扩展函数的标准差是两个重要参数。此节中,固定标准差为160 nm,使有效像元尺寸从60、120、160、200 nm变化(下面分析不同尺寸时都以这四个值为标准),根据点扩展函数成像理论,模拟生成四张图像如图2所示。对于同样大小的一块区域进行成像时,获得的图像像素(即图像大小)不一样,有效像元尺寸越小,获得的图像越大。由于点扩展函数的标准差固定不变,有效像元尺寸越小时,荧光分子生成的弥散斑所占的像素数越多,如果荧光分子发射的光子数相同,则一个像素上获得的光子数变少,将导致散粒噪声降低,相应的信噪比也会降低。图2(a)~(d)中的信噪比分别为6.95、7.31、7.99、8.20 dB。

      图  2  模拟不同像元尺寸生成的荧光图像。有效像元尺寸分别为(a) 60 nm;(b) 120 nm;(c) 160 nm;(d) 200 nm

      Figure 2.  Images of different pixel sizes by simulation generated. The pixel sizes are (a) 60 nm; (b) 120 nm; (c) 160 nm; (d) 200 nm, respectively

      为了对比不同像元尺寸时算法的重构效果,分别采用MMV-CS和L1-H两种算法对500帧不同有效像元尺寸的荧光图像进行重构。对重构的超分辨图像进行所有行求和得到的强度曲线如图3所示。从图中可以看出,当像元尺寸为60 nm时,两种算法重构的效果都不理想,虽然MMV-CS算法能够分辨距离大于102.4 nm的线对,但是会出现一些旁瓣噪声,不利于算法的重构;而L1-H算法对所有线对都无法分辨。当像元尺寸为120 nm、160 nm和200 nm且线对之间距离大于76.8 nm时,重构效果非常好,因此MMV-CS算法的性能稍优于L1-H算法。

      图  3  不同的有效像元尺寸重构的超分辨图像对比分析曲线。有效像元尺寸分别为(a) 60 nm;(b) 120 nm;(c) 160 nm;(d) 200 nm

      Figure 3.  Comparison of curves of reconstructed super-resolution images based on different pixel sizes. The pixel sizes are (a) 60 nm; (b) 120 nm;(c) 160 nm; (d) 200 nm, respectively

    • 在模拟实验中,为了分析荧光分子发出的光子数对重构结果的影响,让每个荧光分子生成的光子数分别从500、1500、2500、3500和4500生成图像序列。通过MMV-CS算法法对五个图像序列进行重构,结果如图4所示。从图4中可以看出,当线对之间距离小于51.2 nm时,光子数达到4500时线对也不能进行分辨;当线对距离为76.8 nm时,只有发出光子数为500时不能进行分辨,当光子数为1500时就可以分辨出两条线,并且光子数增加时,分辨能力增加。从距离大于51.2 nm的五条线对的重构结果可以看出,随着荧光分子发出的光子数增加,线对分辨率均有所提高。

      图  4  不同光子数对超分辨图像重构结果影响的对比曲线

      Figure 4.  Comparison of curves of reconstructed super-resolution images based on different photons number

    • 相机像素探测的光子数来自于荧光信号与均匀背景信号,相机在接收到光子进行光电转换的过程中产生泊松噪声,且大小与接收的光子数有关。背景信号相对于荧光分子发出的光子属于噪声信号,背景信号可能来自于溶液中的杂质、盖波片、光学元件和离焦面分子发出的荧光和散射光,或来自于光电转换时的暗电流信号等[8, 16]。 分析荧光图像来自于背景光子数造成的影响是十分必要的,假设背景光子数均匀分布,分析背景光子数从70、100、300、500和800变化对重构结果的影响,如图5所示。为了突出显示,选择靠的最近的三条线对进行对比分析,从图中可以看出,当两条线对靠的较近即小于51.2 nm时,无论背景光子数为多少都不能分辨;当线对相距76.8 nm和102.4 nm时,随着背景光子数的增加,分辨率下降,且相距76.8 nm时,背景光子数增加到500时不能分辨,而当线对相距102.4 nm时,背景光子数增加到800时也能基本分辨,但是分辨率相对于70时明显下降。

      图  5  不同背景光子数对重构结果影响的对比曲线

      Figure 5.  Comparison of curves of reconstructed super-resolution images based on different background photons number

    • 以往通常讨论的是不同算法重构不同的帧数或分子密度所需要的重构时间。在处理荧光分子图像时,通常需要对图像进行分块处理,这将导致测量矩阵的大小不一样。尤其在算法实现二维的超分辨图像向三维的超分辨图像重构转变时,三维定位需要进行分层处理,分层分得越多测量矩阵越大。在实现三维定位时,通常光学系统中引入了像散,导致光斑增大,因此导致分块时比二维分块要大,而且重复的边缘也需要增大以消除相邻块之间的影响。所以分析不同分块大小或测量矩阵的大小对重构时间的影响是一个重要因素。图6采用基于CVX工具箱、L1-H和MMV-CS三种算法对500帧图像实行不同分块大小重构,统计只重构一小块所需要的时间进行对比。图像横坐标表示分块时行或列的像素数,纵坐标表示运行时间。从图中可以看出,三种算法随着分块行或列的数目增加时,运行时间近似成指数增加。所以当算法处理同样一张大小的荧光图像时,获得三维的超分辨图像比二维的超分辨图像的运行时间成指数增加。从三种算法运行时间对比分析可以看出,MMV-CS比L1-H算法和CVX算法分别快了一个和三个数量级。对于实现三维超分辨图像的重构,算法的运行时间是一个关键因素,MMV-CS算法可以体现出更大的优势。

      图  6  重构500帧分块图像所需要的时间对比分析曲线(Box size为图像分块之后的大小)

      Figure 6.  Comparison of run time curves of reconstructed by 500 small block images (Box size is the size of divided image)

    • 为了验证MMV-CS算法的实用性,从单分子定位显微成像公开网站下载实验数据进行比较分析[17]。下载长序列高密度的15000帧微管蛋白荧光图像,选取前1500帧图像进行分析,每帧图像大小为64 × 64 pixel,荧光波长为690 nm,有效像元尺寸为100 nm,数值孔径为1.3,根据以上参数可以算出点扩展函数参数并构建测量矩阵。1500帧图像进行累加可以得到宽场图像,如图7(a)所示,其中一张高密度图像如图7(b)所示。分别采用L1-H和MMV-CS两种算法对1500帧图像进行重构,重构结果如图7(c)和图7(d)所示。可以看出,采用MMV-CS算法重建的超分辨图像更加连续,重构效果更好。完成同样的1500帧图像重构,MMV-CS算法仅需254.59 s,而L1-H算法需要3491.58 s,前者比后者快一个量级以上。

      图  7  L1-H算法和MMV-CS算法对高密度图像进行重建比较。(a) 1500帧图像累加的宽场荧光图像;(b)取1500帧里的一帧图像显示;(c)采用L1-H算法重构结果;(d)采用MMV-CS算法重构结果

      Figure 7.  Comparison of reconstructions images of L1-H and MMV-CS algorithms based on high-density images. (a) Wide-images of directly accumulated microtubule images by 1500 frames; (b) A frame of 1500 frames; Reconstructions images using (c) L1-H algorithm and (d) MMV-CS algorithm

      为了进一步比较两种算法的性能,取图7(c)和图7(d)两条白线显示其归一化强度曲线,如图8所示。可以看出,MMV-CS算法重构结果优于L1-H算法,L1-H算法出现了较多的杂峰,如最右边两条波峰,采用MMV-CS算法可以看出显示两条微管蛋白,而采用L1-H算法时出现一系列波峰值从而导致无法分辨。并且MMV-CS算法重构的灰度值比较连续,而L1-H算法恢复灰度值是离散的值,如图7(c)和图8中的蓝色线所示。

      图  8  取图7(c)、(d)中两条白色线显示其强度曲线

      Figure 8.  Comparison of intensity curves along the white line in Fig. 7(c), (d)

    • 对荧光显微成像系统采集的所有序列图像同时进行处理,将每一张图像转成一列,然后合并成一个矩阵,并用点扩展函数构造测量矩阵,以此来建立多测量矢量压缩感知模型,并采用多重稀疏贝叶期斯学习算法进行求解,最后得到超分辨荧光图像。通过模拟和实验计算分析可以得出以下结论:有效像元尺寸为60 nm时,L1-H算法和MMV-CS算法实现效果都不好,当像元尺寸为120 nm、160 nm和200 nm且线对之间距离大于76.8 nm时重构效果都非常好,且MMV-CS算法的性能稍优于L1-H算法。因此在搭建光学系统中,不能为了提高测量矩阵的RIP性质而无限地将有效像元尺寸减小而忽略图像的信噪比。随着荧光分子发出的光子数增加,分辨率会提高,但是探测器接收到的光子数的多少与激发光的强度和爆光时间有关,应当综合考虑空间分辨率、光损伤和时间分辨率。背景光子数的增加会导致分辨能力下降,做实验时应尽量减小背景信号对荧光信号的干扰。在荧光图像进行同样的分块处理,即压缩感知模型中测量矩阵大小一样时,MMV-CS算法相对于L1-H算法和CVX算法在运行速度上分别快了超一个数量级和三个数量级,在三维超分辨荧光显微重构时,不仅需要对样品进行横向细分,还需要进行轴向分层处理,这会显著增加测量矩阵大小,所以MMV-CS算法在三维重建时具有更大的优势。

参考文献 (17)

目录

    /

    返回文章
    返回