留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

大视场微球透镜超分辨显微成像技术的研究进展

胡春光 李恩赐 翟聪 高晓晴 陈雨露 郭梦迪

胡春光, 李恩赐, 翟聪, 高晓晴, 陈雨露, 郭梦迪. 大视场微球透镜超分辨显微成像技术的研究进展[J]. 红外与激光工程, 2022, 51(6): 20210438. doi: 10.3788/IRLA20210438
引用本文: 胡春光, 李恩赐, 翟聪, 高晓晴, 陈雨露, 郭梦迪. 大视场微球透镜超分辨显微成像技术的研究进展[J]. 红外与激光工程, 2022, 51(6): 20210438. doi: 10.3788/IRLA20210438
Hu Chunguang, Li Enci, Zhai Cong, Gao Xiaoqing, Chen Yulu, Guo Mengdi. Progress in microspheric lens based super-resolution microscopic imaging technology with large field of view[J]. Infrared and Laser Engineering, 2022, 51(6): 20210438. doi: 10.3788/IRLA20210438
Citation: Hu Chunguang, Li Enci, Zhai Cong, Gao Xiaoqing, Chen Yulu, Guo Mengdi. Progress in microspheric lens based super-resolution microscopic imaging technology with large field of view[J]. Infrared and Laser Engineering, 2022, 51(6): 20210438. doi: 10.3788/IRLA20210438

大视场微球透镜超分辨显微成像技术的研究进展

doi: 10.3788/IRLA20210438
基金项目: 国家自然科学基金(52075383,61927808)
详细信息
    作者简介:

    胡春光,男,教授,博士,主要从事微纳测试技术方面的研究

    李恩赐,女,硕士生,主要从事微球超分辨显微成像技术方面的研究

    通讯作者: 高晓晴,女,博士生,主要从事光学精密操控技术方面的研究。
  • 中图分类号: O439

Progress in microspheric lens based super-resolution microscopic imaging technology with large field of view

Funds: National Natural Science Foundation of China (52075383,61927808)
  • 摘要: 光学显微镜是人类探索微观世界的重要工具,在生物学、医学、材料学、精密测量学等领域发挥重要作用。由于衍射极限的存在,发展更高质量、更高空间分辨率的超分辨光学显微成像技术成为当下研究的前沿热点。基于微球透镜的超分辨显微成像技术有着易于实现、简单直接和免标记的显著优点,发展潜力巨大。但是单个微球的视野有限,且难以进行精确定位。提高微球的可操控性,拓展超分辨显微成像视场的范围,已成为该技术突破发展的核心关键。文中在介绍微球超分辨的成像原理,分析影响成像质量主要因素的基础上,重点总结了国内外团队在拓展微球透镜超分辨显微成像视场方面的最新研究进展。根据微球的操控方式,将研究工作总结为机械接触控制、微球辅助增强层、非接触控制和微球物镜一体化四类进行介绍,探讨其技术特点,并对大视场成像、图像拼接等面向视场拓展的图像处理技术进行论述。最后,提出微球透镜超分辨显微成像技术亟待解决的关键问题、存在的难点与挑战,以及未来开展研究工作的突破点,展望了该技术的发展与应用拓展方向。
  • 图  1  微球透镜耦合倏逝波原理图[12]

    Figure  1.  Schematic diagram of evanescent wave coupled with microsphere lens [12]

    图  2  光子纳米喷射原理示意图 [15]

    Figure  2.  Schematic diagram of photon nanojet [15]

    图  3  (a)由120 nm纳米颗粒形成的金纳米粒子二聚体(NPD)阵列的SEM图像;不同直径D:(b) 4.2 μm,(c) 21.5 μm,(d) 53 μm的成像效果和分辨率分析[19]

    Figure  3.  (a) SEM image of an array of gold NPDs formed by 120 nm nanoparticles; Imaging effect and resolution analysis for different diameters D: (b) 4.2 μm, (c) 21.5 μm, and (d) 53 μm[19]

    图  4  (a1) 纳钙玻璃微球成像;(a2) 钛酸钡微球成像[20] ;(b1)、(b2) 和(b3) 分别是400 nm周期物体在30 μm、55 μm和90 μm Z位置处的虚像,比例尺:1 μm

    Figure  4.  (a1) Soda lime glass microspheres imaging; (a2) Barium titanate glass microspheres imaging [20]; (b1), (b2) and (b3) are the virtual images of the 400 nm periodic object at Z positions of 30 μm, 55 μm and 90 μm, respectively. Scale bars represent 1 μm

    图  5  微球的浸没方式示意图。(a) 无浸液[6];(b) 半浸没[24];(c) 全浸没[19]

    Figure  5.  Schematic diagram of the immersion method of microspheres. (a) No immersion liquid [6]; (b) Half immersion [24]; (c) Full immersion [19]

    图  6  微球不同浸没方式产生的超分辨图像。(a)~(d) 无浸液[6];(e)、(f) 半浸没[24];(g)、(h) 全浸没[19]

    Figure  6.  Super-resolution images produced by different immersion methods of microspheres. (a)-(d) No immersion liquid [6]; (e),(f) Half immersion [24]; (g),(h) Full immersion [19]

    图  7  不同物镜成像效果[20]。(a) SEM;(b) 20×(NA=0.4); (c) 100×(NA=0.9)

    Figure  7.  Imaging effects of different objective lenses [20]. (a) SEM; (b) 20×(NA=0.4); (c) 100×(NA=0.9)

    图  8  镍铬钢二维阵列的超分辨成像[26]。(a)亮场照明;(b)暗场照明

    Figure  8.  Super-resolution imaging of a two-dimensional array of SNCs[26]. (a) BFI; (b) DFI

    图  9  机械接触控制类装置示意图和超分辨成像图。(a)、(e)毛细玻璃管法[32];(b)、(f)悬臂梁法[33];(c)、(g) ST型钨探针法[34];(d)、(h)AFM探针法[36]

    Figure  9.  Schematic diagram and super-resolution images of mechanical strut devices. (a),(e) Capillary glass tube method [32]; (b),(f) Cantilever beam method [33]; (c),(g) ST-type tungsten probe method [34]; (d),(h) AFM probe method [36]

    图  10  (a)钛酸钡微球距金纳米等离子体阵列的边缘40 μm;(b)同一球体位于样品的边界;(c)阵列边缘附近可以看到二聚体;(d)实验装置图[38]

    Figure  10.  (a) The BTG sphere is 40 μm away from the edge of an Au nanoplasmonic array; (b) The same sphere is at the border of array; (c) The dimers are seen near the array’s edge; (d) Diagram of experimental setup[38]

    图  11  (a) 纳米游泳机器人示意图;(b) 化学动力推进示意图;(c) 涂覆示意图;(d) SEM图;(e) 红色箭头显示微型机器人的扫描运动;(f) 拼接视频单帧的放大区域得到图像[39]

    Figure  11.  (a) Schematic illustration of swimming microrobot optical nanoscopy (SMON); (b) Schematic illustration of the chemically powered propulsion; (c) Schematic diagram of coating; (d) SEM image; (e) Tracking line showing the motion of a microrobot scanning; (f) Image by stitching the magnified area from individual video frames[39]

    图  12  (a) 周期为278 nm、线宽为139 nm 的硅纳米结构光栅(SNG)的SEM 图像;(b)被捕获的PS球对SNG成像;(c)被捕获的MF球对SNG成像[41]                                

    Figure  12.  (a) The SEM image of the silicon nanostructure grating (SNG) with a period of 278 nm and a 139 nm line-width; (b) The SNG image by the trapped PS sphere; (c) The SNG image assisted by a trapped MF sphere[41]

    图  13  (a)光学正置显微镜;(b) Z轴平移器;(c)夹住玻璃微球阵列芯片的定制铝框[45];(d)微球阵列芯片;(e)微球阵列芯片制作工艺示意图[53]; (f)超透镜通过透镜适配器组合到传统显微物镜上[48];(g) PCM镜头的制备和安装[49]

    Figure  13.  (a) Optical upright microscope; (b) Z-axis translator; (c) A custom aluminum frame for clamping the glass microsphere array chip[45]; (d) Fabricated microsphere array chip; (e) Schematic of the fabrication process of the microsphere array chip[53]; (f) Super objective was made by integrating a conventional microscope objective lens using a adaptor [48]; (g) Preparation of PCM lens and installation [49]

    图  14  超分辨图像的扫描和拼接。(a)~(c)微球阵列[53];(d)~(f)一体式显微物镜[49]

    Figure  14.  Super-resolution images scanning and stitching. (a)-(c) Microsphere array[53]; (d)-(f) Unibody PCM objective [49]

  • [1] Abbe E. Beitrge zur theorie des mikroskops und der mikroskopischen wahrnehmung [J]. Archiv für Mikroskopische Anatomie, 1873, 9(1): 413-468.
    [2] Hell S W, Wichmann J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy [J]. Optics Letters, 1994, 19(11): 780-782. doi:  10.1364/OL.19.000780
    [3] Betzig E, Patterson G H, Sougratr, et al. Imaging intracellular fluorescent proteins at nanometer resolution [J]. Science, 2006, 1642(313): 1127344. doi:  10.1126/science.1127344
    [4] Gustafsson M G L. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy [J]. Journal of Microscopy, 2000, 198(2): 82-87. doi:  10.1046/j.1365-2818.2000.00710.x
    [5] Ebbesen T W, Lezec H J, Ghaemi H F, et al. Extraordinary optical transmission through sub-wavelength hole arrays [J]. Nature Materials, 2010(5S): 35-37. doi:  10.1038/35570
    [6] Chen Zhigang, Allen T, Vadim B. Photonic nanojet enhancement of backscattering of light by nanoparticles: A potential novel visible-light ultramicroscopy technique [J]. Optics Express, 2004, 12(7): 1214-1220.
    [7] Wang Z, Guo W, Li L, et al. Optical virtual imaging at 50 nm lateral resolution with a white-light nanoscope [J]. Nature Communications, 2011, 2(1): 1-6.
    [8] Perrin S, Li H, Lecler S, et al. Unconventional magnification behaviour in microsphere-assisted microscopy [J]. Optics & Laser Technology, 2019, 114: 40-43.
    [9] Duan Y, Barbastathis G, Zhang B. Classical imaging theory of a microlens with super-resolution [J]. Optics Letters, 2013, 38(16): 2988-2990. doi:  10.1364/OL.38.002988
    [10] Ben-Aryeh Y. Tunneling of evanescent waves into propagating waves [J]. Applied Physics B, 2006, 84(1/2): 121-124.
    [11] Ben-Aryeh Y. Transmission enhancement by conversion of evanescent waves into propagating waves [J]. Applied Physics B, 2008, 91(1): 157-165. doi:  10.1007/s00340-008-2945-2
    [12] Ben-Aryeh Y. Superresolution observed from evanescent waves transmitted through nano-corrugated metallic films [J]. Applied Physics B, 2012, 109(1): 165-170. doi:  10.1007/s00340-012-5193-4
    [13] Lukiyanchuk B S, Paniagua-Domínguez R, Minin I, et al. Refractive index less than two: photonic nanojets yesterday, today and tomorrow [J]. Optical Materials Express, 2017, 7(6): 1820-1847. doi:  10.1364/OME.7.001820
    [14] Yang H, Trouillon R, Huszka G, et al. Super-resolution imaging of a dielectric microsphere is governed by the waist of its photonic nanojet [J]. Nano Letters, 2016, 16(8): 4862-4870. doi:  10.1021/acs.nanolett.6b01255
    [15] Devilez A, Stout B, Bonod N, et al. Spectral analysis of three-dimensional photonic jets [J]. Optics Express, 2008, 16(18): 14200-14212. doi:  10.1364/OE.16.014200
    [16] Lee S, Li L, Wang Z. Optical resonances in microsphere photonic nanojets [J]. Journal of Optics, 2014, 16(1): 5704. doi:  10.1088/2040-8978/16/1/015704
    [17] Yang H, Gijs M A M. Optical microscopy using a glass microsphere for metrology of sub-wavelength nanostructures [J]. Microelectronic Engineering, 2015, 143: 86-90. doi:  10.1016/j.mee.2015.03.072
    [18] Lecler S, Perrin S, Leong-Hoi A, et al. Photonic jet lens [J]. Scientific reports, 2019, 9(1): 1-8.
    [19] Darafsheh A, Walsh G F, Negro L D, et al. Optical super-resolution by high-index liquid-immersed microspheres [J]. Applied Physics Letters, 2012, 101(14): 388-457.
    [20] Darafsheh A, Limberopoulos N I, Derov J S, et al. Advantages of microsphere-assisted super-resolution imaging technique over solid immersion lens and confocal microscopies [J]. Applied Physics Letters, 2014, 104(6): 061117. doi:  10.1063/1.4864760
    [21] Lee S, Li L, Ben-Aryeh Y, et al. Overcoming the diffraction limit induced by microsphere optical nanoscopy [J]. Journal of Optics, 2013, 15(12): 125710. doi:  10.1088/2040-8978/15/12/125710
    [22] Lee S, Li L, Wang Z, et al. Immersed transparent microsphere magnifying sub-diffraction-limited objects [J]. Applied Optics, 2013, 52(30): 7265-7270. doi:  10.1364/AO.52.007265
    [23] Li L, Guo W, Yan Y, et al. Label-free super-resolution imaging of adenoviruses by submerged microsphere optical nanoscopy [J]. Light: Science & Applications, 2013, 2(9): e104.
    [24] Hao X, Kuang C, Liu X, et al. Microsphere based microscope with optical super-resolution capability [J]. Applied Physics Letters, 2011, 99(20): 203102. doi:  10.1063/1.3662010
    [25] Zhou Y, Tang Y, He Y, et al. Effects of immersion depth on super-resolution properties of index-different microsphere-assisted nanoimaging [J]. Applied Physics Express, 2018, 11(3): 032501. doi:  10.7567/APEX.11.032501
    [26] Zhou Y, Tang Y, Deng Q, et al. Contrast enhancement of microsphere-assisted super-resolution imaging in dark-field microscopy [J]. Applied Physics Express, 2017, 10(8): 082501. doi:  10.7567/APEX.10.082501
    [27] Zhou J, Zeng B, Bi S, et al. Enhanced magnification factors in super-resolution imaging using stacked dual microspheres [J]. Journal of Optics, 2020, 22(8): 085605. doi:  10.1088/2040-8986/aba03c
    [28] Luo H, Yu H, Wen Y, et al. Enhanced high-quality super-resolution imaging in air using microsphere lens groups [J]. Optics Letters, 2020, 45(11): 2981-2984. doi:  10.1364/OL.393041
    [29] Guo M, Ye Y H, Hou J, et al. Imaging of sub-surface nanostructures by dielectric planer cavity coupled microsphere lens [J]. Optics Communications, 2017, 383: 153-158. doi:  10.1016/j.optcom.2016.09.002
    [30] Yang S, Cao Y, Shi Q, et al. Label-free super-resolution imaging of transparent dielectric objects assembled on silver film by a microsphere-assisted microscope [J]. The Journal of Physical Chemistry C, 2019, 123(46): 28353-28358. doi:  10.1021/acs.jpcc.9b07285
    [31] Shi Q F, Yang S L, Cao Y R, et al. Super-resolution imaging of low-contrast periodic nanoparticle arrays by microsphere-assisted microscopy [J]. Chinese Physics B, 2021, 30(4): 040702. doi:  10.1088/1674-1056/abcf48
    [32] Krivitsky L A, Wang J J, Wang Z, et al. Locomotion of microspheres for super-resolution imaging [J]. Scientific Reports, 2013, 3(1): 1-5.
    [33] Wang S, Zhang D, Zhang H, et al. Super-resolution optical microscopy based on scannable cantileverʜcombined microsphere [J]. Microscopy Research and Technique, 2015, 78(12): 1128-1132. doi:  10.1002/jemt.22595
    [34] Meng K, Gao S, Zhang Y, et al. Optical super-resolution imaging study based on controlling liquid-immersed microsphere[C]//2018 IEEE 13th Annual International Conference on Nano/Micro Engineered and Molecular Systems (NEMS). IEEE, 2018: 538-542.
    [35] Meng Kai. Research on microsphere lens operating system for super-resolution optical imaging[D]. Suzhou: Soochow University, 2019. (in Chinese)
    [36] Wang F, Liu L, Yu H, et al. Scanning superlens microscopy for non-invasive large field-of-view visible light nanoscale imaging [J]. Nature Communications, 2016, 7(1): 1-10.
    [37] Allen K W, Farahi N, Li Y, et al. Super-resolution imaging by arrays of high-index spheres embedded in transparent matrices[C]//Naecon 2014-IEEE National Aerospace and Electronics Conference. IEEE, 2014: 50-52.
    [38] Allen K W, Farahi N, Li Y, et al. Super-resolution microscopy by movable thin-films with embedded microspheres: Resolution analysis [J]. Annalen der Physik, 2015, 527(7-8): 513-522. doi:  10.1002/andp.201500194
    [39] Li J, Liu W, Li T, et al. Swimming microrobot optical nanoscopy [J]. Nano Letters, 2016, 16(10): 6604-6609. doi:  10.1021/acs.nanolett.6b03303
    [40] Ashkin A. Optical trapping and manipulation of neutral particles using lasers [J]. Proc Natl Acad Sci, 1997, 94: 4853-4860. doi:  10.1073/pnas.94.10.4853
    [41] Liu Xi, Hu Song, Tang Yan, et al. Selecting a proper microsphere to combine optical trapping with microsphere-assisted microscopy [J]. Applied Sciences, 2020, 10(9): 3127. doi:  10.3390/app10093127
    [42] Liu X, Hu S, Tang Y. Coated high-refractive-index barium titanate glass microspheres for optically trapped microsphere super-resolution microscopy: a simulation study [J]. Photonics, 2020, 7(4): 84. doi:  10.3390/photonics7040084
    [43] Wen Y, Yu H, Zhao W, et al. Scanning super-resolution imaging in enclosed environment by laser tweezer controlled superlens [J]. Biophysical Journal, 2020, 119(12): 2451-2460. doi:  10.1016/j.bpj.2020.10.032
    [44] Huszka G, Yang H, Gijs M A M. Dielectric microsphere-based optical system for super-resolution microscopy[C]//2017 19th International Conference on Solid-State Sensors, Actuators and Microsystems (TRANSDUCERS). IEEE, 2017: 2003-2006.
    [45] Huszka G, Gijs M A M. Custom adapter for extended field-of-view microsphere-based scanning super-resolution microscopy[C]//2018 IEEE Micro Electro Mechanical Systems (MEMS). IEEE, 2018: 700-703.
    [46] Huszka G, Krenger R, Gijs M A M. In vivo imaging with microsphere-based super-resolution microscopy[C]//2018 International Conference on Optical MEMS and Nanophotonics (OMN). IEEE, 2018: 1-2.
    [47] Chen L W, Y Zhou, Wu M X, et al. Remote-mode microsphere nano-imaging: new boundaries for optical microscopes [J]. Opto-Electronic Advances, 2018, 1(1): 4-10. doi:  10.29026/oea.2018.170001
    [48] Yan B, Wang Z, Parker A L, et al. Superlensing microscope objective lens [J]. Applied Optics, 2017, 56(11): 3142-3147. doi:  10.1364/AO.56.003142
    [49] Yan B, Song Y, Yang X, et al. Unibody microscope objective tipped with a microsphere: design, fabrication, and application in subwavelength imaging [J]. Applied Optics, 2020, 59(8): 2641-2648. doi:  10.1364/AO.386504
    [50] Song Yang, Yang Xibin, Yan Bing, et al. Super-resolution imaging system based on integrated microsphere objective lens [J]. Acta Phys Sin, 2020, 69(13): 170-178. doi:  10.7498/aps.69.20191994
    [51] Song Yang. Design of super-resolution imaging system based on integrated microsphere objective lens[D]. Shanghai: Shanghai University, 2020. (in Chinese)
    [52] Huszka G, Yang H, Gijs M A M. Microsphere-based super-resolution scanning optical microscope [J]. Optics Express, 2017, 25(13): 15079-15092. doi:  10.1364/OE.25.015079
    [53] Huszka G, Gijs M A M. Turning a normal microscope into a super-resolution instrument using a scanning microlens array [J]. Scientific Reports, 2018, 8(1): 1-8.
    [54] Perrin S, Leong-Hoï A, Lecler S, et al. Microsphere-assisted phase-shifting profilometry [J]. Applied Optics, 2017, 56(25): 7249-7255. doi:  10.1364/AO.56.007249
    [55] Wang F, Liu L, Yu P, et al. Three-dimensional super-resolution morphology by near-field assisted white-light interferometry [J]. Scientific Reports, 2016, 6: 24703. doi:  10.1038/srep24703
    [56] Upputuri P K, Pramanik M. Microsphere-aided optical microscopy and its applications for super-resolution imaging [J]. Optics Communications, 2017, 404: 32-41.
    [57] Bezryadina A, Li J, Zhao J, et al. Localized plasmonic structured illumination microscopy with an optically trapped microlens [J]. Nanoscale, 2017, 9(39): 14907-14912. doi:  10.1039/C7NR03654J
    [58] Yang H, Moullan N, Auwerx J, et al. Superʜresolution biological microscopy using virtual imaging by a microsphere nanoscope [J]. Small, 2014, 10(9): 1712-1718. doi:  10.1002/smll.201302942
    [59] Wen Y, Yu H, Zhao W, et al. Photonic nanojet sub-diffraction nano-fabrication with in situ super-resolution imaging [J]. IEEE Transactions on Nanotechnology, 2019, 18: 226-233.
    [60] Li Y, Liu X, Li B. Single-cell biomagnifier for optical nanoscopes and nanotweezers [J]. Light: Science & Applications, 2019, 8: 61.
  • [1] 王欢, 郎利影, 庞亚军, 张雷, 郑伟, 席思星.  连续波太赫兹成像系统的单幅图像超分辨重建 . 红外与激光工程, 2023, 52(1): 20220292-1-20220292-8. doi: 10.3788/IRLA20220292
    [2] 叶燃, 徐楚, 汤芬, 尚晴晴, 范瑶, 李加基, 叶永红, 左超.  微球透镜近场聚焦及远场成像仿真研究进展 . 红外与激光工程, 2022, 51(2): 20220086-1-20220086-13. doi: 10.3788/IRLA20220086
    [3] 高琰, 肖小月, 李小虎, 朱洪, 唐琎, 郭璠.  非一致重叠率大批量航拍远红外图像拼接方法研究 . 红外与激光工程, 2022, 51(7): 20210611-1-20210611-12. doi: 10.3788/IRLA20210611
    [4] 熊子涵, 宋良峰, 刘欣, 左超, 郜鹏.  基于深度学习的荧光显微性能提升(特邀) . 红外与激光工程, 2022, 51(11): 20220536-1-20220536-18. doi: 10.3788/IRLA20220536
    [5] 戴太强, 高晔, 马英, 蔡卜磊, 刘富伟, 何博聆, 禹洁, 侯燕, 郜鹏, 孔亮.  超分辨显微成像技术在细胞器相互作用研究中的应用(特邀) . 红外与激光工程, 2022, 51(11): 20220622-1-20220622-12. doi: 10.3788/IRLA20220622
    [6] 张赛文, 邓亚琦, 王冲, 冷潇泠, 张光富, 文兵, 邓杨保, 谭伟石, 田野, 李稳国.  基于多测量矢量压缩感知的超分辨荧光显微成像研究 . 红外与激光工程, 2021, 50(11): 20210484-1-20210484-8. doi: 10.3788/IRLA20210484
    [7] 岳广, 孙文邦, 张星铭, 李铜哨.  航空面阵图像拼接的累积误差消除方法 . 红外与激光工程, 2021, 50(9): 20200529-1-20200529-9. doi: 10.3788/IRLA20200529
    [8] 单秋莎, 苏秀琴, 段晶, 周亮, 刘凯, 闫佩佩, 姜凯.  外视场拼接的单镜头大视场中波红外成像系统的实现 . 红外与激光工程, 2020, 49(3): 0314002-0314002-6. doi: 10.3788/IRLA202049.0314002
    [9] 张祥, 高云国.  单镜头大视场拼接系统成像分析与控制设计 . 红外与激光工程, 2019, 48(1): 118001-0118001(7). doi: 10.3788/IRLA201948.0118001
    [10] 史亚莉, 陶显, 周信达, 张家斌, 丁磊, 张正涛.  光学元件激光损伤在线检测装置 . 红外与激光工程, 2018, 47(4): 417003-0417003(7). doi: 10.3788/IRLA201847.0417003
    [11] 桂辉, 徐晓婷, 李博.  安防监控中图像拼接的配光问题研究 . 红外与激光工程, 2018, 47(8): 826003-0826003(8). doi: 10.3788/IRLA201847.0826003
    [12] 蔡怀宇, 武晓宇, 卓励然, 黄战华, 王星宇.  结合边缘检测的快速SIFT图像拼接方法 . 红外与激光工程, 2018, 47(11): 1126003-1126003(7). doi: 10.3788/IRLA201847.1126003
    [13] 陈丹妮, 李亚晖, 刘伟, 刘正一.  基于和频效应和环形光的超分辨红外显微成像方法 . 红外与激光工程, 2018, 47(8): 804003-0804003(7). doi: 10.3788/IRLA201847.0804003
    [14] 袁影, 王晓蕊, 吴雄雄, 穆江浩, 张艳.  多孔径压缩编码超分辨率大视场成像方法 . 红外与激光工程, 2017, 46(8): 824001-0824001(7). doi: 10.3788/IRLA201746.0824001
    [15] 王雨曦, 亓洪兴, 马彦鹏, 葛明锋.  画幅扫描红外成像实时拼接中的光束法平差 . 红外与激光工程, 2016, 45(1): 104002-0104002(6). doi: 10.3788/IRLA201645.0104002
    [16] 孙鸣捷, 于康龙.  像素有效形状对微扫描红外超分辨成像的影响 . 红外与激光工程, 2015, 44(1): 48-52.
    [17] 孙鸣捷, 于康龙, 孟照魁.  像素感光面形状对基于微扫描的红外超分辨成像的影响 . 红外与激光工程, 2014, 43(10): 3183-3187.
    [18] 谢易辰, 陈健, 闫镔, 童莉, 曾磊, 崔明明.  三维特征点距离特征集合求交匹配算法 . 红外与激光工程, 2014, 43(8): 2728-2732.
    [19] 杨磊, 曹剑中, 唐利孬, 高博, 王华, 郭惠楠.  全景图像自动拼接算法的优化设计 . 红外与激光工程, 2014, 43(3): 985-990.
    [20] 李亮, 顾国华, 钱惟贤, 陈钱, 任建乐.  基于特征点和泊松融合的红外序列图像拼接 . 红外与激光工程, 2013, 42(9): 2584-2588.
  • 加载中
图(14)
计量
  • 文章访问数:  448
  • HTML全文浏览量:  108
  • PDF下载量:  93
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-06-30
  • 修回日期:  2021-08-01
  • 刊出日期:  2022-07-05

大视场微球透镜超分辨显微成像技术的研究进展

doi: 10.3788/IRLA20210438
    作者简介:

    胡春光,男,教授,博士,主要从事微纳测试技术方面的研究

    李恩赐,女,硕士生,主要从事微球超分辨显微成像技术方面的研究

    通讯作者: 高晓晴,女,博士生,主要从事光学精密操控技术方面的研究。
基金项目:  国家自然科学基金(52075383,61927808)
  • 中图分类号: O439

摘要: 光学显微镜是人类探索微观世界的重要工具,在生物学、医学、材料学、精密测量学等领域发挥重要作用。由于衍射极限的存在,发展更高质量、更高空间分辨率的超分辨光学显微成像技术成为当下研究的前沿热点。基于微球透镜的超分辨显微成像技术有着易于实现、简单直接和免标记的显著优点,发展潜力巨大。但是单个微球的视野有限,且难以进行精确定位。提高微球的可操控性,拓展超分辨显微成像视场的范围,已成为该技术突破发展的核心关键。文中在介绍微球超分辨的成像原理,分析影响成像质量主要因素的基础上,重点总结了国内外团队在拓展微球透镜超分辨显微成像视场方面的最新研究进展。根据微球的操控方式,将研究工作总结为机械接触控制、微球辅助增强层、非接触控制和微球物镜一体化四类进行介绍,探讨其技术特点,并对大视场成像、图像拼接等面向视场拓展的图像处理技术进行论述。最后,提出微球透镜超分辨显微成像技术亟待解决的关键问题、存在的难点与挑战,以及未来开展研究工作的突破点,展望了该技术的发展与应用拓展方向。

English Abstract

    • 由于存在衍射极限,传统的显微镜不能分辨200 nm以下的物体[1]。为突破衍射极限限制以获取超分辨显微图像,是科学研究的前沿热点领域之一。多种代表性的技术方法相继出现,如基于荧光的超分辨技术: 受激发射损耗(STED)显微技术[2]、 光激活定位显微(PALM)技术[3],基于结构光照明显微 (SIM)技术[4],基于表面等离子激元 (SPP)的超分辨显微技术[5]等等。然而,这些方法或者仪器搭建复杂;或者必须对样品进行荧光标记,不可避免会污染样品;又或者需要后期进行数据处理,因此研究人员仍在不断探索新的技术。

      2004年,Zhigang Chen等[6]发现当平面波照射微米级介电圆柱体侧表面时,圆柱体阴影面可以产生局部纳米级光子射流,该光场强度比入射光增强几个数量级。这一研究首次为微球透镜超分辨显微成像提供了理论依据。2011年,英国曼彻斯特大学的王增波等[7]第一次通过微球超分辨技术实验获得蓝光光盘表面的精细结构,实现50 nm的超分辨效果。此后,基于微球透镜的超分辨显微技术得到快速发展,研究者们围绕微球透镜超分辨显微成像的基础理论、技术方案、应用测试等诸多方面进行了大量的研究。

      虽然微球透镜超分辨显微成像技术具有肉眼实时观测,时间分辨率高,无需荧光标记,设备简单,方便实施等优点,但微球通常需要撒落样品表面进行成像,其位置具有随机性,很难实现指定位置的准确观察。并且,受微球尺寸的限制,单个微球观察到的视野十分有限。当增加微球尺寸时,视野虽然会增加,但放大倍率和分辨率也会发生变化,对微球透光性的要求也会更高[8]。这些局限性限制了微球透镜超分辨显微成像技术的进一步发展和拓展应用,因此,为了提高微球透镜进行超分辨显微成像的可操纵性,拓展超分辨显微成像视野范围,研究者们展开了一系列富有成效的研究。文中将介绍微球透镜超分辨显微成像的技术原理和基本实验方案,归纳影响微球透镜超分辨图像性质的因素,重点总结最新操控微透镜移动和拓展微球透镜超分辨显微成像视场的方法,并对该技术未来的发展进行讨论。

    • 由于微球直径通常要求在微米级别,与探测光的波长量级相同,光在微球上的散射效应无法忽略。通常认为,经典几何光学理论在这一尺度上关于焦点、焦距和放大率等理论并不准确,无法合理揭示微球透镜显微成像的机理。然而,新发展起来的倏逝波传输理论和光子纳米喷流效应一定程度上解释了衍射极限的突破现象,为微透镜超分辨显微成像提供了理论基础。

    • 物体受光波照射后,离开表面的光波分为两种:一部分光向远方传播,被传统光学显微镜接收;另一部分光波只能沿物体表面传播,一旦离开表面就很快衰减,这部分光被称作倏逝波。倏逝波携带物体的高频图像信息,但在一般情况下无法被显微物镜接收。微球透镜能把近场的倏逝波耦合进入内部,将其转变成可以在远场传播的传播波并被物镜接收。在微球透镜中会激发回音壁模式(Whispering gallery mode, WGM),分辨率可以通过WGM增强而超过衍射极限[9]

      Ben-Aryeh Y[10-12]对微球透镜把倏逝波转变成传播波的条件及过程进行了分析,如图1所示,设入射光波的水平波数为$u$,垂直波数为$w$,则介质和微球分界面P处入射波的水平分量为:

      图  1  微球透镜耦合倏逝波原理图[12]

      Figure 1.  Schematic diagram of evanescent wave coupled with microsphere lens [12]

      $$ {u}'=\sqrt{{\left(u{\rm{cos}}\theta \right)}^{2}-{\left(\right|w\left|{\rm{sin}}\theta \right)}^{2}} $$

      当水平分量小于微球内部所允许传播的最大波数时,将会转化为传播波,即:${{u}}' < {{{{n}}}}{{{{{{k}}}}}}_{0}$;为了避免微球透镜内部的传播波无法传递到远场, 水平分量应小于周围浸没介质的波数,即:${{u}}' < {{{{n}}}}_{{{{l}}}}{{{{k}}}}_{0}$。其中,$ n $为微球折射率,$ {n}_{l} $为微球周围浸没介质折射率,$ {k}_{0} $为单位长度上产生的波数变化,即波数。

      理论上,提高微球透镜的折射率$ n $和周围浸没介质的折射率$ {n}_{l}, $则微球耦合的高频成分增加,成像的分辨率提升。由于倏逝波竖直方向快速衰减的特点,微球透镜耦合近场光学信息受到高度限制,仅能将距离样品表面一定高度范围内的倏逝波加以耦合并将其传递至远场。

    • 平行(或称准直)光束经介电圆柱或者微球聚焦,在其背光面会出现一个喷射长度大于波长尺寸,喷射光束宽度处于亚波长量级的超强聚焦光场,这个现象称为光子纳米喷流效应。Mie理论对球形粒子光散射进行了完整描述,其基于麦克斯韦方程组,可以严格求出在平面波照射下,微粒在均匀且各向同性的介质中,散射场及内场的精确解。即可给出光子纳米喷流效应的形成,从而构建系统电磁场的分布情况,进一步对其性质进行研究[13]。微球透镜和传统透镜所形成的焦点类似,但是其形成机理与性质却不相同,形成光子纳米喷流的位置与微透镜类型和周围介质的折射率有关。从聚焦的角度分析,微球产生的纳米喷流越细,微球的聚焦效果越好,分辨率越高[14]

      光子纳米喷射需要用一些参数来表征。如图2所示,喷射光强最大的点即为聚焦点,从微球的球心到聚焦点的距离为微球系统的焦距( f )。喷射长度(zr)定义为从光强最大值(Imax)点到沿轴方向光强衰减到$\dfrac{{{I_{{\rm{max}}}}}}{{{\rm{e}^2}}}$那一点的距离。半最大值全宽(FWHM)指在光强最大值位置处,光强最大值一半的横向距离。半最大值全宽被广泛应用于评价超分辨性能,其值越小,即束腰(w0)的宽越窄,超分辨能力越强。普遍认为,当光强越大、焦距越短、纳米喷流的纵向延续长度越长、半高全宽越小时,超分辨显微成像效果越好。且焦点位置在微球外内影响超分辨显微成像虚实[15]

      图  2  光子纳米喷射原理示意图 [15]

      Figure 2.  Schematic diagram of photon nanojet [15]

      微球超透镜成像的放大倍率、分辨率等性质参数与光子纳米喷射表征参数有一定联系。光子纳米射流的束腰和微球与最大电强度位置之间的距离决定了超分辨显微成像的能力,并随微球的折射率和尺寸发生变化[16]。微球的尺寸减小时,纳米射流的束腰也减小。纳米射流形成在靠近微球表面时,有利于提高分辨率和放大率[17]。由于光子纳米射流现象既超出了近场光学范畴(一个波长以内),又不属于传统远场光学(毫米量级及以上),因此其是一种准近场光学现象,所以只有当观测样品与介质微球之间的距离在约20个波长以内时,微球才具有超分辨能力。同时以光子射流热点区域为焦点,可以推断出图像的性质(实像和虚像),及像面位置和微球放大率的趋势[18]

    • 微球透镜超分辨显微成像技术是一种简单快速地得到样品超分辨图像的方法。该方法将微球放在样品表面,利用显微镜透过微球观察样品表面结构,从而实现超分辨显微成像。针对微球超分辨图像,主要关注其放大倍率、分辨率和视场大小等基本性质。而微球的直径和类别、介质环境和浸没深度、物镜参数和照明方式等都会影响图像的质量。这些因素的改变会引起成像效果的变化,因此研究人员希望通过探究这些因素对超分辨图像性质的影响,使成像质量得到提高。

    • 微球透镜的主要可变参量为直径和类别。选择不同尺寸或材质的微球会引起分辨率的改变。Darafsheh A等[19]将不同直径的钛酸钡微球完全浸没在异丙醇溶液中对金纳米粒子二聚体进行超分辨显微成像。如图3(b)~(d)中白色虚线,沿两个纳米粒子的轴测量图像强度,得到黑色曲线,拟合结果为一个双峰结构,由红色虚曲线表示。两个峰之间越陡峭表示两个纳米粒子区分度越高,可知随着微球直径的增加,图像的分辨率降低。此外,他们还将直径均为53 μm的纳钙玻璃微球(折射率n=1.51)在空气中成像,钛酸钡微球(折射率n=2.1)用异丙醇完全浸没成像,如图4(a)所示,发现钛酸钡微球对蓝光光盘成像分辨率更高[20]。由此可见,微球直径和类别是超分辨图像分辨率的重要影响因素,只需简单更换微球的尺寸和材料,就能根据样品需求得到不同的成像效果。

      图  3  (a)由120 nm纳米颗粒形成的金纳米粒子二聚体(NPD)阵列的SEM图像;不同直径D:(b) 4.2 μm,(c) 21.5 μm,(d) 53 μm的成像效果和分辨率分析[19]

      Figure 3.  (a) SEM image of an array of gold NPDs formed by 120 nm nanoparticles; Imaging effect and resolution analysis for different diameters D: (b) 4.2 μm, (c) 21.5 μm, and (d) 53 μm[19]

      图  4  (a1) 纳钙玻璃微球成像;(a2) 钛酸钡微球成像[20] ;(b1)、(b2) 和(b3) 分别是400 nm周期物体在30 μm、55 μm和90 μm Z位置处的虚像,比例尺:1 μm

      Figure 4.  (a1) Soda lime glass microspheres imaging; (a2) Barium titanate glass microspheres imaging [20]; (b1), (b2) and (b3) are the virtual images of the 400 nm periodic object at Z positions of 30 μm, 55 μm and 90 μm, respectively. Scale bars represent 1 μm

      同时,图像的放大倍率及成像平面也会受到微球直径的影响。Lee S等[21]使用直径不同的聚苯乙烯微球在空气中进行超分辨显微成像,得出当最佳成像面位置除以微球直径的值一定时,微球直径越大,放大倍数越大。他们还指出成像平面在一定范围内可以观察到清晰的像,在此范围内当成像平面位置靠近样品表面时,放大倍数降低;远低于目标表面时,放大倍数增加[22]。Perrin S等进一步认为放大倍数的范围取决于微球的尺寸,放大倍数沿成像深度增加,如图4(b)所示,微球直径越小,成像深度越窄,意味着大的微球需要在更远的位置用显微镜物镜对焦。而较短的焦距范围有益于获得更清晰的纳米图像,不会出现明显的球差模糊[23]。正因如此,不能无限增大微球的直径以获得更高的放大倍率,还需综合考虑分辨率和成像平面等其他因素的限制。

    • 因为不同材质微球折射率的差异,环境介质即微球的浸没方式又分为无浸液、半浸没、全浸没,见图5

      图  5  微球的浸没方式示意图。(a) 无浸液[6];(b) 半浸没[24];(c) 全浸没[19]

      Figure 5.  Schematic diagram of the immersion method of microspheres. (a) No immersion liquid [6]; (b) Half immersion [24]; (c) Full immersion [19]

      无浸液(即空气环境):Wang Z等[6]使用直径为4.74 μm的二氧化硅微球作为微透镜,将放大倍数为80倍、NA=0.9传统光学显微镜与其结合,在白光照明条件下,分别以反射和透射两种模式在空气中无浸液观察到了蓝光光盘(图6(b))和孔径为50 nm的AAO膜(图6(d))的超分辨图像。实验装置见图5(a)图6(a)~(d)展示了两种样品的SEM图和微球超分辨显微成像图。

      图  6  微球不同浸没方式产生的超分辨图像。(a)~(d) 无浸液[6];(e)、(f) 半浸没[24];(g)、(h) 全浸没[19]

      Figure 6.  Super-resolution images produced by different immersion methods of microspheres. (a)-(d) No immersion liquid [6]; (e),(f) Half immersion [24]; (g),(h) Full immersion [19]

      半浸没:Hao X等[24]使用3 μm的二氧化硅微球进行蓝光光盘超分辨显微成像,并将微透镜浸没在酒精中,观察乙醇逐渐蒸发过程中成像的变化,如图5(b)所示。其对比微球在空气中成像效果,发现随着酒精的蒸发,超分辨图像在某时段对比度和清晰度达到最佳,结果如图6(f)所示,图6(e)为该蓝光盘SEM图。

      全浸没:Darafsheh A等[19]提出折射率为1.9和2.1的钛酸钡微球在非浸液的环境下无法实现超分辨。而当使用放大倍数为100倍、NA=0.9的光学显微镜,将钛酸钡微球完全浸没在异丙醇中可以产生超分辨图像,如图5(c)所示,图6(h)为使用该方法获得的由120 nm纳米粒子以150 nm间隔形成的金二聚体二维阵列的超分辨图像,图6(g)为其SEM图。

      选择不同浸没方式伴随着环境介质浸没深度的改变,同时微球和环境介质之间的相对折射率也会影响成像质量,因此浸没方式的选择还需建立在微球的类别上。

      在此基础上,不少研究人员就微球类别、环境介质、浸没深度三者的匹配性进行了探究。Zhou Y等[25]将直径均为10 μm的低折射率二氧化硅微球(折射率n=1.46)和高折射率钛酸钡微球(折射率n=1.9)浸没在酒精中,对硅纳米结构光栅进行超分辨显微成像。随着酒精蒸发带来浸没深度的改变,观察图像质量的变化。发现二氧化硅微球半浸没在乙醇中时超分辨显微成像能力最好,完全浸没时丧失超分辨能力;钛酸钡微球只有完全浸没在液体中才具有超分辨显微成像能力。针对同种微球,仅改变环境介质也会影响放大倍率和分辨率。Lee S等[22]使用100 μm钛酸钡微球,在三种不同的介质中:水(折射率n=1.330),40%的糖溶液(折射率n=1.399)和显微镜浸入的油(折射率n=1.518),对蓝光光盘进行超分辨显微成像。实验结果表示,微球和浸没液体之间较高的相对折射率可以增加放大倍率,提高分辨率。通常情况下,不同微球均存在最佳成像介质和浸没深度。但因环境介质种类繁多,浸没深度的测量方式当前仍处于定性层面,仅根据液体区域面积大小表示不同的浸没深度。且使用同种微球的不同尺寸进行超分辨显微成像或也对环境介质和浸没深度有不同的要求。所以微球的最佳成像介质和浸没深度难以统一,针对微球类别、环境介质、浸没深度三者的匹配性仍有大量的探索空间。

    • 微球透镜先将样品的微纳米结构一次放大,经过传统光学显微物镜接收后,再将微球视场内的样品结构二次放大。因此除微球透镜和环境介质外,显微成像系统本身也会影响超分辨显微成像质量。

      Darafsheh A等[20]就显微物镜参数对成像质量的影响开展了研究。其使用20倍、NA=0.4和100倍、NA=0.9物镜,20 μm的钛酸钡微球对纳米等离子体结构进行成像,如图7所示,发现高倍物镜分辨率更高。

      图  7  不同物镜成像效果[20]。(a) SEM;(b) 20×(NA=0.4); (c) 100×(NA=0.9)

      Figure 7.  Imaging effects of different objective lenses [20]. (a) SEM; (b) 20×(NA=0.4); (c) 100×(NA=0.9)

      另外,照明方式的选择也是超分辨显微成像重要的环节。Zhou Y等[26]首次在暗场照明(Dark-field illumination, DFI)下使用直径为20 μm的钛酸钡微球全浸没对镍铬钢(SNC)二维阵列进行超分辨显微成像。图8中,对比亮场照明(Bright-field illumination, BFI),DFI的方式显著提高了成像的分辨率。因为DFI可以增强光学显微镜中的散射对比度,在辅助超分辨显微成像时有效抑制了低频信息,利于获得需要的高频信息。

      图  8  镍铬钢二维阵列的超分辨成像[26]。(a)亮场照明;(b)暗场照明

      Figure 8.  Super-resolution imaging of a two-dimensional array of SNCs[26]. (a) BFI; (b) DFI

      除此之外,还有一些其他因素能够提升图像质量,例如:样品表面的金涂层显著提高图像分辨率和放大倍数[6];轴向堆叠两个微球改变图像的分辨率、放大倍率和视场[27-28];使用介质平面波导耦合的微球透镜,即在样品表面设计耦合层和腔层,以提高成像分辨率[29];改变样品衬底,选择镀有银膜、涂有高反射率介质多层膜的玻璃载玻片[30],或者直接在样品表面沉积银膜[31],都可以提高图像分辨率。

      可见,不能单纯考虑某一种因素设计微球透镜超分辨显微成像方案,应根据样品成像效果的需要进行综合选择。

    • 单个微球透镜成像视场有限,而大视场成像应用范围更广,但因放大倍率和分辨率限制,不能无限增大微球直径来扩大视场范围。因此,控制微球移动,拓展单个微球视场,形成大视场成像对该技术的应用发展至关重要,国内外多个团队对此展开了持续、多样的研究。针对在拓展微球透镜超分辨显微成像视场方面的最新研究工作,依据操控微球移动的方式,将已报道的研究成果分为四大类:分别是机械接触控制类、微球辅助增强层类、非接触控制类和微球物镜一体化类。

    • 机械接触控制类方法主要有四种:毛细玻璃管法[32],悬臂梁法[33]、ST型钨探针法[30-31]和AFM探针法。这四种方法的主要特征是将微球与支杆尖端粘附起来,再结合微型移动台实现对微球的控制,主要不同点在于支杆的类型。

      毛细玻璃管法是用空气吸力或者UV胶,将单个微球附着到刚性轴(玻璃棒)的尖端上,然后把玻璃棒安装在三维平台上,通过控制三维平台的XYZ轴让微球进行移动,并将微球定位在任何需要的位置上,如图9(a)所示。通过显微镜,可以看到微管尖端的图像,微球附着在尖端,同时纳米结构在微球内部成像。成像效果如图9(e)所示,能够看到玻璃管尖端微球内有间隙分明的两个正方形金纳米块[32]

      图  9  机械接触控制类装置示意图和超分辨成像图。(a)、(e)毛细玻璃管法[32];(b)、(f)悬臂梁法[33];(c)、(g) ST型钨探针法[34];(d)、(h)AFM探针法[36]

      Figure 9.  Schematic diagram and super-resolution images of mechanical strut devices. (a),(e) Capillary glass tube method [32]; (b),(f) Cantilever beam method [33]; (c),(g) ST-type tungsten probe method [34]; (d),(h) AFM probe method [36]

      悬臂梁法为悬臂尖端与微球相连,悬臂梁的弹性克服了以往玻璃棒可能会断裂破碎的问题。图9(b)说明了实验基本配置,二氧化硅微球通过光学胶连接到NP-S悬臂,为避免悬臂针尖与样品接触,将微球粘在低于悬臂的位置,悬臂与样品表面的夹角设为158°。DVD光盘样品成像效果如图9(f)所示,图右下角红色虚线框为微球放大图,球内有明显超分辨现象[33]

      ST型钨探针法与前两种类似,微球用光学胶水粘在ST型钨探针上,探针通过一个旋转机构与一个XYZ三轴运动台相连,即可视为一个具有四自由度的机器人。装置图如图9(c)所示,该方法不同之处为在垂直显微物镜方向上添加了一个观测物镜,便于掌握探针到物体表面的距离。条纹宽220 nm、条纹间距130 nm的蓝光光盘成像效果如图9(g)所示[34-35]

      AFM探针法是用微球的成像区域代替原子力显微镜尖端的点,并拼接扫描记录的图像区域,即将微球超透镜集成到AFM扫描系统中,其效率是原子力显微镜的200倍,实现了亚衍射极限分辨率,如图9(d)所示。该方法可对蓝光光盘、CPU内部结构、小鼠成肌细胞(C2C12)和人乳腺癌细胞(MCF-7)进行超分辨显微成像,图9(h)为对小鼠成肌细胞的荧光超分辨显微成像拼接图[34-36]

      机械接触控制类方法容易实现,只需要增加一个三维位移台控制的支杆,而且可以实现微球Z轴上的平移,这为定量探究微球超分辨显微成像范围,最佳成像面的位置等参数提供了方法。但是移动机构较为复杂,体积较大,一般是大量程粗定位和小范围精确定位相互配合,定位效率较低,且支杆一定程度上会影响扫描过程和成像质量,阻碍了样品的封装与测试台的设计。

    • 微球辅助增强层类是将微球封装在透明材料PDMS (聚二甲基硅氧烷)中形成薄膜,厚度大约为200~300 μm。此类薄膜可用作接触光学组件,将膜沿着要成像的纳米等离子体结构的表面平移即可控制微球的位置,提高常规显微镜的分辨率。薄膜的主要制造过程为:首先将微球沉积在底部,接着注入PDMS液体并晾干,最后取出该薄片。图10(d)为实验装置示意图,通过插入PDMS且连接微操纵器的金属探针控制PDMS薄膜的平移,移动过程中需要使用IPA (异丙醇)润滑。通过移动PDMS薄膜,即可以实现微球位置的改变,图10(a)~(c)中虚线框出的微球由原位置移动到了金纳米等离子体阵列样品的边缘,在目标位置更改物镜焦点深度,进行二聚体超分辨显微成像,如图10(c)所示[37-38]

      图  10  (a)钛酸钡微球距金纳米等离子体阵列的边缘40 μm;(b)同一球体位于样品的边界;(c)阵列边缘附近可以看到二聚体;(d)实验装置图[38]

      Figure 10.  (a) The BTG sphere is 40 μm away from the edge of an Au nanoplasmonic array; (b) The same sphere is at the border of array; (c) The dimers are seen near the array’s edge; (d) Diagram of experimental setup[38]

      微球辅助增强层类最主要的特点就是在一些场合可以直接接触样品,成为整个系统中的增强层。该增强层为弹性胶体,通过内部的微球辅助成像,有效增强图像分辨率。但因为微球封装在薄膜里,无法准确控制微球放置在需要的位置,且一旦制作完毕,参数无法调整,灵活性较低。

    • 非接触控制类是指结合其他成熟的技术无接触操控微球,最终实现超分辨显微成像。主要有纳米游泳机器人法和光镊法。

      纳米游泳机器人法是指将聚苯乙烯或二氧化钛微球(直径2~20 μm)部分涂覆薄Ti/Ni/Pt (2/5/5 nm)金属三层,制作成Janus微型机器人,如图11(c)所示。微机器人通过铂催化的不对称分解过氧化氢燃料产生局部氧梯度,在水溶液中自主游动,扫描样品表面,如图11(b)所示。外部磁铁可以通过镍层远程控制微机器人的方向。微机器人的自主运动和磁引导能够实现亚衍射分辨率的大面积、平行和无损扫描。微机器人运动示意图如图11((a)所示,微球在含有化学燃料的水溶液中自动游过样品表面,通过物镜聚焦的高强度的光场,光在微球下面再次聚焦,样品表面的特征将这些光散射成近场倏逝波,这些波又被移动的微球所接收,并传播给物镜。物镜后的CCD摄像机将放大后的虚拟图像采集为高帧视频,将其重构为具有大视场的拼接图像。图11(e)(f)为10 μm单个PS微机器人对320 nm纳米光栅结构的成像和扫描拼接图,该拼接图能清晰观察到微球移动范围内完整的纳米光栅结构[39]

      图  11  (a) 纳米游泳机器人示意图;(b) 化学动力推进示意图;(c) 涂覆示意图;(d) SEM图;(e) 红色箭头显示微型机器人的扫描运动;(f) 拼接视频单帧的放大区域得到图像[39]

      Figure 11.  (a) Schematic illustration of swimming microrobot optical nanoscopy (SMON); (b) Schematic illustration of the chemically powered propulsion; (c) Schematic diagram of coating; (d) SEM image; (e) Tracking line showing the motion of a microrobot scanning; (f) Image by stitching the magnified area from individual video frames[39]

      光镊是20世纪80年代Authur Ashkin[40]提出的一种使用高数值孔径的物镜聚焦激光,形成光阱捕获微米级粒子的技术方法。光镊可以直接捕获微球进行超分辨显微成像,主要的问题在于微球在介质中的光学捕获性能和超分辨显微成像能力的适配。二氧化硅微球,钛酸钡(BTG)微球、聚苯乙烯(PS)微球和三聚氰胺甲醛(MF)微球是四种常用的微球透镜,其中PS微球和MF微球更适合在光镊下进行超分辨。如图12所示,红色框表示微球被光镊捕获,从图中可以看到MF微球成像效果比PS微球好[41]。光捕获微球显微镜中通常使用水作为浸没介质,在该环境下,高折射率BTG微球比低折射率PS微球或MF微球具有更好的成像性能,但由于其折射率过高,难以被单光束激光所俘获。为保证光镊捕获效率的同时有更好的成像效果,一种新的微球模型被提出,即在BTG微球表面附上PS涂层。与未涂层的BTG微球相比,适当PS涂层厚度的BTG微球具有更高的捕获效率,实现单光束光捕获的同时还具有更高的光强度Imax和更窄的半高全宽(FWHM),对应更好的成像性能,这种涂层微球是进行实验的理想选择[42]。基于光镊的微球超分辨技术还可识别和成像直径为90 nm的银纳米线;对封闭微流控环境中的大肠杆菌进行成像[43]

      图  12  (a) 周期为278 nm、线宽为139 nm 的硅纳米结构光栅(SNG)的SEM 图像;(b)被捕获的PS球对SNG成像;(c)被捕获的MF球对SNG成像[41]                                

      Figure 12.  (a) The SEM image of the silicon nanostructure grating (SNG) with a period of 278 nm and a 139 nm line-width; (b) The SNG image by the trapped PS sphere; (c) The SNG image assisted by a trapped MF sphere[41]

      非接触技术类显著优点是能够不接触微球透镜实现控制微球移动。但纳米游泳机器人制作工艺复杂,需要化学燃料推动,且微球只能贴合物品表面自主运动,对样品有很大的限制。光镊本身具有非接触性的特点,可以保证观测细胞等生物领域样品时其不受污染和破坏。且光镊本身就耦合了成像系统,可以捕获操纵微球高精度移动,从而实现任意位置的超分辨显微成像。基于光镊的微球超分辨技术虽能够实现微球三个方向的可靠运动,但同时满足微球捕获效率高和成像效果佳仍具有一定难度,在光路设计和微球材料尺寸的选择上还需要不断探索和创新。此外,光镊需要较强的激光能量,不适用于对光照和温度敏感的样品,在一定程度上限制了其应用前景。

    • 微球物镜一体化类是将微球与物镜集成起来,让两者保持相对静止,通过移动样品台实现微球扫描成像。各具体方法的主要区别为微球和物镜的集成方式不同:机械部件适配,制作微球阵列,封装多个或单个微球。

      将40 μm的钛酸钡微球用诺兰光学胶(NOA63)随机固定在玻璃薄片上,薄片放置在具有圆形开口的金属框架上,用四个金属棒将该框架与物镜相连,框架可以相对显微镜物镜竖直滑动以调整距离,这样物镜与微球保存相对静止,移动样品台进行自动的逐步扫描和成像[44]。在此基础上,可以将微球阵列和物镜集成,固定系统由自开发制造的铝适配器和笼形系统部件组成,装置实物图如图13(a)~(c)所示。图13(d)为微球阵列的实物图,图13(e)为制作工艺流程示意图,主要分为6步:(1)用氧等离子体处理玻片;(2)在玻片上旋涂20 μm SU8光刻胶;(3)用光刻技术将一组微孔印在SU8上;(4)在顶部涂上一层NOA63光胶,此时微孔内存在气泡;(5)通过真空处理去除气泡;(6)BTG微球进入微孔,并通过紫外线固化NOA63光胶[45]。该超分辨系统可以实现样品亮场和荧光成像以及图像扫描拼接,使用2×2 BTG微球阵列可以观察到大肠杆菌和虫卵的超分辨显微成像[46]。当使用不同适配器时,物镜和微球之间的距离还可以通过机械框架上的步进电机精确控制[47]

      图  13  (a)光学正置显微镜;(b) Z轴平移器;(c)夹住玻璃微球阵列芯片的定制铝框[45];(d)微球阵列芯片;(e)微球阵列芯片制作工艺示意图[53]; (f)超透镜通过透镜适配器组合到传统显微物镜上[48];(g) PCM镜头的制备和安装[49]

      Figure 13.  (a) Optical upright microscope; (b) Z-axis translator; (c) A custom aluminum frame for clamping the glass microsphere array chip[45]; (d) Fabricated microsphere array chip; (e) Schematic of the fabrication process of the microsphere array chip[53]; (f) Super objective was made by integrating a conventional microscope objective lens using a adaptor [48]; (g) Preparation of PCM lens and installation [49]

      高折射率微球(BaTiO3或TiO2)可以封装在透明主体材料(如PMMA和PDMS)内形成薄片状超透镜,再通过一个定制的3D打印适配器,与一个传统的显微镜物镜集成。集成部件如图13(f)所示,超透镜可以很容易地通过适配器安装到现有的传统显微镜上,其中超透镜使用高粘性胶水粘合到适配器的底端,适配器具有适合物镜镜筒的尺寸和合理的摩擦力,且允许上下调节[48]。上述方法为封装多个微球,还可以使用PDMS将一个高折射率的钛酸钡微球封装到一个平凸透镜上 (plano-convex lens and a microsphere,PCM),然后再将其装入一个传统的物镜中。图13(g)为该一体式显微镜物镜的制作过程和实物图,首先在BK7平凸透镜上旋涂PDMS,然后分别将直径为25 μm、38 μm和50 μm的单个钛酸钡微球对准透镜中心并附着在PDMS上。PCM透镜被连接到一个自设计的可调适配器上,该适配器由两个金属部件组成,其上部固定物镜,下部固定PCM透镜。这两个部分通过螺纹组装在一起,因此PCM镜头和物镜之间的距离可手动旋转螺纹进行调节[49-51]

      微球物镜一体化类能够实现一般样品的大面积快速扫描拼接,但是相对来说通用性不足,需要安装适配器。同时因为适配器的存在,需要手动控制微球、物镜和样品三者之间的距离,对焦过程操作繁琐且精度低。另外不管是微球阵列的制作还是封装单个微球,都需要一定的工艺基础才能实现。

    • 面向大视场的图像处理技术主要包括图像扫描方法和效率,图像拼接算法。通过上述微球透镜可控移动方法,可以在指定位置实现微球超分辨的准确观察,这是大面积扫描成像的前提。针对不同的成像需求和样品特性,需要选择不同的操控方式进行扫描,例如光镊法是生物样品的首选,但吸热性能强的样品却不适合。在此基础上,笔者需要对扫描路径进行规划,并提高扫描效率。

      扫描方法一般是在XY方向上平移一定位移量,然后进行图像采集,接着重复该过程,得到多个图像。不同扫描方法的区别在于此过程中是否改变Z方向的距离,位移台下移后再进行XY面的平移可以避免对样品可能造成的伤害,但会降低扫描效率。因此,相比每次采集后均移动Z轴、扫描一排或一列后移动Z轴,在XY平面以“弓”字形不改变Z轴距离运动是目前效率最高的扫描方式。使用微球阵列扫描会提高扫描效率,但后期拼接算法更为复杂。另外,不同样品的表面形貌差异会对路径规划产生不同的要求,由此也会提高图像拼接的难度。

      整个扫描过程中,微球的定位误差不能忽略,这对拼接效果和效率至关重要。Z轴误差引起不同步骤之间微球成像效果的改变,导致最终大视场图像质量不均匀。XY平面误差太大会增加拼接难度,甚至无法拼接,在扫描路径中预先设计好重叠量是一种减小误差的方式,也能将单个微球中心有效放大区域最大化利用。同时,单个微球视场存在镜头畸变,不同图像的成像质量存在差异,这都给后期拼接带来挑战。虽然目前已有不少其他成熟的图像拼接技术,但基于微球超分辨的面向大视场的图像处理技术落脚点不仅仅是简单拼接,需要从精确操控微球进行大面积扫描出发,兼顾超分辨显微成像质量和拼接效率,综合性较强,难度较大。

      针对面向大视场的图像处理技术,已报道的最新研究主要分为三类:单个微球图像处理、微球阵列图像处理、微球物镜一体化图像处理。

      单个微球扫描每次需要重新寻找成像位置后采集图像[44],通过拼接算法创建一个新的虚拟画布,将ROI (感兴趣区域)映射到该画布上,ROI恰好位于所有图像上的同一位置,即中心区域,从而形成了拼接图像[52]

      微球阵列扫描为“之”字形,如图14(b)所示,实线代表图像采集路线,虚线代表位移台回程路线。图14(a)为两个微球阵列的超分辨显微成像,图像的中心(用绿色虚线标记)显示可用区域。将图像的正方形区域(第一个微球:黄色,第二个微球:蓝色)进行拼接,需要注意的是,由于微球阵列的间距小于扫描间距,第一个微球的黄色块和第二个微球的蓝色块之间会发生重叠,如图14(c)所示[53]

      图  14  超分辨图像的扫描和拼接。(a)~(c)微球阵列[53];(d)~(f)一体式显微物镜[49]

      Figure 14.  Super-resolution images scanning and stitching. (a)-(c) Microsphere array[53]; (d)-(f) Unibody PCM objective [49]

      微球物镜一体化扫描是“弓”字形路线,样品在Z方向保持不变,位移台在XY平面每移动1.2 μm,相机就记录一帧,图14(d)(e)中黄色虚线为具体扫描路线。在这个过程中,微球和样品的工作距离始终保持不变,约2.8 μm,最后选用约3.6 μm×3.6 μm的中心有效视场进行拼接。此方法实现了样品大面积扫描成像,拼接图像对比度较好,成像视野显著拓展。见图14(d)~(f), 分别为IC芯片样品单帧图像和10×10帧的拼接图像;蓝光光盘的单帧图像和20×2帧的拼接图像;IC芯片复杂结构的单帧图和13×10帧的拼接图像[49-51]

    • 微球透镜超分辨显微成像技术简单、操作方便、易于实现、无标记、分辨率高,具有广阔的发展和应用前景。已报道的研究主要集中在微球超分辨显微成像规律和机理、图像质量的提高、微球的操控方法上。而微球辅助显微镜的超分辨现象尚未得到可靠一致的解释。无论是几何光学、倏逝波、纳米喷射效应、电介质微球回音壁模式以及表面等离激元等等,都无法完全说明实验中出现的一些现象,理论数据和实验结果存在一定出入,完整的成像机制仍在探索中。另外研究者们进行实验时,微球的直径和类别、成像物镜、成像样品、光照条件等实验条件不同,得到的图像放大倍率和分辨率等参数也有所不同,因此评估超分辨图像质量没有统一标准和方法。

      尽管基础研究仍在继续,微球透镜超分辨显微成像技术研究热点势不可挡地渐渐从基础转向应用发展。可是单个微球透镜成像视场有限,严重局限了该技术的发展。因此研究者们就该技术应用发展的关键问题:如何控制微球的位置对样品大面积高效成像,进行了一系列探索。现报道的研究多数仅仅针对微球的可控移动方法,微球控制的精度、图像扫描和拼接算法等研究方面仍旧有大量空白。超分辨图像质量与微球透镜和样品的Z轴距离大小的关系目前也尚未得到科学详细的说明。而控制微球移动进行扫描成像不可避免的需要Z轴方向的精确移动,提升操控精度并明确两者的关系是提高大视场图像质量的突破点。此外,当前图像拼接算法几乎都是自定义算法,在此基础上推广应用大面积成像仍旧困难。但是,微球超分辨技术的发展离不开成像视场的拓展,提高微球超分辨图像扫描拼接的普适性是该技术发展的重难点。未来,大视场微球透镜超分辨显微成像技术的研究,除了继续优化图像的对比度等性能、寻找通用性更强的操控微球方法外,还需要在图像扫描方式、图像拼接算法和效率上不断突破。一旦实现了微球的大视场成像,将大大促进这项超分辨显微技术的应用。

      同时,微球透镜超分辨显微成像技术因其与显微镜的快速结合,可以耦合进入多种类型的光学系统,有效拓展光学系统的应用范围,比如干涉显微镜[54-55]、扫描激光共聚焦显微镜(SLCM)、相干反斯托克斯拉曼散射(CARS)显微镜、荧光显微镜、光声显微镜[56]等等。Bezryadina A等[57]就创造性地将微球超分辨显微成像技术与局域等离子体结构照明显微镜(LPSIM)以及光镊技术结合起来,大大提高了LPSIM的分辨率。根据微球超分辨显微成像样品的多样性拓展应用范围,可以赋予该技术更多的实际应用价值。目前已经有大量研究报道微球超分辨样品选择的创新。例如Yang H等[58]使用钛酸钡微球成功对alpha小鼠肝12细胞系中的几种不同细胞器(中心体,线粒体和染色体)进行生物样品超分辨显微成像,鉴定特定线粒体膜蛋白MTCO1的表达。Wen Y等[59]使用微球辅助激光加工样品,在各种基底材料上形成纳米级结构的图案。Li Y等[60]还结合光纤和光镊,将具有光滑表面和粗略形状的细胞用于超分辨显微成像,充当“生物放大镜”,白光显微镜下分辨率达到100 nm。

      应用的发展和拓展必然会提出新的的技术问题,除了微球透镜超分辨显微成像技术本身的发展外,攻克该技术与其他领域技术结合产生的难题也将是未来研究的重心。而该技术在基础理论上仍有欠缺,完整的成像机制尚不明确,这也使其应用受到诸多限制。基础和应用齐头并进发展才能使微球透镜超分辨显微成像技术发挥其简单方便的优势,在材料学、微纳检测、生命科学等领域得到真正的发展和应用空间。

参考文献 (60)

目录

    /

    返回文章
    返回