留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

全彩单像素内窥成像系统

杨旭 冉悦 周伟 徐宝腾 刘家林 杨西斌

杨旭, 冉悦, 周伟, 徐宝腾, 刘家林, 杨西斌. 全彩单像素内窥成像系统[J]. 红外与激光工程, 2023, 52(10): 20230077. doi: 10.3788/IRLA20230077
引用本文: 杨旭, 冉悦, 周伟, 徐宝腾, 刘家林, 杨西斌. 全彩单像素内窥成像系统[J]. 红外与激光工程, 2023, 52(10): 20230077. doi: 10.3788/IRLA20230077
Yang Xu, Ran Yue, Zhou Wei, Xu Baoteng, Liu Jialin, Yang Xibin. Full-color single-pixel endoscopic imaging system[J]. Infrared and Laser Engineering, 2023, 52(10): 20230077. doi: 10.3788/IRLA20230077
Citation: Yang Xu, Ran Yue, Zhou Wei, Xu Baoteng, Liu Jialin, Yang Xibin. Full-color single-pixel endoscopic imaging system[J]. Infrared and Laser Engineering, 2023, 52(10): 20230077. doi: 10.3788/IRLA20230077

全彩单像素内窥成像系统

doi: 10.3788/IRLA20230077
基金项目: 国家重点研发计划项目(2021YFC2400100);苏州市基础研究计划项目(szs2020308, SJC2022009)
详细信息
    作者简介:

    杨旭,男,硕士生,主要从事单像素成像方面的研究

  • 中图分类号: O439

Full-color single-pixel endoscopic imaging system

Funds: National Key Research and Development Program of China (2021YFC2400100); Basic Research Program of Suzhou (szs2020308, SJC2022009)
  • 摘要: 单像素成像技术以其较强的弱光探测能力和较宽的工作波段在生物医学成像领域有着广阔的应用前景。通过将单像素成像技术与内窥成像技术相结合,提出两种腹腔镜全彩单像素内窥成像技术方案:一种是RGB三色光源方案将颜色和空间信息分别按时序分配给照明和检测双方,另一种是白光光源方案通过三个探测器同时采集颜色和空间的信息。搭建了两种腹腔镜全彩单像素内窥成像系统,设计了模块化的单像素相机,以多色彩条和肠道模型为成像目标,通过实验从峰值信噪比、结构相似度和成像速度等方面,系统量化分析了两种全彩单像素内窥成像系统的技术指标。实验结果表明,两种方案峰值信噪比和结构相似度接近,而白光光源方案成像速度更快,可以适配各种腹腔镜进行内窥成像,为推动单像素成像在内窥成像领域的应用提供了理论指导。
  • 图  1  Hadamard单像素成像流程图

    Figure  1.  Flow chart of Hadamard single-pixel imaging

    图  2  (a) RGB三色光源方案的腹腔镜全彩单像素内窥成像系统示意图;(b) 虚线框中模块化单像素相机示意图

    Figure  2.  (a) Schematic diagram of the laparoscopic full-color single-pixel endoscopic imaging system with RGB trichromatic light source scheme; (b) Schematic diagram of the modularized single-pixel camera in dashed box

    图  3  紧凑型4波段LED光源。(a) 4波段LED阵列模块;(b) LED光源箱的归一化4波段光谱图

    Figure  3.  Compact 4-wavelength LEDs light source. (a) The 4-wavelength LEDs array module; (b) Normalized 4-wavelength spectrum of the LED light box

    图  4  (a) 白光方案的腹腔镜全彩单像素内窥成像系统示意图;(b) 虚线框中模块化单像素相机示意图

    Figure  4.  (a) Schematic diagram of laparoscopic full-color single-pixel endoscopic imaging system with white light solution; (b) Schematic diagram of the modularized single-pixel camera in dashed box

    图  5  分光棱镜的透过率光谱

    Figure  5.  Transmittance spectra of spectroscopic prisms

    图  6  彩条的腹腔镜全彩单像素内窥成像系统成像结果。(a) CMOS相机拍摄的原图;(b) 白光方案全彩图像重建结果;(c) RGB三色光方案全彩图像重建结果;(d) 白光方案全彩图像的R通道图像;(e) 白光方案全彩图像的G通道图像;(f) 白光方案全彩图像的B通道图像;(g) RGB三色光方案全彩图像的R通道图像;(h) RGB三色光方案全彩图像的G通道图像;(i) RGB三色光方案全彩图像的B通道图像

    Figure  6.  Imaging results of laparoscopic full-color single-pixel endoscopic imaging system with color bar. (a) Original image captured by CMOS; (b) Reconstruction result of full-color image of the white light scheme; (c) Reconstruction result of full-color image of the RGB trichromatic scheme; (d) Reconstruction result of the R channel of full-color image of the white light scheme; (e) Reconstruction result of the G channel of full-color image of the white light scheme; (f) Reconstruction result of the B channel of full-color image of the white light scheme; (g) Reconstruction result of the R channel of full-color image of the RGB trichromatic scheme; (h) Reconstruction result of the G channel of full-color image of the RGB trichromatic scheme; (i) Reconstruction result of the B channel of full-color image of the RGB trichromatic scheme

    图  7  肠道模型的腹腔镜全彩单像素内窥成像系统成像结果。 (a) 原图;(b) 白光方案全彩图像重建结果;(c) 白光方案全彩图像的R通道重建结果;(d) 白光方案全彩图像的G通道重建结果;(e) 白光方案全彩图像的B通道重建结果

    Figure  7.  Imaging results of a laparoscopic full-color single-pixel endoscopic imaging system for intestinal models. (a) Original image; (b) Reconstruction result of the full-color image of the white light scheme; (c) Reconstruction result of the R channel of the full-color image of the white light scheme; (d) Reconstruction result of the G channel of the full-color image of the white light scheme; (e) Reconstruction result of the B channel of the full-color image of the white light scheme

    表  1  两种方案成像结果的PSNR和SSIM

    Table  1.   PSNR and SSIM of two imaging schemes

    Fig.6SPI-WSPI-RGB
    PSNR/dB18.498818.5717
    SSIM0.68600.6431
    下载: 导出CSV

    表  2  两种方案成像速度

    Table  2.   Imaging speed of two imaging schemes

    Fig.6SPI-WSPI-RGB
    Measurement time/s1.3344
    Reconstruction time/s2.53862.5506
    Total/s3.87266.5506
    下载: 导出CSV
  • [1] 翟鑫亮, 吴晓燕, 孙艺玮, 等. 单像素成像理论与方法(特邀)[J]. 红外与激光工程, 2021, 50(12): 20211061. doi:  10.3788/IRLA20211061

    Zhai Xinliang, Wu Xiaoyan, Sun Yiwei, et al. Theory and approach of single-pixel imaging (Invited) [J]. Infrared and Laser Engineering, 2021, 50(12): 20211061. (in Chinese) doi:  10.3788/IRLA20211061
    [2] Stantchev R I, Sun B, Hornett S M, et al. Noninvasive, near-field terahertz imaging of hidden objects using a single-pixel detector [J]. Science Advances, 2016, 2(6): e1600190. doi:  10.1126/sciadv.1600190
    [3] Radwell N, Mitchell K J, Gibson G M, et al. Single-pixel infrared and visible microscope [J]. Optica, 2014, 1(5): 285-289. doi:  10.1364/OPTICA.1.000285
    [4] Pelliccia D, Rack A, Scheel M, et al. Experimentalx-ray ghost imaging [J]. Physical Review Letters, 2016, 117(11): 113902. doi:  10.1103/PhysRevLett.117.113902
    [5] Khakimov R I, Henson B M, Shin D K, et al. Ghost imaging with atoms [J]. Nature, 2016, 540(7631): 100-103. doi:  10.1038/nature20154
    [6] He Y H, Huang Y Y, Zeng Z R, et al. Single-pixel imaging with neutrons [J]. Science Bulletin, 2021, 66(2): 133-138. doi:  10.1016/j.scib.2020.09.030
    [7] Trimeche A, Lopez C, Comparat D, et al. Ion and electron ghost imaging [J]. Physical Review Research, 2020, 2(4): 043295. doi:  10.1103/PhysRevResearch.2.043295
    [8] Sun B, Edgar M P, Bowman R, et al. 3D computational imaging with single-pixel detectors [J]. Science, 2013, 340(6134): 844-847. doi:  10.1126/science.1234454
    [9] Xu S, Zhang J, Wang G, et al. Single-pixel imaging of high-temperature objects [J]. Applied Optics, 2021, 60(14): 4095-4100. doi:  10.1364/AO.421033
    [10] Jiao S, Feng J, Gao Y, et al. Visual cryptography in single-pixel imaging [J]. Optics Express, 2020, 28(5): 7301-7313. doi:  10.1364/OE.383240
    [11] Yang X, Liu Y, Mou X, et al. Imaging in turbid water based on a Hadamard single-pixel imaging system [J]. Optics Express, 2021, 29(8): 12010-12023. doi:  10.1364/OE.421937
    [12] Xu Z H, Chen W, Penuelas J, et al. 1000 fps computational ghost imaging using LED-based structured illumination [J]. Optics Express, 2018, 26(3): 2427-2434. doi:  10.1364/OE.26.002427
    [13] 刘瑞丰, 赵书朋, 李福利. 单像素复振幅成像(特邀)[J]. 红外与激光工程, 2021, 50(12): 20210735. doi:  10.3788/IRLA20210735

    Liu Ruifeng, Zhao Shupeng, Li Fuli. Single-pixel complex amplitude imaging (Invited) [J]. Infrared and Laser Engineering, 2021, 50(12): 20210735. (in Chinese) doi:  10.3788/IRLA20210735
    [14] Liu Y, Suo J, Zhang Y, et al. Single-pixel phase and fluorescence microscope [J]. Optics Express, 2018, 26(25): 32451-32462. doi:  10.1364/OE.26.032451
    [15] Wang L, Zhao S. Full color single pixel imaging by using multiple input single output technology [J]. Optics Express, 2021, 29(15): 24486-24499. doi:  10.1364/OE.432864
    [16] Salvador-balaguer E, Clemente P, Tajahuerce E, et al. Full-color stereoscopic imaging with a single-pixel photodetector [J]. Journal of Display Technology, 2015, 12(4): 417-422.
    [17] Ye Z, Wang H, Xiong J, et al. Simultaneous full-color single-pixel imaging and visible watermarking using Hadamard-Bayer illumination patterns [J]. Optics and Lasers in Engineering, 2020, 127: 105955. doi:  10.1016/j.optlaseng.2019.105955
    [18] Welsh S S, Edgar M P, Bowman R, et al. Fast full-color computational imaging with single-pixel detectors [J]. Optics Express, 2013, 21(20): 23068-23074. doi:  10.1364/OE.21.023068
    [19] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Trans on Image Processing, 2004, 13(4): 600-612. doi:  10.1109/TIP.2003.819861
  • [1] 边丽蘅, 詹昕蕊, 王华依, 刘海燕, 索津莉.  单像素高效感知方法概述 . 红外与激光工程, 2022, 51(8): 20220231-1-20220231-20. doi: 10.3788/IRLA20220231
    [2] 陆秋萍, 石岩, 戴晟昕, 陈义, 赵春柳, 赵天琦, 金尚忠, 牛海彬.  生物组织单像素成像重构的散射干扰抑制 . 红外与激光工程, 2022, 51(3): 20210722-1-20210722-7. doi: 10.3788/IRLA20210722
    [3] 熊乙宁, 鄢秋荣, 祝志太, 蔡源鹏, 杨耀铭.  用于光子计数单像素成像的去块状采样网络 . 红外与激光工程, 2021, 50(12): 20210724-1-20210724-10. doi: 10.3788/IRLA20210724
    [4] 佘荣斌, 祝永乐, 刘文权, 鲁远甫, 李光元.  太赫兹单像素计算成像原理及其应用(特邀) . 红外与激光工程, 2021, 50(12): 20210717-1-20210717-19. doi: 10.3788/IRLA20210717
    [5] 查林彬, 时东锋, 黄见, 王英俭.  单像素几何矩探测运动物体定位技术(特邀) . 红外与激光工程, 2021, 50(12): 20211060-1-20211060-7. doi: 10.3788/IRLA20211060
    [6] 郑培霞, 刘亦辰, 刘宏超.  单像素成像与超表面成像(特邀) . 红外与激光工程, 2021, 50(12): 20211058-1-20211058-12. doi: 10.3788/IRLA20211058
    [7] 刘瑞丰, 赵书朋, 李福利.  单像素复振幅成像(特邀) . 红外与激光工程, 2021, 50(12): 20210735-1-20210735-16. doi: 10.3788/IRLA20210735
    [8] 翟鑫亮, 吴晓燕, 孙艺玮, 石剑虹, 曾贵华.  单像素成像理论与方法(特邀) . 红外与激光工程, 2021, 50(12): 20211061-1-20211061-14. doi: 10.3788/IRLA20211061
    [9] 廖兆琨, 王汉, 陈文, 孙鸣捷.  紧凑双光路单像素成像系统(特邀) . 红外与激光工程, 2021, 50(12): 20210723-1-20210723-7. doi: 10.3788/IRLA20210723
    [10] 石峰, 陆同希, 杨书宁, 苗壮, 杨晔, 张闻文, 何睿清.  噪声环境下基于单像素成像系统和深度学习的目标识别方法 . 红外与激光工程, 2020, 49(6): 20200010-1-20200010-8. doi: 10.3788/IRLA20200010
    [11] 姜宏志, 李宇曦, 赵慧洁.  单像素成像在三维测量中的应用 . 红外与激光工程, 2020, 49(3): 0303017-0303017-9. doi: 10.3788/IRLA202049.0303017
    [12] 孙宝清, 江山, 马艳洋, 蒋文杰, 殷永凯.  单像素成像在特殊波段及三维成像的应用发展 . 红外与激光工程, 2020, 49(3): 0303016-0303016-16. doi: 10.3788/IRLA202049.0303016
    [13] 李佳昕, 白廷柱, 崔志刚, 宋翠芬, 成泽明.  像素偏振成像系统的耦合实现 . 红外与激光工程, 2019, 48(9): 925001-0925001(7). doi: 10.3788/IRLA201948.0925001
    [14] 李明飞, 阚宝玺, 霍娟, 阎璐, 刘院省.  水平大气环境34 km单像素成像实验 . 红外与激光工程, 2019, 48(9): 925002-0925002(6). doi: 10.3788/IRLA201948.0925002
    [15] 孙鸣捷, 张佳敏.  单像素成像及其在三维重建中的应用 . 红外与激光工程, 2019, 48(6): 603003-0603003(11). doi: 10.3788/IRLA201948.0603003
    [16] 邓超, 索津莉, 张志利, 戴琼海.  单像素成像中的光信息编码与解码 . 红外与激光工程, 2019, 48(6): 603004-0603004(11). doi: 10.3788/IRLA201948.0603004
    [17] 张子邦, 陆天傲, 彭军政, 钟金钢.  傅里叶单像素成像技术与应用 . 红外与激光工程, 2019, 48(6): 603002-0603002(19). doi: 10.3788/IRLA201948.0603002
    [18] 霍娟, 李明飞, 杨然, 赵连洁, 张安宁, 莫小范.  基于单像素探测器的高灵敏度近红外成像系统 . 红外与激光工程, 2016, 45(S1): 1-5. doi: 10.3788/IRLA201645.S104001
    [19] 孙鸣捷, 于康龙.  像素有效形状对微扫描红外超分辨成像的影响 . 红外与激光工程, 2015, 44(1): 48-52.
    [20] 孙鸣捷, 于康龙, 孟照魁.  像素感光面形状对基于微扫描的红外超分辨成像的影响 . 红外与激光工程, 2014, 43(10): 3183-3187.
  • 加载中
图(7) / 表(2)
计量
  • 文章访问数:  176
  • HTML全文浏览量:  44
  • PDF下载量:  58
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-02-18
  • 修回日期:  2023-03-26
  • 刊出日期:  2023-10-24

全彩单像素内窥成像系统

doi: 10.3788/IRLA20230077
    作者简介:

    杨旭,男,硕士生,主要从事单像素成像方面的研究

基金项目:  国家重点研发计划项目(2021YFC2400100);苏州市基础研究计划项目(szs2020308, SJC2022009)
  • 中图分类号: O439

摘要: 单像素成像技术以其较强的弱光探测能力和较宽的工作波段在生物医学成像领域有着广阔的应用前景。通过将单像素成像技术与内窥成像技术相结合,提出两种腹腔镜全彩单像素内窥成像技术方案:一种是RGB三色光源方案将颜色和空间信息分别按时序分配给照明和检测双方,另一种是白光光源方案通过三个探测器同时采集颜色和空间的信息。搭建了两种腹腔镜全彩单像素内窥成像系统,设计了模块化的单像素相机,以多色彩条和肠道模型为成像目标,通过实验从峰值信噪比、结构相似度和成像速度等方面,系统量化分析了两种全彩单像素内窥成像系统的技术指标。实验结果表明,两种方案峰值信噪比和结构相似度接近,而白光光源方案成像速度更快,可以适配各种腹腔镜进行内窥成像,为推动单像素成像在内窥成像领域的应用提供了理论指导。

English Abstract

    • 单像素成像(SPI)是一种新兴的成像技术[1],具有成本低、抗干扰性强、成像光谱宽、对弱光信号敏感等优点。单像素成像技术经过近十几年的快速发展,目前已经实现了太赫兹波段[2]、红外波段[3]、X射线波段[4]成像,还可以用原子[5]、中子[6]、电子[7]进行成像。单像素成像技术不仅可以二维成像还可以对物体进行三维重建[8]。基于上述的突出优点,单像素成像技术在很多方面都具有巨大的应用潜力,如工业高温物体成像[9]、光学加密[10]、浑水成像[11]、超快成像[12]、复振幅成像[13]、显微成像[14]等。单像素成像技术作为最新的探测技术之一,在整个电磁光谱波长上都可以开发出高性价比的成像系统。单像素成像技术有两种成像方式:一种是结构化照明,将调制好的结构光投射到目标场景,测量反射的光强信息。根据单像素探测器记录的光强信息和调制的照明图案,可以重建出目标场景的图像;另一种是结构化检测,也叫单像素相机,这种成像方式是把目标场景共轭成像到空间光调制器的表面,使用空间光调制器加载不同掩膜对图像进行强度调制,最后使用单像素探测器探测调制后的光强,通过单像素探测器记录的光强信息和调制掩膜图案,重建目标场景的图像。

      近年来,全彩单像素成像方法的研究工作相继被报道。目前全彩单像素成像的技术路线大致分为两种方向:一种是使用RGB三色光源进行时序照明,通过单个探测器分时采集不同色光经过调制后的光强,最后通过RGB三色图像重建融合形成全彩图像[15-17];另一种是使用白光光源进行照明,通过分光棱镜和3个单像素探测器同时采集目标场景的颜色和空间信息,通过色彩融合重建出全彩图像[18]

      内窥成像在工业和医学领域均具有广泛的应用前景,将单像素成像技术应用于生物医学成像方面直到近几年才受到研究人员关注,而与医用内窥成像相结合,通过设计单像素相机,可以弥补宽场CMOS相机在弱光探测和宽光谱响应方面的缺陷,这在国内尚没有相关报道。

      文中将全彩单像素成像技术与内镜成像技术相结合,以自研四波段光源箱作为照明光源,采用Hadamard掩膜作为数字微镜器件(DMD)的调制图案,设计了两种腹腔镜全彩单像素内窥成像系统。从峰值信噪比、结构相似度和成像速度等方面,量化比较了两种腹腔镜全彩单像素内窥成像系统,系统分析了两种成像方案之间的差异和优缺点,根据所提出的方案设计搭建了模块化全彩单像素相机,可以搭配各种腹腔镜进行内窥成像。

    • 单像素成像技术采用单像素探测器作为光探测元件,由于单像素探测器并没有空间分辨能力,因此单像素成像技术需要借助于空间光调制器来调制目标对象的空间信息,通过空间光调制器加载一系列掩膜图案对目标场景的像进行调制,使用单像素探测器测得调制后的光强,利用目标场景和调制图案之间的相关强度来重建目标图像。

      文中采用Hadamard单像素成像技术(HSI)进行腹腔镜全彩单像素内窥成像系统研究。HSI技术是基扫描单像素成像技术的代表之一,使用Hadamard矩阵作为调制掩膜图案。Hadamard矩阵是由+1和−1两种元素构成的完备正交矩阵,非常适合DMD这种只能0和1调制的空间光调制器。Hadamard矩阵可以由低阶Hadamard矩阵生成,表示为:

      $$ {H_{{2^m}}} = {H_{{2^{m - 1}}}}\left[ {\begin{array}{*{20}{c}} 1&1 \\ 1&{ - 1} \end{array}} \right] $$ (1)

      HSI基于Hadamard变换,通过获得目标图像的Hadamard频谱并对其进行逆Hadamard变换重建目标图像。过程可以用公式表示为:

      $$ \hat I = HIH $$ (2)
      $$ I = \frac{1}{{{M^2}}}H\hat IH $$ (3)

      式中:I为行列数都是M的目标图像矩阵;$\hat I$为行列数都是M的目标图像频谱矩阵;H为M阶的Hadamard矩阵。进一步展开公式(2)得到:

      $$ \hat I(u,v) = \sum\limits_{x = 0}^{M - 1} {\sum\limits_{y = 0}^{M - 1} {H(u,x)I(u,v)H(y,v)} } $$ (4)

      式中:u, v =0, 1$, \cdots $, M−1,I(u, v)为目标图像矩阵元;$\hat I(u,v)$为目标图像频谱矩阵元;H(u, x)和H(y, v)都是Hadamard矩阵的矩阵元。为简化公式,引入Hadamard基底矩阵的矩阵元:

      $$ {Y_{uv}} = H(u,x)H(y,v) $$ (5)

      同时,由于Hadamard矩阵的完备正交性,公式(4)可以转化成:

      $$ \hat I(u,v) = \sum\limits_{x = 0}^{M - 1} {\sum\limits_{y = 0}^{M - 1} {I(x,y){Y_{uv}}(x,y) = {{\left\langle {I,{Y_{uv}}} \right\rangle }_F}} } $$ (6)

      式中:$ {\left\langle { \cdot , \cdot } \right\rangle _F} $表示Frobenius内积。因此只需要计算目标物体矩阵的矩阵元和Hadamard基底矩阵的矩阵元的内积,就能得到目标图像的Hadamard频谱,最后只需要对得到的频谱矩阵进行逆变换就可以重建出目标图像。

      HSI成像流程图如图1所示。首先把生成好的Hadamard矩阵掩膜预加载到DMD板载内存里,设置DMD参数并控制DMD和单像素探测器同步,利用N个Hadamard矩阵掩膜和探测到对应的N个光强数值进行计算,重建出目标场景图像。

      图  1  Hadamard单像素成像流程图

      Figure 1.  Flow chart of Hadamard single-pixel imaging

    • 文中使用峰值信噪比(PSNR)和结构相似度(SSIM)作为评价图像重建质量的指标。峰值信噪比的定义为:

      $$ \text{PSNR}=10{\mathrm{lg}} \left( \frac{{({2}^{n}-1)}^{2}}{MS E} \right)\text{} $$ (7)

      式中:n为图像灰度级;MSE表示两幅图像之间的均方误差,公式表达为:

      $$ MS E = \frac{1}{{lw}}\sum\limits_{i = 1}^l {\sum\limits_{j = 1}^w {{{\left[ {{S_1}(i,j) - {S_2}(i,j)} \right]}^2}} } $$ (8)

      式中:lw表示输入图像S1S2的长度和宽度。

      结构相似度[19]的定义为:

      $$ {\text{SSIM }} (p,q) =\frac{{(2{\mu _p}{\mu _q} + {c_1})(2{\sigma _{pq}} + {c_2})}}{{(\mu _p^2 + \mu _q^2 + {c_1})(\sigma _p^2 + \sigma _q^2 + {c_2})}} $$ (9)

      式中:μpμqσp2σq2σpq分别表示输入图像pq的均值、方差和协方差;c1c2是用来维持稳定的常数。

    • 采用RGB三色光源方案(SPI-RGB)的腹腔镜全彩单像素内窥成像系统,使用RGB三波段LED依次照明,将图像的RGB颜色信息分配给照明端,并利用DMD调制图像空间信息。图2(a)给出了该方案腹腔镜全彩单像素内窥成像系统原理图,该方案成像系统包含自研LED光源箱、腹腔镜、单像素相机、计算机和目标物体。自研LED光源箱可以可控发射蓝光、绿光、红光、白光4个波段的光,其归一化光谱图如图3(b)所示。利用光纤将红绿蓝三种不同波段的光耦合到腹腔镜(Omec, 690-331030H)照明端,对目标物体进行均匀光照射。目标物体经过内窥镜和中继光学系统成像到DMD中心微镜区域。DMD系统包含一个0.95 in (1 in=2.54 cm)DLP芯片(Texas Instruments, DLP9500),芯片由1 920×1080个微镜组成,微镜对角线尺寸为10.8 μm,微镜旋转倾斜角为±12°,DMD工作波段为400~700 nm,二进制图像的最大帧速率为23148 Hz,需要注意的是必须通过预加载调制图案到板载内存里才能达到DMD最大调制速率。实验过程中,选择DMD中心1 024×1 024微镜区域用于显示Hadamard掩膜。在数据采集方面,使用一个单像素探测器(Thorlabs, PDA100A2)来测量光强信息,数据采集卡(坤驰,QT1140VG-2CH)对单像素探测器的模拟信号进行采集,并将其转换为数字信号。由计算机接收数字信号,获得目标物体RGB三通道图像,最终利用目标物体RGB图像重建融合形成物体全彩图像。为了实现系统模块化设计,将DMD芯片、光学系统、探测器进行了模块化设计,整体尺寸约为:210 mm×130 mm×100 mm,通过F卡口采用尼康定焦镜头(AF-S 50 mm f/1.4 G)作为聚焦透镜,图2(b)为模块化的单像素相机,可以适配各种腹腔镜。

      图  2  (a) RGB三色光源方案的腹腔镜全彩单像素内窥成像系统示意图;(b) 虚线框中模块化单像素相机示意图

      Figure 2.  (a) Schematic diagram of the laparoscopic full-color single-pixel endoscopic imaging system with RGB trichromatic light source scheme; (b) Schematic diagram of the modularized single-pixel camera in dashed box

      图  3  紧凑型4波段LED光源。(a) 4波段LED阵列模块;(b) LED光源箱的归一化4波段光谱图

      Figure 3.  Compact 4-wavelength LEDs light source. (a) The 4-wavelength LEDs array module; (b) Normalized 4-wavelength spectrum of the LED light box

      自研的紧凑式多波段LED光源如图3(a)所示,4个不同波长的垂直结构LED芯片(中心波长:470、520、630 nm及高显白光)封装在散热铜基板上,每个芯片的上表面是阴极,并用金线连接到电源的阴极,芯片的背面是阳极封装在铜基板上。每个芯片的尺寸是1 mm×1 mm,每个LED芯片都有自己独立的电源驱动,4个波长可以独立单波段输出或可控多波段复合光输出。从不同芯片发出的光通过光学耦合系统耦合进1 m长的光纤内,通过光纤将光能量耦合进入腹腔镜中,从而实现腹腔镜下的光激发。

      白光光源方案(SPI-W)实现腹腔镜全彩单像素内窥成像与RGB三色光源方案不同之处在于,目标图像的颜色信息和空间信息全都由单像素检测端采集。如图4(a)所示,在单像素成像系统检测端增加1个三色分光棱镜(X-cube),分光棱镜各个面的透过率光谱如图5所示,将白光分成RGB三束光,并使用3个单像素探测器(Thorlabs, PDA100A2)分别对RGB三色光光强进行同时检测,通过单像素探测器测得的RGB三色光强和对应的掩膜图像重建出目标图像RGB三通道的图像,利用目标物体RGB三通道的图像重建合成出目标场景全彩图像。和RGB三光源方案一样,为了使整套成像系统更加紧凑,笔者将探测部分进行模块化设计,图4(b)所示为模块化的全彩单像素相机,整体尺寸约为:240 mm×145 mm×130 mm,保留F卡口作为相机接口,也可以适配各种腹腔镜。

      图  4  (a) 白光方案的腹腔镜全彩单像素内窥成像系统示意图;(b) 虚线框中模块化单像素相机示意图

      Figure 4.  (a) Schematic diagram of laparoscopic full-color single-pixel endoscopic imaging system with white light solution; (b) Schematic diagram of the modularized single-pixel camera in dashed box

      图  5  分光棱镜的透过率光谱

      Figure 5.  Transmittance spectra of spectroscopic prisms

    • 为了验证所搭建两套腹腔镜全彩单像素内窥成像系统的性能,以多色彩条作为待测目标物,以CMOS相机(Mshot, MS23)作为探测器的宽场腹腔镜拍摄图像作为目标物体参考图像,如图6(a)所示。所使用CMOS相机图像传感器尺寸为1/1.2 in,像元尺寸为5.86 μm×5.86 μm分辨率为1920×1200,帧率为40帧/s。由于单像素成像技术重建图像的分辨率与所使用调制掩膜大小和数量有关,考虑到该实验所使用DMD板载内存为8 GB,所以实验重建图像分辨率为64 pixel×64 pixel。实验采用差分测量方案,全采样所需掩膜为:64×64×2=8192张。图6(b)和(c)分别为白光方案和RGB三色光源方案的腹腔镜全彩单像素内窥成像系统所拍摄重建的全彩图像。图6(d)~(f)分别为白光方案的腹腔镜全彩单像素内窥成像系统所拍摄全彩彩条图像RGB的3个通道的单色图像,重建融合形成图6(b)彩色图像;图6(g)~(i)分别为RGB三色光源方案所拍摄全彩彩条图像RGB的3个通道的单色图像,重建融合形成图6(c)。由结果可见,两种腹腔镜全彩单像素内窥成像方案均能对待测目标物体进行成像并获取全彩图像。为了对两种方案进行定量比较,引入峰值信噪比(PSNR)和结构相似度(SSIM)作为图像定量评价指标。PSNR和SSIM计算方法如2.2节所述,计算结果如表1所示。由此可以看出,白光方案和RGB三色光方案的图像PSNR均在18.5 dB左右,仅相差0.0729 dB,白光方案的结构相似度要比RGB三色光方案高0.0429,推测为每个成像通道更宽的波段带来的颜色还原性更好。

      图  6  彩条的腹腔镜全彩单像素内窥成像系统成像结果。(a) CMOS相机拍摄的原图;(b) 白光方案全彩图像重建结果;(c) RGB三色光方案全彩图像重建结果;(d) 白光方案全彩图像的R通道图像;(e) 白光方案全彩图像的G通道图像;(f) 白光方案全彩图像的B通道图像;(g) RGB三色光方案全彩图像的R通道图像;(h) RGB三色光方案全彩图像的G通道图像;(i) RGB三色光方案全彩图像的B通道图像

      Figure 6.  Imaging results of laparoscopic full-color single-pixel endoscopic imaging system with color bar. (a) Original image captured by CMOS; (b) Reconstruction result of full-color image of the white light scheme; (c) Reconstruction result of full-color image of the RGB trichromatic scheme; (d) Reconstruction result of the R channel of full-color image of the white light scheme; (e) Reconstruction result of the G channel of full-color image of the white light scheme; (f) Reconstruction result of the B channel of full-color image of the white light scheme; (g) Reconstruction result of the R channel of full-color image of the RGB trichromatic scheme; (h) Reconstruction result of the G channel of full-color image of the RGB trichromatic scheme; (i) Reconstruction result of the B channel of full-color image of the RGB trichromatic scheme

      表 1  两种方案成像结果的PSNR和SSIM

      Table 1.  PSNR and SSIM of two imaging schemes

      Fig.6SPI-WSPI-RGB
      PSNR/dB18.498818.5717
      SSIM0.68600.6431

      为了进一步量化对比两套系统的优缺点,将DMD的调制速率设置为10 kHz,实验验证两种方案的成像速度,其中每帧图像成像时间包含采集时间和重建时间两个部分,结果如表2所示。由此可以看出,白光方案的采集时间比较短,是RGB三色光源方案采集时间的1/3,重建算法相同两种方案耗时相当,总体来说,白光光源方案由于采用3个探测器同时采集RGB三色信息,成像速度比RGB三色光源方案快2.678 s,在成像速度方面更有优势。

      表 2  两种方案成像速度

      Table 2.  Imaging speed of two imaging schemes

      Fig.6SPI-WSPI-RGB
      Measurement time/s1.3344
      Reconstruction time/s2.53862.5506
      Total/s3.87266.5506
    • 经过上述验证实验结果分析,白光光源方案成像速度快,图像质量好,更适合腹腔镜内窥领域。为了进一步探索所搭建的白光光源方案腹腔镜全彩单像素内窥成像系统的实用性,选择将人体肠道模型作为成像目标,成像结果如图7所示。图7(a)为宽场腹腔镜拍摄的目标物体参考图像。图7(b)为白光方案的腹腔镜全彩单像素成像系统所拍摄重建的全彩图像。图7(c)~(e)分别为白光方案的腹腔镜全彩单像素成像系统所拍摄图像RGB的3个通道的重建图像。图7采用模块化的单像素相机,验证了白光光源方案的腹腔镜全彩单像素成像系统对复杂目标物体准确重建全彩图像的能力。

      图  7  肠道模型的腹腔镜全彩单像素内窥成像系统成像结果。 (a) 原图;(b) 白光方案全彩图像重建结果;(c) 白光方案全彩图像的R通道重建结果;(d) 白光方案全彩图像的G通道重建结果;(e) 白光方案全彩图像的B通道重建结果

      Figure 7.  Imaging results of a laparoscopic full-color single-pixel endoscopic imaging system for intestinal models. (a) Original image; (b) Reconstruction result of the full-color image of the white light scheme; (c) Reconstruction result of the R channel of the full-color image of the white light scheme; (d) Reconstruction result of the G channel of the full-color image of the white light scheme; (e) Reconstruction result of the B channel of the full-color image of the white light scheme

    • 文中针对单像素成像技术在内窥成像方面的应用前景,首次将单像素成像技术和医用腹腔镜相结合,提出并设计了两种全彩单像素内窥成像系统,通过彩条成像及肠道模型成像实验对两种方案进行了量化对比,初步形成可行的全彩单像素内窥成像系统技术方案。对所搭建的全彩单像素内窥成像系统进行模块化和小型化设计,形成单像素相机,使其可以适配各种类型医用腹腔镜进行内窥成像,为推动单像素成像在内窥成像领域的应用提供了理论指导。下一步将对覆盖可见与红外整个波段的全波段单像素内窥成像技术进行深入研究,设计全波段单像素相机,拓展单像素成像技术在内窥领域的应用范围。

参考文献 (19)

目录

    /

    返回文章
    返回