留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

偏振成像技术的发展现状与展望(特邀)

罗海波 张俊超 盖兴琴 刘燕

罗海波, 张俊超, 盖兴琴, 刘燕. 偏振成像技术的发展现状与展望(特邀)[J]. 红外与激光工程, 2022, 51(1): 20210987. doi: 10.3788/IRLA20210987
引用本文: 罗海波, 张俊超, 盖兴琴, 刘燕. 偏振成像技术的发展现状与展望(特邀)[J]. 红外与激光工程, 2022, 51(1): 20210987. doi: 10.3788/IRLA20210987
Luo Haibo, Zhang Junchao, Gai Xingqin, Liu Yan. Development status and prospects of polarization imaging technology (Invited)[J]. Infrared and Laser Engineering, 2022, 51(1): 20210987. doi: 10.3788/IRLA20210987
Citation: Luo Haibo, Zhang Junchao, Gai Xingqin, Liu Yan. Development status and prospects of polarization imaging technology (Invited)[J]. Infrared and Laser Engineering, 2022, 51(1): 20210987. doi: 10.3788/IRLA20210987

偏振成像技术的发展现状与展望(特邀)

doi: 10.3788/IRLA20210987
详细信息
    作者简介:

    罗海波,男,研究员,博士生导师,博士,主要从事图像处理、模式识别与智能系统、成像跟踪、智能控制、并行信号处理器体系结构等方面的研究

  • 中图分类号: TN29

Development status and prospects of polarization imaging technology (Invited)

  • 摘要: 偏振成像是一种新的光电探测体制,它可以获得比传统成像多一维的场景信息,在工业检测、生物医学、地球遥感、现代军事、航空以及海洋等领域具有重要的应用价值。论文对偏振成像的典型应用、发展历程和发展现状进行了分析和总结,总结了偏振成像的实现方法,当前学术界在场景的偏振特性、偏振的传输特性、偏振成像探测器、分焦平面偏振图像非均匀性校正、分焦平面偏振图像超分辨率重建以及偏振图像融合等领域的最新研究成果。在此基础上,对偏振成像的未来发展方向进行了展望,包括高消光比焦平面偏振探测器、分焦平面多光谱偏振探测器、高精度非均匀性校正方法、偏振图超分辨率重建方法以及强度图和偏振度/偏振角图融合方法等。
  • 图  1  两种场景的红外偏振成像结果

    Figure  1.  Infrared polarization imaging results of two scenes

    图  2  某场景24 h强度和偏振度对比度曲线

    Figure  2.  Contrast curves of s0 and DoLP during 24 h for a scene

    图  3  长波红外偏振成像对空观测实验结果

    Figure  3.  Experimental results of long-wave infrared polarization imaging for sky observation

    图  4  分焦平面偏振传感器IMX250 MZR的结构示意图

    Figure  4.  Schematic diagram of division-of-focal-plane polarization sensor IMX250 MZR

    图  5  MPA及其结构参数示意图

    Figure  5.  Diagram of MPA and its structural parameters

    图  6  平面波入射,距离MPA不同距离的强度图(单位:μm)

    Figure  6.  Intensity diagram at different distances from MPA with plane wave incident (Unit: μm)

    图  7  不同对准误差条件下消光比随纵向间距的变化曲线

    Figure  7.  Variation curves of extinction ratio with longitudinal spacing under different alignment errors

    表  1  典型偏振成像方法的技术特点[12]

    Table  1.   Technical characteristics of typical polarization imaging methods[12]

    Design featuresFabrication–integration
    issues, cost
    Misregistration issues
    Rotating element ● Robust
    ● Relatively small
    ● Not suitable for dynamic scenes
    ● Easiest to implement
    ● Inexpensive
    ● Scene and platform motion
    ● Beam wander not a problem or removed in software
    ● Misregistration is linear
    Division of amplitude
    (multiple FPAs)
    ● Simultaneous acquisition
    ● Large system size
    ● High mechanical flexibility and rigidity required
    ● Expensive
    ● Large
    ● Must register multiple FPAs
    ● Misregistration can be fixed
    ● Can be nonlinear
    Division of aperture
    (single FPA)
    ● Simultaneous acquisition
    ● Smaller size
    ● Loss of spatial resolution
    ● Expensive
    ● Fixed misregistration
    ● Can be nonlinear
    Division of focal plane ● Simultaneous acquisition
    ● Small and rugged
    ● Loss of spatial resolution
    ● Fabrication difficult
    ● Alignment difficult
    ● Very expensive
    ● IFOVs misregistered
    ● Requires interpolation
    ● Fixed registration
    Coboresighted ● Simultaneous acquisition
    ● Best used at long ranges
    ● Easy integration
    ● Expensive
    ● Misregistration not as stable
    下载: 导出CSV
  • [1] Hu Weina, Lü Yong, Geng Rui, et al. Photoelectric detector surface damage state polarization imaging type detection system[J/OL]. (2021-11-08)[2021-12-10]. https://kns.cnki.net/kcms/detail/12.1261.TN.20211105.1439.007.html. (in Chinese)
    [2] Li Leilei, Huang Haixia, Guo Yang, et al. 3D reconstruction method of target based on infrared radiation polarization imaging [J]. Journal of Infrared and Millimeter Waves, 2021, 40(3): 413-419. (in Chinese)
    [3] Liu Zhiying, Xiao Shengzhe, Qin Tianxiang. Application of polarization imaging in measurement of optical curvature radius [J]. Journal of Applied Optics, 2021, 42(1): 95-103. (in Chinese) doi:  10.5768/JAO202142.0103001
    [4] Xiong Zhihang, Liao Ran, Zeng Yaguang, et al. Rapid identification of metal debris in complicated scenes by using polarization imaging(Invited) [J]. Infrared and Laser Engineering, 2020, 49(6): 20201012. (in Chinese) doi:  10.3788/IRLA20201012
    [5] Wang Fangbin, Sun Fan, Zhu Darong, et al. Metal fatigue damage assessment based on polarized thermograph [J]. Acta Optica Sinica, 2020, 40(14): 1412002. (in Chinese)
    [6] Shen Yuanxing, Yao Yue, He Honghui, et al. Mueller matrix polarimetry: A label-free, quantitative optical method for clinical diagnosis [J]. Chinese Journal of Lasers, 2020, 47(2): 0207001. (in Chinese)
    [7] Jin Haihong, Qian Lijin, Gao Jun, et al. Polarimetric calculation method of global pixel for underwater image restoration [J]. IEEE Photonics Journal, 2021, 13(1): 1-15.
    [8] Zhang Zhenglin. Study on infrared polarimetric characteristics of complex target[D]. Nanjing: Nanjing University of Science & Technology, 2020. (in Chinese)
    [9] Wei Shun. Analysis of infrared polarization imaging characteristics[D]. Xi'an: Xidian University, 2020. (in Chinese)
    [10] Zhang Yan, Li Jicheng, Wang Shafei, et al. Modeling and quantitative analysis of infrared polarization characteristics [J]. Infrared and Laser Engineering, 2016, 45(6): 0604001. doi:  10.3788/IRLA201645.0604001
    [11] Zhang J. Modeling and simulation of polarimetric hyperspectral imaging process [J]. IEEE Transactions on Geoscience & Remote Sensing, 2012, 50(6): 2238-2253.
    [12] Tyo J S, Goldstein D L, Chenault D B, et al. Review of passive imaging polarimetry for remote sensing applications [J]. Applied Optics, 2006, 45(22): 5453-5469. doi:  10.1364/AO.45.005453
    [13] Homma K, Shingu H, Yamamoto H, et al. Application of an imaging spectropolarimeter to agro-environmental sciences[C]//Proc SPIE, Sensors, Systems, and Next-Generation Satellites VII, 2004, 5234: 638-647.
    [14] Beekman D W, Van A J. Polarization sensitive QWIP thermal imager [J]. Infrared Physics and Technology, 2001, 42(3-5): 323-328. doi:  10.1016/S1350-4495(01)00090-1
    [15] Antoni T, Nedelcu A, Marcadet X, et al. High contrast polarization sensitive quantum well infrared photodetectors [J]. Applied Physics Letters, 2007, 90(20): 201107. doi:  10.1063/1.2739408
    [16] Kudenov M W, Escuti M J, Dereniak E L, et al. White-light channeled imaging polarimeter using broadband polarization gratings [J]. Applied Optics, 2011, 50(15): 2283-2293. doi:  10.1364/AO.50.002283
    [17] Brock N, Kimbrough B T, Millerd J E. A pixelated micropolarizer-based camera for instantaneous interferometric measurements[C]//Proc SPIE, Polarization science and remote sensing V, 2011, 8160: 81600W.
    [18] Rebhan D, Rosenberger M, Notni G. Principle investigations on polarization image sensors[C]//Proc SPIE, Photonics and Education in Measurement Science 2019, 2019, 11144: 111440A.
    [19] Garcia M, Edmiston C, Marinov R, et al. Bio-inspired color-polarization imager for real-time in situ imaging [J]. Optica, 2017, 4(10): 1263-1271. doi:  10.1364/OPTICA.4.001263
    [20] Garcia M, Davis T, Blair S, et al. Bioinspired polarization imager with high dynamic range [J]. Optica, 2018, 5(10): 1240-1246. doi:  10.1364/OPTICA.5.001240
    [21] Ju H, Bai Z, Liang J, et al. Real-time image haze removal using an aperture-division polarimetric camera [J]. Applied Optics, 2017, 56(4): 942-947. doi:  10.1364/AO.56.000942
    [22] Zhao Yongqiang, Li Ning, Zhang Peng, et al. Infrared polarization perception and intelligent processing [J]. Infrared and Laser Engineering, 2018, 47(11): 1102001. (in Chinese) doi:  10.3788/IRLA201847.1102001
    [23] Li Xue, Shao Xiumei, Li Tao, et al. Developments of short-wave infrared InGaAs focal plane detectors [J]. Infrared and Laser Engineering, 2020, 49(1): 0103006. (in Chinese) doi:  10.3788/IRLA202049.0103006
    [24] Bai Caixun. Study of Fourier transform hyperspectral polarization imaging[D]. Nanjing: Nanjing University of Science & Technology, 2019. (in Chinese)
    [25] Powell S B, Gruev V. Calibration methods for division-of-focal-plane polarimeters [J]. Optics Express, 2013, 21(18): 21039-21055. doi:  10.1364/OE.21.021039
    [26] Chen Z, Wang X, Liang R. Calibration method of microgrid polarimeters with image interpolation [J]. Applied Optics, 2015, 54(5): 995-1001. doi:  10.1364/AO.54.000995
    [27] Zhang J, Luo H, Hui B, et al. Non-uniformity correction for division of focal plane polarimeters with a calibration method [J]. Applied Optics, 2016, 55(26): 7236-7240. doi:  10.1364/AO.55.007236
    [28] Hagen N A, Shibata S, Otani Y. Calibration and performance assessment of microgrid polarization cameras [J]. Optical Engineering, 2019, 58(8): 082408.
    [29] Zhao F, Wu R, Feng B, et al. Pixel response model for a division of focal plane polarimeter [J]. Applied Optics, 2019, 58(29): 8109-8117. doi:  10.1364/AO.58.008109
    [30] Liu Haizheng, Shi Zelin, Feng Bin. Mechanism and calibration of non-uniformity for IR polarization imagery obtained with integrated micro-polarizer array [J]. Optics and Precision Engineering, 2018, 26(2): 480-491. (in Chinese) doi:  10.3788/OPE.20182602.0480
    [31] Yin Jiaqi, Wang Shiyong, Zhang Rui, et al. Calibration and non-uniformity correction of near-infrared polarization detector [J]. Journal of Infrared and Millimeter Waves, 2020, 39(2): 235-241. (in Chinese)
    [32] Wang Detang, Ren Zhigang, Liu Sha, et al. Polarization redundancy estimation scene-based non-uniformity correction algorithm [J]. Journal of Infrared and Millimeter Waves, 2021, 40(6): 878-885. (in Chinese)
    [33] Gao S, Gruev V. Bilinear and bicubic interpolation methods for division of focal plane polarimeters [J]. Optics Express, 2011, 19(27): 26161-26173. doi:  10.1364/OE.19.026161
    [34] Gao S, Gruev V. Gradient-based interpolation method for division-of-focal-plane polarimeters [J]. Optics Express, 2013, 21(1): 1137-1151. doi:  10.1364/OE.21.001137
    [35] Ahmed A, Zhao X, Gruev V, et al. Residual interpolation for division of focal plane polarization image sensors [J]. Optics Express, 2017, 25(9): 10651-10662. doi:  10.1364/OE.25.010651
    [36] Li N, Zhao Y, Pan Q, et al. Demosaicking DoFP images using Newton’s polynomial interpolation and polarization difference model [J]. Optics Express, 2019, 27(2): 1376-1391. doi:  10.1364/OE.27.001376
    [37] Wu Rongyuan, Zhao Yongqiang, Li Ning, et al. Polarization image demosaicking using polarization channel difference prior [J]. Optical Express, 2021, 29(14): 22066-22079. doi:  10.1364/OE.424457
    [38] Liu S, Chen J, Xun Y, et al. A new polarization image demosaicking algorithm by exploiting inter-channel correlations with guided filtering [J]. IEEE Transactions on Image Processing, 2020, 29: 7076-7089. doi:  10.1109/TIP.2020.2998281
    [39] Zhang J, Luo H, Liang R, et al. Sparse representation-based demosaicing method for microgrid polarimeter imagery [J]. Optics Letters, 2018, 43(14): 3265-3268. doi:  10.1364/OL.43.003265
    [40] Zhang J, Shao J, Luo H, et al. Learning a convolutional demosaicing network for microgrid polarimeter imagery [J]. Optics Letters, 2018, 43(18): 4534-4537. doi:  10.1364/OL.43.004534
    [41] Zeng X, Luo Y, Zhao X, et al. An end-to-end fully-convolutional neural network for division of focal plane sensors to reconstruct S0, DoLP, and AoP [J]. Optics Express, 2019, 27(6): 8566-8577. doi:  10.1364/OE.27.008566
    [42] Wen S, Zheng Y, Lu F, et al. Convolutional demosaicing network for joint chromatic and polarimetric imagery [J]. Optics Letters, 2019, 44(22): 5646-5649. doi:  10.1364/OL.44.005646
    [43] Hu H, Lin Y, Li X, et al. IPLNet: A neural network for intensity-polarization imaging in low light [J]. Optics Letters, 2020, 45(22): 6162-6165. doi:  10.1364/OL.409673
    [44] Li S, Kang X, Fang L, et al. Pixel-level image fusion: A survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112. doi:  10.1016/j.inffus.2016.05.004
    [45] Liu Y, Chen X, Peng H, et al. Multi-focus image fusion with a deep convolutional neural network [J]. Information Fusion, 2017, 36: 191-207. doi:  10.1016/j.inffus.2016.12.001
    [46] Li H, Wu X. Densefuse: A fusion approach to infrared and visible images [J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623.
    [47] Jung H, Kim Y, Jang H, et al. Unsupervised deep image fusion with structure tensor representations [J]. IEEE Transactions on Image Processing, 2020, 29: 3845-3858. doi:  10.1109/TIP.2020.2966075
    [48] Xu H, Ma J, Jiang J, et al. U2 fusion: A unified unsupervised image fusion network [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518. doi:  10.1109/TPAMI.2020.3012548
  • [1] 胡浩丰, 黄一钊, 朱震, 马千文, 翟京生, 李校博.  基于深度学习复杂环境的偏振成像技术研究进展(特邀) . 红外与激光工程, 2024, 53(3): 20240057-1-20240057-18. doi: 10.3788/IRLA20240057
    [2] 胡玮娜, 吕勇, 耿蕊, 李宇海, 牛春晖.  光电探测器表面损伤状态偏振成像式探测系统 . 红外与激光工程, 2022, 51(6): 20210629-1-20210629-9. doi: 10.3788/IRLA20210629
    [3] 刘星洋, 翟尚礼, 李靖, 汪洋, 苗锋, 杜瀚宇, 邹超凡.  制冷型中波红外偏振成像光学系统设计 . 红外与激光工程, 2021, 50(2): 20200208-1-20200208-9. doi: 10.3788/IRLA20200208
    [4] 郭忠义, 康乾龙, 彭志勇, 崔月盟, 刘华松, 高隽, 郭凯.  基于超表面操控的偏振信息探测技术研究进展 . 红外与激光工程, 2020, 49(9): 20201041-1-20201041-15. doi: 10.3788/IRLA20201041
    [5] 王辉, 王进, 李校博, 胡浩丰, 刘铁根.  一种基于圆偏光的偏振去雾成像优化方法 . 红外与激光工程, 2019, 48(11): 1126001-1126001(5). doi: 10.3788/IRLA201948.1126001
    [6] 王琦龙, 李裕培, 翟雨生, 计吉焘, 邹海洋, 陈广甸.  等离激元增强金硅肖特基结近红外光电探测器进展 . 红外与激光工程, 2019, 48(2): 203002-0203002(14). doi: 10.3788/IRLA201948.0203002
    [7] 武魁军, 何微微, 于光保, 熊远辉, 李发泉.  分子滤光红外成像技术及其在光电探测中的应用(特邀) . 红外与激光工程, 2019, 48(4): 402003-0402003(9). doi: 10.3788/IRLA201948.0402003
    [8] 钟燕平, 袁红辉, 鞠国豪.  非均匀性校正的长波光导探测器读出电路设计 . 红外与激光工程, 2018, 47(1): 104001-0104001(6). doi: 10.3788/IRLA201847.0104001
    [9] 刘震, 洪津, 龚冠源, 郑小兵, 杨伟锋, 袁银麟.  空间调制型全偏振成像系统的角度误差优化 . 红外与激光工程, 2017, 46(1): 117003-0117003(7). doi: 10.3788/IRLA201746.0117003
    [10] 徐超, 何利民, 王霞, 金伟其.  红外偏振成像系统高速处理模块设计 . 红外与激光工程, 2017, 46(2): 204002-0204002(8). doi: 10.3788/IRLA201746.0204002
    [11] 柏财勋, 李建欣, 周建强, 刘勤, 徐文辉.  基于微偏振阵列的干涉型高光谱偏振成像方法 . 红外与激光工程, 2017, 46(1): 136003-0136003(6). doi: 10.3788/IRLA201746.0138003
    [12] 王中阳, 周燕飞, 张小伟, 沈灏, 李恩荣, 韩申生, 宓现强, 田立君, 彭玉峰.  基于随机采样的超高分辨率成像中快速压缩感知分析 . 红外与激光工程, 2017, 46(2): 201002-0201002(7). doi: 10.3788/IRLA201746.0201002
    [13] 彭勇, 冯斌, 史泽林, 徐保树, 惠斌.  微偏振片阵列成像的非均匀校正研究 . 红外与激光工程, 2017, 46(4): 404004-0404004(8). doi: 10.3788/IRLA201746.0404004
    [14] 赵永强, 张宇辰, 刘吾腾, 张艳, 李琳, 潘泉.  基于微偏振片阵列的偏振成像技术研究 . 红外与激光工程, 2015, 44(10): 3117-3123.
    [15] 闫佩佩, 李刚, 刘凯, 姜凯, 段晶, 单秋莎.  不同结构地基光电探测系统的杂散光抑制 . 红外与激光工程, 2015, 44(3): 917-922.
    [16] 聂瑞杰, 李丽娟, 王朝林, 徐琰珂.  一种凝视红外成像系统联合非均匀校正算法 . 红外与激光工程, 2015, 44(8): 2339-2346.
    [17] 李杰, 朱京平, 齐春, 郑传林, 高博, 张云尧, 侯洵.  大孔径静态超光谱全偏振成像技术 . 红外与激光工程, 2014, 43(2): 574-578.
    [18] 郑亮亮.  多通道TDI CCD成像系统的非均匀性校正 . 红外与激光工程, 2014, 43(S1): 145-150.
    [19] 任航.  高分辨率大面阵CCD相机高帧频设计及其非均匀性的校正 . 红外与激光工程, 2013, 42(6): 1491-1497.
    [20] 朱瑞飞, 王超, 魏群, 贾宏光, 周文明.  红外探测器非均匀性校正系统研制 . 红外与激光工程, 2013, 42(7): 1669-1673.
  • 加载中
图(7) / 表(1)
计量
  • 文章访问数:  1859
  • HTML全文浏览量:  1303
  • PDF下载量:  714
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-12-19
  • 修回日期:  2022-01-04
  • 网络出版日期:  2022-02-10
  • 刊出日期:  2022-01-31

偏振成像技术的发展现状与展望(特邀)

doi: 10.3788/IRLA20210987
    作者简介:

    罗海波,男,研究员,博士生导师,博士,主要从事图像处理、模式识别与智能系统、成像跟踪、智能控制、并行信号处理器体系结构等方面的研究

  • 中图分类号: TN29

摘要: 偏振成像是一种新的光电探测体制,它可以获得比传统成像多一维的场景信息,在工业检测、生物医学、地球遥感、现代军事、航空以及海洋等领域具有重要的应用价值。论文对偏振成像的典型应用、发展历程和发展现状进行了分析和总结,总结了偏振成像的实现方法,当前学术界在场景的偏振特性、偏振的传输特性、偏振成像探测器、分焦平面偏振图像非均匀性校正、分焦平面偏振图像超分辨率重建以及偏振图像融合等领域的最新研究成果。在此基础上,对偏振成像的未来发展方向进行了展望,包括高消光比焦平面偏振探测器、分焦平面多光谱偏振探测器、高精度非均匀性校正方法、偏振图超分辨率重建方法以及强度图和偏振度/偏振角图融合方法等。

English Abstract

    • 偏振是光的重要物理特性之一,地表或大气中的目标在反射、散射、透射和辐射电磁波时会产生由自身特性所决定的特定偏振信息,且这些偏振信息能用于分析目标的形状、表面粗糙度、纹理走向和材料的理化特性等。然而,传统的成像设备是将光的强度和波长信息编码成亮度和光谱进行成像,不能获得偏振信息。偏振成像技术作为一项前沿技术,它在传统成像的基础上增加了偏振维的信息,不仅能提供二维空间的光强分布,还能获得目标和背景的偏振信息,在民用和军事领域都有着广泛的应用。因此,对偏振成像技术的典型应用、发展历程、发展现状以及未来发展方向进行总结和分析,为补充和丰富光电探测手段,提高水下、雾霾和逆光等复杂条件下对目标的探测识别能力,提高强对抗条件下军事装备的作战效能提供参考,具有重要的理论和现实意义。

    • 在民用领域,偏振成像可用于透明材质的表面损伤检测[1],高反光/高辐射、无纹理目标的三维测量[2-3],复杂现场中金属与非金属目标的快速识别和分类[4], 金属疲劳损伤评估[5]以及医学临床诊断[6]等。在军事应用领域,偏振成像可用于反伪装、抗干扰、提高对目标的探测距离以及目标分类等。Timothy J. Rogne等从1985年开始研究将偏振探测技术应用于低对比度以及复杂背景下的红外目标识别中,并进行了大量的实验分析,选取了汽车、飞机、沥青、金属板、混凝土等人造目标作为观测目标,观测背景主要有树木、草地、水和云层等。如图1所示为两个场景的偏振成像结果,左列(图1(a))为强度图,右列(图1(b))为偏振度图,其中第一行为树荫下的两辆卡车,第二行为草丛中的地雷,从图中可以看出,在目标与背景辐射强度相近或被遮挡时,传统成像技术很难分辨出目标和背景,而偏振成像可以清晰地将目标从背景中突显出来。偏振成像还可以解决红外探测的“热反差淡化”问题,所谓“热反差淡化”是指在一天中的特定时间段,出现目标对比度“消失”的现象,如图2所示是对一个场景进行24 h观测,从获取的图像中选取一个目标,计算其对比度绘制的曲线,图中,s0为强度图的目标对比度曲线,DoLP为线偏振度图的目标对比度曲线,由曲线可以看出,在强度图中,有两个时间段目标对比度几近消失,而在偏振度图中,目标对比度却始终保持较高的水平。

      图  1  两种场景的红外偏振成像结果

      Figure 1.  Infrared polarization imaging results of two scenes

      图  2  某场景24 h强度和偏振度对比度曲线

      Figure 2.  Contrast curves of s0 and DoLP during 24 h for a scene

      根据基尔霍夫理论,在相同条件下,目标辐射源的光谱发射率与吸收率相等,并且两个互相垂直的分量对应不同的发射率和吸收率,导致热辐射也会表现出偏振效应,所以地球表面和大气中的所有目标在发射和反射电磁辐射的过程中都会表现出由它们自身性质和辐射基本定律决定的偏振特性。不同物体或同一物体的不同状态(粗糙度、含水量、构成材料的理化特征等)会产生不同的偏振状态,形成不同的偏振光谱。天空中的云是由小水滴和小冰晶混合组成的漂浮在空中的可见聚合物,表现出较强的随机性,故云反射和辐射的电磁波不具有偏振性。利用该特点可通过偏振成像实现云背景抑制,从而达到抗云背景干扰的目的。图3为一长波红外偏振成像设备对空观测的结果,从图中可以看出,在强度图中有很强的云背景干扰,而在偏振度图中云背景得到了有效抑制,从而降低了对空探测目标检测的难度。

      图  3  长波红外偏振成像对空观测实验结果

      Figure 3.  Experimental results of long-wave infrared polarization imaging for sky observation

      为了提高水下成像的探测能力,参考文献[7]提出了一种通过偏振成像抑制散射的方法,利用总辐射图像偏振信息的梯度先验知识建立像素级全局模型,该方法可以求解目标光偏振度的全局变化图像,实现目标光与场景中每个像素的偏振计算,以有效恢复水下场景的细节。实验结果表明,全局像素计算方法对水下场景的图像细节恢复有明显的效果,后向散射光对水下成像的影响得到了有效抑制,图像对比度得到显著提高,实现了清晰的水下视觉。

    • 参考文献[8]分析和推导了红外反射、热辐射、红外散射等光波传输过程产生的偏振效应,并对这三种偏振效应进行了建模与实验验证。利用菲涅耳反射定律对物体表面红外反射的偏振特性进行了分析,得出了反射偏振度解析式;在此基础上,结合物体表面模型,利用菲涅耳折射机制对物体的热辐射进行了计算,并分别利用瑞利散射和米散射理论对物体表面红外散射的偏振性进行了分析和计算,通过计算结果总结了散射产生偏振的规律。参考文献[9]从目标的传热特性和偏振特性出发,考虑材料表面微面元起伏阴影遮蔽效果等因素,建立了复杂目标表面红外偏振计算模型。利用该模型计算不同入射条件下复杂目标表面的偏振分布,分析模型中各种参数对偏振度的影响;在此基础上,考虑大气散射对目标表面红外偏振的影响,计算并讨论了大气背景下目标表面的红外偏振分布。参考文献[10]基于Kubelka-Munk(K-M)理论分析了物体表面的漫反射和体散射效应,建立了漫反射偏振模型;并通过在微面元模型中添加漫反射分量提出了一种改进的偏振双向反射分布函数模型,基于该模型进行了仿真,得出漫反射分量会严重影响目标的反射偏振特性的结论。参考文献[10]还建立了粗糙表面自发辐射偏振模型,首先分析了光滑表面的红外自发辐射的起偏机理,并采用光滑铝板和玻璃进行了仿真实验,发现自发辐射的偏振特性受材料影响较大。最后,综合考虑反射辐射和自发辐射对目标偏振特性的影响,提出了完整的粗糙表面的红外偏振模型,其中反射辐射和自发辐射比是影响红外偏振度的主要因素。参考文献[11]分析了偏振高光谱成像的机理,提出了一种考虑天空光对偏振影响的偏振高光谱成像模型,并将亚像素模型、偏振反射率模型与经典快速冠层反射率模型相结合,对植被冠层进行建模。然后,利用该成像模型对一个包括低灌木林地和道路的模拟场景进行了仿真,通过实验分析和讨论了成像模型的模拟条件和参数。

    • 国外在20世纪70年代就开始了偏振成像技术的研究,经过数十年的发展,偏振成像技术取得了长足的进展,但应用主要还集中在遥感领域。从技术路线看,目前典型的偏振成像方式主要有分时型、分振幅型、液晶调制型、分孔径型、分焦平面型和通道调制型,表1为上述方式的典型特征总结。

      表 1  典型偏振成像方法的技术特点[12]

      Table 1.  Technical characteristics of typical polarization imaging methods[12]

      Design featuresFabrication–integration
      issues, cost
      Misregistration issues
      Rotating element ● Robust
      ● Relatively small
      ● Not suitable for dynamic scenes
      ● Easiest to implement
      ● Inexpensive
      ● Scene and platform motion
      ● Beam wander not a problem or removed in software
      ● Misregistration is linear
      Division of amplitude
      (multiple FPAs)
      ● Simultaneous acquisition
      ● Large system size
      ● High mechanical flexibility and rigidity required
      ● Expensive
      ● Large
      ● Must register multiple FPAs
      ● Misregistration can be fixed
      ● Can be nonlinear
      Division of aperture
      (single FPA)
      ● Simultaneous acquisition
      ● Smaller size
      ● Loss of spatial resolution
      ● Expensive
      ● Fixed misregistration
      ● Can be nonlinear
      Division of focal plane ● Simultaneous acquisition
      ● Small and rugged
      ● Loss of spatial resolution
      ● Fabrication difficult
      ● Alignment difficult
      ● Very expensive
      ● IFOVs misregistered
      ● Requires interpolation
      ● Fixed registration
      Coboresighted ● Simultaneous acquisition
      ● Best used at long ranges
      ● Easy integration
      ● Expensive
      ● Misregistration not as stable

      20世纪70年代出现了分时型偏振成像技术,它通过旋转偏振片和波片来工作,早期用照相胶片记录图像,曾装载在U-2高空侦察机上对前苏联导弹发射阵地进行侦察。20世纪80年代,随着电视摄像管和CCD芯片技术的发展,其探测能力得到了较大提高。1999年,日本国家航空实验室研制了可见光波段的偏振光谱成像仪,采用电调滤光片加电机旋转的方式获取图像,并于2003年将波段扩展到了近红外波段[13]。2000年,美国陆军研究实验室报道了长波红外偏振热成像仪[14],之后法国Thales公司也相继报道了长波红外焦平面偏振探测器及其偏振成像仪[15]。2011年,美国亚利桑那大学联合其他大学研制了一种基于宽带偏振光栅的白光通道型偏振成像仪[16],由于受结构限制,成像质量有待提高。2012年,美国报道了圆偏振滤光片的研究成果,集成的微偏振阵列能同时获得圆偏振光和线偏振光,能够增强“穿云透雾,看穿战场”的能力。2011年,美国4D公司研制了可见光波段的微型线偏振相机[17],该偏振阵列的工作波段为0.3~3 μm。2018年,Sony推出了一款IMX250 MZR偏振传感器[18],每个微偏振片都有防反射层,且被置于微透镜和感光二极管之间(如图4所示),该结构能最大程度地减少不同方向偏振光的串扰。FLIR和Lucid Vision Labs等将该偏振传感器集成到相机中,研发出了相应的黑白和彩色分焦平面偏振相机。近年来,借鉴螳螂虾、水虿等水生生物对偏振光敏感的独特结构,有学者提出了仿生偏振技术[19-20]

      图  4  分焦平面偏振传感器IMX250 MZR的结构示意图

      Figure 4.  Schematic diagram of division-of-focal-plane polarization sensor IMX250 MZR

      相对于国外,国内在偏振成像方面的研究起步较晚,但也取得了不少研究成果。2003年,中国科学院安徽光学精密机械研究所研制了可见光和近红外波段的偏振相机,并在航空实验中验证了多波段偏振信息获取的能力。2007年,昆明物理研究所研制的红外偏振成像仪能准确测量辐射目标的偏振特性,对偏振成像在军事领域的应用具有重大的意义。近年来,中国科学院西安光学精密机械研究所研制了分孔径全偏振态同时探测型彩色偏振成像相机[21],可用于高速移动目标的探测与跟踪,还可用于烟雾、雾霾和浑浊水下环境中目标的超视距成像探测。西北工业大学赵永强教授所在团队和北方广微联合研制了一款非制冷型分焦平面红外偏振相机[22],工作波段为8~12 μm。赵永强教授还在仿生多波段偏振视觉方面取得了不少有价值的成果。中国科学院上海技术物理研究所成功研制了集成亚波长金属光栅结构的近红外InGaAs偏振探测器[23],偏振光敏元的消光比优于20:1。参考文献[24]提出了一种基于双折射剪切干涉调制和铁电液晶(Ferroelectric Liquid Crystal,FLC)高速偏振调制的傅里叶变换高光谱偏振成像技术方案,利用两片式结构解决双折射型傅里叶变换高光谱成像技术中总光程差量值的差异问题,并将FLC作为高速偏振调制器件应用于干涉型高光谱成像仪中,实现高分辨光谱偏振同步成像测量。中国科学院沈阳自动化研究所先后于2015年和2020年成功研制了制冷型中波红外偏振焦平面探测器和制冷型长波红外偏振焦平面探测器,在此基础上研制了中波和长波红外偏振成像系统,并完成了应用研究。此外,北京理工大学、北京航空航天大学、南京航空航天大学、深圳大学、香港科技大学等机构均开展了偏振成像方面的研究。

    • 自2000年美国陆军研究实验室报道分焦平面长波红外偏振热成像仪以来,分焦平面偏振成像以其体积小、兼容性好、同时成像以及可适用于动态场景等特点,逐渐成为偏振成像领域的主流技术。基于此,以下围绕分焦平面偏振成像关键技术,对其发展现状进行总结。

      (1) 微偏振阵列和焦平面的装配容差分析

      微偏振阵列可通过集成电路工艺将偏振光栅集成在焦平面探测器的感光面前,如Sony的IMX250 MZR、赵永强教授和北方广微联合研制的非制冷长波红外偏振探测器以及中国科学院上海技术物理研究所研制的近红外InGaAs偏振探测器等。另一种是将微偏振阵列通过耦合技术放置于焦平面探测器感光面的前面,如中国科学技术大学研制的可见光偏振探测器,中国科学院沈阳自动化研究所研制的可见光偏振探测器、制冷型中波红外偏振探测器和制冷型长波红外偏振探测器等。对于这种方式,除微偏振阵列基底的选择和耦合工艺外,需要重点控制微偏振阵列和焦平面的对准误差和间距。针对该问题,笔者在制冷型中波红外偏振焦平面探测器和制冷型长波红外偏振焦平面探测器研制过程中,研究了偏振光栅和感光单元的纵向距离对消光比的影响。

      笔者根据焦平面像元的结构尺寸设计了微偏振阵列,选用的焦平面像元尺寸为25 μm×25 μm,像元间距为30 μm,采用FDTD软件仿真分析微偏振阵列(MPA)与焦平面(FPA)位置偏差的衍射效应。图5所示为MPA的结构参数。图6所示为假设FPA与MPA无对准误差,入射光源(平面波,强度为1,偏振方向为0°,波长为9.5 μm)沿FPA法向传输时,不同垂直距离上的光强分布,其中ΔZ为MPA与FPA之间的距离,单位为μm,从图中可以看出,由于光波的衍射现象,随着MPA与FPA之间的距离变大,串扰现象越来越严重。尤其是当间距大于30 μm时,串扰更为明显。

      图  5  MPA及其结构参数示意图

      Figure 5.  Diagram of MPA and its structural parameters

      图  6  平面波入射,距离MPA不同距离的强度图(单位:μm)

      Figure 6.  Intensity diagram at different distances from MPA with plane wave incident (Unit: μm)

      笔者用等效消光比来评价MPA与FPA的对准误差以及二者之间的距离对检偏性能的影响,以中心区域的2×2偏振像元区的0°、45°、90°、135°偏振片面元区域作为一组检偏单元,以平面波(线偏振度为1)垂直入射,以0°和90°偏振片计算消光比。

      图7为在不同间距下等效消光比的变化曲线,笔者设定MPA的消光比为329,该参数是为制冷型长波红外偏振探测器制备的MPA的消光比实测指标。从图中可以得到以下规律:

      图  7  不同对准误差条件下消光比随纵向间距的变化曲线

      Figure 7.  Variation curves of extinction ratio with longitudinal spacing under different alignment errors

      1) 随着FPA与MPA间的距离增大,总体上等效消光比减小,反映串扰降低了检偏能力。

      2) 对准误差越大,等效消光比进入衰减阶段的拐点对应的FPA与MPA间距越小,说明对准误差也是导致消光比退化的一个因素。

      3) 在等效消光比下降的初始段,对准误差越小,衰减斜率越大,反映对准误差小时,FPA与MPA间的距离成为影响等效消光比的主要因素。

      4) 当FPA与MPA间的距离较大时,消光比的变化趋于平缓,不同的对准误差造成的消光比变化不大。

      从图中还可以看出,当FPA与MPA间的距离为40 μm时,等效消光比约为20,而笔者研制的制冷型长波红外偏振探测器的消光比实测值平均为23.3,二者比较接近。

      (2) 分焦平面偏振图像非均匀性校正

      S. Powell等人[25]提出了基于单像素和超像素的非均匀性校正方法,其中,基于单像素的校正方法依赖于输入的Stokes矢量,相比基于超像素的方法,其校正效果相对较差。北京理工大学王霞所在课题组也提出了一种基于超像素的校正算法[26],并在重构阶段采用了邻域平均的策略。张俊超等人[27]将平均分析矩阵作为理想的分析矩阵来求解校正矩阵和偏差向量,获得了较小的重构误差。N.Hagen等人[28]提出了一种基于单像素的校正方法,该方法不依赖于输入光的光强,且不要求输入光是均匀的,因此,校正工艺更简单。西安邮电大学的赵峰教授等人[29]提出了一种偏振像元响应的表征模型,该模型综合了微偏振阵列的调制和探测器的增益等,其本质是一种线性模型,并据此设计了校正方法。中国科学院沈阳自动化研究所史泽林研究员等人[30]提出了一种针对红外波段的偏振图像非均匀性校正方法,该方法将可见光波段的校正算法分段化处理,获得了较好的校正效果。中国科学院上海技术物理研究所李范鸣研究员等人[31]提出了一种近红外波段偏振图像非均匀性校正方法,该方法分别校正探测器响应的非均匀性和偏振片参数的不一致性,并基于他们自主研发的偏振成像仪验证了算法的有效性。西北工业大学赵永强教授等人[32]提出了一种基于场景偏振冗余估计的非均匀性校正算法,通过对场景图像和由场景图像计算得到的偏振冗余估计对相机工作时采集的场景信息进行统计,得到整个焦平面上所有像元响应在统计特性上的差异,然后分通道从两个方向对这些差异进行比较分析,得到更新后的增益校正系数,再通过辐射重定标抑制由于静止场景造成的鬼影,得到当前状态下相机的增益校正系数。在此过程中,通过偏振冗余估计评价之前的校正系数,实现增益校正系数的自适应更新。实验结果表明,该算法有效提高了获取偏振图像的准确性。

      (3) 分焦平面偏振图像超分辨率重建

      V.Gruev等人[33-34]提出了双线性、双三次和基于梯度的插值方法。基于梯度的插值方法首先计算对角方向的梯度,根据边缘方向来估计对角偏振方向的光强响应值。然后根据水平和垂直方向的梯度信息估计另外两个偏振方向的光强响应值。香港科技大学A.Bermak教授所在课题组提出了一种基于引导滤波的残差插值算法[35]。西北工业大学赵永强教授等人[36]采用Newton多项式插值和偏振残差模型获得全分辨率图像;并基于他们自主研发的分焦平面红外偏振相机验证了该算法的有效性。他们还在参考文献[37]中发表了一种利用偏振通道差分先验对分焦平面偏振探测器获取的偏振图像进行超分辨率重建的方法。偏振通道差分先验假设正交通道间差分的高频能量大于非正交通道间差分的高频能量。基于该假设,对于像素位置处每个缺失的偏振通道,使用不同的通道差异恢复三个初始预测。丢失的偏振通道通过三个初始预测的加权融合来估计,其中权重由所提出的偏振通道先验差来确定。先验知识有助于快速有效地恢复边缘的偏振信息,在偏振数据集上的实验结果证明了该方法的有效性。南京航空航天大学陈佳嘉教授等人[38]提出了一种基于偏振通道相关性和引导滤波的插值算法,该算法以较低的复杂度获得了较好的超分辨率重建效果。张俊超等人[39]提出了一种基于稀疏编码的超分辨率重建模型,通过迭代求解最小化问题,获得高精度超分辨率图像。他们还首次提出了偏振图像超分辨率重建网络PDCNN[40],在仿真数据上获得了高精度的超分辨率图像。之后,深圳大学的X.Zeng等人[41]提出了Fork-Net,该网络端到端地输出强度图像、线偏振度图像和偏振角图像,基于仿真数据对网络进行了训练和测试。针对彩色偏振图像超分辨率重建问题,北京航空航天大学陆峰教授等人提出了CPDNet[42],端到端地输出四个偏振通道的彩色光强图像。天津大学胡浩丰等人提出了IPLNet[43],用于增强微光条件下的强度图像、线偏振度图像和偏振角图像。

      (4) 偏振图像融合

      传统的图像融合方法[44]主要涉及两个关键问题,一是图像变换,二是融合规则的设计。针对偏振图像融合,小波变换、轮廓波变换、非下采样剪切波变换等是目前常用的图像变换方法。此外,多尺度变换和多尺度融合规则也相继被提出。这些方法需手动设计图像变换方法,并经验式地设计融合策略。而基于深度学习的融合方法[45-48]可以自主学习图像变换和融合规则,融合效果较传统方法有所提升。

    • 在目标和背景偏振特性研究方面,目前的研究工作只考虑了几种典型影响因素,大多只给出了一些定性的结论,建立的模型在精度和准确度方面还有待于进一步提高,采用模型预测的结果与实际测量值还有较大的差距。未来需要进一步通过丰富材质库及其电磁学特性参数、综合大气程辐射引起的偏振特性和复杂场景,以及其他影响目标反射和辐射特性等因素的方式,完善目标和背景偏振特性预测模型,以进一步提高模型的预测精度,为目标探测方案的选择以及实际工程应用中的任务规划提供依据。此外,还需研究典型自然和人为干扰的偏振特性,以为偏振成像探测抗干扰方案的选择以及抗干扰算法设计提供依据。

      在偏振传输特性研究方面,目前的工作集中在大气和水介质的传输特性研究,主要研究了大气气溶胶和水介质散射的影响。未来需进一步研究烟雾弹、水幕以及其他遮蔽干扰对偏振的影响,为偏振成像抗干扰方案设计提供理论支撑。

      从偏振信息获取方式来看,偏振成像从“时序型”向“空间型”、从“体积大、结构复杂”向“轻小型、集成化、模块化”、从“窄波段”向“宽波段、全波段”发展。分焦平面偏振成像系统具有结构紧凑、体积小和高实时性等优点,是当前偏振成像的研究热点。

      等效消光比是偏振成像探测系统的一个关键指标,决定着探测系统的检偏能力、抗干扰性能以及偏振信息的利用效率。当前国际领先的是Sony的IMX250 MZR,其消光比达到300:1以上,国内目前还没有突破50:1。影响消光比指标的因素主要有偏振光栅自身的性能以及装配工艺,偏振光栅的性能可通过优化设计参数和加工工艺提高;装配工艺则需要通过提高对准精度、减小偏振光栅和感光单元间的间距来减小性能的退化。特别是对于制冷型红外焦平面偏振探测器来说,目前减小纵向距离是一个难题,也是未来的一个努力方向。通过优化偏振探测器的设计以及制造工艺,减小MPA和FPA的对准误差和纵向距离,从而提高偏振探测系统的消光比是未来的发展方向。此外,随着多光谱探测器技术的发展,分焦平面多光谱偏振探测器也是未来的一个发展方向。

      在非均匀性校正方面,现有的非均匀性校正算法未考虑探测器响应的非线性和像元间的串扰,校正模型有待于进一步优化。未来需要对探测器焦平面响应非线性、微偏振片调制非一致性和像元间串扰等复杂的耦合关系进行建模与分析,在此基础上,研究校正精度更高的非均匀性校正算法。

      在偏振图像超分辨率重建方面,现有的基于深度学习的超分辨率重建方法较其他算法在仿真数据上取得了更好的结果,是未来发展的一个方向。然而,这些方法主要是基于仿真数据(基于分时型偏振成像系统采集的全分辨率图像,在此基础上通过降采样生成分焦平面偏振图像)对深度学习网络进行训练、测试,仿真数据还不能真正反映实际分焦平面偏振探测器的特性,导致这类方法在实际工程应用中还强差人意。如何通过实际应用系统获取训练集和测试集,从而提升深度学习网络在实际工程应用中的超分辨率重建效果是未来的一个努力方向。此外,随着计算成像理论和技术的发展,采用计算成像技术实现偏振图像超分辨率重建也是一个未来发展方向。

      在图像融合方面,现有的图像融合算法主要是针对强度图像的融合,而偏振成像中的图像融合是强度图和特征图(偏振度、偏振角)的融合,在融合算法研究中要充分考虑偏振度图和偏振角图的特点,使其和强度图融合后可以有效提高目标的对比度。例如:可以考虑将偏振度作为强度图的对比度增益,使偏振度较高区域的图像对比度得到放大,从而使目标凸显。也可以考虑设计一种非监督学习方法,基于偏振成像的特点,设计端到端的图像融合网络和专门的损失函数,实现光强信息和偏振信息的有效融合等。

    • 文中对偏振成像的特点、应用领域、发展历程以及发展现状进行了总结和分析,在此基础上对偏振成像的未来发展方向进行了展望。现有研究成果表明,偏振成像无论是在民用领域还是在军事领域都有较高的应用价值,特别是在军事领域,偏振成像在目标识别、抗干扰以及提高对目标的探测距离等方面表现出了优异的性能。但偏振成像技术也面临着一些挑战,如红外偏振成像探测器消光比指标还有待于进一步提高,目标和背景的偏振特性以及偏振的传输特性研究还需进一步深化等等,是未来努力的方向。

参考文献 (48)

目录

    /

    返回文章
    返回