-
参考文献[8]分析和推导了红外反射、热辐射、红外散射等光波传输过程产生的偏振效应,并对这三种偏振效应进行了建模与实验验证。利用菲涅耳反射定律对物体表面红外反射的偏振特性进行了分析,得出了反射偏振度解析式;在此基础上,结合物体表面模型,利用菲涅耳折射机制对物体的热辐射进行了计算,并分别利用瑞利散射和米散射理论对物体表面红外散射的偏振性进行了分析和计算,通过计算结果总结了散射产生偏振的规律。参考文献[9]从目标的传热特性和偏振特性出发,考虑材料表面微面元起伏阴影遮蔽效果等因素,建立了复杂目标表面红外偏振计算模型。利用该模型计算不同入射条件下复杂目标表面的偏振分布,分析模型中各种参数对偏振度的影响;在此基础上,考虑大气散射对目标表面红外偏振的影响,计算并讨论了大气背景下目标表面的红外偏振分布。参考文献[10]基于Kubelka-Munk(K-M)理论分析了物体表面的漫反射和体散射效应,建立了漫反射偏振模型;并通过在微面元模型中添加漫反射分量提出了一种改进的偏振双向反射分布函数模型,基于该模型进行了仿真,得出漫反射分量会严重影响目标的反射偏振特性的结论。参考文献[10]还建立了粗糙表面自发辐射偏振模型,首先分析了光滑表面的红外自发辐射的起偏机理,并采用光滑铝板和玻璃进行了仿真实验,发现自发辐射的偏振特性受材料影响较大。最后,综合考虑反射辐射和自发辐射对目标偏振特性的影响,提出了完整的粗糙表面的红外偏振模型,其中反射辐射和自发辐射比是影响红外偏振度的主要因素。参考文献[11]分析了偏振高光谱成像的机理,提出了一种考虑天空光对偏振影响的偏振高光谱成像模型,并将亚像素模型、偏振反射率模型与经典快速冠层反射率模型相结合,对植被冠层进行建模。然后,利用该成像模型对一个包括低灌木林地和道路的模拟场景进行了仿真,通过实验分析和讨论了成像模型的模拟条件和参数。
-
国外在20世纪70年代就开始了偏振成像技术的研究,经过数十年的发展,偏振成像技术取得了长足的进展,但应用主要还集中在遥感领域。从技术路线看,目前典型的偏振成像方式主要有分时型、分振幅型、液晶调制型、分孔径型、分焦平面型和通道调制型,表1为上述方式的典型特征总结。
表 1 典型偏振成像方法的技术特点[12]
Table 1. Technical characteristics of typical polarization imaging methods[12]
Design features Fabrication–integration
issues, costMisregistration issues Rotating element ● Robust
● Relatively small
● Not suitable for dynamic scenes● Easiest to implement
● Inexpensive● Scene and platform motion
● Beam wander not a problem or removed in software
● Misregistration is linearDivision of amplitude
(multiple FPAs)● Simultaneous acquisition
● Large system size● High mechanical flexibility and rigidity required
● Expensive
● Large● Must register multiple FPAs
● Misregistration can be fixed
● Can be nonlinearDivision of aperture
(single FPA)● Simultaneous acquisition
● Smaller size● Loss of spatial resolution
● Expensive● Fixed misregistration
● Can be nonlinearDivision of focal plane ● Simultaneous acquisition
● Small and rugged
● Loss of spatial resolution● Fabrication difficult
● Alignment difficult
● Very expensive● IFOVs misregistered
● Requires interpolation
● Fixed registrationCoboresighted ● Simultaneous acquisition
● Best used at long ranges● Easy integration
● Expensive● Misregistration not as stable 20世纪70年代出现了分时型偏振成像技术,它通过旋转偏振片和波片来工作,早期用照相胶片记录图像,曾装载在U-2高空侦察机上对前苏联导弹发射阵地进行侦察。20世纪80年代,随着电视摄像管和CCD芯片技术的发展,其探测能力得到了较大提高。1999年,日本国家航空实验室研制了可见光波段的偏振光谱成像仪,采用电调滤光片加电机旋转的方式获取图像,并于2003年将波段扩展到了近红外波段[13]。2000年,美国陆军研究实验室报道了长波红外偏振热成像仪[14],之后法国Thales公司也相继报道了长波红外焦平面偏振探测器及其偏振成像仪[15]。2011年,美国亚利桑那大学联合其他大学研制了一种基于宽带偏振光栅的白光通道型偏振成像仪[16],由于受结构限制,成像质量有待提高。2012年,美国报道了圆偏振滤光片的研究成果,集成的微偏振阵列能同时获得圆偏振光和线偏振光,能够增强“穿云透雾,看穿战场”的能力。2011年,美国4D公司研制了可见光波段的微型线偏振相机[17],该偏振阵列的工作波段为0.3~3 μm。2018年,Sony推出了一款IMX250 MZR偏振传感器[18],每个微偏振片都有防反射层,且被置于微透镜和感光二极管之间(如图4所示),该结构能最大程度地减少不同方向偏振光的串扰。FLIR和Lucid Vision Labs等将该偏振传感器集成到相机中,研发出了相应的黑白和彩色分焦平面偏振相机。近年来,借鉴螳螂虾、水虿等水生生物对偏振光敏感的独特结构,有学者提出了仿生偏振技术[19-20]。
图 4 分焦平面偏振传感器IMX250 MZR的结构示意图
Figure 4. Schematic diagram of division-of-focal-plane polarization sensor IMX250 MZR
相对于国外,国内在偏振成像方面的研究起步较晚,但也取得了不少研究成果。2003年,中国科学院安徽光学精密机械研究所研制了可见光和近红外波段的偏振相机,并在航空实验中验证了多波段偏振信息获取的能力。2007年,昆明物理研究所研制的红外偏振成像仪能准确测量辐射目标的偏振特性,对偏振成像在军事领域的应用具有重大的意义。近年来,中国科学院西安光学精密机械研究所研制了分孔径全偏振态同时探测型彩色偏振成像相机[21],可用于高速移动目标的探测与跟踪,还可用于烟雾、雾霾和浑浊水下环境中目标的超视距成像探测。西北工业大学赵永强教授所在团队和北方广微联合研制了一款非制冷型分焦平面红外偏振相机[22],工作波段为8~12 μm。赵永强教授还在仿生多波段偏振视觉方面取得了不少有价值的成果。中国科学院上海技术物理研究所成功研制了集成亚波长金属光栅结构的近红外InGaAs偏振探测器[23],偏振光敏元的消光比优于20:1。参考文献[24]提出了一种基于双折射剪切干涉调制和铁电液晶(Ferroelectric Liquid Crystal,FLC)高速偏振调制的傅里叶变换高光谱偏振成像技术方案,利用两片式结构解决双折射型傅里叶变换高光谱成像技术中总光程差量值的差异问题,并将FLC作为高速偏振调制器件应用于干涉型高光谱成像仪中,实现高分辨光谱偏振同步成像测量。中国科学院沈阳自动化研究所先后于2015年和2020年成功研制了制冷型中波红外偏振焦平面探测器和制冷型长波红外偏振焦平面探测器,在此基础上研制了中波和长波红外偏振成像系统,并完成了应用研究。此外,北京理工大学、北京航空航天大学、南京航空航天大学、深圳大学、香港科技大学等机构均开展了偏振成像方面的研究。
-
自2000年美国陆军研究实验室报道分焦平面长波红外偏振热成像仪以来,分焦平面偏振成像以其体积小、兼容性好、同时成像以及可适用于动态场景等特点,逐渐成为偏振成像领域的主流技术。基于此,以下围绕分焦平面偏振成像关键技术,对其发展现状进行总结。
(1) 微偏振阵列和焦平面的装配容差分析
微偏振阵列可通过集成电路工艺将偏振光栅集成在焦平面探测器的感光面前,如Sony的IMX250 MZR、赵永强教授和北方广微联合研制的非制冷长波红外偏振探测器以及中国科学院上海技术物理研究所研制的近红外InGaAs偏振探测器等。另一种是将微偏振阵列通过耦合技术放置于焦平面探测器感光面的前面,如中国科学技术大学研制的可见光偏振探测器,中国科学院沈阳自动化研究所研制的可见光偏振探测器、制冷型中波红外偏振探测器和制冷型长波红外偏振探测器等。对于这种方式,除微偏振阵列基底的选择和耦合工艺外,需要重点控制微偏振阵列和焦平面的对准误差和间距。针对该问题,笔者在制冷型中波红外偏振焦平面探测器和制冷型长波红外偏振焦平面探测器研制过程中,研究了偏振光栅和感光单元的纵向距离对消光比的影响。
笔者根据焦平面像元的结构尺寸设计了微偏振阵列,选用的焦平面像元尺寸为25 μm×25 μm,像元间距为30 μm,采用FDTD软件仿真分析微偏振阵列(MPA)与焦平面(FPA)位置偏差的衍射效应。图5所示为MPA的结构参数。图6所示为假设FPA与MPA无对准误差,入射光源(平面波,强度为1,偏振方向为0°,波长为9.5 μm)沿FPA法向传输时,不同垂直距离上的光强分布,其中ΔZ为MPA与FPA之间的距离,单位为μm,从图中可以看出,由于光波的衍射现象,随着MPA与FPA之间的距离变大,串扰现象越来越严重。尤其是当间距大于30 μm时,串扰更为明显。
图 6 平面波入射,距离MPA不同距离的强度图(单位:μm)
Figure 6. Intensity diagram at different distances from MPA with plane wave incident (Unit: μm)
笔者用等效消光比来评价MPA与FPA的对准误差以及二者之间的距离对检偏性能的影响,以中心区域的2×2偏振像元区的0°、45°、90°、135°偏振片面元区域作为一组检偏单元,以平面波(线偏振度为1)垂直入射,以0°和90°偏振片计算消光比。
图7为在不同间距下等效消光比的变化曲线,笔者设定MPA的消光比为329,该参数是为制冷型长波红外偏振探测器制备的MPA的消光比实测指标。从图中可以得到以下规律:
图 7 不同对准误差条件下消光比随纵向间距的变化曲线
Figure 7. Variation curves of extinction ratio with longitudinal spacing under different alignment errors
1) 随着FPA与MPA间的距离增大,总体上等效消光比减小,反映串扰降低了检偏能力。
2) 对准误差越大,等效消光比进入衰减阶段的拐点对应的FPA与MPA间距越小,说明对准误差也是导致消光比退化的一个因素。
3) 在等效消光比下降的初始段,对准误差越小,衰减斜率越大,反映对准误差小时,FPA与MPA间的距离成为影响等效消光比的主要因素。
4) 当FPA与MPA间的距离较大时,消光比的变化趋于平缓,不同的对准误差造成的消光比变化不大。
从图中还可以看出,当FPA与MPA间的距离为40 μm时,等效消光比约为20,而笔者研制的制冷型长波红外偏振探测器的消光比实测值平均为23.3,二者比较接近。
(2) 分焦平面偏振图像非均匀性校正
S. Powell等人[25]提出了基于单像素和超像素的非均匀性校正方法,其中,基于单像素的校正方法依赖于输入的Stokes矢量,相比基于超像素的方法,其校正效果相对较差。北京理工大学王霞所在课题组也提出了一种基于超像素的校正算法[26],并在重构阶段采用了邻域平均的策略。张俊超等人[27]将平均分析矩阵作为理想的分析矩阵来求解校正矩阵和偏差向量,获得了较小的重构误差。N.Hagen等人[28]提出了一种基于单像素的校正方法,该方法不依赖于输入光的光强,且不要求输入光是均匀的,因此,校正工艺更简单。西安邮电大学的赵峰教授等人[29]提出了一种偏振像元响应的表征模型,该模型综合了微偏振阵列的调制和探测器的增益等,其本质是一种线性模型,并据此设计了校正方法。中国科学院沈阳自动化研究所史泽林研究员等人[30]提出了一种针对红外波段的偏振图像非均匀性校正方法,该方法将可见光波段的校正算法分段化处理,获得了较好的校正效果。中国科学院上海技术物理研究所李范鸣研究员等人[31]提出了一种近红外波段偏振图像非均匀性校正方法,该方法分别校正探测器响应的非均匀性和偏振片参数的不一致性,并基于他们自主研发的偏振成像仪验证了算法的有效性。西北工业大学赵永强教授等人[32]提出了一种基于场景偏振冗余估计的非均匀性校正算法,通过对场景图像和由场景图像计算得到的偏振冗余估计对相机工作时采集的场景信息进行统计,得到整个焦平面上所有像元响应在统计特性上的差异,然后分通道从两个方向对这些差异进行比较分析,得到更新后的增益校正系数,再通过辐射重定标抑制由于静止场景造成的鬼影,得到当前状态下相机的增益校正系数。在此过程中,通过偏振冗余估计评价之前的校正系数,实现增益校正系数的自适应更新。实验结果表明,该算法有效提高了获取偏振图像的准确性。
(3) 分焦平面偏振图像超分辨率重建
V.Gruev等人[33-34]提出了双线性、双三次和基于梯度的插值方法。基于梯度的插值方法首先计算对角方向的梯度,根据边缘方向来估计对角偏振方向的光强响应值。然后根据水平和垂直方向的梯度信息估计另外两个偏振方向的光强响应值。香港科技大学A.Bermak教授所在课题组提出了一种基于引导滤波的残差插值算法[35]。西北工业大学赵永强教授等人[36]采用Newton多项式插值和偏振残差模型获得全分辨率图像;并基于他们自主研发的分焦平面红外偏振相机验证了该算法的有效性。他们还在参考文献[37]中发表了一种利用偏振通道差分先验对分焦平面偏振探测器获取的偏振图像进行超分辨率重建的方法。偏振通道差分先验假设正交通道间差分的高频能量大于非正交通道间差分的高频能量。基于该假设,对于像素位置处每个缺失的偏振通道,使用不同的通道差异恢复三个初始预测。丢失的偏振通道通过三个初始预测的加权融合来估计,其中权重由所提出的偏振通道先验差来确定。先验知识有助于快速有效地恢复边缘的偏振信息,在偏振数据集上的实验结果证明了该方法的有效性。南京航空航天大学陈佳嘉教授等人[38]提出了一种基于偏振通道相关性和引导滤波的插值算法,该算法以较低的复杂度获得了较好的超分辨率重建效果。张俊超等人[39]提出了一种基于稀疏编码的超分辨率重建模型,通过迭代求解最小化问题,获得高精度超分辨率图像。他们还首次提出了偏振图像超分辨率重建网络PDCNN[40],在仿真数据上获得了高精度的超分辨率图像。之后,深圳大学的X.Zeng等人[41]提出了Fork-Net,该网络端到端地输出强度图像、线偏振度图像和偏振角图像,基于仿真数据对网络进行了训练和测试。针对彩色偏振图像超分辨率重建问题,北京航空航天大学陆峰教授等人提出了CPDNet[42],端到端地输出四个偏振通道的彩色光强图像。天津大学胡浩丰等人提出了IPLNet[43],用于增强微光条件下的强度图像、线偏振度图像和偏振角图像。
(4) 偏振图像融合
传统的图像融合方法[44]主要涉及两个关键问题,一是图像变换,二是融合规则的设计。针对偏振图像融合,小波变换、轮廓波变换、非下采样剪切波变换等是目前常用的图像变换方法。此外,多尺度变换和多尺度融合规则也相继被提出。这些方法需手动设计图像变换方法,并经验式地设计融合策略。而基于深度学习的融合方法[45-48]可以自主学习图像变换和融合规则,融合效果较传统方法有所提升。
Development status and prospects of polarization imaging technology (Invited)
-
摘要: 偏振成像是一种新的光电探测体制,它可以获得比传统成像多一维的场景信息,在工业检测、生物医学、地球遥感、现代军事、航空以及海洋等领域具有重要的应用价值。论文对偏振成像的典型应用、发展历程和发展现状进行了分析和总结,总结了偏振成像的实现方法,当前学术界在场景的偏振特性、偏振的传输特性、偏振成像探测器、分焦平面偏振图像非均匀性校正、分焦平面偏振图像超分辨率重建以及偏振图像融合等领域的最新研究成果。在此基础上,对偏振成像的未来发展方向进行了展望,包括高消光比焦平面偏振探测器、分焦平面多光谱偏振探测器、高精度非均匀性校正方法、偏振图超分辨率重建方法以及强度图和偏振度/偏振角图融合方法等。Abstract: Polarization imaging is a new way for photoelectric detection, which provides more one-dimensional information than conventional imaging systems. It has important application in the fields of industrial detection, biomedicine, earth remote sensing, modern military, aerospace and ocean. The typical applications, development history and status of polarization imaging were firstly analyzed and summarized. Then, the current methods of polarization imaging were reviewed. The latest research of polarization characteristics, transmission property, polarization imaging sensors, nonuniformity correction for division-of-focal-plane polarimeters, super resolution restoration for polarization image, and polarization information fusion approaches were introduced. Moreover, the future development direction of polarization imaging was prospected, which including focal plane polarization detector with high extinction ratio, division-of-focal-plane multispectral polarization detector, non-uniformity correction method with high precision, polarization image super resolution restoration method, and polarization information fusion(intensity image, degree of polarization and angle of polarization) so on.
-
表 1 典型偏振成像方法的技术特点[12]
Table 1. Technical characteristics of typical polarization imaging methods[12]
Design features Fabrication–integration
issues, costMisregistration issues Rotating element ● Robust
● Relatively small
● Not suitable for dynamic scenes● Easiest to implement
● Inexpensive● Scene and platform motion
● Beam wander not a problem or removed in software
● Misregistration is linearDivision of amplitude
(multiple FPAs)● Simultaneous acquisition
● Large system size● High mechanical flexibility and rigidity required
● Expensive
● Large● Must register multiple FPAs
● Misregistration can be fixed
● Can be nonlinearDivision of aperture
(single FPA)● Simultaneous acquisition
● Smaller size● Loss of spatial resolution
● Expensive● Fixed misregistration
● Can be nonlinearDivision of focal plane ● Simultaneous acquisition
● Small and rugged
● Loss of spatial resolution● Fabrication difficult
● Alignment difficult
● Very expensive● IFOVs misregistered
● Requires interpolation
● Fixed registrationCoboresighted ● Simultaneous acquisition
● Best used at long ranges● Easy integration
● Expensive● Misregistration not as stable -
[1] Hu Weina, Lü Yong, Geng Rui, et al. Photoelectric detector surface damage state polarization imaging type detection system[J/OL]. (2021-11-08)[2021-12-10]. https://kns.cnki.net/kcms/detail/12.1261.TN.20211105.1439.007.html. (in Chinese) [2] Li Leilei, Huang Haixia, Guo Yang, et al. 3D reconstruction method of target based on infrared radiation polarization imaging [J]. Journal of Infrared and Millimeter Waves, 2021, 40(3): 413-419. (in Chinese) [3] Liu Zhiying, Xiao Shengzhe, Qin Tianxiang. Application of polarization imaging in measurement of optical curvature radius [J]. Journal of Applied Optics, 2021, 42(1): 95-103. (in Chinese) doi: 10.5768/JAO202142.0103001 [4] Xiong Zhihang, Liao Ran, Zeng Yaguang, et al. Rapid identification of metal debris in complicated scenes by using polarization imaging(Invited) [J]. Infrared and Laser Engineering, 2020, 49(6): 20201012. (in Chinese) doi: 10.3788/IRLA20201012 [5] Wang Fangbin, Sun Fan, Zhu Darong, et al. Metal fatigue damage assessment based on polarized thermograph [J]. Acta Optica Sinica, 2020, 40(14): 1412002. (in Chinese) [6] Shen Yuanxing, Yao Yue, He Honghui, et al. Mueller matrix polarimetry: A label-free, quantitative optical method for clinical diagnosis [J]. Chinese Journal of Lasers, 2020, 47(2): 0207001. (in Chinese) [7] Jin Haihong, Qian Lijin, Gao Jun, et al. Polarimetric calculation method of global pixel for underwater image restoration [J]. IEEE Photonics Journal, 2021, 13(1): 1-15. [8] Zhang Zhenglin. Study on infrared polarimetric characteristics of complex target[D]. Nanjing: Nanjing University of Science & Technology, 2020. (in Chinese) [9] Wei Shun. Analysis of infrared polarization imaging characteristics[D]. Xi'an: Xidian University, 2020. (in Chinese) [10] Zhang Yan, Li Jicheng, Wang Shafei, et al. Modeling and quantitative analysis of infrared polarization characteristics [J]. Infrared and Laser Engineering, 2016, 45(6): 0604001. doi: 10.3788/IRLA201645.0604001 [11] Zhang J. Modeling and simulation of polarimetric hyperspectral imaging process [J]. IEEE Transactions on Geoscience & Remote Sensing, 2012, 50(6): 2238-2253. [12] Tyo J S, Goldstein D L, Chenault D B, et al. Review of passive imaging polarimetry for remote sensing applications [J]. Applied Optics, 2006, 45(22): 5453-5469. doi: 10.1364/AO.45.005453 [13] Homma K, Shingu H, Yamamoto H, et al. Application of an imaging spectropolarimeter to agro-environmental sciences[C]//Proc SPIE, Sensors, Systems, and Next-Generation Satellites VII, 2004, 5234: 638-647. [14] Beekman D W, Van A J. Polarization sensitive QWIP thermal imager [J]. Infrared Physics and Technology, 2001, 42(3-5): 323-328. doi: 10.1016/S1350-4495(01)00090-1 [15] Antoni T, Nedelcu A, Marcadet X, et al. High contrast polarization sensitive quantum well infrared photodetectors [J]. Applied Physics Letters, 2007, 90(20): 201107. doi: 10.1063/1.2739408 [16] Kudenov M W, Escuti M J, Dereniak E L, et al. White-light channeled imaging polarimeter using broadband polarization gratings [J]. Applied Optics, 2011, 50(15): 2283-2293. doi: 10.1364/AO.50.002283 [17] Brock N, Kimbrough B T, Millerd J E. A pixelated micropolarizer-based camera for instantaneous interferometric measurements[C]//Proc SPIE, Polarization science and remote sensing V, 2011, 8160: 81600W. [18] Rebhan D, Rosenberger M, Notni G. Principle investigations on polarization image sensors[C]//Proc SPIE, Photonics and Education in Measurement Science 2019, 2019, 11144: 111440A. [19] Garcia M, Edmiston C, Marinov R, et al. Bio-inspired color-polarization imager for real-time in situ imaging [J]. Optica, 2017, 4(10): 1263-1271. doi: 10.1364/OPTICA.4.001263 [20] Garcia M, Davis T, Blair S, et al. Bioinspired polarization imager with high dynamic range [J]. Optica, 2018, 5(10): 1240-1246. doi: 10.1364/OPTICA.5.001240 [21] Ju H, Bai Z, Liang J, et al. Real-time image haze removal using an aperture-division polarimetric camera [J]. Applied Optics, 2017, 56(4): 942-947. doi: 10.1364/AO.56.000942 [22] Zhao Yongqiang, Li Ning, Zhang Peng, et al. Infrared polarization perception and intelligent processing [J]. Infrared and Laser Engineering, 2018, 47(11): 1102001. (in Chinese) doi: 10.3788/IRLA201847.1102001 [23] Li Xue, Shao Xiumei, Li Tao, et al. Developments of short-wave infrared InGaAs focal plane detectors [J]. Infrared and Laser Engineering, 2020, 49(1): 0103006. (in Chinese) doi: 10.3788/IRLA202049.0103006 [24] Bai Caixun. Study of Fourier transform hyperspectral polarization imaging[D]. Nanjing: Nanjing University of Science & Technology, 2019. (in Chinese) [25] Powell S B, Gruev V. Calibration methods for division-of-focal-plane polarimeters [J]. Optics Express, 2013, 21(18): 21039-21055. doi: 10.1364/OE.21.021039 [26] Chen Z, Wang X, Liang R. Calibration method of microgrid polarimeters with image interpolation [J]. Applied Optics, 2015, 54(5): 995-1001. doi: 10.1364/AO.54.000995 [27] Zhang J, Luo H, Hui B, et al. Non-uniformity correction for division of focal plane polarimeters with a calibration method [J]. Applied Optics, 2016, 55(26): 7236-7240. doi: 10.1364/AO.55.007236 [28] Hagen N A, Shibata S, Otani Y. Calibration and performance assessment of microgrid polarization cameras [J]. Optical Engineering, 2019, 58(8): 082408. [29] Zhao F, Wu R, Feng B, et al. Pixel response model for a division of focal plane polarimeter [J]. Applied Optics, 2019, 58(29): 8109-8117. doi: 10.1364/AO.58.008109 [30] Liu Haizheng, Shi Zelin, Feng Bin. Mechanism and calibration of non-uniformity for IR polarization imagery obtained with integrated micro-polarizer array [J]. Optics and Precision Engineering, 2018, 26(2): 480-491. (in Chinese) doi: 10.3788/OPE.20182602.0480 [31] Yin Jiaqi, Wang Shiyong, Zhang Rui, et al. Calibration and non-uniformity correction of near-infrared polarization detector [J]. Journal of Infrared and Millimeter Waves, 2020, 39(2): 235-241. (in Chinese) [32] Wang Detang, Ren Zhigang, Liu Sha, et al. Polarization redundancy estimation scene-based non-uniformity correction algorithm [J]. Journal of Infrared and Millimeter Waves, 2021, 40(6): 878-885. (in Chinese) [33] Gao S, Gruev V. Bilinear and bicubic interpolation methods for division of focal plane polarimeters [J]. Optics Express, 2011, 19(27): 26161-26173. doi: 10.1364/OE.19.026161 [34] Gao S, Gruev V. Gradient-based interpolation method for division-of-focal-plane polarimeters [J]. Optics Express, 2013, 21(1): 1137-1151. doi: 10.1364/OE.21.001137 [35] Ahmed A, Zhao X, Gruev V, et al. Residual interpolation for division of focal plane polarization image sensors [J]. Optics Express, 2017, 25(9): 10651-10662. doi: 10.1364/OE.25.010651 [36] Li N, Zhao Y, Pan Q, et al. Demosaicking DoFP images using Newton’s polynomial interpolation and polarization difference model [J]. Optics Express, 2019, 27(2): 1376-1391. doi: 10.1364/OE.27.001376 [37] Wu Rongyuan, Zhao Yongqiang, Li Ning, et al. Polarization image demosaicking using polarization channel difference prior [J]. Optical Express, 2021, 29(14): 22066-22079. doi: 10.1364/OE.424457 [38] Liu S, Chen J, Xun Y, et al. A new polarization image demosaicking algorithm by exploiting inter-channel correlations with guided filtering [J]. IEEE Transactions on Image Processing, 2020, 29: 7076-7089. doi: 10.1109/TIP.2020.2998281 [39] Zhang J, Luo H, Liang R, et al. Sparse representation-based demosaicing method for microgrid polarimeter imagery [J]. Optics Letters, 2018, 43(14): 3265-3268. doi: 10.1364/OL.43.003265 [40] Zhang J, Shao J, Luo H, et al. Learning a convolutional demosaicing network for microgrid polarimeter imagery [J]. Optics Letters, 2018, 43(18): 4534-4537. doi: 10.1364/OL.43.004534 [41] Zeng X, Luo Y, Zhao X, et al. An end-to-end fully-convolutional neural network for division of focal plane sensors to reconstruct S0, DoLP, and AoP [J]. Optics Express, 2019, 27(6): 8566-8577. doi: 10.1364/OE.27.008566 [42] Wen S, Zheng Y, Lu F, et al. Convolutional demosaicing network for joint chromatic and polarimetric imagery [J]. Optics Letters, 2019, 44(22): 5646-5649. doi: 10.1364/OL.44.005646 [43] Hu H, Lin Y, Li X, et al. IPLNet: A neural network for intensity-polarization imaging in low light [J]. Optics Letters, 2020, 45(22): 6162-6165. doi: 10.1364/OL.409673 [44] Li S, Kang X, Fang L, et al. Pixel-level image fusion: A survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112. doi: 10.1016/j.inffus.2016.05.004 [45] Liu Y, Chen X, Peng H, et al. Multi-focus image fusion with a deep convolutional neural network [J]. Information Fusion, 2017, 36: 191-207. doi: 10.1016/j.inffus.2016.12.001 [46] Li H, Wu X. Densefuse: A fusion approach to infrared and visible images [J]. IEEE Transactions on Image Processing, 2018, 28(5): 2614-2623. [47] Jung H, Kim Y, Jang H, et al. Unsupervised deep image fusion with structure tensor representations [J]. IEEE Transactions on Image Processing, 2020, 29: 3845-3858. doi: 10.1109/TIP.2020.2966075 [48] Xu H, Ma J, Jiang J, et al. U2 fusion: A unified unsupervised image fusion network [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 502-518. doi: 10.1109/TPAMI.2020.3012548