留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

多孔径分布式视场部分重叠仿生热成像理论与技术

罗琳 杨建国 裘溯 金伟其 李力

罗琳, 杨建国, 裘溯, 金伟其, 李力. 多孔径分布式视场部分重叠仿生热成像理论与技术[J]. 红外与激光工程, 2021, 50(5): 20210062. doi: 10.3788/IRLA20210062
引用本文: 罗琳, 杨建国, 裘溯, 金伟其, 李力. 多孔径分布式视场部分重叠仿生热成像理论与技术[J]. 红外与激光工程, 2021, 50(5): 20210062. doi: 10.3788/IRLA20210062
Luo Lin, Yang Jianguo, Qiu Su, Jin Weiqi, Li Li. Theory and technology of bionic thermal imaging with multi-aperture distributed and partially overlapped field of view[J]. Infrared and Laser Engineering, 2021, 50(5): 20210062. doi: 10.3788/IRLA20210062
Citation: Luo Lin, Yang Jianguo, Qiu Su, Jin Weiqi, Li Li. Theory and technology of bionic thermal imaging with multi-aperture distributed and partially overlapped field of view[J]. Infrared and Laser Engineering, 2021, 50(5): 20210062. doi: 10.3788/IRLA20210062

多孔径分布式视场部分重叠仿生热成像理论与技术

doi: 10.3788/IRLA20210062
基金项目: 国家自然科学基金面上项目(61871034);装备预研航天科工联合基金(6141B07090112);装备预研兵器工业联合基金(6141B012873)
详细信息
    作者简介:

    罗琳,女,博士生,主要研究方向为光电成像与检测、光电图像处理技术

    金伟其,男,教授,博士生导师,主要从事夜视与红外技术、光电图像处理、光电检测与仪器等方面的研究

    通讯作者: 裘溯,男,讲师,硕士生导师,博士,主要从事微光与红外技术、数字图像处理等方面的研究。
  • 中图分类号: TH703;TP391

Theory and technology of bionic thermal imaging with multi-aperture distributed and partially overlapped field of view

  • 摘要: 热成像系统视场与空间分辨率(作用距离)的矛盾是常规成像模式难以解决的问题。多孔径热成像技术主要分为低重叠率、高重叠率和中度重叠率部分重叠成像模式。文中研究了一种视场部分重叠仿生热成像理论,利用4组红外物镜及IRFPA机芯构成了中心变分辨率4孔径分布式热成像系统,各子孔径的“并集”视场构成系统成像大视场,“交集”视场特别是中心重叠视场具有超分辨能力,从而构成空间变分辨率视觉模式,可减缓传统单孔径热成像问题;利用重叠视场可构成4目和2目近场目标场景的体视成像;通过子孔径检偏偏振片,中心视场可构成全偏振热成像模式;对角探测器分别采用长波或中波红外焦平面探测器,则可构成双色热成像模式。分析表明:这种多孔径分布式视场部分重叠仿生热成像具有仿生智能的特性,可针对感兴趣目标进行智能观测,提高复杂背景条件下的目标探测和识别能力,具有广泛的应用前景。
  • 图  1  视场重叠率的变化

    Figure  1.  Variation of FOV overlapping rate

    图  2  4孔径分布式视场部分重叠系统

    Figure  2.  4-aperture distributed system with partially- overlapped-FOV

    图  3  4孔径视场重叠示意

    Figure  3.  Illustration of 4-aperture overlapped FOV

    图  4  非制冷IRFPA组件TC790

    Figure  4.  Uncooled IRFPA module TC790

    图  5  数字视频FPGA处理板

    Figure  5.  Digital video processing board with FPGA

    图  6  4孔径分布式仿生热成像实验系统

    Figure  6.  4-aperture distributed bionic imaging test system

    图  7  高分辨成像的实现

    Figure  7.  Realization of high resolution imaging

    图  8  目标运动时其在子孔径视场中的运动

    Figure  8.  Displacement of the target in the subaperture FOV during its movement

    图  9  偏振方向与偏振成像

    Figure  9.  Polarization direction and polarization imaging

    图  10  中波红外非制冷成像的图像

    Figure  10.  Image of MW uncooled infrared imaging

    图  11  4孔径分布式仿生热成像系统的原始图像。 (a) 子孔径1;(b) 子孔径2;(c) 子孔径3;(d) 子孔径4

    Figure  11.  Original images collected by 4-aperture distributed bionic thermal imaging. (a) Sub-aperture 1; (b) Sub-aperture 2; (c) Sub-aperture 3; (d) Sub-aperture 4

    图  12  4孔径分布式仿生热成像大视场拼接图像

    Figure  12.  Stitched image with large FOV for 4-aperture distributed bionic thermal imaging

  • [1] 白廷柱, 金伟其. 光电成像原理与技术[M]. 北京: 北京理工大学出版社, 2006.
    [2] Keith Lewis. Systems for persistent surveillance[C]//SPIE, 2011, 8165: 816514.
    [3] Slinger C W, Bennett C R, Dyer D, et al. An adaptive coded aperture imager: building, testing and trialing a super-resolving terrestrial demonstrator[C]//Proc of SPIE, 2011, 8165: 816511.
    [4] Mark Hewish. Passive target detection for air combat gathers pace-performance enhancements in infrared search and track systems [J]. International Defense Review, 1998(2): 32-37.
    [5] Mark Hewish. Moderating MAN PAPS mean streak-aircraft strive for increased awareness of IR missile attack [J]. International Defense Review, 1998(3): 50-57.
    [6] 张渊. 分布孔径红外系统及其新进展[J]. 科技咨询导报, 2007, 14(18): 8-12.
    [7] Laycock Leslie, Handerek Vincent. Multiple-aperture imaging device for airborne platforms[C]//Electro-Optical and Infrared Systems: Technology and Applications IV, SPIE, 2007, 6737: 1-11.
    [8] Laycock Leslie, Handerek Vincent. Miniature imaging devices for airborne platforms[C]//Electro-Optical and Infrared Systems: Technology and Applications V, SPIE, 2008, 7113: 1-9.
    [9] Duparre J, Dannberg P, Schreiber P, et al. Micro-optically fabricated artificial apposition compound eye[C]//SPIE, 2004, 5301: 25-33.
    [10] Afshari Hossein, Popovic Vladan, Tasci Tugce, et al. A spherical multi-camera system with real-time omnidirectional video acquisition capability [J]. IEEE Transactions on Consumer Electronics, 2012, 58(4): 1110-1118. doi:  10.1109/TCE.2012.6414975
    [11] Song Young Min, Xie Yizhu, Malyarchuk Viktor, et al. Digital cameras with designs inspired by the arthropod eye [J]. Nature, 2013, 497(7447): 95-99. doi:  10.1038/nature12083
    [12] Shankar M, Willett R, Pitsianis N, et al. Ultra-thin multiple-channel LWIR imaging systems[C]//Proc of SPIE, 2006, 6294: 629411.
    [13] Shankar M, Willett R, Pitsianis N, et al. Thin infrared imaging systems through multichannel sampling [J]. Applied Optics, 2008, 47(10): B1-B10.
    [14] Carles G, Muyo G, Bustin N, et al. Multi-aperture imaging in the visible and thermal infrared[C]//Imaging and Applied Optics, 2013: CM3C. 3.
    [15] Harvey Andrew R, Carles Guillem, Cowan Laura, et al. The simplicity, complexity, and benefits of multi-aperture imaging in the thermal infrared[C]//Proc of SPIE, Emerging Imaging and Sensing Technologies for Security and Defence II, 2017, 10438: 1043806.
    [16] Qiu Su, Ni Yu, Jin Weiqi, et al. FOV modeling of multi-aperture superposition compound eye based on micro-surface fiber faceplate [J]. Optics and Precision Engineering, 2015, 23(11): 2018-3025. (in Chinese)
    [17] 金伟其, 王霞, 罗琳, 等. 一种多孔径变空间分辨率仿生热成像方法与装置: 中国, CN108965678A[P]. 2018-12-07.
    [18] 金伟其, 罗琳, 裘溯, 等. 一种多孔径视场部分重叠的偏振热成像方法与装置: 中国, CN109164463A[P]. 2019-01-08.
    [19] 金伟其, 李力, 罗琳, 等. 多孔径视场部分重叠的双波段热成像方法与装置: 中国, CN109163809A[P]. 2019-01-08.
  • [1] 李硕, 王纪强, 高忠国, 高建新, 侯泽民, 姜龙, 侯墨语.  基于拉曼信号分段重构的分布式光纤测温空间分辨率提升研究 . 红外与激光工程, 2023, 52(10): 20230076-1-20230076-6. doi: 10.3788/IRLA20230076
    [2] 谭伊玫, 张硕, 罗宇宁, 郝群, 陈梦璐, 刘雁飞, 唐鑫.  640×512规模碲化汞量子点中波红外焦平面阵列(特邀) . 红外与激光工程, 2023, 52(7): 20230377-1-20230377-7. doi: 10.3788/IRLA20230377
    [3] 党诗沛, 李润泽, 周美玲, 千佳, 但旦, 于湘华, 姚保利.  显微成像系统分辨率问题讨论(特邀) . 红外与激光工程, 2022, 51(11): 20220735-1-20220735-8. doi: 10.3788/IRLA20220735
    [4] 李文轩, 胡源, 张凯, 秦铭泽, 袁夕尧, 刘天赐, 骆强.  仿生复眼系统的视场重叠率 . 红外与激光工程, 2021, 50(9): 20200435-1-20200435-8. doi: 10.3788/IRLA20200435
    [5] 高晔, 周军, 郭建国, 冀华.  红外成像制导导弹分布式协同制导律研究 . 红外与激光工程, 2019, 48(9): 904007-0904007(9). doi: 10.3788/IRLA201948.0904007
    [6] 程少园, 杨沐, 姜宏佳, 高凌雁, 付强强.  超敏捷动中成像高分辨率遥感卫星成像理论分析 . 红外与激光工程, 2019, 48(11): 1125002-1125002(7). doi: 10.3788/IRLA201948.1125002
    [7] 张爱武, 张希珍, 赵江华.  斜模超分辨率成像最佳角度 . 红外与激光工程, 2019, 48(8): 826001-0826001(7). doi: 10.3788/IRLA201948.0826001
    [8] 张文辉, 曹良才, 金国藩.  大视场高分辨率数字全息成像技术综述 . 红外与激光工程, 2019, 48(6): 603008-0603008(17). doi: 10.3788/IRLA201948.0603008
    [9] 吴谨, 赵志龙, 白涛, 李明磊, 李丹阳, 万磊, 唐永新, 刁伟伦.  差分合成孔径激光雷达高分辨率成像实验 . 红外与激光工程, 2018, 47(12): 1230003-1230003(7). doi: 10.3788/IRLA201847.1230003
    [10] 袁影, 王晓蕊, 吴雄雄, 穆江浩, 张艳.  多孔径压缩编码超分辨率大视场成像方法 . 红外与激光工程, 2017, 46(8): 824001-0824001(7). doi: 10.3788/IRLA201746.0824001
    [11] 王新伟, 刘晓泉, 游瑞蓉, 范松涛, 何军, 周燕.  距离选通超分辨率三维成像及其应用 . 红外与激光工程, 2016, 45(8): 824001-0824001(8). doi: 10.3788/IRLA201645.0824001
    [12] 游瑞蓉, 王新伟, 周燕.  水下距离选通成像多分辨率爬山自动聚焦法 . 红外与激光工程, 2016, 45(7): 726003-0726003(6). doi: 10.3788/IRLA201645.0726003
    [13] 胡斌, 黄颖, 马永利, 李岩.  高分辨率红外成像仪五反无焦主系统设计 . 红外与激光工程, 2016, 45(5): 518001-0518001(5). doi: 10.3788/IRLA201645.0518001
    [14] 唐禹, 秦宝, 晏芸, 汪路锋, 邢孟道.  多发多收合成孔径激光雷达高分辨率宽测绘带成像 . 红外与激光工程, 2016, 45(8): 830001-0830001(8). doi: 10.3788/IRLA201645.0830001
    [15] 张洪建, 韦宏艳, 贾锐, 程玲.  斜程大气湍流中成像系统分辨率的影响因素研究 . 红外与激光工程, 2015, 44(5): 1569-1573.
    [16] 刘永华, 祖成奎, 赵华, 王琪, 王衍行, 韩滨, 赵慧峰, 金扬利.  红外热成像系统用硫系玻璃的熔制技术 . 红外与激光工程, 2015, 44(5): 1472-1476.
    [17] 吴谨, 李斐斐, 赵志龙, 杨兆省, 王东蕾, 唐永新, 苏园园, 梁娜.  条带模式合成孔径激光雷达不依赖PGA的高分辨率成像演示 . 红外与激光工程, 2014, 43(11): 3559-3564.
    [18] 张月, 王超, 苏云, 焦建超.  地球静止轨道甚高分辨率成像系统热控方案 . 红外与激光工程, 2014, 43(9): 3116-3121.
    [19] 陈艳菲, 王利恒, 王洪伟.  估算红外成像作用空间分辨率的新方法 . 红外与激光工程, 2014, 43(1): 33-38.
    [20] 李伟雄, 闫得杰, 王栋.  高分辨率空间相机俯仰成像的像移补偿方法 . 红外与激光工程, 2013, 42(9): 2442-2448.
  • 加载中
图(12)
计量
  • 文章访问数:  327
  • HTML全文浏览量:  144
  • PDF下载量:  97
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-01-24
  • 修回日期:  2021-04-12
  • 网络出版日期:  2021-05-21
  • 刊出日期:  2021-05-21

多孔径分布式视场部分重叠仿生热成像理论与技术

doi: 10.3788/IRLA20210062
    作者简介:

    罗琳,女,博士生,主要研究方向为光电成像与检测、光电图像处理技术

    金伟其,男,教授,博士生导师,主要从事夜视与红外技术、光电图像处理、光电检测与仪器等方面的研究

    通讯作者: 裘溯,男,讲师,硕士生导师,博士,主要从事微光与红外技术、数字图像处理等方面的研究。
基金项目:  国家自然科学基金面上项目(61871034);装备预研航天科工联合基金(6141B07090112);装备预研兵器工业联合基金(6141B012873)
  • 中图分类号: TH703;TP391

摘要: 热成像系统视场与空间分辨率(作用距离)的矛盾是常规成像模式难以解决的问题。多孔径热成像技术主要分为低重叠率、高重叠率和中度重叠率部分重叠成像模式。文中研究了一种视场部分重叠仿生热成像理论,利用4组红外物镜及IRFPA机芯构成了中心变分辨率4孔径分布式热成像系统,各子孔径的“并集”视场构成系统成像大视场,“交集”视场特别是中心重叠视场具有超分辨能力,从而构成空间变分辨率视觉模式,可减缓传统单孔径热成像问题;利用重叠视场可构成4目和2目近场目标场景的体视成像;通过子孔径检偏偏振片,中心视场可构成全偏振热成像模式;对角探测器分别采用长波或中波红外焦平面探测器,则可构成双色热成像模式。分析表明:这种多孔径分布式视场部分重叠仿生热成像具有仿生智能的特性,可针对感兴趣目标进行智能观测,提高复杂背景条件下的目标探测和识别能力,具有广泛的应用前景。

English Abstract

    • 常规的光电成像系统大多为单目成像模式,有限的探测器阵列在视场内均匀分布,造成成像视场与分辨率的相互限制,特别是目前IRFPA相对可见光成像探测器的规模小得多[1],系统作用距离与成像视场的矛盾更为突出。此外,单目视觉欠缺运动目标空间定位、快速跟踪和偏振探测识别等智能特征。因此,新型多孔径分布式仿生热成像视觉成为人们关注的技术途径。

      按照子孔径视场重叠程度,仿生复眼成像模式大致可分为3类:

      (1)低重叠率成像模式:主要完成大视场警戒搜索任务,典型研究有美国DARPA启动的大覆盖范围光学边搜索边跟踪和攻击(LACOSTE)项目[2-3],能实现宽瞬时观察视场(近90°锥角),在大覆盖范围(大约500 km2)内实现高分辨率;Northrop Grumman公司为美国联合攻击战斗机F-35开发的多功能红外分布孔径系统(MIDAS)−(DAS) AN/AAQ-37[4-5],采用6个覆盖60°×60°视场小拱形红外传感器,探测器阵列1000×1000 Pixel;美国海军新一代海军舰载红外搜索与跟踪系统的分布孔径传感器[6],包括3个5∶1方位比的中波红外焦平面阵列(2560×512)和2.56∶1方位比的非对称光学系统的全凝视传感器,总的非对称比为12.8∶1。英国Qineti Q公司、Thales光电公司和Thales光学公司为英国海军研制的多孔径中波红外搜索与跟踪系统演示验证样机[6]

      (2)高重叠率成像模式:主要实现高分辨/超分辨成像,典型的研究有:2000年日本Jun Tanida等提出的基于蜻蜓复眼结构的TOMBO复眼成像系统[7-8],所有通道几乎同时观察目标的同一部分,对每个通道的低分辨率图像,最后通过超分辨率图像复原等方法实现目标像的超分辨重建;2007年英国BAE系统公司提出一种实用的仿昆虫复眼成像系统[9]—微型多孔径复眼摄像组件,120°大视场清晰图像,且由空间部分重叠区域可实现双目/多目视觉的距离判断,快速地获得距离信息; 2012年瑞士联邦理工学院研制出全景相机[10],相机由100个镜头和独立的CMOS成像传感器组成,分布在13 cm的半径上,可获得分辨率为1024×256的全景图像;2013年伊利诺大学John Rogers等受蜜蜂和苍蝇复眼结构的启发,设计的 “复眼”数码相机[11],相机半球状排列了180个显微透镜,具有160°视野,这种复眼相机的分辨率相当于火蚁或者树皮甲虫,可用于一些特殊行业以及科学研究领域;2006年杜克大学D. J. Brady[12-13]等研究的超薄多孔径(3×3)红外成像系统,合成图像的分辨率相当于焦距5.7 mm,总长度26 mm的传统红外成像系统图像质量;2013年格拉斯哥大学G Carlesp[14]等设计出的3×3多孔径复眼红外成像系统,每个低分辨率图像像素为213×213像素,重建图像类似于639×639像素的探测器分辨率;2017年格拉斯哥大学Andrew R. Harvey[15]等研究了多相机热成像系统,使用标准倾斜边缘方法得到系统空间频率响应进而由超分辨率增强了图像质量。

      (3)中度视场重叠成像模式:目前对此类成像模式的研究较少,笔者所在团队关注到此模式可实现多种仿生复眼特性,从2012年开始基于微端面光纤面板的多孔径可见光仿生复眼成像理论和方法研究[16],设计了切角40°和20°的微端面光锥/光纤面板,搭建了基于单个成像传感器的9眼视场部分重叠仿生复眼成像实验系统,实现了9复眼成像及大视场图像拼接,并可实现多种仿生复眼特性。

      为实现类似的仿生复眼热成像模式,借鉴了中度视场重叠可见光成像的效果,研究提出了多孔径分布式仿生复眼热成像模式[17-19],文中主要介绍相应的成像原理,分析可实现的仿生复眼热成像功能及特点。

    • 多孔径仿生热成像技术是当前迅速发展的新型成像模式,可望解决或减缓传统单孔径热成像的诸多问题:(1)大视场与高分辨率的矛盾;(2)衍射限系统的小型化问题;(3)单孔径成像未发挥光学并行处理;(4)成像过程丢失景物三维信息问题;(5)缺乏生物视觉对运动物体的自身检测、跟踪和判断能力。因此,笔者所在团队力图在这些方面有所进展。

    • 视场重叠率描述仿生复眼相邻子眼之间视场区域的重叠程度。对于子眼视场相同的情况,视场重叠率对各子眼是相同的,但不排除在一些特殊的仿生复眼中采用不同子眼视场设计。

      图1所示,文中采用相同子眼视场的设计,且视场重叠沿水平和垂直方向进行,按照重叠程度大致分为高、中和低三种模式。其中低重叠率侧重于大视场成像,考虑到视场拼接的冗余,低重叠率需要一定的视场重叠;高重叠率侧重于视场重叠区域的高分辨或超分辨成像,因为子眼探测器的空间布局可能存在一些错位,在多子眼相邻条件下难以达到100%的视场重叠。中视场重叠是介于高和低视场重叠的一个视场重叠范围,其侧重点同时包含重叠与非重叠视场区域。

      图  1  视场重叠率的变化

      Figure 1.  Variation of FOV overlapping rate

    • 笔者所在团队设计的多孔径分布式视场部分重叠仿生热成像采用视轴具有一定倾斜的4个子孔径热成像分布排列,子孔径的各子视场之间具有部分重叠区域,构成如图2所示的4孔径分布式视场部分重叠热成像模式。

      图  2  4孔径分布式视场部分重叠系统

      Figure 2.  4-aperture distributed system with partially- overlapped-FOV

      图3给出了视场重叠率50%时的视场重叠及分布示意图。整个大视场分为了中心、上下左右和对角等3类共9个分视场。中心视场重叠数为4,上下左右视场重叠数为2,对角视场重叠数为1,从而衍生出不同的智能视觉模式和特色。

      图  3  4孔径视场重叠示意

      Figure 3.  Illustration of 4-aperture overlapped FOV

    • 按照以上基本思想,笔者所在团队研制了一个4孔径分布式仿生热成像实验系统,采用浙江红相科技有限公司非晶硅非制冷IRFPA组件TC790 (见图4,640×480, 17 μm,NETD=60 mK,帧频50 Hz,CL数字视频输出)+红外物镜(焦距19 mm,F=1),数字视频图像处理板采用自研制的FPGA处理板(见图5,4路CL数字视频输入,2路CL数字视频输出),按照图2设计多孔径热成像组件支架(其中为后续研究微位移成像方法,在每个组件支架上均连接二维微位移调控台,故体积略显大,若去除位移平台,则孔径不超过Φ180 mm),构成视场部分重叠的多孔径变空间分辨率热成像实验系统如图6所示。

      图  4  非制冷IRFPA组件TC790

      Figure 4.  Uncooled IRFPA module TC790

      图  5  数字视频FPGA处理板

      Figure 5.  Digital video processing board with FPGA

      图  6  4孔径分布式仿生热成像实验系统

      Figure 6.  4-aperture distributed bionic imaging test system

      按照IRFPA组件及红外物镜厂家资料,对于19 mm焦距红外物镜,系统成像视场32°×24°,对人(1.8 m×0.5 m)的探测距离约640 m,识别距离约160 m;对车辆(2.3 m×2.3 m)的探测距离约1 950 m,识别距离约500 m。构成多孔径视场部分重叠热成像系统后,系统成像视场48°×36°,其中中心视场约16°×12°,通过变空间分辨率图像处理,中心视场预期探测/识别距离可提高到120%。

    • 在以上实验系统基础上,通过适当的硬件添置和处理算法,可以实现诸多仿生复眼的特色成像模式和智能处理功能。

    • 图7所示,将4个子孔径的“并集”视场进行视场拼接,可构成系统成像大视场,获得了比单个子孔径更大的成像视场。同时4个子孔径的“交集”视场构成系统的重叠视场区域,由于子孔径之间难免存在亚像素微位移(实验系统中可利用微位移平台作调整),在中心视场区域可利用4个子视场重叠区域图像进行亚像元和超分辨图像重构。同理,上下左右视场区域可构成一维亚像元或超分辨成像,一维线性插值;四角视场区域则可采用二维插值放大图像。由此可构成类似人眼视轴中心高分辨,周边大视场搜索的成像模式。这是复眼成像的特色模式,可用于多种应用。

      图  7  高分辨成像的实现

      Figure 7.  Realization of high resolution imaging

    • 分布式多孔径视场部分重叠仿生热成像的中心视场区域构成视轴偏离的4目立体视觉,其近场3D成像效果优于双目立体视觉,即利用双孔径或4孔径子视场重叠图像信息重构出目标的三维空间信息,弥补传统光学系统对深度信息丢失的缺陷,实现空间目标的测距和空间定位。这也是仿生复眼的特色成像模式,可用于近程引信、紧凑型立体视觉系统等。

    • 图8所示,当目标具有运动特性时,即目标角度、位置、距离、方向发生变化,其在各子孔径视场中的映射信息也将发生变化。当目标沿一定轨迹运动时,在不同子视场中出现和消失的顺序将具有一定的规律性。根据目标在不同子视场中出现和消失的顺序,通过对复眼成像的人工智能图像处理,可形成对目标运动方向、位置的快速判断和锁定,实现目标的智能跟踪。这是仿生复眼的特色智能处理功能。

      图  8  目标运动时其在子孔径视场中的运动

      Figure 8.  Displacement of the target in the subaperture FOV during its movement

    • 不同子孔径获取不同偏振方向的场景信息,可构成多孔径偏振热成像模式。通常为了获得完整的场景偏振信息,需要三四个偏振方向相差一定角度的检偏图像。偏振信息在导航以及目标识别方面具有独特的优势,也是一些典型昆虫复眼的重要特征。

      图9所示的1种偏振成像模式,设计其中1个子孔径无偏,另外3个子孔径偏振方向相差60°,则在中心视场可解出完整的目标场景偏振度和偏振角图像;而在其他视场区域,可部分解出目标场景的偏振图像。

      图  9  偏振方向与偏振成像

      Figure 9.  Polarization direction and polarization imaging

    • 在不同子孔径设置不同波段的探测器场可构成多孔径多波段热成像模式,通常,可设置为短波、中波及长波红外波段。通过不同波段信息的互补以及相互印证,获得更丰富准确的场景和目标信息,增强对场景理解。这是仿生复眼的特色智能处理功能。

      目前非制冷IRFPA的响应波段已拓展到3~14 μm,并在3~5 μm的中波红外波段也有较好的成像质量(见图10),因此,在实验系统的两个对角孔径上分别设置中波和长波IRFPA探测器,可在中心视场构成双波段、立体高分辨的热成像模式,在上下左右视场则为双波段热成像模式,通过双波段红外图像融合处理,增加场景的多波段信息及目标探测和识别的能力。

      图  10  中波红外非制冷成像的图像

      Figure 10.  Image of MW uncooled infrared imaging

    • 在4孔径视场部分重叠热成像系统中,各子孔径的光轴呈发散状态,上下左右探测器的视场存在约50%的重叠率,各子孔径图像对应的空间点表现为中心对称,且在视场重叠区域目标位置的变化总存在探测器成像位置的差异。

      经测试可得4孔径分布式仿生热成像实验系统实际的总视场大小为48.0°×36.5°,中心视场为15.9°×12°,系统采集的图像如图11所示。

      图  11  4孔径分布式仿生热成像系统的原始图像。 (a) 子孔径1;(b) 子孔径2;(c) 子孔径3;(d) 子孔径4

      Figure 11.  Original images collected by 4-aperture distributed bionic thermal imaging. (a) Sub-aperture 1; (b) Sub-aperture 2; (c) Sub-aperture 3; (d) Sub-aperture 4

    • 由于各子孔径图像成像特点,在对子孔径的“并集”视场拼接成大视场前需要进行视场的投影和平移变换。

      针对4孔径视场部分重叠热成像系统多视轴呈一定夹角的大视场特点,充分利用系统设计的先验条件,采用SIFT算法进行了图像的旋转、平移和投影变换,实现了大视场拼接,并在图像采集软件的SDK端进行了处理,实现了大视场拼接的准实时化,帧频为25 Hz。

      在图像拼接阶段所采取的拼接策略是:已配准的各子孔径图像,乘以权重再相加求和,实现图像融合拼接。对于各子孔径的图像,在重叠区域具有相同的融合权重,且权重和为1。这样设置的融合权重保证了各子孔径图像对最终融合图像的贡献都是平等的,且最终融合图像的像素值与各子孔径保持相同数量级,且避免在各不同重叠度区域加入新的不均匀因素。

      具体步骤为:选取其中1个子孔径图像为基准,对于基准图像上某点P,视场重叠子孔径为N (N≤4)个;则子孔径nP点的权重${W_n}$为:

      $${W_n} = {1/N}$$ (1)
      $$\sum\limits_{i = 1}^N {{W_n}} = 1$$ (2)

      P点经过拼接处理后的像素值$\overline I $为:

      $$\overline I = \sum\limits_{i = 1}^N {{W_n}{I_n}} $$ (3)

      式中:${I_n}$为重叠子孔径n经配准后在P点的灰度。

      大视场拼接图像如图12所示。子孔径之间存在一些拼接缝痕迹,主要是因为4个独立的红外探测器响应存在一定差异及在图像投影变换时对边界像素处理引入像素偏差,通过探测器的先行标定处理及进一步的算法处理可消除。

      图  12  4孔径分布式仿生热成像大视场拼接图像

      Figure 12.  Stitched image with large FOV for 4-aperture distributed bionic thermal imaging

    • 多孔径分布式视场部分重叠仿生热成像采用视轴具有一定倾斜的4个子孔径热成像分布排列,可实现诸多仿生复眼的特色成像模式和智能处理功能,解决或减缓传统单孔径热成像存在的一些缺陷:

      (1)实现系统大视场及高分辨成像,构成类似人眼中心高分辨率成像,周边大视场搜索的变空间分辨率视觉模式;

      (2)多目立体视觉获取空间深度感觉,获得类似昆虫近场目标空间定位及快速检测能力;

      (3)偏振成像实现对场景和目标特有信息的理解,提高场景和目标的探测和识别能力;

      (4)双波段热成像获取景物更丰富互补的信息,提高复杂背景下对目标的识别能力。

      多孔径分布式仿生热成像可为新型热成像理论和技术的发展提供技术途径,是未来光电成像的重要发展方向,在制导、导航和观瞄等方面具有广泛的应用前景。

参考文献 (19)

目录

    /

    返回文章
    返回