Volume 51 Issue 5
Jun.  2022
Turn off MathJax
Article Contents

Song Yanfeng, Hao Qun, Cao Jie, Liu Hao, Liu Qianghui, Li Jie. Research and development of Wide-Field-of-View bionic compound eye photoelectric imaging detection technology[J]. Infrared and Laser Engineering, 2022, 51(5): 20210593. doi: 10.3788/IRLA20210593
Citation: Song Yanfeng, Hao Qun, Cao Jie, Liu Hao, Liu Qianghui, Li Jie. Research and development of Wide-Field-of-View bionic compound eye photoelectric imaging detection technology[J]. Infrared and Laser Engineering, 2022, 51(5): 20210593. doi: 10.3788/IRLA20210593

Research and development of Wide-Field-of-View bionic compound eye photoelectric imaging detection technology

doi: 10.3788/IRLA20210593
Funds:  National Natural Science Foundation of China (61811031,61875012);Beijing Natural Science Foundation(4222017);Foundation Strengthening Project(2019-JCJQ-JJ-273)
  • Received Date: 2021-08-23
  • Rev Recd Date: 2021-11-08
  • Publish Date: 2022-06-08
  • A multimode, small, Wide-Field-of-View, lightweight, low-cost photodetector is the key to develop the next generation precision-guided munitions. As one of the important representatives, the Wide-Field-of-View photoelectric detection system based on artificial compound eye has been highly valued by the U.S. Air Force. Through a number of innovative research projects, the U.S. military expects to develop a multi-aperture Wide-Field-of-View artificial compound eye photodetector, which can be used for autonomous guided munitions and strengthen the environmental perception, penetration and confrontation ability, and combat effectiveness of the next generation of precision guided munitions. The development requirements of precision guided munitions, as well as the structure and characteristics of compound eye, were briefly described. The application expectations and assumptions of artificial compound eye in precision-guided weapons in the U.S. military were introduced. The advantages of artificial compound eye in urban combat weapons and equipment were briefly discussed. The progress of foreign artificial compound eye in infrared precision-guided munitions was discussed, as well as the research and development process. The application progress of foreign artificial compound eye in semi-active laser-guided munitions was described. Finally, the research suggestions on the application of artificial compound eye in precision-guided weapons and equipment were given.
  • [1] Han Lei, Pang Yanke, Cao Yu, et al. Application and development tendency of precise attack technology in information-based warfare [J]. Acta Armamentarii, 2010, 31(S2): 75-78. (in Chinese)
    [2] Luo Chenggao, Deng Bin, Cheng Yongqiang, et al. Advanced imaging and detecting technology for precision guidance [J]. Journal of National University of Defense Technology, 2019, 41(5): 174-184. (in Chinese)
    [3] Bai Xiaoye, Zhang Jianyu. Development trend and analysis of foreign EO countermeasure technology [J]. Ship Electronic Engineering, 2020, 40(6): 13-17. (in Chinese)
    [4] Song Chuang, Jiang Peng, Duan Lei, et al. Application research of new photoelectric detection technology on precision guided weapons [J]. Infrared and Laser Engineering, 2020, 49(6): 20201015. (in Chinese)
    [5] Zuo Wei, Zhou Bohua, Li Wenzhu. Analysis of development of multi-mode and compound precision guidance technology [J]. Air & Space Defense, 2019, 2(3): 44-52. (in Chinese) doi:  10.3969/j.issn.2096-4641.2019.03.008
    [6] 李言俊, 张科. 视觉仿生成像制导技术及应用[M]. 北京: 国防工业出版社, 2011: 19.

    Li Yanjun, Zhang Ke. Vision Bionics Image Guidance Technique and Application [M]. Beijing: National Defence Industry Press, 2011. (in Chinese)
    [7] Fu Yuegang, Zhao Yu, Liu Zhiying, et al. Design of compact bionic compound eye optical system used for target identification. [J]. Infrared and Laser Engineering, 2017, 46(6): 0602001. (in Chinese)
    [8] Hu Jiangtao, Huang Feng, Zhang Chu, et al. Research status of super resolution reconstruction based on compound-eye imaging technology [J]. Laser Technology, 2015, 39(4): 492-496. (in Chinese)
    [9] Cao Jie, Hao Qun, Zhang Fanghua, et al. Research progress of bio-inspired retina-like imaging [J]. Infrared and Laser Engineering, 2020, 49(8): 20201026. (in Chinese) doi:  10.3788/IRLA20201026
    [10] USAF provides additional funding for WFOV seeker programme [EB/OL]. (2015-03-08). [2022-05-01]. https://www.airforce-technology.com/uncategorised/newsusaf-provides-additional-funding-for-wfov-seeker-programme-4527274/.
    [11] SPILAB. Artificial compound eyes camera [EB/OL]. [2022-05-01]. http://spilab.com/binocular_camera.html.
    [12] Luminit. Sensors-Research & Development. Compound Eye Laser Missile Seeker [EB/OL]. [2022-05-01]. http://www.luminitrd.com/Sensors.html.
    [13] FPO. Compound Eye Laser Tracking Device [EB/OL]. [2022-05-01]. https://www.freepatentsonline.com/y2016/0291115.html.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(8)

Article Metrics

Article views(399) PDF downloads(96) Cited by()

Related
Proportional views

Research and development of Wide-Field-of-View bionic compound eye photoelectric imaging detection technology

doi: 10.3788/IRLA20210593
  • 1. School of Optics and Photonics, Beijing Institute of Technology, Beijing 100081, China
  • 2. Xi’an Modern Control Technology Research Institute, Xi’an 710065, China
Fund Project:  National Natural Science Foundation of China (61811031,61875012);Beijing Natural Science Foundation(4222017);Foundation Strengthening Project(2019-JCJQ-JJ-273)

Abstract: A multimode, small, Wide-Field-of-View, lightweight, low-cost photodetector is the key to develop the next generation precision-guided munitions. As one of the important representatives, the Wide-Field-of-View photoelectric detection system based on artificial compound eye has been highly valued by the U.S. Air Force. Through a number of innovative research projects, the U.S. military expects to develop a multi-aperture Wide-Field-of-View artificial compound eye photodetector, which can be used for autonomous guided munitions and strengthen the environmental perception, penetration and confrontation ability, and combat effectiveness of the next generation of precision guided munitions. The development requirements of precision guided munitions, as well as the structure and characteristics of compound eye, were briefly described. The application expectations and assumptions of artificial compound eye in precision-guided weapons in the U.S. military were introduced. The advantages of artificial compound eye in urban combat weapons and equipment were briefly discussed. The progress of foreign artificial compound eye in infrared precision-guided munitions was discussed, as well as the research and development process. The application progress of foreign artificial compound eye in semi-active laser-guided munitions was described. Finally, the research suggestions on the application of artificial compound eye in precision-guided weapons and equipment were given.

    • 随着信息技术的快速发展和应用,军队的作战方式和作战手段也在发生演变,信息化战争将成为未来战争的基本形态。精确制导武器作为信息化武器的重要代表逐步上升为战略威慑力量 [1-2] 。然而,攻防技术的快速发展使得武器系统间的攻防对抗更加激烈,武器系统与战场环境的交互更加频繁,这就要求武器系统的复杂战场环境感知能力和突防对抗能力显著提高。因此,未来的精确制导武器不仅要“看”的远、“看”的准,还需要看的“广”,能在复杂战场环境下对弱、小、多、高速机动、伪装目标可靠捕获和稳定跟踪,具备目标关键部位精确选择和精确命中能力等[3-5]

      图1所示,在自然界中,昆虫的复眼作为一种特殊的光学系统,由成千上万个结构相同的子眼均匀排列在曲面上,视场范围最大可以达到360°;同时,可以实现对视场范围内的目标进行高分辨成像,子眼数目越多,空间分辨率也越高。另外,昆虫的复眼也是一个精巧的导航控制系统和高效的信息加工系统,能够在快速飞行的过程中实时分析和处理获取的场景和目标图像信息,全方位探测、定位、跟踪或截击正在飞行的目标,不仅能有效获取目标的外形大小,还能检测目标的距离和运动轨迹,并防止跟踪目标的丢失[6]。因此,复眼特殊的成像机制和信息处理机制为精确制导武器解决大视场条件下的目标高分辨探测、识别和跟踪问题提供了优良的解决途径[7-9]

      Figure 1.  Compound eye of insects

    • 美军很早之前就已经开始对仿生复眼技术进行研究,并期望最终发展出多通道大视场 (Wide-Field-of-View,WFOV)光学系统,进而用于自主式制导弹药。美国空军研究实验室(Air Force Research Laboratory,AFRL)弹药处提出对先进仿生制导、导航与控制技术进行研究,并希望最终研制出一种或多种仿生复眼大视场光电探测器原型样机。除了能够在杂乱、潜在目标众多且有伪装的环境中捕获目标,完成传统光电探测器所具备的功能之外,仿生复眼大视场光电探测器还期望实现其他功能,包括在无GPS信号或GPS信号不佳的情况下完成中段导航(通过光流、场景识别或星光导航等实现运动决策)、末段制导和避障等。另外,该技术也可能作为制导集成引信或通信通道使用等。

      同时,仿生复眼技术的发展备受美国空军的大视场探测器计划(Wide Field of View Seeker Program)的关注,该计划旨在为下一代精确制导弹药发展新型大视场光电探测器。他们认为,一旦仿生复眼技术成熟,未来的先进反舰精确制导弹药和小型制导炸弹将在拥有大视场范围的同时具备更高的打击精度,具备对丢失目标的再次捕获能力,以及多目标的同时跟踪能力等[10]

      基于以上需求和设想,美国空军研究实验室、国防高级研究项目局(DARPA)等机构和单位通过小企业创新研究计划(SBIR)或者其他渠道资助光谱成像实验室(The Spectral Imaging Laboratory,SPILAB)、Luminit公司、物理光学公司(Physical Optics Corporation,POC)等单位,委托开发基于仿生复眼的紫外、可见光、红外、双波段以及多模复合光电探测器等,计划研究并发展一系列的大视场仿生复眼光电探测器,强化下一代精确制导弹药环境感知能力、突防对抗能力和作战效能等。

    • 城市作战中,各种高大建筑物和障碍物对武器装备应用时的成像、瞄准等造成了极大影响。受生物学启发,AFRL试图采用仿生复眼技术来解决这一问题。2005年,AFRL委托美国光谱成像实验室开发大视场仿生复眼图像光电探测器。与自然界的昆虫复眼类似,人工复眼(Artificial Compound Eye,ACE)光学系统通过多个光学子眼获取不同视场范围的光学图像,通过图像拼接等技术生成全视场图像。他们认为大视场仿生复眼光电探测器类似自然界的蜜蜂复眼,利用光场信息来控制飞行路线并进行导航,从而减小探测器对GPS的依赖。2010年,在DARPA项目的资助下,美国光谱成像实验室研究开发了第一款混合重叠型人工复眼。2015年,美国空军再次通过SBIR为光谱成像实验室提供项目经费,支持该单位解决大视场仿生复眼光电探测器中的关键技术,该技术也日趋成熟。图2给出了光谱成像实验室开发的混合重叠型人工复眼。

      Figure 2.  Multihybrid artificial compound eye

      光谱成像实验室开发的混合重叠型人工复眼剖面视图如图3所示,图中同时给出的是自然界的甲虫复眼剖面图。在人工复眼中,两个成型玻璃透镜阵列取代了昆虫复眼的晶锥;蜂窝百叶窗挡板取代了昆虫复眼的吸光色素,该结构采用Polyjet紫外喷射固化三维分层工艺制作,保证光线能够透过子眼的同时阻止鬼像产生。光束经过光波导圆顶汇聚后送至耦合在底部的焦平面CCD器件,生成的图像无需进一步进行信号处理。

      Figure 3.  Artificial compound eye VS. natural compound eye

      他们预期AIM-9X空空导弹框架式探测器未来甚至会被这种仿生复眼红外光电探测器所替代,从而简化系统结构,降低导弹成本,更加快速地锁定目标,即使仿生复眼的部分视场被致盲,仍然有足够的视场范围保证弹药能够重新捕获目标。图4为美军设想的基于仿生复眼红外光电探测器的AIM-9X空空导弹。

      Figure 4.  AIM-9X sidewinder missile based on compound eyes

    • 2011年,美国空军计划开发一种小型、捷联式、大视场红外光电探测器(Wide-Field-of-View Infrared Seeker),以适应复杂城市环境中的精确制导要求。在SBIR的项目合同资助下,美国光谱成像实验室提出了基于仿生复眼大视场光学器件和可变分辨率光电传感器耦合的架构方案。仿生复眼大视场光学器件为探测器提供大视场、高分辨率、无畸变、全视场均匀强度的红外图像;可变分辨率传感器则对感兴趣的区域以最大分辨率进行重点处理,其余部分则以低分辨率进行处理,从而提高系统的数据处理效率。同时,在探测器光学系统中设计了蜂窝百叶窗挡板,以减小明亮光源(如太阳和耀斑)的杂散辐射干扰等[11]

      该项目分为两个阶段实施:第一阶段,分别设计了长波红外和中波红外两个波段的仿生复眼系统,验证大视场仿生复眼捷联探测器的原理可行性;第二阶段,重点解决仿生复眼光学系统与长波红外、中波红外相机模块的耦合问题。美国空军认为,大视场仿生复眼探测器相关技术同时可以服务于作战、情报收集、监视和侦察任务的小型武器系统或者飞行器。

      光谱成像实验室的红外仿生复眼透镜阵列由硫化玻璃热压成型,通过640×512分辨率的红外光电图像传感器进行了集成测试,并获得了红外测试图像,如图5图6所示。

      Figure 5.  IR-ACE imaging detectors in spectroscopic laboratories

      Figure 6.  IR-ACE test image of SPILAB

    • 2011年,美国空军提出开发一种小型大视场 、双波段红外复眼(Dual Waveband Artificial Compound Eyes)传感器,计划部署在遥控飞机、微型飞机、制导武器和灵巧弹药上。基于以上需求,光谱成像实验室在SBIR的合同资助下承担该研究任务。该项目分为两个阶段实施:第一阶段,光谱成像实验室提出的双波段仿生复眼图像传感器技术方案中,探测器工作在3~5 μm 中波红外和8~10 μm 长波红外双波段,但同时拥有120°的视场范围;第二阶段,光谱成像实验室研制两种大视场双波段红外传感器,其中一种视场范围为120°,主要用于精确制导武器、智能弹药和前视传感器,另一种视场范围为220°的超大视场(Ultra-WFOV ACE)传感器主要部署在飞机上。两种传感器均设置高灵敏孔径窝区,以提高系统对远距离目标的定位准确性,同时拥有更高的图像分辨率。

      他们认为,超大视场仿生复眼的实现可进一步提高大型遥控飞机的智能化、监视和侦察能力;大视场仿生复眼则可以显著提升图像光电探测器的性能,以及弹药的制导、导航和控制性能等,有利于减少探测器和弹药的整体尺寸、质量和功率。双波段成像可保证系统内能够同时完成对冷目标的长波红外成像以及对热表面、导弹羽流的中波红外成像。

    • 2014年,美国空军提出开发大视场多波段多模复合光电探测器(WFOV Multiwaveband Multimode Seeker),为下一代精确制导弹药研发性能更加强大的小型、轻量化多模复合传感器;理想情况下,弹药具有多种制导模式,可在飞行过程中根据实际需要进行切换。光电探测器复合的第一种模式是多波段被动红外成像制导,第二种模式是半主动激光制导。他们期望通过这种多模复合制导弹药能够在复杂城市环境中开展的军事行动,并能控制附带损伤。多波段被动红外成像制导无疑可以提高制导弹药的打击精度;同时也可以为作战行动提供红外场景态势图像,借助红外图像地面激光照射士兵可以调整激光照射器的光斑照射位置,辅助解决复杂城市环境中的瞄准指向受阻的问题,保证士兵从复杂混乱的城市环境中精确锁定目标。这种探测器的相关技术还可以用于城市执法、边境管制、国土安全等各类监视活动;被动红外探测器的相关技术还可独立用于搜索救援、机器视觉、机器人及车辆情景感知安全等系统。

      基于以上需求,美国光谱成像实验室在SBIR的合同资助下开发研制了双分辨率、大视场被动红外探测器,并可与半主动激光探测器进行复合,复合后的探测器直径总体不大于5 in (1 in=2.54 cm),质量不大于5磅(1磅=0.453 6 kg),功耗不大于50 W。北极星(Polaris)传感器技术公司开发了大视场(WFOV)半主动激光导引头(SAL)。

    • 2017年,美国空军提出开发短波红外先进仿生多模光电成像系统(Advanced Bio-inspired Imaging System with Multiple Optical Sensing Modes),要求该系统能够在多种模式下对辐射场进行光学成像,并且在弱光条件下具备高动态范围,在没有人工照明的条件下,能够在建筑物内部、隐蔽环境和隧道内等进行高质量成像。该技术将主要用于制导弹药,提升其在复杂混乱的城市环境中的态势感知能力和目标识别能力;另外,基于该技术的光电成像系统可以部署在高空无人机上,提升空军情报、监视和侦察能力。

      在SBIR合同资助下,美国光谱成像实验室受生物学启发,提出开发基于人工复眼的短波长红外大视场9模成像系统。与传统的短波红外成像系统相比,这种人工复眼短波红外成像系统的动态范围将提升9倍,并且在滤波器件和偏光器件的配合下,可以进一步优化目标图像。

    • 2013年,美国国防部发布了新型大视场半主动激光探测器关键光学部件(Wide Field of View Primary Optic for Semi-Active Laser Sensor)的军事需求,为未来小型捷联式半主动激光制导弹药探索新型、大视场、仿复眼、抗干扰、低成本的新型探测器,要求具备更强的复杂环境适应能力,包括太阳在视场范围内时仍然能够稳定工作;同时,具有更高的跟踪精度和光利用效率,能够匹配直径不大于Ф9.25 mm的典型光电探测器,视场范围在25°~50°之间(陆军装备视场通常不大于50°),计划用于Φ70~180 mm直径的小型精确制导弹药。

    • 2014年,基于美军对大视场仿复眼半主动激光探测器的需求,物理光学公司提出开发一种新型多孔径半主动激光导引头复合阵列(Multi-aperture Optical Seeker Compound Array for semi-active laser missile seekers,MOSCA)。MOSCA是基于仿复眼的非成像复合光学阵列,采用物理光学公司的成熟产品组件,具有体积小、质量小、功耗低等特点。基于该产品在大视场光学结构、高精度的角分辨率,以及高带宽的嵌入式处理器等多方面的创新,可保证半主动激光导引头在广域条件下能够快速捕获和稳定跟踪目标;在降低系统成本的同时提高探测器的抗干扰能力,包括排除视场内太阳的干扰等。该项目分为两个阶段:第一阶段,物理光学公司将分析、评估系统分辨率、光通量和抗太阳光干扰性能,验证MOSCA的原理可行性,完成系统原理样机;第二阶段,物理光学公司通过改进原理样机,完成实验室验证。

    • 2014年以来,Luminit公司一直在为美军开发新型仿复眼半主动激光探测器(Compound Eye Laser Missile Seeker,CELMS),用于替代传统的框架式激光探测器,如图7所示。

      Figure 7.  CELMS WFOV semi-active laser guided missile

      CELMS采用仿蜜蜂多孔径复合接收光学系统(Multi-Aperture Compound Receiver Optics,MACRO)接收目标反射的激光信号。已经开发的初样机拥有16个(4×4正方形矩阵)独立子眼通道;每个子眼通道通过光纤束(Fiber bundle)与透镜耦合,光纤束同时起到限制单个子眼透镜视场范围和光谱选择的作用;四个子眼孔径合并为一个象限,光信息被中继至基板全息窄带通滤波器件(Substrate-Guided Wave Hologram,SGWH)进行滤波处理。SGWH为两块平板玻璃全息光学元件,只有同时满足布拉格波长和布拉格角度的光信号才会被SGWH衍射至四象限探测器(Quad detector),并保证超过80%的光通量(衍射效率),带外抑制比约为60 dB或OD6,从而可以排除太阳光等其他背景光的干扰,实现低噪声和高信噪比。四象限探测器检测到目标位置,处理出目标视线角偏差,输出制导信号,控制和引导弹药实现激光光斑从视场边缘移动到视场中心,从而实现对目标的稳定跟踪。CELMS工作框图如图8所示。

      Figure 8.  Work diagram of CELMS

      激光照射器工作在1.06 μm,脉冲频率不小于100 Hz,即使当目标方向与太阳方向很接近时,CELMS仍然可以在整个视场范围内准确捕获照射目标。该项目分为两个阶段:第一阶段研制原理样机,主要验证系统的技术可行性,要求技术成熟度达到3级;第二阶段研制工程样机,要求技术成熟度将达到6级[12-13]

    • 大视场、多模、小型、轻量化光电探测器是下一代智能武器的发展关键,仿生复眼大视场光电探测器作为其中的一个重要研究方向而备受关注。在大视场探测器计划(Wide Field Of View Seeker Program)的指导和多个仿生复眼探测器相关项目的资助下,美军针对仿生复眼在精确制导武器中的应用研究开展了大量工作并取得了一系列研究成果,从红外成像探测器到半主动激光探测器,从单模探测器到多波段、多模复合探测器,仿生复眼探测器的发展逐步工程化和系列化。综合分析,美军对发展仿生复眼探测器的前景和意义非常肯定,在该方面的工作开展也具有较强的计划性,按照一定的时间节点,由简单到复杂,从单模到双波段、多模,有条件、有步骤地开展;在总体思想上,要求充分发挥仿生复眼的大视场、小型化、轻量化、智能化等优势和特点,强调技术创新和低成本,主要应用对象为小口径战术弹药,主要作战条件为近距离宽视域复杂场景(如城市环境);资助的单位较多,不同单位的技术方案差异性也较大,尚未形成较为统一的主流方案,工作开展分阶段实施和考核。

      国内虽然有很多科研院所和单位也在开展仿生复眼技术的研究,但大多是针对民用领域,虽然在精确制导武器中的应用研究也有开展,但是并不深入且方向分散,缺乏系统规划和指导。因此,制定仿生复眼探测技术的发展规划,指导并加强开展仿生复眼红外探测制导相关技术研究、仿生复眼半主动激光制导相关技术研究、仿生复眼多波段多模复合制导相关技术研究,对我国下一代精确制导弹药发展具有重大意义。

Reference (13)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return