留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于深度学习的红外与可见光决策级融合检测

唐聪 凌永顺 杨华 杨星 路远

唐聪, 凌永顺, 杨华, 杨星, 路远. 基于深度学习的红外与可见光决策级融合检测[J]. 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
引用本文: 唐聪, 凌永顺, 杨华, 杨星, 路远. 基于深度学习的红外与可见光决策级融合检测[J]. 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
Tang Cong, Ling Yongshun, Yang Hua, Yang Xing, Lu Yuan. Decision-level fusion detection for infrared and visible spectra based on deep learning[J]. Infrared and Laser Engineering, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
Citation: Tang Cong, Ling Yongshun, Yang Hua, Yang Xing, Lu Yuan. Decision-level fusion detection for infrared and visible spectra based on deep learning[J]. Infrared and Laser Engineering, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001

基于深度学习的红外与可见光决策级融合检测

doi: 10.3788/IRLA201948.0626001
基金项目: 

国家自然科学基金(61405248,61503394);安徽省自然科学基金(1708085MF137)

详细信息
    作者简介:

    唐聪(1989-),男,博士生,主要从事计算机视觉、深度学习、模式识别等方面的研究。Email:tangcong_eei@163.com

  • 中图分类号: TP391.4

Decision-level fusion detection for infrared and visible spectra based on deep learning

  • 摘要: 提出了一种基于深度学习的红外与可见光决策级融合检测方法。首先,提出了一种介于深度学习模型之间的参数传递模型,进而从基于深度学习的可见光物体检测模型上抽取了用于红外物体检测的预训练模型,并在课题组实地采集的红外数据集上进行fine-tuning,从而得到基于深度学习的红外物体检测模型。在此基础上,提出了一种基于深度学习的红外与可见光决策级融合检测模型,并对模型设计、图像配准、决策级融合过程进行了详细地阐述。最后,进行了白天和傍晚条件下基于深度学习的单波段检测实验和双波段融合检测实验。定性分析上,由于波段之间的信息互补性,相比于单波段物体检测,双波段融合物体检测在检测结果上具有更高的置信度和更精确的物体框;定量分析上,白天时,双波段融合检测的mAP为86.0%,相比于红外检测和可见光检测分别提高了9.9%和5.3%;傍晚时,双波段融合检测的mAP为89.4%,相比于红外检测和可见光检测分别提高了3.1%和14.4%。实验结果表明:基于深度学习的双波段融合检测方法相比于单波段检测方法具有更好的检测性能和更强的鲁棒性,同时也验证了所提出方法的有效性。
  • [1] Luo Haibo, Xu Lingyun, Hui Bin, et al. Status and prospect of target tracking based on deep learning[J]. Infrared and Laser Engineering, 2017, 46(5):0502002. (in Chinese)
    [2] Erhan D, Szegedy C, Toshev A, et al. Scalable object detection using deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014:2147-2154.
    [3] Wei P, Ball J E, Anderson D T. Fusion of an ensemble of augmented image detectors for robust object detection[J]. Sensors, 2018, 18(3):894.
    [4] Jeong Y N, Son S R, Jeong E H, et al. An integrated self-diagnosis system for an autonomous vehicle based on an IoT gateway and deep learning[J]. Applied Sciences, 2018, 7:1164.
    [5] Tian Y, Luo P, Wang X, et al. Deep learning strong parts for pedestrian detection[C]//IEEE International Conference on Computer Vision, 2015:1904-1912.
    [6] Hall D L, Llinas J. An introduction to multisensor data fusion[C]//Proceedings of the IEEE, 1997, 85(1):6-23.
    [7] Petrovic V S, Xydeas C S. Gradient-based multiresolution image fusion[J]. IEEE Transactions on Image Processing, 2004, 13(2):228-237.
    [8] Davis J W, Sharma V. Background-subtraction using contour-based fusion of thermal and visible imagery[J]. Computer Vision and Image Understanding, 2007, 106(2):162-182,.
    [9] Zeng D, Xu J, Xu G. Data fusion for traffic incident detection using DS evidence theory with probabilistic SVMs[J]. Journal of Computers, 2008, 3(10):36-43.
    [10] Fendri E, Boukhriss R R, Hammami M. Fusion of thermal infrared and visible spectra for robust moving object detection[J]. Pattern Analysis Applications, 2017, 20(10):1-20.
    [11] Guo Y, Liu Y, Oerlemans A, et al. Deep learning for visual understanding:A review[J]. Neurocomputing, 2016, 187(C):27-48.
    [12] Erhan D, Bengio Y, Courville A, et al. Why does unsupervised pre-training help deep learning?[J]. Journal of Machine Learning Research, 2010, 11(3):625-660.
    [13] He K, Sun J. Convolutional neural networks at constrained time cost[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015:5353-5360.
    [14] Shotton J, Blake A, Cipolla R. Contour-based learning for object detection[C]//Proceedings of the IEEE Conference on Computer Vision, 2005, 1:503-510.
    [15] Shen W, Wang X, Wang Y, et al. Deepcontour:A deep convolutional feature learned by positive-sharing loss for contour detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015:3982-3991.
    [16] Russakovsky O, Deng J, Su H, et al. Image net large scale visual recognition challenge[J]. International Journal of Computer Vision, 2014, 115(3):211-252.
    [17] Vicente S, Carreira J, Agapito L, et al. Reconstructing PASCAL VOC[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014:41-48.
    [18] Liu W, Anguelov D, Erhan D, et al. SSD:Single shot multibox detector[C]//Proceedings of European Conference on Computer Vision, 2016:21-37.
    [19] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2017, 39(6):1137-1149.
    [20] Tang Cong, Ling Yongshun, Zheng Kedong, et al. Object detection method of multi-view SSD based on deep learning[J]. Infrared and Laser Engineering, 2018, 47(1):0126003. (in Chinese)
    [21] Zitov B, Flusser J. Image registration methods:a survey[J]. Image Vision Computing, 2003, 21(11):977-1000.
    [22] Heather J P, Smith M I. Multimodal image registration with applications to image fusion[C]//Proceedings of the IEEE International Conference on Information Fusion, 2005:372-379.
  • [1] 刘文婧, 祝连庆, 张东亮, 郑显通, 杨懿琛, 王文杰, 柳渊, 鹿利单, 刘铭.  nBn结构InAs/GaSb超晶格中/长双波段探测器优化设计 . 红外与激光工程, 2023, 52(9): 20220837-1-20220837-13. doi: 10.3788/IRLA20220837
    [2] 孟冬冬, 乔占朵, 高宝光, 王天齐, 樊仲维.  基于ZnGeP2光参量振荡器的长波红外双波段调谐实验研究 . 红外与激光工程, 2022, 51(5): 2021G008-1-2021G008-7. doi: 10.3788/IRLA2021G008
    [3] 李晓蕾, 高明.  小型化复合孔径双波段观瞄系统设计 . 红外与激光工程, 2022, 51(4): 20210549-1-20210549-12. doi: 10.3788/IRLA20210549
    [4] 张津浦, 王岳环.  融合检测技术的孪生网络跟踪算法综述 . 红外与激光工程, 2022, 51(10): 20220042-1-20220042-14. doi: 10.3788/IRLA20220042
    [5] 钟友坤, 莫海宁.  基于深度自编码-高斯混合模型的视频异常检测方法 . 红外与激光工程, 2022, 51(6): 20210547-1-20210547-7. doi: 10.3788/IRLA20210547
    [6] 陈晓阳, 高明.  机载双波段共口径光电瞄准光学系统设计 . 红外与激光工程, 2021, 50(5): 20200322-1-20200322-10. doi: 10.3788/IRLA20200322
    [7] 李芳丽.  监控视频中采用深度支持向量数据描述的异常检测 . 红外与激光工程, 2021, 50(9): 20210094-1-20210094-7. doi: 10.3788/IRLA20210094
    [8] 刘云朋, 霍晓丽, 刘智超.  基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
    [9] 岳宝毅, 刘钧, 郭佳, 陈阳, 李汉.  折/衍共口径红外双波段位标指示器光学系统设计 . 红外与激光工程, 2019, 48(4): 418003-0418003(9). doi: 10.3788/IRLA201948.0418003
    [10] 李俊, 王小坤, 孙闻, 林加木, 曾智江, 沈一璋, 范广宇, 丁瑞军, 龚海梅.  超长线列双波段红外焦平面探测器杜瓦封装技术研究 . 红外与激光工程, 2018, 47(11): 1104003-1104003(7). doi: 10.3788/IRLA201847.1104003
    [11] 耿磊, 梁晓昱, 肖志涛, 李月龙.  基于多形态红外特征与深度学习的实时驾驶员疲劳检测 . 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
    [12] 唐聪, 凌永顺, 郑科栋, 杨星, 郑超, 杨华, 金伟.  基于深度学习的多视窗SSD目标检测方法 . 红外与激光工程, 2018, 47(1): 126003-0126003(9). doi: 10.3788/IRLA201847.0126003
    [13] 唐聪, 凌永顺, 杨华, 杨星, 郑超.  基于深度学习物体检测的视觉跟踪方法 . 红外与激光工程, 2018, 47(5): 526001-0526001(11). doi: 10.3788/IRLA201847.0526001
    [14] 陈阳, 张安锋, 茹志兵.  反激光探测红外双波段光学系统设计 . 红外与激光工程, 2017, 46(9): 918002-0918002(8). doi: 10.3788/IRLA201746.0918002
    [15] 高明, 许黄蓉, 刘钧, 吕宏, 陈阳.  折/衍射双波段共光路齐焦光学系统设计 . 红外与激光工程, 2017, 46(5): 518003-0518003(10). doi: 10.3788/IRLA201746.0518003
    [16] 张宏伟, 樊祥, 朱斌, 施展.  引入外点剔除机制的双波段红外图像的配准 . 红外与激光工程, 2015, 44(S1): 23-28.
    [17] 李云红, 马蓉, 张恒, 曹浏, 霍可, 赵强.  双波段比色精确测温技术 . 红外与激光工程, 2015, 44(1): 27-35.
    [18] 付跃刚, 黄蕴涵, 刘智颖.  双波段消热差红外鱼眼光学系统设计 . 红外与激光工程, 2014, 43(10): 3329-3333.
    [19] 李培茂, 王霞, 金伟其, 李家琨, 顿雄.  双波段红外光学系统设计与像质评价 . 红外与激光工程, 2013, 42(11): 2882-2888.
    [20] 王孟军, 赵翠玲, 韩邦杰, 耿亚光, 马萄.  基于谐衍射的共轴双波段红外光学系统设计 . 红外与激光工程, 2013, 42(10): 2732-2736.
  • 加载中
计量
  • 文章访问数:  901
  • HTML全文浏览量:  205
  • PDF下载量:  221
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-09-20
  • 修回日期:  2018-10-17
  • 刊出日期:  2019-06-25

基于深度学习的红外与可见光决策级融合检测

doi: 10.3788/IRLA201948.0626001
    作者简介:

    唐聪(1989-),男,博士生,主要从事计算机视觉、深度学习、模式识别等方面的研究。Email:tangcong_eei@163.com

基金项目:

国家自然科学基金(61405248,61503394);安徽省自然科学基金(1708085MF137)

  • 中图分类号: TP391.4

摘要: 提出了一种基于深度学习的红外与可见光决策级融合检测方法。首先,提出了一种介于深度学习模型之间的参数传递模型,进而从基于深度学习的可见光物体检测模型上抽取了用于红外物体检测的预训练模型,并在课题组实地采集的红外数据集上进行fine-tuning,从而得到基于深度学习的红外物体检测模型。在此基础上,提出了一种基于深度学习的红外与可见光决策级融合检测模型,并对模型设计、图像配准、决策级融合过程进行了详细地阐述。最后,进行了白天和傍晚条件下基于深度学习的单波段检测实验和双波段融合检测实验。定性分析上,由于波段之间的信息互补性,相比于单波段物体检测,双波段融合物体检测在检测结果上具有更高的置信度和更精确的物体框;定量分析上,白天时,双波段融合检测的mAP为86.0%,相比于红外检测和可见光检测分别提高了9.9%和5.3%;傍晚时,双波段融合检测的mAP为89.4%,相比于红外检测和可见光检测分别提高了3.1%和14.4%。实验结果表明:基于深度学习的双波段融合检测方法相比于单波段检测方法具有更好的检测性能和更强的鲁棒性,同时也验证了所提出方法的有效性。

English Abstract

参考文献 (22)

目录

    /

    返回文章
    返回