留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于深度学习的红外与可见光决策级融合检测

唐聪 凌永顺 杨华 杨星 路远

唐聪, 凌永顺, 杨华, 杨星, 路远. 基于深度学习的红外与可见光决策级融合检测[J]. 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
引用本文: 唐聪, 凌永顺, 杨华, 杨星, 路远. 基于深度学习的红外与可见光决策级融合检测[J]. 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
Tang Cong, Ling Yongshun, Yang Hua, Yang Xing, Lu Yuan. Decision-level fusion detection for infrared and visible spectra based on deep learning[J]. Infrared and Laser Engineering, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
Citation: Tang Cong, Ling Yongshun, Yang Hua, Yang Xing, Lu Yuan. Decision-level fusion detection for infrared and visible spectra based on deep learning[J]. Infrared and Laser Engineering, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001

基于深度学习的红外与可见光决策级融合检测

doi: 10.3788/IRLA201948.0626001
基金项目: 

国家自然科学基金(61405248,61503394);安徽省自然科学基金(1708085MF137)

详细信息
    作者简介:

    唐聪(1989-),男,博士生,主要从事计算机视觉、深度学习、模式识别等方面的研究。Email:tangcong_eei@163.com

  • 中图分类号: TP391.4

Decision-level fusion detection for infrared and visible spectra based on deep learning

  • 摘要: 提出了一种基于深度学习的红外与可见光决策级融合检测方法。首先,提出了一种介于深度学习模型之间的参数传递模型,进而从基于深度学习的可见光物体检测模型上抽取了用于红外物体检测的预训练模型,并在课题组实地采集的红外数据集上进行fine-tuning,从而得到基于深度学习的红外物体检测模型。在此基础上,提出了一种基于深度学习的红外与可见光决策级融合检测模型,并对模型设计、图像配准、决策级融合过程进行了详细地阐述。最后,进行了白天和傍晚条件下基于深度学习的单波段检测实验和双波段融合检测实验。定性分析上,由于波段之间的信息互补性,相比于单波段物体检测,双波段融合物体检测在检测结果上具有更高的置信度和更精确的物体框;定量分析上,白天时,双波段融合检测的mAP为86.0%,相比于红外检测和可见光检测分别提高了9.9%和5.3%;傍晚时,双波段融合检测的mAP为89.4%,相比于红外检测和可见光检测分别提高了3.1%和14.4%。实验结果表明:基于深度学习的双波段融合检测方法相比于单波段检测方法具有更好的检测性能和更强的鲁棒性,同时也验证了所提出方法的有效性。
  • [1] Luo Haibo, Xu Lingyun, Hui Bin, et al. Status and prospect of target tracking based on deep learning[J]. Infrared and Laser Engineering, 2017, 46(5):0502002. (in Chinese)
    [2] Erhan D, Szegedy C, Toshev A, et al. Scalable object detection using deep neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014:2147-2154.
    [3] Wei P, Ball J E, Anderson D T. Fusion of an ensemble of augmented image detectors for robust object detection[J]. Sensors, 2018, 18(3):894.
    [4] Jeong Y N, Son S R, Jeong E H, et al. An integrated self-diagnosis system for an autonomous vehicle based on an IoT gateway and deep learning[J]. Applied Sciences, 2018, 7:1164.
    [5] Tian Y, Luo P, Wang X, et al. Deep learning strong parts for pedestrian detection[C]//IEEE International Conference on Computer Vision, 2015:1904-1912.
    [6] Hall D L, Llinas J. An introduction to multisensor data fusion[C]//Proceedings of the IEEE, 1997, 85(1):6-23.
    [7] Petrovic V S, Xydeas C S. Gradient-based multiresolution image fusion[J]. IEEE Transactions on Image Processing, 2004, 13(2):228-237.
    [8] Davis J W, Sharma V. Background-subtraction using contour-based fusion of thermal and visible imagery[J]. Computer Vision and Image Understanding, 2007, 106(2):162-182,.
    [9] Zeng D, Xu J, Xu G. Data fusion for traffic incident detection using DS evidence theory with probabilistic SVMs[J]. Journal of Computers, 2008, 3(10):36-43.
    [10] Fendri E, Boukhriss R R, Hammami M. Fusion of thermal infrared and visible spectra for robust moving object detection[J]. Pattern Analysis Applications, 2017, 20(10):1-20.
    [11] Guo Y, Liu Y, Oerlemans A, et al. Deep learning for visual understanding:A review[J]. Neurocomputing, 2016, 187(C):27-48.
    [12] Erhan D, Bengio Y, Courville A, et al. Why does unsupervised pre-training help deep learning?[J]. Journal of Machine Learning Research, 2010, 11(3):625-660.
    [13] He K, Sun J. Convolutional neural networks at constrained time cost[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015:5353-5360.
    [14] Shotton J, Blake A, Cipolla R. Contour-based learning for object detection[C]//Proceedings of the IEEE Conference on Computer Vision, 2005, 1:503-510.
    [15] Shen W, Wang X, Wang Y, et al. Deepcontour:A deep convolutional feature learned by positive-sharing loss for contour detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015:3982-3991.
    [16] Russakovsky O, Deng J, Su H, et al. Image net large scale visual recognition challenge[J]. International Journal of Computer Vision, 2014, 115(3):211-252.
    [17] Vicente S, Carreira J, Agapito L, et al. Reconstructing PASCAL VOC[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014:41-48.
    [18] Liu W, Anguelov D, Erhan D, et al. SSD:Single shot multibox detector[C]//Proceedings of European Conference on Computer Vision, 2016:21-37.
    [19] Ren S, He K, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2017, 39(6):1137-1149.
    [20] Tang Cong, Ling Yongshun, Zheng Kedong, et al. Object detection method of multi-view SSD based on deep learning[J]. Infrared and Laser Engineering, 2018, 47(1):0126003. (in Chinese)
    [21] Zitov B, Flusser J. Image registration methods:a survey[J]. Image Vision Computing, 2003, 21(11):977-1000.
    [22] Heather J P, Smith M I. Multimodal image registration with applications to image fusion[C]//Proceedings of the IEEE International Conference on Information Fusion, 2005:372-379.
  • [1] 张钊, 韩博文, 于浩天, 张毅, 郑东亮, 韩静.  多阶段深度学习单帧条纹投影三维测量方法 . 红外与激光工程, 2020, 49(6): 20200023-1-20200023-8. doi: 10.3788/IRLA20200023
    [2] 赵洋, 傅佳安, 于浩天, 韩静, 郑东亮.  深度学习精确相位获取的离焦投影三维测量 . 红外与激光工程, 2020, 49(7): 20200012-1-20200012-8. doi: 10.3788/IRLA20200012
    [3] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [4] 钟锦鑫, 尹维, 冯世杰, 陈钱, 左超.  基于深度学习的散斑投影轮廓术 . 红外与激光工程, 2020, 49(6): 20200011-1-20200011-11. doi: 10.3788/IRLA20200011
    [5] 胡善江, 贺岩, 陶邦一, 俞家勇, 陈卫标.  基于深度学习的机载激光海洋测深海陆波形分类 . 红外与激光工程, 2019, 48(11): 1113004-1113004(8). doi: 10.3788/IRLA201948.1113004
    [6] 岳宝毅, 刘钧, 郭佳, 陈阳, 李汉.  折/衍共口径红外双波段位标指示器光学系统设计 . 红外与激光工程, 2019, 48(4): 418003-0418003(9). doi: 10.3788/IRLA201948.0418003
    [7] 梁欣凯, 宋闯, 赵佳佳.  基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
    [8] 周宏强, 黄玲玲, 王涌天.  深度学习算法及其在光学的应用 . 红外与激光工程, 2019, 48(12): 1226004-1226004(20). doi: 10.3788/IRLA201948.1226004
    [9] 姚旺, 刘云鹏, 朱昌波.  基于人眼视觉特性的深度学习全参考图像质量评价方法 . 红外与激光工程, 2018, 47(7): 703004-0703004(8). doi: 10.3788/IRLA201847.0703004
    [10] 张秀玲, 侯代标, 张逞逞, 周凯旋, 魏其珺.  深度学习的MPCANet火灾图像识别模型设计 . 红外与激光工程, 2018, 47(2): 203006-0203006(6). doi: 10.3788/IRLA201847.0203006
    [11] 耿磊, 梁晓昱, 肖志涛, 李月龙.  基于多形态红外特征与深度学习的实时驾驶员疲劳检测 . 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
    [12] 唐聪, 凌永顺, 郑科栋, 杨星, 郑超, 杨华, 金伟.  基于深度学习的多视窗SSD目标检测方法 . 红外与激光工程, 2018, 47(1): 126003-0126003(9). doi: 10.3788/IRLA201847.0126003
    [13] 唐聪, 凌永顺, 杨华, 杨星, 郑超.  基于深度学习物体检测的视觉跟踪方法 . 红外与激光工程, 2018, 47(5): 526001-0526001(11). doi: 10.3788/IRLA201847.0526001
    [14] 罗海波, 许凌云, 惠斌, 常铮.  基于深度学习的目标跟踪方法研究现状与展望 . 红外与激光工程, 2017, 46(5): 502002-0502002(7). doi: 10.3788/IRLA201746.0502002
    [15] 高明, 许黄蓉, 刘钧, 吕宏, 陈阳.  折/衍射双波段共光路齐焦光学系统设计 . 红外与激光工程, 2017, 46(5): 518003-0518003(10). doi: 10.3788/IRLA201746.0518003
    [16] 张宏伟, 樊祥, 朱斌, 施展.  引入外点剔除机制的双波段红外图像的配准 . 红外与激光工程, 2015, 44(S1): 23-28.
    [17] 李云红, 马蓉, 张恒, 曹浏, 霍可, 赵强.  双波段比色精确测温技术 . 红外与激光工程, 2015, 44(1): 27-35.
    [18] 付跃刚, 黄蕴涵, 刘智颖.  双波段消热差红外鱼眼光学系统设计 . 红外与激光工程, 2014, 43(10): 3329-3333.
    [19] 李培茂, 王霞, 金伟其, 李家琨, 顿雄.  双波段红外光学系统设计与像质评价 . 红外与激光工程, 2013, 42(11): 2882-2888.
    [20] 王孟军, 赵翠玲, 韩邦杰, 耿亚光, 马萄.  基于谐衍射的共轴双波段红外光学系统设计 . 红外与激光工程, 2013, 42(10): 2732-2736.
  • 加载中
计量
  • 文章访问数:  211
  • HTML全文浏览量:  32
  • PDF下载量:  75
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-09-20
  • 修回日期:  2018-10-17
  • 刊出日期:  2019-06-25

基于深度学习的红外与可见光决策级融合检测

doi: 10.3788/IRLA201948.0626001
    作者简介:

    唐聪(1989-),男,博士生,主要从事计算机视觉、深度学习、模式识别等方面的研究。Email:tangcong_eei@163.com

基金项目:

国家自然科学基金(61405248,61503394);安徽省自然科学基金(1708085MF137)

  • 中图分类号: TP391.4

摘要: 提出了一种基于深度学习的红外与可见光决策级融合检测方法。首先,提出了一种介于深度学习模型之间的参数传递模型,进而从基于深度学习的可见光物体检测模型上抽取了用于红外物体检测的预训练模型,并在课题组实地采集的红外数据集上进行fine-tuning,从而得到基于深度学习的红外物体检测模型。在此基础上,提出了一种基于深度学习的红外与可见光决策级融合检测模型,并对模型设计、图像配准、决策级融合过程进行了详细地阐述。最后,进行了白天和傍晚条件下基于深度学习的单波段检测实验和双波段融合检测实验。定性分析上,由于波段之间的信息互补性,相比于单波段物体检测,双波段融合物体检测在检测结果上具有更高的置信度和更精确的物体框;定量分析上,白天时,双波段融合检测的mAP为86.0%,相比于红外检测和可见光检测分别提高了9.9%和5.3%;傍晚时,双波段融合检测的mAP为89.4%,相比于红外检测和可见光检测分别提高了3.1%和14.4%。实验结果表明:基于深度学习的双波段融合检测方法相比于单波段检测方法具有更好的检测性能和更强的鲁棒性,同时也验证了所提出方法的有效性。

English Abstract

参考文献 (22)

目录

    /

    返回文章
    返回