留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

生成式对抗神经网络的多帧红外图像超分辨率重建

李方彪 何昕 魏仲慧 何家维 何丁龙

李方彪, 何昕, 魏仲慧, 何家维, 何丁龙. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
引用本文: 李方彪, 何昕, 魏仲慧, 何家维, 何丁龙. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
Li Fangbiao, He Xin, Wei Zhonghui, He Jiawei, He Dinglong. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]. Infrared and Laser Engineering, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
Citation: Li Fangbiao, He Xin, Wei Zhonghui, He Jiawei, He Dinglong. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]. Infrared and Laser Engineering, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003

生成式对抗神经网络的多帧红外图像超分辨率重建

doi: 10.3788/IRLA201847.0203003
基金项目: 

国家自然科学基金(61405191)

详细信息
    作者简介:

    李方彪(1990-),男,博士生,主要从事数字图像处理及超分辨率图像重建方面的研究。Email:lifangbiao1215@163.com

  • 中图分类号: TP391

Multiframe infrared image super-resolution reconstruction using generative adversarial networks

  • 摘要: 生成式对抗神经网络在约束图像生成表现出了巨大潜力,使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑,缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题,提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法(M-GANs)。首先,对低分辨率图像序列进行运动补偿;其次,使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算;最后,将其输入生成式对抗重建网络,输出重建后的高分辨率图像。实验结果表明:文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。
  • [1] Chandra M S, Rajan K, Srinivasan R. Locally adaptive regularization for robust multiframe super resolution reconstruction[J]. Advances in Computer Science, Eng Appl, 2012, AISC166:223-234.
    [2] Xiao C, Yu J, Xue Y. A high-efficiency super-resolution reconstruction algorithm from image/video sequences[C]//Third International IEEE Conference on Signal-Image Technologies and Internet-Based System, 2008:573-581.
    [3] Luo W, Zhang Y, Feizi A, et al. Pixel super-resolution using wavelength scanning[J]. Light:Science Application, 2016, 5(4):e16060.
    [4] Zhaoghao K, Chen L, Yang X S, et al. Super-resolution dipole orientation mapping via polarization demodulation[J]. Light:Science Application, 2016, 5(10):e16166.
    [5] Ashikaga H, Estner H L, Herzka D A, et al. Quantitative assessment of single-image super-resolution in myocardical scar imaging[J]. Medical Imaging and Diagnostic Radiology, 2014, 2(1):1-12.
    [6] Lei Sen, Shi Zhenwei, Zou Zhengxia. Super-resolution for remote sensing images via local-global combined network[J]. IEEE Geosciences and Remote Sensing Letters, 2017, 14(8):1243-1247.
    [7] Pan Z, Yu J, Huang H, et al. Super-resolution based on compressive sensing and structural self-similarity for remote sensing images[J]. IEEE Transactions Geosci and Remote Sensing Letters, 2013, 51(9):4864-4876.
    [8] Zhou F, Yang W M, Liao Q M. Interpolation-based image super-resolution using multisurface fitting[J]. IEEE Transactions on Image Processing, 2012, 21(7):3312-3318.
    [9] Freedman G, Fattal R. Image and video upscaling from local self-examples[J]. TOG, 2011, 28(2):1-11.
    [10] Liu Xueting, Song Daojin, Dong Chuandai, et al. MAP-based image superresolution reconstructionscience[J]. International Journal of Computer Science Engineering, 2008, 2(1):dai:10.1999/1307-6892/2034.
    [11] Simon Baker, Takeo Kanad. Limits on super-resolution and how to break them[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9):1167-1183.
    [12] Marcia L S A, Neison D A. Mascarenhas, generalization of iterative restoration techniques for super-resolution[C]//SIBGRAPI Conference on Graphics, Patterns and Images, 2011:258-265.
    [13] Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Signal Processing Magazine, 2010, 19(11):2861-2873.
    [14] Timofte R, Smet V D, Gool L V. Anchored neighborhood regression for fast example-based super-resolution[C]//IEEE International Conference on Computer Vision, 2013:1920-1927.
    [15] Wang Xinwei, Cao Yinan, Lu Dezhen, et al. Spatial difference shaping to improve range resolution in 3D super-resolution range-gated imaging[C]//2015 Inernational Conference on Optical Instruments and Technology:Optoelectronic Imaging and Processing Technology, 2015, 9622:1-8.
    [16] Zhang Di, He Jiazhong. Hybrid sparse-representation-based approach to image super-resolution reconstruction[J]. Journal of Electronic Imaging, 2017, 26(2):02308.
    [17] Dong Chao, Chen Change Loy, He Kaiming, et al. Image super-resolution using deep convolutianal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307.
    [18] Kappeler A, Yoo Seunghwan, Dai Qiqin, et al. Video super-resolution with convolutional neural networks[J]. IEEE Transactions on Computational Imaging, 2016, 2(2):109-122.
    [19] Shi Wenzhe, Caballero J, Huszar F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016:1874-1883.
    [20] Caballero J, Ledig C, Aitken A, et al. Real-time video super-resolution with spatio-temporal networks and motion compensation[C]//Computer Vision and Pattern Recognition, 2017, arXiv preprint arXiv:1611. 05250v2.
    [21] Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Computer Vision and Pattern Recognition, 2016, arXiv preprint arXiv:1609. 04802v1.
    [22] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[C]//Machine Learning, 2014, arXiv preprint arXiv:1406. 2661vl.
  • [1] 庞忠祥, 刘勰, 刘桂华, 龚泿军, 周晗, 罗洪伟.  并行多特征提取网络的红外图像增强方法 . 红外与激光工程, 2022, 51(8): 20210957-1-20210957-9. doi: 10.3788/IRLA20210957
    [2] 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静.  深度学习下的散射成像:物理与数据联合建模优化(特邀) . 红外与激光工程, 2022, 51(8): 20220563-1-20220563-13. doi: 10.3788/IRLA20220563
    [3] 卞殷旭, 邢涛, 邓伟杰, 鲜勤, 乔洪磊, 于钱, 彭吉龙, 杨晓飞, 蒋燕男, 王家雄, 杨慎敏, 沈韧斌, 沈华, 匡翠方.  基于深度学习的色彩迁移生物医学成像技术 . 红外与激光工程, 2022, 51(2): 20210891-1-20210891-18. doi: 10.3788/IRLA20210891
    [4] 熊乙宁, 鄢秋荣, 祝志太, 蔡源鹏, 杨耀铭.  用于光子计数单像素成像的去块状采样网络 . 红外与激光工程, 2021, 50(12): 20210724-1-20210724-10. doi: 10.3788/IRLA20210724
    [5] 邓人隽, 史坦, 李向平, 邓子岚.  基于全局拓扑优化深度学习模型的超构光栅分束器 . 红外与激光工程, 2021, 50(5): 20211028-1-20211028-4. doi: 10.3788/IRLA20211028
    [6] 刘云朋, 霍晓丽, 刘智超.  基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
    [7] 张旭, 于明鑫, 祝连庆, 何彦霖, 孙广开.  基于全光衍射深度神经网络的矿物拉曼光谱识别方法 . 红外与激光工程, 2020, 49(10): 20200221-1-20200221-8. doi: 10.3788/IRLA20200221
    [8] 石峰, 陆同希, 杨书宁, 苗壮, 杨晔, 张闻文, 何睿清.  噪声环境下基于单像素成像系统和深度学习的目标识别方法 . 红外与激光工程, 2020, 49(6): 20200010-1-20200010-8. doi: 10.3788/IRLA20200010
    [9] 魏子康, 刘云清.  改进的RDN灰度图像超分辨率重建方法 . 红外与激光工程, 2020, 49(S1): 20200173-20200173. doi: 10.3788/IRLA20200173
    [10] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [11] 杨蕊, 刘朝晖, 折文集.  遥感面阵凝视图像并行超分辨重建方法 . 红外与激光工程, 2019, 48(1): 126002-0126002(8). doi: 10.3788/IRLA201948.0126002
    [12] 张秀, 周巍, 段哲民, 魏恒璐.  基于专家场先验模型的图像超分辨重建算法 . 红外与激光工程, 2019, 48(6): 626002-0626002(8). doi: 10.3788/IRLA201948.0626002
    [13] 张旭, 金伟其, 李力, 王霞, 秦超.  天然气泄漏被动式红外成像检测技术及系统性能评价研究进展 . 红外与激光工程, 2019, 48(S2): 47-59. doi: 10.3788/IRLA201948.S204001
    [14] 唐聪, 凌永顺, 杨华, 杨星, 路远.  基于深度学习的红外与可见光决策级融合检测 . 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
    [15] 张秀, 周巍, 段哲民, 魏恒璐.  基于卷积稀疏自编码的图像超分辨率重建 . 红外与激光工程, 2019, 48(1): 126005-0126005(7). doi: 10.3788/IRLA201948.0126005
    [16] 刘天赐, 史泽林, 刘云鹏, 张英迪.  基于Grassmann流形几何深度网络的图像集识别方法 . 红外与激光工程, 2018, 47(7): 703002-0703002(7). doi: 10.3788/IRLA201847.0703002
    [17] 郭强, 芦晓红, 谢英红, 孙鹏.  基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
    [18] 耿磊, 梁晓昱, 肖志涛, 李月龙.  基于多形态红外特征与深度学习的实时驾驶员疲劳检测 . 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
    [19] 胡斌, 黄颖, 马永利, 李岩.  高分辨率红外成像仪五反无焦主系统设计 . 红外与激光工程, 2016, 45(5): 518001-0518001(5). doi: 10.3788/IRLA201645.0518001
    [20] 陈艳菲, 王利恒, 王洪伟.  估算红外成像作用空间分辨率的新方法 . 红外与激光工程, 2014, 43(1): 33-38.
  • 加载中
计量
  • 文章访问数:  612
  • HTML全文浏览量:  78
  • PDF下载量:  236
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-08-05
  • 修回日期:  2017-10-09
  • 刊出日期:  2018-02-25

生成式对抗神经网络的多帧红外图像超分辨率重建

doi: 10.3788/IRLA201847.0203003
    作者简介:

    李方彪(1990-),男,博士生,主要从事数字图像处理及超分辨率图像重建方面的研究。Email:lifangbiao1215@163.com

基金项目:

国家自然科学基金(61405191)

  • 中图分类号: TP391

摘要: 生成式对抗神经网络在约束图像生成表现出了巨大潜力,使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑,缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题,提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法(M-GANs)。首先,对低分辨率图像序列进行运动补偿;其次,使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算;最后,将其输入生成式对抗重建网络,输出重建后的高分辨率图像。实验结果表明:文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。

English Abstract

参考文献 (22)

目录

    /

    返回文章
    返回