留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

生成式对抗神经网络的多帧红外图像超分辨率重建

李方彪,  何昕,  魏仲慧,  何家维,  何丁龙

downloadPDF
文章导航 > 红外与激光工程  > 2018 >  47(2): 203003-0203003(8)
李方彪, 何昕, 魏仲慧, 何家维, 何丁龙. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
引用本文: 李方彪, 何昕, 魏仲慧, 何家维, 何丁龙. 生成式对抗神经网络的多帧红外图像超分辨率重建[J]. 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
shu
Li Fangbiao, He Xin, Wei Zhonghui, He Jiawei, He Dinglong. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]. Infrared and Laser Engineering, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
Citation: Li Fangbiao, He Xin, Wei Zhonghui, He Jiawei, He Dinglong. Multiframe infrared image super-resolution reconstruction using generative adversarial networks[J]. Infrared and Laser Engineering, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
shu

生成式对抗神经网络的多帧红外图像超分辨率重建

doi: 10.3788/IRLA201847.0203003
  • 1.

    中国科学院长春光学精密机械与物理研究所,吉林 长春 130033;

  • 2.

    中国科学院大学,北京 100049

基金项目: 

国家自然科学基金（61405191）

详细信息
    作者简介:

    李方彪(1990-),男,博士生,主要从事数字图像处理及超分辨率图像重建方面的研究。Email:lifangbiao1215@163.com

  • 中图分类号: TP391

Multiframe infrared image super-resolution reconstruction using generative adversarial networks

  • 1.

    Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China;

  • 2.

    University of Chinese Academy of Sciences,Beijing 100049,China

  • 摘要: 生成式对抗神经网络在约束图像生成表现出了巨大潜力，使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑，缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题，提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法（M-GANs）。首先，对低分辨率图像序列进行运动补偿；其次，使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算；最后，将其输入生成式对抗重建网络，输出重建后的高分辨率图像。实验结果表明：文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。
    Abstract: Generative adversarial networks had shown promising potential in conditional image generation. It seemed that the GANs were particularly suitable for use in image super-resolution reconstruction. However, there was a shortcoming of excessive smoothness and lack of high frequency detail information for the reconstructed SR images by using GANs. Aiming at resolving the problem that the method of single image super-resolution reconstruction ignored the spatio-temporal relationship between image frames, a method of multiframe infrared image super-resolution reconstruction based on generative adversarial networks (M-GANs) was proposed in this paper. Firstly, motion compensation was proposed for registration low resolution image frames; Secondly, a weight representation convolutional layer was performed to calculate the weight transfer; Finally, the generative adversarial network was used to reconstruct the high resolution image. Experimental results demonstrate that the proposed method surpass current state-of-the-art performance of both subjective and objective evaluation.
  • [1] Chandra M S, Rajan K, Srinivasan R. Locally adaptive regularization for robust multiframe super resolution reconstruction[J]. Advances in Computer Science, Eng Appl, 2012, AISC166:223-234.
    [2] Xiao C, Yu J, Xue Y. A high-efficiency super-resolution reconstruction algorithm from image/video sequences[C]//Third International IEEE Conference on Signal-Image Technologies and Internet-Based System, 2008:573-581.
    [3] Luo W, Zhang Y, Feizi A, et al. Pixel super-resolution using wavelength scanning[J]. Light:Science Application, 2016, 5(4):e16060.
    [4] Zhaoghao K, Chen L, Yang X S, et al. Super-resolution dipole orientation mapping via polarization demodulation[J]. Light:Science Application, 2016, 5(10):e16166.
    [5] Ashikaga H, Estner H L, Herzka D A, et al. Quantitative assessment of single-image super-resolution in myocardical scar imaging[J]. Medical Imaging and Diagnostic Radiology, 2014, 2(1):1-12.
    [6] Lei Sen, Shi Zhenwei, Zou Zhengxia. Super-resolution for remote sensing images via local-global combined network[J]. IEEE Geosciences and Remote Sensing Letters, 2017, 14(8):1243-1247.
    [7] Pan Z, Yu J, Huang H, et al. Super-resolution based on compressive sensing and structural self-similarity for remote sensing images[J]. IEEE Transactions Geosci and Remote Sensing Letters, 2013, 51(9):4864-4876.
    [8] Zhou F, Yang W M, Liao Q M. Interpolation-based image super-resolution using multisurface fitting[J]. IEEE Transactions on Image Processing, 2012, 21(7):3312-3318.
    [9] Freedman G, Fattal R. Image and video upscaling from local self-examples[J]. TOG, 2011, 28(2):1-11.
    [10] Liu Xueting, Song Daojin, Dong Chuandai, et al. MAP-based image superresolution reconstructionscience[J]. International Journal of Computer Science Engineering, 2008, 2(1):dai:10.1999/1307-6892/2034.
    [11] Simon Baker, Takeo Kanad. Limits on super-resolution and how to break them[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9):1167-1183.
    [12] Marcia L S A, Neison D A. Mascarenhas, generalization of iterative restoration techniques for super-resolution[C]//SIBGRAPI Conference on Graphics, Patterns and Images, 2011:258-265.
    [13] Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Signal Processing Magazine, 2010, 19(11):2861-2873.
    [14] Timofte R, Smet V D, Gool L V. Anchored neighborhood regression for fast example-based super-resolution[C]//IEEE International Conference on Computer Vision, 2013:1920-1927.
    [15] Wang Xinwei, Cao Yinan, Lu Dezhen, et al. Spatial difference shaping to improve range resolution in 3D super-resolution range-gated imaging[C]//2015 Inernational Conference on Optical Instruments and Technology:Optoelectronic Imaging and Processing Technology, 2015, 9622:1-8.
    [16] Zhang Di, He Jiazhong. Hybrid sparse-representation-based approach to image super-resolution reconstruction[J]. Journal of Electronic Imaging, 2017, 26(2):02308.
    [17] Dong Chao, Chen Change Loy, He Kaiming, et al. Image super-resolution using deep convolutianal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2):295-307.
    [18] Kappeler A, Yoo Seunghwan, Dai Qiqin, et al. Video super-resolution with convolutional neural networks[J]. IEEE Transactions on Computational Imaging, 2016, 2(2):109-122.
    [19] Shi Wenzhe, Caballero J, Huszar F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016:1874-1883.
    [20] Caballero J, Ledig C, Aitken A, et al. Real-time video super-resolution with spatio-temporal networks and motion compensation[C]//Computer Vision and Pattern Recognition, 2017, arXiv preprint arXiv:1611. 05250v2.
    [21] Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Computer Vision and Pattern Recognition, 2016, arXiv preprint arXiv:1609. 04802v1.
    [22] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial networks[C]//Machine Learning, 2014, arXiv preprint arXiv:1406. 2661vl.
  • [1] 胡浩丰, 黄一钊, 朱震, 马千文, 翟京生, 李校博.  基于深度学习复杂环境的偏振成像技术研究进展（特邀） . 红外与激光工程, 2024, 53(3): 20240057-1-20240057-18. doi: 10.3788/IRLA20240057
    [2] 曹军峰, 丁庆海, 罗海波.  基于空间非一致模糊核标定的红外图像超分辨率重建方法 . 红外与激光工程, 2024, 53(2): 20230252-1-20230252-10. doi: 10.3788/IRLA20230252
    [3] 刘禹彤, 李妍, 金璐, 汤化旭, 王舜, 吴雨聪, 冯悦姝.  基于深度学习的多分辨显微关联成像系统设计 . 红外与激光工程, 2023, 52(4): 20220461-1-20220461-8. doi: 10.3788/IRLA20220461
    [4] 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静.  深度学习下的散射成像：物理与数据联合建模优化（特邀） . 红外与激光工程, 2022, 51(8): 20220563-1-20220563-13. doi: 10.3788/IRLA20220563
    [5] 卞殷旭, 邢涛, 邓伟杰, 鲜勤, 乔洪磊, 于钱, 彭吉龙, 杨晓飞, 蒋燕男, 王家雄, 杨慎敏, 沈韧斌, 沈华, 匡翠方.  基于深度学习的色彩迁移生物医学成像技术 . 红外与激光工程, 2022, 51(2): 20210891-1-20210891-18. doi: 10.3788/IRLA20210891
    [6] 邓人隽, 史坦, 李向平, 邓子岚.  基于全局拓扑优化深度学习模型的超构光栅分束器 . 红外与激光工程, 2021, 50(5): 20211028-1-20211028-4. doi: 10.3788/IRLA20211028
    [7] 刘云朋, 霍晓丽, 刘智超.  基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
    [8] 张旭, 于明鑫, 祝连庆, 何彦霖, 孙广开.  基于全光衍射深度神经网络的矿物拉曼光谱识别方法 . 红外与激光工程, 2020, 49(10): 20200221-1-20200221-8. doi: 10.3788/IRLA20200221
    [9] 石峰, 陆同希, 杨书宁, 苗壮, 杨晔, 张闻文, 何睿清.  噪声环境下基于单像素成像系统和深度学习的目标识别方法 . 红外与激光工程, 2020, 49(6): 20200010-1-20200010-8. doi: 10.3788/IRLA20200010
    [10] 魏子康, 刘云清.  改进的RDN灰度图像超分辨率重建方法 . 红外与激光工程, 2020, 49(S1): 20200173-20200173. doi: 10.3788/IRLA20200173
    [11] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [12] 张秀, 周巍, 段哲民, 魏恒璐.  基于专家场先验模型的图像超分辨重建算法 . 红外与激光工程, 2019, 48(6): 626002-0626002(8). doi: 10.3788/IRLA201948.0626002
    [13] 张旭, 金伟其, 李力, 王霞, 秦超.  天然气泄漏被动式红外成像检测技术及系统性能评价研究进展 . 红外与激光工程, 2019, 48(S2): 47-59. doi: 10.3788/IRLA201948.S204001
    [14] 唐聪, 凌永顺, 杨华, 杨星, 路远.  基于深度学习的红外与可见光决策级融合检测 . 红外与激光工程, 2019, 48(6): 626001-0626001(15). doi: 10.3788/IRLA201948.0626001
    [15] 张秀, 周巍, 段哲民, 魏恒璐.  基于卷积稀疏自编码的图像超分辨率重建 . 红外与激光工程, 2019, 48(1): 126005-0126005(7). doi: 10.3788/IRLA201948.0126005
    [16] 刘天赐, 史泽林, 刘云鹏, 张英迪.  基于Grassmann流形几何深度网络的图像集识别方法 . 红外与激光工程, 2018, 47(7): 703002-0703002(7). doi: 10.3788/IRLA201847.0703002
    [17] 郭强, 芦晓红, 谢英红, 孙鹏.  基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
    [18] 耿磊, 梁晓昱, 肖志涛, 李月龙.  基于多形态红外特征与深度学习的实时驾驶员疲劳检测 . 红外与激光工程, 2018, 47(2): 203009-0203009(9). doi: 10.3788/IRLA201847.0203009
    [19] 胡斌, 黄颖, 马永利, 李岩.  高分辨率红外成像仪五反无焦主系统设计 . 红外与激光工程, 2016, 45(5): 518001-0518001(5). doi: 10.3788/IRLA201645.0518001
    [20] 陈艳菲, 王利恒, 王洪伟.  估算红外成像作用空间分辨率的新方法 . 红外与激光工程, 2014, 43(1): 33-38.
  • 加载中
WeChat 点击查看大图
计量
  • 文章访问数:  769
  • HTML全文浏览量:  95
  • PDF下载量:  259
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-08-05
  • 修回日期:  2017-10-09
  • 刊出日期:  2018-02-25

生成式对抗神经网络的多帧红外图像超分辨率重建

doi: 10.3788/IRLA201847.0203003
  • 1. 中国科学院长春光学精密机械与物理研究所,吉林 长春 130033;
  • 2. 中国科学院大学,北京 100049
    • 作者简介:

    李方彪(1990-),男,博士生,主要从事数字图像处理及超分辨率图像重建方面的研究。Email:lifangbiao1215@163.com

  • 收稿日期: 2017-08-05
  • 修回日期: 2017-10-09
  • 刊出日期: 2018-02-25
基金项目:

国家自然科学基金（61405191）

  • 中图分类号: TP391

摘要: 生成式对抗神经网络在约束图像生成表现出了巨大潜力，使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑，缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题，提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法（M-GANs）。首先，对低分辨率图像序列进行运动补偿；其次，使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算；最后，将其输入生成式对抗重建网络，输出重建后的高分辨率图像。实验结果表明：文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。

English Abstract

    全文HTML

参考文献 (22)

目录

    /

    返回文章
    返回

    版权所有 © 2019 《红外与激光工程》编辑部｜ 地址: 天津市空港经济区中环西路58号｜ 邮政编码: 300308

    津ICP备19007885号-1

    本系统由 北京仁和汇智信息技术有限公司 开发    百度统计