留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

对抗网络实现单幅RGB重建高光谱图像

刘鹏飞 赵怀慈 李培玄

刘鹏飞, 赵怀慈, 李培玄. 对抗网络实现单幅RGB重建高光谱图像[J]. 红外与激光工程, 2020, 49(S1): 20200093. doi: 10.3788/IRLA20200093
引用本文: 刘鹏飞, 赵怀慈, 李培玄. 对抗网络实现单幅RGB重建高光谱图像[J]. 红外与激光工程, 2020, 49(S1): 20200093. doi: 10.3788/IRLA20200093
Liu Pengfei, Zhao Huaici, Li Peixuan. Hyperspectral images reconstruction using adversarial networks from single RGB image[J]. Infrared and Laser Engineering, 2020, 49(S1): 20200093. doi: 10.3788/IRLA20200093
Citation: Liu Pengfei, Zhao Huaici, Li Peixuan. Hyperspectral images reconstruction using adversarial networks from single RGB image[J]. Infrared and Laser Engineering, 2020, 49(S1): 20200093. doi: 10.3788/IRLA20200093

对抗网络实现单幅RGB重建高光谱图像

doi: 10.3788/IRLA20200093
基金项目: 

装备预研重点基金(JZX7Y2019025049301)

详细信息
    作者简介:

    刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

    通讯作者: 赵怀慈(1974-),男,研究员,博士生导师,博士,主要从事图像处理、复杂系统建模与仿真技术,指挥、控制、通信与信息处理技术方面的研究。Email:hczhao@sia.cn
  • 中图分类号: TP391;TP183

Hyperspectral images reconstruction using adversarial networks from single RGB image

  • 摘要: 高光谱成像能够提供比普通RGB图像更全的光谱信息,在监测自然环境变化、农业植被土壤分类等具有广泛的应用。从单幅RGB图像重建高光谱信息是严重欠约束问题,传统重建算法需要增加光学组件或已知相机光谱响应,在实际应用中往往不能满足要求。针对此问题,提出一种端到端对抗生成网络,设计一种改进残差结构作为对抗网络的基本模块,使用多尺度特征金字塔融合局部和全局特征并捕获像素空间上下文信息;提出了新的WNet网络,利用局部边缘图像引导模型学习到高频信号,进一步提升了高光谱重建精度。实验结果表明:无论是高光谱图像数据合成的RGB图像以及普通相机拍摄的真实RGB图像,所提方法的高光谱重建效果在定量和定性评价指标上均优于已有的代表性方法,对比稀疏字典算法,均方误差和相对均方误差分别降低了45%和50%。
  • [1] Huang Hong, Tang Yuxiao, Duan Yule. Feature extraction of hyperspectral image with semi-supervised multi-graph embedding[J]. Optics and Precision Engineering, 2020, 28(2):443-456. (in Chinese)黄鸿, 唐玉枭, 段宇乐. 半监督多图嵌入的高光谱影像特征提取[J]. 光学精密工程, 2020, 28(2):443-456.
    [2] Zhao Huijie, Li Jimin, Jia Guorui, et al. Correlation-wavelet method for separation of hyperspectral thermal infrared temperature and emissivity[J]. Optics and Precision Engineering, 2019, 27(8):1738-1744. (in Chinese)赵慧洁, 李济民, 贾国瑞, 等. 高光谱热红外温度发射率分离的相关小波法[J]. 光学精密工程, 2019, 27(8):1738-1744.
    [3] He Sailing, Chen Xiang, Li Shuo, et al. Small hyperspectral imagers and lidars and their marine applications[J]. Infrared and Laser Engineering, 2020, 49(2):0203001. (in Chinese)何赛灵, 陈祥, 李硕, 等. 小型高光谱图谱仪与激光雷达及其海洋应用[J].红外与激光工程, 2020, 49(2):0203001.
    [4] Arad B, Benshahar O. Sparse recovery of hyperspectral signal from natural RGB images[C]//European Conference on Computer Vision, 2016:19-34.
    [5] Zhang Zexia, Chang Jun, Ren Hongxi, et al. Snapshot imaging spectrometer based on a microlens array[J]. Chinese Optics Letters, 2019, 17(1):35-39.
    [6] Takatani T, Aoto T, Mukaigawa Y, et al. One-shot hyperspectral imaging using faced reflectors[C]//Computer Vision and Pattern Recognition, 2017:2692-2700.
    [7] Oh S W, Brown M S, Pollefeys M, et al. Do it yourself hyperspectral imaging with everyday digital cameras[C]//Computer Vision and Pattern Recognition, 2016:2461-2469.
    [8] Akhtar N, Shafait F, Mian A, et al. Hierarchical beta Process with gaussian process prior for hyperspectral image super resolution[C]//European Conference on Computer Vision, 2016:103-120.
    [9] Jia Y, Zheng Y, Gu L, et al. From RGB to spectrum for natural scenes via manifold-based mapping[C]//International Conference on Computer Vision, 2017:4715-4723.
    [10] Wang Chunzhe, An Junshe, Jiang Xiujie, et al. Region proposal optimization algorithm based on convolutional neural networks[J]. Chinese Optics, 2019, 12(6):1348-1361. (in Chinese)王春哲, 安军社, 姜秀杰, 等. 基于卷积神经网络的候选区域优化算法[J]. 中国光学, 2019, 12(6):1348-1361.
    [11] Zhang Lamei, Chen Zexi, Zou Bin. Fine classification of polarimetric SAR images based on 3D convolutional neural network[J]. Infrared and Laser Engineering, 2018, 47(7):0703001. (in Chinese)张腊梅, 陈泽茜, 邹斌. 基于3D卷积神经网络的PolSAR图像精细分类[J]. 红外与激光工程, 2018, 47(7):0703001.
    [12] Zhang Xiu, Zhou Wei, Duan Zhemin, et al. Convolutional sparse auto-encoder for image super-resolution reconstruction[J]. Infrared and Laser Engineering, 2019, 48(1):0126005. (in Chinese)张秀, 周巍, 段哲民, 等. 基于卷积稀疏自编码的图像超分辨率重建[J].红外与激光工程, 2019, 48(1):0126005.
    [13] Xiong Z, Shi Z, Li H, et al. HSCNN:CNN-based hyperspectral image recovery fromspectrally undersampled projections[C]//International Conference on Computer Vision, 2017:518-525.
    [14] Shi Z, Chen C, Xiong Z, et al. HSCNN+:advanced CNN-based hyperspectral recovery from RGB images[C]//Computer Vision and Pattern Recognition, 2018:939-947.
    [15] Alvarezgila A, De Weijer J V, Garrote E, et al. Adversarial networks for spatial context-aware spectral image reconstruction from RGB[C]//International Conference on Computer Vision, 2017:480-490.
    [16] Chakrabarti A, Zickler T. Statistics of real-world hyperspectral images[C]//Computer Vision and Pattern Recognition, 2011:193-200.
  • [1] 薛珊, 陈宇超, 吕琼莹, 曹国华.  基于坐标注意力机制融合的反无人机系统图像识别方法 . 红外与激光工程, 2022, 51(9): 20211101-1-20211101-11. doi: 10.3788/IRLA20211101
    [2] 赵晓枫, 徐叶斌, 吴飞, 牛家辉, 蔡伟, 张志利.  基于并行注意力机制的地面红外目标检测方法(特邀) . 红外与激光工程, 2022, 51(4): 20210290-1-20210290-8. doi: 10.3788/IRLA20210290
    [3] 闵莉, 曹思健, 赵怀慈, 刘鹏飞.  改进生成对抗网络实现红外与可见光图像融合 . 红外与激光工程, 2022, 51(4): 20210291-1-20210291-10. doi: 10.3788/IRLA20210291
    [4] 庞忠祥, 刘勰, 刘桂华, 龚泿军, 周晗, 罗洪伟.  并行多特征提取网络的红外图像增强方法 . 红外与激光工程, 2022, 51(8): 20210957-1-20210957-9. doi: 10.3788/IRLA20210957
    [5] 王向军, 欧阳文森.  多尺度循环注意力网络运动模糊图像复原方法 . 红外与激光工程, 2022, 51(6): 20210605-1-20210605-9. doi: 10.3788/IRLA20210605
    [6] 崔洲涓, 安军社, 崔天舒.  融合通道互联空间注意力的Siamese网络跟踪算法 . 红外与激光工程, 2021, 50(3): 20200148-1-20200148-13. doi: 10.3788/IRLA20200148
    [7] 黄攀, 杨小冈, 卢瑞涛, 常振良, 刘闯.  基于空间联合的红外舰船目标数据增强方法 . 红外与激光工程, 2021, 50(12): 20210281-1-20210281-10. doi: 10.3788/IRLA20210281
    [8] 林森, 刘世本, 唐延东.  多输入融合对抗网络的水下图像增强 . 红外与激光工程, 2020, 49(5): 20200015-20200015-9. doi: 10.3788/IRLA20200015
    [9] 陈明, 赵连飞, 苑立民, 徐峰, 韩默.  基于特征选择YOLOv3网络的红外图像绝缘子检测方法 . 红外与激光工程, 2020, 49(S2): 20200401-20200401. doi: 10.3788/IRLA20200401
    [10] 唐绍凡, 鲁之君, 王伟刚, 李欢.  航天高光谱成像仪简述(特邀) . 红外与激光工程, 2019, 48(3): 303003-0303003(9). doi: 10.3788/IRLA201948.0303003
    [11] 王咏梅, 石恩涛, 王后茂.  宽谱段高光谱成像仪星上波长定标方法 . 红外与激光工程, 2019, 48(3): 303006-0303006(7). doi: 10.3788/IRLA201948.0303006
    [12] 余思泉, 韩志, 唐延东, 吴成东.  基于对抗生成网络的纹理合成方法 . 红外与激光工程, 2018, 47(2): 203005-0203005(6). doi: 10.3788/IRLA201847.0203005
    [13] 谢冰, 段哲民, 马鹏阁, 陈宇.  动态金字塔模型的红外图像SR重建 . 红外与激光工程, 2018, 47(1): 126001-0126001(6). doi: 10.3788/IRLA201847.0126001
    [14] 葛明锋, 亓洪兴, 王义坤, 王雨曦, 马彦鹏, 蔡能斌, 舒嵘.  基于轻小型无人直升机平台的高光谱遥感成像系统 . 红外与激光工程, 2015, 44(11): 3402-3407.
    [15] 巩盾, 王红.  空间高光谱成像仪的光学设计 . 红外与激光工程, 2014, 43(2): 541-545.
    [16] 杨晟, 李学军, 朱诗兵, 刘涛.  抗仿射形变异构金字塔复合描述点特征匹配算法 . 红外与激光工程, 2014, 43(7): 2387-2392.
    [17] 张东彦, 赵晋陵, 黄林生, 马雯萩.  用于高光谱图像分类的归一化光谱指数的构建与应用 . 红外与激光工程, 2014, 43(2): 586-594.
    [18] 刘恂, 华文深, 杨佳.  面向高光谱探测的伪装效果评价方法 . 红外与激光工程, 2014, 43(10): 3228-3232.
    [19] 孟卫华, 倪国强, 高昆, 向静波, 项建胜.  红外高光谱成像的光谱聚焦 . 红外与激光工程, 2013, 42(3): 774-779.
    [20] 孟鑫, 李建欣, 李苏宁, 朱日宏.  像面干涉成像光谱技术中的复原方法 . 红外与激光工程, 2013, 42(8): 2238-2243.
  • 加载中
计量
  • 文章访问数:  200
  • HTML全文浏览量:  48
  • PDF下载量:  22
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-04-02
  • 修回日期:  2020-05-05

对抗网络实现单幅RGB重建高光谱图像

doi: 10.3788/IRLA20200093
    作者简介:

    刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

    通讯作者: 赵怀慈(1974-),男,研究员,博士生导师,博士,主要从事图像处理、复杂系统建模与仿真技术,指挥、控制、通信与信息处理技术方面的研究。Email:hczhao@sia.cn
基金项目:

装备预研重点基金(JZX7Y2019025049301)

  • 中图分类号: TP391;TP183

摘要: 高光谱成像能够提供比普通RGB图像更全的光谱信息,在监测自然环境变化、农业植被土壤分类等具有广泛的应用。从单幅RGB图像重建高光谱信息是严重欠约束问题,传统重建算法需要增加光学组件或已知相机光谱响应,在实际应用中往往不能满足要求。针对此问题,提出一种端到端对抗生成网络,设计一种改进残差结构作为对抗网络的基本模块,使用多尺度特征金字塔融合局部和全局特征并捕获像素空间上下文信息;提出了新的WNet网络,利用局部边缘图像引导模型学习到高频信号,进一步提升了高光谱重建精度。实验结果表明:无论是高光谱图像数据合成的RGB图像以及普通相机拍摄的真实RGB图像,所提方法的高光谱重建效果在定量和定性评价指标上均优于已有的代表性方法,对比稀疏字典算法,均方误差和相对均方误差分别降低了45%和50%。

English Abstract

参考文献 (16)

目录

    /

    返回文章
    返回