多尺度卷积神经网络的噪声模糊图像盲复原

刘鹏飞; 赵怀慈; 曹飞道

doi:10.3788/IRLA201948.0426001

多尺度卷积神经网络的噪声模糊图像盲复原

doi: 10.3788/IRLA201948.0426001

刘鹏飞^1,2,3,4,
赵怀慈^1,2,4,
曹飞道^1,2,3,4

1.
中国科学院沈阳自动化研究所,辽宁沈阳 110016;
2.
中国科学院机器人与智能制造创新研究院,辽宁沈阳 110169;
3.
中国科学院大学,北京 100049;
4.
中国科学院光电信息处理重点实验室,辽宁沈阳 110016

基金项目:

装备预研领域基金（61400010102）

详细信息

作者简介:
刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

中图分类号: TP391

Blind deblurring of noisy and blurry images of multi-scale convolutional neural network

Liu Pengfei^1,2,3,4,
Zhao Huaici^1,2,4,
Cao Feidao^1,2,3,4

1.
Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110016,China;
2.
Institutes for Robotics and Intelligent Manufacturing,Chinese Academy of Sciences,Shenyang 110169,China;
3.
University of Chinese Academy of Sciences,Beijing 100049,China;
4.
Key Laboratory of Optical-electronics Information Processing,Chinese Academy of Sciences,Shenyang 110016,China

摘要: 图像盲复原是从一幅观测的模糊图像恢复出模糊核和清晰图像，传统盲去卷积算法采用简化模型估计模糊核，导致预测模糊核与真实值误差较大，最终复原结果不理想。针对此问题提出一种基于改进残差模块的多尺度卷积神经网络模型，采用端到端模式，无需估计模糊核。提出了一种基于限制网络输入的改进Wasserstein GAN （WGAN），增加了一层输入限制层，能够限定参数初始值，提高了网络收敛速度。设计了多重损失函数，融合了基于多尺度网络的感知损失和基于条件式生成对抗网络的对抗损失。实验结果表明：所提方法在定量和定性评价指标上优于已有的代表性方法，并且运行速度比相近算法快了4倍。
- 多尺度卷积神经网络 /
- 多重损失函数 /
- 生成式对抗网络 /
- 噪声模糊图像
Abstract: The purpose of image blind deconvolution is to estimate the unknown blur kernel from an observed blurred image and recover the original sharp image. Conventional methods used simple models to estimate blur kernel, meaning mistakes were inevitable between estimated blur kernel and the real one. It would cause the final deblurred image unpredictable. A multi-scale convolutional neural network was presented based on the novel residual network. And it restored sharp images in an end-to-end manner without estimating blur kernel. Domain constraint layer was designed to the WGAN, it could restrict parameters initial values and accelerate convergence. A total loss function was designed including perception loss which was based on the multi-scale network and adversarial loss which was based on conditional GAN. Extensive experiments show the superiority of the proposed method over other representative methods in terms of quality and quantity. The method is 4 times faster than the similar methods.
- multi-scale convolution neural network /
- multiple loss function /
- generative adversarial networks /
- noisy and blurry image

[1]	Zhou Luoyu, Zhang Bao, Yang Yang. Estimation of parameter of defocused blurred image using Hough transform[J]. Infrared and Laser Engineering, 2012, 41(10):2833-2837. (in Chinese)周箩鱼, 张葆, 杨扬. 采用Hough变换的离焦模糊参数的估计[J]. 红外与激光工程, 2012, 41(10):2833-2837.
[2]	Whyte O, Zisserman A, Ponce J. Non-uniform deblurring for shaken images[J]. International Journal of Computer Vision, 2012, 98(2):168-186.
[3]	Sun Shijie, Zhao Huaici, Li Bo, et al. Blind deconvolution for noisy and blurry images using low rank prior[J]. Journal of Electronics Information Technology, 2017, 39(8):1919-1926. (in Chinese)孙士洁, 赵怀慈, 李波, 等. 利用低秩先验的噪声模糊图像盲去卷积[J]. 电子与信息学报, 2017, 39(8):1919-1926.
[4]	Kim T H, Lee K M. Segmentation-free dynamic scene deblurring[C]//Computer Vision and Pattern Recognition. IEEE, 2014:2766-2773.
[5]	Liu Tianci, Shi Zelin, Liu Yunpeng, et al. Geometry deep network image-set recognition method based on Grassmann manifolds[J]. Infrared and Laser Engineering, 2018, 47(7):0703002. (in Chinese)刘天赐, 史泽林, 刘云鹏, 等. 基于Grassmann流形几何深度网络的图像集识别方法[J]. 红外与激光工程, 2018, 47(7):0703002.
[6]	Zhang Lamei, Chen Zexi, Zou Bin. Fine classification of polarimetric SAR images based on 3D convolutional neural network[J]. Infrared and Laser Engineering, 2018, 47(7):0703001. (in Chinese)张腊梅, 陈泽茜, 邹斌.基于3D卷积神经网络的PolSAR图像精细分类[J]. 红外与激光工程, 2018, 47(7):0703001.
[7]	Schuler C, Hirsch M, Harmeling S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2016, 38(7):1439-1451.
[8]	Nah S, Kim T H, Lee K M. Deep Multi-scale convolutional neural network for dynamic scene deblurring[JJ]. IEEE Computer Vision and Pattern Recognition, 2017, 35(1):257-265.
[9]	Feng Jun, Yan Yuyu, Zhao Yan, et al. A terracotta image partition matching method based on learned invariant feature transform[J]. Optics and Precision Engineering, 2018, 26(7):1774-1783. (in Chinese)冯筠, 延瑜瑜, 赵妍, 等. 基于学习不变特征变换的兵马俑图像分区匹配[J]. 光学精密工程, 2018, 26(7):1774-1783.
[10]	Ji Huizhong, Jia Dayu, Dong Enqing, et al. Non-rigid registrations based on image characteristics and optical flows[J]. Optics and Precision Engineering, 2017, 25(9):2469-2482. (in Chinese)纪慧中, 贾大宇, 董恩清, 等. 基于图像特征和光流场的非刚性图像配准[J]. 光学精密工程, 2017, 25(9):2469-2482.
[11]	Han Guangliang. Alignment between different source images by high frequency vector matching[J]. Chinese Optics, 2011, 4(5):468-473. (in Chinese)韩广良. 高频信息矢量匹配实现异源图像配准[J]. 中国光学, 2011, 4(5):468-473.
[12]	He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. IEEE Computer Vision and Pattern Recognition, 2016, 90(1):770-778.
[13]	Yu Siquan, Han Zhi, Tang Yandong, et al. Texture synthesis method based on generative adversarial networks[J]. Infrared and Laser Engineering, 2018, 47(2):0203005. (in Chinese)余思泉, 韩志, 唐延东, 等.基于对抗生成网络的纹理合成方法[J]. 红外与激光工程, 2018, 47(2):0203005.
[14]	Khler R, Hirsch M, Mohler B, et al. Recording and playback of camera shake:benchmarking blind deconvolution with a real-world database[C]//Conference on Computer Vision-ECCV 2012:27-40.
[15]	Lai W S, Huang J B, Hu Z, et al. A comparative study for single image blind deblurring[C]//Computer Vision and Pattern Recognition, IEEE, 2016:1701-1709.

[1]	齐悦, 董云云, 王溢琴. 基于汇聚级联卷积神经网络的旋转人脸检测方法 . 红外与激光工程, 2022, 51(12): 20220176-1-20220176-8. doi: 10.3788/IRLA20220176
[2]	刘瀚霖, 辛璟焘, 庄炜, 夏嘉斌, 祝连庆. 基于卷积神经网络的混叠光谱解调方法 . 红外与激光工程, 2022, 51(5): 20210419-1-20210419-9. doi: 10.3788/IRLA20210419
[3]	庄子波, 邱岳恒, 林家泉, 宋德龙. 基于卷积神经网络的激光雷达湍流预警 . 红外与激光工程, 2022, 51(4): 20210320-1-20210320-10. doi: 10.3788/IRLA20210320
[4]	王向军, 欧阳文森. 多尺度循环注意力网络运动模糊图像复原方法 . 红外与激光工程, 2022, 51(6): 20210605-1-20210605-9. doi: 10.3788/IRLA20210605
[5]	张颖, 李河申, 王昊, 孙军华, 张晞, 刘惠兰, 吕妍红. 基于神经网络的典型地物的偏振多光谱图像分类（特邀） . 红外与激光工程, 2022, 51(6): 20220249-1-20220249-8. doi: 10.3788/IRLA20220249
[6]	闵莉, 曹思健, 赵怀慈, 刘鹏飞. 改进生成对抗网络实现红外与可见光图像融合 . 红外与激光工程, 2022, 51(4): 20210291-1-20210291-10. doi: 10.3788/IRLA20210291
[7]	李保华, 王海星. 基于增强卷积神经网络的尺度不变人脸检测方法 . 红外与激光工程, 2022, 51(7): 20210586-1-20210586-8. doi: 10.3788/IRLA20210586
[8]	宦克为, 李向阳, 曹宇彤, 陈笑. 卷积神经网络结合NSST的红外与可见光图像融合 . 红外与激光工程, 2022, 51(3): 20210139-1-20210139-8. doi: 10.3788/IRLA20210139
[9]	刘鹏飞, 赵怀慈, 李培玄. 对抗网络实现单幅RGB重建高光谱图像 . 红外与激光工程, 2020, 49(S1): 20200093-20200093. doi: 10.3788/IRLA20200093
[10]	林森, 刘世本, 唐延东. 多输入融合对抗网络的水下图像增强 . 红外与激光工程, 2020, 49(5): 20200015-20200015-9. doi: 10.3788/IRLA20200015
[11]	高泽宇, 李新阳, 叶红卫. 流场测速中基于深度卷积神经网络的光学畸变校正技术 . 红外与激光工程, 2020, 49(10): 20200267-1-20200267-10. doi: 10.3788/IRLA20200267
[12]	薛珊, 张振, 吕琼莹, 曹国华, 毛逸维. 基于卷积神经网络的反无人机系统图像识别方法 . 红外与激光工程, 2020, 49(7): 20200154-1-20200154-8. doi: 10.3788/IRLA20200154
[13]	余思泉, 韩志, 唐延东, 吴成东. 基于对抗生成网络的纹理合成方法 . 红外与激光工程, 2018, 47(2): 203005-0203005(6). doi: 10.3788/IRLA201847.0203005
[14]	郭强, 芦晓红, 谢英红, 孙鹏. 基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
[15]	张腊梅, 陈泽茜, 邹斌. 基于3D卷积神经网络的PolSAR图像精细分类 . 红外与激光工程, 2018, 47(7): 703001-0703001(8). doi: 10.3788/IRLA201847.0703001
[16]	李方彪, 何昕, 魏仲慧, 何家维, 何丁龙. 生成式对抗神经网络的多帧红外图像超分辨率重建 . 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
[17]	底晓强, 母一宁, 李锦青, 杨华民. 一种基于TLM超混沌细胞神经网络图像加密新算法 . 红外与激光工程, 2014, 43(12): 4170-4176.
[18]	于海, 梁立辉, 王树洁, 卢新然, 万秋华. 基于径向基函数神经网络的高精度基准编码器误差补偿 . 红外与激光工程, 2014, 43(12): 4123-4127.
[19]	孙韶媛, 李琳娜, 赵海涛. 采用KPCA和BP神经网络的单目车载红外图像深度估计 . 红外与激光工程, 2013, 42(9): 2348-2352.
[20]	赵春晖, 刘振龙. 改进的红外图像神经网络非均匀性校正算法 . 红外与激光工程, 2013, 42(4): 1079-1083.

点击查看大图

计量

文章访问数: 513
HTML全文浏览量: 97
PDF下载量: 69
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

多尺度卷积神经网络的噪声模糊图像盲复原

doi: 10.3788/IRLA201948.0426001

作者简介:
刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

Blind deblurring of noisy and blurry images of multi-scale convolutional neural network

计量

多尺度卷积神经网络的噪声模糊图像盲复原

doi: 10.3788/IRLA201948.0426001

1. 中国科学院沈阳自动化研究所,辽宁沈阳 110016;

2. 中国科学院机器人与智能制造创新研究院,辽宁沈阳 110169;

3. 中国科学院大学,北京 100049;

4. 中国科学院光电信息处理重点实验室,辽宁沈阳 110016

作者简介:
刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

English Abstract

Blind deblurring of noisy and blurry images of multi-scale convolutional neural network

全文HTML

目录

留言板

多尺度卷积神经网络的噪声模糊图像盲复原

doi: 10.3788/IRLA201948.0426001

作者简介: 刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

Blind deblurring of noisy and blurry images of multi-scale convolutional neural network

计量

出版历程

多尺度卷积神经网络的噪声模糊图像盲复原

doi: 10.3788/IRLA201948.0426001

1. 中国科学院沈阳自动化研究所,辽宁 沈阳 110016; 2. 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169; 3. 中国科学院大学,北京 100049; 4. 中国科学院光电信息处理重点实验室,辽宁 沈阳 110016

作者简介: 刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

English Abstract

Blind deblurring of noisy and blurry images of multi-scale convolutional neural network

全文HTML

目录

作者简介:
刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn

1. 中国科学院沈阳自动化研究所,辽宁沈阳 110016;

2. 中国科学院机器人与智能制造创新研究院,辽宁沈阳 110169;

3. 中国科学院大学,北京 100049;

4. 中国科学院光电信息处理重点实验室,辽宁沈阳 110016

作者简介:
刘鹏飞(1988-),男,博士生,主要从事图像复原、深度学习方面的研究。Email:liupengfei@sia.cn