基于对抗生成网络的纹理合成方法

余思泉; 韩志; 唐延东; 吴成东

doi:10.3788/IRLA201847.0203005

基于对抗生成网络的纹理合成方法

doi: 10.3788/IRLA201847.0203005

1.
东北大学信息科学与工程学院,辽宁沈阳 110000;
2.
中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁沈阳 110000

基金项目:

国家自然科学基金（61773367，61303168）;中国科学院青年创新促进会（2016183）

详细信息

作者简介:
余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

中图分类号: TP391

Texture synthesis method based on generative adversarial networks

1.
School of Information Science and Engineering,Northeastern University,Shenyang 110000,China;
2.
State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110000,China

摘要: 纹理合成是计算机图形学、计算机视觉和图像处理领域的研究热点之一。传统的纹理合成方法往往通过提取有效的特征样式或统计量并在该特征信息的约束下生成随机图像来实现。对抗生成网络作为一种较新的深度网络形式，通过生成器和判别器的对抗训练能够随机生成与观测数据具有相同分布的新数据。鉴于此，提出了一种基于对抗生成网络的纹理合成方法。该算法的优点是不需要经过多次迭代就能够生成更真实纹理图像，且生成图像在视觉上与观测纹理图像一致的同时具有一定随机性。一系列针对随机纹理和结构性纹理的合成实验验证了该算法的有效性。
- 纹理合成 /
- 深度学习 /
- 生成模型 /
- 对抗生成网络
Abstract: Texture synthesis is a hot research topic in the fields of computer graphics, vision, and image processing. Traditional texture synthesis methods are generally achieved by extracting effective feature patterns or statistics and generating random images under the constraint of the feature information. Generative adversarial networks (GANs) is a new type of deep network. It can randomly generate new data of the same distribution as the observed data by training generator and discriminator in an adversarial learning mechanism. Inspired by this point, a texture synthesis method based on GANs was proposed. The advantage of the algorithm was that it could generate more realistic texture images without iteration; the generated images were visually consistent with the observed texture image and also had randomness. A series of experiments for random texture and structured texture synthesis verify the effectiveness of the proposed algorithm.
- texture synthesis /
- deep learning /
- generative model /
- generative adversarial networks

[1]	Huang Jun, Li Feng, Gui Yan, et al. Surfaces texture synthesis based on texel distribution[J]. Journal of Chinese Computer Systems, 2016, 37(10):2361-2365. (in Chinese)
[2]	Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Tras Process, 2004, 13(9):1200-1212.
[3]	Kwatra V, Essa I, Turk G, et al. Graphcut textures:Image and video synthesis using graph cuts[C]//ACM Transactions on Graphics, 2003:277-286.
[4]	Lefebvre S, Hoppe H. Parallel controllable texture synthesis[C]//ACM Transactions on Graphics, 2005, 24(3):777-786.
[5]	Zhang Weiwei, He Kai, Meng Chunzhi. Texture synthesis method by adaptive selecting size of patches[J]. Computer Engineering and Applications, 2012, 48(17):170-173. (in Chinese)
[6]	Song C Z, Wu Y, Mumford D. Filters, random fields and maximum entropy (FRAME):towards a unified theory for texture modeling[J]. International Journal of Computer Vision, 1998, 27(2):107-126.
[7]	Kwatra V, Essa I, Bobick A, et al. Texture optimization for example-based synthesis[C]//ACM Transactions on Graphics, 2005:795-802.
[8]	Urs R D, Costa J P D, Germain C. Maximum-likelihood based synthesis of volumetric textures from a 2D sample[J]. IEEE Transactions on Image Processing, 2014, 23(4):1820-1830.
[9]	Xie J, Hu W, Zhu S C, et al. Learning sparse FRAME models for natural image patterns[J]. International Journal of Computer Vision, 2015, 114(2-3):1-22.
[10]	Lu Y, Zhu S C, Wu Y N. Learning FRAME models using CNN filters[J]. Computer Science, 2015, arxiv:1509.08379v3.
[11]	Gatys L A, Ecker A S, Bethge M. Texture synthesis using convolutional neural networks[J]. Febs Letters, 2015, 70(1):51-55.
[12]	Schreiber S, Geldenhuys J, Villiers H D. Texture synthesis using convolutional neural networks with long-range consistency and spectral constraints[C]//Pattern Recognition Association of South Africa and Robotics and Mechatronics International Conference. IEEE, 2017:1-6.
[13]	Xiao Chunxia, Huang Zhiyong, Nie Yongwei, et al. Global texture optimization incorporating with image detail[J]. Chinese Journal of Computers, 2009, 32(6):1196-1205. (in Chinese)
[14]	Tang Ying, Lin Qifeng, Xiao Tingzhe, et al. GPU-based texture synthesis with preserved structures[J]. Computer Science, 2016, 43(4):299-302. (in Chinese)
[15]	Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//International Conference on Neural Information Processing Systems, 2014:2672-2680.

[1]	王志远, 赖雪恬, 林惠川, 陈福昌, 曾峻, 陈子阳, 蒲继雄. 基于深度学习实现透过浑浊介质图像重构（特邀） . 红外与激光工程, 2022, 51(8): 20220215-1-20220215-10. doi: 10.3788/IRLA20220215
[2]	熊子涵, 宋良峰, 刘欣, 左超, 郜鹏. 基于深度学习的荧光显微性能提升（特邀） . 红外与激光工程, 2022, 51(11): 20220536-1-20220536-18. doi: 10.3788/IRLA20220536
[3]	陈寒梅, 于春荣, 刘智超. 基于深度学习的室内照明智能调节系统 . 红外与激光工程, 2022, 51(7): 20210829-1-20210829-6. doi: 10.3788/IRLA20210829
[4]	张逸文, 蔡宇, 苑莉薪, 胡明列. 基于循环神经网络的超短脉冲光纤放大器模型（特邀） . 红外与激光工程, 2022, 51(1): 20210857-1-20210857-7. doi: 10.3788/IRLA20210857
[5]	钟友坤, 莫海宁. 基于深度自编码-高斯混合模型的视频异常检测方法 . 红外与激光工程, 2022, 51(6): 20210547-1-20210547-7. doi: 10.3788/IRLA20210547
[6]	范有臣, 马旭, 马淑丽, 钱克昌, 郝红星. 基于深度学习的激光干扰效果评价方法 . 红外与激光工程, 2021, 50(S2): 20210323-1-20210323-7. doi: 10.3788/IRLA20210323
[7]	邓人隽, 史坦, 李向平, 邓子岚. 基于全局拓扑优化深度学习模型的超构光栅分束器 . 红外与激光工程, 2021, 50(5): 20211028-1-20211028-4. doi: 10.3788/IRLA20211028
[8]	刘云朋, 霍晓丽, 刘智超. 基于深度学习的光纤网络异常数据检测算法 . 红外与激光工程, 2021, 50(6): 20210029-1-20210029-6. doi: 10.3788/IRLA20210029
[9]	林森, 刘世本, 唐延东. 多输入融合对抗网络的水下图像增强 . 红外与激光工程, 2020, 49(5): 20200015-20200015-9. doi: 10.3788/IRLA20200015
[10]	杨程, 鄢秋荣, 祝志太, 王逸凡, 王明, 戴伟辉. 基于深度学习的压缩光子计数激光雷达 . 红外与激光工程, 2020, 49(S2): 20200380-20200380. doi: 10.3788/IRLA20200380
[11]	钟锦鑫, 尹维, 冯世杰, 陈钱, 左超. 基于深度学习的散斑投影轮廓术 . 红外与激光工程, 2020, 49(6): 20200011-1-20200011-11. doi: 10.3788/IRLA20200011
[12]	张旭, 于明鑫, 祝连庆, 何彦霖, 孙广开. 基于全光衍射深度神经网络的矿物拉曼光谱识别方法 . 红外与激光工程, 2020, 49(10): 20200221-1-20200221-8. doi: 10.3788/IRLA20200221
[13]	梁欣凯, 宋闯, 赵佳佳. 基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
[14]	周宏强, 黄玲玲, 王涌天. 深度学习算法及其在光学的应用 . 红外与激光工程, 2019, 48(12): 1226004-1226004(20). doi: 10.3788/IRLA201948.1226004
[15]	唐聪, 凌永顺, 杨华, 杨星, 郑超. 基于深度学习物体检测的视觉跟踪方法 . 红外与激光工程, 2018, 47(5): 526001-0526001(11). doi: 10.3788/IRLA201847.0526001
[16]	唐聪, 凌永顺, 郑科栋, 杨星, 郑超, 杨华, 金伟. 基于深度学习的多视窗SSD目标检测方法 . 红外与激光工程, 2018, 47(1): 126003-0126003(9). doi: 10.3788/IRLA201847.0126003
[17]	郭强, 芦晓红, 谢英红, 孙鹏. 基于深度谱卷积神经网络的高效视觉目标跟踪算法 . 红外与激光工程, 2018, 47(6): 626005-0626005(6). doi: 10.3788/IRLA201847.0626005
[18]	刘天赐, 史泽林, 刘云鹏, 张英迪. 基于Grassmann流形几何深度网络的图像集识别方法 . 红外与激光工程, 2018, 47(7): 703002-0703002(7). doi: 10.3788/IRLA201847.0703002
[19]	李方彪, 何昕, 魏仲慧, 何家维, 何丁龙. 生成式对抗神经网络的多帧红外图像超分辨率重建 . 红外与激光工程, 2018, 47(2): 203003-0203003(8). doi: 10.3788/IRLA201847.0203003
[20]	张秀玲, 侯代标, 张逞逞, 周凯旋, 魏其珺. 深度学习的MPCANet火灾图像识别模型设计 . 红外与激光工程, 2018, 47(2): 203006-0203006(6). doi: 10.3788/IRLA201847.0203006

点击查看大图

计量

文章访问数: 551
HTML全文浏览量: 82
PDF下载量: 122
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于对抗生成网络的纹理合成方法

doi: 10.3788/IRLA201847.0203005

作者简介:
余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

Texture synthesis method based on generative adversarial networks

计量

基于对抗生成网络的纹理合成方法

doi: 10.3788/IRLA201847.0203005

1. 东北大学信息科学与工程学院,辽宁沈阳 110000;

2. 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁沈阳 110000

作者简介:
余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

English Abstract

Texture synthesis method based on generative adversarial networks

1. School of Information Science and Engineering,Northeastern University,Shenyang 110000,China;

2. State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110000,China

全文HTML

目录

留言板

基于对抗生成网络的纹理合成方法

doi: 10.3788/IRLA201847.0203005

作者简介: 余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

Texture synthesis method based on generative adversarial networks

计量

出版历程

基于对抗生成网络的纹理合成方法

doi: 10.3788/IRLA201847.0203005

1. 东北大学 信息科学与工程学院,辽宁 沈阳 110000; 2. 中国科学院沈阳自动化研究所 机器人学国家重点实验室,辽宁 沈阳 110000

作者简介: 余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

English Abstract

Texture synthesis method based on generative adversarial networks

1. School of Information Science and Engineering,Northeastern University,Shenyang 110000,China; 2. State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110000,China

全文HTML

目录

作者简介:
余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

1. 东北大学信息科学与工程学院,辽宁沈阳 110000;

2. 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁沈阳 110000

作者简介:
余思泉(1988-),男,博士生,主要从事图像中层表达、深度学习等方面的研究。Email:yusiquan@sia.cn

1. School of Information Science and Engineering,Northeastern University,Shenyang 110000,China;

2. State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang 110000,China