留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于光场结构特性与多视点匹配的深度估计

范晓婷 李奕 罗晓维 张凝 韩梦芯 雷建军

范晓婷, 李奕, 罗晓维, 张凝, 韩梦芯, 雷建军. 基于光场结构特性与多视点匹配的深度估计[J]. 红外与激光工程, 2019, 48(5): 524001-0524001(8). doi: 10.3788/IRLA201948.0524001
引用本文: 范晓婷, 李奕, 罗晓维, 张凝, 韩梦芯, 雷建军. 基于光场结构特性与多视点匹配的深度估计[J]. 红外与激光工程, 2019, 48(5): 524001-0524001(8). doi: 10.3788/IRLA201948.0524001
Fan Xiaoting, Li Yi, Luo Xiaowei, Zhang Ning, Han Mengxin, Lei Jianjun. Depth estimation based on light field structure characteristic and multiview matching[J]. Infrared and Laser Engineering, 2019, 48(5): 524001-0524001(8). doi: 10.3788/IRLA201948.0524001
Citation: Fan Xiaoting, Li Yi, Luo Xiaowei, Zhang Ning, Han Mengxin, Lei Jianjun. Depth estimation based on light field structure characteristic and multiview matching[J]. Infrared and Laser Engineering, 2019, 48(5): 524001-0524001(8). doi: 10.3788/IRLA201948.0524001

基于光场结构特性与多视点匹配的深度估计

doi: 10.3788/IRLA201948.0524001
基金项目: 

国家重点研发计划(2017YFB1002900);国家自然科学基金(61271324)

详细信息
    作者简介:

    范晓婷(1991-),女,博士生,主要从事计算机视觉与立体图像处理方面的研究。Email:xtfan@tju.edu.cn

    通讯作者: 罗晓维(1994-),男,硕士生,主要从事图像处理、深度学习方面的研究。Email:luoxw@tju.edu.cn
  • 中图分类号: TN911.73

Depth estimation based on light field structure characteristic and multiview matching

  • 摘要: 针对现有光场图像深度估计技术无法均衡地对主要对象和背景进行深度估计的问题,提出了一种基于光场结构特性与多视点匹配的深度估计方法。该方法在光场结构特性引导的深度估计的基础上,为了实现光场图像深度变化区域的平滑过渡,同时又考虑光场图像具有多视点子孔径图像阵列的特点,采用多视点匹配优化光场图像深度估计。在马尔可夫随机域中,基于光场结构特性构建深度估计平滑项,同时联合多视点匹配构建深度估计数据项,并进行全局深度迭代优化,从而有效平衡对象深度边界和背景深度估计,提高光场图像深度估计的性能。实验结果表明,所提出的方法能够得到更加清晰的深度边界,同时可以修正背景中不准确的深度值,获得高质量的深度估计结果。
  • [1] Lei J, Li L, Yue H, et al. Depth map super-resolution considering view synthesis quality[J]. IEEE Transactions on Image Processing, 2017, 26(4):1732-1745.
    [2] Liu Ziwei, Xu Tingfa, Wang Hongqing, et al. Theory and implementation of depth photography[J]. Infrared and Laser Engineering, 2016, 45(7):0726001. (in Chinese)刘子伟, 许廷发, 王洪庆, 等. 深度成像理论与实现[J]. 红外与激光工程, 2016, 45(7):0726001.
    [3] Lei J, Zhang C, Fang Y, et al. Depth sensation enhancement for multiple virtual view rendering[J]. IEEE Transactions on Multimedia, 2015, 17(4):457-469.
    [4] Wanner S, Goldluecke B. Globally consistent depth labeling of 4D light fields[C]//IEEE International Conference on Computer Vision and Pattern Recognition, 2012:1-8.
    [5] Yu Z, Yu J, Lumsdaine A, et al. Plenoptic depth map in the case of occlusions[C]//Proceedings of Mobile Computational Photography, 2013:8667-8676.
    [6] Yu Z, Guo X, Ling H, et al. Line assisted light field triangulation and stereo matching[C]//IEEE International Conference on Computer Vision, 2013:2792-2799.
    [7] Kim C, Zimmer H, Pritch Y, et al. Scene reconstruction from high spatio angular resolution light fields[J]. ACM Transactions on Graphics, 2013, 32(4):1-12.
    [8] Held R T, Cooper E A, Banks M S. Blur and disparity are complementary cues to depth[J]. Current Biology, 2012, 22(5):426-431.
    [9] Tao M W, Hadap S, Malik J, et al. Depth from combining defocus and correspondence using light-field cameras[C]//IEEE International Conference on Computer Vision, 2013:673-680.
    [10] Cao Y, Kai R, Jing Z, et al. Fast response aggregation for depth estimation using light field camera[C]//IEEE International Conference on Acoustics, Speech and Signal Processing, 2016:1636-1640.
    [11] Suzuki T, Takahashi K, Fujii T. Disparity estimation from light fields using sheared EPI analysis[C]//IEEE International Conference on Image Processing, 2016:1444-1448.
    [12] Li Yigui, Yan Ping, Huang Yuan, et al. Fabrication of PMMA micro lens array based on X-ray moving lithography[J]. Infrared and Laser Engineering, 2016, 45(6):0620001. (in Chinese)李以贵, 颜平, 黄远, 等. 基于X光移动光刻技术的PMMA微透镜阵列制备[J]. 红外与激光工程, 2016, 45(6):0620001.
    [13] Buades A, Facciolo G. Reliable multiscale and multiwindow stereo matching[J]. SIAM Journal on Imaging Sciences, 2015, 8(2):888-915.
    [14] Brox T, Bruhn A, Papenberg N, et al. High accuracy optical flow estimation based on a theory for warping[C]//European Conference on Computer Vision, 2004:25-36.
    [15] Boykov Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(9):1124-1137.
    [16] Wanner S, Goldluecke B. Globally consistent depth labeling of 4D light fields[C]//IEEE International Conference on Computer Vision and Pattern Recognition, 2012:1-8.
    [17] Jeon H-G, Park J, Choe G, et al. Accurate depth map estimation from a lenslet light field camera[C]//IEEE International Conference on Computer Vision and Pattern Recognition, 2015:1547-1555.
    [18] Wang T C, Efros A A, Ramamoorthi R. Occlusion-aware depth estimation using light-field cameras[C]//IEEE International Conference on Computer Vision, 2015:3487-3495.
    [19] Navarro J, Buades A. Reliable light field multiwindow disparity estimation[C]//IEEE International Conference on Image Processing, 2016:1449-1453.
  • [1] 李春宇, 于丙石, 赵波, CarmeloRosales-Guzmán, 白振旭, 朱智涵.  液晶几何相位技术实现光场空间结构全维度调控 . 红外与激光工程, 2023, 52(8): 20230396-1-20230396-3. doi: 10.3788/IRLA20230396
    [2] 吴海俊, 于丙石, 姜嘉琪, 赵波, CarmeloRosales-Guzmán, 白振旭, 朱智涵, 史保森.  光场空间结构全维度非线性调控理论及应用 . 红外与激光工程, 2023, 52(8): 20230397-1-20230397-5. doi: 10.3788/IRLA20230397
    [3] 王瑞, 刘博, 李志康, 陈臻, 易皓.  光子计数激光雷达的自适应时空关联深度估计 . 红外与激光工程, 2023, 52(5): 20220682-1-20220682-9. doi: 10.3788/IRLA20220682
    [4] 邬淼, 陆俣, 冒添逸, 何伟基, 陈钱.  单光子激光雷达的时间相关多深度估计 . 红外与激光工程, 2022, 51(2): 20210885-1-20210885-9. doi: 10.3788/IRLA20210885
    [5] 李霖, 王红梅, 李辰凯.  红外与可见光图像深度学习融合方法综述 . 红外与激光工程, 2022, 51(12): 20220125-1-20220125-20. doi: 10.3788/IRLA20220125
    [6] 何泽阳, 邓慧萍, 向森, 吴谨.  融合一致性与差异性约束的光场深度估计 . 红外与激光工程, 2021, 50(11): 20210021-1-20210021-11. doi: 10.3788/IRLA20210021
    [7] 石峰, 余大权, 林子韬, 杨书宁, 苗壮, 杨晔, 张闻文.  基于自适应对焦窗口的计算鬼成像目标深度估计方法 . 红外与激光工程, 2020, 49(3): 0303020-0303020-8. doi: 10.3378/IRLA202049.0303020
    [8] 吴庆阳, 黄浩涛, 陈顺治, 李奇锋, 陈泽锋, 卢晓婷.  基于结构光标记的光场三维成像技术研究 . 红外与激光工程, 2020, 49(3): 0303019-0303019-6. doi: 10.3378/IRLA202049.0303019
    [9] 孙全, 李程, 何宇龙, 刘贺, 王静, 许晓军.  基于光场相机结构的自适应光学系统仿真研究 . 红外与激光工程, 2020, 49(10): 20201043-1-20201043-8. doi: 10.3788/IRLA20201043
    [10] 盛家川, 陈雅琦, 王君, 韩亚洪.  深度学习结构优化的图像情感分类 . 红外与激光工程, 2020, 49(11): 20200269-1-20200269-10. doi: 10.3788/IRLA20200269
    [11] 庄子波, 陈星, 台宏达, 宋德龙, 徐丰田, 邢志伟.  双激光雷达的水平风场估计方法 . 红外与激光工程, 2019, 48(10): 1005008-1005008(8). doi: 10.3788/IRLA201948.1005008
    [12] 梁欣凯, 宋闯, 赵佳佳.  基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
    [13] 杨楠, 南琳, 张丁一, 库涛.  基于深度学习的图像描述研究 . 红外与激光工程, 2018, 47(2): 203002-0203002(8). doi: 10.3788/IRLA201847.0203002
    [14] 姚旺, 刘云鹏, 朱昌波.  基于人眼视觉特性的深度学习全参考图像质量评价方法 . 红外与激光工程, 2018, 47(7): 703004-0703004(8). doi: 10.3788/IRLA201847.0703004
    [15] 丁超, 唐力伟, 曹立军, 邵新杰, 邓士杰.  复杂深孔内轮廓结构光图像畸变矫正算法 . 红外与激光工程, 2017, 46(12): 1217008-1217008(7). doi: 10.3788/IRLA201746.1217008
    [16] 程书博, 邬亮, 陶少华.  包覆较厚介质层的金属铜球在聚焦光场中的捕获特性研究 . 红外与激光工程, 2016, 45(6): 621002-0621002(6). doi: 10.3788/IRLA201645.0621002
    [17] 李晨毓, 杨舟, 周庆莉, 武阿妮, 张存林.  结构对太赫兹超材料光调控特性的影响 . 红外与激光工程, 2016, 45(7): 703002-0703002(5). doi: 10.3788/IRLA201645.0703002
    [18] 贾同, 周忠选, 高海红, 王炳楠.  基于红外编码结构光的深度测量方法 . 红外与激光工程, 2015, 44(5): 1628-1632.
    [19] 徐德江, 史泽林, 罗海波.  利用人眼视觉特性的图像结构差异性杂波度量 . 红外与激光工程, 2013, 42(6): 1635-1641.
    [20] 孙韶媛, 李琳娜, 赵海涛.  采用KPCA和BP神经网络的单目车载红外图像深度估计 . 红外与激光工程, 2013, 42(9): 2348-2352.
  • 加载中
计量
  • 文章访问数:  425
  • HTML全文浏览量:  69
  • PDF下载量:  57
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-12-15
  • 修回日期:  2019-01-20
  • 刊出日期:  2019-05-25

基于光场结构特性与多视点匹配的深度估计

doi: 10.3788/IRLA201948.0524001
    作者简介:

    范晓婷(1991-),女,博士生,主要从事计算机视觉与立体图像处理方面的研究。Email:xtfan@tju.edu.cn

    通讯作者: 罗晓维(1994-),男,硕士生,主要从事图像处理、深度学习方面的研究。Email:luoxw@tju.edu.cn
基金项目:

国家重点研发计划(2017YFB1002900);国家自然科学基金(61271324)

  • 中图分类号: TN911.73

摘要: 针对现有光场图像深度估计技术无法均衡地对主要对象和背景进行深度估计的问题,提出了一种基于光场结构特性与多视点匹配的深度估计方法。该方法在光场结构特性引导的深度估计的基础上,为了实现光场图像深度变化区域的平滑过渡,同时又考虑光场图像具有多视点子孔径图像阵列的特点,采用多视点匹配优化光场图像深度估计。在马尔可夫随机域中,基于光场结构特性构建深度估计平滑项,同时联合多视点匹配构建深度估计数据项,并进行全局深度迭代优化,从而有效平衡对象深度边界和背景深度估计,提高光场图像深度估计的性能。实验结果表明,所提出的方法能够得到更加清晰的深度边界,同时可以修正背景中不准确的深度值,获得高质量的深度估计结果。

English Abstract

参考文献 (19)

目录

    /

    返回文章
    返回