留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

TOF相机实时高精度深度误差补偿方法

李占利 周康 牟琦 李洪安

李占利, 周康, 牟琦, 李洪安. TOF相机实时高精度深度误差补偿方法[J]. 红外与激光工程, 2019, 48(12): 1213004-1213004(10). doi: 10.3788/IRLA201948.1213004
引用本文: 李占利, 周康, 牟琦, 李洪安. TOF相机实时高精度深度误差补偿方法[J]. 红外与激光工程, 2019, 48(12): 1213004-1213004(10). doi: 10.3788/IRLA201948.1213004
Li Zhanli, Zhou Kang, Mu Qi, Li Hong'an. TOF camera real-time high precision depth error compensation method[J]. Infrared and Laser Engineering, 2019, 48(12): 1213004-1213004(10). doi: 10.3788/IRLA201948.1213004
Citation: Li Zhanli, Zhou Kang, Mu Qi, Li Hong'an. TOF camera real-time high precision depth error compensation method[J]. Infrared and Laser Engineering, 2019, 48(12): 1213004-1213004(10). doi: 10.3788/IRLA201948.1213004

TOF相机实时高精度深度误差补偿方法

doi: 10.3788/IRLA201948.1213004
基金项目: 

中国博士后科学基金(2016M602941XB)

详细信息
    作者简介:

    李占利(1964-),男,教授,博士生导师,主要从事图像处理,视觉计算与可视化等方面的研究。Email:lizl@xust.edu.cn

    通讯作者: 牟琦(1974-),女,副教授,主要从事图像处理,计算机视觉,人工智能等方面的研究。Email:mu_qi@xust.edu.cn;周康(1993-),男,硕士生,主要从事图像处理、三维重建等方面的研究。Email:283124296@qq.com; 牟琦(1974-),女,副教授,主要从事图像处理,计算机视觉,人工智能等方面的研究。Email:mu_qi@xust.edu.cn;周康(1993-),男,硕士生,主要从事图像处理、三维重建等方面的研究。Email:283124296@qq.com
  • 中图分类号: TH741;TP391

TOF camera real-time high precision depth error compensation method

  • 摘要: TOF(Time-Of-Flight)相机获取的深度值存在着边角畸变和精度偏移,目前主要是通过误差查找表或曲线拟合等技术进行误差补偿,计算量大且补偿速度慢。通过对TOF相机在不同距离的深度误差分布规律的分析,提出了一种实时、高精度的误差补偿方法。该方法利用TOF深度图像的旋转对称性以及误差分布的特性,简化了误差补偿模型、降低参数数量级,有效提升了补偿的精度和速度。将算法应用于基于TOF原理的Kinect v2深度传感器进行深度补偿,使得有效距离内平面度误差下降到0.63 mm内,平均误差下降到0.704 0 mm内,单帧数据补偿时间在90 ms内。由于该算法仅基于光径差进行补偿,因此适用于所有TOF原理的相机。实验结果表明,该算法能够快速有效减少TOF相机的深度误差,适用于实时、高精度的大视场三维重建。
  • [1] Li Shirui, Li Qi, Li Haiyang, et al. Real-time accurate 3D reconstruction based on Kinect v2[J]. Journal of Software, 2016, 27(10):2519-2529. (in Chinese)李诗锐, 李琪, 李海洋, 等. 基于Kinect v2的实时精确三维重建系统[J]. 软件学报, 2016, 27(10):2519-2529.
    [2] Pter Fankhauser, Bloesch M, Rodriguez D, et al. Kinect v2 for mobile robot navigation:Evaluation and modeling[C]//International Conference on Advanced Robotics, IEEE, 2015.
    [3] Li Xingdong, Li Mantian, Guo Wei, et al. Estimating 6 DOF pose transformation of a TOF laser camera[J]. Infrared and Laser Engineering, 2015, 44(7):2231-2238. (in Chinese)李兴东, 李满天, 郭伟, 等.TOF激光相机六自由度位姿变换估计[J]. 红外与激光工程, 2015, 44(7):2231-2238.
    [4] Gilles M, Fayad H, Miglierini P, et al. EP-1511:Patient positioning using surface images from Time-of-Flight (ToF) cameras[J]. Radiotherapy and Oncology, 2015,115:S823.
    [5] Bu Yuming, Du Xiaoping, Zeng Zhaoyang, et al.Research progress and trend analysis of non-scanning laser 3D imaging radar[J]. Chinese Optics, 2018, 11(5):711-727. (in Chinese)卜禹铭, 杜小平, 曾朝阳, 等.无扫描激光三维成像雷达研究进展及趋势分析[J]. 中国光学, 2018, 11(5):711-727.
    [6] Hansard M, Lee S, Choi O, et al. Time of Flight Cameras:Principles, Methods, and Applications[M].Heidelbery Germany:Springer Publishing Company, Incorporated, 2012.
    [7] Lachat E, Hlne Macher, Landes T, et al. Assessment and calibration of a RGB-D camera (Kinect v2 sensor) towards a potential use for close-range 3D modeling[J]. Remote Sensing, 2015, 10(7):13070-13097.
    [8] Li Qinghui, Li Aihua, Zheng Yong, et al. Action recognition using geometric features and recurrent temporal attention network[J]. Optics and Precision Engineering, 2018, 26(10):2584-2591. (in Chinese)李庆辉, 李艾华, 郑勇,等.利用几何特征和时序注意递归网络的动作识别[J]. 光学精密工程, 2018, 26(10):2584-2591.
    [9] Liu Zhiqiang, Yin Jianqin. Human action recognition based on Kinect data principal component analysis[J].Optics and Precision Engineering, 2015, 23(10):702-711. (in Chinese)刘志强, 尹建芹.基于Kinect数据主成分分析的人体动作识别[J]. 光学精密工程, 2015, 23(10):702-711.
    [10] Lachat E, Macher H, Mittet M A, et al. First experiences with Kinect V2 sensor for close range 3D modelling[C]//ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, XL-5/W4(5):93-100.
    [11] Zhang Xu, Shao Shuangyun, Zhu Xiang, et al.Measurement and calibration of the intensity transform function of the optical 3D profilometry system[J].Chinese Optics, 2018, 11(1):123-130. (in Chinese)张旭, 邵双运, 祝祥, 等.光学三维扫描仪光强传递函数的测量和校正[J]. 中国光学, 2018, 11(1):123-130.
    [12] Lu Chunqing, Song Yuzhi, Wu Yanpeng, et al. 3D information acquisition and error analysis based on TOF computational imaging[J]. Infrared and Laser Engineering, 2018, 47(10):1041004. (in Chinese)卢纯青, 宋玉志, 武延鹏, 等. 基于TOF计算成像的三维信息获取与误差分析[J]. 红外与激光工程, 2018, 47(10):1041004.
    [13] Corti A, Giancola S, Mainetti G, et al. A metrological characterization of the Kinect V2 time-of-flight camera[J]. Robotics Autonomous Systems, 2016, 75(PB):584-594.
    [14] Butkiewicz T. Low-cost coastal mapping using Kinect v2 time-of-flight cameras[C]//Oceans. IEEE, 2015.
    [15] Yang L, Zhang L, Dong H, et al. Evaluating and improving the depth accuracy of Kinect for windows v2[J]. IEEE Sensors Journal, 2015, 15(8):4275-4285.
    [16] Pagliari D, Menna F, Roncella R, et al. Kinect fusion improvement using depth camera calibration[J]. International Archives of the Photogrammetry Remote Sensing S, 2014, XL-5(5):479-485.
    [17] Wang Le, Luo Yu, Wang Haikuan, et al. Measurement error correction model of ToF depth camera[J]. Journal of System Simulation, 2017, 29(10):2323-2329. (in Chinese)王乐, 罗宇, 王海宽, 等. ToF深度相机测量误差校正模型[J]. 系统仿真学报, 2017, 29(10):2323-2329.
    [18] Ding Jinjin. Error analysis and compensation research of the TOF 3D camera[D]. Heifei:Hefei University of Technology, 2011. (in Chinese)丁津津. TOF三维摄像机的误差分析及补偿方法研究[D].合肥:合肥工业大学, 2011.
    [19] Shim H, Adelsberger R, Kim J D, et al. Time-of-flight sensor and color camera calibration for multi-view acquisition[J]. The Visual Computer, 2012, 28(12):1139-1151.
    [20] Niu Z Q, Liu K. Pixel-by-pixel depth measurement error compensation method for Kinect[J]. Journal of OptoelectronicsLaser, 2016, 27(11):1169-1175.
    [21] Zhang Hong, Zheng Zijun, Sun Chunlong. Research on system error compensation in depth measurement of kinect[J]. Instrument Technique and Sensor, 2015(12):120-25. (in Chinese)张洪, 郑梓均, 孙春龙. Kinect深度测量的系统误差补偿研究[J]. 仪表技术与传感器, 2015(12):120-125.
    [22] Jung J, Lee J Y, Jeong Y, et al. Time-of-flight sensor calibration for a color and depth camera pair[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2015, 37(7):1501-1513.
    [23] Hamed Sarbolandi, Damien Lefloch, Andreas Kolb. Kinect range sensing:structured-light versus time-of-flight kinect[J]. Computer Vision and Image Understanding, 2015, 139:1-20.
  • [1] 高楠, 于永波, 杜振辉, 李金义, 孟召宗, 张宗华.  基于高斯/洛伦兹线型拟合比的谐波检测压强反演研究(特邀) . 红外与激光工程, 2023, 52(8): 20230428-1-20230428-8. doi: 10.3788/IRLA20230428
    [2] 李东亮, 卢贝.  基于深度神经网络的光纤传感识别算法 . 红外与激光工程, 2022, 51(9): 20210971-1-20210971-6. doi: 10.3788/IRLA20210971
    [3] 刘灿, 靳长明, 谭秋林, 张磊, 张雅楠.  具有温度补偿的非分光红外CO2传感器设计 . 红外与激光工程, 2022, 51(3): 20210746-1-20210746-7. doi: 10.3788/IRLA20210746
    [4] 王彦, 蒋超, 周子玮, 黄晨晨, 程东升.  基于Lissajous曲线拟合的EFPI光纤传感器腔长解调 . 红外与激光工程, 2022, 51(8): 20210765-1-20210765-8. doi: 10.3788/IRLA20210765
    [5] 王素琴, 陈太钦, 张峰, 石敏, 朱登明.  面向复杂机械零件形貌测量的高精度三维重建方法 . 红外与激光工程, 2022, 51(7): 20210730-1-20210730-11. doi: 10.3788/IRLA20210730
    [6] 师恒, 高昕, 李希宇, 雷呈强, 胡蕾, 宗永红, 郑东昊, 唐嘉.  基于激光雷达的火箭主动漂移量测量技术 . 红外与激光工程, 2022, 51(7): 20210636-1-20210636-7. doi: 10.3788/IRLA20210636
    [7] 邓人隽, 史坦, 李向平, 邓子岚.  基于全局拓扑优化深度学习模型的超构光栅分束器 . 红外与激光工程, 2021, 50(5): 20211028-1-20211028-4. doi: 10.3788/IRLA20211028
    [8] 梁欣凯, 宋闯, 赵佳佳.  基于深度学习的序列图像深度估计技术 . 红外与激光工程, 2019, 48(S2): 134-141. doi: 10.3788/IRLA201948.S226002
    [9] 董浩, 孙拓, 吴丽娜, 唐帅, 刘晓波.  一种机载红外光谱相机的角位置误差补偿技术 . 红外与激光工程, 2019, 48(10): 1013007-1013007(6). doi: 10.3788/IRLA201948.1013007
    [10] 许艺腾, 李国元, 邱春霞, 薛玉彩.  基于地形相关和最小二乘曲线拟合的单光子激光数据处理技术 . 红外与激光工程, 2019, 48(12): 1205004-1205004(10). doi: 10.3788/IRLA201948.1205004
    [11] 张彤, 刘晟, 曹霆.  基于分数阶微分的Kinect传感器深度图像阴影检测方法 . 红外与激光工程, 2019, 48(8): 826002-0826002(9). doi: 10.3788/IRLA201948.0826002
    [12] 杨楠, 南琳, 张丁一, 库涛.  基于深度学习的图像描述研究 . 红外与激光工程, 2018, 47(2): 203002-0203002(8). doi: 10.3788/IRLA201847.0203002
    [13] 卢纯青, 宋玉志, 武延鹏, 杨孟飞.  基于TOF计算成像的三维信息获取与误差分析 . 红外与激光工程, 2018, 47(10): 1041004-1041004(7). doi: 10.3788/IRLA201847.1041004
    [14] 帅红俊, 张帅, 宋建涛, 张建华.  基于光斑跟踪系统的位敏传感器误差修正 . 红外与激光工程, 2016, 45(4): 417002-0417002(6). doi: 10.3788/IRLA201645.0417002
    [15] 刘子伟, 许廷发, 王洪庆, 申子宜, 饶志涛.  深度成像理论与实现 . 红外与激光工程, 2016, 45(7): 726001-0726001(5). doi: 10.3788/IRLA201645.0726001
    [16] 李兴东, 李满天, 郭伟, 陈超, 孙立宁.  TOF激光相机六自由度位姿变换估计 . 红外与激光工程, 2015, 44(7): 2231-2238.
    [17] 高旭, 万秋华, 李金环, 王玉婷, 逄仁山.  光电轴角编码器莫尔条纹误差信号补偿 . 红外与激光工程, 2015, 44(2): 647-653.
    [18] 许轰烈, 陈钱, 刘宁, 杨春花.  模拟探测器列通道增益非均匀性研究 . 红外与激光工程, 2015, 44(7): 2044-2049.
    [19] 闫得杰, 李伟雄, 吴伟平, 王栋.  空间相机像移补偿计算中飞行器大姿态角使用方法 . 红外与激光工程, 2014, 43(4): 1200-1205.
    [20] 于海, 梁立辉, 王树洁, 卢新然, 万秋华.  基于径向基函数神经网络的高精度基准编码器误差补偿 . 红外与激光工程, 2014, 43(12): 4123-4127.
  • 加载中
计量
  • 文章访问数:  885
  • HTML全文浏览量:  248
  • PDF下载量:  72
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-06-06
  • 修回日期:  2019-07-21
  • 刊出日期:  2019-12-25

TOF相机实时高精度深度误差补偿方法

doi: 10.3788/IRLA201948.1213004
    作者简介:

    李占利(1964-),男,教授,博士生导师,主要从事图像处理,视觉计算与可视化等方面的研究。Email:lizl@xust.edu.cn

    通讯作者: 牟琦(1974-),女,副教授,主要从事图像处理,计算机视觉,人工智能等方面的研究。Email:mu_qi@xust.edu.cn;周康(1993-),男,硕士生,主要从事图像处理、三维重建等方面的研究。Email:283124296@qq.com; 牟琦(1974-),女,副教授,主要从事图像处理,计算机视觉,人工智能等方面的研究。Email:mu_qi@xust.edu.cn;周康(1993-),男,硕士生,主要从事图像处理、三维重建等方面的研究。Email:283124296@qq.com
基金项目:

中国博士后科学基金(2016M602941XB)

  • 中图分类号: TH741;TP391

摘要: TOF(Time-Of-Flight)相机获取的深度值存在着边角畸变和精度偏移,目前主要是通过误差查找表或曲线拟合等技术进行误差补偿,计算量大且补偿速度慢。通过对TOF相机在不同距离的深度误差分布规律的分析,提出了一种实时、高精度的误差补偿方法。该方法利用TOF深度图像的旋转对称性以及误差分布的特性,简化了误差补偿模型、降低参数数量级,有效提升了补偿的精度和速度。将算法应用于基于TOF原理的Kinect v2深度传感器进行深度补偿,使得有效距离内平面度误差下降到0.63 mm内,平均误差下降到0.704 0 mm内,单帧数据补偿时间在90 ms内。由于该算法仅基于光径差进行补偿,因此适用于所有TOF原理的相机。实验结果表明,该算法能够快速有效减少TOF相机的深度误差,适用于实时、高精度的大视场三维重建。

English Abstract

参考文献 (23)

目录

    /

    返回文章
    返回