留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于单色条纹投影的高动态范围物体表面形貌三维测量

王张颖 张宁宁 高楠 李奎 孟召宗 张宗华

王张颖, 张宁宁, 高楠, 李奎, 孟召宗, 张宗华. 基于单色条纹投影的高动态范围物体表面形貌三维测量[J]. 红外与激光工程, 2023, 52(8): 20230327. doi: 10.3788/IRLA20230327
引用本文: 王张颖, 张宁宁, 高楠, 李奎, 孟召宗, 张宗华. 基于单色条纹投影的高动态范围物体表面形貌三维测量[J]. 红外与激光工程, 2023, 52(8): 20230327. doi: 10.3788/IRLA20230327
Wang Zhangying, Zhang Ningning, Gao Nan, Li Kui, Meng Zhaozong, Zhang Zonghua. 3D surface shape measurement of high dynamic range object based on monochrome fringe projection[J]. Infrared and Laser Engineering, 2023, 52(8): 20230327. doi: 10.3788/IRLA20230327
Citation: Wang Zhangying, Zhang Ningning, Gao Nan, Li Kui, Meng Zhaozong, Zhang Zonghua. 3D surface shape measurement of high dynamic range object based on monochrome fringe projection[J]. Infrared and Laser Engineering, 2023, 52(8): 20230327. doi: 10.3788/IRLA20230327

基于单色条纹投影的高动态范围物体表面形貌三维测量

doi: 10.3788/IRLA20230327
基金项目: 省部共建电工装备可靠性与智能化国家重点实验室(河北工业大学)人才培育基金(EERIPD2021003);河北省博士后科研资助项目(B2021003024);河北省省级科技计划资助项目(215676146H, 225676163GH)
详细信息
    作者简介:

    王张颖,女,讲师,博士,主要从事光学三维测量方面的研究

    通讯作者: 张宗华,男,教授,博士,主要从事光学三维测量方面的研究
  • 中图分类号: TH741

3D surface shape measurement of high dynamic range object based on monochrome fringe projection

Funds: State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology (EERIPD2021003); Post-doctoral Funded Scientific Research Projects in Hebei Province (B2021003024); S & T Program of Hebei (215676146H, 225676163GH)
  • 摘要: 条纹投影轮廓术以其高速、高精度的优点在机械零件自动在线检测、汽车制造、文化遗产保护等领域得到了广泛的应用。然而,传统的条纹投影采用单一曝光时间或单一投影强度来测量高动态范围的物体,在反射率较大的区域会发生过度曝光,超过相机传感器的最大亮度范围,导致无法获得真实的强度和准确的三维数据。为解决此问题,利用彩色相机对单色条纹投影的不同颜色通道响应,提出了一种基于单色条纹投影的高动态范围物体表面三维测量方法。该方法投影蓝色条纹图到被测物体表面,彩色相机从另一个视角采集彩色条纹图像。从采集的彩色条纹图像中分离蓝绿通道对应的两个条纹图像。从蓝绿通道条纹图像中选择不饱和且调制度最大的一组像素生成蓝绿通道的掩膜图像,利用蓝绿通道的掩膜图像和蓝绿通道条纹图像合成高动态图像。然后应用相位解算方法和系统标定,实现高动态范围物体表面形貌的三维测量。实验验证了该方法的有效性。所提方法一方面减少了投影图像的数量,避免了复杂的计算问题,提高了测量效率;另一方面,不需要额外的硬件设施。
  • 图  1  相机采集的不同照明光源

    Figure  1.  Different lighting sources captured by the camera

    图  2  CCD相机的光谱响应曲线

    Figure  2.  Spectral response curve of CCD camera

    图  3  合成HDR条纹图像的过程。(a) 相机采集的彩色条纹图像;(b) 蓝通道条纹图像;(c) 绿通道条纹图像;(d) 蓝通道的掩膜;(e) 绿通道的掩膜;(f) 合成的HDR图像

    Figure  3.  Process of fusion HDR fringe images. (a) Captured color fringe pattern by the camera; (b) Blue channel fringe pattern; (c) Green channel fringe pattern; (d) Mask of the blue channel; (e) Mask of the green channel; (f) Composite HDR image

    图  4  合成HDR图像的流程图

    Figure  4.  Flow chart of synthesizing HDR image

    图  5  硬件测量系统

    Figure  5.  Hardware of the measurement system

    图  6  (a) 金属平板;(b) 金属球面零件

    Figure  6.  (a) Photograph of a metal plate; (b) Photograph of a metal spherical part

    图  7  金属平板条纹图像。(a) 蓝通道条纹图像;(b) 合成HDR图像

    Figure  7.  Fringe pattern of a metal plate. (a) Blue channel fringe pattern; (b) Composite HDR image

    图  8  金属平板的三维测量结果。(a) 蓝通道条纹获得的三维测量图;(b) HDR图像获得的三维测量图

    Figure  8.  3D measurement results of a metal plate. (a) 3D measurement results by blue channel fringe patterns; (b) 3D measurement results by HDR image

    图  9  金属球面零件条纹图像。(a) 蓝通道条纹图像;(b) 合成HDR图像

    Figure  9.  Fringe pattern of a metal spherical part. (a) Blue channel fringe pattern; (b) Composite HDR image

    图  10  金属球面零件的三维测量结果。(a) 蓝通道条纹获得的三维测量图;(b) HDR图像获得的三维测量图

    Figure  10.  3D measurement results of a metal spherical part. (a) 3D measurement results by blue channel fringe patterns; (b) 3D measurement results by HDR image

    图  11  (a) 人造标准台阶实物图;(b) 蓝通道条纹图像;(c) Zhang的方法获得的条纹图像;(d) 合成HDR图像

    Figure  11.  (a) Photograph of an artificial standard step; (b) Blue channel fringe pattern; (c) Fringe pattern by Zhang’s method; (d) Composite HDR image

    图  12  (a) 蓝通道条纹获得的人造标准台阶三维图;(b) Zhang的方法获得的人造标准台阶三维测量图;(c) HDR图像获得的人造标准台阶三维测量图

    Figure  12.  (a) 3D measurement results of an artificial standard step by blue channel fringe patterns; (b) 3D measurement results of an artificial standard step by Zhang’s method; (c) 3D measurement results of an artificial standard step by HDR image

    表  1  人造标准台阶的测量结果

    Table  1.   Measurement results of an artificial standard step

    Step
    distance/mm
    Measured step distance/mmAbsolute error/mm
    By Zhang’s[6]By HDRBy Zhang’s[6]By HDR
    18.21218.27518.2580.0630.046
    13.25813.31513.3100.0570.052
    18.42218.37618.385−0.046−0.037
    17.60317.55417.645−0.0490.042
    下载: 导出CSV
  • [1] Geng J. Structured-light 3D surface imaging: a tutorial [J]. Advances in Optics and Photonics, 2011, 3(2): 128-160. doi:  10.1364/AOP.3.000128
    [2] 左超, 张晓磊, 胡岩, 等. 3 D真的来了吗?-三维结构光传感器漫谈[J]. 红外与激光工程, 2020, 49(03): 0303001. doi:  10.3788/IRLA202049.0303001

    Zuo Chao, Zhang Xiaolei, Hu Yan, et al. Has 3D finally come of age? ——An introduction to 3D structured-light sensor [J]. Infrared and Laser Engineering, 2020, 49(3): 0303001. (in Chinese) doi:  10.3788/IRLA202049.0303001
    [3] Zhang S. High-speed 3D shape measurement with structured light methods: A review [J]. Optics and Lasers in Engineering, 2018, 106: 119-131.
    [4] Mao Cuili, Lu Rongsheng. A new method for 3D shape reconstruction with a high dynamic range surface [J]. Laser and Optoelectronics Progress, 2023, 60(7): 0712003. (in Chinese) doi:  10.3788/LOP212939
    [5] 张宗华, 于瑾, 高楠, 等. 高反光表面三维形貌测量技术[J]. 红外与激光工程, 2020, 49(03): 104-116. doi:  10.3788/IRLA202049.0303006

    Zhang Zonghua, Yu Jin, Gao Nan, et al. Three-dimensional shape measurement techniques of shiny surfaces [J]. Infrared and Laser Engineering, 2020, 49(3): 0303006. (in Chinese) doi:  10.3788/IRLA202049.0303006
    [6] Zhang S, Yau S T. High dynamic range scanning technique [J]. Optical Engineering, 2009, 48(3): 033604. doi:  10.1117/1.3099720
    [7] Ekstrand L, Zhang S. Autoexposure for three-dimensional shape measurement using a digital-light-processing projector [J]. Optical Engineering, 2011, 50(12): 123603. doi:  10.1117/1.3662387
    [8] Feng S J, Zhang Y Z, Chen Q, et al. General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique [J]. Optics and Lasers in Engineering, 2014, 59: 56-71. doi:  10.1016/j.optlaseng.2014.03.003
    [9] Waddington C, Kofman J. Analysis of measurement sensitivity to illuminance and fringe-pattern gray levels for fringe-pattern projection adaptive to ambient lighting [J]. Optics and Lasers in Engineering, 2010, 48(2): 251-256. doi:  10.1016/j.optlaseng.2009.07.001
    [10] Babaie G, Abolbashari M, Farahi F. Dynamics range enhan-cement in digital fringe projection technique [J]. Precision Engineering, 2015, 39: 243-251. doi:  10.1016/j.precisioneng.2014.06.007
    [11] Lin H, Gao J, Mei Q, et al. Adaptive digital fringe projection technique for high dynamic range three-dimensional shape measurement [J]. Optics Express, 2016, 24(7): 7703-7718.
    [12] Jiang H Z, Zhao H J, Li X D. High dynamic range fringe acquisition: a novel 3D scanning technique for high-reflective surfaces [J]. Optics and Lasers in Engineering, 2012, 50(10): 1484-1493. doi:  10.1016/j.optlaseng.2011.11.021
    [13] 平茜茜, 刘勇, 董欣明, 等. 基于偏振双目视觉的无纹理高反光目标三维重构[J]. 红外与毫米波学报, 2017, 36(04): 432-438.

    Ping Xixi, Liu Yong, Dong Xinming, et al. 3D reconstruction of textureless and high-reflective target by polarization and binocular stereo vision [J]. Journal of Infrared and Millimeter Waves, 2017, 36(4): 432-438. (in Chinese)
    [14] Feng S J, Chen Q, Zuo C, et al. Fast three-dimensional measurements for dynamic scenes with shiny surfaces [J]. Optics Communications, 2017, 382: 18-27. doi:  10.1016/j.optcom.2016.07.057
    [15] Yin Y K, Cai Z W, Jiang H, et al. High dynamic range imaging for fringe projection profilometry with single-shot raw data of the color camera [J]. Optics and Lasers in Engineering, 2017, 89: 138-144. doi:  10.1016/j.optlaseng.2016.08.019
    [16] Liu Y Z, Fu Y J, Zhuan Y H, et al. High dynamic range real-time 3D measurement based on Fourier transform profilometry [J]. Optics and Laser Technology, 2021, 138: 106833. doi:  10.1016/j.optlastec.2020.106833
    [17] 李茂月, 肖桂风, 蔡东辰, 等. 单目结构光测量中参数自适应标定方法[J]. 红外与激光工程, 2022, 51(08): 20210778. doi:  10.3788/IRLA20210778

    Li Maoyue, Xiao Guifeng, Cai Dongchen, et al. Parameter adaptive calibration method in monocular structured light measurement [J]. Infrared and Laser Engineering, 2022, 51(8): 20210778. (in Chinese) doi:  10.3788/IRLA20210778
    [18] Zuo C, Feng S J, Huang L, et al. Phase shifting algorithms for fringe projection profilometry: A review [J]. Optics and Lasers in Engineering, 2018, 109: 23-59. doi:  10.1016/j.optlaseng.2018.04.019
    [19] Zhang Z H, Towers C E, Towers D P. Time efficient color fringe projection system for simultaneous 3D shape and color using optimum 3-frequency selection [J]. Optics Express, 2006, 14(14): 6444-6455. doi:  10.1364/OE.14.006444
    [20] Zhang Z H, Huang S J, Meng S S, et al. A simple, flexible and automatic 3D calibration method for a phase calculation-based fringe projection imaging system [J]. Optics Express, 2013, 21(10): 12218-12227. doi:  10.1364/OE.21.012218
  • [1] 宿朝阳, 王张颖, 倪育博, 高楠, 孟召宗, 杨泽青, 张国锋, 尹伟, 赵洪伟, 张宗华.  基于多频相移的相位偏折测量透明物体表面三维形貌 . 红外与激光工程, 2024, 53(4): 20230702-1-20230702-14. doi: 10.3788/IRLA20230702
    [2] 辛磊, 杨忠明, 孟君, 刘兆军.  基于损伤程度量化评估的光学薄膜元件激光损伤阈值测量方法 . 红外与激光工程, 2024, 53(3): 20230614-1-20230614-10. doi: 10.3788/IRLA20230614
    [3] 何信欣, 刘斌, 王春柳, 吴冠豪.  用于高反表面测量的分块平滑自适应条纹投影方法 . 红外与激光工程, 2023, 52(5): 20220825-1-20220825-14. doi: 10.3788/IRLA20220825
    [4] 杨静雯, 张宗华, 付莉娜, 李雁玲, 高楠, 高峰.  利用抖动算法扩展深度范围的三维形貌测量术 . 红外与激光工程, 2023, 52(8): 20230059-1-20230059-10. doi: 10.3788/IRLA20230059
    [5] 朱坡, 张宗华, 高楠, 高峰, 王张颖.  彩色高反光物体表面三维形貌测量技术 . 红外与激光工程, 2023, 52(7): 20220761-1-20220761-7. doi: 10.3788/IRLA20220761
    [6] 张宗华, 李雁玲, 高峰, 高楠, 孟召宗, 蒋向前.  面向结构光三维测量的相位展开技术综述(特邀) . 红外与激光工程, 2023, 52(8): 20230126-1-20230126-23. doi: 10.3788/IRLA20230126
    [7] 朱其幸, 王道档, 卢毅伟, 孔明, 许新科.  双光纤点衍射干涉投影系统误差校正及优化 . 红外与激光工程, 2022, 51(3): 20210140-1-20210140-8. doi: 10.3788/IRLA20210140
    [8] 吴荣, 赵世丽, 赵洋, 谢锋云.  条纹投影用于不同景深物体的三维测量 . 红外与激光工程, 2022, 51(11): 20220088-1-20220088-10. doi: 10.3788/IRLA20220088
    [9] 赵洋, 傅佳安, 于浩天, 韩静, 郑东亮.  深度学习精确相位获取的离焦投影三维测量 . 红外与激光工程, 2020, 49(7): 20200012-1-20200012-8. doi: 10.3788/IRLA20200012
    [10] 王玉伟, 陈向成, 王亚军.  改进的双频几何约束条纹投影三维测量方法 . 红外与激光工程, 2020, 49(6): 20200049-1-20200049-7. doi: 10.3788/IRLA20200049
    [11] 张钊, 韩博文, 于浩天, 张毅, 郑东亮, 韩静.  多阶段深度学习单帧条纹投影三维测量方法 . 红外与激光工程, 2020, 49(6): 20200023-1-20200023-8. doi: 10.3788/IRLA20200023
    [12] 李勇, 张广汇, 马利红, 应晓霖, 姚建云.  条纹投影动态三维表面成像技术综述 . 红外与激光工程, 2020, 49(3): 0303005-0303005-13. doi: 10.3788/IRLA202049.0303005
    [13] 张启灿, 吴周杰.  基于格雷码图案投影的结构光三维成像技术 . 红外与激光工程, 2020, 49(3): 0303004-0303004-13. doi: 10.3788/IRLA202049.0303004
    [14] 王鹏, 张宇倩, 孙长库, 周舵.  极线和级次双约束的光栅投影测量方法 . 红外与激光工程, 2020, 49(4): 0413001-0413001-7. doi: 10.3788/IRLA202049.0413001
    [15] 冯世杰, 左超, 尹维, 陈钱.  深度学习技术在条纹投影三维成像中的应用 . 红外与激光工程, 2020, 49(3): 0303018-0303018-17. doi: 10.3788/IRLA202049.0303018
    [16] 张宗华, 于瑾, 高楠, 孟召宗.  高反光表面三维形貌测量技术 . 红外与激光工程, 2020, 49(3): 0303006-0303006-13. doi: 10.3788/IRLA202049.0303006
    [17] 赵亚龙, 刘守起, 张启灿.  GPU加速三维面形测量 . 红外与激光工程, 2018, 47(3): 317003-0317003(7). doi: 10.3788/IRLA201847.0317003
    [18] 刘东, 严天亮, 王道档, 杨甬英, 黄玮.  条纹投影与相位偏折测量技术研究进展 . 红外与激光工程, 2017, 46(9): 917001-0917001(10). doi: 10.3788/IRLA201746.0917001
    [19] 陈超, 於燕琴, 黄淑君, 刘晓利, 徐静, 张宗华.  三维小视场成像系统 . 红外与激光工程, 2016, 45(8): 824002-0824002(6). doi: 10.3788/IRLA201645.0824002
    [20] 崔珊珊, 裘桢炜, 洪津, 孟炳寰, 杨伟锋.  利用单通道预滤光片提高彩色相机显色能力的方法 . 红外与激光工程, 2016, 45(8): 824004-0824004(6). doi: 10.3788/IRLA201645.0824004
  • 加载中
图(12) / 表(1)
计量
  • 文章访问数:  129
  • HTML全文浏览量:  44
  • PDF下载量:  51
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-04-02
  • 修回日期:  2023-05-31
  • 录用日期:  2023-06-19
  • 刊出日期:  2023-08-28

基于单色条纹投影的高动态范围物体表面形貌三维测量

doi: 10.3788/IRLA20230327
    作者简介:

    王张颖,女,讲师,博士,主要从事光学三维测量方面的研究

    通讯作者: 张宗华,男,教授,博士,主要从事光学三维测量方面的研究
基金项目:  省部共建电工装备可靠性与智能化国家重点实验室(河北工业大学)人才培育基金(EERIPD2021003);河北省博士后科研资助项目(B2021003024);河北省省级科技计划资助项目(215676146H, 225676163GH)
  • 中图分类号: TH741

摘要: 条纹投影轮廓术以其高速、高精度的优点在机械零件自动在线检测、汽车制造、文化遗产保护等领域得到了广泛的应用。然而,传统的条纹投影采用单一曝光时间或单一投影强度来测量高动态范围的物体,在反射率较大的区域会发生过度曝光,超过相机传感器的最大亮度范围,导致无法获得真实的强度和准确的三维数据。为解决此问题,利用彩色相机对单色条纹投影的不同颜色通道响应,提出了一种基于单色条纹投影的高动态范围物体表面三维测量方法。该方法投影蓝色条纹图到被测物体表面,彩色相机从另一个视角采集彩色条纹图像。从采集的彩色条纹图像中分离蓝绿通道对应的两个条纹图像。从蓝绿通道条纹图像中选择不饱和且调制度最大的一组像素生成蓝绿通道的掩膜图像,利用蓝绿通道的掩膜图像和蓝绿通道条纹图像合成高动态图像。然后应用相位解算方法和系统标定,实现高动态范围物体表面形貌的三维测量。实验验证了该方法的有效性。所提方法一方面减少了投影图像的数量,避免了复杂的计算问题,提高了测量效率;另一方面,不需要额外的硬件设施。

English Abstract

    • 条纹投影轮廓术(Fringe Projection Profilometry, FPP)因测量速度快、精度高、鲁棒性强等优点,广泛应用于工业制造、文物保护、生物识别等领域[1-3]。传统FPP需要被测物体表面有均匀的反射率才能获得高精度的形貌数据。然而许多物体表面的反射率不均匀,在某些区域较小,另外一些区域很大,即具有高动态范围(High Dynamic Range, HDR)的表面。传统相机的有限动态范围难以从光学反射率变化很大的物体获得正确的条纹图像相位分布。忽略物体表面大范围反射率的影响会导致明亮区域的像素饱和,从而导致测量误差。高动态范围表面物体的测量是光学领域面临的重大挑战之一[4]。为解决这个问题,研究者们提出了多次曝光、调整投影条纹光强、改进曝光时间和投影条纹强度的混合以及其他方法[5-14]。多次曝光方法是利用不同曝光时间的一组条纹图像,选择未饱和的图像得到高质量的条纹图。Zhang和Yau[6]提出了一种HDR扫描技术,拍摄不同曝光时间的条纹图序列,选取原始条纹图序列中未饱和且具有最高灰度级的相应像素,得到高质量的条纹图。高反射率的区域从短曝光图像中提取条纹图像,而从高曝光时间图像中提取低反射率区域的图像。该方法有效地提高了测量的动态范围。由于曝光时间的效果不能量化,在测量复杂HDR物体时需要不同的曝光时间,需要大量的图像,存在着耗时、图像数据存在冗余的缺点。Ekstrand等[7]提出了一种根据被测物体表面反射率自动预测所需曝光时间的方法。通过在过度曝光的最亮区域和在阴影中最暗的区域之间进行权衡预测曝光时间。该方法不需人工干预,提高了三维测量系统的智能性,但单次曝光时间并不能满足表面反射率变化范围大的物体。Feng等[8]提出了一种自动HDR投影技术,根据表面反射率分布直方图来预测最佳曝光时间。上述多次曝光技术均需要采集大量的条纹图像。

      第二种调整投影条纹光强方法是调整投影光强值,获得不同投影强度值的图像来避免图像饱和的方法。Waddington和Kofman[9]自适应地调整投影条纹图的最大输入灰度值和采集的不同强度值的复合图像,以避免图像饱和。但由于环境光的影响,该方法降低了黑暗区域的测量精度。Babaie等[10]提出了一种增强傅里叶变换轮廓术动态范围的技术,可以根据相机采集的图像反馈,递归控制像素级的投影条纹强度,获得高动态范围的条纹图。Lin等[11]提出了一种对饱和像素自适应调整投影像素强度的方法。标记图像中的饱和区域,然后将低强度的条纹图投影到这些标记区域,避免图像像素饱和。

      第三种是同时改进曝光时间和投影条纹强度的混合方法。Jiang等[12]提出了一种基于改进曝光时间和投影条纹强度的混合方法。在不同的曝光时间和投影强度下采集高反射区域的条纹图像,但是,此种方法存在投影条纹图像多等缺点。

      此外还有其他方法来实现高动态范围的物体测量,如使用偏振光法[13]、多个摄像头[14]、彩色相机的不同颜色通道[15-16]等。然而,这些方法有的需要额外的辅助硬件来提高系统性能,导致成本增加,或是计算复杂,所需的图像多。

      因此,亟需发展一种简便且所需图像较少的高动态范围物体的三维测量方法。提出了一种基于单色条纹投影的高动态范围物体表面形貌三维测量方法。投影单色条纹图到被测物体表面,彩色相机(Charge Coupled Device, CCD)采集变形的彩色条纹图像,分离不同颜色通道的条纹信息。从不同通道条纹图像中选择不饱和且调制度最大的一组像素生成掩膜图像,然后利用掩膜图像和条纹图像合成HDR图像。应用相位解算技术和系统标定方法,实现高动态范围物体表面形貌的三维测量。

    • 条纹投影测量系统一般由相机、投影仪和计算机组成。计算机产生编码正弦条纹图像,由投影仪投射到被测物体表面;受被测物体高度调制,条纹发生变形;相机采集包含高度信息的变形条纹图像,通过合适的相位解算方法获得相位信息;标定系统的几何参数后,就可以得到被测物体的表面三维数据[17]。相位解算是FPP的关键步骤,此处采用可独立计算每个像素点相位的相移法。

    • 相移法是众多相位解算方法中应用最广泛、最精确的算法之一[18],而三步相移法适用于快速三维测量。采用三步相移法求解相位,相移为$2{\text{π /3}}$的条纹图像强度可以表示为:

      $$ {I^1}(x,y) = {I{'}}(x,y) + {I{''}}(x,y)\cos [{\phi} (x,y) - 2{\text{π /3}}] $$ (1)
      $$ {I^2}(x,y) = {I'}(x,y) + {I{''}}(x,y)\cos [\phi (x,y)] $$ (2)
      $$ {I^3}(x,y) = {I'}(x,y) + {I{''}}(x,y)\cos [\phi (x,y) + 2{\text{π /3}}] $$ (3)

      式中:${I'}(x,y)$为背景光强,也称为直流分量;${I^{''}}(x,y)$为调制幅度;$(x,y)$为像素坐标;$ \phi (x,y) $为所要求解的相位。

      条纹调制度为:

      $$ \gamma (x,y) = \frac{{\sqrt {3{{({I^1} - {I^3})}^2} + {{(2{I^2} - {I^1} - {I^3})}^2}} }}{{{I^1} + {I^2} + {I^3}}} $$ (4)

      求解的折叠相位为:

      $$ \phi (x,y) = {\text{arctan}} \left[ {\frac{{\sqrt 3 ({I^1} - {I^3})}}{{2{I^2} - {I^1} - {I^3}}}} \right] $$ (5)

      当条纹图包含一个以上的周期性条纹时,由上述方法解算得到的相位通常包裹在区间(−π, π],相位存在2π阶跃。为了获得连续的相位分布,需要对获得的折叠相位进行展开。选用最佳三条纹选择法[19]获得绝对相位。

    • 在条纹投影测量系统中,需要考虑照明来源的影响[8],如图1所示。相机采集的条纹图像亮度$ {I_c}(x,y) $可以表示为:

      图  1  相机采集的不同照明光源

      Figure 1.  Different lighting sources captured by the camera

      $$ {I_c}(x,y) = kt[r(x,y){I_p} + r(x,y){I_e} + {I_a}] $$ (6)

      式中:k为相机灵敏度;t为曝光时间;kt属于相机参数;$(x,y)$为相机图像的像素坐标;$r(x,y)$为物体表面的反射率;Ip为投影图像经被测物体反射的亮度;Ie为被物体表面反射的环境光的亮度;Ia为直接进入相机的环境光的亮度。为了表述简便,下文省略像素坐标$(x,y)$。

      由公式(6)可以看出,对一个确定的相机,k为常量,当曝光时间t一定时,可以改变投影条纹图像的强度,或是投影条纹图像强度一定时,改变相机的曝光时间t实现对高动态范围表面物体的测量。

    • 彩色CCD相机分为单CCD相机和3CCD相机。常用的单CCD相机采用一个拜耳(Bayer)滤镜显示三种颜色,相机的处理单元执行空间颜色插值得到其他两种颜色。一幅彩色图像可以分离为红(R)、绿(G)和蓝(B)三种颜色。为了使光谱中不存在盲区,常见的彩色相机中,红、绿、蓝的光谱总是重叠,如图2所示。绿通道分别与红通道和蓝通道相互重叠,红通道与蓝通道的重叠程度最小。由于Bayer滤镜的波长选择性,三个通道波长与波长之间的量子效率曲线不同。因此,在单色照明(例如蓝光)下,红、绿、蓝通道的量子效率保持${e_{{b}}} > {e_{{g}}} > {e_{{r}}}$的关系。在这种情况下,Bayer滤镜可以看作是像素变化的中性密度滤镜,其亮度表明其强度衰减。因为蓝光波长短,对待测高动态范围物体表面的散射效果更好,而条纹投影测量方法要求待测表面有更好的散射效果。且投影单色蓝光时,红蓝通道的重叠程度最小,可以忽略红蓝通道间的串扰影响。故使用单色蓝光投影,利用彩色相机蓝通道和绿通道的不同响应,分离出蓝绿通道条纹图像,合成HDR图像。

      图  2  CCD相机的光谱响应曲线

      Figure 2.  Spectral response curve of CCD camera

    • 应用彩色相机对蓝光不同颜色通道的不同响应,通过彩色图像分离技术将采集的彩色条纹图像,分离成蓝绿条纹图像,再将蓝绿条纹图像合成一个HDR图像,如图3所示。数字光处理器 (Digital Light Processing, DLP)投影仪用于投影蓝色条纹图像到被测物体的表面。CCD相机采集彩色变形条纹图像,如图3(a)所示。将彩色变形条纹图像分别在蓝和绿通道中分离出蓝通道条纹图像和绿通道条纹图像,分别如图3(b)和图3(c)所示。从蓝绿通道条纹图像选择不饱和且调制度最大的一组像素,利用公式(7)和公式(8)生成蓝通道和绿通道的掩膜,如图3(d)和3(e)所示。蓝绿通道条纹图像和掩膜图像,由公式(9)合成HDR图像,如图3(f)所示。将合成的HDR图像作为相位解算图像。

      图  3  合成HDR条纹图像的过程。(a) 相机采集的彩色条纹图像;(b) 蓝通道条纹图像;(c) 绿通道条纹图像;(d) 蓝通道的掩膜;(e) 绿通道的掩膜;(f) 合成的HDR图像

      Figure 3.  Process of fusion HDR fringe images. (a) Captured color fringe pattern by the camera; (b) Blue channel fringe pattern; (c) Green channel fringe pattern; (d) Mask of the blue channel; (e) Mask of the green channel; (f) Composite HDR image

      $${Mask}_b=\left\{\begin{array}{l} 0 \qquad \qquad \qquad \text { else } \\ 1 \qquad I_b^i<255, I_g^i<255, \gamma_b>\gamma_g \end{array}, i=1,2,3\right. $$ (7)
      $$ \begin{gathered} {{Mas}}{{{k}}_g} = \left\{ {\begin{array}{*{20}{l}} {0{\text{ }} \qquad \qquad \qquad {\rm{else}}} \\ {1 \;\; {\text{ }}I_g^i < 255,I_b^i < 255,{\gamma _g} > {\gamma _b}|I_g^i < 255,I_b^i >= 255} \end{array}} \right. ,{\text{ }} \\ {\text{ }}i = 1,2,3 \\ \end{gathered} $$ (8)

      式中:$Mas{k}_{j}, j=b\text{,} g$为蓝通道和绿通道的掩膜;$ I_b^i $为分离的蓝通道相移为$2{\text{π/3}}$的图像强度;$ I_g^i $为分离的绿通道相移为$2{\text{π/3}}$的图像强度。

      $$ {I_f} = \sum\limits_j {mas{k_j}} \times I_{_j}^c,j = g,b $$ (9)

      式中:$I_{_j}^c,j = b,\;g$为分离的蓝绿通道的条纹图像强度;$ {I_f} $为合成的HDR图像的强度。

      合成HDR图像的流程图如图4所示,方法步骤如下:

      图  4  合成HDR图像的流程图

      Figure 4.  Flow chart of synthesizing HDR image

      第一步:投影蓝色条纹图像到被测物体的表面,彩色CCD相机采集被物体表面调制的变形条纹图像。

      第二步:利用彩色图像通道分离技术,分离出蓝绿通道条纹图像。

      第三步:生成蓝绿通道的掩膜图像。

      第四步:利用彩色图像通道分离技术得到蓝绿通道条纹图像和蓝绿通道掩膜图像合成HDR条纹图像。

    • 为了验证所提方法的有效性,搭建了一个条纹投影测量系统,如图5所示,包括DLP投影仪(型号:TI LightCrafter 4500)和CCD工业相机(型号:AD-080GE)。其中,CCD相机和DLP投影仪的分辨率分别为1024×768和912×1140。

      图  5  硬件测量系统

      Figure 5.  Hardware of the measurement system

      实验主要包括三个步骤:

      第一步:测量前期准备工作。包括获取系统的标定参数,条纹图像的生成和采集。

      第二步:图像合成。在此步骤中,利用彩色图像通道分离技术得到的蓝绿通道条纹图像和蓝绿通道掩膜图像,合成HDR图像。

      第三步:获取物体的三维信息。利用系统标定方法[20]将绝对相位转换为实际三维坐标。

      实验中,采用三步相移法和最佳三条纹选择法分别求解折叠相位和展开相位。故分别投射条纹个数为64、63和56的三组条纹(每组包含三步相移条纹图),共需要9幅彩色图像。

      为证明所提方法的有效性,测量了具有高动态表面的金属平板和金属球面零件,分别如图6(a)和6(b)所示。投影仪投影蓝色条纹图到被测物体的表面,相机采集受金属平板表面调制的彩色条纹图像。分离的蓝通道条纹图像如图7(a)所示,合成的HDR图像如图7(b)所示。应用蓝通道条纹图像和合成的HDR图像获得的三维(Three-dimensional, 3D )结果如图8(a)和8(b)所示。从图8可以看出,蓝通道条纹获得的三维结果在饱和区存在明显的测量误差,而所提出的合成HDR方法获得的三维数据不受饱和区域的影响。

      图  6  (a) 金属平板;(b) 金属球面零件

      Figure 6.  (a) Photograph of a metal plate; (b) Photograph of a metal spherical part

      图  7  金属平板条纹图像。(a) 蓝通道条纹图像;(b) 合成HDR图像

      Figure 7.  Fringe pattern of a metal plate. (a) Blue channel fringe pattern; (b) Composite HDR image

      图  8  金属平板的三维测量结果。(a) 蓝通道条纹获得的三维测量图;(b) HDR图像获得的三维测量图

      Figure 8.  3D measurement results of a metal plate. (a) 3D measurement results by blue channel fringe patterns; (b) 3D measurement results by HDR image

      利用相同的方法测量了金属球面零件,其条纹图像如图9所示,图9(a)为分离的蓝通道条纹图像,图9(b)为合成的HDR条纹图像。

      图  9  金属球面零件条纹图像。(a) 蓝通道条纹图像;(b) 合成HDR图像

      Figure 9.  Fringe pattern of a metal spherical part. (a) Blue channel fringe pattern; (b) Composite HDR image

      金属球面零件的测量结果如图10所示,蓝通道条纹图像获得的三维数据如图10(a)所示,提出的HDR方法获得的三维数据如图10(b)所示。从图10可以看出,蓝通道条纹图像获得的三维数据在饱和区域存在严重的测量误差,而所提的HDR方法可以获得很好的三维数据,证明所提方法的有效性。

      图  10  金属球面零件的三维测量结果。(a) 蓝通道条纹获得的三维测量图;(b) HDR图像获得的三维测量图

      Figure 10.  3D measurement results of a metal spherical part. (a) 3D measurement results by blue channel fringe patterns; (b) 3D measurement results by HDR image

      为了进一步验证方法的测量精度,测量了人造标准台阶面,如图11(a)所示。分离的蓝通道条纹图像、Zhang[6]的方法和所提的合成HDR图像分别如图11(b)、11(c)和11(d)所示。应用分离的蓝通道条纹图像、Zhang[6]的方法和所提的合成HDR图像,获得的三维结果如图12(a)~(c)所示。

      图  11  (a) 人造标准台阶实物图;(b) 蓝通道条纹图像;(c) Zhang的方法获得的条纹图像;(d) 合成HDR图像

      Figure 11.  (a) Photograph of an artificial standard step; (b) Blue channel fringe pattern; (c) Fringe pattern by Zhang’s method; (d) Composite HDR image

      图  12  (a) 蓝通道条纹获得的人造标准台阶三维图;(b) Zhang的方法获得的人造标准台阶三维测量图;(c) HDR图像获得的人造标准台阶三维测量图

      Figure 12.  (a) 3D measurement results of an artificial standard step by blue channel fringe patterns; (b) 3D measurement results of an artificial standard step by Zhang’s method; (c) 3D measurement results of an artificial standard step by HDR image

      由测量得到的各个台阶面的三维数据拟合成不同的台阶平面,台阶平面上的点到相邻台阶平面的距离的平均值作为台阶高度。用三坐标测量机测量得到的台阶面的高度数据作为参考值,测量数据与参考值的差值如表1所示。从表1可以看出,提出的方法的精度略高于Zhang的方法。与现有的HDR方法相比,该方法所需图像较少,不需要额外的硬件设施。

      表 1  人造标准台阶的测量结果

      Table 1.  Measurement results of an artificial standard step

      Step
      distance/mm
      Measured step distance/mmAbsolute error/mm
      By Zhang’s[6]By HDRBy Zhang’s[6]By HDR
      18.21218.27518.2580.0630.046
      13.25813.31513.3100.0570.052
      18.42218.37618.385−0.046−0.037
      17.60317.55417.645−0.0490.042
    • 利用彩色相机对单色条纹投影的不同颜色通道的响应,提出了一种基于单色条纹投影的高动态范围物体表面形貌三维测量方法。投影蓝色条纹图像到被测物体表面,彩色CCD相机采集变形彩色条纹图像。从采集的变形彩色条纹图像分离蓝绿通道条纹图像。从蓝绿通道条纹图像中选择不饱和且调制度最大的一组像素生成蓝绿通道的掩膜图像,利用蓝绿通道的掩膜图像和蓝绿通道条纹图像合成高动态图像。然后应用相位解算方法获得绝对相位。利用标定好的系统实现高动态范围物体的测量。所提方法采用三步相移法和最佳三条纹选择法分别求解折叠相位和展开相位,共需要9幅彩色图像重建高动态范围物体的三维形貌。相比传统的方法,所提的方法减少了投影图像的数量,提高了测量效率。

参考文献 (20)

目录

    /

    返回文章
    返回