留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于自适应多曝光融合的高动态范围表面测量方法

雷经发 谢浩然 李永玲 吴东 张淼 赵汝海

雷经发, 谢浩然, 李永玲, 吴东, 张淼, 赵汝海. 基于自适应多曝光融合的高动态范围表面测量方法[J]. 红外与激光工程, 2024, 53(1): 20230370. doi: 10.3788/IRLA20230370
引用本文: 雷经发, 谢浩然, 李永玲, 吴东, 张淼, 赵汝海. 基于自适应多曝光融合的高动态范围表面测量方法[J]. 红外与激光工程, 2024, 53(1): 20230370. doi: 10.3788/IRLA20230370
Lei Jingfa, Xie Haoran, Li Yongling, Wu Dong, Zhang Miao, Zhao Ruhai. High dynamic range surface measurement method based on adaptive multi-exposure fusion[J]. Infrared and Laser Engineering, 2024, 53(1): 20230370. doi: 10.3788/IRLA20230370
Citation: Lei Jingfa, Xie Haoran, Li Yongling, Wu Dong, Zhang Miao, Zhao Ruhai. High dynamic range surface measurement method based on adaptive multi-exposure fusion[J]. Infrared and Laser Engineering, 2024, 53(1): 20230370. doi: 10.3788/IRLA20230370

基于自适应多曝光融合的高动态范围表面测量方法

doi: 10.3788/IRLA20230370
基金项目: 安徽省重点研究与开发计划项目(1804a09020009);过程装备与控制工程四川省高校重点实验室开放基金项目(GK202101);安徽高校协同创新项目(GXXT2022-019);安徽高校自然科学研究重大项目(KJ2021ZD0068, 2023AH040036);合肥市自然科学基金资助项目(2021019)
详细信息
    作者简介:

    雷经发,男,教授,博士,主要从事视觉检测与人机工程方面的研究

    通讯作者: 李永玲,女,讲师,博士,主要从事机器视觉方面的研究
  • 中图分类号: TP391

High dynamic range surface measurement method based on adaptive multi-exposure fusion

Funds: Anhui Province Key Research and Development Plan Project (1804a09020009); Process Equipment and Control Engineering Open Fund Project of Key Laboratory of Sichuan Universities (GK202101); Anhui University Collaborative Innovation Project (GXXT2022-019); Anhui University Natural Science Research Major Project (KJ2021ZD0068, 2023AH040036); Supported by the Natural Science Foundation of Hefei City (2021019)
  • 摘要: 为解决结构光测量高动态范围表面物体时出现局部过度曝光或曝光不足的问题,提出一种改进的多曝光融合方法,利用自适应曝光代替手动曝光,并对图像融合过程进行优化。首先,将初始曝光时间下拍摄的图像利用直方图进行分析,将被测物体表面反射率不同的区域分为若干组,分别计算出每个组别的最佳曝光时间;在此基础上,拍摄不同组别对应最佳曝光时间下投射白光和条纹的图像,并去除图像中超过设定阈值的高灰度值区域,再将投射白光处理后的图像制作成掩模图,与相同曝光时间下投射条纹处理后的图像相乘,进而对多组相乘后的图像进行亮度压缩与融合;最后,通过CLAHE算法提高融合后所生成条纹图的对比度与清晰度,并对条纹解相后进行点云重建和尺寸测量。实验结果表明:文中方法中自适应曝光相较于手动曝光具有高效性和准确性,U型卡、连接块、圆盘三个高动态范围表面物体的点云重建率分别高达99.98%、99.74%、99.76%,测量出的标准块阶梯高度差绝对误差为0.062 mm,相对误差仅为0.69%,该方法有效解决了高动态范围表面物体测量时点云缺失的问题,提高了三维轮廓的测量精度。
  • 图  1  条纹投影轮廓术原理图

    Figure  1.  Schematic diagram of stripe projection profilometry

    图  2  I0直方图示例

    Figure  2.  Example of I0 histogram

    图  3  互补格雷码加四步相移图

    Figure  3.  Complementary Gray code and four step phase shift graph

    图  4  互补格雷码原理图

    Figure  4.  Schematic diagram of complementary Gray code

    图  5  18 ms时图像直方图示例

    Figure  5.  Example of image histogram at 18 ms

    图  6  不同曝光时间融合的条纹图。(a)第一组曝光;(b)第二组曝光;(c)自适应曝光

    Figure  6.  Fringe patterns fused with different exposure times. (a) First group exposure; (b) Second group exposure; (c) Adaptive exposure

    图  7  U型卡在不同方法下的条纹图像。(a)投影栅相位法;(b)文献[11]方法;(c) 文中方法

    Figure  7.  Fringe image of U-card in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

    图  8  连接块在不同方法下的条纹图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

    Figure  8.  Fringe image of connection block in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

    图  9  圆盘在不同方法下的条纹图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

    Figure  9.  Fringe image of disc in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

    图  10  U型卡在不同方法下的点云图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

    Figure  10.  Point cloud image of U-card in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

    图  11  连接块在不同方法下的点云图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

    Figure  11.  Point cloud image of U-card in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

    图  12  圆盘在不同方法下的点云图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

    Figure  12.  Point cloud image of disc in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

    图  13  不同方法下测出的三维点云数和重建率。(a) U型卡;(b)连接块;(c)圆盘

    Figure  13.  The number and reconstruction rate of 3D point clouds measured using different methods. (a) U-card; (b) Connection block; (c) Disc

    图  14  标准块阶梯高度差测量。(a)标准块阶梯实物图;(b)标准块阶梯三维点云封装图;(c)高度差测量结果

    Figure  14.  Standard block step height measurement. (a) Standard block ladder physical diagram; (b) Standard block ladder 3D point cloud encapsulation diagram; (c) Height difference measurement results

    表  1  被测物体各参数值

    Table  1.   The parameter values of the tested object

    Tasted objectOptimal exposure
    time/ms
    Threshold
    processing percentage
    Brightness compression
    coefficient
    U-card18.43, 37.56, 68.40, 98.3395%0.6
    Connection
    block
    18.64, 34.46, 62.54, 81.2692%0.5
    Disc18.59, 42.36, 74.54, 96.4395%0.6
    下载: 导出CSV

    表  2  不同方法测量标准块阶梯误差对比分析

    Table  2.   Comparative analysis of step error in measuring standard blocks using different methods

    MethodHeight/mmAbsolute error/mmRelative error/mm
    Projection phase method8.8260.1741.93%
    Methods of Ref.[11]8.8760.1241.40%
    Proposed method8.9380.0620.69%
    下载: 导出CSV
  • [1] 殷永凯, 张宗华, 刘晓利等. 条纹投影轮廓术系统模型与标定综述[J]. 红外与激光工程, 2020, 49(3): 0303008-0303008-18. doi:  10.3788/IRLA202049.0303008

    Yin Yongkai, Zhang Zonghua, Liu Xiaoli, et al. Review of the system model and calibration for fringe projection profilometry [J]. Infrared and Laser Engineering, 2020, 49(3): 0303008. (in Chinese) doi:  10.3788/IRLA202049.0303008
    [2] Sun J, Zhang Q. A 3D shape measurement method for high-reflective surface based on accurate adaptive fringe projection [J]. Optics and Lasers in Engineering, 2022, 153: 106994. doi:  10.1016/j.optlaseng.2022.106994
    [3] 刘佳, 路长秋, 文杰等. 基于二进制编码条纹的三维测量方法[J]. 光学学报, 2023, 43(01): 128-137. doi:  10.3788/AOS0112004

    Jia Liu, Changqiu Lu, Jie Wen, et al. Three-dimensional measurement method based on binary coded fringes [J]. Acta Optica Sinica, 2023, 43(1): 0112004. (in Chinese) doi:  10.3788/AOS0112004
    [4] Gorthi S S, Rastogi P. Fringe projection techniques: Whither we are? [J]. Optics and Lasers in Engineering, 2010, 48: 133-140.
    [5] 任明阳, 王立忠, 赵建博 等. 复杂曲面零件面结构光扫描视点规划[J]. 中国光学(中英文), 2023, 16(01): 113-126. doi:  10.37188/CO.2022-0026

    Ren Mingyang, Wang Lizhong, Zhao Jianbo, et al. Viewpoint planning of surface structured light scanning for complex surface parts [J]. Chinese Optics, 2023, 16(1): 113-126. (in Chinese) doi:  10.37188/CO.2022-0026
    [6] 刘飞, 李佳鑫, 赖俊霖 等. 基于多频外差的全频解相方法[J]. 激光与光电子学进展, 2019, 56(01): 173-180.

    Liu Fei, Li Jiaxin, Lai Junlin, et al. Full-frequency phase unwrapping algorithm based on multi-frequency heterodyne principle [J]. Laser & Optoelectronics Progress, 2019, 56(1): 011202. (in Chinese)
    [7] Zhang S, Yau S T. High dynamic range scanning technique [J]. Optical Engineering, 2009, 48(3): 033604. doi:  10.1117/1.3099720
    [8] Song Z, Jiang H, Lin H, et al. A high dynamic range structured light means for the 3D measurement of specular surface [J]. Optics and Lasers in Engineering, 2017, 95: 8-16. doi:  10.1016/j.optlaseng.2017.03.008
    [9] 李兆杰, 崔海华, 刘长毅 等. 一种基于自动多次曝光面结构光的形貌测量方法[J]. 光学学报, 2018, 38(11): 167-174. doi:  10.3788/AOS201838.1112004

    Li Zhaojie, Cui Haihua, Liu Changyi, et al. A shape measurement method based on automatic multiple exposure surface structuredlight [J]. Acta Optica Sinica, 2018, 38(11): 1112004. (in Chinese) doi:  10.3788/AOS201838.1112004
    [10] 姜宏志, 赵慧洁, 李旭东等. 用于强反射表面形貌测量的投影栅相位法[J]. 光学精密工程, 2010, 18(09): 2002-2008.

    Jiang Hongzhi, Zhao Huijie, Li Xudong, et al. Projected fringe profilometry for profile measurement of high reflective surface [J]. Optics and Precision Engineering, 2010, 18(9): 2002-2008. (in Chinese)
    [11] 薛峰, 陈龙, 张峰峰. 基于结构光的强反射表面三维重建方法研究[J]. 哈尔滨理工大学学报, 2021, 26(05): 18-24.

    Xue Feng, Chen Long, Zhang Fengfeng. Research on 3D reconstruction of strongly reflected surface based on structured light [J]. Journal of Harbin University of Science and Technology, 2021, 26(5): 18-24. (in Chinese)
    [12] 张宗华, 于瑾, 高楠等. 高反光表面三维形貌测量技术[J]. 红外与激光工程, 2020, 49(3): 0303006-0303006-13. doi:  10.3788/IRLA202049.0303006

    Zhang Zonghua, Yu Jin, Gao Nan, et al. Three-dimensional shape measurement techniques of shiny surfaces [J]. Infrared and Laser Engineering, 2020, 49(3): 0303006. (in Chinese) doi:  10.3788/IRLA202049.0303006
    [13] 付轶帆, 吴剑, 何宏辉. 偏振成像系统中的面阵CMOS传感器非线性校正[J]. 红外与激光工程, 2016, 45(06): 24-28. doi:  10.3788/irla201645.0633001

    Fu Yifan, Wu Jian, He Honghui. Non-linear correction of area CMOS sensor in polarization imaging system [J]. Infrared and Laser Engineering, 2016, 45(6): 0633001. (in Chinese) doi:  10.3788/irla201645.0633001
    [14] Feng S, Zhang Y, Chen Q, et al. General solution for high dynamic range three-dimensional shape measurement using the fringe projection technique [J]. Optics and Lasers in Engineering, 2014, 59: 56-71. doi:  10.1016/j.optlaseng.2014.03.003
    [15] 王永红, 张倩, 胡寅等. 显微条纹投影小视场三维表面成像技术综述[J]. 中国光学, 2021, 14(03): 447-457. doi:  10.37188/CO.2020-0199

    Wang Yonghong, Zhang Qian, Hu Yin, et al. 3D small-field surface imaging based on microscopic fringe projection profilometry: a review [J]. Chinese Optics, 2021, 14(3): 447-457. (in Chinese) doi:  10.37188/CO.2020-0199
    [16] 杨洪飞, 夏晖, 陈忻等. 图像融合在空间目标三维重建中的应用[J]. 红外与激光工程, 2018, 47(9): 926002-0926002(8). doi:  10.3788/IRLA201847.0926002

    Yang Hongfei, Xia Hui, Chen Xin, et al. Application of image fusion in 3D reconstruction of space target [J]. Infrared and Laser Engineering, 2018, 47(9): 0926002. (in Chinese) doi:  10.3788/IRLA201847.0926002
    [17] 朱新军, 侯林鹏, 宋丽梅等. 基于虚拟双目的条纹结构光三维重建[J]. 红外与激光工程, 2022, 51(11): 20210955. doi:  10.3788/IRLA20210955

    Zhu Xinjun, Hou Linpeng, Song Limei, et al. Fringe structured light 3D reconstruction based on virtual binocular [J]. Infrared and Laser Engineering, 2022, 51(11): 20210955. (in Chinese) doi:  10.3788/IRLA20210955
    [18] 张莲涛, 卢荣胜, 程子怡. 基于相移偏折法的高反射表面面形测量技术[J]. 光子学报, 2020, 49(1): 0112002. doi:  10.3788/gzxb20204901.0112002

    Zhang Liantao, Lu Rongsheng, Cheng Ziyi. Measurement technique of high-reflected surface based on phase measuring deflectometry [J]. Acta Photonica Sinica, 2020, 49(1): 0112002. (in Chinese) doi:  10.3788/gzxb20204901.0112002
    [19] Guo Y, Duan Z, Zhang Z, et al. Fast and accurate 3D face reconstruction based on facial geometry constraints and fringe projection without phase unwrapping [J]. Optics and Lasers in Engineering, 2022, 159: 107216. doi:  10.1016/j.optlaseng.2022.107216
    [20] 张启灿, 吴周杰. 基于格雷码图案投影的结构光三维成像技术[J]. 红外与激光工程, 2020, 49(03): 78-90. doi:  10.3788/IRLA202049.0303004

    Zhang Qican, Wu Zhoujie. Three-dimensionalimaging technique based on Gray-coded structured illumination [J]. Infrared and Laser Engineering, 2020, 49(3): 0303004. (in Chinese) doi:  10.3788/IRLA202049.0303004
  • [1] 宿朝阳, 王张颖, 倪育博, 高楠, 孟召宗, 杨泽青, 张国锋, 尹伟, 赵洪伟, 张宗华.  基于多频相移的相位偏折测量透明物体表面三维形貌 . 红外与激光工程, 2024, 53(4): 20230702-1-20230702-14. doi: 10.3788/IRLA20230702
    [2] 张庆辉, 李浩, 吕磊, 卢盛林, 潘威.  基于相移轮廓术的双采样运动物体三维重构 . 红外与激光工程, 2023, 52(12): 20220891-1-20220891-6. doi: 10.3788/IRLA20220891
    [3] 朱坡, 张宗华, 高楠, 高峰, 王张颖.  彩色高反光物体表面三维形貌测量技术 . 红外与激光工程, 2023, 52(7): 20220761-1-20220761-7. doi: 10.3788/IRLA20220761
    [4] 王张颖, 张宁宁, 高楠, 李奎, 孟召宗, 张宗华.  基于单色条纹投影的高动态范围物体表面形貌三维测量 . 红外与激光工程, 2023, 52(8): 20230327-1-20230327-9. doi: 10.3788/IRLA20230327
    [5] 孙鹏, 于跃, 陈嘉欣, 秦翰林.  基于深度空时域特征融合的高动态空中多形态目标检测方法(特邀) . 红外与激光工程, 2022, 51(4): 20220167-1-20220167-8. doi: 10.3788/IRLA20220167
    [6] 段鹏程, 程博, 管今哥, 陈坤, 张成飞, 程耀瑜, 薛晨阳, 郑永秋.  基于多CCD同步耦合的动态燃烧场三维辐射测温(特邀) . 红外与激光工程, 2022, 51(10): 20220352-1-20220352-10. doi: 10.3788/IRLA20220352
    [7] 张宗华, 于瑾, 高楠, 孟召宗.  高反光表面三维形貌测量技术 . 红外与激光工程, 2020, 49(3): 0303006-0303006-13. doi: 10.3788/IRLA202049.0303006
    [8] 李勇, 张广汇, 马利红, 应晓霖, 姚建云.  条纹投影动态三维表面成像技术综述 . 红外与激光工程, 2020, 49(3): 0303005-0303005-13. doi: 10.3788/IRLA202049.0303005
    [9] 陈妮, 左超, Byoungho Lee.  基于深度测量的三维成像技术 . 红外与激光工程, 2019, 48(6): 603013-0603013(25). doi: 10.3788/IRLA201948.0603013
    [10] 陆福星, 陈忻, 陈桂林, 饶鹏.  背景自适应的多特征融合的弱小目标检测 . 红外与激光工程, 2019, 48(3): 326002-0326002(7). doi: 10.3788/IRLA201948.0326002
    [11] 丁超, 唐力伟, 曹立军, 邵新杰, 邓士杰.  深孔内表面结构光三维重构 . 红外与激光工程, 2018, 47(11): 1117004-1117004(7). doi: 10.3788/IRLA201847.1117004
    [12] 赵耀宏, 王园园, 罗海波, 李方舟.  红外成像系统中的高动态范围压缩与对比度增强新技术 . 红外与激光工程, 2018, 47(S1): 172-181. doi: 10.3788/IRLA201847.S126001
    [13] 曹霆, 王卫星, 杨楠, 高婷, 王峰萍.  基于三维激光扫描技术的路面断板深度检测 . 红外与激光工程, 2017, 46(2): 206006-0206006(6). doi: 10.3788/IRLA201746.0206006
    [14] 侯幸林, 罗海波, 周培培.  基于局部信息熵最大的多曝光控制方法 . 红外与激光工程, 2017, 46(7): 726001-0726001(7). doi: 10.3788/IRLA201746.0726001
    [15] 毛珩, Tao Louis, 陈良怡.  自适应光学技术在深层动态荧光显微成像中的应用和发展 . 红外与激光工程, 2016, 45(6): 602001-0602001(7). doi: 10.3788/IRLA201645.0602001
    [16] 陈善静, 康青, 顾忠征, 王正刚, 沈志强, 蒲欢, 辛颖.  基于三维GMRF的高光谱图像空天融合目标检测 . 红外与激光工程, 2016, 45(S2): 132-139. doi: 10.3788/IRLA201645.S223003
    [17] 刘慧, 刘学斌, 陈小来, 孔亮, 刘永征.  基于驱动时序控制CCD曝光时间的设计与实现 . 红外与激光工程, 2015, 44(S1): 199-204.
    [18] 王会改, 李正周, 顾园山, 唐岚, 王臻, 金钢.  基于多尺度自适应稀疏字典的小弱目标检测方法 . 红外与激光工程, 2014, 43(7): 2371-2378.
    [19] 范俊叶, 尹博超, 王文生.  双曝光数字全息三维变形测试 . 红外与激光工程, 2014, 43(5): 1582-1586.
    [20] 孙旭飞, 岳阳, 杜惊雷, 张志友.  高曝光深度的表面等离激元光刻直写头设计分析 . 红外与激光工程, 2013, 42(12): 3254-3258.
  • 加载中
图(14) / 表(2)
计量
  • 文章访问数:  134
  • HTML全文浏览量:  49
  • PDF下载量:  45
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-06-10
  • 修回日期:  2023-07-15
  • 刊出日期:  2024-01-25

基于自适应多曝光融合的高动态范围表面测量方法

doi: 10.3788/IRLA20230370
    作者简介:

    雷经发,男,教授,博士,主要从事视觉检测与人机工程方面的研究

    通讯作者: 李永玲,女,讲师,博士,主要从事机器视觉方面的研究
基金项目:  安徽省重点研究与开发计划项目(1804a09020009);过程装备与控制工程四川省高校重点实验室开放基金项目(GK202101);安徽高校协同创新项目(GXXT2022-019);安徽高校自然科学研究重大项目(KJ2021ZD0068, 2023AH040036);合肥市自然科学基金资助项目(2021019)
  • 中图分类号: TP391

摘要: 为解决结构光测量高动态范围表面物体时出现局部过度曝光或曝光不足的问题,提出一种改进的多曝光融合方法,利用自适应曝光代替手动曝光,并对图像融合过程进行优化。首先,将初始曝光时间下拍摄的图像利用直方图进行分析,将被测物体表面反射率不同的区域分为若干组,分别计算出每个组别的最佳曝光时间;在此基础上,拍摄不同组别对应最佳曝光时间下投射白光和条纹的图像,并去除图像中超过设定阈值的高灰度值区域,再将投射白光处理后的图像制作成掩模图,与相同曝光时间下投射条纹处理后的图像相乘,进而对多组相乘后的图像进行亮度压缩与融合;最后,通过CLAHE算法提高融合后所生成条纹图的对比度与清晰度,并对条纹解相后进行点云重建和尺寸测量。实验结果表明:文中方法中自适应曝光相较于手动曝光具有高效性和准确性,U型卡、连接块、圆盘三个高动态范围表面物体的点云重建率分别高达99.98%、99.74%、99.76%,测量出的标准块阶梯高度差绝对误差为0.062 mm,相对误差仅为0.69%,该方法有效解决了高动态范围表面物体测量时点云缺失的问题,提高了三维轮廓的测量精度。

English Abstract

    • 三维测量是一种利用计算机或其他设备对物体三维表面进行精确测量的技术[1]。结构光扫描技术因具有测量速度快、精度高、分辨率高等优点,成为制造业、建筑设计、医疗、生物医学等领域中应用较为广泛的三维测量技术之一[2-3]。条纹投影轮廓术是一种常用于三维形状测量的结构光扫描技术[4-5],通过投影仪将条纹图投射到物体表面,利用相机捕获变形的条纹图,求解出绝对相位后,结合系统标定参数对物体进行点云重建实现三维轮廓的测量[6]

      对于高动态范围表面的物体,由于物体表面反射光具有较大的动态范围,很难保证在单次曝光时间下被测物体表面的不同区域同时捕捉到高质量的条纹图。因此,Zhang等[7]提出了一种高动态范围扫描技术,通过合成不同曝光时间下捕获的条纹图,融合生成图像质量良好的条纹图,但该方法需要手动设置曝光时间,效率较低且依靠操作者的经验。Song等[8]利用两个相机捕获物体表面的图像,其中一个相机捕获反射率较低的区域,另一个相机捕获反射率较高的区域,最后利用所得到的不同曝光下的图像,结合双向反射分布函数模型,得到物体的三维形状信息,但该方法对于实验环境要求较高且过程较为复杂。李兆杰等[9]提出了一种自适应曝光重建的方法,利用响应函数和图像序列来计算曝光次数和曝光时间,该方法对环境的适应性较好,但需要拍摄大量图片,不具备通用性。姜宏志等[10]采用向被测物投射明暗条纹图方法,通过设置不同的相机曝光时间采集图像,并将采集到的图像合成一幅无失真的条纹图,但该方法对投射条纹图的明暗程度要求较高。薛峰等[11]提出了一种在多曝光融合过程中通过替换像素点灰度值的方法得到高质量条纹图,但当某块区域图像质量整体偏差时,得到的条纹图质量依然不高。

      针对上述方法,选取曝光时间的局限性以及获得的条纹图质量不高的问题,文中提出了一种改进的多曝光融合方法。首先在初始曝光时间下对拍摄的图像进行直方图分析,通过直方图的集群分布将被测物表面反射率分为若干个组,分别计算每个组别的最佳曝光时间。在不同组别对应的最佳曝光时间下分别拍摄投射白光和投射条纹的图像,先对拍摄的图像进行阈值预处理,将预处理后的投射白光的图像制作成掩模图像并与相同曝光时间下的条纹图相乘,对相乘的图像进行亮度压缩与融合,采用CLAHE(Contrast Limited Adaptive Histogram Equalization)算法提高融合后的图像的对比度与清晰度,最后通过求解相位和系统标定对物体进行三维点云重建。该方法自动化程度高,适用范围广,能够实现高动态范围表面物体高精度三维轮廓测量。

    • 结构光扫描技术中,曝光时间会直接影响拍摄到的条纹图质量和精度[12]。在环境光强不变的情况下,曝光时间的选取取决于被测物体表面反射率的大小。如果反射率较大,应选择相对较短的曝光时间,避免过度曝光;如果反射率较小,需要考虑增加曝光时间来提高成像的信噪比。传统的手动曝光的方法全凭操作者的经验,从而影响三维测量的精度。基于此,文中利用直方图自适应计算曝光时间。条纹投影轮廓术原理如图1所示。

      图  1  条纹投影轮廓术原理图

      Figure 1.  Schematic diagram of stripe projection profilometry

      图1中,Ip为投影强度;α为表面反射率;αIp为反射光;β1为环境光;αβ1为反射的环境光;β2为直接进入相机的环境光。所以当投射均匀明亮的白光时,相机捕获的图像强度可以表示为:

      $$ I(x,y,t) = {{st}}(\alpha (x,y){I_{P}} + \alpha (x,y){\text{ }}{\beta _1}(x,y) + {\beta _2}(x,y)) $$ (1)

      式中:st分别为相机感光度和曝光时间,因为实验情况下场景亮度不变,所以相机感光度s通常情况下为常数[13]。又因为该实验在黑暗环境下进行,环境光可忽略不计,所以上式可以简化为:

      $$ I = {{st}}\alpha {I_P} $$ (2)

      由公式(2)可知捕获的图像强度主要取决于曝光时间t,想要获取高质量的图像,需选择合适的曝光时间。假设topt为相机的最佳曝光时间,Iideal为理想拍摄强度,代入公式(2)可得:

      $$ I_{ideal} = {{st}}_{opt}\alpha {I_P} $$ (3)

      通常情况下,对于8 bit的图像,Iideal设为254[14],这个值可以保证条纹图具有高信噪比的同时避免了相机传感器饱和现象的发生。由公式(3)可知只要求出sαIp,便可得出最佳曝光时间topt,因此,通过引入一个初始曝光时间$ {t}_{0} $,对应的捕获图像强度为I0。将其代入公式(2)可表示为:

      $$ {I_0} = {{{st}}_0}\alpha {I_P} $$ (4)

      将公式(3)与公式(4)联立可得:

      $$ t_{opt} = \frac{{I_{ideal}}}{{I_0}}t_0 $$ (5)

      在初始曝光时间t0下拍摄图像I0的直方图如图2所示。

      图  2  I0直方图示例

      Figure 2.  Example of I0 histogram

      图2中,横轴代表I0的灰度值,纵轴代表相应灰度值的像素数,阴影区域代表I0的整个变化范围。通过该方法将整个大的范围进一步划分为由I0小范围变化形成的几个集群,如图2所示,每个集群由一个波峰和两个波谷来区分,沿着I0的正方向,从1~m标记集群,m是确定集群的总数,由于同一集群内的像素具有相同的反射率,所以在单个集群中只需单次曝光。为了计算一个能够完全覆盖整个集群的曝光时间,选择每个集群右侧谷底对应的I0值来计算曝光时间。所以对于高动态范围表面物体,根据表面反射率的不同,可以计算出m个最佳曝光时间$ {t}_{opt} $。

    • 对于低动态范围表面物体,单次曝光可以提供足够的曝光量[15],但对于高动态范围表面物体,单次曝光难以获得高质量的条纹图。多曝光融合技术通过多次曝光将条纹图进行融合,可以有效提高条纹图的清晰度,进而提高相位测量的精度[16]。传统多曝光融合方法获得的条纹图虽然去除了过曝点,但条纹图的整体质量依然不高。所以文中在传统的多曝光融合的方法上进行改进,具体流程如下:通过自适应曝光方法得出的m个最佳曝光时间topt,投影仪按照曝光时间顺序向物体投射纯白图像,将相机拍摄的图像依次存入序列I s中,同样按照曝光时间顺序在每个最佳曝光时间topt下采集4幅相移为π/2的光栅条纹图像,将拍摄的图像存入序列J s中。对于序列I s和序列J s中的图像通过百分比的方式进行阈值预处理,具体的操作为首先将灰度图归一化,选择一个合适的百分比值,例如百分比值设置为95%,表示图像灰度级范围95%的灰度值作为阈值,接着将这个百分比值转换为像素值。如果图像的灰度级范围为0~255,则95%的像素点的灰度值为0.95×255=242.25,最后将此灰度值作为阈值,大于这个阈值的像素点灰度值将被截断到指定阈值threshold

      对序列I s和序列J s中的图像进行阈值预处理后,将序列I s中的图像制作成掩模图,定义掩模图序列为M s,计算公式如公式(6)所示:

      $$ M_i^s(x,y) = \left\{ {\begin{array}{*{20}{l}} {1,I_i^s(x,y) < {{threshold}}} \\ {0,{\rm{else}}} \end{array}} \right. $$ (6)

      式中:$ {M}_{i}^{s}(x,y) $为掩模图像序列M s中第i幅图像在坐标(x,y)处的灰度值;$ {I}_{i}^{s}(x,y) $为序列I s中第i幅图像在(x,y)处的灰度值。

      将掩模图像序列M s与条纹图序列J s依次相乘,定义G s为合成的条纹图序列,可得:

      $$ G_i^s(x,y) = M_i^s(x,y) \cdot J_i^s(x,y) $$ (7)

      式中:$ {G}_{i}^{s}\left(x,y\right) $为合成的条纹图序列G s中第i幅图像在坐标(x, y)处的灰度值;$ {J}_{i}^{s}(x, y) $为条纹图序列J s中第i幅图像在坐标(x, y)处的灰度值。

      为了防止下一步图像融合的时候图像出现新的饱和区域,文中使用亮度压缩的方法将灰度值范围缩小到相同的范围得到序列F s,用公式可表示为:

      $$ F_i^s(x,y) = \mu G_i^s(x,y) $$ (8)

      式中:$ {F}_{i}^{s}(x,y) $为序列$ {F}^{s} $中第i幅图像在坐标(x,y)处的灰度值;μ为亮度压缩系数。

      T表示融合后的光栅图像,坐标点(x,y)处的灰度值T(x,y)计算公式如下:

      $$ T(x,y) = \sum\limits_{i = 1}^m {F_i^s(x,y)} $$ (9)

      最后对融合后的图像T采用CLAHE算法提高条纹图的对比度和清晰度。

    • 相移法是一种通过投影若干幅具有一定常量相位差的光栅条纹图像来求解相位场的方法,所以又被称为相位测量术[17],文中采用四步相移法求解相位主值,需投射4幅条纹图,则每幅条纹图的灰度分布为:

      $$ \left\{\begin{array}{l}{I}_{1}(x,y)=I' (x,y)+I''(x,y)\cos[\varphi (x,y)] \\I_2(x,y)=I' (x,y)+I''(x,y)\cos[\varphi (x,y)+\pi /2] \\I_3(x,y)=I' (x,y)+I''(x,y)\cos[\varphi (x,y)+3\pi /2] \\{I}_{4}(x,y)=I' (x,y)+I''(x,y)\cos[\varphi (x,y)+2\pi ] \end{array}\right. $$ (10)

      由公式(10)可知四步相移中相邻的两个光栅条纹图像的相位差为π/2,此时的相位主值提取的公式为:

      $$ \varphi (x,y) = \arctan \left[\frac{{{I_4}(x,y) - {I_2}(x,y)}}{{{I_1}(x,y) - {I_3}(x,y)}}\right] $$ (11)

      此时,求出的相位主值由于反正切函数的性质使得相位值被包裹在[0,2π]之间[18],需要对包裹的相位进行展开。解包裹相位的方法包括格雷码法、傅里叶法、双频外差法等[19]。传统的格雷码法解相位可能会因为投影仪和相机畸变效应等原因,在包裹相位的边缘处可能会发生跳变,所以文中使用互补格雷码进行解相。互补格雷码如图3所示引入一张5位格雷码,与4位格雷码形成互补[20]。互补格雷码的原理如图4所示。

      图  3  互补格雷码加四步相移图

      Figure 3.  Complementary Gray code and four step phase shift graph

      图  4  互补格雷码原理图

      Figure 4.  Schematic diagram of complementary Gray code

      互补格雷码的计算如下式所示:

      $$ \varPhi (x,y) = \left\{ {\begin{array}{*{20}{l}} {\varphi (x,y) + 2\pi {k_2}(x,y),\varphi (x,y) \leqslant - \pi /2} \\ {\varphi (x,y) + 2\pi {k_1}(x,y), - \pi /2 < \varphi (x,y) < \pi /2} \\ {\varphi (x,y) + 2\pi {k_2}(x,y) - 2\pi ,\varphi (x,y) \geqslant \pi /2} \end{array}} \right. $$ (12)

      式中:k1为4张格雷码图使用传统解相方法获得;k2为全部5张格雷码图进行解相获得,最后求得的$ {\varPhi }\left(x,y\right) $即为绝对相位。

    • 测量系统由DLP投影设备和Congex工业相机组成,系统采用四步相移和互补格雷码的方法进行测量,共需投射4幅相移图和5幅格雷码图以及一张投射白光图。

      选取标准块作为被测物,设置初始曝光时间t0为18 ms时,图像直方图呈现规律的集群分布,为了观察明显,将t0取18 ms时图像的直方图划分30等分如图5所示。

      图  5  18 ms时图像直方图示例

      Figure 5.  Example of image histogram at 18 ms

      图5可知,图像的直方图有4个明显的集群,将每个集群右侧谷底的I0值以及t0值代入公式(5)求得的最佳曝光时间topt依次为:18.57、23.63、30.59、74.28 ms。同时根据经验设置的第一组曝光时间为20、40、60、80 ms;第二组曝光时间为10、20、30、60 ms,不同曝光时间下融合的条纹图如图6所示。

      图  6  不同曝光时间融合的条纹图。(a)第一组曝光;(b)第二组曝光;(c)自适应曝光

      Figure 6.  Fringe patterns fused with different exposure times. (a) First group exposure; (b) Second group exposure; (c) Adaptive exposure

      通过图6的对比可以看出,手动曝光第一组融合的条纹图仍然存在过曝点;手动曝光第二组融合的条纹图虽然没有过曝点,但条纹图整体偏暗,光栅条纹不清晰;自适应曝光融合的条纹图没有过曝点且条纹图的整体清晰度较好。通过以上对比可知,自适应曝光避免了设置曝光时间全凭操作者经验的问题,同时提高了曝光精度。

      同时文中选取U型卡,连接块和圆盘作为高动态范围表面测量物体,对其进行三维轮廓检测。被测物的各参数值如表1所示,表中的阈值百分比和亮度压缩系数通过多组实验对比择优选出。

      表 1  被测物体各参数值

      Table 1.  The parameter values of the tested object

      Tasted objectOptimal exposure
      time/ms
      Threshold
      processing percentage
      Brightness compression
      coefficient
      U-card18.43, 37.56, 68.40, 98.3395%0.6
      Connection
      block
      18.64, 34.46, 62.54, 81.2692%0.5
      Disc18.59, 42.36, 74.54, 96.4395%0.6

      实验分别采用投影栅相位法、文献[11]方法、文中方法对样件进行测量,其中投影栅相位法通过单次曝光的方法获得条纹图,文献[11]和文中通过多曝光融合的方法获得条纹图,文献[11]和文中选取相同的曝光时间,图7~图9分别为通过投影栅相位法,文献[11]方法和文中方法得到的3个被测物相同周期内的条纹图。

      图  7  U型卡在不同方法下的条纹图像。(a)投影栅相位法;(b)文献[11]方法;(c) 文中方法

      Figure 7.  Fringe image of U-card in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

      图  8  连接块在不同方法下的条纹图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

      Figure 8.  Fringe image of connection block in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

      图  9  圆盘在不同方法下的条纹图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

      Figure 9.  Fringe image of disc in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

      投影栅相位法因为单次曝光的原因,在测量高动态范围物体时,拍摄的条纹图部分区域过亮或过暗;文献[11]方法在图像融合过程中进行像素值替换,但对于某块区域图像质量整体偏差的情况,获得的条纹图质量依然较差。文中的方法对于过亮区域和过暗区域都进行了优化,融合后的条纹图没有过亮和过暗的区域,且条纹图的整体质量良好。

      将条纹图经过相位解算和参数标定后,得到被测物的三维点云图,如图10~图12所示。

      图  10  U型卡在不同方法下的点云图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

      Figure 10.  Point cloud image of U-card in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

      图  11  连接块在不同方法下的点云图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

      Figure 11.  Point cloud image of U-card in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

      图  12  圆盘在不同方法下的点云图像。(a)投影栅相位法;(b)文献[11]方法;(c)文中方法

      Figure 12.  Point cloud image of disc in different methods. (a) Projection phase method; (b) Methods of Ref.[11]; (c) Proposed method

      通过点云图对比可以看出,投影栅相位法在测量高反光物体时,因为单次曝光的局限性,从而导致点云图缺失严重。文献[11]方法对于部分饱和区域有一定的修补效果,但如果饱和区域过大,得到的点云图仍然会有缺失的现象。文中的方法提高了条纹图的整体质量,得到的点云图无明显缺失,整体较好。

      在3个被测物的表面喷一层显像剂,使之呈现漫反射特性,将喷显像剂三维重建的点云数设置为基准数。U型卡、连接块、圆盘在投影栅相位法、文献[11]方法和文中方法测出的三维点云数、重建率如图13所示。

      图13可知,文中方法测出的点云数与喷显像剂法测出的三维点云数相近,且重建率分别达到了99.88%、99.75%、99.76%,说明文中方法可以有效解决测量高动态范围表面物体三维点云缺失的问题。

      图  13  不同方法下测出的三维点云数和重建率。(a) U型卡;(b)连接块;(c)圆盘

      Figure 13.  The number and reconstruction rate of 3D point clouds measured using different methods. (a) U-card; (b) Connection block; (c) Disc

      文中方法在解决三维点云缺失问题的同时,也进一步提高了测量精度。为验证文中方法的测量精度,选用具有高动态范围表面的标准块阶梯进行测量,并与投影栅相位法和文献[11]方法进行对比。标准量块的高度差为9 mm,精度等级为0级。将其堆叠成图14(a)所示的阶梯状,并重建形成三维点云,通过设置半径滤波的相邻点和阈值去除点云图中杂乱点,使用Geomagic Wrap软件将经滤波处理后的点云进行封装,并对封装图的上下两个平面进行拟合,拟合平面之间的垂直距离即为标准量块的高度差。使用不同方法测量的高度差结果如表2所示。采用文中方法测量得出的标准块阶梯三维点云封装图以及标准块阶梯上下两个表面的高度差如图14(b)和图14(c)所示。

      图  14  标准块阶梯高度差测量。(a)标准块阶梯实物图;(b)标准块阶梯三维点云封装图;(c)高度差测量结果

      Figure 14.  Standard block step height measurement. (a) Standard block ladder physical diagram; (b) Standard block ladder 3D point cloud encapsulation diagram; (c) Height difference measurement results

      表 2  不同方法测量标准块阶梯误差对比分析

      Table 2.  Comparative analysis of step error in measuring standard blocks using different methods

      MethodHeight/mmAbsolute error/mmRelative error/mm
      Projection phase method8.8260.1741.93%
      Methods of Ref.[11]8.8760.1241.40%
      Proposed method8.9380.0620.69%

      通过表2可知,投影栅相位法和文献[11]方法测出的高度差绝对误差分别为0.174 mm和0.124 mm,相对误差分别为1.93%和1.40%,而文中方法测出的高度差绝对误差和相对误差仅为0.062 mm和0.69%,说明了文中方法可以有效提高高动态范围表面物体的测量精度。

    • 针对高动态范围表面物体三维轮廓检测失效的问题,文中提出了一种改进的多曝光融合方法,利用自适应曝光取代手动曝光,同时在图像融合的过程中通过设定阈值、亮度压缩以及使用CLAHE算法等方法提高条纹图的对比度和清晰度。实验结果表明:自适应曝光相较于手动曝光具有高效性和准确性,对不同的高动态范围表面物体点云重建率均在99.75%以上,测量出的标准块阶梯高度差绝对误差和相对误差仅为0.062 mm和0.69%,有效解决了检测高动态范围表面物体三维点云缺失的问题,提高了测量效率和三维轮廓测量的精度。

参考文献 (20)

目录

    /

    返回文章
    返回