Volume 51 Issue 7
Aug.  2022
Turn off MathJax
Article Contents

Wang Suqin, Chen Taiqin, Zhang Feng, Shi Min, Zhu Dengming. High-precision 3D reconstruction method for topography measurement of complex mechanical parts[J]. Infrared and Laser Engineering, 2022, 51(7): 20210730. doi: 10.3788/IRLA20210730
Citation: Wang Suqin, Chen Taiqin, Zhang Feng, Shi Min, Zhu Dengming. High-precision 3D reconstruction method for topography measurement of complex mechanical parts[J]. Infrared and Laser Engineering, 2022, 51(7): 20210730. doi: 10.3788/IRLA20210730

High-precision 3D reconstruction method for topography measurement of complex mechanical parts

doi: 10.3788/IRLA20210730
Funds:  National Natural Science Foundation of China (61972379)
  • Received Date: 2022-01-25
  • Rev Recd Date: 2022-03-20
  • Publish Date: 2022-08-05
  • Accurate measurement of mechanical parts can provide a basis for parts processing and manufacturing, virtual simulation, defect detection and other applications. The binocular vision method based on fringe projection is widely used in the topography measurement of mechanical parts due to its high-precision characteristics. In this method, the quality of the absolute phase curve determines the final accuracy of the 3D reconstruction. Due to the influence of environmental noise, discontinuity of the scene, and complex surface structure of the parts, absolute phase curve often has a large number of noise points and varying degrees of deformation. In order to improve the reconstruction accuracy, a corresponding improvement method is proposed for the problems existing in the absolute phase curve. Aiming at the noise points far away from the phase curve that are difficult to remove, a region-by-region phase correction method is proposed. This method divides the phase curve of each row into several regions, and uses the median of the phase value in the region as the threshold to remove such noise points. For the deformed area of ​​the phase curve, the curve fitting method is introduced on the basis of the point primitive-based stereo matching method, and the disparity map obtained after the matching is refined, which can improve the poor matching result in the deformed area of the phase curve and improve the robustness and accuracy of the matching method. The method is used to reconstruct complex part FSW inverter, and the standard deviation can be reduced to within 0.1 mm. Experiments have proved that the reconstruction accuracy of this method is higher. For mechanical parts with complex surface structure, the proposed method can achieve accurate measurement.
  • [1] 李文龙, 李中伟, 毛金城. iPoint3 D曲面检测软件开发与工程应用综述[J]. 机械工程学报, 2020, 56(7): 127-150. doi:  10.3901/JME.2020.07.127

    Li Wenlong, Li Zhongwei, Mao Jincheng. The development and application review of iPoint3D software for surface inspection [J]. Journal of Mechanical Engineering, 2020, 56(7): 127-150. (in Chinese) doi:  10.3901/JME.2020.07.127
    [2] 刘东, 严天亮, 王道档, 等. 条纹投影与相位偏折测量技术研究进展[J]. 红外与激光工程, 2017, 46(9): 193-202

    Liu Dong, Yan Tianliang, Wang Daodang, et al. Review of fringe-projection profilometry and phase measuring deflectometry [J]. Infrared and Laser Engineering, 2017, 46(9): 0917001. (in Chinese)
    [3] 殷永凯, 张宗华, 刘晓利, 等. 条纹投影轮廓术系统模型与标定综述[J]. 红外与激光工程, 2020, 49(3): 127-144.

    Yin Yongkai, Zhang Zonghua, Liu Xiaoli, et al. Review of the system model and calibration forfringe projection profilometry [J]. Infrared and Laser Engineering, 2020, 49(3): 0303008. (in Chinese)
    [4] 曹智睿, 董吉洪. 结构光编码测量技术在火星高分相机中的应用[J]. 光学精密工程, 2021, 29(6): 1420-1429. doi:  10.37188/OPE.20212906.1420

    Cao Zhirui, Dong Jihong. Application of structured light coding measurement technology in Mars high-resolution camera [J]. Optics and Precision Engineering, 2021, 29(6): 1420-1429. (in Chinese) doi:  10.37188/OPE.20212906.1420
    [5] 左超, 张晓磊, 胡岩, 等. 3 D真的来了吗?——三维结构光传感器漫谈[J]. 红外与激光工程, 2020, 49(3): 9-53.

    Zuo Chao, Zhang Xiaolei, Hu Yan, et al. Has 3 D finally come of age? ——An introduction to 3 D structured-light sensor [J]. Infrared and Laser Engineering, 2020, 49(3): 0303001. (in Chinese)
    [6] Kai Y K, Rajendran P. A review on stereo vision algorithm: Challenges and solutions [J]. ECTI Transactions on Computer and Information Technology (ECTI-CIT), 2019, 13(2): 112-128.
    [7] Marrugo A G, Gao F, Zhang S. State-of-the-art active optical techniques for three-dimensional surface metrology: a review [Invited] [J]. Journal of the Optical Society of America A, 2020, 37(9): B60-B77. doi:  10.1364/JOSAA.398644
    [8] Zhang Q, Han Y, Wu Y. Comparison and combination of three spatial phase unwrapping algorithms [J]. Optical Review, 2019, 26(4): 380-390. doi:  10.1007/s10043-019-00513-7
    [9] He Xiaoyu, Qian Kemao. A comparative study on temporal phase unwrapping methods in high-speed fringe projection profilometry [J]. Optics and Lasers in Engineering, 2021, 142: 106613.
    [10] 雷经发, 陈志强, 张淼, 等. 双频投影条纹相位展开方法的改进[J]. 光学精密工程, 2021, 29(6): 1337-1345. doi:  10.37188/OPE.20212906.1337

    Lei Jingfa, Chen Zhiqiang, Zhang Miao, et al. Improvement of phase unwrapping method for dual-frequency projection fringe [J]. Optics and Precision Engineering, 2021, 29(6): 1337-1345. (in Chinese) doi:  10.37188/OPE.20212906.1337
    [11] 陈玲, 邓文怡, 娄小平. 基于多频外差原理的相位解包裹方法[J]. 光学技术, 2012, 38(1): 73-78. doi:  10.3788/GXJS20123801.0073

    Chen King, Deng Wenyi, Lou Xiaoping. Phase unwrapping method base on multi-frequency interferometry [J]. Optical Technique, 2012, 38(1): 73-78. (in Chinese) doi:  10.3788/GXJS20123801.0073
    [12] 陈松林, 赵吉宾, 夏仁波. 多频外差原理相位解包裹方法的改进[J]. 光学学报, 2016, 36(4): 155-165.

    Chen Songlin, Zhao Jibin, Xia Renbo. Improvement of the phase unwrapping method based on multi-frequency heterodyne principle [J]. Acta Optica Sinica, 2016, 36(4): 0412004. (in Chinese)
    [13] 刘飞, 李佳鑫, 赖俊霖, 等. 基于多频外差的全频解相方法[J]. 激光与光电子学进展, 2019, 56(1): 173-180.

    Liu Fei, Li Jiaxin, Lai Junlin, et al. Full-frequency phase unwrapping algorithm based on multi-Frequency heterodyne principle [J]. Laser & Optoelectronics Progress, 2019, 56(1): 011202. (in Chinese)
    [14] 姜宏志, 赵慧洁, 梁宵月, 等. 基于极线校正的快速相位立体匹配[J]. 光学精密工程, 2011, 19(10): 2520-2525. doi:  10.3788/OPE.20111910.2520

    Jiang Hongzhi, Zhao Huijie, Liang Xiaoyue, et al. Phase-based stereo matching using epipolar line rectification [J]. Optics and Precision Engineering, 2011, 19(10): 2520-2525. (in Chinese) doi:  10.3788/OPE.20111910.2520
    [15] 肖志涛, 卢晓方, 耿磊, 等. 基于极线校正的亚像素相位立体匹配方法[J]. 红外与激光工程, 2014, 43(S1): 225-230.

    Xiao Zhitao, Lu Xiaofang, Geng Lei, et al. Sub-pixel matching method based on epipolar line rectification [J]. Infrared and Laser Engineering, 2014, 43(S1): 225-230. (in Chinese)
    [16] 王鹏, 张宇倩, 孙长库, 等. 极线和级次双约束的光栅投影测量方法[J]. 红外与激光工程, 2020, 49(4): 144-150.

    Wang Peng, Zhang Yuqian, Sun Changku, et al. Fringe projection measurement method based on polar line and fringe order double constraint [J]. Infrared and Laser Engineering, 2020, 49(4): 0413001. (in Chinese)
    [17] 王永红, 张倩, 胡寅, 王欢庆. 显微条纹投影小视场三维表面成像技术综述[J]. 中国光学, 2021, 14(3): 447-457. doi:  10.37188/CO.2020-0199

    Wang Yonghong, Zhang Qian, Hu Yin, et al. 3 D small-field surface imaging based on microscopic fringeprojection profilometry: A review [J]. Chinese Optics, 2021, 14(3): 447-457. (in Chinese) doi:  10.37188/CO.2020-0199
    [18] Duan C , Tong J , Lu L , et al. Improving the performance of 3D shape measurement of moving objects by fringe projection and data fusion[C]//IEEE Access, 2021, 99: 1.
    [19] Qian K. Two-dimensional windowed Fourier transform for fringe pattern analysis: Principles, applications and implementations [J]. Optics & Lasers in Engineering, 2007, 45(2): 304-317.
    [20] Zuo C, Huang L, Zhang M, et al. Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review [J]. Optics & Lasers in Engineering, 2016, 85(10): 84-103.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(9)  / Tables(2)

Article Metrics

Article views(202) PDF downloads(52) Cited by()

Related
Proportional views

High-precision 3D reconstruction method for topography measurement of complex mechanical parts

doi: 10.3788/IRLA20210730
  • 1. School of Control and Computer Engineering, North China Electric Power University, Beijing 102206, China
  • 2. State Grud Information & Telecommunication Branch, Beijing 100761, China
  • 3. Prospective Research Laboratory, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China
  • 4. Taicang-ZK Institute of Information Technology, Taicang 215400, China
Fund Project:  National Natural Science Foundation of China (61972379)

Abstract: Accurate measurement of mechanical parts can provide a basis for parts processing and manufacturing, virtual simulation, defect detection and other applications. The binocular vision method based on fringe projection is widely used in the topography measurement of mechanical parts due to its high-precision characteristics. In this method, the quality of the absolute phase curve determines the final accuracy of the 3D reconstruction. Due to the influence of environmental noise, discontinuity of the scene, and complex surface structure of the parts, absolute phase curve often has a large number of noise points and varying degrees of deformation. In order to improve the reconstruction accuracy, a corresponding improvement method is proposed for the problems existing in the absolute phase curve. Aiming at the noise points far away from the phase curve that are difficult to remove, a region-by-region phase correction method is proposed. This method divides the phase curve of each row into several regions, and uses the median of the phase value in the region as the threshold to remove such noise points. For the deformed area of ​​the phase curve, the curve fitting method is introduced on the basis of the point primitive-based stereo matching method, and the disparity map obtained after the matching is refined, which can improve the poor matching result in the deformed area of the phase curve and improve the robustness and accuracy of the matching method. The method is used to reconstruct complex part FSW inverter, and the standard deviation can be reduced to within 0.1 mm. Experiments have proved that the reconstruction accuracy of this method is higher. For mechanical parts with complex surface structure, the proposed method can achieve accurate measurement.

    • 机械零件测量一般要满足高精度与高效率的要求,并且机械零件因其表面光滑、缺少纹理、结构复杂等特点使得零件测量更具有挑战性[1]

      基于条纹投影的双目视觉法[2]通过向零件表面投射光栅条纹,为其增加额外信息,克服了零件表面光滑且缺少纹理的难题[3];该方法因非接触、精度高、速度快及抗干扰性强等优点被广泛用于零件加工、辅助医疗与逆向工程等领域[4]

      基于条纹投影的双目视觉法大致分为图像采集、分析条纹图像获得包裹相位、相位展开、相位立体匹配以及恢复物体三维坐标五个步骤[5]。具体过程为:首先,通过投影仪向零件表面投射光栅条纹,左右相机分别采集经零件表面调制过后的条纹图像;接着,使用相移法从图像中获取包裹相位,随后对包裹相位进行相位展开、获得绝对相位;然后,根据绝对相位进行立体匹配得到视差图;最后,依据三角测量原理将视差图转换为三维点云。

      在上述步骤中,立体匹配的结果是影响重建精度的主要因素。立体匹配是指在左右图像中寻找同名点的过程[6]。在基于条纹投影的双目视觉法中,立体匹配是在两幅绝对相位图中找到相位值相等的对应点,也称为相位立体匹配。因此,绝对相位值的精度高低直接决定了相位立体匹配结果的优劣。

      绝对相位是通过对包裹相位进行相位展开得到的,相位展开方法分为空间相位展开方法与时间相位展开方法两大类[7]。空间相位展开方法[8]不需要额外的投影图案辅助展开相位,但该方法精度低且当场景不连续、物体表面轮廓复杂时,无法成功展开相位。时间相位展开方法[9]需要投射额外的光栅图案以辅助相位的展开,能够适应大多数场景,且具有较高精度。多频外差方法[10]是时间相位展开方法中的典型方法,它使用外差原理将两个高频相位拟合成一个低频外差相位,之后根据低频外差相位对包裹相位进行相位展开,获得高频绝对相位。

      理想的绝对相位在每一行的分布应是光滑、无起伏的直线。但在实际应用中,由于多频外差方法本身存在的缺陷以及环境噪声等影响,在实际的绝对相位分布中存在大量的噪声点;除此之外,场景的不连续、零件表面复杂的结构等也会使得相位分布在小区域内存在一定的弧度甚至是跳变。上述情况都会影响零件重建的精度,因此需要对其进行修正。

      为了去除绝对相位中的噪声点,陈玲等[11]通过分析误差点的邻域信息进行相位校正,但由于该方法破坏了各像素点的独立性,因此很难应用于表面结构复杂的物体。陈松林等[12]为去除跳跃性误差,对相位展开过程提出一系列的约束条件并采用条纹节距较大的投影条纹来对相位进行解包裹,该方法约束较多,并且由于使用了条纹节距较大的条纹光栅,使得最终重建结果的细节不佳。刘飞等[13]提出基于多频外差的全频解相方法,该方法在解包裹过程中充分利用了各频率的相位信息,去除了相位曲线中存在的跳跃性误差,但无法去除远离相位曲线的噪声点。

      为了利用绝对相位图来获得高精度的匹配结果,姜宏志等[14]首先对图像进行极线校正,再使用基于点基元的匹配方法对左右图像进行立体匹配,即将单点的相位值作为匹配的依据,取相位差值最小的点作为匹配点。该方法将匹配过程由二维降至一维,提高了匹配的精度与速度,但由于该方法基于单点的相位值进行匹配,在相位曲线质量不佳处容易造成错误匹配。肖志涛等[15]在极线校正的基础上引入了模板匹配方法,以待匹配点邻域的相位信息作为匹配的依据,可降低相位曲线质量对匹配结果的影响,但使得匹配效率大幅下降,且不能保证点云的细节。为了改善基于模板的匹配方法的效率,王鹏等[16]根据相位与级次之间的关系,在立体匹配时增加级次约束,缩小了匹配点的搜索范围,显著提高了匹配效率。但当重建物体为表面结构复杂的中大型零件时,该方法的效率仍然不能满足需求,且生成的点云细节较差。

      文中基于相位曲线对重建精度的重要影响,分别在相位展开阶段与立体匹配阶段提出相应的方法改善相位曲线的质量,提高重建的零件点云精度。具体为:针对相位曲线中存在远离相位分布的噪声点的问题,提出逐区域相位校正方法,该方法将相位分布分为若干区域,并以各区域的中位值为阈值去除此类噪声点;针对相位曲线存在弧度或跃变影响立体匹配效果的问题,提出结合曲线拟合的相位匹配方法,提高了匹配方法的鲁棒性与重建精度。

    • 绝对相位的获取包括包裹相位的获取以及相位展开,其相位精度直接影响着最后的重建结果。文中采用相移法[17]结合多频外差方法来计算相位信息,具体流程是:首先,将光栅条纹图烧录至投影仪中,通过投影仪将光栅条纹投射至零件表面,之后左右相机分别采集被零件表面调制过后的光栅条纹图像,根据采集得到的图像,使用相移法获得包裹相位,最后使用多频外差法对包裹相位进行相位展开,获得绝对相位。其中,包裹相位呈周期性分布,各点的相位值被限制在一定的范围内,因此被称为包裹相位;绝对相位在全局范围内无歧义,即在图像的每一行中,各像素点都有唯一的相位值。

    • 为了从经物体表面调制过后的光栅条纹图像中获取相位信息,国内外学者做了大量研究,提出相移法、傅里叶变换法[18]和加窗傅里叶变换法[19]等。其中,相移法由于去除了来自环境光和表面反射率的干扰而被广泛采用。在相移法中,需要向被测物体投射不同相位偏移的光栅条纹,经相机采集后,其像素分布为:

      式中:N为相移步数;$ {I_i}(x,y) $为第i幅图像中点$ (x,y) $的灰度值;$ A(x,y) $为点$ (x,y) $的背景光强;$ B(x,y) $为点$ (x,y) $的调制幅度;$ \phi (x,y) $为点$ (x,y) $的包裹相位。

      在公式(1)中存在$ A(x,y) $$ B(x,y) $以及$ \phi (x,y) $三个未知数,因此相移法需要三幅以上的光栅条纹图像。采集光栅条纹图像后,根据公式(2)求取包裹相位。由于使用了反正切函数,因此相位分布在图像上呈周期性变化。

      在进行点云重建时,需要依据在图像范围上唯一的相位信息进行立体匹配,因此需要对包裹相位进行相位展开,得到在全局范围内具有唯一值的绝对相位,相位展开过程[20]图1所示,具体原理表示为:

      Figure 1.  Schematic diagram of phase unwrapping process

      式中:$ \varPhi (x,y) $为点$ (x,y) $的绝对相位值;$\varphi (x,y)$为点$ (x,y) $的包裹相位值;$ k(x,y) $为对应的级次。

      多频外差方法使用外差原理,将不同频率的包裹相位外差为在全局范围内具有唯一值的外差相位,如图2所示,其中$ {\phi _1} $$ {\phi _2} $为不同频率的包裹相位,频率分别记为$ {f_1} $$ {f_2}\left( {\left| {{f_1} - {f_2}} \right| = 1} \right) $$ {\phi _{12}} $$ {\phi _1} $$ {\phi _2} $通过外差原理拟合得到的相位,其频率记为$ {f_{12}} $$ {\phi _{12}} $$ {f_{12}} $通过公式(4)与公式(5)求得:

      Figure 2.  Diagram of heterodyne principle

      通过公式(4)求得相位$ {\phi _{12}} $后,可根据公式(6)对包裹相位$ {\phi _1} $进行相位展开,得到绝对相位$ {\varPhi _1} $

      由公式(6)可知,在展开包裹相位$ {\phi _1} $时,会将相位$ {\phi _{12}} $乘以$ {{{f_1}} \mathord{\left/ {\vphantom {{{f_1}} {\left( {{f_1} - {f_2}} \right)}}} \right. } {\left( {{f_1} - {f_2}} \right)}} $,这会使得相位$ {\phi _{12}} $中原有的误差被放大,造成求解的绝对相位$ {\varPhi _1} $不准确,为后续的点云重建引入较大误差。

      根据公式(3)可知,还可通过求解每个像素点的级次来进行相位展开。因此,联立公式(3)与公式(6)可求得级次$ k(x,y) $,如公式(7)所示:

      式中:round为四舍五入操作。

      联立公式(3)和公式(7)可得,绝对相位$ {\varPhi _1} $的另一个求解方式,如公式(8)所示:

    • 在相位展开过程中,由于噪声、算法本身存在的缺陷等影响,获得的绝对相位曲线并不会如理想情况下是一条光滑的曲线,如图3所示。

      Figure 3.  Schematic diagram of multi-frequency heterodyne phase unwrapping

      图3 (a)为使用公式(6)求得的绝对相位$ {\varPhi _1} $,整体上与理想相位分布一致,但因其放大了相位$ {\phi _{12}} $中的误差,因此曲线不够光滑,各像素点的相位值在小范围内上下起伏,如图3 (a)中放大部分;图3 (b)为使用公式(8)求得的绝对相位$\varPhi _1{'}$,相位曲线较为光滑。因此在实际相位展开过程中,一般不使用公式(6)而使用公式(8)进行相位展开。但由于公式(8)进行了四舍五入操作,使得某些点产生了$ \pm 2\pi $的跳跃性误差,如图3 (b)中由红色虚线圈标出部分。由图3可知,无论使用哪个公式进行相位展开,都存在远离相位曲线的噪声点,见图中红圈标出部分。这些$ \pm 2\pi $的跳跃性误差以及远离相位曲线的噪声点必须要去除。

      ${\varPhi _1}$的大部分像素点的相位误差不超过$ \pi $,因此为了去除$\varPhi _1{'}$中存在的$ \pm 2\pi $的跳跃性误差,将$\varPhi _1{'}$${\varPhi _1}$进行比较来剔除。当$\varPhi _1{' }$${\varPhi _1}$之间的差值介于$ - 2\pi $$ - \pi $时,说明$\varPhi _1{'}$具有$ - 2\pi $的跳跃性误差;当二者之间的差值介于$ \pi $$ 2\pi $时,则说明$\varPhi _1{'}$具有$ 2\pi $的跳跃性误差;若二者之间的差值的绝对值小于$ \pi $,则说明$\varPhi _1{'}$正常。具体原理可表示为:

      为了去除红圈标出的噪声点,文中提出逐区域相位校正算法用以去除此类噪声点。

      相位曲线在一定区域内应是光滑的,各点相位值与该区域的相位中位数之间的差值应该在一定范围内。根据该性质,逐区域相位校正算法将每一行的相位分布划分为一个个小区域,并求取每个小区域的中位数$ mi{d_{}} $,之后将区域内各点的相位值与所在区域的中位数相比较,若二者之间的差值小于设定的阈值$ threshold $,则该点不是噪声点,反之,该点为噪声点,将其去除,如公式(10)所示:

    • 立体匹配是双目视觉系统中重要的一环,该阶段结果的好坏直接影响着最后重建的精度。基于点基元的相位匹配方法[14]根据单点的相位值进行立体匹配,虽然能够获得较高的匹配效率,但在相位曲线具有一定弧度,各点相位值差异不大时容易造成误匹配,鲁棒性不高。针对这个问题,现有的相位匹配方法采用模板匹配方法,通过引入待匹配点的邻域信息来提升重建的精度。但这类方法会大幅降低匹配效率,并且可能导致点云的细节缺失。针对上述问题,文中提出结合曲线拟合的相位匹配方法,将基于点基元的匹配方法与曲线拟合相结合,并对匹配后得到的视差图进行精化,提高了匹配方法的鲁棒性及重建精度。

    • 理论上,相位立体匹配是在左、右两幅图像中找到相位相同的对应点。但在实际数据中,很难在两幅图像中找到相位完全相等的点。因此在匹配中,往往是在右图像中找到与左图像相位值相差最小的点。设左图像中的待匹配点为A,其在右图像中的匹配点为B,则有以下关系成立:

      式中:$ W $为图像宽度;$ Acol $为点A的列坐标,其相位值为$\varPhi _{Acol}^{left}$$ Bcol $为点B的列坐标,其相位值为$\varPhi _{Bcol}^{right}$$\varPhi _i^{right}$为与点B同行的像素点的相位值。

      由于左右相机的角度不同以及遮挡的存在,场景中某些区域只能被单个相机拍摄到。这些区域的像素点是不存在匹配点的。为了去除这些区域,通常会设定一个阈值$ thr $,要求匹配点对的相位差值小于这个阈值,即:

      阈值$ thr $一般小于一个像素点所占的相位信息,即:

      式中:$ f $为所选条纹码的相位周期。

      在无噪声的理想情况下重建平面,相位曲线是一条光滑的直线,相邻像素点之间的相位差值具有一定的大小,其与所选的条纹码周期数与图像宽度有关。因此往往只有唯一的匹配点对满足公式(12),相应的该匹配点对为正确的匹配点对。

    • 因为不同高度的曲面对条纹的调制程度不同,因此在实际重建时,相位曲线会因重建场景的不连续、零件表面复杂的结构而发生一定的形变,具体表现为相位曲线在小范围内存在一定的弧度甚至是跳变,图4所示为经去噪后实际的相位曲线。

      Figure 4.  Schematic diagram of the absolute phase curve after denoising

      当相位曲线在区域内存在如图4中由矩形框标出的跃变或是较大弧度形变时,由于各像素点之间的相位差值足够大,因此根据公式(11)与公式(12)进行相位立体匹配,能够得到正确的匹配点对。但当相位曲线在区域内存在如图4中由椭圆标出的较小弧度形变时,各像素点间的相位差值很小,存在多组匹配点对满足公式(12),匹配易受到噪声的影响,导致最终的重建结果鲁棒性不够。

      针对此类情况,文中根据候选匹配点的数目确定上述问题区域,并在问题区域使用曲线拟合,对该区域的相位分布进行修正,降低噪声对该区域匹配结果的影响,提高匹配方法的鲁棒性。该方法在重建复杂机械零件时,能够改善相位曲线质量,提升匹配精度;在重建简单物体,如表面无起伏的平面时,该方法退化为基于点基元的相位匹配方法,经过去噪后,此时的相位曲线近似为理想的相位曲线,仅依据单点的相位值也能获得正确的匹配结果。因此,即使结合曲线拟合的相位立体匹配方法发生退化,依然可以保证匹配的精度。该方法具体流程如下:

      首先比较右图中各点与左图待匹配点之间的相位值,确定候选匹配点并统计其数量。候选匹配点与待匹配点之间的相位差值要足够小,满足公式(12)的要求。若候选匹配点的数量大于阈值,说明待匹配点位于相位曲线弧度较小区域,通过曲线拟合方法对该区域的相位分布进行修正;若候选匹配点的数量小于阈值,则不进行任何操作;最后查找与待匹配点相位差值最小的点确定为匹配点。

      以区域内相位值拟合n次曲线,曲线函数如公式(14)所示:

      式中:$ {k_i} $为常数项;y为像素点的相位值;x为像素点的列坐标。上式中含有n+1个未知数,因此至少需要n+1个点才能求解,以矩阵表示如公式(15)所示:

      其中,矩阵Y由区域内各点的相位值构成,矩阵X由区域内各点的列坐标构成,可通过公式(16)求解矩阵K

      在实际拍摄中,场景中某些区域只能被单相机捕捉到,相应的这些区域内的像素点是不存在匹配点的。但若该区域的相位分布恰好具有如图4中椭圆标出的较小弧度的形变时,就会因区域内各像素点的相位值差异不大而引入误匹配,此类情况会使得重建结果存在大量的噪声点集群。但此类误匹配难以在相位立体匹配阶段避免,因此文中通过对视差图进行精化,以剔除此类误匹配,具体流程如下。

      首先统计视差图中各点邻域内的有效点数,并设定阈值$ thr{e_{points}} $,若有效点数小于阈值,则说明该点为误匹配点;之后根据公式(17)计算各点到邻域内有效点的距离$ dist(x,y) $,则:

      式中:$ n $为邻域宽度;$ isValid(x,y) $表示点$ (x,y) $是否为有效点;$ validNum(x,y) $为点$ (x,y) $邻域内的有效点数量;$ distance $为点$ (x + i,y + j) $与点$ (x,y) $之间的距离。取值如公式(18)所示:

      然后使用公式(19)与公式(20)分别计算$ dist(x,y) $的平均值$ mean $与方差$ variance $,则:

      式中:$ pointsNum $为视差图的有效点数;$ H $为图像高度。

      最后依据公式(21)设定阈值并剔除掉视差图中的噪声点。

      式中:$ times $为认为设定的倍数。当点$ (x,y) $的平均距离$ dist(x,y) $大于该阈值时,将该点视为误匹配点。

    • 为了验证文中算法的有效性,搭建了一套双目结构光系统,该系统由两部相机以及一台DLP投影仪组成。相机选用的大恒工业相机,型号为MER-503-20 GC-P,其分辨率为2448 ×2048。投影仪选型为闻亭泰科的PRO4500-RGB-700,其分辨率为912 ×1140。在该系统中,左右相机之间的距离为400 mm,相机到物体距离为750 mm。文中实验在Windows 10操作系统下进行,处理器为Inter(R) Core(TM)i7-10700 F CPU @ 2.90 GHz 2.90 GHz,内存为16 GB,代码运行平台为Microsoft Visual Studio 2017。

      文中实验对象为FSW逆变器,图5所示为该零件的前视图与后视图。零件表面结构复杂,轮廓变化剧烈,有许多凸起与凹陷区域,顶部存在多处阶梯状的起伏,属于复杂机械零件中的一种。

      Figure 5.  FSW inverter

      实验过程中向零件表面分别投射频率为70、64和59的条纹图案,每种条纹图案投射4幅,总计投射12幅条纹图案。采集经零件表面调制的条纹图像后,使用相移法对图像进行分析,以获得包裹相位图;之后采用多频外差方法对频率为70的包裹相位图进行相位展开,得到绝对相位图。最后根据实验目的,采用不同的相位校正方法或相位匹配方法。

    • 本节实验向重建物体表面投射光栅条纹图案,采集图像后恢复其表面的相位分布,并设计不同实验说明逐区域相位校正方法的可行性。首先,通过改变所选区域大小来验证区域大小对逐区域相位校正方法的影响;之后为证明逐区域相位校正方法的有效性,分别采用不同的相位校正方法对相位曲线进行校正。

    • 逐区域相位校正方法将绝对相位曲线分为若干等长的小区域,并根据区域内各点相位值与区域内相位值的中位数的差值来剔除远离相位曲线的噪声点。其中,区域大小的选择对该方法的结果有着极大影响。为说明区域大小对逐区域相位校正方法结果的影响,本小节将区域大小分别设为20、50、100、150以及200,并根据公式(22)设置阈值,结果见图5

      式中:$ arealen $为设置的区域大小。

      图6可知,区域大小设为100时能够去除所有的噪声点且不会造成相位信息的丢失。图6 (a)为原始的相位分布,图6 (b)~图6 (f)分别为所选区域大小20、50、100、150以及200得到的相位分布。图6 (a)中,初始的相位分布存在些许远离相位分布的噪声点,并且这些噪声点在图像上相距不远。当选择较小区域时,可能会使得某一个噪声点的相位值成为该区域内的中位数,导致无法完全去除噪声点,见图6 (b)。区域较小时,可能导致曲线跃变区域两段曲线的占比严重失衡,即区域内大部分由一段曲线占据,另一段曲线只占据小部分。这会导致占据小部分区域的曲线被判定为噪声点,造成相位信息的丢失,如图6 (b)及图6 (c)中的放大部分所示。当选择较大区域时,根据公式(22)设定的阈值过大,导致无法完全去除噪声点,如图6 (e)和图6 (f)所示。当区域大小为100时,能够完全去除离群的噪声点,且在曲线的交界处不会造成相位信息丢失,见图6 (d)。因此在后续应用逐区域相位校正方法时,区域大小均设置为100。

      Figure 6.  Comparison of the effect of different area sizes in the area-by-area phase correction method

    • 为说明逐区域相位校正方法的效果,将文中方法与中值滤波以及全频解相法[13]进行实验对比,结果如图7所示。其中图7 (a)为原始的相位分布,存在着如图中红圈标出的远离相位曲线的噪声点以及由红色虚线圈标出的跳跃性误差;图7 (b)为使用中值滤波方法;图7 (c)为使用全频解相方法;图7 (d)为使用文中提出的逐区域相位校正方法。通过对比可得,中值滤波方法能够去除跳跃性误差以及少部分的噪声点,但会引入新的噪声点,如图7 (b)中用黄圈标出部分所示;全频解相方法能够去除跳跃性误差,但无法去除远离曲线的噪声点;文中方法首先根据公式(9)去除跳跃性误差,之后使用逐区域相位校正方法对远离相位曲线的噪声点进行剔除。经实验表明,文中方法能够将跳跃性误差与远离相位曲线的噪声点完全去除,如图7 (d)所示。

      Figure 7.  Phase curve obtained by using different phase correction methods

    • 实验选取FSW逆变器作为重建对象,通过在匹配过程中改变拟合函数的次数并计算生成的点云与标准模型之间的标准偏差,通过比较各点云的标准偏差用以说明参数的改变对文中方法的影响,同时为后续实验选取较好的参数。

      在实验过程中分别将拟合次数设为2次、3次、5次以及7次函数,并统计生成的点云数量以及与标准模型之间的标准偏差,结果如表1所示。当拟合次数过低时,易将正常区域错认为问题区域,在其上进行曲线拟合,会使得原有正确的相位值丢失,造成标准偏差略高;当拟合次数过大时,虽然某些问题区域因候选匹配点不足而被识别成正常区域,但由于不会对正确的相位值进行修改而引入新的误差,同时高次函数对相位曲线的修正效果要好于低次函数,因此此类情况要好于当拟合次数过低时的情况。

      Fit timesNumber of pointsStandard deviation/mm
      221289830.0950
      321348540.0939
      521344830.0945
      721341910.0938

      Table 1.  Influence of fitting times on proposed method

    • 分别使用基于点基元的匹配方法[14]、基于模板的匹配方法[16]以及文中方法对FSW逆变器进行重建,并对重建得到的点云进行对比分析,如图8所示。

      Figure 8.  FSW inverter reconstruction result

      为更好对比三种方法在重建复杂零件时的优劣,对易产生噪声点和空洞的区域进行了放大,如阶梯式起伏的交界区域、具有一定弧度的平面区域以及只被单相机捕捉到的阶梯式起伏的交界区域。其中,阶梯式起伏的交界区域以红色矩形框标出;具有一定弧度的平面区域使用黄色矩形框标出;只被单相机捕捉到的阶梯式起伏的交界区域以绿色矩形框标出。

      基于点基元的匹配方法由于在匹配时只考虑单点的相位信息,因此该方法容易受到重建过程中的噪声及零件复杂结构等影响,重建结果存在较多的噪声点。基于模板的匹配方法在匹配时考虑了以待匹配点为中心的邻域的相位信息,但在阶梯式起伏的交界处的像素点的邻域很容易涵盖不同曲面点的相位信息,所以该方法在类似区域往往存在较多的噪声点。文中方法在基于点基元的匹配方法基础上,对相位曲线应用曲线拟合,因此在这些区域的噪声点要少于其他两种方法,具体对比如图8中红圈标出部分。

      由于基于模板的匹配方法以像素点邻域的相位信息作为匹配依据,因此该方法得到的点云要较其他两种方法稀疏,在具有一定弧度的平面区域甚至会出现一定的空洞,使得点云细节不佳,如图8 (b)中黄圈标出部分。基于点基元的匹配方法以及文中方法均不存在这个问题。

      由绿色矩形框标出的放大部分在拍摄时只被单相机捕捉到,同时该部分处于阶梯式起伏的交界处,相位曲线在此处具有较小的弧度,各像素点的相位值差异不大。因此,在该区域容易造成误匹配,使得重建结果在此处存在噪声点集群。此类误匹配难以通过在立体匹配阶段排除,因此基于点基元的匹配方法与基于模板的匹配方法均存在上述噪声点集群,如图8 (a)与图8 (b)中由绿色椭圆标出部分。文中方法根据视差图中像素点到其邻域内各点的平均距离对视差图进行精化,有效去除此类误匹配点,如图8 (c)所示。

      为更好说明文中算法的有效性,将三种方法重建得到的点云与零件的标准模型进行对比,并计算标准偏差,结果如表2所示。虽然相较于点基元的匹配方法,基于模板的匹配方法得到的点云精度有所提高,但重建得到的点云的细节难以保证,存在多处的点云缺失,如图8中由黄色矩形框放大部分,点云在该区域存在多处空洞;而文中方法不仅提高了点云重建的精度,并且相较于基于模板的匹配方法而言,同时保留了点云的细节。

      MethodNumber of pointsStandard deviation/mm
      Point-based matching method21441440.1148
      Template -based matching method21139310.1128
      Proposed method21348540.0939

      Table 2.  Comparison of the results of reconstructing FSW inverter

    • 针对绝对相位曲线质量对重建精度的影响,提出了逐区域相位校正方法与结合曲线拟合的相位匹配方法。为去除相位曲线中远离相位分布的噪声点,逐区域相位校正方法将各点的相位值与其所在区域内相位值的中位数进行比较,若差异过大,则判定为噪声点。为改善基于点基元的相位匹配方法在相位曲线上有较小弧度区域匹配结果不佳的问题,结合曲线拟合的相位匹配方法通过曲线拟合的方法来改善问题区域的相位分布,并对匹配结果进行精化,得到更优的结果。为验证文中方法对参数的敏感性,在重建过程中设置不同参数,并将结果进行对比。实验证明,逐区域相位校正方法在参数设置不当时会遗漏少量噪声点或造成少量的相位丢失;结合曲线拟合的相位匹配方法在参数设置不当时会造成轻微的精度下降。为验证文中方法的有效性,分别使用多种相位匹配方法对复杂机械零件进行重建,并与文中方法进行对比。经实验证明,文中方法能够完全去除相位曲线中的噪声点;对表面结构复杂,轮廓变化剧烈的FSW逆变器进行重建,标准偏差可降至0.1 mm以内。相较于其他方法,精度更高且能保留点云的细节,能够满足工业制造领域的零件测量的精度要求。

Reference (20)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return