留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于面结构光的工件内壁点云旋转拼接研究

刘今越 翟志国 贾晓辉 薛路明 李铁军

刘今越, 翟志国, 贾晓辉, 薛路明, 李铁军. 基于面结构光的工件内壁点云旋转拼接研究[J]. 红外与激光工程, 2022, 51(9): 20210952. doi: 10.3788/IRLA20210952
引用本文: 刘今越, 翟志国, 贾晓辉, 薛路明, 李铁军. 基于面结构光的工件内壁点云旋转拼接研究[J]. 红外与激光工程, 2022, 51(9): 20210952. doi: 10.3788/IRLA20210952
Liu Jinyue, Zhai Zhiguo, Jia Xiaohui, Xue Luming, Li Tiejun. Research on rotating splicing of point cloud in workpiece wall based on surface structured light[J]. Infrared and Laser Engineering, 2022, 51(9): 20210952. doi: 10.3788/IRLA20210952
Citation: Liu Jinyue, Zhai Zhiguo, Jia Xiaohui, Xue Luming, Li Tiejun. Research on rotating splicing of point cloud in workpiece wall based on surface structured light[J]. Infrared and Laser Engineering, 2022, 51(9): 20210952. doi: 10.3788/IRLA20210952

基于面结构光的工件内壁点云旋转拼接研究

doi: 10.3788/IRLA20210952
基金项目: 国家重点研发计划 (2018YFB1306900);国家自然科学基金 (U1813222,U20 A20283)
详细信息
    作者简介:

    刘今越,男,教授,博士生导师,博士,主要研究方向为机器人环境感知、智能检测与控制

  • 中图分类号: TN247

Research on rotating splicing of point cloud in workpiece wall based on surface structured light

Funds: National Key Research and Development Program of China (2018YFB1306900);National Natural Science Foundation of China  (U1813222,U20 A20283)
  • 摘要: 针对某些工件内部空间有限、测量困难的问题,提出了一种基于面结构光的点云旋转拼接方法。介绍了面结构光单一视野的重建方法,采用四步相移与互补格雷码结合的方法获取绝对相位值,通过多项式拟合法对相机、投影仪进行标定。基于机械臂末端腕关节旋转平面(简称:旋转平面)对点云的配准进行了研究,提出了基于辅助相机的标定方法,给出了相机成像坐标系和旋转平面坐标系之间的变换关系。实验结果表明:该方法适用于工件内壁测量,拼接平均误差不大于0.05 mm,满足实际应用需求。
  • 图  1  测量系统模型图

    Figure  1.  Model diagram of measurement system

    图  2  四步相移法解包裹相位图。 (a) 相移0 rad; (b) 相移π/2 rad; (c) 相移π rad; (d) 相移3π/2 rad; (e) 相移结果

    Figure  2.  Four-step phase-shifting method for solving wrapped phase diagram. (a) Phase shift 0 rad; (b) Phase shift π/2 rad; (c) Phase shift π rad; (d) Phase shift 3π/2 rad; (e) Results of phase shift

    图  3  互补型格雷码原理图

    Figure  3.  Schematic diagram of complementary Gray code

    图  4  绝对相位图

    Figure  4.  Absolute phase diagram

    图  5  棋盘格图案

    Figure  5.  Checkerboard pattern

    图  6  相机-投影仪标定流程图

    Figure  6.  Flowchar diagram of camera-projector calibration

    图  7  坐标变换模型

    Figure  7.  Coordinate transformation mode

    图  8  实验系统组成

    Figure  8.  Composition of experimental system

    图  9  旋转平面标定拟合图。 (a) 棋盘格角点拟合平面; (b) 棋盘格角点拟合椭圆

    Figure  9.  Image of turntable calibration fitting. (a) Checkerboard corners fitting the plane; (b) Checkerboard corners fitting the ellipse

    图  10  拼接结果。(a) 局部拼接细节; (b) 全局拼接结果

    Figure  10.  Splicing result. (a) Partial splicing details; (b) Global stitching result

    表  1  辅助相机2及旋转平面标定结果

    Table  1.   Calibration results of auxiliary camera 2 and turntable

    Intrinsic parameters
    of camera 1
    ValuesParameters
    of camera 1, 2
    Values
    fu11693.1212R120.8794 0.2368 −0.4131
    0.0790 0.7830 0.6170
    0.4695 −0.5752 0.6700
    fv11684.9189
    u01617.9206
    v01572.1863T12203.2638 −154.7710 −156.0094
    k110.0165
    下载: 导出CSV

    表  2  相机1内参及相机1、2坐标变换关系

    Table  2.   Coordinate transformation relationship of camera 1 internal reference and camera 1, 2

    Intrinsic parameters of camera 2ValuesCalibration parameters of turntableValues
    fu21737.9983R2a−0.0023 −0.0312 0.9951
    0.9973 −0.0741 0.0102
    0.0741 0.9968 0.0313
    fv21727.9421
    u02639.7128
    v02477.7666T2a−338.5816 6.4040
    −146.7043
    k12−0.0179
    下载: 导出CSV

    表  3  实际值与测量值的对比结果

    Table  3.   Comparison between actual value and measured value

    Line of measurementActual valueMeasured valueError
    Line12244.0113243.95830.053
    Line13345.0742345.03130.043
    Line14243.9514244.0154−0.064
    Line23244.0342243.99020.044
    Lline24344.9786345.0336−0.055
    Line34243.9465243.9775−0.031
    Average error0.048
    Standard deviation0.056
    下载: 导出CSV
  • [1] Yokota M, Koyama T, Takeda K. Digital holographic inspection system for the inner surface of a straight pipe [J]. Optics and Lasers in Engineering, 2017, 97(10): 62-70.
    [2] Zhao Changfu, Ding Hongchang, Cao Guohua, et al. Image assisted normal measurement of compensation hole of brake master cylinder [J]. Chinese Optics, 2021, 14(5): 1212-1223. (in Chinese) doi:  10.37188/CO.2020-0219
    [3] Qin Ziyang. Research on 3D topography reconstruction technology of inner wall of tube-shaped parts based on line structured light[D]. Nanchang: Nanchang Hangkong University, 2018. (in Chinese)
    [4] Huang Zhanhua, Yue Fujun, Zhang Guang, et al. Research on data processing method of gun barrel inner wall detection system [J]. Journal of Applied Optics, 2020, 41(2): 248-256. (in Chinese) doi:  10.5768/JAO202041.0201003
    [5] Zhu Xiang, Shao Shuangyun, Song Zhijun. Geometric morphology detection method of track plate based on linear structured light sensor [J]. Chinese Optics, 2018, 11(5): 841-850. (in Chinese) doi:  10.3788/co.20181105.0841
    [6] Liu Fei, Luo Huifang, Jiang Hanli, et al. Improvement of the three frequency three step phase shifting structured light 3D reconstruction method [J/OL]. Infrared and Laser Engineering: 1-13 [2022-01-21] http://kns.cnki.net/kcms/detail/12.1261.TN.20210512.1100.002.html. (in Chinese)
    [7] Wang Ying, Zhang Rui. Circular structured light vision 3 d measurement system for inner surface of pipeline [J]. Infrared and Laser Engineering, 2014, 43(3): 891-896. (in Chinese)
    [8] Lu Shaohui. Research on pipeline inner surface defectdetection technology based on active panoramic vision [D]. Hangzhou: Zhejiang University of Technology, 2017. (in Chinese)
    [9] Ding Chao, Tang Liwei, Cao Lijun, et al. Correction of geometric distortion of deep hole inner surface structured light image [J]. Optics and Precision Engineering, 2018, 26(10): 2555-2564. (in Chinese) doi:  10.3788/OPE.20182610.2555
    [10] Ding Chao, Tang Liwei, Cao Lijun, et al. Detection of barrel rifling height difference based on structured light [J]. Optics and Precision Engineering, 2017, 25(4): 545-553. (in Chinese)
    [11] Shao Xinjie, Pan Shuo, Song Bin, et al. Research on detection point cloud stitching technologyfor deep hole inner surface [J]. Infrared and Laser Engineering, 2021, 50(12): 20210210. (in Chinese)
    [12] Li Zhongwei. Research on structured light 3D measurement technology and system based on digital grating projection[D]. Wuhan: Huazhong University of Science and Technology, 2009. (in Chinese)
    [13] Sun Xuezhen, Su Xianyu, Zou Xiaoping. Phase unwrapping based on complementary grating encoding [J]. Acta Optica Sinica, 2008, 28(10): 1947-1951. (in Chinese)
  • [1] 彭星, 翟德德, 石峰, 田野, 宋辞, 铁贵鹏, 沈永祥, 乔硕, 申箫, 张万里, 王盛, 阮宁烨.  高反射工件表面缺陷偏振检测光学系统设计 . 红外与激光工程, 2023, 52(6): 20220863-1-20220863-14. doi: 10.3788/IRLA20220863
    [2] 李小明, 朱国帅, 郭名航, 刘赢泽, 张崇.  基于光学自准直的旋转轴平行度测量与不确定度分析 . 红外与激光工程, 2023, 52(5): 20220794-1-20220794-12. doi: 10.3788/IRLA20220794
    [3] 谭长生, 黄庚华, 王凤香, 孔伟, 舒嵘.  空间位姿测量中面阵点云CPD方法的优化及验证 . 红外与激光工程, 2023, 52(2): 20220367-1-20220367-13. doi: 10.3788/IRLA20220367
    [4] 高宇森, 高楠, 倪育博, 孟召宗, 邵金凤, 张宗华.  全方位相机与转轴位姿标定方法研究 . 红外与激光工程, 2023, 52(8): 20230425-1-20230425-11. doi: 10.3788/IRLA20230425
    [5] 陈兰剑, 席崇宾, 周健, 聂晓明, 王琦, 黄荣, 向志毅, 金世龙.  用于导航定位的激光多普勒测速技术研究进展 . 红外与激光工程, 2023, 52(6): 20230143-1-20230143-13. doi: 10.3788/IRLA20230143
    [6] 吴金云, 杨剑, 高伟超, 张引发.  基于里德堡原子的无线电光学测量及其光谱处理技术(特邀) . 红外与激光工程, 2023, 52(6): 20230264-1-20230264-25. doi: 10.3788/IRLA20230264
    [7] 胡凯, 丛海佳, 陈凡胜, 金钢.  宽视场航天相机像面测量技术 . 红外与激光工程, 2021, 50(5): 20200336-1-20200336-7. doi: 10.3788/IRLA20200336
    [8] 邵新杰, 潘硕, 宋彬, 李晓磊, 唐香珺.  深孔内表面检测点云拼接技术研究 . 红外与激光工程, 2021, 50(12): 20210210-1-20210210-8. doi: 10.3788/IRLA20210210
    [9] 王辰星, 达飞鹏.  基于经验模态分解法的光学条纹图像处理研究进展 . 红外与激光工程, 2020, 49(3): 0303013-0303013-11. doi: 10.3788/IRLA202049.0303013
    [10] 刘正君, 耿勇, 谭久彬.  基于柱透镜多旋转测量的计算成像 . 红外与激光工程, 2019, 48(6): 603016-0603016(5). doi: 10.3788/IRLA201948.0603016
    [11] 薛珊, 吕南方, 沈雨鹰, 刘正彬, 郭建波.  基于激光三维点云的机械工件识别方法 . 红外与激光工程, 2019, 48(4): 442002-0442002(8). doi: 10.3788/IRLA201948.0442002
    [12] 孙沁园, 陈磊, 郑东晖, 朱文华, 张瑞, 丁煜.  采用短相干光源的动态斐索干涉仪 . 红外与激光工程, 2018, 47(2): 220001-0220001(7). doi: 10.3788/IRLA201847.0220001
    [13] 杨亮亮.  衍射光学元件斜入射衍射效率的测量 . 红外与激光工程, 2018, 47(1): 117003-0117003(5). doi: 10.3788/IRLA201847.0117003
    [14] 吴婷, 邹岩, 李之通, 惠勇凌, 李强.  两种透明介质微小折射率差高精度测量的新方法 . 红外与激光工程, 2017, 46(4): 417005-0417005(6). doi: 10.3788/IRLA201746.0417005
    [15] 曹智睿, 付跃刚.  点源透射比测试的高性能光陷阱技术研究 . 红外与激光工程, 2017, 46(1): 117006-0117006(7). doi: 10.3788/IRLA201746.0117006
    [16] 吴斌, 邢秀奎, 张云昊.  微细管道内壁缺陷柔性在线测量技术研究 . 红外与激光工程, 2015, 44(10): 2944-2951.
    [17] 戴士杰, 易丹, 李伟超, 常淑英, 王志平.  分段非均匀条纹生成方法及其在双频解相位中的应用 . 红外与激光工程, 2015, 44(9): 2849-2853,2857.
    [18] 韩志刚, 陈磊.  对包络变化及移相误差不敏感的宽带光八步移相算法 . 红外与激光工程, 2015, 44(4): 1236-1242.
    [19] 孙文卿, 陈磊, 李金鹏, 乌兰图雅, 何勇.  非圆孔径离散采样点正交多项式波前拟合 . 红外与激光工程, 2015, 44(3): 1068-1072.
    [20] 王涌鹏, 罗佳, 白剑, 梁宜勇.  高精度长焦距测量系统反射镜安装误差分析 . 红外与激光工程, 2014, 43(2): 562-568.
  • 加载中
图(10) / 表(3)
计量
  • 文章访问数:  177
  • HTML全文浏览量:  37
  • PDF下载量:  43
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-12-10
  • 修回日期:  2022-03-25
  • 刊出日期:  2022-09-28

基于面结构光的工件内壁点云旋转拼接研究

doi: 10.3788/IRLA20210952
    作者简介:

    刘今越,男,教授,博士生导师,博士,主要研究方向为机器人环境感知、智能检测与控制

基金项目:  国家重点研发计划 (2018YFB1306900);国家自然科学基金 (U1813222,U20 A20283)
  • 中图分类号: TN247

摘要: 针对某些工件内部空间有限、测量困难的问题,提出了一种基于面结构光的点云旋转拼接方法。介绍了面结构光单一视野的重建方法,采用四步相移与互补格雷码结合的方法获取绝对相位值,通过多项式拟合法对相机、投影仪进行标定。基于机械臂末端腕关节旋转平面(简称:旋转平面)对点云的配准进行了研究,提出了基于辅助相机的标定方法,给出了相机成像坐标系和旋转平面坐标系之间的变换关系。实验结果表明:该方法适用于工件内壁测量,拼接平均误差不大于0.05 mm,满足实际应用需求。

English Abstract

    • 随着制造业的飞速发展,对发动机气缸、轴承等工件内部形貌测量成为许多工业领域的重要需求[1-2]。根据测量原理的不同,针对内壁的测量方法主要分为接触式测量、非接触式测量。其中接触式测量容易造成内壁损伤[3],通常使用非接触式测量进行工件内壁的检测,基于结构光法、激光扫描法等光电检测法已经成为主要的检测手段。黄战华等[4]搭建了管件内壁的检测系统,该系统由激光位移传感器与轴向爬行机构构成,并提出了管内轮廓还原方法和膛线数据分离方法,通过最小二乘法获取身管内壁参数。激光三维成像法主要利用激光三角位移原理[5]进行测量,其测量场景较为局限,并且激光扫描的检测方法数据采集量大,数据转换环节较为复杂。结构光法具有稳定性好、精度高等特点[6],对深度信息提取准确的优势,其在逆向工程、工件内壁测量领域得到了广泛应用。王颖等[7]采用圆结构光开发出了适用于管道内壁的测量系统,圆结构光由被测物形貌调制,相机采集后,通过解析光条信息得到管道内表面密集点云信息[8],该测量方法结构紧凑、灵活易用,但其标定过程较为复杂,限制了检测范围。丁超等[9-10]提出了基于线结构光对管筒状零件内壁进行三维检测的方法,该方法测量精度较高,但当被测表面曲率较大时,易丢光条信息,导致测量数据不完整。邵新杰[11]提出了一种针对深孔内壁检测系统的位姿标定技术,采用步进电机牵引点云采集系统在工件内部旋转,获取内壁点云数据,其需要采用标准圆筒进行预先标定,通过迭代获取系统的标准位姿参数,普适性较差。

      文中提出了一种用于工件内壁测量的面结构光旋转测量方法,利用辅助相机间接获取相机坐标系与旋转平面坐标系间的空间位置关系,将在各个旋转角度获得的局部点云数据转换到旋转平面坐标系下,从而完成对工件内壁的点云拼接。

    • 图1所示,文中测量系统由相机、投影仪、旋转机构及计算机构成。投影仪将条纹编码投射到被测物表面,相机采集经过被测物表面调制的条纹图案,通过相位展开算法获取绝对相位,利用标定信息重建出被测对象的三维形貌。

      图  1  测量系统模型图

      Figure 1.  Model diagram of measurement system

      由于四步相移法能够很好地消除检测器偶次谐波(含常数项)的影响[12],文中采用该方法进行相位计算,四步相移法将相移图案每次平移π/2,连续平移三次,光强分布函数如公式(1)所示:

      $$ \left\{ {\begin{array}{*{20}{l}} {{I_1}(u,v) = a(u,v) + b(u,v)\cos [\phi (u,v)]} \\ {{I_2}(u,v) = a(u,v) + b(u,v)\cos [\phi (u,v) + \pi /2]} \\ {{I_3}(u,v) = a(u,v) + b(u,v)\cos [\phi (u,v) + \pi ]} \\ {{I_4}(u,v) = a(u,v) + b(u,v)\cos [\phi (u,v) + 3\pi /2]} \end{array}} \right. $$ (1)

      式中:Ii(u,v) 表示第i张相移图上点(u,v)处的强度值;a(u,v)为平均光强值;b(u,v)为调制光强值;$\phi $(u,v)为所求的相位值,可得:

      $$ \phi (u,v) = \arctan \left[ {\frac{{{I_4}(u,v) - {I_2}(u,v)}}{{{I_1}(u,v) - {I_3}(u,v)}}} \right] $$ (2)

      包裹相位图如图2所示,在一个光栅周期内取值范围为[−π,π]。

      图  2  四步相移法解包裹相位图。 (a) 相移0 rad; (b) 相移π/2 rad; (c) 相移π rad; (d) 相移3π/2 rad; (e) 相移结果

      Figure 2.  Four-step phase-shifting method for solving wrapped phase diagram. (a) Phase shift 0 rad; (b) Phase shift π/2 rad; (c) Phase shift π rad; (d) Phase shift 3π/2 rad; (e) Results of phase shift

    • 受采集图像噪声、环境光照等因素影响,格雷码值宽度与相移法的周期宽度并不一致,易产生级次跳变误差[13]。针对该问题,文中采用互补格雷码对获取的包裹相位进行展开。互补格雷码法原理图如图3所示,对前6张格雷码图像和全部7张格雷码图像分别采用格雷解码方式进行相应解码,得到码值分布为k1k2,通过公式(3)对包裹相位进行展开,得出绝对相位如图4所示。

      图  3  互补型格雷码原理图

      Figure 3.  Schematic diagram of complementary Gray code

      图  4  绝对相位图

      Figure 4.  Absolute phase diagram

      $$ \varPhi (u,v) = \left\{ {\begin{array}{*{20}{l}} {\phi (u,v) + 2{\text{π }}{k_2}(u,v),{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \phi (u,v) \leqslant - {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}{\kern 1pt} } \\ {\phi (u,v) + 2{\text{π }}{k_1}(u,v),{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} - {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}{\kern 1pt} < \phi (u,v) \leqslant {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}} \\ {\phi (u,v) + 2{\text{π }}{k_2}(u,v) - 2{\text{π }},{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \phi (u,v) \geqslant {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}} \end{array}} \right. $$ (3)
    • 多项式拟合标定过程中,投影图案易受标定板图案的影响产生相位误差,影响标定精度。文中采用灰白棋盘格的多项式拟合法对相机、投影仪进行标定,灰度棋盘格图案如图5所示,标定流程如图6所示。

      图  5  棋盘格图案

      Figure 5.  Checkerboard pattern

      图  6  相机-投影仪标定流程图

      Figure 6.  Flowchar diagram of camera-projector calibration

      对于相机视野中的每一个像素点(u,v),可用多项式方程组表示(Xc,Yc,Zc)与Φ(u,v)间的关系:

      $$ \left\{ {\begin{array}{*{20}{c}} {{Z_c}(u,v) = \displaystyle \sum\limits_{n = 0}^N {{a_n}} (u,v)\varPhi {{(u,v)}^n}} \\ {{X_c}(u,v) = \displaystyle \sum\limits_{n = 0}^N {{b_n}} (u,v)\varPhi {{(u,v)}^n}} \\ {{Y_c}(u,v) = \displaystyle \sum\limits_{n = 0}^N {{c_n}} (u,v)\varPhi {{(u,v)}^n}} \end{array}} \right. $$ (4)

      式中:N为拟合次数;系数anbncn包含了系统的结构参数。通过多项式拟合建立起多项式系数表。因此,在实物测量中,对于像素坐标系中的任意一点(u,v),根据其绝对相位值Φ(u,v),通过查表法即可获取其对应的相机坐标系下坐标 (Xc,Yc,Zc)。

    • 在单一角度下,测量系统只能获取被测工件的局部点云数据,为获取工件的完整形貌信息,通过旋转机构带动相机、投影仪旋转完成多个视角下点云数据采集与拼接。相机坐标系与旋转平面坐标系之间变换关系的准确程度直接决定了多视角点云的拼接精度,测量系统位置关系如图7所示。

      图  7  坐标变换模型

      Figure 7.  Coordinate transformation mode

      Oa-XaYaZa为旋转平面坐标系,坐标原点建立在转轴上,在转动过程中,Oa-XaYaZa姿态保持固定,面Oa-XaYa平行于转动平面。

      O1-X1Y1Z1为初始位置的相机坐标系,坐标原点在镜头中心,Z1轴为相机光轴,O1-X1Y1为相机成像面。其空间位姿随旋转平面转动而变化,O’1-X’1Y’1Z’1为转动后的相机坐标系,P1aP’1a分别为初始位置和转动后相机坐标系到旋转平面坐标系的变换矩阵。

      Q1(X1,Y1,Z1,1)为被测工件内壁上一点Q在坐标系O1-X1Y1Z1下的齐次坐标,该点在旋转平面坐标系下的齐次坐标Qa为:

      $$ {Q_a} = {{{P}}_{1a}}{Q_1} $$ (5)

      转动过程中,由于坐标系O1-X1Y1Z1相对于坐标系Oa-XaYaZa的位姿发生变化,不同旋转角度对应的P1a不同。因此对P1a的标定是实现点云拼接的关键。

    • 文中采用辅助相机法确定旋转平面坐标系并完成相机1坐标系与旋转平面坐标系间的转换,相机2作为辅助,O2-X2Y2Z2表示该相机成像坐标系,该坐标系到Oa-XaYaZa坐标系的齐次变换矩阵表示为P2a

      $$ {{{P}}_{2a}} = \left[ {\begin{array}{*{20}{c}} {{{{R}}_{2{a} }}}&{{{{T}}_{2a }}} \\ 0&1 \end{array}} \right] $$ (6)

      式中:R2a为坐标系O2-X2Y2Z2和旋转平面坐标系Oa-XaYaZa间的旋转矩阵;T2a为两坐标系间的平移矩阵。求解两矩阵的方法如下所述:

      (1)将棋盘格标定板放置于旋转平面上,该标定板共有m个角点,旋转平面旋转t个不同角度,相机2采集t张不同位置的棋盘格图片,棋盘格角点在坐标系O2-X2Y2Z2中的坐标表示为Pki(Xki,Yki,Zki),其中k[1,m], i[1,t]。

      (2)将点Pki(Xki,Yki,Zki)拟合旋转平面ax+by+cz+d=0,以该旋转平面的法向量方向为Za轴方向,以坐标系O2-X2Y2Z2Z2轴在旋转平面的投影为Ya,建立旋转平面坐标系Oa-XaYaZa,根据坐标系变换关系,得到相机坐标系O2-X2Y2Z2到旋转平面坐标系Oa-XaYaZa的旋转矩阵R2a

      (3)平移向量T2a,即旋转平面坐标系的原点Oa在相机坐标系O2-X2Y2Z2下的坐标值(Xa0,Ya0,Za0):

      将棋盘格上的m个角点在相机坐标系O2-X2Y2Z2下的坐标投影到步骤(2)中的拟合平面上。理想情况下,所有角点都位于以原点Oa为圆心的一个空间圆上,为降低相机透视畸变对求解精度的影响,文中采用椭圆拟合提取圆心坐标,椭圆的一般化公式为:

      $$ {A_1}{x^2} + {A_2}xy + {A_3}{y^2} + {A_4}x + {A_5}y + {A_6} = 0 $$ (7)

      对椭圆中心坐标求均值得到原点Oa的坐标Xa0Ya0。对所有角点Za轴坐标求均值得到Za0,通过公式(8)求得T2a

      $$ {{{T}}_{2{{a}}}} = \left[ {\begin{array}{*{20}{c}} {{{X} _0}} \\ {{{Y} _0}} \\ {{{Z} _0}} \end{array}} \right] = - {{{R}}_{2a}} \cdot \left[ {\begin{array}{*{20}{c}} {{{X} _{a0}}} \\ {{{Y} _{a0}}} \\ {{{Z} _{a0}}} \end{array}} \right] $$ (8)

      完成旋转平面标定后,将相机1、投影仪固定到旋转平面上,调整相机1使其与相机2视场交集最大,设此处相机1位置为初始位置,获取此时相机1坐标系与辅助标定相机2坐标系间的齐次变换矩阵P12,得:

      $$ {{{P}}_{1a}} = {{{P}}_{2a}}{{{P}}_{12}} $$ (9)

      代入公式(5)得:

      $$ {Q_a} = {{{P}}_{2a}}{{{P}}_{12}}{Q_1} $$ (10)

      Q’1(X1,Y1,Z1,1)为旋转平面旋转角度α后,坐标系O’1-X’1Y’1Z’1中被测物表面上一点Q’的齐次坐标,可得该点在旋转平面坐标系下的齐次坐标Q’a为:

      $$ {Q'_a} = {{{P}}_{2a}}{{{P}}'_{12}}{Q_1}^\prime $$ (11)

      式中:P’12为转动角度α时,相机1、2间齐次变换矩阵,得:

      $$ {{{P}}'_{12}} = {{{R}}_a}{{{P}}_{12}} $$ (12)

      其中,Ra为转动角度α时,对应的旋转矩阵为:

      $$ {{{R}}_a} = \left[ {\begin{array}{*{20}{c}} {\cos \alpha }&{ - \sin \alpha }&0&0 \\ {\sin \alpha }&{\cos \alpha }&0&0 \\ 0&0&1&0 \\ 0&0&0&1 \end{array}} \right] $$ (13)

      将公式(12)代入公式(11)得:

      $$ {Q'_{a} } = {{{P}}_{2a}}{{{R}}_a}{{{P}}_{12}}{Q_1}^\prime $$ (14)
    • 图8所示,实验平台包含一台工业相机(分辨率为1280×1024,帧率为75 fps),一台数字投影仪(分辨率为1280×720 pixel,帧率为60 fps)及一台六轴机械臂(UR5)组成。以带有通孔的铝制环形工件作为被测对象,采用7位互补格雷码,其中,第6位格雷编码条纹宽度为20 pixel。四步相移法采用光栅条纹周期节距为20 pixel。相机与工件内壁间距离约为170 mm,有效视场宽度约为150 mm,实验过程如下:

      图  8  实验系统组成

      Figure 8.  Composition of experimental system

      (1) 将标定板置于旋转平面上,每转动30°,辅助相机2(分辨率为1280×1024,帧率为75 fps)采集1张图像,共采集12张标定图像,拟合面Oa-XaYa和转动平面坐标系原点(Xa0,Ya0,Za0),结果如图9所示,根据公式(6),获取相机2坐标系与转动平面坐标系的变换矩阵P2a表1为相机2内参与旋转平面坐标系标定结果。

      图  9  旋转平面标定拟合图。 (a) 棋盘格角点拟合平面; (b) 棋盘格角点拟合椭圆

      Figure 9.  Image of turntable calibration fitting. (a) Checkerboard corners fitting the plane; (b) Checkerboard corners fitting the ellipse

      表 1  辅助相机2及旋转平面标定结果

      Table 1.  Calibration results of auxiliary camera 2 and turntable

      Intrinsic parameters
      of camera 1
      ValuesParameters
      of camera 1, 2
      Values
      fu11693.1212R120.8794 0.2368 −0.4131
      0.0790 0.7830 0.6170
      0.4695 −0.5752 0.6700
      fv11684.9189
      u01617.9206
      v01572.1863T12203.2638 −154.7710 −156.0094
      k110.0165

      (2) 将相机1、投影仪固定于旋转平面上,对相机1、2进行标定,获取两相机坐标系间的变换矩阵P12表2为相机1内参和相机1、2坐标系的标定结果。

      表 2  相机1内参及相机1、2坐标变换关系

      Table 2.  Coordinate transformation relationship of camera 1 internal reference and camera 1, 2

      Intrinsic parameters of camera 2ValuesCalibration parameters of turntableValues
      fu21737.9983R2a−0.0023 −0.0312 0.9951
      0.9973 −0.0741 0.0102
      0.0741 0.9968 0.0313
      fv21727.9421
      u02639.7128
      v02477.7666T2a−338.5816 6.4040
      −146.7043
      k12−0.0179

      (3) 采用1.3节灰白棋盘格多项式拟合标定方法,采集标定板25个不同位置的光栅及无光栅图像。根据公式(4)获取多项式系数,其中拟合次数N=3。

      为了评估文中点云拼接方法的精度,文中对图8中的铝制工件进行了重建:

      (1) 将该工件固定到测量位置,投影仪投射条纹编码图案到工件内壁,同时相机采集变形的条纹图像。

      (2) 对采集到的条纹图像进行解相处理,获取每个像素的绝对相位值,得出该工件内壁的点云数据。

      (3) 通过公式(14)对点云拼接,重建工件内壁三维模型重建结果及细节如图10(a)、(b)所示,相邻角度获取的点云重叠处过渡光滑。取工件内壁圆周4个特征点1、2、3、4的两两间距来对实际数据与测量数据进行比较。表3为4个特征点间连线的实际值与测量值之间的对比。测量值与实际值的平均误差为0.048 mm,标准偏差为0.056 mm,满足拼接精度要求。

      图  10  拼接结果。(a) 局部拼接细节; (b) 全局拼接结果

      Figure 10.  Splicing result. (a) Partial splicing details; (b) Global stitching result

      表 3  实际值与测量值的对比结果

      Table 3.  Comparison between actual value and measured value

      Line of measurementActual valueMeasured valueError
      Line12244.0113243.95830.053
      Line13345.0742345.03130.043
      Line14243.9514244.0154−0.064
      Line23244.0342243.99020.044
      Lline24344.9786345.0336−0.055
      Line34243.9465243.9775−0.031
      Average error0.048
      Standard deviation0.056
    • 文中针对某些工件内部形貌的三维测量需求,提出了一种基于面结构光视觉的旋转重建方法。建立了点云拼接的数学模型,并通过辅助相机标定法解决了在工件内壁测量中的点云拼接问题。实验结果表明,文中方法可对工件内壁进行有效测量,拼接平均误差不大于0.05 mm,为复杂内壁结构工件的三维形貌测量提供了有益参考。

参考文献 (13)

目录

    /

    返回文章
    返回