Volume 49 Issue 3
Mar.  2020
Turn off MathJax
Article Contents

Zhang Zonghua, Yu Jin, Gao Nan, Meng Zhaozong. Three-dimensional shape measurement techniques of shiny surfaces[J]. Infrared and Laser Engineering, 2020, 49(3): 0303006-0303006-13. doi: 10.3788/IRLA202049.0303006
Citation: Zhang Zonghua, Yu Jin, Gao Nan, Meng Zhaozong. Three-dimensional shape measurement techniques of shiny surfaces[J]. Infrared and Laser Engineering, 2020, 49(3): 0303006-0303006-13. doi: 10.3788/IRLA202049.0303006

Three-dimensional shape measurement techniques of shiny surfaces

doi: 10.3788/IRLA202049.0303006
  • Received Date: 2019-12-28
  • Rev Recd Date: 2020-02-05
  • Available Online: 2020-03-09
  • Publish Date: 2020-03-24
  • There are a large number of three-dimensional (3D) shape measurement requirements and applications for objects with shiny surfaces, such as ceramics, ancient artifacts, and metal workpieces. However, the traditional fringe projection method cannot accurately measure shiny surfaces due to the large range of reflectivity of the objects with shiny surfaces and the limited maximum gray level of the camera. This paper reviewed the recent developments, application fields and future research directions of high dynamic range 3D shape measurement technologies of shiny surface. First, according to the principle and measurement method, the existing 3D measurement technologies of high dynamic range were divided into the following six categories: multiple exposures methods, projected patterns intensities adjusting methods, polarizing filters methods, color invariants methods, photometric stereo technology and miscellaneous technologies. Then, the advantages and disadvantages of these technologies were compared in detail and their adaptability was summarized. Finally, this paper summarized the application fields of shiny surfaces in 3D shape measurement technology and prospects the future research directions. It can provide users with the optimal 3D measurement method according to the different application requirements and the different measurement conditions, eventually the 3D shape of shiny surfaces can be reconstructed more accurately.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Article Metrics

Article views(2853) PDF downloads(412) Cited by()

Related
Proportional views

Three-dimensional shape measurement techniques of shiny surfaces

doi: 10.3788/IRLA202049.0303006
  • 1. State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, China
  • 2. School of Mechanical Engineering, Hebei University of Technology, Tianjin 300130, China

Abstract: There are a large number of three-dimensional (3D) shape measurement requirements and applications for objects with shiny surfaces, such as ceramics, ancient artifacts, and metal workpieces. However, the traditional fringe projection method cannot accurately measure shiny surfaces due to the large range of reflectivity of the objects with shiny surfaces and the limited maximum gray level of the camera. This paper reviewed the recent developments, application fields and future research directions of high dynamic range 3D shape measurement technologies of shiny surface. First, according to the principle and measurement method, the existing 3D measurement technologies of high dynamic range were divided into the following six categories: multiple exposures methods, projected patterns intensities adjusting methods, polarizing filters methods, color invariants methods, photometric stereo technology and miscellaneous technologies. Then, the advantages and disadvantages of these technologies were compared in detail and their adaptability was summarized. Finally, this paper summarized the application fields of shiny surfaces in 3D shape measurement technology and prospects the future research directions. It can provide users with the optimal 3D measurement method according to the different application requirements and the different measurement conditions, eventually the 3D shape of shiny surfaces can be reconstructed more accurately.

    • 随着工业制造、测量技术的发展,三维形貌测量[1-6]在工业在线检测、汽车制造、虚拟现实、文化遗产保护、医疗美容等领域的多个行业也得到广泛应用[7-9]。三维形貌测量中具有挑战性的任务就是精确测量各种高反光零件的表面,如:水轮机叶片、轮船的螺旋桨、飞机、轮船和汽车的外壳等金属工件,此类工件被广泛应用于航空、航天、船舶、能源动力等国家重大装备工程中[10-12]。工件铣削后,表面会变得非常亮,使得重建的形貌只能得到边缘轮廓等部分信息,大面积的耀光造成图像过饱和,使用传统的结构光方法[13-17]测量时,耀光处的数据信息丢失,造成重建结果出现大面积的数据空洞。通常解决这个问题的一种方法是使用坐标测量机来测量工件,但是坐标测量机测量速度相对较慢,且只能测量物体表面上有限数量的点,精度低。另一种方法是在工件表面喷涂一层薄粉末,以使光线出现漫反射现象。然而,喷涂之后清洁工件时可能损坏工件表面而且这些粉末将增加金属表面厚度引起额外的测量误差,最终的精度往往取决于粉末的厚度及其均匀性[18]。最近,研究者们提出各种方法解决高反光金属表面测量困难的问题。

      高反光表面三维测量最常用的方法通常被称为高动态范围(HDR, High-Dynamic Range)技术[19-21]。已有许多研究学者针对HDR三维形貌测量技术进行了研究并提出了相关测量方法。现有的综述分别介绍了用于三维形貌测量的不同方法[22,23],但目前还没有针对高反光表面HDR技术的全面综述和该技术的适应性分析。文中详细介绍了用于测量高反光表面的各种HDR技术,讨论了不同技术的优缺点,明确指出不同的条件下采用何种方案能保证测量性能,并阐述该领域未来发展方向。满足工业设计和制造领域对高反光零件的检测效率和检测精度的新需求,具有良好的应用前景。

      文中的其余部分安排如下。第一部分将HDR技术分类并详细综述各类技术的研究现状以及其适应性分析;第二部分基于各类HDR技术的主要特征比较各自优缺点;第三部分叙述HDR技术的应用领域以及未来研究方向;第四部分得出结论。

    • 高反光物体由于材料的特性,表面多有高光反射、高光比等问题,造成拍摄到的整幅图像中高反光区域出现过曝光,其他区域曝光不足,图像观感下降和纹理细节丢失等现象。根据所采用原理和测量方法的不同,现将解决这类HDR成像问题分为以下六种方法:(1)多重曝光法;(2)调整投影图案强度法;(3)偏振滤光片法;(4)颜色不变量法;(5)光度立体技术;(6)其他技术。下面详细综述各种方法的研究进展。

    • 多重曝光[24,25]技术是指将不同曝光时间下采集的图像融合成一幅图像来避免图像的饱和并且达到较高的信噪比(Signal Noise Ratio, SNR)。Zhang和Yau[26]提出了一种使用多重曝光的“高动态范围扫描”技术。将不同曝光时间下拍摄的一系列图像合并为一组HDR图像,即相移图像通过选择每个像素处最亮的非饱和强度。由于环境光照对相移法的影响很小,所以这种方法可以稳定的测量局部表面反射率变化的物体。通常,调整曝光以获得高质量条纹图案的最佳方法是手动调整曝光时间而不是调整镜头光圈。因为手动调整镜头光圈会导致系统组件之间发生运动,从而改变所标定的系统参数。在低曝光时间拍摄的图像包含来自表面上具有高反射率区域的有用信息,而在高曝光时间拍摄的图像包含来自低反射率表面区域的有用信息。因此,在不影响其余区域的情况下可以测量高反光或黑暗区域。然而,对于大范围的反射率变化,低反射率区域的SNR非常小。因此,有必要在工业现场将环境光控制在非常低的水平,否则,测量质量难以保证。由于使用主观选择的曝光时间,因此缺乏定量的计算来确定适当的曝光时间。另外,为了合成HDR图像,通常需要多次长时间曝光。例如,在Zhang的实验中,他们需要23次曝光来获得一个花瓶的高质量点云。即使采用三步相移算法和三频外差相位展开算法,也需要3×3×23=207个图像来合成HDR图像。

      除了使用多重曝光外,Liu等人[27]提出了一种双目和单目结构光相结合的技术来获取高反光表面的三维形貌,并填充高光和漫反射黑暗区域的缺失数据,即从不同视角操作两台相机和投影仪。该方法引入了图像分割技术来区分哪种单目系统适合准确地重建缺失点。这种方法重建效果较好,因为高反光区域高度依赖于照明和视角。对于多重曝光的使用,当遇到未知场景时,将难以根据场景自适应地确定曝光时间的初始值。而且单一的预测曝光时间并不总是适合具有大范围反射率变化的表面。因此,为了适应不同的表面反射率,有必要进行多次曝光,或者依靠经验来选择几个不同的曝光时间。为了避免这些过程,Feng等人[28]将测量出的表面反射率基于其直方图分布细分为几个组。然后,可以自适应地预测每个组的最佳曝光时间,使得被测表面上的明亮以及黑暗区域都能够被很好的处理。最后,使用这些最佳曝光时间拍摄原始条纹图像以合成HDR图像。但是使用序列图像的直方图估计相机的响应函数,容易产生分块效应,同时选择预测曝光时间时并不智能。Zhong等人[29]提出了类似的方法,选择尽可能大的最佳曝光时间,同时避免在相移过程中高反光区域的图像饱和。然而,使用单一曝光时间的技术仅限于改善低反射率区域中的SNR。

      由于相机模糊和随机噪声的影响,传统的基于强度的像素饱和识别方法容易受到干扰,从而影响了达到最高量化水平的亮度。例如,对于8位相机,其亮度等级为255。因此,在像素中记录的最亮强度可能不稳定并且偏离255,特别是当像素的饱和度很小时。另外,Jiang等人[30]提出了一种通过调整相机曝光时间和投影条纹光强度以生成复合条纹图像的方法。该方法将最高调制强度而不是最亮的非饱和强度作为从原始条纹图像中选择像素的准则,从而获得较高的SNR并且使环境光效应最小化。另外,开发了自动选择曝光时间和投影光强参数的方法。然而,其实现相对复杂,并且与传统的相位测量相比,需要通过添加至少5倍的条纹图像来实现测量。为进一步优化,Rao等人[31]提出了一种全自动多曝光技术。通过分析每个像素的条纹调制和它们的最大条纹强度,可以自动计算出若干曝光时间,该方法无需人工干预,大大简化了重建过程。实验表明,采用该方法,系统可以在最多5次曝光的情况下,很好地完成纹理变化较大表面的重建任务。

      为了缩短测量时间,Zhao等人[32]提出了一个帧速率为700 Hz的快速HDR数字条纹投影技术,实现了具有密集点云的高反光表面快速有效三维测量,将投影时间缩短了88%。通过使用三个相同的单色发光二极管(Light Emitting Diode, LED)芯片和强度调制技术,扩展了投影仪的动态范围。单个芯片的光强度动态范围可以变化9倍,则三个芯片的光强度动态范围可以变化27倍,提高了对高反光表面的三维测量速度。

      冯维等人[33]提出一种基于数字微镜器件的自适应高动态范围成像方法。该方法将数字微镜器件和相机结合,逐个像素点地调节入射光强,从而达到了避免图像饱和的目的。

      Suresh[34]提出了一种利用数字微镜的过渡状态实现测量高反光表面的新方法。使用1位二进制图像,在每个投影周期内拍摄两次,获得两个亮度不同的条纹图像,最后结合这两个图像以缓解饱和问题。由于使用了1位二进制图像,因此该方法可以适用于高速测量。但是,如果拍摄的两幅图像都存在过饱和情况,这时还需要拍摄更多不同曝光的图像来优化HDR图像采集。

      常猛等人[35]利用单张低动态范围图像进行曝光校正与细节增强,视觉效果较好,但是放大了图像的噪声。刘鑫龙等[36]针对金字塔融合算法结合相位一致性算法,提出一种改进的多曝光序列高动态范围图像融合算法。利用相位一致性这一特性解决了在序列图像中不同光照对边缘提取影响的问题,加强了融合图像的整体对比度和暗部细节,得到细节丰富、图像自然的融合高动态范围图像,可以作为后期处理高动态图像的融合算法。实验结果表明,该算法在主客观方面都优于原算法,方差和图像直方图的结果比原算法有了大幅提升,但算法的复杂度较高,运行时间较长,需要进一步优化。

      采用多重曝光技术的优点在于,除了对拍摄的原始条纹图像进行一些后处理之外,不需要根据原始技术做出太多的改变,不需要额外的硬件系统,测量精度高,具有较高的信噪比。对于测量具有复杂纹理和多颜色的表面,调整曝光时间是最佳的选择。然而,曝光时间不能任意选择结构光系统,其中数字光投影仪(Digital Light Procession, DLP)用于投影条纹图案。要准确拍摄投影的灰度值,相机和投影仪必须保证精确同步,曝光时间必须设置为1/fps的整数倍(fp是投影仪的刷新频率,通常为60 Hz)。

    • 调整投影条纹图案的灰度级是一种常用的HDR技术,即根据物体表面反射率的不同来确定投影图案的强度。Waddington和Kofman[37,38]提出了一种修正最大输入灰度级(Maximum Input Gray Level, MIGL)投影正弦条纹图案的技术。该技术可以适应不同的环境光照明,避免图像饱和以及三维形貌测量中的误差。然而,这种仅统一调整投影仪MIGL以避免图像饱和的技术在测量具有低反射率表面区域时降低SNR。之后他们[39,40]将MIGL降低和逐像素方法相结合,即统一调整投影条纹图案强度,并从不同照明条件下拍摄的原始条纹图像中选择最亮的非饱和像素合成HDR图像。这种技术可以保持较高的SNR来测量具有低反射率的表面。然而,与使用多重曝光的技术类似,此过程测量速度较低。

      Chen等人[41]根据被测表面的反射特性使用多项式拟合算法计算出最优的投射光强,提出的自适应条纹图像可以避免图像饱和且具有很高的SNR,能够精确地测量高反光表面的三维形貌。通过采集最少的图像数量产生自适应条纹图像,避免了采集大量图像的耗时工作。图1显示了对高反光机械零件车门的测量结果,由图可以看出使用所提出方法计算出的三维结果在高反光区域并不存在数据缺失的现象。

      Li和Kofman[42]根据被测表面的局部反射率,通过在投影条纹图案中局部修改MIGL,同样开发了一种自适应条纹图案投影技术。Babaie等人[43]提出了一种测量具有大范围反射率变化物体三维形貌的新技术。基于相机拍摄反射图像的反馈,以像素级递归来调整投影条纹图案的强度。然后,获取HDR图像,并使用四步相移算法来获得被测表面的绝对相位图。Lin等人[44]为HDR三维形貌测量开发了自适应数字条纹投影技术。这种技术可以通过自适应调整投影条纹图案的逐像素强度来处理高反光物体的表面,同时提高测量精度。基于相机响应函数,根据表面反射率以及环境光和表面反射的照明进行调整。由于建立了一种新颖的数学模型来计算环境光和表面交互反射的强度,因此可以精确计算待投影的条纹图案中每个像素的最佳强度。该方法优于先前提出的使用不同照明来合成HDR图像。另外,这种技术只需要拍摄31幅图像就可以获得实验中铝合金工件的点云图。

      Figure 1.  The measurement results of the car door by using methods proposed by Chen[41] et al; (a) captured single intensity fringe; (b) absolute phase map from (a); (c) 3D data calculated by using a single intensity fringe pattern; (d) captured adaptive fringe; (e) absolute phase map from (d); (f) 3D data calculated by using an adaptive fringe pattern

      然而当被测表面的纹理变化较大时,图像中的饱和像素会导致严重的相位误差和测量误差。针对这一问题,Li等人[45]提出了一种自适应数字条纹投影技术,利用坐标映射和二值化搜索技术,自适应地生成相移条纹,消除了高反光区域的饱和像素。

      Chen等人[46]提出了一种新颖的彩色正交条纹图案投影方法,根据被测表面的反射率自适应调整像素到像素的投影强度来测量高反光表面。对于表面反射率较高的像素,减小投影图案强度以避免图像饱和。同时,对于表面反射率低的像素,增加投影图案强度以保持较高的SNR。利用不同灰度级的光强图像计算每个像素点最优的投射光强。采集的自适应条纹图像避免了过度饱和且具有很高的SNR。仅需预采集几组图像来测量高反光的表面,而非采集多组不同曝光时间、不同灰度级的图像进行测量,使得测量过程更加方便。图2显示了零件车门的测量结果,通过采集不饱和的条纹图像,计算得到绝对相位图后,即可重建出三维数据。由图可以看出,该方法可以有效避免图像过饱和现象,同时可以精确重建高反光表面的三维形貌。

      Figure 2.  The measurement results of the car door by using methods proposed by Chen[46] et al; (a) captured patterns at the uniform gray-level pattern sequence ranging from 255 to 55; (b) calculated mask pattern separately; (c) composited image; (d) optimal projection pattern; (e) projected adaptive fringe pattern; (f) captured adaptive fringe pattern; (g) absolute phase image; (h) constructed 3D data

      与上述使用条纹图案的技术不同,Zhang等人[47]使用单色的白色和黑色条纹图案,增强了鲁棒性。采用自适应强度模板动态调整图案强度以防止高反射率区域的过度曝光,这一过程由点扩散函数和相机响应函数产生。该方法中的点扩散函数基于从相机图像平面到投影仪图像平面的单应性矩阵,可以使用测量表预先标定。但是,在测量过程中,被测物体的位置难以确保与棋盘格的位置相同,因此单应性矩阵映射后的坐标不是很准确。

      调整投影图案强度的优点在于可以逐个像素地进行调整,而不是调整全局的相机曝光时间。为了将环境光和表面反射的影响降至最低,在测量中应用这类HDR技术时,应使镜头光圈应尽可能小,并且投影仪提供强烈的光线投射。

    • 为了处理高反光的表面,另一种方法是通过改变偏振滤光片透射轴之间的角度来消除高光的影响。其中,加入偏振滤光片的目的是为了消除表面的饱和区域。基本思想是将入射到图像传感器上的反射光限制在一定的角度,从而有效地去除强烈的高光。然而,以降低整个图像的拍摄强度为代价,会导致SNR较低。Riviere[48]使用偏振滤光片的技术会极大地降低投影仪的输出光强度和相机的入射光强,因此,场景的黑暗区域很难测量。相反,平行偏光镜-分析仪标定[49,50]可以在黑暗区域保持良好的条纹质量,但不能在明亮的地方保持良好的条纹质量。另外,Feng等人[28]针对高反光表面难以测量问题,提出了三种基于数字条纹投影实现HDR三维形貌测量的解决方案。其中一种技术是将多重曝光法和偏振滤光片法相结合,通过将两个正交偏振滤光片分别放置在相机和投影仪的前面来测量反射率低的表面。对于偏振方法,使用偏振滤光片降低强度可能造成拍摄的条纹图像SNR较低。对于多重曝光的方法,此过程需要拍摄许多原始条纹图像来合成HDR图像。

      李锋等人[51]应用偏振成像和相移的方法对表面进行三维形貌测量,将用到偏振消光的测量方法,其中起偏器和检偏器可以用来消除高光表面反射对相机系统的影响。然而该方法在消除强反光的同时降低了整个图像的强度,从而导致测量精度随SNR的降低而降低。

      Salahieh等人[52]提出了一个多极化条纹投影成像系统,消除了饱和点,并通过选择适当的偏振通道测量来增强条纹对比度。投影的条纹在入射到表面之前被线性偏振,并且在通过配备有四个状态的像素化偏振片阵列的相机反射后被采集,硬件系统较复杂。

      郝婧蕾等人[53]提出了基于多光谱偏振的三维重建方法,将摄影测量与机器视觉进行融合。通过获取目标精确的偏振光谱特征准确实现了对高反光无纹理这一类特殊表面的完整三维重建。

      利用基于偏振光片的HDR技术进行三维重建的关键在于通过偏振成像获取反射光的偏振状态。这种方法不依赖于表面的纹理信息,同时偏振成像能够在一定程度上抑制耀光,有效解决传统三维重建方法存在的问题。虽然测量精度得到了提高,但是使用偏振滤光片前必须仔细调整物体和光路,从而会增加硬件的复杂性。

    • 在图像检索的过程中,光照的变化会使得颜色变得不稳定,提取与光照不相关的信息,同时能够描述物体本身物理反射特性的颜色特征,被称为颜色不变性描述。该方法基于Shafer[54]提出的双色反射模型,其中点的颜色由物体表面的颜色和光源的颜色决定。漫反射表示与物体表面相关的颜色信息,而高光反射表示光源的颜色信息[55]。Gever和Smeulders[56]首先提出了基于双色反射模型的几种颜色不变性。然后,Benveniste和Unsalan[57-59]使用颜色不变性来解决高反光表面的问题。后来,引入了一种新颖的颜色不变性来检测红色条纹、绿色条纹和高光,从拍摄的图像中分割出条纹[60]。通过在分割中使用颜色不变量性,在高反光表面中消除了源自环境光线的高光影响。最近,随着嵌入式技术的发展,他们设计并实现了一种基于数字信号处理(Digital Signal Processing, DSP)评估模块[61]的新型结构光扫描仪系统,该系统提取范围数据以减少计算机的计算负担。受益于彩色图案投影和颜色不变性,基于二进制、三进制和四进制彩色编码图案的方法可以消除扫描过程中高光和环境光的影响。然而,如果被测表面包含复杂的纹理和多种颜色,基于颜色不变量的方法不可避免地会受到被测物体表面的影响。

    • 光度立体技术可以在不同方向的照明下,在固定视点下从多个图像重建表面的三维形貌和反射率。在光度立体技术的早期工作中,反射表面要求是朗伯表面[62]。对于非朗伯表面,特别是对于金属表面,若存在高反光区域,则很难鲁棒性地估计反射率。最近,传统的光度立体技术已经扩展到具有变化的双向反射分布函数(Bidirectional Reflectance Distribution Function, BRDF)的高反光区域。为了检测高反光成分或分离反射成分,研究者们后来提出了许多方 法[63-66]

      Mattino等人[67]详细介绍了BRDF中光在不透明表面上的反射方式。对于实际表面,一般的BRDF是涉及七个或更多参数的复杂非线性方程[68,69]。传统技术通常使用密集的图像来测量表面的三维模型,但是,这些将限制他们的应用。Li等人[70]提出了一种有效的光度立体方法来估计BRDF参数,它不需要物体的三维几何模型。由于输入图像的数量很少,可使用恢复的曲面法线从一幅图像的最佳窗口中选择BRDF参数。Goldman等人[71]提出了一种用于具有空间变化的BRDF表面光度立体方法,包括不同漫反射和高反光特性的表面。他们将表面反射率建模为基础材料的线性组合,并使用著名的Ward模型[65]重建形貌、材料BRDF和重量图。

      为了解决粗糙的高反光表面,Chung等人[72]提出了一种新的光度立体方法,旨在有效估计BRDF参数并重建光滑表面。此方法没有应用不可靠的高光分离和高光反射估计。而是使用一个重要的视觉线索,即被用来最优地恢复全局BRDF参数,从而能够重建具有不同粗糙程度的凸起表面。例如,在重建物体形貌的实验中,使用阴影视觉线索来估计全局参数,减少了一般表面法线估计的复杂度。在Georghiades[73]所提出的方法中,需要优化数小时才能生成表面结果,相比之下,Chung的方法只需要50min的计算时间,且均方根误差仅为0.032 6 mm,实验结果表明恢复的BRDF参数和曲面法线是准确的。

      Meng等人[65]通过开发一个gonio-plenoptic成像系统,实现高反光表面的单次形貌测量。除了来自场景的光场信息之外,由准直照明源和全光照相机组成的系统拍摄单个图像中物体表面的BRDF变化。此实验将照明定位在30个不同的方向上。然而,系统的拍摄角度只能在约±7 °的范围内,所以该系统限制了可以重建的表面范围。此外,他们的系统仅适用于表面有小起伏的浮雕表面,而在处理梯度较大的表面时会遇到问题。

    • 为了处理在图像的孤立区域出现的高光反射,可以使用多个相机、彩色光源、滤色器[74]和多个光投射方向来合成HDR图像。Kowarschik等人[75]使用15个光投射方向来补偿高光反射或阴影区域的影响。而且,物体可以旋转以产生其他视图。相机拍摄在局部坐标下表面的不同色块,然后合成为全局坐标。但是,系统的众多参数会影响标定的速度。此外,硬件、系统设置、图像模板和合成处理方面也会造成不同的复杂性。

      Jeong等人[76]使用空间光调制器来控制单个像素的相机曝光时间。饱和像素的最终曝光设置由多次迭代确定。通过调整位于相机平面共轭位置的液晶空间光调制器的透射率水平,将投影条纹很好地成像并合成到HDR图像。然而,这一过程需要额外的光学和控制硬件。Feng等人[77]提出了一种使用数字微镜器件相机的强度扩展方法,可以通过调整每个相机像素的最佳曝光时间,从而获取HDR图像。

      与基于图像强度的正弦图案相比,尽管表面具有高反光特性,但易受表面反射特性影响的二进制条纹图案的边缘更具局部性。因此,它使解码过程更加鲁棒。Song等人[78]提出了一种新颖的用于高反光表面测量的结构光编码方法,跳过工件涂层过程。与传统的基于图像强度的结构光编码相比,条纹边缘代替原始图像强度被编码在投影图案中。为了更精确地定位条纹边缘,提出了一种改进的使用正和负条纹图案的零交叉特征检测器,从而达到亚像素精度。但是,如果拍摄图像中的饱和区域太大而无法包含在单个条纹中,则无法在这些区域中找到可重建的信息。

      赵婧等人[79]分析了光强度饱和对传统相位测量轮廓术的影响。根据相机拍摄的一个像素点上各帧光强值的波形特征,建立数学模型。利用统一的公式解决饱和引起相位误差的问题,进而改进了基于传统的相位测量轮廓术相位计算公式。利用新的相位计算公式能直接求解发生光强度饱和时的相位,亦能计算未饱和时的相位。所提出的算法最终能有效抑制图像光强饱和导致的相位误差。

      最近,Jiang等人[80]提出了一种不需要改变曝光的技术。其基本思想是,除了拍摄常规的条纹图案之外,还可以拍摄倒置的条纹图案以补充相位重建过程中规则条纹图案。如果不是所有的正规条纹图案都饱和,则使用倒置条纹图案而不是原始饱和图案进行相位重建。如果所有正规条纹图案都饱和,则原始和倒置条纹图案全部用于相位计算以减少相位误差。虽然不如以前提出的使用多重曝光的HDR技术那样具有鲁棒性,但所提出的技术可提高测量质量。

    • 根据上述分类,总结了代表性的HDR技术的优缺点,如表1所示。采用多重曝光的方法,需要采集大量的条纹图像,特别是当被测表面具有大范围反射率变化时,测量效率降低。另外对于未知场景的测量,此方法也具有一定盲目性。其优点在于测量精度和SNR较高,不需要搭建额外的硬件系统,并且可以测量具有复杂纹理和多颜色的表面。例如Jiang等人[30]提出的HDR数字条纹投影技术具有良好的发展前景,可以在环境光下实现高反射率表面的快速测量并且具有较高的SNR。使用调整投影图案强度的HDR技术,与使用多重曝光法一样具有一定的盲目性,测量效率低,不能自动预测参数,一般要依赖于经验或尽可能多地调整投射光强值,因此不适合在线测量。但是Waddington和Kofman[40,42]介绍了一种避免高反射率表面图像饱和的方法,由于在每个像素处使用不饱和的最高MIGL,所以每个像素都可以保持较高的SNR,并且允许在不受环境约束的情况下进行各种测量应用。也有部分研究学者采用偏振滤光片的方法,但添加的偏振滤光片削弱了漫反射的光强,降低了SNR,同时也导致硬件系统比较复杂。如李锋等人[51]使用偏振滤光片的HDR技术精确且快速,通过加入偏振滤光片可以去除高反光区域的影响,但同时也造成SNR的降低以及硬件系统相对复杂。相比而言,使用颜色不变性的HDR技术,不需要先验步骤和后期处理,可以用于在线测量。但是这种技术很容易受到表面颜色和复杂纹理的影响,精度低。而光度立体技术可以实现高精度测量,缺点是由于系统结构的限制,单次测量的表面范围很小,因此,测量整个表面需要很长时间,不适合在线检测。

      MethodRef.AdvantageDisadvantage
      Multiple exposures[28][30]High accuracy. High SNR. No additional hardware. Complex textures and colorsLots of fringe patterns-Low efficiency. A certain blindness for unknown scenes
      Adjusting projected pattern intensities[40][41]High SNR. No a priori neededLow efficiency. No auto- prediction of parameters. Offline applications
      Polarizing filters[51]High accuracy. Possible online applications. Measuring mirror like objectsLow SNR. Complexity of hardware. No measure dark surface
      Color invariants[61]No priori step and postprocessing. Online applicationsLow accuracy. No complex textures and colors
      Photometric stereo[65]High accuracyOffline applications. Additional hardware

      Table 1.  Advantages and disadvantages of various methods in HDR technology

      表2进一步列出了HDR技术中各类典型方法在所需采集图像数量和计算精度上的对比。其中,Jiang等人[30]提出的技术可以用来测量表面具有高反射率的标准瓷球的精确三维形貌。引入条纹图像合成算法,通过选择边缘调制强度最高的原始条纹像素,避免图像过度饱和以及条纹调制度较低的现象。但它需要拍摄大量的原始条纹图像以合成HDR图像。因此,他们的计算过程较为复杂。Chen等人[41]提出的基于自适应条纹投影技术可以测量由铝合金制成的高反光表面,并且可以避免图像饱和,在高反光区域保持良好的条纹调制度。此种算法采集的图像数量较少,降低了测量过程中复杂的预处理过程。另外,Feng等人[28]介绍了一种基于数字条纹投影实现HDR三维形貌测量的通用解决方案。对于所提出的偏振方法,在测量平面黑/白标定板的实验中,所使用的偏振滤光片降低了整个条纹图像的强度,导致了较低的SNR,因此测量精较低。基于四进制颜色编码模式,Benveniste和Unsalan[61]提出的算法最简单而且所需采集图像数量最少。然而,由于分辨率有限,所以测量精度不高。相比之下,Meng等人[65]开发的gonio-plenoptic成像系统可以达到很高的精度。但是,他们的系统一次只能测量一小部分表面,因此,测量整个表面需要很长时间,不适合在线应用。

      MethodRef.Number of projectionsAccuracy/mm
      Multipleexposures[30]7×3×3=740.016
      Adjusting projected pattern intensities[41]25+12=370.025
      Polarizing filters[28]1+4×3=130.045
      Color invariants[61]40.506
      Photometric stereo[65]300.005

      Table 2.  Comparison of typical methods in HDR technology

    • 随着科技进步和国民经济的发展,HDR技术无论是在学术研究领域还是工业制造领域,都有很好的发展前景和学术研究价值,将在三维打印、虚拟现实、电商等领域创造更大经济效益,同时广泛应用于交通摄像头、生物医疗、卫星遥感、军事等一些需要显示高动态细节图像的行业,是未来智能制造和先进制造领域发展的必然趋势。目前许多国家提出新的制造业国家发展策略,如美国的《先进制造业国家战略计划》、德国的“工业4.0计划”和日本的《制造业白皮书》等,中国也相应制定了“中国制造2025”战略,明确提出智能化制造是新一代信息技术与制造技术融合发展的结合点,是中国制造的主攻方向。而在智能化制造中,三维数据是计算物体表面各种属性信息的核心,零件的形状以及几何轮廓精度直接影响着装备的工作性能,高精度测量高反光零部件的三维形貌在智能制造过程中起着关键作用,将极大地提高产品的合格率、确保产品的质量。另外随着交通运输事业的急速发展,人口的集中,车辆的普及,以及随之衍生的多方面交通需求,都对交通流畅和安全提出了越来越高的要求。但是由于缺乏应用高反光材料的意识,交通事故频繁发生。鉴于此,基于开发应用高反光材料的必要性,一些专为设置道路标志的高反光材料得以研制出来,并已广泛应用于制作交通标志牌。

      应用HDR不同类技术可完成对不同场景的高反光物体表面的测量工作。例如将多重曝光的HDR技术应用在没有多重曝光功能的数码相机上,用此相机结合投影仪构成的结构光系统可完成对高反光物体表面的高精度测量。后一张图片的非饱和区域出现在前一张图片的饱和区域,避免让各图像的主要反光部分相互重叠。

      在工程实践中高反光物体有大量的测量需求,比如轻合金、铝合金、经过铣削加工之后的金属工件,以及陶瓷、古文物等物体。它们的表面十分光亮,最常用的测量方法为调整投影图案强度法,其具有较高的信噪比。这类工件被广泛应用于航空航天、汽车、船舶工业、大型模具、铸造件等行业。

      基于偏振滤光片的HDR技术可应用于在线测量。加入的滤光片可有效消除高反光物体表面的饱和区域,只需调整好物体和光路,无需在同一测量位置拍摄大量的图像。适用于车间或工厂中金属等工件的流水检测,以及现代无人化工厂中金属等工件的上下料操作。工件上下料的过程需要在线对工件进行三维扫描,明确各个工件的空间姿态,之后通过机械臂的抓持来完成操作。这类在线测量已完全智能化,无需人工干预,对高反光工件的快速高精度三维测量就显得尤为重要。颜色不变性的HDR技术也可应用于在线测量,但是不适合在线测量具有复杂纹理和多颜色的高反光金属工件表面。

      在智能化车间中,为了保障工人的安全以及避免人工成本高等问题,淘汰了人工焊接方式,转变为三维扫描式的机械焊接,焊接机器人可以把金属等工件很好的焊接在一起,节省了时间和劳动力,其中高反光零件的焊缝提取精度直接影响焊接的质量。多重曝光技术、偏振滤光片技术、光度立体技术这三类HDR技术都可以很好的满足对金属焊缝的高精度测量要求。对高反光表面测量需求的不断增长,将进一步促进机械领域和三维测量领域的融合和发展。

      同时伴随着工艺水平的日益强大和迅猛发展,人们对各种工件产品的需求也不断提高。按照材质划分,较为典型和最具挑战性的就是高反光材质产品的测量和重建工作。高反光工件作为工程应用中的重要组成构件,其质量的好坏将会直接影响到工业产品质量以及机器的寿命。如在航空航天等零件加工中,工件任何缺陷都有可能造成其机械传动性能下降,影响产品的使用性甚至会造成重大安全事故;在精密电子仪器测量中,工件缺陷有可能造成仪器设备度量不精确,影响测量和使用效果,因此对高反光材质产品的精确测量极为重要。目前对这种高反光工件的三维测量仍然是一个很大的挑战。

    • 如何依据不同情况完美呈现高反光材质产品的三维形貌是文中工作的核心,同时也面临着更多的挑战。根据所采用原理和测量方法的不同,文中对HDR技术做详细分类并列出其各自优缺点。使用者可根据不同的测量条件选择能够达到最佳测量性能的测量技术,从而更好的重建高反光材质产品的三维形貌。

      多重曝光的HDR技术是一种用于测量高反光表面获得三维数据的数字条纹投影技术。这类技术的优点是不需要根据已有技术做出太多改变。它们只需要对拍摄的原始条纹图像进行一些后处理,然后就可以获得高精度的三维点云。但是,由于在某些情况下需要拍摄大量的图像,可能会降低测量效率。偏振滤光片的HDR技术唯一的缺点是使用的偏振滤光片会造成硬件的复杂性。颜色不变性的HDR技术虽然提供了良好的测量结果,但却会受到被测表面的颜色和复杂纹理的影响。投影条纹图案强度可实现高精度测量,其用于高反光表面测量的新颖数学模型展示了在工业方面的应用。组合应用多种技术的扫描设备将是未来重点研究的领域和发展方向。

Reference (80)
WeChat followshare

Top

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return