Research progress of 3D measurement technology based on phase coding

随着科学技术的不断进步，结构光三维测量^[1,2]的需求越来越广泛，快速和高精度的三维测量技术对于众多应用领域至关重要，例如，机械制造^[3,4]、生物医疗^[5-7]、工业监控^[8]、在线检测^[9]、虚拟现实^[10]和其他工业应用场合。

由于具有快速、高精度、全场和非接触的优势，条纹投影轮廓术^[11-14]广泛应用于物体的三维形貌测量^[15]，其主要原理是利用相位信息获取物体的三维信息。利用相位信息测量物体表面形状的方法主要有相移法^[16-20]和傅立叶轮廓术^[21-23]两种，这两种技术都是通过反正切计算来确定分布在$[ - \pi ,\pi ]$之间的包裹相位，再对包裹相位进行相位展开。相位展开算法主要分为两大类：空间相位展开法^[24-28]和时间相位展开法^[29-36]。在实际应用中，复杂物体具有不连续或孤立表面这种特性，对测量方法提出了更高的要求。针对相位展开的处理过程，空间相位展开方法^[37-39]通过分析包裹相位在空间中相邻像素之间的相位值，根据相位连续性的特点对相邻相位值进行调整，进而得到连续相位。如枝切法^[40,41]、质量图引导法^[42-45]等。但是当被测物体具有复杂形貌时，空间相位展开法容易受到噪声、展开路径、表面的复杂程度等方面的影响引起误差传递，造成测量精度下降。时间相位展开法^[46]按照时间序列向待测物体表面投影一系列频率不同的条纹，沿时间轴进行相位展开来确定相位图上各点的相位。由于相位展开时每个像素点的相位是单独进行计算的，能有效地避免误差传递，具有较强的鲁棒性，可以实现多个分离物体和复杂表面物体的高精度三维测量。

由于受到环境光、噪声等外界因素的影响，基于强度编码的方法在判断条纹级次时容易出现错误，如格雷码加相移方法^[47-52]。相位编码方法是将码字以相位的形式嵌入到周期性的正弦条纹中，由于使用相位而不是强度来确定码字，对表面对比度、环境光和相机噪声不敏感，具有较强的鲁棒性。基于多频的方法在复杂物体测量中具有较高的测量精度，例如，双频法^[53-60]、外差法^[61-72]和多频法^[73-76]等。但是与相位编码方法相比，多频方法需要投影的条纹图数目较大，导致测量速度较慢；其次，在条纹频率的选择上有限制，需要严格遵守频率选择规则。

文中详细论述了基于相位编码的三维测量技术。首先介绍了相位编码方法的基本原理，包括测量系统标定、条纹的产生、包裹相位的获取、相位展开方法；然后介绍了如何扩大相位编码码字数目和精确求解条纹级次的问题；最后列举了相位编码方法的具体应用并讨论其未来的发展方向。

基于条纹投影轮廓术的三维测量系统如图1所示，该系统由投影仪、工业CCD相机、计算机、参考平面组成。相机光轴与参考平面垂直，然后投影仪光轴和相机光轴相交于参考平面上的$O$点，投影仪光心点$P$和相机光心点$C$的连线与参考平面平行，$C$与$P$之间的距离为$d$，$C$与$O$的距离为$L$。被测物体某点$H$的高度计算公式为公式(1)：

式中：${f}$为参考平面上正弦条纹的频率；$\Delta \varphi $为物体表面图像和参考平面图像对应点的连续相位差。

Figure 1.  Measurement system diagram

相移法^[77-85]广泛应用于高精度的三维测量中，成为当前流行的相位提取方法之一。对于$N$步相移法，将$N$幅相位差为$2k\pi /N$的一组条纹依次投影到参考平面上，用CCD获取的第$k$幅相移图的光强为：

式中：$I'(x,y)$是平均强度；$I''(x,y)$是强度调制；$\varphi (x,y)$是待求解的相位，$k = 1,2,3,...,N$，令${\delta _k} = 2k\pi /N$：

公式(3)中获得的是分布在$[ - \pi ,\pi ]$之间的包裹相位，相位展开后得到连续相位：

式中：$\phi (x,y)$为展开后的连续相位；$k(x,y)$为某一点的条纹级次。

该章节论述了相位编码提出的背景、基本原理及其一系列的改进方法。2012年，Wang^[86]首次提出了基于相位而不是强度的方法，与格雷码加相移方法不同，其对表面对比度、环境光和相机噪声不敏感，鲁棒性强。同年，Zheng^[87]为了解决传统相位编码码字数量限制的问题提出了两步相位编码，通过对两组相位信息进行编码，将两组码字嵌入条纹中，提高了码字数量，但是由于该方法需要九幅条纹图，比传统方法多了三幅。为了减少投影条纹图数目和提高码字识别率，2013年，Zhou^[88]提出了一种改进的阶梯相位解包裹算法，将正弦条纹和阶梯相位条纹分别嵌入到红色和蓝色通道构成彩色条纹，利用其测量物体三维形貌。2015年，Fu^[89]提出了一种基于彩色相位编码的快速三维测量方法，并对彩色串扰和Gamma非线性进行了补偿^[90]，提高了测量精度。分段相位编码的提出，增加了码字的数量，但是如何连接各段成为一个必须解决的问题。2016年Zeng^[91]提出了一种改进的阶梯相位编码方法，该方法将正弦条纹与相位编码条纹的宽度比设置为1:n，并提出了一种分段连接原理。由于环境光、表面的颜色纹理、系统的标定、离焦和投影仪Gamma非线性等复杂原因，相邻量化相位之间的差值太小而无法保证码字的正确。为了解决该问题，2016年Chen^[92]提出了量化相位编码和区域标记的绝对相位恢复方法，通过特定量化编码序列产生量化相位编码条纹图，结合当前码字及其相邻码字来计算条纹级次。2016年，Quan^[93]研究了高频相位编码导致的条纹级次解码错误，并考虑到系统非线性导致的相位误差，对相位编码进行了改进，提出了一种具有相位误差补偿的改进相位编码方法。Zhang^[94]提出了一种新的互补灰度编码方法，使用传统码字和附加码字的不同来互补边界跳变。在此基础上，Zeng^[91]提出了相移编码方法，将原始阶梯相位的周期降低。2017年，Wang^[95]提出了一种利用较少条纹图进行相位恢复的方法。条纹频率较低时，可以减少一到两幅编码条纹图案。条纹频率较高时，通过改进的两步相位编码方法，可以增加码字数量，同时减少了三幅条纹图，提高了测量速度。2017年Zhang^[96]提出了一种基于五幅条纹图的快速三维形貌测量方法。利用系统的几何约束和最小相位图展开阶梯相位，进而获取条纹级次。Cheng^[97]将六组N阶编码嵌入三种彩色相位编码条纹中，以消除组间串扰。2018年，Wang^[98]为了解决码字数量的限制和条纹级次判别的问题，提出了分段量化相位编码，可以在不减小相邻量化相位差值和不增加量化级别的情况下实现相位恢复，提高了测量精度。Gao^[99]将正弦条纹、相位编码条纹和灰度编码嵌入到彩色图案的红、绿、蓝通道中，减少了投影图案数量。Chen^[100]提出了一种S形分段相位编码方法。该方法利用格雷码对相位编码的分段数目进行编码，同时利用S形的设计为条纹级次判断提供了约束，降低了错误率，提高了测量精度。

2012年，Wang^[86]首次提出了一种将码字嵌入相位的相位编码方法，与传统的格雷码加相移方法不同。由于使用相位而不是强度来确定码字，其对表面对比度、环境光和相机噪声不敏感，鲁棒性强。其原理是用一组正弦条纹和一组相位编码条纹实现相位解包裹。

传统的相位编码的相位设计原则要求相位编码条纹周期与正弦条纹周期一致。如图2所示，传统的相位编码方法的步骤如下。

Figure 2.  Phase code unwrapping flowchart

（1）设计的阶梯相位如下：

式中：$\left[ {{x / P}} \right] = k$是条纹级次的截断整数；$P$代表条纹宽度或每个周期的像素数；$N$代表总的条纹周期数或者是设定的码字个数。

（2）通过公式(6)生成相位编码条纹：

（3）从相机采集的编码条纹图中获取阶梯相位${\phi ^s}$，然后从阶梯相位中确定条纹级次$k$:

式中：$Round[x]$为四舍五入取整函数。

（4）根据公式(8)将包裹相位$\varphi (x,y)$相位转换为绝对相位。

对于高频条纹的绝对相位恢复，传统的相位编码方法易出错。近年来，许多学者在此基础上进行了改进，提出了分段相位编码方法。

2012年，Zheng^[87]为了解决传统相位编码码字数量限制的问题提出了两步相位编码，通过对两组相位信息进行编码，确定了两组码字，经计算可以生成大量码字，提高了码字数量。与传统的相位展开相比，该方法灵活有效。

整个测量区域被分成$m$段，用编码相位$\phi _1^s(x,y)$表示；每一段被分成$n$阶，用编码相位$\phi _2^s(x,y)$表示。分别表示为公式(9)和公式(10)：

然而，这种方法需要的条纹图数量比传统方法多。图3是某一行的两步编码相位和包裹相位，其中$m = 4$，$n = 8$。

Figure 3.  Two-step coded phase and wrapped phase of a row

为了减少投影条纹图数目和提高码字识别率，2013年，Zhou^[88]提出了一种改进的阶梯相位解包裹算法，将正弦条纹和阶梯相位条纹分别嵌入到红色和蓝色通道构成彩色条纹，减少条纹图数量。利用阶梯相位编码时阶梯相位大跳变实现测量子区的划分。该方法节省了测量时间，提高了测量速度。

如图4(a)所示为某一行的包裹相位与阶梯相位，阶梯相位的周期和包裹相位的周期相同；图4(b)为某一行的分段条纹级次$k$。

Figure 4.  (a) Wrapped phase and the coded phase of a row; (b) Segmented fringe order k of a row

2016年，Zeng^[91]提出了一种改进的阶梯相位编码方法，该方法将正弦条纹与相位编码条纹的宽度比设置为1:n，通过使用更少的码字使得级次判定更准确。并且提出了一种连接分段条纹级次算法，通过反向条纹级次找到跳变点，将分段的条纹级次连接成连续的条纹级次。分段条纹连接级次原理如图5所示。

Figure 5.  Schematic diagram of a segmented fringe order connecting a row

为了实现高速高精度测量，2017年Zhang^[96]提出了一种基于五幅条纹图的快速三维形貌测量方法。该方法利用DFP系统的几何约束和最小相位图展开阶梯相位，进而获取条纹级次。不仅减少了投影的条纹图数目，而且有效地降低由抖动和随机噪声引起的影响。

假设最小深度为$z$，则最小相位${\varPhi _{\min }}$就能通过投影仪和相机的映射关系获得，阶梯相位如图6所示。该方法中提出的算法用来比较最小相位与包裹阶梯相位，包裹阶梯相位被展开获取绝对相位。

2017年，Wang^[95]提出了一种利用较少条纹图进行相位恢复的方法。条纹频率较低时，提出了基于四幅条纹图的方法，但由于码字数量受限。在此基础上加入一幅额外的相位编码图案，提出了五幅条纹图方法。相较于四帧来说，条纹级次增加了一倍。但是，条纹频率较高时，解码易出错。所以又提出了改进的两步相位编码方法，达到了增加码字数量的目的，同时减少了条纹图数量，提高了测量速度。改进的两步相位编码方法的原理如图7所示。

Figure 6.  Minimum phase acquisition step phase map

Figure 7.  Improved two-step phase coding schematic

由于环境光、表面的颜色纹理、系统的标定、离焦和投影仪Gamma非线性等复杂原因，相邻量化相位之间的差值太小而无法保证码字的正确。为了解决该问题，2016年Chen^[92]提出了量化相位编码和区域标记的绝对相位恢复方法，通过特定量化编码序列生成量化编码条纹图，结合当前码字及其相邻码字来计算条纹级次，不会减少相邻量化相位之间的差异或增加编码图的数目。码字不是按升序设计的，而是被设计成特定的编码序列。图8为量化相位编码方法的原理。图9显示了计算条纹级次的过程。

Figure 8.  Quantized phase coding method

Figure 9.  Fringe order calculation process

量化相位${\phi ^s}(x,y)$可以描述为以下方程：

式中：$floor[x]$是向下取整函数；$CS(k)$返回$CS$第$k$个码字。编码序列$CS$为“135246351462513624153642531426315264”。

2018年，Wang^[98]为了解决码字数量的限制和条纹级次判别的问题，提出了分段量化相位编码，可以在不减小相邻量化相位差值和不增加量化级别的情况下实现相位恢复，提高了测量精度。量化相位由特定的编码序列S“135246”进行调制，生成量化相位编码条纹图。通过相应的解码算法计算出条纹级次，最终得到绝对相位。

图10为量化级别$L = 6$的初始量化编码相位的某一行。

Figure 10.  Initial quantization encoding phase of a row

利用上述Zeng^[91]所提出的连接分段条纹级次原理，获得连续的条纹级次，如图11所示。

Figure 11.  Segment quantization phase decoding principle. (a) Segmented fringe order and reverse segmented fringe order; (b) Recovered absolute phase

该方法的相位由特定的编码序列进行调制，有效提高了解码精度，增加了码字数量。由于只需要六幅图就可以获得绝对相位，该方法在高速测量应用中具有一定优势。

在解决码字数量受限和条纹级次判决易出错的问题上，Chen^[100]提出了一种S形分段相位编码方法。该方法利用格雷码对相位编码的分段数目进行编码，同时利用S形的设计为条纹级次判断提供了约束，降低了错误率，提高了测量精度。

结合相位编码条纹级次和格雷码条纹级次生成条纹级次值图，如图12所示。

Figure 12.  Generated fringe order graph

条纹级次边缘跳变会导致最终码字的判别出错，进而会导致三维形貌的恢复出现误差。2016年，Quan^[93]研究了高频相位编码导致的条纹级次解码错误，并考虑到系统非线性导致的相位误差，对相位编码进行了改进，提出了一种具有相位误差补偿的改进相位编码方法。某一行的测量阶梯相位和改进阶梯相位如图13所示。

Figure 13.  Measured step phase and improved step phase of a row

改进的相位编码方法是利用非均匀阶梯相位对条纹级次估计，对系统非线性的相位误差补偿来修正嵌入编码条纹的阶梯相位。该方法对阶梯相位进行了修正，在不增加投影图案数目的情况下，增加了码字数目。

对于相交轴测量系统，当投影仪倾斜放置时，在计算机中的投影条纹的周期是均匀的，但是在参考平面上，条纹周期会随着横轴逐渐展宽，给测量带来误差。被测物越大，条纹周期展宽带来的测量误差会更大。针对相位编码条纹加相移的三维测量方法，为了使参考平面上得到周期均匀的条纹图像，Li^[90]提出了一种相位编码条纹校正方法，具体思路为：首先，生成一组周期非均匀的正弦条纹，其周期的变化规律正好与参考面上所拍摄的条纹周期变化规律相反；然后，求取该组周期非均匀的正弦条纹的截断相位，以周期非均匀的截断相位作为码字，嵌入到相位编码条纹中；最终，在计算机中就得到同样规律的非均匀相位编码条纹。通过投影仪倾斜投射设计的正弦条纹和相位编码条纹到参考平面上，就可得到周期均匀的两组条纹，实现条纹周期校正。图14为相位编码条纹加相移法的周期校正方法的实施过程示意图。

Figure 14.  Schematic diagram of the implementation process of cycle correction method

通过实验研究发现，当相位编码条纹频率较低时，条纹级次容易判决。当相位编码条纹编码频率较高时，由于环境光、表面的颜色纹理、系统的标定、离焦和投影仪Gamma非线性等^[70]复杂原因，求解的阶梯相位畸变很严重，在条纹级次边缘跳变处会出现一些错误点，导致难以准确计算出条纹级次。Zhang^[94]提出了一种新的互补灰度编码方法，使用传统码字和附加码字的不同来互补边界跳变。在此基础上，Zeng^[91]提出了相移编码方法，将原始阶梯相位的周期降低。选原始条纹级次作为研究对象，取相移步数n=2，相移步长为半个周期，原理如图15所示。原始的条纹级次左移半个周期得到新的条纹级次，将其与原始的条纹级次对应值相加，就可得到新的条纹级次，所得到的新的条纹级次周期是原始条纹级次周期的1/2。该方法减少了相位编码条纹数，降低了相位编码条纹频率，使条纹级次更容易判别。

Figure 15.  Schematic diagram of n=2 phase shift coding method. (a) Phase-shifting fringe order; (b)Wrapped phase and fringe order of a row

类似地，当相移步数n=3、4…时，相移步长为1/3、1/4……个周期时，也可以得到新的相位编码条纹频率。

在结构光三维测量中，使用彩色条纹能够提高测量速度。该方法将编码信息放入RGB三个通道中，减少了投影和采集时间，从采集的一帧彩色条纹图像中可以分离出三幅包含相位信息的灰度条纹图像，比普通的灰度图像包含更多的相位信息，近年来得到了快速的发展和应用。

Zhou^[88]在Zheng^[87]的相位编码方法基础上，提出了改进的相位解包裹方法，利用彩色条纹代替灰度条纹，不需要投射9幅条纹图。分别将正弦条纹和相位编码条纹嵌入RGB彩色条纹图中的R通道和B通道，其中G通道设置为0以减小彩色通道串扰的影响。

Li^[89]提出了一种基于彩色相位编码条纹的快速三维测量方法。该方法将三步相移的正弦条纹嵌入RGB三个通道中，形成彩色正弦条纹；将三步相移的相位编码条纹嵌入RGB三个通道中，形成彩色相位编码条纹；对这两幅条纹图进行串扰补偿^[101]和Gamma校正；由处理后的彩色正弦条纹得到截断相位，由处理后的彩色相位编码条纹得到条纹级次；经相位解包裹得到连续相位，通过标定相位—高度参数，得到测量物体的三维数据。

2017年，Cheng^[97]提出了一种用于绝对相位恢复的彩色相位编码。设计了六段N阶条纹编码，每一段对应一种不同的颜色(红、黄、绿、青、蓝、品红)。三幅彩色相位编码条纹图可获得6N个唯一码字。采用相移算法对相位编码条纹的阶梯相位进行了计算，得到相位编码条纹的阶数。利用这些图像确定段顺序，结合段序和阶序，确定条纹级次进行相位展开。

图16(a)为某一行的包裹相位，图16(b)为某一行的阶梯相位。

Figure 16.  (a) Wrapping phase of a row; (b) Step phase of a row

基于相位编码方法可用于获取物体的三维形貌。已经广泛应用于航空工业、生物医疗、工业生产、以及虚拟现实等工程。

Wan^[102]基于传统的相位编码方法测量了航空发动机叶片，与格雷码加相移法相比，利用较少的条纹图案就可以测量叶片的三维形貌。测量速度大大改善，并且鲁棒性也有所提高。测量区域的范围大致为450 mm$ \times $760 mm，其最大均方根误差为0.031 mm，叶片的三维轮廓如图17所示。

Figure 17.  Three - dimensional measurement result of the blade

分段相位编码的提出有效解决了码字的数量限制，Zeng^[91]设计了一种改进的阶梯相位编码条纹，提出了一种连接分段级次的原理。利用此方法测量了孤立物体，测量区域的范围大致为500 mm$ \times $800 mm，其最大均方根误差为0.066 mm，实验结果如图18所示。

Figure 18.  Result diagram of an isolated object

Wang^[98]提出的一种基于分段量化相位编码方法，通过将量化后的码字嵌入到相位，提高了测量精度，增强了测量方法的鲁棒性。此方法只需六幅条纹图案，在快速测量有很好的应用前景。测量区域范围大致为450 mm$ \times $780 mm，最大均方根误差为0.051 mm。图19为雕像的测量结果图；图20为孤立物体的测量结果图。

Figure 19.  Measurement results of the statue

Figure 20.  Measurement results of isolated objects

Chen^[100]提出了S形分段相位编码方法，可以对孤立目标和复杂目标进行三维重建，测量区域的范围大致为500 mm$ \times $800 mm，最大均方根误差为0.045 mm。图21为实验结果图，可以看出此方法具有较强的鲁棒性，整体曲面重建光滑细腻。

Figure 21.  Three-dimensional measurement of complex objects

在双频外差和三频外差的基础上，Han^[103]提出了一种双频外差结合相位编码的方法，该方法通过使用两个正弦条纹和一个相位编码条纹，对包裹相位进行相位展开。该方法双频外差合成的周期不需要覆盖整个视场，打破了传统双频外差方法对频率选择的限制。测量区域的范围大致为500 mm$ \times $800 mm，其最大均方根误差为0.038 mm。面具的三维测量结果如图22所示。

Figure 22.  Three - dimensional measurement result of the mask

该方法目前已被深入研究并广泛应用到不同领域中，但随着新的需求和技术的不断提高，仍面临着以下挑战。

（1）编码方法的改进

虽然现有的相位编码方法在一定程度上能提高码字数目，但是离工业的实际应用还有一定距离。当码字更多时，相位编码条纹数量变多，编码相位在$[ - \pi ,\pi ]$内的码字跳变不明显，解码过程中非常容易出错，最终导致相位解包裹错误，影响三维测量结果。因此，需研究更好的相位编码条纹来提高编码效率和解码精度，或与深度学习相结合以便更好的实现物体的快速、高精度三维测量。

（2）动态物体测量

由于现有的相位编码方法至少需要五幅图才能恢复物体的三维形貌，且对于动态物体的测量会导致条纹级次错位，使其对动态物体的三维测量存在局限性。因此需要研究投影条纹图数目更少的相位编码方法。

（3）提高系统测量精度

环境光、表面的颜色纹理、系统的标定、离焦、彩色通道间的串扰问题和投影仪Gamma非线性问题等都是影响测量精度的因素。研究新的相位补偿方法或消除误差的方法来解决这一系列问题是非常必要的。

（4）多视图全景3D测量

在单个结构光测量系统中，只能得到一部分完整的三维形貌，这不适用于全景3D测量。要重建一个完整的360°模型，需要多视角测量。由于采用多个系统，精确标定多个系统和匹配多个3D测量结果仍面临挑战。此外，为了实现高速测量，所有系统必须并联运行，以避免相互干扰。

（5）大容量点云数据的高速处理

大容量点云数据处理速度成为高速三维面形测量走向实用化的核心问题，特别是对大物体三维面形测量时，庞大的点云数据处理将会消耗大量的时间。因此需要研究更多GPU加速算法实现大容量点云的快速处理和显示。

基于相位编码的三维形貌测量技术已经成为一个很有意义的研究方向。文中详细论述了基于相位编码的三维测量原理，包括初始相位的设计方法、编码条纹的产生方法、相位计算方法、系统标定、条纹级次的获取以及最终绝对相位的获取；然后针对现有测量方法在测量时条纹级次判决易出错和码字数量受限的问题，介绍了分段相位编码，彩色相位编码以及条纹级次校正方法；接着列举了相位编码方法的具体应用；最后，文中指出基于相位编码的三维测量技术未来的研究方向，为结构光三维测量的深入研究提供了有益的参考。