Fringe projection profilometry for 3D measurement of objects with different depth of fields

随着现代信息技术的快速发展，光学三维轮廓测量技术也逐步成熟。在众多光学三维轮廓测量技术中，条纹投影轮廓术(Fringe projection profilometry, FPP) 因其具有非接触、速度快、成本低、高测量精度等优点而被广泛应用于缺陷检测、逆向工程、工业设计、智能制造等信息测量领域^[1-3]。

在采用相移技术的FPP中，为了实现快速、精确的三维轮廓逐像素测量，通常使用$ n(n = 3,4,\cdots) $步相移法 ^[4-5]。然而，对于不同景深的被测物体同时测量的情况下，例如，同时测量视场内的不同景深的多个静态被测物体，或者一次性测量大型复杂被测物体的某些特定的局部位置，或者同时测量一个物体的360°表面，由于摄像机有限景深的局限性，使得由摄像机和投影仪组成的传统FPP测量系统无法保证视场内的不同景深被测物体同时获得较高的测量精度。为解决这类问题，一些研究者对此进行了研究。例如，Qi Naiming等提出了基于厚透镜模型的空间协同目标三维测量方法，该方法通过建立变焦视觉的空间机械臂协同目标测量系统和空间三维坐标测量模型、位姿计算模型，使得不同景深的物体能够同时清晰成像，从而获得多景深物体的精确测量^[6]。对于结构光的大型复杂物体测量，研究者从多个角度和位置对被测物进行了测量，并通过物体表面粘贴的标志点将多次测量数据转换到同一坐标系下，从而获得整个物体的三维测量^[7-8]。钟凯等将室内GPS光电跟踪定位技术与条纹投影三维轮廓测量术结合在一起，形成了一种组合式大尺寸空间精密测量方法^[9] 。Tsujioka等研制了一种采用光学空间调制器的三维形状自动测量条纹投影法，使用变焦相机扩大了测量范围，同时也提高了测量精度^[10]。Yin Wei等提出用两面反射镜组成的镜面辅助的方法实现物体的360°三维轮廓测量，解决了物体前后不同景深测量问题^[11]。尽管这些研究能在一定程度上解决视场内不同景深的被测物体测量精度问题，然而将这些技术运用到条纹投影测量中，则需要在实际测量时聚焦多次，同时也需要对摄像机和投影仪标定多次，才能精确获取聚焦不同区域的图像。而通过大量标志点测量局部区域，最终拼合成整体三维轮廓点云数据时，其测量精度会受影响。对于结合室内GPS的方法，需要使用激光发射器不断地向测量空间发射红外脉冲激光，还需要在结构光测量系统中固定能够接收红外激光信号的传感器和信号接收器，大大增加了设备的复杂度和成本。用两面相邻120°排列的反射镜组成的镜面辅助的全景360°三维轮廓测量系统也只能测量景深不大的小型被测物体表面。

文中提出了一种镜面辅助的FPP方法，该方法运用两面反射镜和两个棱镜，可将距离摄像机较近的被测物体转换到离摄像机较远的范围内进行测量，从而获得不同景深物体的同时聚焦，实现多景深的高精度测量。

在传统条纹投影轮廓术中，相移法由于对局部光照和物体表面反射率变化具有较强的鲁棒性而被广泛应用^[12]。目前使用较为广泛的相移测量方法主要有：三步相移法、四步相移法^[13]。文中在传统三步相移法的基础进行了改进，提出了多景深物体同时高精度测量方法。

在三步相移法中，首先由计算机生成一组光强呈正弦分布的条纹图像并由投影仪向被测物体方向投射，设定投影到被测物体的三张条纹图的相移量分别为$ 0 $，$ 2\pi /3 $和$ 4\pi /3 $，则三幅相移图像在每个像素点$ (x,y) $的强度可表示为：

式中：$ A(x,y) $为条纹图像的平均强度；$ B(x,y) $为条纹调制度；$ \varphi (x,y) $为待计算的包裹相位值。摄像机采集到的三幅图像为不同相移量的经被测物体表面直接调制而变形的条纹图像。

联合公式(1)~(3)可求得物体的包裹相位$ \varphi \left( {x,y} \right) $^[14]：

由公式(4)求得的包裹相位值域为$ [ - \pi ,\pi ) $，其相位分布是不连续的，需要利用相位解包裹算法对获得的包裹相位进行解包裹，得到绝对相位。包裹相位与绝对相位之间的关系可表示为：

式中：$ {\phi _h}(x,y) $为点$ (x,y) $处的高频条纹的绝对相位；$ {\varphi _h}(x,y) $为点$ (x,y) $处的高频条纹的包裹相位；$ {k_h}(x,y) $为点$ (x,y) $处的高频条纹的条纹级次。

通过相位解包裹算法可得到条纹级次$ {k_h}(x,y) $，如：降级法。具体算法可表示为^[15]：

式中：$ {\lambda _h} $为高频条纹的频率；$ {\lambda _l} $为低频条纹的频率；$ {\phi _h}(x,y) $为点$ (x,y) $处的高频条纹的绝对相位；$ {\phi _l}(x,y) $为点$ (x,y) $处的低频条纹的绝对相位； Round[]命令是就近取整。

同时，利用棋盘格标定系统的内外参数，结合以上得到的相位图重建出被测物体的三维点云数据。假设$ \left( {{x_w},{y_w},{z_w}} \right) $为空间内任意点在世界坐标系下的三维坐标，$ \left( {u,v} \right) $为摄像机捕获的图像像素坐标。可得被测物体在世界坐标系下的三维坐标$ \left( {{x_w},{y_w},{z_w}} \right) $与摄像机捕获的图像像素坐标$ \left( {u,v} \right) $之间的关系为：

式中：$ {s_x} $和$ {s_y} $为像素坐标的尺度因子；$ {u_0} $和$ {v_0} $分别为物理坐标系与像素坐标系之间的偏移量；$ R $为空间内世界坐标系下的三维坐标到摄像机坐标系下的三维坐标的旋转矩阵； $ T $为空间内世界坐标系下的三维坐标到摄像机坐标系下的三维坐标的平移矩阵。

通过以上被测物体在世界坐标系下的三维坐标$ \left( {{x_w},{y_w},{z_w}} \right) $与摄像机捕获的二维图像像素坐标系$ \left( {u,v} \right) $之间的关系，就能够获得被测物体表面的三维轮廓点云数据，从而实现被测物体的形貌重构^[16]。

对于景深存在较大差异的物体同时测量的情况下，在测量之前将摄像机与投影仪聚焦在距离最远的物体。与传统的FPP不同的是文中提出在测量系统中引入了两面光学反射镜和两个三棱镜，通过调整镜片的距离使得距离摄像机较近的物体能够清晰成像，从而一次性获得不同景深范围内的多个被测物体的同时清晰成像。

镜面辅助的FPP的光学结构如图1所示，所构建的系统包括传统FPP三维测量系统和两面光学反射镜以及两个三棱镜。图中摄像机和投影仪聚焦在A物体，假设A物体和摄像机之间的距离为D，假设B为离焦的物体并且和摄像机之间的距离为$ {d_{\text{1}}}{\text{ + }}{d_{\text{3}}}{\text{ + }}{d_{\text{5}}} $。两面光学反射镜Mirror 1和Mirror 2之间形成大约90°的直角。三棱镜Prism1的斜边大约与Mirror 1平行，三棱镜Prism 2的斜边大约与Mirror 2平行。因为摄像机的视场角随着距离的增大而增大，所以较小的Prism 2距离摄像机较近，较大的Prism 1距离摄像机较远，使得摄像机的视场不被完全挡住而能够捕获A物体的三维轮廓。调整C点与三棱镜的距离，可使得摄像机清晰地捕获未聚焦的物体B的表面图像。

Figure 1.  Optical schematic diagram of mirror-assisted FPP measurement system

由图1可知，物体A的光直接到达摄像机的光路历程是D。物体B的光首先经Prism 1反射到达Mirror 1表面，其次由Mirror 1反射进入Mirror 2，再次经Mirror 2反射进入到Prism 2，最后经Prism 2反射进入摄像机，由此可知物体B的光到达摄像机的光程是$ {d_1} + {d_2} + {d_3} + {d_4}{\text{ + }}{d_{\text{5}}} $。则可知物体A与物体B之间的光程是$ {d_{\text{2}}}{\text{ + }}{d_{\text{4}}} $，物体B与摄像机之间的光程是$ {d_{\text{1}}}{\text{ + }} {d_{\text{3}}}{\text{ + }}{d_{\text{5}}} $。因此物体A的光直接到达摄像机的光程和物体B的光经棱镜与反射镜反射后到摄像机的光程是近似相等的，它们之间的关系是：

因此可知，该系统通过两面反射镜、两个三棱镜能够使得聚焦的物体A和未聚焦的物体B的光程近似相等，从而使得它们能够同时清晰地成像。对于不同景深的物体，可通过调整$ {d_2} $和$ {d_4} $就能够完成对视场内摄像机未聚焦的被测物体清晰成像，从而实现不同景深多物体的同时精确测量。上述描述的是针对两个不同景深的物体测量的情况，而对于视场内有3个或者以上的被测物体测量时，则需要相应的搭建更多的镜片辅助系统。

为了验证提出的基于镜面辅助的FPP测量方法用于不同景深范围内的多个被测物体测量的有效性、准确性和实用性，文中设计了两组实验：（1）利用传统FPP测量系统对6层石膏标准阶梯模型的三维轮廓测量；（2）传统FPP和提出的镜面辅助的FPP方法对不同景深范围内的两个标准乒乓球的三维轮廓同时测量对比实验。

在实验(1)中，运用传统FPP测量系统对一个90 mm×115 mm的6层石膏标准阶梯模型的阶梯表面进行测量，并比较每个阶梯平面的测量精度；在实验(2)中，分别采用传统FPP和镜面辅助的FPP测量系统同时测量不同景深范围内的两个标准乒乓球的表面，并将这两个乒乓球的拟合半径和标准半径进行比较，从而验证其测量精度。传统FPP测量系统和镜面辅助的FPP测量系统实验装置分别如图2(a)和图2(b)所示。测量系统主要包括分辨率为3840×2160 dpi的DLP投影仪（ViewSonic PX701-4 K），带有25 mm标准镜头的CMOS工业摄像机（大恒图像MER2-302-37 GM、分辨率为2048×1536），两片光学反射镜（50 mm×50 mm），两个三棱镜（10 mm×10 mm, 15 mm×15 mm），一台计算机。其中，10 mm×10 mm的三棱镜距离摄像机较近，15 mm×15 mm的三棱镜距离摄像机较远，使得摄像机的视场不被棱镜完全挡住而能够捕获#1号和#2号乒乓球条纹图像。实验中相机的视场范围约为170 mm ×130 mm。

Figure 2.  (a) Traditional FPP measurement system ; (b) Mirror-assisted FPP measurement system

为验证景深对传统FPP方法测量精度的影响，用传统FPP测量系统测量一个90 mm×115 mm的6层石膏标准阶梯模型的三维轮廓，标准石膏阶梯模型实物如图3(a)所示，阶梯模型每个台阶长宽高约为90 mm×20 mm×15 mm。摄像机和投影仪均聚焦在阶梯最远平面A处，摄像机捕获的6层石膏标准阶梯模型图像如图3(b)所示，测量的三维轮廓如图3(c)所示。从6层石膏阶梯模型的三维点云数据中提取每个阶梯平面的部分三维点云数据，每个平面的三维点云图如图4所示。

Figure 3.  (a) Standard step model; (b) Fringe projection image of the step model ; (c) 3D profile of the standard step model

Figure 4.  3D point cloud of the step plane. (a) Step plane A; (b) Step plane B; (c) Step plane C; (d) Step plane D; (e) Step plane E; (f) Step plane F

采用多元线性回归方法拟合阶梯模型的每一个阶梯平面，由平面方程$ ax + by + cz + d = 0 $，可得到阶梯平面A~F的拟合后的方程分别如下：

假设阶梯平面由$ n $个点组成，每个测得的点${P_i}(i = 1,2,\cdots n)$的三维坐标为$ ({x_i},{y_i},{z_i}) $，则可得到每个点到拟合平面的距离$ {e_i} $：

因此，拟合误差可由集合$ error = [{e_1},{e_2},\cdots {e_n}] $表示，误差的分布直方图如图5所示。

Figure 5.  Histogram of error distribution of step plane. (a) Step plane A; (b) Step plane B; (c) Step plane C; (d) Step plane D; (e) Step plane E; (f) Step plane F

为进一步分析，可由公式(11)求出每个平面的均方根误差（Root mean square error, RMSE）：

根据上述每个点的误差，计算得到的阶梯平面A~F的均方根误差结果如图6所示。另外，利用游标卡尺测量两相邻阶梯平面的平均深度作为真实深度，由拟合方程计算平面中心点之前的距离作为测量深度，其测量误差如表1所示，其中“A-B”表示平面A与B之间深度，其他以此类推。

Figure 6.  Fitted RMSE of step plane

为验证提出的FPP方法对不同景深物体测量的可行性，将两个编号为#1号、#2号的标准乒乓球分别放置在摄像机不同景深范围内，分别采用传统FPP系统和镜面辅助的FPP系统分别同时测量两个标准乒乓球。利用游标卡尺5次测量的#1号和#2号乒乓球半径平均值分别为20.01、19.99 mm。摄像机和投影仪均聚焦在#1号乒乓球处，距离摄像机约487.5 mm，#2号乒乓球距离摄像机387.5 mm，#1号与#2号乒乓球的垂直距离约为100 mm。

传统FPP系统摄像机捕获的两个标准乒乓球表面的条纹图像如图7(a)所示，求解的绝对相位图如图7(c)所示，其表面的三维轮廓测量结果如图8(a)所示，通过拟合空间三维点云数据得到其拟合半径分别为19.420 mm和13.155 mm，与标准乒乓球半径的绝对误差和相对误差如表2所示。

Figure 7.  (a) Fringe image captured by the traditional FPP system; (b) Fringe image captured by the mirror-assisted FPP system; (c) Absolute phase map measured by the traditional FPP system; (d) Absolute phase map measured by the mirror-assisted FPP system

在搭建镜面辅助的FPP测量系统前，首先相机和投影仪均聚焦在距离系统最远处的#1号乒乓球；并将棋盘格在#1号乒乓球附近任意摆放多次对测量系统进行标定；标定结束后通过调整三棱镜、光学反射镜在摄像机前的放置位置使得摄像机能够同时清晰捕获#1号、#2号乒乓球表面。摄像机捕获的两个标准乒乓球表面的条纹图像如图7(b)所示，求解的绝对相位图如图7(d)所示，#1号、#2号乒乓球正表面的三维轮廓测量结果如图8(b)所示，通过三维点云数据拟合得到的半径分别为19.463 mm和18.937 mm，与标准乒乓球半径的绝对误差和相对误差如表2所示。

Figure 8.  Measurement results of 3D profile of table tennis surface. (a) Traditional FPP system; (b) Mirror-assisted FPP system

在阶梯模型的测量实验中，通过图3(c)三维轮廓测量结果以及图4中每个阶梯平面的三维点云图，可以看出阶梯平面D、E和F存在一定程度弯曲。进一步通过图5中每个阶梯平面的拟合误差分布直方图，可以发现阶梯平面A、B和C的大部分三维点云的拟合误差在−0.5~0.5 mm之间，并且拟合误差接近0的三维点云明显较多，阶梯平面D的大部分三维点云的拟合误差分布在−0.75~1.5 mm之间，阶梯平面E和F的三维点云的拟合误差在−1.5~1.5 mm之间均有分布，且没有明显的规律^[17]。进一步根据图6的拟合均方根误差曲线，比较发现从摄像机和投影仪聚焦的平面A处到阶梯平面F，阶梯平面的均方根误差随着离焦程度增加而增加，也即阶梯平面的平面拟合效果越来越差^[18]。综上可知，被测物体的三维轮廓测量结果受测量系统景深的影响较大，且测量误差随着离焦程度的增加而增加。

在标准乒乓球测量实验中，传统FPP测量系统获得聚焦点处的#1号乒乓球的测量半径与标准半径之间的绝对误差为0.59 mm，相对误差为2.9%；而#2号乒乓球与标准半径之间的绝对误差6.835 mm，相对误差为34.3%。由此可知，未聚焦的#2号乒乓球的误差明显增加，且是不可接受的。

为提高未聚焦被测物的测量精度，通过适当排列两面光学反射镜和两个三棱镜，镜面辅助的FPP测量系统可以直接或者通过反射镜的反射和三棱镜的折射间接捕获被测物体的三维轮廓图像，因此该系统相当于多个条纹投影三维轮廓测量系统。借助两面光学反射镜和两个三棱镜增加光路历程，可使得距离摄像机较近的未聚焦被测物清晰成像，从而实现未聚焦的物体和已聚焦物体的同时高精度测量。通过文中提出的镜面辅助的FPP测量系统同时测量不同景深范围内的两个乒乓球三维轮廓的实验可知，聚焦处的#1号乒乓球的测量半径与标准半径之间的绝对误差为0.547 mm，相对误差为2.7%；#2号乒乓球与标准半径之间的绝对误差为1.053 mm，相对误差为5.3%。因此可知，提出的镜面辅助系统补偿了景深造成的误差，实现了不同景深物体的同时准确测量。当然，从测量数据可知，提出的方法虽然较大程度减少了未聚焦物体测量误差，但是与正常聚焦被测物对比，其测量精度仍然有待提高。这是由于在对未聚焦物体进行测量时，提出的系统仅仅考虑了相机离焦成像带来的影响，并未考虑投影仪离焦的影响^[19]。根据文中的测量结果可知，改善相机的成像可较大程度提高测量精度，使投影仪的离焦影响在可接受范围内。当然，为进一步提高系统测量精度，投影条纹离焦带来的误差仍需要进一步被改进。

另外，对于聚焦的#1号乒乓球，传统FPP测量系统和镜面辅助的FPP测量系统所测得的半径误差存在微小偏差，分别为0.581 mm和0.538 mm，这是由于多次测量系统误差所致。

综上可知，建立的镜面辅助的FPP测量系统的有效性和准确性通过同时测量不同景深的#1号、#2号乒乓球的三维轮廓得到了验证。相比传统FPP测量系统，搭建的镜面辅助的FPP系统具有几个重要的优点：

（1）成本低。镜面辅助的FPP测量系统只需要一个摄像机、一台投影仪、两面光学反射镜、两个三棱镜等构成，成本较低。

（2）易于实现。由于只需要对单个条纹投影测量系统进行聚焦和标定，因此相对于传统的多次测量多个被测物体而言操作步骤大大简化。更重要的是，提出的系统使用通用条纹投影轮廓术算法，因此任何条纹投影三维测量系统均能使用该方法。

然而，该系统也存在一些局限性。由于摄像机镜头需要捕获两个单独的物体表面，这将导致图像的有效分辨率降低。此外，对于测量景深范围内的三个甚至更多的被测物体时，需要在摄像机镜头前再错位搭建更多的镜面辅助系统。尽管存在这些缺点，但镜面辅助的FPP测量系统在三维测量方面仍具有较大潜力，例如在360°光学测量中，可以改进Yin Wei等^[11]提出的360°三维轮廓测量技术，有效提高其测量精度；也运用此类方法改进Bin Chen等^[20]建立的镜面辅助的全景立体3D系统测量精度，实现曲面360°形貌和应变测量。

文中提出了一种低成本、有效的镜面辅助的FPP测量方法，该测量系统由两部分组成：传统FPP系统和镜面辅助部分，其中镜面辅助部分由两面光学反射镜、两个三棱镜组成。通过适当排列两面光学反射镜和两个三棱镜，镜面辅助的FPP测量方法能够一次性获得不同景深范围内的多个被测物体的清晰成像，并且可以直接或者通过反射镜和三棱镜的反射间接测量被测物体的三维轮廓。采用提出的FPP系统对相隔100 mm的两个标准乒乓球同时进行轮廓测量，摄像机聚焦点处和未聚焦的乒乓球的测量半径相对误差分别是2.7%、5.3%。实验证明镜面辅助部分能够补偿景深造成的误差，较大程度提高系统测量精度，使投影仪的离焦影响在可接受范围内。该方法成本低、易于实现，在三维测量领域拥有较大的潜力。