Shape measurement of specular/diffuse complex surface based on structured light

基于结构光投影和反射的复合表面测量原理如图1所示，包括一个投影仪、两个LCD (Liquid Crystal Display) 显示屏LCD1、LCD2和彩色相机，它们均位于被测物体的同一侧。为了在同一坐标系统中建立投影条纹相位和镜面反射相位分别与深度间的关系，将通过一个复合平面板标定系统。该平面标定板一半为漫反射平面，另外一半为镜面，其上均匀分布着圆环标识，相邻圆环标识间的距离已知，如图2所示。复合标定板所在的初始位置定义为系统的参考位置，也即参考平面。

Figure 1.  Measurement schematic diagram of complex surface based on projection and reflection of structured light

Figure 2.  Complex calibration board

为实现不同反射特性被测物的同时测量，投影仪和两个LCD显示屏同时投射和显示符合多频外差序列的绿色、红色和蓝色正弦条纹图。显示屏显示的条纹图通过复合参考平面的镜面部分反射成像，投影仪投射的条纹图通过复合参考平面的漫反射部分反射。彩色相机的三颜色通道同时采集不同颜色的变形条纹图，实现复合表面变形条纹的同时采集，提高了三维测量的速度。

如图1所示，参考平面与两个LCD显示屏平行，LCD1和LCD2显示屏之间的空间距离为Δd，LCD1与复合参考平面之间的空间距离为d。相机光轴与参考平面之间的角度为$\theta $。显示屏上参考相位点${\varphi _{{\rm{r}} 1}}$和${\varphi _{{\rm{r}} 2}}$构成的入射光线${l_1}$与参考平面交于点K，并遵循光的反射定律反射出去，出射光线为${l_0}$，在成像靶面的m点成像。当被测物体相对于参考平面有一定高度和梯度时，图中M点相对于参考平面的高度和梯度为h和$\gamma $。如果出射光线不发生偏折，那么入射光线将变为由显示屏上测量相位点${\varphi _{{\rm{m}} 1}}$和${\varphi _{{\rm{m}} 2}}$构成的光线${l_2}$，${l_2}$相对于${l_1}$发生的偏折角度为$(\theta + 2\gamma )$。因此，可以建立以下关系式：

联立公式(1)~(4)，被测镜面物体高度与相位之间的之间关系如公式(5)所示：

被测漫反射表面相对于参考面之间的高度h与相位之间的关系，可以由以下多项式表示^[10]：

式中：$\left( {u,v} \right)$为成像靶面的像素坐标；$\varphi (u,v)$为参考相位；$\psi (u,v)$为被测表面的调制相位；${a_i}(u,v)\left( {i = 0,1,2,3 \ldots n} \right)$为系统参数，n为多项式的最高次数，每个像素位置的系统参数不同。

根据公式(5)和(6)可知，为获得复合表面的高度信息，需要预先标定系统参数Δd、d和${a_i}(u,v)$。

由图1可知，LCD1与LCD2为前后位置关系。如果将两个LCD按照图1所示放置，那么LCD1将会遮挡LCD2上的信息，导致无法实现形貌测量。Liu^[11]通过引入一块半透半反镜来实现LCD1和LCD2的等效结构，半透半反镜的引入虽然增强了系统的稳定性，但同时也导致系统测量范围减小和系统调节复杂。为不改变系统有效测量范围和简化系统结构，文中采用将一块LCD固定于水平移动台，通过水平移动台移动已知距离Δd来实现图1所示双屏结构。

为满足LCD在位置1和位置2显示的相位信息平行正对要求，LCD需垂直放置于水平移动台上（即LCD所在平面与导轨垂直），且水平移动台移动向量的水平分量为0。水平移动台固定于光学平台上，因此，以光学平台为基准，借助水平仪和角位移台粗略地调节显示屏与导轨的位置关系。由于LCD单位像素尺寸已知，因此，可以通过软件在显示屏上显示已知空间距离的圆环或棋盘格来获取LCD在位置1和位置2经平面镜所成像的相机外参，以精确地调节LCD与导轨垂直，当LCD显示的相同标识在位置1和位置2的距离与水平移动台移动实际距离大小相等时，说明垂直关系成立。

完成显示屏与导轨位置关系的调节后，需要调节固定于另一水平移动台上的复合标定板，使其在参考位置与LCD平行。由于LCD已固定，因此，需要获得真实LCD的外参作为基准来调节参考平面与LCD平行。如图3示，{C}表示相机坐标系，{L}表示LCD坐标系，{VL}表示LCD经参考平面镜所成的像坐标系。$ [{{R_L}}\;\;{{T_L}}]$、$[{{R_{VL}}}\;\;{{T_{VL}}}]$分别为真实LCD和显示屏所成像LCD'的相机外参(R为旋转矩阵，T为移动向量)，两者满足以下关系：

式中：${I_3}$为3×3的单位矩阵；${e_3}$为3×1的单位向量；l为相机光心到参考平面的距离；${n_c}$为参考平面的法向量，可以通过参考平面上的圆环标识求得。为保证$[{{R_L}}\;\;{{T_L}}]$精度，在调节时，多次旋转参考平面镜以提供多组$[{{R_{VL}}}\;\;{{T_{VL}}}]$和l，建立超定方程，求取${R_L}$的最优解。

Figure 3.  Geometrical analysis of parallel adjustment between LCD and reference plane

完成平行调节后，由于参考平面、真实LCD及其经参考平面所成像相互平行，因此，LCD在位置1处与参考平面之间的距离d可用公式（9）求得。完成平行调节后，相机采集显示屏在位置1和位置2经参考面反射的镜面参考条纹图。

根据公式(6)可知，求解系统参数${a_i}(u,v)$$(i = 0,1,$$2,3 \ldots n) $至少需要获得(n+1)组标定位置相对于参考平面位置的已知深度和相应深度的绝对相位信息。

由于复合标定板由镜面反射面和漫反射面组成，当完成复合标定板在参考位置与LCD的平行调节后，标定板与LCD之间的位置关系已固定。因此，在标定参数${a_i}(u,v)$时，通过水平移动台移动标定板来提供多个标定位置。

标定流程如图4所示。首先，通过水平移动台移动标定板来提供至少(n+1)个标定位置。在每个位置（包括参考位置），投影仪投射符合多步相移和多频外差序列的蓝色竖直正弦条纹图至标定板。其次，彩色相机采集每个位置的条纹图和标定板的纹理图并保存至计算机。然后，利用多步相移法计算折叠相位，使用多频外差法计算绝对相位。借助标定板上的圆环信息计算每个标定位置的相机坐标，并拟合参考位置在相机坐标系下的平面方程，计算其他标定位置各点相对于参考位置的距离$\Delta h$。最后，联立公式(10)解得每个像素点多项式系数。

Figure 4.  Flow chart of system parameter calibration ${a_i}(u,v)$

在标定过程中，首先利用投影仪投射条纹于参考位置处的标定板，相机采集条纹图和标定板的纹理图。然后，利用水平精密移动台在参考面位置前后移动13个位置，在每个位置相机采集投影仪投射到标定板上的条纹图和纹理图。最后，采用共14个标定位置的相位和深度信息，完成测量系统在深度方向系统参数的标定。当n=5时，所有标定位置同一像素的深度和相位信息有很好的拟合效果。文中标定位置个数为14，大于要求的个数6。虽然标定位置增多，但能够得到更精确的系统参数。

基于结构光投影和反射的复合表面测量系统主要由投影仪、彩色相机、LCD显示屏、计算机和水平移动台组成，如图5所示。投影仪采用的是TI公司生产的DLP® LightCrafter™ 4 500，分辨率为1 140×912。相机型号为SVCam-ECO445彩色相机，分辨率为964×1 296，点距3.75 μm×3.75 μm。LCD为夏普生产的LQ101R1JX02，分辨率为1 600×2 560，单位像素尺寸为0.084 75 mm。水平移动台采用的是大恒光电的GCD203100M，精度为1 μm。复合标定板上的圆心距为15 mm。

Figure 5.  Experimental system

首先利用张正友^[12]的相机标定法标定相机内参，然后利用相机内参进行系统标定和对图像进行畸变等处理。在标定系统参数${a_i}(u,v)$和测量被测物体时，为减小系统非线性对测量结果的影响，投影仪和显示屏分别投射和显示符合八步相移和最佳三条纹^[13]选择法的序列条纹。由于对于复合反射物体的镜面表面，相机采集的是LCD显示条纹图经被测物体反射成的像，而对于漫反射表面，相机则直接采集被测物体漫反射表面的变形条纹。因此，显示屏显示的条纹序列为[36 35 30]，投影仪投射的序列为[100 99 90]的序列条纹图。

文中通过在显示屏上显示圆环标识的方法来精确调节LCD与导轨垂直。固定有LCD的水平移动台实际移动20 mm，求得LCD在位置1和位置2的空间距离如图6所示，平均值为20.006 7 mm。水平移动台的移动向量为[−0.025 9 −0.050 2 20.007 1]，证明LCD与水平移动台基本垂直。因此Δd=20 mm。然而，硬件调节的方法不能确保LCD显示屏的法向量与导轨的移动方向百分之百垂直，为提高测量标定精度，显示屏在两个位置的平行正对关系可以通过软件进行校正^[14]。

Figure 6.  Distance between LCD at position 1 and position 2

根据2.2节所述方法调节标定板在参考根据2.2节所述方法调节标定板在参考位置与LCD平行。文中通过在显示屏上显示半径和圆心距已知的圆环标识来提供世界坐标。通过椭圆中心拟合提取圆心中心对应的像素坐标，然后利用张正友相机标定法计算LCD像的相机外参。同理，可以求得参考平面的相机外参，进而利用公式(7)求得真实LCD的外参。最终得到LCD、LCD'与参考平面镜的旋转矩阵和欧拉角如表1所示，三者之间的俯仰角之差最大为0.003 7°，旋转角之差最大为0.002°，偏航角之差最大为0.004 6°，满足测量要求。最终求得d=138.394 mm。

为验证标定精度，将镜面、漫反射复合标定平板置于精度为1 μm的水平移动台，控制平板在标定场精确移动3 mm作为真实值。DLP投影仪和LCD显示屏同时投射和显示条纹序列分别为[100 99 90]和[36 35 30]的24幅条纹图，彩色CCD相机同时采集标定板反射和偏折的变形条纹图。计算变形条纹的绝对相位，代入公式(5)和(6)。由于平板上各点有相同的移动距离，因此，将计算得到的所有点的均值作为测量值，其结果为2.971 mm，绝对误差为0.029 mm。

利用所研制复合反射表面测量系统，对非连续表面的物体三维形貌进行了实际的测量实验。由于所用CCD彩色相机的红色和蓝色光谱响应范围重叠区域很小，因此，在测量被测物体时，投影仪和显示屏同时投射和显示蓝色和红色正弦条纹图以减小颜色通道间串扰对测量结果的影响。

图7为相机采集的镜面部分参考条纹及利用八步相移和最佳三条纹选择法解调得到的折叠相位图和绝对相位图。由于参考平面的镜面反射表面刻有黑色圆环图案，致使圆环位置及其周边像素位置的相位信息不准确。因此，得到参考条纹的绝对相位后，采用多项式拟合的方法对其进行预处理，处理后的相位图如图7(d)所示。

Figure 7.  Reference fringe and phase map. (a) specular reference fringe map; (b) wrapped phase map; (c) absolute phase map; (d) processed absolute phase map

投影仪和显示屏投射和显示不同颜色的条纹图不仅能够在测量不同反射物体如漫反射、镜面反射及复合反射物体时明确地区分和判断被测物中的镜面反射与漫反射部分为后续不同反射性质表面的形貌恢复提供明确的绝对相位值，而且在表面反射特性未知的情况下也能清楚地分辨物体表面的反射性质以做不同的处理。图8为利用研制的实验系统测量特制的复合反射台阶。图9为利用研制的实验系统测量孤立的漫反射和镜面反射表面。

Figure 8.  Tested complex step. (a) texture map; (b) deformed complex fringe pattern; (c) absolute phase map; (d) reconstructed depth

Figure 9.  Tested isolated complex object. (a) texture map; (b) deformed complex fringe pattern; (c) absolute phase map; (d) reconstructed depth

文中提出了一种基于结构光投影和反射的新方法，实现复合表面三维形貌的测量。给出了复合反射表面的测量原理，直接建立了绝对相位与复合表面深度之间的关系，适用于非连续镜面/漫反射复合表面的三维测量。多颜色通道条纹的应用实现了不同反射特性被测物的同时测量，使得在表面反射特性未知的情况下也能清楚地分辨物体表面的反射性质以做不同的后续处理。研制了相应的测量系统，并对系统进行了标定。复合反射台阶和实际复合表面物体的测量实验证明所提出的方法精确获取了非连续复合表面物体的三维形貌。

在所提测量方法时具体实现过程中，通过引入一水平移动台等效实现双屏结构，使得在测量复合反射物体时无法一次性获取形貌重建所需的相位信息。而水平移动台的引入降低了系统的稳定性。因此，下一步的研究重点是把通过半透半反镜实现的双平行显示屏引入该方法，从而一次性获取变形条纹，实现增强系统的稳定性。同时对影响标定精度和测量精度的各种因素进行详细的分析和相应的补偿处理，以提高三维测量精度。