-
室内场景重建在移动机器人自主导航、虚拟现实、未知环境重构和灾害应急响应等诸多方面起到重要作用[1]。近年来，针对室内场景重建出现了以双目相机、RGB-D相机、三维激光扫描仪等技术为主的三维重建手段[2-3]。但是，基于三维激光点云数据的室内场景重建存在以下两个问题[4]：(1) 室内场景通常杂物较多，环境复杂，物体之间存在相互遮挡的问题，导致环境重建的信息不全，无法得到完整三维点云；(2) 激光点云重建强度不稳定，近距离点云数据较完整，远距离点云数据会产生大量噪声，点云碎片化严重。基于双目或单目SLAM等方法重建的点云精度较低，表面精细程度较差[5]，不能满足室内高精度点云的重建要求。
相较上述基于传统视觉以及激光扫描的方法，结构光技术具有精度高、鲁棒性高和灵活性好等特点。但是，目前结构光技术普遍应用于小型零件测量或流水线加工质量检测[6]，所以结构光一般固定在暗室中进行测量，将周围光干扰尽量降到最低[7]，保证点云质量。然而当机械臂与结构光相机重建室内环境时，无法保证整体系统保持在暗室条件下。传统的相移轮廓术(PSP)是投影标准正弦图像[8]，由于投影仪是非线性设备，图片投影时会进行基于强度的指数变换，影响正弦图片的理想正弦分布[9]，而且PSP与格雷码相结合的方法中，包裹相位周期与格雷码级次周期未保持严格一致，导致展开相位产生周期错位[10]。为提高PSP与格雷码相结合方法的稳定性和抗全局光照能力，Nayar[11]使用特殊的迭代方式，利用光度立体技术进行被测物形态估计，获得被测物体的实际形貌。Chen、Holroyd等人[12-13]通过构造偏振器和同轴光学扫描仪等外部硬件滤除底面反射并获取被测物三维数据，但是外部硬件构建十分复杂，不适用于基于移动机器人的重建方式。Deng[14]提出了高强度条纹避免全局光照方法，但是在格雷码二值化的边界会产生级次错误，滤除错误点的效率与格雷码图像数量相关耗时长。Zhang[15]提出了基于图像形态学运算的周期错位校正方法，但是全局形态学操作会对正确展开的相位质量造成影响，且耗时较长。
针对目前室内环境重建，结构光测量系统无法处于暗室条件下的问题，以及相移轮廓术与格雷码相结合的方法中存在展开相位错误的现象，文中提出移动机器人搭载机械臂与结构光相机完成室内大场景点云重建，运用离焦投影方法提高投影速度及投影相移图像的质量，将高效高质量自适应插值滤波算法运用到高速抗全局光照投影策略中，有针对性地消除跳变点，同时避免中值滤波方法中相位平滑过度并出现重复相位值的现象，提高物体真实形貌特征的还原质量。
-
相移轮廓术所投影的条纹强度[16]可以表示为：
$$ {I_n}(x,y) = A(x,y){\text{ + }}B(x,y)\cos [\varphi (x,y) + 2{\text{π }}(n - 1)/N] $$ (1) 式中：x、y分别为图像像素的横、纵坐标；A(x,y)为背景光照强度；B(x,y)为调制光照强度；φ(x,y)为被测物体高度调制相位；n为当前相位移动步数；N为总相移步数。
由公式(1)可知，其中A(x,y)、B(x,y)、φ(x,y)均为未知量，最少需要3个方程才能求解出调制相位。因此，为方便求解，相机拍摄被调制的光栅条纹后，采用最小二乘算法将被测物体高度调制相位φ(x,y)表示为：
$$ \varphi (x,y) = \arctan \left( {\frac{{ - \displaystyle\sum\limits_{n = 1}^N {{I_n}(x,y)\sin (2{\text{π }}(n - 1)/N)} }}{{\displaystyle\sum\limits_{n = 1}^N {{I_n}(x,y)\cos (2{\text{π }}(n - 1)/{N_n})} }}} \right) $$ (2) 利用希尔伯特变换可以将投影的相移条纹图像减少至两张，较传统PSP方法至少能够节省1/3投影相移图像的时间。令P1、P2分别为两幅移动距离为π的正弦条纹图像，由公式(1)可得投影图像的余弦分量为：
$$ {P_C}(x,y) = {P_2}(x,y) - {P_1}(x,y) = 2B(x,y)\cos [\varphi (x,y)] $$ (3) 对公式(3)进行希尔伯特变换[17]，可得投影图像的正弦分量为：
$$ {P_S}(x,y) = \mathcal{H}[{P_C}(x,y)] = 2B(x,y)\sin [\varphi (x,y)] $$ (4) 式中：
$ \mathcal{H} $ 表示希尔伯特变换符。最后，将公式(3)、(4)代入公式(2)可得包裹相位为：
$$ \varphi (x,y) = \arctan \frac{{{P_S}(x,y)}}{{{P_C}(x,y)}} $$ (5) -
借鉴参考文献[18]中的误差扩散二值抖动算法，其原理框图如图1所示。其中，g(x,y)为像素初始灰度值，b(x,y)为处理后二值像素灰度值，e(x,y)为量化误差，u(x,y)表示像素初始灰度值与累计量化误差的和。误差扩散算法的数学模型可表示为：
图 1 二值抖动算法原理框图
Figure 1. Schematic diagram of binary dithering algorithm
$$ u(x,y) = g(x,y) + \sum\limits_{i,j \in S} {\omega (i,j)e(x - j,y - j)} $$ (6) 考虑到传统的误差扩散方式产生累计误差，影响二值抖动图像质量。文中采用蛇形扫描的形式，即：扫描奇数行时由左向右处理，扫描偶数行时由右向左处理，避免误差向下向右的累计传播，消除二值抖动图像中的不对称现象。奇、偶数行的误差扩散函分别为：
$$ \begin{split}& \omega (i,j) = \frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} {\text{ - }}& * &{\text{7}} \\ 3&5&1 \end{array}} \right] \\ & \tilde \omega (i,j) = \frac{1}{{16}}\left[ {\begin{array}{*{20}{c}} {\text{7}}& * &{\text{ - }} \\ {\text{1}}&5&{\text{3}} \end{array}} \right] \end{split} $$ (7) 式中：“-”表示已处理像素；“*”表示正处理像素，其余数字表示相邻位置所占误差的权重。
对生成的标准正弦条纹图像进行误差扩散算法处理，结果如图2所示，其中图2(a)采用Floyd-Steinberg算法，图2(b)采用改进Floyd-Steinberg算法。对两图进行相同高斯滤波处理，然后，计算同行像素的灰度值均方差，图2(a)均方差为0.0125 5，图2(b)均方差为0.00965。由此可知基于改进Floyd-Steinberg算法的二值抖动图像具有更好的对称性和离焦质量。
图 2 误差扩散条纹示意图；(a) 原始算法条纹图；(b) 改进算法条纹图
Figure 2. Diagram of error diffusion fringe; (a) Original algorithm fringe; (b) Improved algorithm fringe
-
PSP与多种格雷码结合方法原理如图3所示。在PSP与传统格雷码结合方法中（图3(a)），格雷码编码图像中的任一点在一组格雷码图中最多只会出现一次处于黑白交界处的情况，但是格雷码码字边缘（图3(a)红色实线矩形框内）与包裹相位跳变点（图3(a)绿色实线矩形框内）无法完全对齐，导致展开相位错误。为克服该问题，采用PSP与互补格雷码结合方法（图3(b)）。使用8个条纹周期展示解码过程，GC1-GC3运用传统解码方法可以得到格雷码级次k1，GC1-GC4运用传统解码方法得到格雷码级次k2。在求取展开相位时，包裹相位分别利用k1和k2的中间部分码值进行展开，如公式(8)所示，避免传统格雷码展开时引入相位跳变误差的现象。
图 3 算法原理图。(a) 传统格雷码方法；(b) 互补格雷码方法；(c) 高频互补格雷码方法
Figure 3. Schematic diagram of algorithm. (a) Traditional Gray-Code method; (b) Complementary Gray-Code method; (c) High frequency complementary Gray-Code method
$$ \varPhi (x,y) = \left\{ {\begin{array}{*{20}{c}} {\varphi (x,y) + 2{\text{π }}{k_2}(x,y),{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \varphi (x,y) \leqslant - {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}{\kern 1pt} } \\ {\varphi (x,y) + 2{\text{π }}{k_1}(x,y),{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} - {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}{\kern 1pt} < \varphi (x,y) \leqslant {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}} \\ {\varphi (x,y) + 2{\text{π }}{k_2}(x,y) - 2{\text{π }},{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \varphi (x,y) \geqslant {\raise0.7ex\hbox{${\text{π }}$} \mathord{\left/ {\vphantom {{\text{π }} 2}}\right.} \lower0.7ex\hbox{$2$}}} \end{array}} \right. $$ (8) 之后采取投影条纹预处理的方式避免低频格雷码造成的物体表面光强相互反射现象。首先，将传统格雷码低频部分GC1-GC3分别与高频部分GC4进行异或运算，生成如图3(c)中HF1-HF3所示的高频格雷码。投影高频格雷码后，用采集到的HF1-HF3分别与GC4进行异或运算，可以恢复传统格雷码GC1-GC3，再次采用互补格雷码的解码方式完成格雷码级次的计算。由于格雷码采用的是二进制编码方式，所以运用异或运算时，满足：b=a⊕b⊕a。图4所示为第一张高频格雷码X1与最后一张格雷码G6，先各自进行二值化得出B1、B6，再将两张二值化后的图像异或运算得出的第一张常规格雷码图像G1。
图 4 高频格雷码恢复常规格雷码过程
Figure 4. High-frequency Gray-Code to restore the normal Gray-Code process
但是由于环境光干扰以及设备震动等原因，该方法对进行异或运算的两张图像的边缘不能保证完全匹配，导致展开相位存在跳变如图4G1所示，因此文中提出了自适应插值滤波算法消除展开相位跳变误差。
-
针对由于包裹相位周期与格雷码级次周期未保持严格一致，导致展开相位错误的问题，文中采用自适应插值滤波算法，对展开相位自动判断应使用的滤波核大小，并进行滤波处理，以消除展开相位误差，避免重复相位的出现。在距离相机70 cm处放置一块白色平板作为被测对象，投影仪向白板投影两幅离焦正弦条纹图像和6幅高频格雷码图像，选择实际拍摄图像600×800 pixel范围的离焦正弦图像和高频格雷码图像，如图5(a)和(b)所示。计算得出展开相位，结果如图5(c)所示。然后，采用9×9滤波核的中值滤波对图5(c)进行处理，得到平滑展开相位结果如图5(d)所示。
图 5 解包裹误差实验。(a) 离焦正弦图像；(b) 离焦高频格雷码图像；(c) 未滤波展开相位图像；(d) 滤波后展开相位图像；(e) 展开相位跳变点图像
Figure 5. Unwrapping error experiment. (a) Defocus sine image; (b) Defocus HF Gray-Code image; (c) Unfiltered expanded phase image; (d) Expanded phase image after filtering; (e) Expanded phase jump point image
对比图5(c)和图5(d)可知：图5(c)由于展开过程中存在解包裹误差，杂点明显且数量较多；而图5(d)，因经过大核中值滤波处理，展开相位杂点被全部剔除，明显平滑。将图5(c)与图5(d)相减，得到该离焦正弦图像与高频格雷码图像解相存在的相位跳变点，如图5(e)所示。
由图5可知，对于任意一个错误相位，其展开偏差都是2π的倍数，这些错误相位主要分为两种：(1) 一个独立的像素展开错误。解包裹过程中，格雷码级次变化处距离其最近的包裹相位边界跳变一个像素时，就会产生一个独立的错误像素。如图6(a)所示，在5个相邻的像素中只有Pixel3是错误的，其他像素均正确展开。(2) 两个相邻的像素展开错误。格雷码级次变化处距离其最近的包裹相位边界连续跳变两个像素时，就会产生两个相邻的错误像素。如图6(b)所示，在6个相邻的像素中Pixel3和Pixel4是错误的，其他4个像素均正确展开。
图 6 错误相位示意图。(a) 独立像素错误；(b) 相邻像素错误
Figure 6. Phase error schematic diagram. (a) Separate pixel error; (b) Ajacent pixels error
除此之外，又分别进行多组不同投影图像数量以及工作距离的实验，结果如表1所示。
表 1 相位解包裹实验对比
Table 1. Experimental comparison of phase unwrapping
Number of test Number of defocus sine images Number of HF gray code images Number of individual pixel errors Number of adjacent error pixels 1 2 6 3824 83 2 2 7 7653 178 3 2 8 16483 347 由表1可知：独立的像素错误数均远大于相邻的错误像素数，并且相位跳变都可以被视为脉冲噪声。这主要是由于物体表面复杂，在实际测量过程中会产生较多的解相错误像素点，导致滤波器的尺寸难以确定，即小尺寸滤波器无法有效去除脉冲噪声，大尺寸滤波器又会导致有效信息丢失，因此如何确定滤波器的大小尤为重要。其次使用中值滤波仅仅是用正确展开像素点的相位代替错误展开像素点的相位，但是在一个完整且正确的展开相位中，不应该存在两个相位值相同的相邻像素点，因此使用中值滤波只是较理想的将错误相位消除了，而并没有将错误相位校正到正确相位。
-
文中所提出的自适应插值滤波算法主要分为4个关键步骤：错误像素检测、错误像素类型确定、选定滤波核的大小以及插值运算。该算法步骤如图7所示。
图 7 自适应插值滤波器流程图
Figure 7. Flowchart of the adaptive interpolation filter
(1) 错误像素检测。在初始展开相位中以当前像素P为中心，选择一个5×5的局部范围作为滑动检测窗口。在展开相位中错误相位的误差是2π的倍数，因此在滑动窗口中两个正确展开的相位值十分相近，而正确展开的相位值与错误展开的相位值有很大的差别。在此基础上，可以将窗口内除P以外的任何像素Q标记为相关像素或不相关像素。如果|Φ(P)−Φ(Q)|<T，则Q为P的相关像素；否则，Q为P的不相关像素。在该窗口内如果相关像素的个数大于不相关像素的个数，则像素点P为正确展开像素；否则，P为错误展开像素。根据Nyquist采样频率，设阈值T=π。
(2) 错误像素类型确定。在标记错误展开像素时记录像素在图中的坐标位置，若一个错误像素点周围没有其他像素，则该像素为独立展开错误像素。若两个错误像素相邻则判断为相邻错误展开像素，若多个像素点连续错误，则判断为多像素连续错误。
(3) 选定滤波核的大小。为了避免有效信息的丢失，优先考虑小尺寸的滤波核，因此设定滤波器的尺寸依次为：1×3，1×5，…，1×(2n+1)，其中，n=1, 2 …9。
(4) 插值运算。由于相位值是成单调趋势的，因此选择多项式插值。当解相错误点是独立一个像素时，采用1×3的滤波核排除错误点，其余两个点则插值计算进行相位值校正，结果如图8(a)中A点所示。当解相错误点是两个相邻的像素时，采用1×5滤波核排除两个相邻错误点，其余3个点进行插值计算校正相位值，结果如图8(b)中A1、A2点所示。图8中B点为采用中值滤波器的后校正的结果。
图 8 相位校正示意图。(a) 独立像素校正；(b) 相邻像素校正
Figure 8. Schematic diagram of phase correction. (a) Separate pixel correction; (b) Ajacent pixels correction
由图8可知：文中所提出的自适应插值滤波算法能够判别错误相位位置，并根据错误点的类型判断应当使用的滤波器大小，同时能够有效避免重复相位的产生、消除误差并将解相错误的像素点校正到真实相位值。
-
搭建一组三维测量系统验证文中投影方案以及自适应插值滤波算法的有效性。实验采用的测量系统包括1台工业投影仪(TI-DLP6500)、1台灰度工业相机(A5210 M/CU150)以及1台彩色工业相机(A5201 CG50)。投影仪分辨率为1920×1080，相机分辨率为1920×1200。
-
选择室内常用装饰墙纸类物体作为实验被测物，结果如图9所示。其中，图9(a)左侧为投影第一张标准格雷码到被测物表面的图像，右侧为该图像二值化错误的效果图。图9 (b)左侧为投影第一张高频格雷码到被测物表面的图像，右侧为该图像恢复第一张标准格雷码二值化后的效果图。图9 (c)为传统格雷码方法的点云图、(d)为未使用自适应插值滤波的高频格雷码点云图、(e)为使用自适应插值滤波的高频格雷码点云图。
图 9 全局光照对比试验。(a) 格雷码图和二值化后图像；(b)高频格雷码图像和处理后二值图像；(c) 离焦正弦条纹与格雷码结合方法点云；(d) 离焦正弦条纹与高频格雷码结合方法点云；(e) 离焦正弦条纹与高频格雷码运用自适应插值滤波处理后的点云
Figure 9. Contrast test of global illumination resistance. (a) GC image and the binarization image; (b) HF image and the processed binarization image; (c) The point cloud using the combination method of defocus sin fringe and GC; (d) The point cloud using the combination method of defocus sin fringe and HF; (e) The point cloud using the combination method of defocus sin fringe and HF after using adaptive interpolation filtering
由图9可知，墙纸类被测物因其自身反光性较强的特性，易引起格雷码二值化错误，从而导致点云重建错误。投影高频格雷码图像并将高频格雷码恢复到常规格雷码后，虽然可以提高投影的抗全局光照干扰能力，改善点云重建质量，但是仍旧存在明显的周期跳变点，导致点云重建精度极差。使用高频格雷码但是未使用自适应插值滤波的点云会有周期性杂点，将杂点滤除后会造成点云空洞。而使用自适应插值滤波后的点云则能够完整还原墙纸原貌。这表明，文中提出的抗全局光照投影
方法在使用自适应插值滤波的情况下能够高速高质量的还原物体真实的形貌特征。
将文中方法运用到真实室内场景重建中，被测物体为桌子、机箱、柜子、应急出口标志以及绿植，运用200万分辨率的彩色工业相机和200万分辨率的灰度相机进行重建，整体点云以及局部放大如图10所示。
图 10 室内场景重建。(a) 室内环境点云；(b) 局部放大图
Figure 10. Interior scene reconstruction. (a) Indoor environment point clouds; (b) Partial enlarged drawing
由图10结果可知，在工作距离2 m左右时，重建桌子的精度可以到达2 mm以内，满足室内重建要求。
自适应插值滤波算法能够仅对相位跳变点进行处理，为了验证文中滤波算法的效率，拍摄3组不同场景的离焦正弦条纹图像与高频格雷码图像进行解相位，对存在跳变点的展开相位分别进行全局中值滤波与自适应插值滤波。在同等设备条件下，将文中滤波算法的耗时与全局中值滤波相比较，结果如表2所示。
表 2 中值滤波方法与文中方法效率对比
Table 2. Comparison of efficiency between median filtering method and proposed method
Number of test Time-consuming of median filtering method/ms Time-consuming of method of this article/ms 1 62.435 4.252 2 64.248 4.594 3 63.921 4.428 由表2可知，文中算法校正展开相位跳变点耗时约为4 ms，而中值滤波方法耗时约为63 ms，3次测试结果中文中方法耗时均远远低于中值滤波方法。可得知自适应插值滤波方法对校正展开相位的效率提高了90%以上。中值滤波方法均采用由周围正确展开的相位值代替相位跳变点的相位值方式，存在重复相位导致点云没有恢复真实形貌，而文中方法能够运用插值运算计算出跳变点的真实相位值，有效避免了重复相位的出现。这对于需要滤除相位跳变点的展开相位来说在速度和精度上都有很大的提升。
-
文中针对相移轮廓术与传统格雷码相结合的方法中的投影速度慢、室内复杂场景受全局光照影响导致重建物体形貌失败的现象，提出了一种基于自适应插值滤波的抗全局光照重建方法，高质量高效率的解决了因周期错位现象而导致的解相错误的问题。通过真实室内复杂场景重建实验验证了文中算法在室内复杂场景存在干扰光的情况下准确获得高质量点云的可行性和有效性，与传统的全幅面大核中值滤波滤除相位跳变相比，文中自适应插值滤波算法能够有效避免重复相位，恢复真实相位值，且有针对性地滤除相位跳变点使滤波效率提高了90%以上。
High speed reconstruction system for indoor environments based on an adaptive interpolation filter
-
摘要: 针对室内环境重建过程中的光源干扰，以及相移条纹投影过程中因产生Gamma变换造成相位展开时包裹相位周期与格雷码级次周期无法保持严格一致，从而出现相位值跳变的问题，提出一种基于自适应插值滤波的抗全局光照重建方法，并利用高速投影方式将光源干扰的影响程度降低。首先向被测环境表面投影二值离焦相移条纹与高频格雷码条纹，利用希尔伯特变换以及高频解码方法求解展开相位；其次运用自适应插值滤波算法对存在跳变的展开相位进行修复；最后还原被测物体的形貌特征。通过分析跳变点类型针对性地对其进行插值滤波，消除相位跳变、避免重复相位的产生。与传统全局中值滤波方法相比较，笔者的方法可以在精度更高的条件下同时将效率提高90%，达到了高速高质量室内环境重建的目的。Abstract: In view of light interference during indoor environment reconstruction, and phase value jump problem that occurred from the disaccord between the wrapped phase cycle and Gray-Code class cycle in phase unwrapping because of Gamma transformation in process of fringe projection and phase shift, an anti-global illumination reconstruction method based on adaptive interpolation filtering was proposed. The high speed projection method was used to reduce the influence of light source interference. Firstly, the binary defocused phase shift fringes and high frequency gray code fringes were projected onto the surface of the environment to be measured. Hilbert transform and high frequency decoding were used to solve the unwrapping phase. Secondly, the adaptive interpolation filtering algorithm was adopted to repair the unwrapping phase containing phase jumps. Finally, the morphological features of the environment to be measured were restored. The types of jump points were analyzed, and the interpolation filtering was selectively carried out to eliminate the phases jump and avoid the generation of repeated phase. Compared with other global filtering methods, our method can improve the efficiency by 90% under the condition of higher accuracy, and achieve the goal of high-speed and high-quality indoor environment reconstruction.
-
Key words:
- adaptive interpolation filtering /
- indoor environment /
- phase jump /
- defocus projection /
- high speed
-
图 2 误差扩散条纹示意图；(a) 原始算法条纹图；(b) 改进算法条纹图
Figure 2. Diagram of error diffusion fringe; (a) Original algorithm fringe; (b) Improved algorithm fringe
图 3 算法原理图。(a) 传统格雷码方法；(b) 互补格雷码方法；(c) 高频互补格雷码方法
Figure 3. Schematic diagram of algorithm. (a) Traditional Gray-Code method; (b) Complementary Gray-Code method; (c) High frequency complementary Gray-Code method
图 4 高频格雷码恢复常规格雷码过程
Figure 4. High-frequency Gray-Code to restore the normal Gray-Code process
图 5 解包裹误差实验。(a) 离焦正弦图像；(b) 离焦高频格雷码图像；(c) 未滤波展开相位图像；(d) 滤波后展开相位图像；(e) 展开相位跳变点图像
Figure 5. Unwrapping error experiment. (a) Defocus sine image; (b) Defocus HF Gray-Code image; (c) Unfiltered expanded phase image; (d) Expanded phase image after filtering; (e) Expanded phase jump point image
图 6 错误相位示意图。(a) 独立像素错误；(b) 相邻像素错误
Figure 6. Phase error schematic diagram. (a) Separate pixel error; (b) Ajacent pixels error
图 8 相位校正示意图。(a) 独立像素校正；(b) 相邻像素校正
Figure 8. Schematic diagram of phase correction. (a) Separate pixel correction; (b) Ajacent pixels correction
图 9 全局光照对比试验。(a) 格雷码图和二值化后图像；(b)高频格雷码图像和处理后二值图像；(c) 离焦正弦条纹与格雷码结合方法点云；(d) 离焦正弦条纹与高频格雷码结合方法点云；(e) 离焦正弦条纹与高频格雷码运用自适应插值滤波处理后的点云
Figure 9. Contrast test of global illumination resistance. (a) GC image and the binarization image; (b) HF image and the processed binarization image; (c) The point cloud using the combination method of defocus sin fringe and GC; (d) The point cloud using the combination method of defocus sin fringe and HF; (e) The point cloud using the combination method of defocus sin fringe and HF after using adaptive interpolation filtering
图 10 室内场景重建。(a) 室内环境点云；(b) 局部放大图
Figure 10. Interior scene reconstruction. (a) Indoor environment point clouds; (b) Partial enlarged drawing
表 1 相位解包裹实验对比
Table 1. Experimental comparison of phase unwrapping
Number of test Number of defocus sine images Number of HF gray code images Number of individual pixel errors Number of adjacent error pixels 1 2 6 3824 83 2 2 7 7653 178 3 2 8 16483 347 
下载: 导出CSV
表 2 中值滤波方法与文中方法效率对比
Table 2. Comparison of efficiency between median filtering method and proposed method
Number of test Time-consuming of median filtering method/ms Time-consuming of method of this article/ms 1 62.435 4.252 2 64.248 4.594 3 63.921 4.428
下载: 导出CSV
-
[1] Thomas D, Sugimoto A. A flexible scene representation for 3D reconstruction using an RGB-D camera[C]//2013 IEEE International Conference on Computer Vision, 2013: 2800-2807. [2] Ma G Q, Liu L, Yu Z L, et al. Application and development of three-dimensional profile measurement for large and complex surface [J]. Chinese Optics, 2019, 12(2): 214-228. (in Chinese) doi: 10.3788/co.20191202.0214 [3] Du R J, Ge B Z, Ch L. Texture mapping of multi-view high-resolution images and binocular 3D point clouds [J]. Chinese Optics, 2020, 13(5): 1055-1064. (in Chinese) doi: 10.37188/CO.2020-0034 [4] Ning Xiaojuan, Lu Zhiwei, Ma Jie. Coarse-to-fine indoor scene layout division and structure reconstruction [J]. Laser & Optoelectronics Progress, 2021, 58(22): 2210018. (in Chinese) [5] Mei F, Liu J, Li C B, et al. Interior scene reconstruction based on RGB-D depth camera [J]. Journal of Image and Graphics, 2015, 20(10): 1366-1373. (in Chinese) [6] Gorthi S S, Rastogi P, Song M. Fringe projection techniques: Whither we are? [J]. Optics & Lasers in Engineering, 2010, 48(2): 130-140. [7] Chen Y S, Xia M, Lin L. Experimental study of grating phase shift method for 3D anthropometry [J]. Journal of Textile Research, 2013, 34(6): 83-87. (in Chinese) [8] Zhang Q C, Wu Z J. Three-dimensional imaging technique based on Gray-coded structured illumination [J]. Infrared and Laser Engineering, 2020, 49(3): 0303004. (in Chinese) doi: 10.3788/IRLA202049.0303004 [9] Zhao Y, Fu J A, Yu H T, et al. Defocus projection three-dimensional measurement based on deep learning accurate phase acquisition [J]. Infrared and Laser Engineering, 2020, 49(7): 20200012. (in Chinese) doi: 10.3788/IRLA20200012 [10] Cao Z R, Dong J H. Application of structured light coding measurement technology in Mars high-resolution camera [J]. Optics and Precision Engineering, 2021, 29(6): 1420-1429. (in Chinese) [11] Nayar S K, Krishnan G, Grossberg M D, et al. Fast separation of direct and global components of a scene using high frequency illumination [J]. ACM Trans Graph, 2006, 25(3): 935-944. [12] Chen T, Seidel H, Lensch P A. Modulated phase-shifting for 3 d scanning[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition, 2008: 1–8. [13] Holroyd M, Lawrence J, Zickler T. A coaxial optical scanner for synchronous acquisition of 3D geometry and surface reflectance [J]. Acm Transactions on Graphics, 2011, 29(4): 1-12. [14] Deng J, Li J, Feng H, et al. Efficient intensity-based fringe projection profilometry method resistant to global illumination [J]. Optics Express, 2020, 28(24): 36346-36360. doi: 10.1364/OE.408835 [15] Zhang Q H, Zhang Q J, Jia J H, et al. Research on periodic dislocation Correction Method based on image morphology operation [J]. Transducer and Microsystem Technologies, 2021, 40(7): 52-55+59. (in Chinese) [16] Lei J F, Chen Z Q, Zhang M, et al. Improvement of phase unwrapping method for dual-frequency projection fringe [J]. Optics and Precision Engineering, 2021, 29(6): 1337-1345. [17] Wang Y, Lu L, J Wu, et al. Hilbert transform based crosstalk compensation for color fringe projection profilometry [J]. Optics Letters, 2020, 45(8): 2199-2202. doi: 10.1364/OL.392061 [18] Zhang S. Flexible 3 D shape measurement using projector defocusing: Extended measurement range [J]. Optics Letters, 2010, 35(7): 934-936. doi: 10.1364/OL.35.000934 -
点击查看大图
计量
- 文章访问数: 141
- HTML全文浏览量: 24
- PDF下载量: 23
- 被引次数: 0
