Depth estimation in computational ghost imaging system using auto-focusing method with adaptive focus window

鬼成像(Ghost Imaging，GI)是一种全新的成像方法。经典关联成像系统利用信号光路和参考光路光强涨落的关联性重构出目标形态^[1-5]。近年来，GI获得长足的发展，研究人员主要从以下两方面开展研究：（1）从提高成像效率的角度出发，提出了差分鬼成像^[6]，归一化鬼成像^[7]，高阶鬼成像^[8]等优化方案；（2）在应用领域，提出了抗大气湍流鬼成像，基于赝热光源的鬼成像激光雷达等方面的研究^[9-11]。

另一方面，为了简化鬼成像系统的双臂测量机制，科研人员提出了计算鬼成像(Computational Ghost Imaging，CGI)^[12-13]，即在纯相位型空间光调制器（SLM）上预先加载一系列随机相位模板，通过计算在空间中某个深度的虚衍射光场(Virtual Diffracted Patterns，VDP)取代鬼成像系统中的参考光路，降低了成像系统的复杂度。在该系统中，除了使用纯相位型调制以外，还可以使用数字微镜器件（DMD）实现强度调制，结合光度立体视觉原理^[14-15]或激光雷达原理^[16]，实现目标的三维信息测量。

事实上，计算鬼成像本身也具有估计目标深度的能力。当VDP的传播距离与目标的深度相匹配，才能重构出清晰的图像，反之则会得到模糊的离焦图像。重构图像的离焦程度反映了估计距离和物体实际深度之间的偏差。因此，一些学者利用图像评价函数(Imaging Quality Evaluate Function，IQEF)对重构图像的离焦程度进行评价^[17-20]。

R.He提出了基于二分法的深菲涅尔区(Deep-Fresnel，DF)^[21]计算鬼成像自动对焦方法^[22]，选用偏差相关系数（Deviation-based Correlation，DBC)作为图像质量评价函数评估图像的离焦程度，不依赖目标先验知识，依据DBC函数的全局最大值搜索目标的深度位置。该算法稳定工作的条件是每一次迭代的深度位置都位于DBC曲线全局最大值两侧的单调区间内，否则最终迭代结果可能为局部极值。但该算法计算DBC时使用固定对焦窗口，其中的背景噪声会影响DBC的准确性^[23]，使得算法无法稳定工作。

针对上述问题，提出了基于自适应对焦窗口的计算鬼成像目标深度估计方法，通过实验验证了该方法在深菲涅尔区中快速对焦的准确性和稳定性。

实验装置如图1所示。632.8 nm激光器发出的准直光束照射在可寻址的空间光调制器(Spatial Light Modulator，SLM)上，SLM具有1 080×1 920分辨率，每个像素大小为8 μm×8 μm。每次测量时，在SLM上播放$125 \times 125$随机相位图案，其中每个像素块由SLM中$8 \times 8$个像素组成。图案被附加上一个固定空间频率的光栅相位。在SLM后面耦合一个包含L₁和L₂的4f系统。在4f系统的傅里叶平面上，使用孔径光阑选择+1衍射级光斑。L₂的后焦平面被定义为散斑传播的起始面，即$z = 0$($z$表示散斑传播的距离)。单像素探测器用于收集来自物体的透射光。

Figure 1.  Experimental setup

假设目标放置在$z = L$处，由于SLM上的相位分布是已知的，因此，可以通过菲涅耳-惠更斯传播公式^[24]计算$z = L$处的光场${E_i}(x,z = L)$($i$表示第$i$帧相位图案)作为VDP，VDP的强度：

为了重构在$z = L$处透射系数为$T(x)$的目标，将$z = L$处的相应VDP的强度值与单像素探测器测量的强度值${S_i}$做关联运算,得到鬼成像的图像：

式中：$\left\langle { \cdot \cdot \cdot } \right\rangle $代表$P$次测量的系综平均。

DBC的表达式如公式(3)所示：

式中：$I$是重构的图像；$(x,y)$为$I$中的位置；$\overline I $是$I$的平均值。

DBC离散一阶导数$ \dfrac{{dDBC}}{{dz}} $的符号曲线可以由公式(4)计算。

式中：$ {V_{{z^{(k)}}}} $为第$k$个深度${z^{(k)}}$处重构图像的DBC值。

文献[22]中定义DBC曲线全局最大值点两侧较长的一段单调区间长度为工作距离${w_d}$。假设轴向搜索区间的长度为$L$，理论上，在深菲涅尔区中正/负等距离焦时重构图像的模糊程度相似^[25]，因此，无论${w_d}$对应区域在峰值的哪一侧，只要${w_d} \geqslant {L / 2}$，处于全局最大值另一侧的区间也是单调变化的，这样可以保证算法的稳定工作。

图2(a)、(b)分别为放置在$z = 17.8$ cm处的双缝在采样数$M= 5\;000$和$M= 2\;000$时的DBC曲线（图2中蓝色曲线）以及DBC离散一阶导数（图2中红色曲线）。可以看出，当采样数足够多时，DBC曲线较平滑，在一定范围内可以稳定单调。

Figure 2.  DBC curves and the first derivative of DBC curves with different sampling numbers when the object is a double-slit. (a) 5000 samplings; (b) 2000 samplings

但是当采样数较低时，背景噪声严重影响DBC曲线，在目标右侧DBC一阶导数曲线明显震荡，不满足算法的工作条件，且离焦越严重对DBC的影响越大。

可以看到，DBC曲线的单调性严重依赖图像质量，若要提高算法的性能，必须增加测量次数，降低算法的时效性。

针对上述情况，文中提出了自适应对焦窗口目标深度估计算法。

（1）首先根据图像质量评价函数的整体特征选定合理的初始搜索区间，这样可以避免离焦严重或采样数不足对DBC性能的影响。

（2）在选定的搜索区间内，对重构图像划分自适应对焦窗口，计算相邻图像的DBC值，判断迭代方向，最后收敛到目标所在深度（误差为$ \pm \mathop \delta \nolimits_Z $）。其中对焦窗口的划分是关键，首先选定感兴趣区域（Region of Interest，ROI），在尽量抑制背景噪声的同时使窗口包含完整目标。最后统一窗口，保证在统一标准中计算相邻图像DBC值。

算法的具体工作过程将在下面进行详细介绍。

由于背景噪声的影响，DBC函数在成像区间内会发生波动，但总体特征是，对焦的位置DBC值大，离焦的位置DBC值小，如图2（a）所示。因此，计算$z = L{\rm{/4}}$，$z = {L / {\rm{2}}}$，${\rm{z = 3}}L{\rm{/4}}$处的虚拟衍射光场图样，依据初始对焦窗口(200像素×200像素)重构图像，计算重构图像的DBC值，选择最大值点两侧${L / {\rm{4}}}$区间作为搜索区间，这样搜索区间就缩短为整个成像区间的一半，避免了离焦严重区域。

在迭代过程中，为了抑制重构图像中背景噪声对DBC的影响，笔者首先使用区域生长法^[26-28]划分对焦窗口。该方法的主要思想为：在图像中选择一个确定要分割的种子区域，对该种子区域依据判定条件进行生长，直到所有符合条件的像素都被包括入所选择种子的生长区域中。根据参考文献[22]对目标深度估计方法的描述，基于二分法的深度搜索算法需要在每次迭代中重构虚拟衍射光场传播至$z = {z_j}$和$z = {z_j} + \delta z$时的两幅图像($ {I_{{z_j}}} $和$ {I_{{z_j} + {\delta _z}}} $)，${z_j}$表示第$j$次迭代的位置。因此自适应对焦窗口选择算法将分别在$ {I_{{z_j}}} $和$ {I_{{z_j} + {\delta _z}}} $中选择对焦窗口，如图3所示。

Figure 3.  Process of Seeded Region Growing

窗口划分方法具体步骤如下。

步骤(1)：在搜索区间内计算传播至$z = {z_j}$和$z = {z_{j+\delta z}}$的虚拟衍射光场图样，依据初始对焦窗口(200像素×200像素)重构图像(图3(a))。

步骤(2)：将由步骤(1)得到的重构图像划分若干大小为$m \times m$的像素块(super-pixel)作为${S_{super}}$。选取平均灰度最大的${S_{super}}$作为初始种子(seed)(图3(b))，其坐标为$(x,y)$。

步骤(3)：基于初始种子，在图像的4个方向(向上：$(x,y + n)$，向下：$(x,y - n)$，左边：$(x + n,y)$，右边：$(x - n,y)$，$n$表示每个方向中第$n$次生长)依次搜索${S_{super}}$，直到当前搜索方向满足停止生长的条件(图3(c))。停止生长的条件被定义为当前搜索到的像素块平均灰度值${T_{Avg}}$小于设定的阈值$T$。

步骤(4)：根据合格的${S_{super}}$构成的连通区域，构建新的矩形窗口。

若目标区域的灰度值不连续，区域生长法会造成过分割。图4（a）为目标‘5’的重构图像，图4（b）为目标‘5’的过分割图像。如图4（a）所示，笔者选定原始重构图像右上角的子图像${W_b}$的平均灰度值${I_b}$作为重构图像的先验背景平均灰度值（子图像的大小由具体应用决定）。为保证目标区域被对焦窗口准确包含且不包括多余的背景，在得到上述的对焦窗口后，以单个像素为步长，令窗口向周围扩展，如图4(c)所示。计算下一个窗口$W_j^{i + 1}$与上一个窗口$W_j^i$的增量窗口$\Delta W_j^i$，如公式（5）表示：

Figure 4.  Over-segmented image of object ‘5’ and diagram of windows expansion. (a) object image '5', the top right corner is the selected a priori background window; (b) Over-segmented image; (c) Diagram of windows expansion, where the shaded area is an incremental window (d）-（f) unifying the adaptive windows ; (g) table of parameters

$\Delta W_j^i$的平均灰度值定义为${I_{\Delta W_j^i}}$，i为向外扩展的步数。

当$ {I_{\Delta W_j^i}} \le {I_b} $时，目标区域被窗口全部包含，此时窗口停止扩展，得到对焦窗口如图4（d）所示。窗口扩展方式可以保证目标图像始终位于对焦窗口之中，且不包含多余背景，这确保了对焦窗口的准确划分。

基于以上步骤得到的重构图像$ {I_{{z_j}}} $和$ {I_{{z_j} + {\delta z}}} $的对焦窗口被标记为${W_j}$和${W_{j + \delta }}$(如图4(e1)和图4(e2)所示)。为了在一个统一的标准中比较对焦窗口${W_j}$和${W_{j + \delta }}$的DBC值，需要构建一个统一的对焦窗口${W_{j,j + \delta }}$(图4(f1)和图4(f2))。依据${W_j}$和${W_{j + \delta }}$的角点坐标值之间的关系，对焦窗口${W_{j,j + \delta }}$可以由其左上角点与右下角点的在初始对焦窗口中的坐标表示，构造${W_{j,j + \delta }}$的方法如图4(g)所示。图中$\min $与$\max $分别表示两者中取较小者和最大者。利用DBC进行评价时仅需计算重构图像位于${W_{j,j + \delta }}$中的DBC值即可。

在实验部分，首先验证了自适应对焦窗口计算鬼成像目标深度估计算法的可行性，然后将该方法与传统方法相比^[22]，证明了该方法的优越性。

利用如图1（a）所示的成像系统进行了实验。定义$z{\rm{ = 5}}$ cm至$z{\rm{ = 21}}$ cm这一段标定的深菲涅尔区为搜索区间。依据$\delta z{\rm{ = 2}}{\rm{.5}}$ mm将搜索区间划分为N个切片，每个切片位置被标记为$\left\{ {{z^{(k)}}} \right\}$。

将USAF1 951分辨靶标中组别为‘-1’的数字目标‘3’与‘4’作为目标。将目标‘3’放置在$z = {\rm{7}}$ cm处（成像区间的左端），目标‘4’放置在$z{\rm{ = 20}}$ cm处（成像区间的右端），计算给定深度位置$\left\{ {{z^{(k)}}} \right\}$的虚拟衍射光场图样，并将其与桶探测器的测量值关联，重构目标图像，采样数$M = 5\;000$。在自适应对焦窗口选择算法中，像素块的大小被设置为${\rm{5}} \times {\rm{5}}$，阈值$T$被设置为整个图像的平均灰度值。

首先计算$z = L{\rm{/4}}$，$z = {L / {\rm{2}}}$，$z = 3L/4$的DBC值，然后比较其大小。由表1可知，对于目标‘3’和‘4’分别选取成像区间的$\left( {{\rm{0 - }}{L / {\rm{2}}}} \right)$和$\left( {{L / {\rm{2}}}{\rm{ - }}L} \right)$区间作为算法的搜索区间。

图5为自适应对焦窗口深度估计算法分别对目标‘3’和‘4’深度搜索过程。图5(a)与(c)中左侧纵坐标表示迭代的次数，横坐标表示每次迭代时VDP传播的距离。（图中只展示了选定搜索区间中的迭代过程，舍弃的一侧未画出）。图5(b)与(d)中展示了在搜索迭代过程中重构的图像以及相应的自适应对焦窗口。从图中可以看出，文中提出的算法对于目标‘3’和目标‘4’，在选定的搜索区间中经过5次迭代，重构了10张图像搜索到了目标的正确深度。图5证明了，文中方法在时间代价上与传统方法一致，可以有效地在${\log _2}N$次迭代内搜索到目标所在轴向深度，并重构出清晰的目标图像，且误差不超过$\delta z$。

Figure 5.  Searching processes of object’3’and object’4’; Adaptive windows in each iterations. (a), (c) Searching processes of object’3’and object’4’; (b), (d) Adaptive windows in each iterations

图6(a)和(b)为目标‘3’和目标‘4’在传统深度估计算法和自适应对焦窗口算法下的DBC离散一阶导数对比图，可以看到：在采样数$M = 5\;000$时，采用传统深度估计算法时，DBC离散一阶导数在中点处波动较大，无法正常工作导致系统无法准确估计对焦深度。

Figure 6.  The first derivative of DBC curves of object ‘3’and object’4’based on traditional fixed focus window and proposed adaptive windows with 5 000 samplings. (a) object’3’; (b) object’4’

采用自适应对焦窗口算法时，对于目标‘3’和目标‘4’，自适应窗口划分方法的${w_d}$分别为6.25 cm和7.0 cm,相比较传统方法的4.75 cm和4.25 cm，文中算法可使工作距离稳定增长，且${w_d} > {L / {\rm{4}}}$。另外，搜索区间缩小为成像区间的一半，从搜索区间的中点处开始迭代，可准确估计目标深度并重构对焦图像，证明了自适应对焦窗口目标深度估计算法的有效性。

为了证明文中算法的优越性，选定了目标‘3’和目标‘5’分别放置在$z = {\rm{7}}$ cm和$z = {\rm{15\;cm}}$处，采样数$M{\rm{ = 2\;000}}$，其DBC离散一阶导数如图7所示，对焦位置的重构图像及其对焦窗口如图8所示。

Figure 7.  The first derivative of DBC curves of object ‘3’and object’5’ based on traditional fixed focus window and proposed adaptive windows with 2 000 samplings. (a) object’3’；(b) object’5’

Figure 8.  Verify the proposed method with low samplings. (a), (c) The images of objects reconstructed at their axial positions (reference images); (b), (d) images of objects reconstructed using the adaptive focusing windows.

可以看出：随着采样数的降低，两种算法的工作距离都明显缩短，DBC离散一阶导数波动更加剧烈，传统目标深度估计算法不适用。但在自适应对焦窗口算法的搜索区间内，全局最值两侧区间仍然稳定单调。如图7(a)所示，对于目标‘3’，全局最值左侧的单调区间被成像区间边界截断，右侧的工作距离${w_d} = 4.5$ cm，仍然满足${w_d} > {L / {\rm{4}}}$，使算法稳定工作。如图7(b)所示，对于目标‘5’，左右两侧的区间对称单调，与深菲涅尔区中正/负等距离焦时重构图像的模糊程度相似的理论一致，且在对焦位置的自适应窗口中的目标图像与传统固定对焦窗口在对焦位置得到的目标图像一致，如图8所示。这表明基于自适应对焦窗口的目标深度估计的算法在低采样时也可以准确完成对目标深度的搜索并得到对焦图像，这与算法设计思想吻合。

文中提出了基于自适应对焦窗口的计算鬼成像目标深度估计算法，首先采用了DBC的全局特征选择搜索区间，然后提出了自适应窗口划分方法，提取目标区域。相较于基于固定窗口的传统对焦方法，该方法具有两个显著优势：1.算法所需的必要工作长度由${L / {\rm{2}}}$下降到${L / {\rm{4}}}$，这大大降低了该方法对于重构图像质量的要求，换言之，必要工作长度的降低可以减少重构图像所需的测量次数，提高系统的时效性；2.文中选取自适应窗口的方法在确保窗口包含完整目标时，尽量减小背景噪声，使DBC曲线更加稳定。

该方法增强了算法的鲁棒性，使其在欠采样时同样适用，且无需依赖目标的形态。提高了系统的工作效率，显著增强了算法的实用性，为深度感知、目标探测提供了新的技术手段和方法。