单像素成像(Single Pixel Imaging, SPI)是利用点探测器实现物体成像的技术，基于压缩感知理论的单像素成像方法由Takhar D等人首次提出^[1]，在数字微镜(Digital Micromirror Device, DMD)上加载一系列掩膜对光学图像进行调制，调制后的光强由无空间分辨的点探测器进行探测，然后利用所测光强和掩膜对应的测量矩阵重建图像。若采用单光子探测器作为点探测器，则可以将单像素成像与光子计数技术相结合，实现光子计数单像素成像^[2-4]。该方法有两个主要优点：一是仅使用点探测器就可以实现二维光子计数成像，与阵列探测器相比成本较低、分辨率高，特别是在红外、太赫兹^[5]等特殊波段；二是单像素计数压缩成像系统中的点探测器可以同时收集多个像素的光强，成像灵敏度超过所采用的探测器本身的灵敏度的极限 ^[6]。因此光子计数单像素成像在生物医学诊断、天文、光谱测量等超弱光成像检测中具有广泛的应用前景^[7-9]。

目前的单像素成像系统的采样和重建主要有三种方法：一是先利用随机测量矩阵或正交固定矩阵进行欠采样，然后再利用迭代算法进行图像重建。常用测量矩阵有高斯测量矩阵^[10]、伯努利测量矩阵^[11]、拓普利兹矩阵^[12]、哈达玛矩阵和部分的随机傅里叶矩阵^[13]，重建算法有正交匹配追踪(Orthogonal Matching Pursuit, OMP)^[14]、正规化正交匹配追踪(Regularized Orthogonal Matching Pursuit, ROMP)^[15]和全变分增广拉格朗日交替方向算法(Total variation Augmented Lagrangian Alternating Direction Algorithm, TVAL3)^[16]等。由于测量次数远小于图像像素数时要通过优化求解不确定性问题来重建图像，需要耗费大量的时间进行迭代运算。二是同样使用高斯随机测量矩阵或正交固定矩阵进行欠采样，利用基于深度学习的压缩重建网络进行图像重建。训练后权重固定的重建网络从低维采样值拟合映射到高维的图像，可避免上述传统迭代算法带来的大量计算，从而实现快速重建。深度学习压缩重建网络有SDA^[17]、RconNet^[18]、DR2_net ^[19]、ISTA-Net^[20]等。2018年，C. F. Higham等率先将卷积自编码网络用于经过线性采集的图像的重构，该方法具有比压缩感知(Compressed Sensing, CS)理论常用重构算法更短的重建时间，并且能够在超低采样率的情况下实现更清晰的重构图像^[21]。2019年，中国科学院上海光学精密机械研究所的司徒国海等提出了一种应用于鬼成像的端对端的深度学习方法，该方法将图像与处理过的掩膜相乘得到仿真数据用于神经网络的训练^[22]。2020年，笔者课题组的李冰提出了Bsr2-Net网络进行图片重建，并与传统算法TVAL3进行对比，研究结果表明，使用深度学习方法测量重建的方法无论在成像质量上还是重建时间上都表现的更好^[23]。三是使用采样和重建集成的深度学习网络。2020年，笔者课题组的管焰秋提出了一种采样和重建集成的残差编解码网络SRIED_Net用于光子计数单像素成像，网络由采样子网络、初步重建网络和深度重建网络组成，采样子网络为网络的第一层，是一个二值化全连接层，并将其训练成二进制的测量矩阵直接加载到数字微镜阵列上以实现高效压缩采样，除第一层外的其余网络用于快速重建，获得了更好的重建性能^[24]。

虽然采样和重建集成网络获得了更好的效果，但在进行高分辨图像成像时，由于高维度下的全连接层测量矩阵参数量成指数性增长，巨大的参数量会使得训练时的迭代极为困难且容易使模型过拟合。基于分块压缩感知理论，可以将一张高分辨率图像切割成若干张维度较小的子图，再分别独立采样重建，最后拼合恢复成原始大图，从而大大缩短了重建时间和节约了重建成本。事实上，大多数对图像的压缩感知算法都是这样做的，如ReconNet^[18]、DR2_net^[19]等算法。但是，基于分块压缩感知理论的分块处理方法在处理图像时也存在问题。由于对高分辨率图像切割时破坏了原始图片的连续线性，同时各子块独立重建时存在不同程度的失真。因此在最后拼合的重建图片上，子图与子图之间会存在明显的分界线，即产生块状化效应，并且块状化效应在越低的测量率下越明显。块状化效应不会体现在一些经典的图像质量评估的指标上，如PSNR和SSIM，但却十分影响观感体验。一些去噪算法（如BM3 D）可以适当地减少块状化效应产生的影响，对子图边缘的高频分量进行衰减，但同时可能去除一些重要的信息和引入一些冗余的信息。

针对该问题，文中提出了三种去块状化的采样子网络：一是针对重构图像在块与块交界位置处产生像素的不规则跳变提出了重叠分块采样网络(Overlapping sampling network, Os_net)；二是受子像素卷积启发提出了嵌套采样网络(Nested sampling network, Ns_net)；三是利用卷积的权值共享特性提出了卷积采样网络(Convolutional sampling network, Cs_net)。设计实验对三种采样网络进行了比较，并在光子计数单像素成像系统上进行了验证。

搭建的光子计数单像素成像系统示意图如图1所示。LED(CREE Q5)发出的散射光经过平行光管后变成平行光。平行光透过衰减片(LOPF-25 C-405)和光阑(APID25-1)后，成为单光子水平的极微弱的平行光束。物体被微弱平行光照射后，经成像透镜汇聚于数字微镜器件(Digital Micromirror Device, DMD)上。DMD(T1:0.7 XGA12°DDR DMD)是一种电寻址空间光调制器件，其镜面由$1\;024 \times 768$个可单独控制偏转的微镜组成，每个微镜的大小均为$13.78\;\text{μ}{\rm{m}} \times 13.78\;\text{μ} {\rm{m}}$。为了实现“开”和“关”的空间光调制，微镜分别对应控制翻转+12°和−12°。微镜翻转+12°时经过调制的空间光信号反射至聚焦透镜(OLBQ25.4-050)。汇聚了多个像素的光强透过光电倍增管(Photomultiplier Tube, PMT)输出一个个离散脉冲至接收器。工作在光子计数模式下单光子点探测器PMT(H10682-110)可以实现调制光强的量化，光子脉冲的计数代表光强。微镜翻转−12°时将照射在其上的光反射至系统光路外。笔者设计了现场可编程门阵列(Field Programmable Gate Array, FPGA)的同步控制电路，可将二值矩阵加载至DMD，并同步记录光电倍增管PMT输出的离散脉冲个数。通过USB将FPGA记录的光子计数值发送到计算机重建目标图像。

图  1  光子计数单像素成像系统原理图

Figure 1.  Schematic diagram of photon counting single pixel imaging system

DR2_net是把整副高分辨率大图分块成同尺寸的无重叠的子图像，对每个同等规模的子图像使用一致尺寸的观测矩阵进行采样和重构^[19]，造成了对含有更多信息量图片的欠采样和信息量少图片的过采样，使重构图像在块与块交界位置处产生像素的不规则跳变。针对该算法的缺陷，笔者提出了Os_net进行重叠分块采样。在Os_net中要对于输入的第$ i $个原始图片$ {X_i} \in {R^{N \times N}} $进行重叠分割。

如图2所示，需要按照步长$S$来对原始图片进行移动切割成多个$ n \times n $大小的图像块，为了确保原始图片信息全部保留，在切割之前需调整图片的尺寸，调整方式见公式(1)和公式(2)。然后对调整完成的图像进行重叠切割，记子图像的个数为R，见公式(3)。

图  2  重叠切割过程

Figure 2.  Process of overlapping cutting

式中：$N$为原始图片大小；$ pad\_h $为原始图片需填充的长度；$S$表示切割移动的步长，$\dfrac{n}{2} \leqslant S < n$；$ H $为调整后图像块的大小。

将处理好的分割后的图像块作为重叠采样网络(Os-net)的输入，并将其拉伸成维度为$ 1 \times m $的列向量。拉伸后的图像$ {x_i} \in {R^{1 \times m}} $经过第一层全连接层进行采样，得到采样值$ y_i^r \in {R^{1 \times r}} $：

式中：$ {W_1} \in {R^{m \times r}} $为权值矩阵；$ y_i^r $即为采样值；$r$为采样次数。

网络中的第二层全连接层为图像重建网络，采样值经第二层全连接层可得到重构图像$ x_i^r \in {R^{1 \times m}} $：

式中：$ y_i^r $~$ x_i^r $的映射为线性映射；$ {W_2} \in {R^{r \times m}} $为权值矩阵，此处令$m = 1\;024$。

该网络通过两个全连接层分别构成了编码(encode)和解码(decode)两个部分，编码部分完成图像的重叠采样，解码部分完成图像的重建。为了获得最终输出高分辨率图像，先将子图像按切割顺序依次拼接，其次对拼接后的图像行和列重叠的部分求取平均值。Os_net在重叠区域进行重复采样，增加了采样次数，故对于整副大图而言，其整体采样率与输入网络中的小块图像采样率不同，二者之间的数量关系如下：

联立公式(1) 、(2)、 (3)、(6)可得：

式中：$mr$为子图像的采样率；$MR$为整张图片的采样率。

2016年，Shi Wenzhe提出了子像素卷积，实现了从低分辨率到高分辨率的映射过程^[25]，与需要填补0来扩展信息的反卷积相比，子像素卷积充分利用了图像的先验信息。受子像素卷积启发，笔者提出了Ns_net网络。该网络是先通过嵌套切割，从高分辨率的原始图片中提取四个均含有部分原始图片信息的子图像，即将大小为$ N \times N $的原始图片等分为$ \dfrac{{{N^2}}}{4} $个$ 2 \times 2 $的像素块，然后依次提取每个像素块的左上角、右上角、左下角、右下角的像素点排列组合成4个$\dfrac{N}{2} \times \dfrac{N}{2}$的图像块，如图3所示。这里令$ N = 64 $，经过嵌套切割后得到4个$ 32 \times 32 $的子图像。将这些子图像拉伸成$ 1 \times m $大小的图像$ {x_i} \in {R^{1 \times m}} $输入全连接层，完成压缩采样得到采样值$ y_i^r \in {R^{1 \times r}} $，随后再将采样值输入全连接层进行图像重构，并输出重建图像块$ x_i^r \in {R^{1 \times m}} $。将$ x_i^r $尺寸复原为$ 32 \times 32 $后，按照分割顺序将4张输出图像的像素点挨个放回原始高分辨率图片的位置得到最终图片。

图  3  嵌套切割过程

Figure 3.  Process of nested cutting

2018年，Thuong Nguyen Canh等提出了MS-DCSNet，采用卷积层完成Down-sampling的过程，该网络使用了基于多尺度的小波变换转换图像信号，对四个频带的小波系数进行卷积采样^[26]。卷积采样使卷积核在不同的位置之间共享权重，实现了平移不变性，并且能减少网络中的参数，完全可以替换全连接层采样。图4为笔者提出能运用在单像素压缩成像系统中的卷积采样网络示意图。Cs_net包含两个子网络：卷积下采样子网络和卷积上采样子网络。在卷积下采样子网络中，先用卷积核对输入的第$ i $个图像$ {x_i} \in {R^{n \times n}} $进行卷积采样，公式如下：

式中：${W_\alpha }$为$ m $个$ 32 \times 32 \times 1 $的卷积核；${y_i}$为第$ i $个原始图像经压缩采样后得到的采样值，维度为$ 2 \times 2 \times m $。其中，$ m $的值与$ MR $存在密不可分的联系，数量关系如下：

上述网络大大减少了权重的数量，降低了计算的复杂度。在采样率为0.2时，Cs_net的权重数量为${32^2} \times 205 = 209\;920$，而全连接采样的权重数量为${64^2} \times 820 = 3\;358\;720$，笔者提出的网络减少了超过90%的权重。

在卷积上采样子网络中，将采样值$ {y_i} $输入网络进行图像重建，公式如下：

式中：$ {W_\beta } $为1024个$ 2 \times 2 \times m $的卷积核；$ {Z_i} $为重建后的图像，维度为$1 \times 1 \times 4\;096$。为了恢复至原始信号的维度，将$ {Z_i} $维度转换成$ 64 \times 64 $。

图  4  用Cs_net采样和初步重建的过程

Figure 4.  Process of sampling and initial reconstruction with Cs_net

使用与DR2_net^[19]一致的91张自然图片来生成Os_net、Ns_net和Cs_net的训练集。在训练Cs_net时使用步幅14对这些图片进行切割，得到7851张大小为$ 64 \times 64 $的图像块作为训练集。在训练Os_net和Ns_net时，为了保证实验的公平性，需要保持训练集的数量一致，因此从上述每一张$ 64 \times 64 $的图像中均匀地抽取一张$ 32 \times 32 $的图像块，最终得到7 851张小图作为训练集。保留提取的图像块的亮度分量作为网络的输入$ {x_i} $。最大迭代周期、Batch size和学习率分别设置为1000、128和0.0001，采用Adam优化器进行迭代优化。损失函数采用均方差，公式如下：

为了使经过训练的矩阵加载在于DMD上，需要对神经网络Os_net、Ns_net和Cs_net的第一层的浮点型权重进行二值化。文中使用的二值化方法是基于符号函数Sign的确定性方法：

式中：$ {W_1} $表示浮点型权重；$ {W^b} $表示经过二值化的权重。

然而符号函数的导数在非零时为0，在跳跃间断点零时不可导，显然不可进行反向传播运算，故在反向传播时用Htanh函数替代符号函数来进行导数修正，具体如下：

此节设计了对照实验来评估上述提出的三种采样网络、双全连接层网络(Fc_net)和目前最先进的压缩感知图像重建算法TVAL3的去块状化效果。为了确保对比实验的公平性，在TVAL3算法重建时用经过训练的浮点全连接层代替高斯矩阵。根据公式(8)所示，Os_net的采样率计算方法与其他神经网络算法采样率不一样，其采样率随着步长$S$的增大而有所提升，当步长为31时其采样率与其他神经网络算法逼近，为了确保公平，选取步长为31。从数据集Set 0中提取了五张$256 \times 256$的图片用于测试，以评估网络的性能。由于峰值信噪比(PSNR)与均方误差(MSE)只是基于对应像素点的误差评价，无法表现“虚假边界”，实验结果分析过程中需同时结合视觉来衡量去块状化效果，在此从图像“Cameraman”中选择一个64×64的小块图像来评估不同算法去块状化的效果。

由表1可知： Os_net的客观评价结果相比传统迭代算法TVAL3有$1.03 \sim 2.36\; {\rm{dB}}$的提升，与基于深度学习的Fc_net、Ns_net和Cs_net相比在重建质量上分别有$ 0.072 \sim 0.11 \;{\rm{dB}} $、$1.939 \sim 3.846 \;{\rm{dB}}$和$0.073 \sim $$ 0.466 \;{\rm{dB}}$的提升。这是因为即使Os_net步长设置为31以逼近其他重建算法的采样率，其采样率仍会大于其他算法，实际采样率对应为0.019、0.05、0.13和0.25，这种采样率上的差异导致了Os_net在重建质量上的提升。在采样率低至0.015时，Ns_net相比TVAL3能产生更高质量的重建图片，但在其他采样率下Ns_net的重建效果逊于TVAL3的重建效果。与此同时，在所有采样率下Ns_net的重建结果均弱于其他神经网络算法的重建结果，这是因为Ns_net打乱了输入图片的空间规律，打断了数据集的信息连续性，数据集的调整降低了模型训练的质量。Cs_net与Fc_net在低采样率时PSNR基本相同，在高采样率时有$0.2 \sim 0.4\; {\rm{dB}}$的差距，这可能是因为Fc_net网络输入子图像尺寸更小，能对每小块图像进行更精确的重建。

图5为五种重建算法重建图，从视觉效果评测五种算法的去块状化能力。从图中可以直观地出，Cs_net的重建图像完全没有“虚假边界”，在极低采样率下图片轮廓也清晰可见。而TVAL3作为先进的CS迭代算法，在低采样率下存在明显的十字形块状化，随着采样率的提升，在图像重建质量升高的同时，十字形块状化也逐渐变弱，但依旧无法消除。在采样率为0.015和0.04时，Fc_net重建图像块与块之间存在很明显的像素跳变，这是由于Fc_net使用相同的观测矩阵固定观测，会在图片光滑处过采样，纹理区欠采样。Os_net在重复采样区域存在块状化，随着采样率的提高，块状化程度比Fc_net更轻，Os_net的重建质量之所以优于Fc_net，是因为Os_net独特的采样方式带来了其在采样率计算上的优势，使得其重建质量更优，但其小图之间依旧存在十分明显的“虚假边界”。Ns_net对输入图片的像素进行重排，小图之间的棋盘效应消失，但却在每个像素之间出现了像素跳变现象。故此得出Cs_net相较于其他四种重建算法具有更好的去块状化效果。Cs_net在重建质量上明显优于TVAL3与Ns_net，与Fc_net的重建质量基本相同，但Cs_net具有十分显著的去块状化效果。

图  5  使用不同重建方法的重建结果，图片大小为64×64 pixel

Figure 5.  Reconstruction results using different methods, the size of pictures is 64×64 pixel

上述结果证明，五种算法中Cs_net对去块状化有明显优势，设计了对照实验组以验证Cs_net在实际系统实验中的表现。由于实际实验中DMD只能加载二值采样矩阵，则将Cs_net第一层卷积层进行二值化。为了实验公平，同时将TVAL3中随机高斯矩阵替换为训练过的二值矩阵，确保与Cs_net的采样矩阵相同。

表2为TVAL3和Cs_net的仿真结果。与表1中的结果对比可以看出，Cs_net二值化后的重构效果明显逊于未二值化的重构效果。这是因为−1和1的二值化矩阵与浮点矩阵相比，其对特征的表达能力和拟合能力更弱，所以二值化后的矩阵在采样时降低了网络整体的学习能力。从表2中可以得出：Cs_net在所有的采样率下均优于TVAL3算法；且在极低采样率下，Cs_net的优势更加明显，二者之间的差值高达$2.07\; {\rm{dB}}$。同时，Cs_net相比于TVAL3能更稳定地重建出图像，随着采样率从0.2降低至0.015，Cs_net重建出来的图像平均PSNR差别仅为$2.102 \; {\rm{dB}}$，而TVAL3平均PSNR降低了$3.805 \; {\rm{dB}}$，这是因为通过训练所得的Cs_net相比于传统的TVAL3算法具有更好的鲁棒性，在低采样率下也能稳定地重建图像。

用光子计数成像系统来评估Cs_net的消除块状化的能力。在模拟实验中使用灰度图片作为测试图片，在真实的系统实验中使用掩膜板作为成像目标，该掩膜板为“组合图案”，如图6所示。在实际实验中采用微镜组合方案^[3]，设置整个DMD镜的成像分辨率为$64 \;\times 64 \;{\rm{pixel}}$，将整个DMD镜面分成$2 \times 2$部分，对分辨板实现卷积采样。在实验中将DMD的翻转频率设置为两次/s，在对比实验中所设置的采样率分别为0.015、0.04、0.1和0.2，对应不同采样率下的采样时间为32 s、82 s、206 s和420 s。选择TVAL3进行对照实验。由于难以获得DMD上的原始图像，故选择无参考评测指标对其性能进行评测。

图  6  传统算法与所提出的方法在光子计数成像系统中的结果对比

Figure 6.  Comparison of the results of the traditional algorithm and the proposed method in the photon counting imaging system

由图6可知，在所有采样率时，使用TVAL3重构都存在十字形块状化，而Cs_net即使在低采样率下也不存在“虚假边界”且重建图像的边缘分辨率更高。从上述对照组实验中可以得出，Cs_net相比于TVAL3具有十分显著的去块状化效果。

针对基于深度学习的压缩采样和重建网络利用全连接层进行高分辨图像的分块压缩感知时，重建图像会产生块状效应的问题，提出了Os_net、Ns_net和Cs_net等三种方法用以取代传统的全连接层采样。在重建网络的设计中，使用线性映射网络对图像进行重建。第一步，设计实验对比了Fc_net、Os_net、Ns_net和Cs_net 四种采样网络，实验结果表明，Cs_net相较于其他三种采样网络具更好的去块状化效果。第二步，将Cs_net进行二值化，模拟实验表明，在相同的实验条件下二值化的Cs_net重建质量比传统重建算法提升了$0.368\; \sim 2.071 \;{\rm{dB}}$ ，紧接着将其应用于光子计数单像素成像系统进行实际实验，结果表明，Cs_net除块状化明显优于TVAL3，且Cs_net在重建质量上也同样取得了较好的效果。