Theory and approach of single-pixel imaging (Invited)

光学成像技术作为人类感知和记录世界的重要手段，一直以来都是备受关注的研究领域。早在公元前400年，中国古代著作《墨经》中就已记载了小孔成像现象。直至1839年，达盖尔发明了人类历史上第一台感光胶片照相机。到20世纪中后期，随着光电转换与集成技术的发展，基于电容耦合器件 (Charge Coupled Device, CCD) 和互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor, CMOS) 器件的数码相机快速发展。如今，分辨率达到百万甚至千万像素以上的智能拍照手机和专业数码照相机在日常生活中随处可见。但是传统的光学成像系统由于受到信息获取方式的限制，不可避免地会在信号采集方面存在光场信息的缺失，如相位、偏振、频率等，使其在很多应用场景中的有着难以克服的局限性。近年来，随着计算机硬件运算性能的提升以及光电器件的快速发展，利用光场调制矩阵和单像元探测光强度来进行图像重建计算的单像素成像技术得到越来越多的关注。

与传统的面阵探测成像方式相比，单像素成像的标志性特点是只使用一个没有空间分辨率的单像素探测器来记录图像信息^[1-2]。早在2005年，Sen等人就提出一种使用单个光电探测器来捕获图像的双摄影（Dual Photography）方法^[3]。具体来说，通过一系列掩膜图案调制目标，并用一个单像素探测器记录其总光强，最后将一系列总光强值与对应的掩膜图案做关联运算，就可以重建出目标图像。这其实就是单像素成像的机理，因此从某种意义上来讲双摄影就是单像素成像的一个雏形。而单像素成像这一名词最早是在莱斯大学的Baraniuk课题组于2008年发表的一项与压缩感知相结合的工作中提出的^[2]。同年，Shapiro基于热光强度关联提出了计算鬼成像（Computational Ghost Imaging, CGI）的理论模型^[4]，这也成为单像素成像的另外一种实现方案。

早期的单像素成像与计算鬼成像的区别主要在于成像系统中对光信号进行空间调制的位置不同^[5-7]。如图1（a）所示，早期概念上的单像素成像是在探测端将经过目标物体反射或透射的光信号进行空间调制，再经过透镜后被单像素探测器接收。这是一种后调制策略，一些文献中也称这种方式为结构化探测（Structured detection），单像素相机^[8]便是基于这一方式实现的，例如孙宝清课题组最近提出的基于旋转掩膜板的单像素相机方案^[9]；而计算鬼成像的成像系统结构如图1（b）所示，是在光源端将入射光先经过空间调制，然后再照射到目标物体上，经过反射或透射后的光信号被单像素探测器接收。这是一种前调制策略，也被称为结构化照明。虽然关于单像素成像与计算鬼成像两者之间的区别存在一些讨论^[10-11]，但是两者的成像原理和图像重建算法是可以通用的，因此文中对于这两者不加以区分，均纳入单像素成像技术范畴。

Figure 1.  Two different imaging architecture. (a) Single-pixel imaging; (b) Computational ghost imaging

在单像素探测下的鬼成像技术的发展中，史砚华研究组早期使用双光子纠缠方法实现了鬼成像（Ghost Imaging）^[12]。他们利用激光通过非线性晶体发生参量下转换的效应产生纠缠双光子对作为光源，然后将其分成两路即信号光和闲置光，最后用符合测量的方式进行实验探测并对目标成像。随后，Boyd研究组发现使用经典光源利用光场二阶关联同样可以实现鬼成像^[13]，从而掀起了学者们对鬼成像本质的深入讨论和研究^[14-18]。在经典光源成像基础上，笔者所在课题组提出基于解卷积^[19]和形态学^[20]的热光鬼成像方案，结果表明其可有效提升成像的分辨率和信噪比。在成像机理上，有学者提出高阶关联鬼成像^[21-22]的方案，课题组比较了传统高阶强度关联热光成像和高阶强度涨落关联热光关联的性能，对高阶关联算法进行了详细的质量分析^[23]。为了简化高阶关联成像的系统结构，课题组提出了周期衍射关联成像机制^[24-26]，该机制无需使用分束器就能够产生出多个参考光束。另外，在成像环境存在干扰的环境下，成像质量会受到很大影响，因此课题组在偏振关联成像 ^[27]的基础上提出了偏振差分关联成像^[28]和基于单光子计数的偏振关联成像^[29]。除了以上所述的空间关联成像外，课题组也研究了利用时间关联特性实现时域关联成像^[30]。

单像素成像与传统的多像素面阵成像相比，其优势在于：（1）单像素探测的能量收集效率更高，适用于极弱光和远距离的场景；（2）探测灵敏度高，在不可见光波段和非常规成像方面的优势明显且成本很低，已被应用到激光成像雷达^[31-33]、X射线成像^[34-36]、太赫兹成像^[37-39]、荧光成像^[40]及复合波长^[41-43]成像中，如韩申生课题组所实现的外差探测下的啁啾调幅鬼成像^[44]，而近几年又扩展到了粒子领域，如吴令安课题组最近提出的中子单像素成像^[45]；（3）时间分辨率高，可用于物体的三维成像^[46-52]。然而，单像素成像的缺陷也很明显，即需要多次测量才能成像。理论上来说，当要捕获一个具有$ N $个像素点目标的图像时，至少需要$ N $个掩膜图案进行调制，也就是至少需要$ N $次测量，这大大限制了单像素成像应用的发展。幸运的是，由于自然界图像信号具有稀疏性，可以应用压缩感知（Compressive Sensing, CS）算法^[53-56]来降低测量次数。2008年，Duarte等人以及Katz等人先后提出基于压缩感知的单像素成像^[2]和压缩感知鬼成像^[57]，这为单像素成像的发展打开了新的大门，使得大量基于压缩感知理论的单像素成像应用不断涌现。近五年以来，计算机计算能力的飞跃式提升驱动了机器学习尤其是深度学习^[58-61]等人工智能算法的快速发展，研究人员们开始探索应用机器学习进行单像素成像的可能性。2017年，司徒国海研究组提出基于深度学习的鬼成像^[62]，他们使用CS重建的图像当作真实标签来训练卷积神经网络进行成像，该方法可以实现比CS更快的成像速度。

由上述研究进展可见，单像素成像技术在国防民生各个应用领域均有着重要的应用潜力和发展前景，已成为光学成像研究领域的热点问题之一。文中首先介绍了单像素成像的基础理论，然后深入讨论了各种光场调制方案和当前的单像素成像算法，最后对现有的单像素成像应用进行了简要总结和展望。

文中首先为单像素成像的过程建立数学模型。假设某物体的二维图像$ {\boldsymbol{I}} \in \mathbb{R}^{ n_{1} \times n_{2}}$，共包含$ N $个像素点，其中$ N=n_{1} \times n_{2} $。为了获取该图像，一系列具有空间分辨率的调制掩膜图案会被加载到DMD上。对于调制掩膜序列$ {\boldsymbol{P}}=\left[{\boldsymbol{P}}_{1}, {\boldsymbol{P}}_{2}, \cdots, {\boldsymbol{P}}_{M}\right] \in \mathbb{R}^{M \times n_{1} \times n_{2}} $，其中$ {\boldsymbol{P}}_{i} \in $$ \mathbb{R}^{n_{1} \times n_{2}} $表示第$ i $帧调制掩膜，$ M $表示调制掩膜个数，与物体作用后得到对应$ M $个总光强值${\boldsymbol{s}}=\left[s_{1}, s_{2}, \cdots, s_{M}\right] \in $$ \mathbb{R}^{{M}}$被单像素探测器捕获。为了便于表示，笔者将二维图像$ {\boldsymbol{I}} $展开成向量形式，即$ {\boldsymbol{I}} \in \mathbb{R}^{N} $；同样，将调制掩膜序列表示成二维矩阵形式，即$ {\boldsymbol{P}} \in \mathbb{R}^{M \times N} $，其中每一行表示一帧掩膜。可以得到：

单像素成像就是利用已知的调制掩膜矩阵$ {\boldsymbol{P}} $和探测得到的测量信号序列$ {\boldsymbol{s}} $来解算出目标图像$ {\boldsymbol{I}} $的一种计算成像方法。这个问题似乎很简单，只需将公式（1）两端分别乘上$ {\boldsymbol{P}} $的逆矩阵便可以得到图像，即：

但是需要指出的是，公式（2）成立的前提是调制矩阵个数$ M=N $，并且矩阵必须保证正交性，如哈达玛基矩阵^[63-64]等，这样才能保证该式有唯一解。

在经典的计算鬼成像中，经常采用基于迭代的方式来重构图像。通过多次测量，不断迭代单像素探测值和对应调制掩膜的关联结果，逐步获取物体的空间强度分布，从而逐步提升重构图像的质量。其数学表达如下：

理论上，重建$ N $个像素的图像需要$ M=N $个不同模式的掩膜。然而，如果该掩膜序列不是由正交模式组成或在探测过程中受到噪声的影响，则需要$ M \gg N $次采样以提升重构图像的信噪比。如图2所示，在随机二值掩膜图案调制下，采用公式（3）进行图像重构，所得到的图像信噪比将随着采样次数的增加而逐步提升。

Figure 2.  Single-pixel imaging result with random pattern

对于图1所示的两种单像素成像系统，用于前调制（结构化照明）和后调制（结构化探测）的调制技术均有多种方案可供选择，此节从调制器件选取和调制矩阵设计两个方面进行介绍。

在单像素成像系统中，对光场调制器件的选取中常采用的方案有旋转毛玻璃^[65-66]、旋转掩膜版^[67-69]、数字微镜器件（Digital Micromirror Device, DMD）^[70-71]、发光二极管(Light-Emitting Diode，LED)阵列^[72]、液晶空间光调制器（Liquid Crystal Spatial Light Modulator, LC-SLM）^{[1, 4]}、光学相控阵(Optical Phased Array，OPA)^[73-75]以及声光调制器（Acousto-Optic Modulator）^[76]等。Graham等人^[7]较为详细地介绍了不同调制设备的原理，表1列出了以上调制器件的性能比较。

利用单像素探测进行成像最简单的方式是按照点扫描的方式逐像素地进行信息获取。但是点扫描对光照的利用率很低，只可以应用于光照强度高的情况，在弱光甚至极弱光环境^[77]中很难成像。单像素成像往往采用一系列掩膜矩阵来调制目标光场。研究人员围绕掩膜矩阵设计开展了许多研究，相继提出将哈达玛基、傅里叶基和小波基等模式的掩膜图案引入到单像素成像中，替代之前的随机掩膜图案。这是因为自然图像在特定变换域中具有稀疏性，例如哈达玛域、傅里叶域和小波域等，可以通过对采集系数进行相应的逆变换来复原图像。

（1）随机散斑矩阵调制

随机散斑顾名思义是以某种方式生成服从某种统计分布的矩阵序列，具有随机性。最开始的经典光源鬼成像实验就是通过激光光束穿过旋转的毛玻璃来生成随机散斑^[16]。如图3所示，当作为散射器的毛玻璃进行旋转时，出射光场随时间变化，生成散斑序列。为了避免毛玻璃旋转一周后的掩膜重复，可以在毛玻璃后面再加一种散射介质进行随机化。这种通过机械手段旋转散射器而产生随机散斑的方式操作复杂，并且需要额外的参考光路和探测器来捕获散斑矩阵。另外一种产生随机散斑的方式是利用计算机产生服从设定统计分布的伪随机数作为掩膜矩阵，并将其加载到DMD、LED阵列等设备上模拟随机散斑，生成的散斑图如图2（右上）所示。

Figure 3.  Random speckle generated by spinning diffuser

需要指出的是，随机散斑矩阵因为不满足正交性，往往需要$ M\gg N $次采样才能恢复出清晰图像，这大大增加了成像时间。但是，基于随机散斑矩阵调制的单像素成像系统对噪声不敏感，对于噪声影响较大的场景较为适用，同时可以结合压缩感知技术降低采样率以提升成像效率。

（2）哈达玛矩阵调制

哈达玛矩阵（图4）是由哈达玛变换基（Hadamard Transform Basis）构成的二值正交矩阵^[78]，是广义傅里叶变换的一种形式。基于哈达玛矩阵的单像素成像被称为哈达玛单像素成像（Hadamard Single-pixel Imaging，HSI）。哈达玛矩阵$ {\boldsymbol{H}}_{k} $是一个大小为$ 2^{k} \times 2^{k} $的正交矩阵，其元素只包含$ +1 $和$ -1 $。定义$ 1 \times 1 $的哈达玛矩阵$ {\boldsymbol{H}}_{0}=[1] $，那么可以用递归的方式定义$ k>0 $时的哈达玛矩阵：

Figure 4.  Hadamard basis and simulating imaging result under 20% compression

哈达玛矩阵可以当作一组完备的正交基，而在HSI中所探测到的桶信号可以看作在哈达玛基下的系数。所以在$ M=N $时，用桶信号加权对应测量基并且进行累积便可恢复出原图像信息。值得关注的是，由于哈达玛矩阵的正交性，$ {\boldsymbol{H}}_{k} $的逆就是其本身乘一个缩放系数$ 2 k $，即$ {\boldsymbol{H}}_{k}={\boldsymbol{H}}_{k}^{\rm{T}}=2 k \cdot {\boldsymbol{H}}_{k}^{-1} $，这意味着公式（2）可以被简化为：

在图像恢复过程中，上式中的自然顺序哈达玛基与向量相乘的过程可以用快速沃尔什-哈达玛变换(Fast Walsh-Hadamard Transform, FWHT)来替代，以大幅度提升计算速度^[79]。由于DMD上只能显示+1和0，而−1却无法显示，所以为了保证哈达玛矩阵的正交性，通常需要进行差分测量，因此为了恢复$ N $个像素值的图像，需要$ 2 N $次探测。

另外，HSI可以采用特定的采样顺序来获取系数，这样做的目的是让更重要的系数排在前面以使实时获取目标图像的绝大部分信息^[80-81]。如图4所示，取排序后的系数（桶探测值）的前20%进行成像（根据公式（3）），其结果已经比较接近原图，这是因为绝大部分信息已经被提取。采样顺序是与成像目标的特点有关的，所以如何在目标先验未知的情况下尽可能地优化采样顺序呢？为此，Zhang等人研究了HSI 中使用的锯齿形、方形和圆形采样顺序^[82]。此外，其他采样顺序如俄罗斯套娃（Russian Doll）^[83]、蛋糕切割(Cake Cut)^[84]和折纸(Origami)^[85]等都具有比自然顺序更好的表现。

（3）傅里叶矩阵调制

傅里叶分析理论指出，任何连续信号都可以表示成傅里叶基的线性组合，二维图像信号可以用二维傅里叶变换表示成空间频率的形式。2015年，Zhang等人提出傅里叶单像素成像（Fourier Single-pixel Imaging, FSI） ^[86-87]，通过获取目标图像的傅里叶频谱来重构高质量的图像。FSI采用相移的方式产生结构光照明进行频谱采集，然后对得到的频谱进行傅里叶反变换得到重构图像。对于由$ N $个像素组成大小为$ n_{1} \times n_{2} $的矩形图像，令$ u $、$ v $分别表示图像$ x $维度和$ y $维度的空间频率，则产生的傅里叶矩阵可以表示为：

式中：$ \phi $表示相位。具体来说，为了获取傅里叶系数，在相同的频率下需要设置不同的相位值才能解算出频谱。根据从$0{\sim }2{\text{π }}$之间使用的等距的相位个数，可以将FSI的实现分为四步相移法和三步相移法两种。

四步相移法需要使用四个不同相位相同空间频率的掩膜矩阵$ {\boldsymbol{P}}_{0} $、$ {\boldsymbol{P}}_{\pi /2} $、$ {\boldsymbol{P}}_{\pi } $以及$ {\boldsymbol{P}}_{3\pi /2} $调制目标图像，对应的四个单像素探测值表示为$ {D}_{0} $、$ {D}_{\pi /2} $、$ {D}_{\pi } $和$ {D}_{3\pi /2} $，则空间频率$ （u,v） $对应的傅里叶系数可表示为：

这意味着对于$ N $个像素的图像，如果要完全恢复其图像信息，则需要$ 4 N $次采样。公式（7）的详细推导过程可以参考文献[86]。

与四步相移法相比，三步相移法仅需要三个不同相位的掩膜矩阵$ {\boldsymbol{P}}_{0} $、${\boldsymbol{P}}_{2\pi /3}$以及$ {\boldsymbol{P}}_{4\pi /3} $来调制目标图像。同样，对应的三个单像素探测值表示为$ {D}_{0} $、$ {D}_{2\pi /3} $以及$ {D}_{4\pi /3} $，则该空间频率$ （u,v） $对应的傅里叶系数可表示为：

由此可知：对于$ N $个像素的图像，需要$ 3 N $次采样即可完全恢复其图像信息，采样次数相比与四步相移法降低了25%，因此三步相移法也被称为快速FSI。公式（8）的详细推导过程可以参考文献[87]。

对比HSI和FSI，笔者发现这两种方法都是通过测量图像在某组完备正交基下的系数来恢复图像的，不同点在于HSI使用哈达玛正交基而FSI则使用的是傅里叶正交基。另外，哈达玛基是一个二值矩阵，而傅里叶基的元素是灰度值。对于哈达玛基，可以通过优化采样顺序来降低采样次数。而对于傅里叶基，可以利用自然图像的频谱分布特性作为先验知识来减少采样次数。由于自然图像的大部分能量都集中在低频区域，所以可以通过仅采样低频系数而忽略高频系数来达到大幅度降低采样率的目的，如图5所示。

Figure 5.  Fourier basis and simulating imaging result under 10% compression

（4）深度学习矩阵调制

以深度学习为代表的机器学习算法已经被证明在视觉、语音、文本等领域中都具有优异的表现。而单像素成像从图像恢复角度来讲也是一类图像处理问题，所以自然而然也可以采用深度学习的方法来进行调制矩阵的优化。根据前面的介绍知道，与使用傅里叶基和哈达玛基等结构化掩膜矩阵相比，使用随机掩膜矩阵进行采样的效率要低得多，往往需要大量的采样才能恢复出清晰图像。而深度学习以数据驱动的方式来构建不同于结构化掩膜矩阵的高效采样基，可以实现利用极少的测量次数来得到目标图像的有效恢复。

基于深度学习矩阵的单像素成像方案在2018年由Catherine等人提出^[8]，如图6所示，他们把深度学习中的自编码器应用到单像素成像中，将编码器当作调制掩膜矩阵，该矩阵会在训练的过程中不断被优化。这种方法可以实现以4%的采样率重构图像，对于恢复128$ \times $128 pixel的视频，其帧率可达15 frame/s。后来，Radwell等人将类似的方法应用在单像素三维成像中^[88]，将深度学习优化得到的掩膜图案投影到场景中实现了三维成像。由于深度学习掩膜矩阵具有良好的自适应能力，能够不断自我优化，近期已被应用于显微成像^[89]和成像雷达^[90]中。

Figure 6.  CNN based model (a) generated mask patterns (b) and imaging result under 4% compression(c)^[8]

单像素成像依据单像素探测信号序列与调制掩膜图案序列的关联性重建二维物体图像，相当于编解码的过程。这与传统相机的成像方式是不同的，所以需要为单像素成像设计专门的成像及后处理算法。随着单像素成像的发展，从CGI开始，出现了众多算法来提高成像效率和成像质量，如差分鬼成像（Differential Ghost Imaging, DGI）、标准化鬼成像（Normalized Ghost Imaging, NGI）、首达光子单像素成像算法(First Photon Ghost Imaging, FPGI)、基于压缩感知理论的单像素成像算法以及基于深度学习的单像素成像算法等。

2008年，Shapiro提出鬼成像可以借助空间光调制器在单光路中实现^[4]，并且可以通过关联计算重建物体图像，以此产生了计算鬼成像。CGI是通过迭代的方法来恢复图像的，为了与CGI的一般描述统一，笔者重写公式（3），则CGI算法可以表示为：

式中：$ \left\langle{\cdot }\right\rangle $表示系综平均。公式（9）表明，可以将每次测量的$ {s}_{i} $作为权重并加权到对的应调制掩膜上累加进行图像重建。这个算法的缺点也很明显，由于图像重建对权重$ \mathrm{值}{s}_{i} $的大小非常依赖，因此容易受到光场波动的影响。这些波动可能由光源功率的变化或光场调制器件的不稳定性引起。

为了解决这个问题，Ferri等人提出DGI算法^[91]，利用一个额外的桶探测器探测参考信号总光强，该信号以差分的方式对原始加权项进行调整，DGI表达式如下：

式中：$ r $表示参考信号的桶探测值。与DGI类似，Sun等人后续又提出NGI^[92]。与DGI类比，NGI可以表示为：

DGI和NGI根据参考光的额外探测信号$ {r}_{i} $的变化对信号光路的探测信号$ {s}_{i} $进行调整，以达到应对光场波动的目的。图2展示了在随机掩膜下DGI算法的成像结果，相比于CGI可以明显看出提升效果。

2014年，Kirmanni等人提出首达光子成像（First-Photon Imaging, FPI）技术^[93]，该技术在单光子相机扫描成像配置的基础上，利用每个像素上第一个检测到的光子来恢复图像，实现了在每像素光子数（Photon per Pixel, PPP）为1的情况下成像。基于FPI技术，笔者所在课题组提出了首达光子鬼成像技术^[94]，根据低通量测量的统计学原理，利用每帧第一个返回光子对应的脉冲数的倒数作为该帧的强度值。随后，在FPGI的基础上进一步改进提出快速首达光子鬼成像（FFPGI）^[71]技术，如图7所示，该技术通过设置脉冲阈值来筛选高权重的调制矩阵进行图像恢复，而丢弃无用帧。FFPGI的重建算法可以表示为：

式中：$ K $表示测量矩阵被选为有效帧的个数。该方法在PPP少于0.1的情况下可以通过不超过1000个首达光子数据来重构96$ \times $128 pixel的图像，并且应用该方案实施了远距离（100 km）单脉冲首达光子鬼成像实验 ^[77]。此外，笔者所在课题组从理论上对单光子探测下首达光子鬼成像的成像质量进行了详细分析^[95]，给出了该系统中光子效率、成像质量和系统各参量之间的关系。

Figure 7.  Schematic of fast first-photon ghost imaging^[71]

单像素成像由于只用单个探测器对物体进行探测成像，所以需要很长的采用时间，这是一个以时间换空间的过程。根据前面对不同光场调制矩阵设计的介绍，笔者可以得出结论：如果采用随机散斑矩阵进行调制，往往需要数倍于像素数$ N $的采样次数才能恢复出较高信噪比的图像；如果采用正交掩膜矩阵如哈达玛基、傅里叶基等进行采样，也至少需要$ N $次采样来恢复图像。如此高的采样率使得单像素成像的成像时间很长，这大大限制了其应用。基于压缩感知^{[2, 31]}的单像素成像算法利用自然场景的稀疏性先验信息，使单像素成像系统可以用远小于奈奎斯特采样定理的采样次数实现对图像的重建，这大大降低了系统采集、传输和存储图像所需的时间和存储空间。

假设图像${\boldsymbol{ I}} \in \mathbb{R}^{N} $可以在某组基$ {\boldsymbol{\varPsi}} $下稀疏表示，即：

式中：$ \boldsymbol{\theta } $是图像在该基下的系数，其元素只有少部分非零；${\boldsymbol{\varPsi}} $可以选取为任意可以稀疏表示该图像的基，如小波基、傅里叶基、离散余弦基等，但采样基$ \boldsymbol{P} $应该尽量保证与${\boldsymbol{\varPsi}}$不相关。此时公式（1）可以表示为：

当采样次数${{M}} < {{N}}$时，公式（14）有无穷多个解，但是压缩感知理论指出，如果测量次数适当，则最稀疏的解是可以包含全部原始信号的。这可以通过最小化L1-norm来表示：

理论上，为了重建$ \boldsymbol{I} $，所需要的测量次数为：

式中：$ C $是一个正的常数；$\|{\boldsymbol{\theta}}\|_{0} $表示向量$ \boldsymbol{\theta } $中非零元素的个数；μ是P和$ {\boldsymbol{\varPsi}} $的互相关系数，是一个介于0和1之间的常数。从公式（16）可以看出，测量次数与稀疏度$\|{\boldsymbol{\theta}}\|_{0} $呈线性关系，而与图像的像素数则呈对数相关，这是压缩感知能够在低采样率下进行单像素成像的原因^{[56, 96-97]}。图2展示了在随机掩膜下压缩感知算法的成像结果。在实际应用中，常见的压缩感知图像优化方法有TV (Total Variation)和TC (Total Curvature)等^[98]，它们分别对应对像素之间一阶导数和二阶导数的最小化。笔者所在课题组提出一种基于压缩感知的关联成像^[99]的目标认证方法，利用压缩感知的性能优势，仅用2%奈奎斯特极限的采样数就可以实现对重构图像的目标认证。

基于深度学习的单像素成像是近几年所产生的新的研究领域，机器学习特别是深度学习技术被证明在单像素成像速度和成像精度方面具有一定优势。这类方法使用卷积神经网络 (Convolutional Neural Network, CNN)^[59]来进行端到端成像或者对经典方法的成像结果进行改善。CNN 利用图形处理器单元 (Graphics Processor Units, GPU)进行计算成像，可以实现比传统CPU处理器更快的计算速度。

很多研究人员陆续提出通过训练一个CNN网络来进行端到端成像的方法。Lyu等人把深度学习应用在计算鬼成像中提出的基于深度学习的关联成像算法（GIDL）上^[62]，通过使用传统CGI重建图像和对应的真实清晰图像来有监督地训练神经网络，然后依靠此网络来提升图像重建质量。GIDL本质上是一种图像后处理算法，但是该方法可以在极低采样率下恢复图像。类似GIDL的方法还有很多，它们的共同点是先用CGI、DGI等方法重建图像然后再对图像进行质量提升^[100-101]。另外一种基于深度学习的单像素成像方法直接以单像素探测信号序列作为神经网络的输入，以图像重建结果^[102-105]作为神经网络的输出。需要指出的是，这些方法在训练时都需要清晰的图像来作为标签，这限制了其应用场景。与之不同的是，Liu等人提出一种基于未训练神经网络的计算鬼成像方法^[106]，如图8所示，该方法将测量信号先变换成二维形式，然后输入到神经网络中得到输出图像，根据输出图像的桶探测估计值与实际桶探测值的差异迭代地更新网络参数，无需真实标签。虽然该方案泛化能力有限，但为深度学习在单像素成像方面的应用提供了全新的思路。

Figure 8.  Framework of computational ghost imaging based on an untrained neural network^[106]

与像素阵列探测器相比，单像素探测器具有相对较低的暗噪声、高灵敏度、大带宽和价格便宜等优势。另外，单像素成像提供了一种可以用单一探测器和大视场照明进行成像的方案，这使得一些在探测和照明技术不成熟的成像需求成为可能。

单像素成像从二维成像扩展到三维成像主要有两种方式。第一种方式是使用不同角度的二维图像来估计深度信息^[107-109]。Sun等人使用光度立体技术（Photometric Stereo Technique）和多个位于不同位置的单像素探测器来进行三维重建^[46]。每个单像素探测器所捕获的光强序列与对应结构化掩膜序列关联重建二维图像，由于每个二维图像是可以看作是物体不同角度的成像结果，所以通过像素配准就可以重建三维图像。另外一种更直接的方法是记录单像素探测器每次探测的时间，即通过光飞行时间来体现深度信息^[110]，单像素成像雷达是利用光飞行时间进行三维成像的代表性应用^{[33, 67]}，2008年，韩申生课题组在机载近红外三维单像素成像激光雷达系统^[111]中实现了高分辨率成像。为了获取高精度的深度信息，这类方法要求探测器要具有较高的时间分辨率。

最近，Wu等人提出一种高通量单像素压缩全息技术来成像生物组织^[112]，他们对来自小鼠尾巴的染色切片和来自小鼠大脑的未染色切片等生物组织进行了成像，分辨率可以达到$5.8\;\text{μ}\mathrm{m}\times 4.31\;\text{μ}\mathrm{m}$。该工作的研究人员指出，这项技术有希望为广谱范围内的各种生物组织提供高分辨率复值图像，进而推动多光谱成像发展。Hahamovich等人使用旋转掩膜版实现了高达2.4 MHz的调制速率，并对线虫活体进行了成像^[113]。此外，最近单像素成像技术在显微成像领域也取得了一定进展^[114-115]。

单像素成像可以被应用在图像加密领域^[99,116-118]，这是由其成像机理自然推广而来的应用。图像作为当今社会一种常用的信息载体，其传输过程中的安全性是无法忽视的问题。类比“加密-传输-解密”这一经典安全传输模式，大家很自然地可以把调制掩膜序列当作密钥，将调制后的信息当作加密信息进行传输，在接收端应用和发送端同样的掩膜序列进行图像恢复以实现解密过程。Yuan等人提出一种基于双随机相位编码和压缩鬼成像技术的光学图像加密方案^[117]。该方案首先使用基于相位恢复的双随机相位编码技术将待加密图像转换为二值模式，然后根据鬼成像技术用一系列随机掩膜进行编码，在接收端采用压缩感知等操作恢复图像。

运动目标探测成像中，目标物体与成像系统的相对运动会导致图像质量退化，如何实现运动目标的清晰成像是实际应用中无法回避的重要问题^[119]。2011年，笔者所在课题组提出无透镜运动的目标鬼成像，并定量分析了为了避免运动模糊的物体运动速度上限^[120]。最近，刘伟涛课题组提出了弱照明下的单像素跟踪成像技术，利用桶信号的时间相关性获取目标的速度，然后对照明光束进行控制，可以同时得到物体的运动轨迹和清晰的图像^[121]。

另外，Ota等人提出基于单像素探测的无成像超快速细胞分类技术^[122]，他们操控细胞使其从固定的掩膜板前流过，单像素探测器记录一个一维时序信号，根据此信号进行细胞分类，并依据类别信息进行细胞分流控制。随后，Deng等人又提出基于双单像素探测的快速运动物体的无成像三维追踪技术^[123]。他们使用6帧单周期的傅里叶掩膜从水平和垂直的角度照射一个做螺旋下降运动的金属小球，然后由放置在水平和垂直两个方向的两个单像素探测器各捕获6个信号，依据傅里叶基变换原理解算出金属小球的三维空间坐标。另外，许多方法都利用单像素成像来进行目标定位^[124-125]和目标检测^[126]等高级别图像分析。笔者所在课题组最近提出基于单像素成像的显著性目标检测方案^[127]，利用二值离散余弦基散斑和深度神经网络可以在低压缩率下达到高精度的检测结果。而在某些特定任务中，如目标分类和定位跟踪等，往往不需要先进行成像再对图像进行分析，而可以直接利用单像素探测序列进行分析。对此，笔者所在课题组陆续提出基于傅里叶谱的单像素无成像目标识别^[128]以及在少光子情况下的无成像目标探测和分类^[129]。

文中对单像素成像的理论和方法进行了简要回顾和总结。从单像素成像的基础理论出发，介绍了随机散斑、哈达玛基、傅里叶基、深度学习矩阵等不同的调制掩膜图案和不同调制器件，并结合笔者自身理解浅析了不同调制矩阵设计的优缺点和适用场景。成像算法方面，介绍了传统计算鬼成像算法（如CGI、DGI、NGI等）、首达光子单像素成像算法、基于压缩感知理论的单像素成像算法以及近年来出现的基于深度学习的单像素成像算法，并对其中的典型算法和相关工作进行了详细介绍；最后，介绍了现阶段单像素成像的一些应用。需要再次指出的是，文中并未将计算鬼成像和单像素成像加以区分，这是因为二者在成像机理和成像算法方面是互通的，并且成像系统也极为相似，所以近年来这两个概念已经融合在一起，相互借鉴，共同发展。

目前单像素成像技术还不成熟，尤其是在可见光波段的成像性能与经典阵列探测相比还有一定差距。但是，在一些特定领域具有明显优势，如激光成像雷达、太赫兹成像、X射线成像等。另外，单像素探测器的时间分辨率大大优于阵列探测器，而且系统简单，价格低廉。随着自动驾驶、生物医学、航空航天等众多领域对成像精度和速度的需求日益提高，越来越多的问题和挑战逐渐涌现，这将会推动单像素成像技术进入一个新的发展阶段。