留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

计算光学成像:何来,何处,何去,何从?

左超 陈钱

左超, 陈钱. 计算光学成像:何来,何处,何去,何从?[J]. 红外与激光工程, 2022, 51(2): 20220110. doi: 10.3788/IRLA20220110
引用本文: 左超, 陈钱. 计算光学成像:何来,何处,何去,何从?[J]. 红外与激光工程, 2022, 51(2): 20220110. doi: 10.3788/IRLA20220110
Zuo Chao, Chen Qian. Computational optical imaging: An overview[J]. Infrared and Laser Engineering, 2022, 51(2): 20220110. doi: 10.3788/IRLA20220110
Citation: Zuo Chao, Chen Qian. Computational optical imaging: An overview[J]. Infrared and Laser Engineering, 2022, 51(2): 20220110. doi: 10.3788/IRLA20220110

计算光学成像:何来,何处,何去,何从?

doi: 10.3788/IRLA20220110
基金项目: 国家自然科学基金(U21B2033);江苏省基础研究计划前沿引领专项(BK20192003);中央高校科研专项资助项目(30920032101)
详细信息
    作者简介:

    左超,男,教授,博士生导师,博士,主要从事计算光学成像与光信息处理技术的研究 (Email: zuochao@njust.edu.cn; Website: www.scilaboratory.com)

    通讯作者: 陈钱,男,教授,博士生导师,博士,主要从事光电成像与信息处理等方面的研究 (Email: chenqian@njust.edu.cn)。
  • 中图分类号: O438

Computational optical imaging: An overview

  • 摘要: 计算光学成像是一种通过联合优化光学系统和信号处理以实现特定成像功能与特性的新兴研究领域。它并不是光学成像和数字图像处理的简单补充,而是前端(物理域)的光学调控与后端(数字域)信息处理的有机结合,通过对照明、成像系统进行光学编码与数学建模,以计算重构的方式获取图像与信息。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等因素的限制,使其在功能(相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓、模糊复原、数字重聚焦,改变观测视角)、性能(空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度)、可靠性、可维护性等方面获得显著提高。现阶段,计算光学成像已发展为一门集几何光学、信息光学、计算光学、现代信号处理等理论于一体的新兴交叉技术研究领域,成为光学成像领域的国际研究重点和热点,代表了先进光学成像技术的未来发展方向。国内外众多高校与科研院所投身其中,使该领域全面进入了“百花齐放,百家争鸣”的繁荣发展局面。作为本期《红外与激光工程》——南京理工大学专刊“计算光学成像技术”专栏的首篇论文,本文概括性地综述了计算光学成像领域的历史沿革、发展现状、并展望其未来发展方向与所依赖的核心赋能技术,以求抛砖引玉。
  • 图  1  常见的光电成像系统

    Figure  1.  Common optoelectronic imaging systems

    图  2  传统光学成像系统的成像过程

    Figure  2.  Conventional optical imaging process

    图  3  光学成像技术的五方面发展目标

    Figure  3.  Five goals for the development of optical imaging technology

    图  4  传统数字图像处理往往仅作为成像的后处理过程

    Figure  4.  Conventional digital imaging processing is only a post-processing step in the whole imaging process

    图  5  计算光学成像系统的成像过程

    Figure  5.  Computational optical imaging process

    图  6  从2017年修订后的国家自然科学基金委学科代码,其中“计算成像”被列入信息科学部四处下一个独立的子方向(F050109)

    Figure  6.  The revised discipline code of the National Natural Science Foundation of China in 2017. “Computational imaging” has been listed as an independent sub-direction of Information Science (F050109)

    图  7  16世纪用于绘图的暗箱装置

    Figure  7.  Camera obscura box, 16th century

    图  8  尼埃普斯使用的暗箱相机和所拍摄的《牵马少年》

    Figure  8.  The Camera Obscura box used by Joseph Nicephore Niépce and his photo “the man with a horse”

    图  9  尼埃普斯所拍摄的《窗外景色》

    Figure  9.  “Window at Le Gras” taken by Joseph Nicephore Niépce

    图  10  1838年达盖尔所拍摄的《Boulevard du Temple》

    Figure  10.  “Boulevard du Temple” taken by Joseph Nicephore Niépce, 1838

    图  11  塔尔博特所拍摄的“冬天里的橡树”(负片与正片)

    Figure  11.  William Henry Fox Talbot – An oak tree in winter (Negative and positive)

    图  12  火棉胶湿摄影术的基本流程

    Figure  12.  Wet-collidion process

    图  13  1878年迈布里奇拍摄的《奔马》连续照片

    Figure  13.  Eadweard Muybridge——The horse in motion, 1878

    图  14  布朗尼相机与莱卡相机

    Figure  14.  Brownie and Leica camera

    图  15  1888年在纽约刊登的柯达相机广告

    Figure  15.  The advertisement of Kodak camera in New York, 1888.

    图  16  托马斯·萨顿拍摄的“苏格兰格纹丝带”

    Figure  16.  Thomas Sutton — Tartan Ribbon

    图  17  柯达K135-20彩色胶卷

    Figure  17.  Kodachrome K135-20 Color Film

    图  18  柯达傻瓜相机“Instamatic”

    Figure  18.  Kodak instamatic camera

    图  19  安培公司推出的首款磁带录像机VR-1000

    Figure  19.  The first of Ampex's videotape recorder VR-1000

    图  20  博伊尔和史密斯发明的首个CCD相机

    Figure  20.  The first CCD camera developed by Boyle and Smith

    图  21  史蒂文·萨森研发出世界上第一部数码相机

    Figure  21.  The first digital camera developed by Steven Sasson

    图  22  索尼推出的世界上首台电磁记录照相机“玛维卡”

    Figure  22.  Mavica camera developed by SONY

    图  23  夏普联合J-Phone推出的全球首款拍照手机J-SH04

    Figure  23.  The first handphone with camera, J-SH04, developed by SHARP and J-Phone

    图  24  采用了卡尔蔡司(Carl Zeiss)认证镜头的诺基亚N90

    Figure  24.  Nokia N90 handphone with Carl Zeiss optics

    图  25  尼康单反相机D1

    Figure  25.  Nikon SLR camera D1

    图  26  乔布斯在Macworld 2007大会上发布的第一代iPhone

    Figure  26.  Apple iPhone 1 released in the Macworld 2007 by Steve Jobs

    图  27  2010年乔布斯推出苹果划时代的产品iPhone 4

    Figure  27.  Apple iPhone 4 released by Steve Jobs in 2010

    图  28  全世界第一台双摄手机LG Optimus 3 D

    Figure  28.  The first dual camera mobile phone — LG Optimus 3 D

    图  29  苹果在iPhone X上引入的结构光 3D人脸识别

    Figure  29.  Structured light 3D face recognition technique in iPhone X

    图  30  华为P30 Pro及其在50倍的变焦下拍摄的月亮表面的细节清晰可见(虽然有争议说是AI修正合成的结果)

    Figure  30.  Huawei P30 Pro and captured moon with highly clear surface details (though it is controversial that it is the result of AI synthesis)

    图  31  胶卷相机(Nikon F80)与数码相机(Nikon D50)的对比

    Figure  31.  Comparison of film camera (Nikon F80) with digital camera (Nikon D50)

    图  32  最早的“计算成像”技术——合成孔径雷达

    Figure  32.  Synthetic Aperture Radar (SAR), the earliest computational imaging technique

    图  33  最早的采用“计算成像”思想设计的光学成像系统——波前编码成像

    Figure  33.  Wave-front coding, the earliest optical imaging system involving the idea of computational imaging

    图  34  3LCD投影仪与DLP投影仪的基本结构

    Figure  34.  Basic configurations of the 3LCD projector and the DLP projector

    图  35  16张不同曝光时间(30~1/1000 s)下拍摄的教堂图像[23]

    Figure  35.  Sixteen photographs of a church taken at 1-stop increments from 30 to 1/1000 second[23]

    图  36  采用两张正交偏振图像进行图像去雾的效果[27]

    Figure  36.  Image dehazing using two images with orthogonal polarization state[27]

    图  37  2005年于麻省理工学院举办的“Computational Photography and Video”研讨会的会议议程[29]

    Figure  37.  Program of Symposium on Computational Photography and Video in MIT, 2005 [29]

    图  38  吴义仁研制的首个光场相机及其商业化产品

    Figure  38.  The first light field camera developed by Ng and its commercialized verison——Lytro

    图  39  Rice大学于2006年所设计的单像素相机[40-41]

    Figure  39.  The 1st single-pixel camera developed by Rice University in 2006[40-41]

    图  40  GS相位恢复算法基本原理[54-55]

    Figure  40.  Principle of the GS phase retrieval method[54-55]

    图  41  傅里叶变换轮廓术的基本原理[64]

    Figure  41.  Principle of the Fourier transform profilometry method[64]

    图  42  传统全息术基本原理

    Figure  42.  Principle of the conventional holographic imaging technique

    图  43  离轴数字全息重构基本原理

    Figure  43.  Principle of the off-axis digital holographic reconstruction

    图  44  编码孔径成像基本原理与掩模板实物图

    Figure  44.  Principle of coded aperture imaging and a photograph of a coded mask

    图  45  美国光学学会(OSA,现Optica)计算光学传感与成像国际会议议题

    Figure  45.  Topic categories of the Optica (formerly OSA) topic meeting COSI

    图  46  Levoy教授所领导研发的Google Pixel相机多次登顶DXOMark榜单

    Figure  46.  Professor Levoy's Google Pixel camera tops DXOMark several times

    图  47  “计算成像”、“计算光学”、“计算摄影”已经逐渐成为智能手机各大厂商的营销词汇

    Figure  47.  "Computational imaging", "computational optics" and "computational photography" have gradually become marketing terms for smartphone manufacturers

    图  48  Facebook创始人Mark Zuckerberg宣布将Facebook更名为Meta并提出“元宇宙”概念。而三维传感技术有望将物理世界“数字化”,对于元宇宙的基建与落成都有着重大的实际意义

    Figure  48.  Facebook founder Mark Zuckerberg announced the renaming of Facebook as Meta and proposed the concept of "Metaverse", 3D sensing technology that promises to "digitize" the physical world and has great practical significance for the infrastructure and completion of Metaverse

    图  49  基于“目的与动机”对典型计算光学成像技术所作的分类

    Figure  49.  Classification of typical computational imaging techniques according to their ''objectives and motivations''

    图  50  相位成像技术的分类

    Figure  50.  Classification of the phase imaging techniques

    图  51  Zernike相差显微术与微分干涉相差显微术

    Figure  51.  Zernike phase contrast microscopy and Differential Interference Contrast (DIC) microscopy

    图  52  巨型迈克尔逊干涉仪——LIGO引力波探测器

    Figure  52.  Giant Michelson interferometer——LIGO wavefront detector

    图  53  Shack-Hartmann波前传感器与四棱锥波前传感器

    Figure  53.  Schematics of Shack-Hartmann and pyramid wavefront sensors

    图  54  迭代法相位恢复技术

    Figure  54.  Schematics of iterative phase retrieval techniques

    图  55  傅里叶叠层成像技术

    Figure  55.  Schematic of Fourier ptychographic microscopy

    图  56  晴天下游泳池底的光波图案。(池中水面的涟漪让阳光发生折射,在池底产生了明暗相间的网络结构)

    Figure  56.  The wave-like pattern at the bottom of a swimming pool in sunlight. (The pool surface refracts the incident sunlight to produces the characteristic pattern)

    图  57  光强传输方程在不同研究领域的应用

    Figure  57.  Applications of TIE in different research fields

    图  58  部分相干光场下的广义光强传输方程

    Figure  58.  Generalized transport of intensity equation (GTIE) for partially coherent field

    图  59  光强传输方程对乳腺癌细胞的定量相位三维成像[238]

    Figure  59.  Quantitative phase 3D imaging of a breast cancer cell using TIE[238]

    图  60  基于弱相位近似的差分相衬定量相位成像原理示意图

    Figure  60.  Schematic diagram of the principle of quantitative phase imaging with DPC based on weak phase approximation

    图  61  照明优化策略的对比。 (a) 对应的单次相位传递函数与合成相位传递函数;(b)最优照明下的各向同性定量相位成像结果

    Figure  61.  Comparison illumination-optimized schemes. (a) PTFs and their synthetic PTFs corresponding to different illumination functions; (b) Isotropic quantitative phase imaging results under optimal illumination

    图  62  差分相衬定量相位成像的成像效率优化方案。(a)彩色复用三波段的差分相衬定量相位成像方案;(b) 基于三波长照明的多模态成像及定量相位成像方案;(c) 单帧差分相衬最优照明成像方案

    Figure  62.  Imaging efficiency optimization schemes of DPC. (a) Triple-wavelength multiplexed illumination scheme; (b) Triple-wavelength illumination scheme for multimodal imaging and DPC; (c) Single-shot optimal illumination scheme of DPC

    图  63  成像光谱分辨率逐渐提升

    Figure  63.  Gradual increase in spectral imaging resolution

    图  64  计算层析成像光谱技术的数据立方投影过程

    Figure  64.  The projection of the data cube in CTIS

    图  65  画幅型层析成像光谱仪原理图

    Figure  65.  Schematic diagram of frame-type computer tomographic imaging spectrometer

    图  66  Wagadarikar设计的单色散元件的编码孔径成像光谱仪及其成像结果[49]

    Figure  66.  Single Disperser CASSI instrument designed by Wagadarikar, and the imaging results[49]

    图  67  傅里叶变换光谱仪示意图

    Figure  67.  Schematic diagram of Fourier transform spectrometer

    图  68  哈达玛变换光谱仪示意图

    Figure  68.  Schematic diagram of Hadamard transform spectrometer

    图  69  同一场景的可见光、长波红外以及偏振成像结果

    Figure  69.  Visible light, long wave infrared and polarization imaging results for the same scene

    图  70  基于旋转偏振片的偏振成像系统

    Figure  70.  Polarization imaging system based on rotating polarizer

    图  71  Farlow等研制的分振幅偏振成像系统[299]

    Figure  71.  Split amplitude polarization imaging system developed by Farlow et al. [299]

    图  72  分孔径偏振成像系统

    Figure  72.  Split aperture polarization imaging system

    图  73  分焦平面偏振成像系统

    Figure  73.  Split focal plane polarization imaging system

    图  74  Luna等设计的多波长双旋转相位片偏振仪系统结构图[303]

    Figure  74.  Structure diagram of multi-wavelength dual-rotating phase plate polarization imaging system designed by Luna et al. [303]

    图  75  大气散射模型与偏振去雾图像前后效果对比

    Figure  75.  Atmospheric scattering model and comparison of images before and after polarization defogging

    图  76  牛心肌样品的三维PS-OCT成像结果。(a)三维整体结构图;(b)局部光轴图;(c)局部延迟图;(d)局部二向衰减图

    Figure  76.  PS-OCT imaging results of bovine myocardial samples. (a) 3D global structure map; (b) Local optical axis diagram; (c) Local delay map; (d) Local bi-direction attenuation map

    图  77  对径压缩圆盘六步相移彩色光弹图像

    Figure  77.  Six-step phase-shifting color photoelastic images of the diametric compression disk

    图  78  典型的光学三维传感技术

    Figure  78.  Representative techniques for 3D optical sensing

    图  79  (a)立体视觉法[386];(b)飞行时间法[387];(c)激光线扫法[388];(d)散焦恢复形状测量法[389]

    Figure  79.  (a) Schematic diagrams of stereo vision[386]; (b) Time-of-flight method[387]; (c) Laser scanning[388];(d) Defocus recovery method[389]

    图  80  条纹投影轮廓术示意图[403]

    Figure  80.  Schematic diagram of fringe projection profilometry [403]

    图  81  孤立物体和不连续表面的包裹相位存在条纹级次歧义[424]

    Figure  81.  Fringe order ambiguity in the wrapping phase of isolated objects and discontinuity surfaces[424]

    图  82  基于立体相位展开的四目实时三维测量系统及其测量结果。(a)笔者课题组提出的四目实时系统[450];(b)该系统获取的动态场景下的实时彩色三维轮廓数据[450];(c)该系统获取的全方位点云数据[456];(d)该系统实现的360°三维面型缺陷检测[457]

    Figure  82.  Quad-camera real-time 3D measurement system based on stereo phase unwrapping and its measurement results. (a) Quad-camera real-time system proposed by our research group[450]; (b) The real-time color 3D data in the dynamic scene obtained by our system[451]; (c) The omnidirectional point cloud data obtained by our system[456]; (d) 360° 3D surface defect detection obtained by our system[457]

    图  83  基于散斑相关法的商业产品。(a) Kinect; (b) PrimeSense; (c) iPhone X

    Figure  83.  Commercial products based on speckle correlation. (a) Kinect; (b) PrimeSense; (c) iPhone X

    图  84  利用深度学习的单帧相位恢复方法流程图以及不同方法的三维重建结果。(a)基于深度学习相位恢复原理[460];(b)不同条纹分析方法(FT、WFT、基于深度学习的方法和12步移相轮廓术)的三维重建比较[460];(c)利用深度学习方法对一台不同转速的电扇进行了测量[462];(d)利用深度学习单帧彩色条纹投影轮廓术对旋转工件的动态三维重建[464];(e)利用深度学习单帧复合条纹投影轮廓术对旋转女孩模型的动态三维重建[465]

    Figure  84.  Flowchart of the single-frame phase retrieval approach using deep learning and the 3D reconstruction results of different approaches. (a) The principle of deep-learning-based phase retrieval method[460]; (b) Comparison of the 3D reconstructions of different fringe analysis approaches (FT, WFT, the deep-learning-based method, and 12-step phase-shifting profilometry) [460]; (c) The measurement results of a desk fan rotating at different speeds using our deep-learning method[462]; (d) The dynamic 3D measurement result of a rotating workpiece by deep-learning-based color FPP method[464]; (e) The dynamic 3D measurement result of a rotating bow girl model by composite fringe projection deep learning profilometry(CDLP)[465]

    图  85  各种基于微透镜阵列的光场相机系统

    Figure  85.  Various light field cameras based on microlens array

    图  86  基于相机阵列的光场采集。(a) 斯坦福光场龙门架[479]; (b) 斯坦福大学的大规模相机阵列[481];(c) 5×5相机阵列实现显微光场采集[482]

    Figure  86.  Light field capture based on camera arrays. (a) Stanford Spherical Gantry[479]; (b) Stanford large camera arrays[481]; (c) Acquiring micro-object images with the 5×5 camera array system[482]

    图  87  基于编码掩膜的计算光场成像。(a)掩膜增强相机光场采集[483];(b)压缩光场采集[484]

    Figure  87.  Computational light field. (a) Mask enhanced camera[483]; (b) Compressive light field photography[484]

    图  88  基于可编程孔径的光场成像。(a) 可编程孔径光场相机[485];(b) 可编程孔径光场显微镜[251]

    Figure  88.  Light field imaging based on programmable aperture. (a) Programmable aperture light field camera[485]; (b) Programmable aperture microscope[251]

    图  89  光场成像在计算摄像的应用。(a)光场重聚焦[476];(b)合成孔径成像[492]

    Figure  89.  Light field imaging in computational photography. (a) Light field refocusing[476]; (b) Synthetic aperture imaging[492]

    图  90  X 射线断层扫描技术。(a) X-ray 二维图像 与(b)三维CT 的对比及螺旋锥束扫描CT

    Figure  90.  X-ray computed tomography. (a) 2D X-ray image versus; (b) 3D X-ray CT and Spiral cone beam scanning CT

    图  91  典型的颅脑MRI图像

    Figure  91.  Typical brain MRI images

    图  92  宽场(左)与共聚焦显微镜(右)的光路结构[502]

    Figure  92.  Schematic of widefield (left) and confocal fluorescence microscope (right) optical path structure[502]

    图  93  荧光显微镜拍摄到的细胞三维图像

    Figure  93.  An example of the acquired 3 D image of a cell, captured by a fluorescence microscope

    图  94  理论计算得到的三维PSF的x-yx-z平面切片图像。(a) x-y平面切片图像,每一切片上方数字表示该切片沿z轴方向距离点扩散函数中心亮点的距离;(b) x-z平面切片图像,每一切片上方数字表示该切片沿y轴方向距离点扩散函数中心亮点的距离

    Figure  94.  x-y and x-z slice images of three-dimensional PSF are calculated theoretically. (a) x-y slice images. The number above each slice represent the distance between the slice along the z-axis direction and the central highlights of the point spread function; (b) x-z slice images. The number above each slice indicates the distance between the slice along the y-axis and the highlight of the point spread function center.

    图  95  反卷积三维荧光显微成像的工作流程

    Figure  95.  Workflow of deconvolution three-dimensional fluorescence microscopic imaging

    图  96  光场显微镜模型[516]。(a)传统明场显微镜;(b)光场显微镜[516];(c)基于波动光学的光场显微模型[518];(d)傅里叶光场显微镜模型[519]

    Figure  96.  Model of Light field microscope[516]. (a) Traditional bright field microscope; (b) Light field microscopy[516]; (c) Light field microscopic based on wave optics theory[518]; (d) Fourier light field microscopy[519]

    图  97  光场显微在生物科学中的应用。(a)小鼠头戴MiniLFM[522];(b)使用HR-LFM成像COS-7活细胞中的高尔基源膜泡[523];(c) DAOSLIMIT观测小鼠肝脏中中性粒细胞迁移过程中的迁移[525];(d)共聚焦光场显微镜,观测斑马鱼的捕猎活动以及探测小鼠大脑的神经活动[525]

    Figure  97.  Light field applications in biological science. (a) Mouse with a head-mounted MiniLFM [522]; (b) Imaging Golgi-derived membrane vesicles in living COS-7 cells using HR-LFM [523]; (c) Migrasome dynamics during neutrophil migration in mouse liver with DAOSLIMIT[525]; (d) Confocal light field microscopy, tracking and imaging whole-brain neural activity during larval zebrafish’s prey capture behavior and imaging and tracking of circulating blood cells in awake mouse brain[524]

    图  98  全息衍射层析显微术的代表性工作。(a)瑞士洛桑联邦理工学院Charriere等[532]的旋转物体测量;(b)美国麻省理工学院的Choi等[534]的扫描振镜测量;(c)瑞士洛桑联邦理工学院的Cotte等[537]楔形棱镜扫描;(d)韩国技术科学院的Park团队[547]的DMD扫描测量

    Figure  98.  Representative work on holographic diffraction tomography microscopy. (a) Rotating object measurements by Charriere et al[532]; (b) Scanning galvanometer measurements by Choi et al[534]; (c) Wedge prism scanning by Cotte et al[537]; (d) Park's team[547] for DMD scanning measurements

    图  99  相位恢复衍射层析显微术的代表性工作。(a)澳大利亚墨尔本大学X衍射成像研究团队的Barty等[539]的显微镜平台旋转物体测量;(b)加州大学洛杉矶分校的Ozcan课题组[548]的无透镜片上层析平台;(c)笔者课题组[239]的基于LED阵列的无透镜平台;(d)笔者课题组[240]的基于LED阵列的显微镜平台

    Figure  99.  Representative work on phase retrieval diffraction tomography microscopy. (a) Microscope platform rotating object measurements by Barty et al[539] from the X diffraction imaging research team at the University of Melbourne, Australia; (b) Lens-free on-chip chromatography platform by the Ozcan group at UCLA[548]; (c) Lens-free LED array-based platform by our group[239]; (d) LED array-based microscopy platform of our group[240]

    图  100  光强衍射层析显微术的两种实现方式。(a)基于轴向扫描的“光强传输衍射层析”(TIDT)显微术;(b)基于照明角度扫描的“傅里叶叠层衍射层析”(FPDT)显微术

    Figure  100.  Two implementations of optical intensity diffraction tomography. (a) TIDT microscopy based on axial scanning; (b) FPDT microscopy based on illumination angle scanning

    图  101  光强传输衍射层析术的代表性工作。(a)笔者课题组[238]的基于高数值孔径环形照明的定量相位成像;(b) 西班牙马德里大学Alieva课题组[549]的电控变焦透镜的光强传输衍射层析;(c)笔者课题组[241]的基于环形照明的多孔径光强传输衍射层析

    Figure  101.  Representative work on TIDT. (a) Quantitative phase imaging based on high numerical aperture ring illumination by our group[238]; (b) TIDT with electronically controlled zoom lens by Alieva's group[549] at the University of Madrid, Spain; (c) Multi-aperture optical intensity transfer diffraction tomography based on ring illumination by our group[241]

    图  102  傅里叶叠层衍射层析术的代表性工作。(a)美国加州大学伯克利分校的Waller课题组[550]的基于多层模型的傅里叶叠层三维成像;(b)美国加州理工学院的Yang课题组[185]的傅里叶叠层层析技术(一阶Born近似下不含暗场强度图);(c)笔者课题组[186]的傅里叶叠层衍射层析成像技术(一阶Rytov近似下含暗场强度图)

    Figure  102.  Representative work on FPDT. (a) FPDT 3D imaging based on a multilayer model by Waller's group at UC Berkeley[550]; (b) FPDT without dark field intensity under the first-order Born approximation by Yang's group at Caltech[185]; (c) FPDT with dark field intensity under the first-order Rytov approximation by our group[186]

    图  103  通过干涉测量法进行相干测量。(a)杨氏双缝干涉仪[561];(b)逆波前杨氏干涉仪[562];(c)非冗余孔径阵列[563];(d)自参考干涉法[565];(e)两点干涉仪;(f) Sagnac干涉仪[565-566]

    Figure  103.  Coherent measurement using interferometer. (a) Young’s interferometer[561]; (b) Reversed-wavefront Young interferometer[562]; (c) Non-redundant array[563]; (d) Self-referencing interferometer[565]; (e) Two-point interferometer; (f) Sagnac interferometer[565-566]

    图  104  相空间断层扫描的原理与光路图。(a)原理示意图;(b)相空间断层扫描的光路结构,实验系统采用一对柱状透镜,在轴向z0处测量光强

    Figure  104.  The principal and optical setup of phase-space tomography. (a) Principle of phase space tomography; (b) A pair of cylindrical lenses oriented perpendicularly are used to introduce astigmatism to the measurement. Intensities are measured at planes with axial coordinate z0

    图  105  相空间的直接测量。(a) 基于小孔扫描的相空间直接测量[569];(b)基于微透镜阵列的相空间直接测量[570]

    Figure  105.  The direct measurement of phase space. (a) Direct measurement based on pinhole scanning[569]; (b) Direct measurement based on microlens array[570]

    图  106  两类成像分辨率对最终图像清晰度的影响。(a) 理想高分辨率图像;(b) 对于小视场的制导系统而言,成像系统的分辨率最终由光学分辨率,即成像系统的口径所决定(如图(c)所示),而对于大部分宽视场的搜索/跟踪系统而言,成像系统的分辨率最终由图像分辨率,即探测器的像素尺寸决定(如图(d)所示)

    Figure  106.  The influence of two kinds of imaging resolution on the final image definition. (a) ideal high resolution image; (b) for the guidance system with small field of view, the resolution of the imaging system is finally determined by the optical resolution, that is, the aperture of the imaging system (as shown in Figure(c)), while for most search / tracking systems with wide field of view, the resolution of the imaging system is finally determined by the image resolution, that is, the pixel size of the detector (as shown in Figure(d))

    图  107  光学系统口径所限制的衍射分辨极限(艾里斑)。(a) 成像系统的最小可分辨距离(光学角分辨率)与成像系统的孔径成反比;(b)~(d) 两个非相干的点目标在不同间距下所能拍摄到的艾里斑图像

    Figure  107.  Diffraction resolution limit limited by the aperture of optical system (Airy spot). (a) The minimum resolvable distance (optical angular resolution) of the imaging system is inversely proportional to the aperture of the imaging system; (b)-(d) Airy spot images of two incoherent point targets at different distances

    图  108  探测器像元大小所限制的奈奎斯特采样极限(马赛克效应)。(a) 像素采样不足(像素尺寸过大)所导致的信息混叠现象;(b) 恰好满足奈奎斯特采样极限时的情况; (c) 一个典型的红外热像仪对于人体目标在不同距离下的成像效果(像元尺寸为38 μm,像素为320×240,50 mm焦距镜头)

    Figure  108.  Nyquist sampling limit limited by detector pixel size (mosaic effect). (a) Information aliasing caused by insufficient pixel sampling (excessive pixel size); (b) When the Nyquist sampling limit is exactly met; (c) The imaging effect of a typical infrared thermal imager for human targets at different distances (Pixel size: 38 μm. 320× 240 pixels, 50 mm focal length lens)

    图  109  像素超分辨重建的基本原理(逆向病态问题的最优解)

    Figure  109.  Basic principle of pixel super-resolution reconstruction (Optimal solution of inverse ill-posed problem)

    图  110  基于SCRNN的单帧重建算法

    Figure  110.  Single frame reconstruction algorithm based on SCRNN

    图  111  被动亚像素移动超分辨成像基本原理

    Figure  111.  Basic principle of passive subpixel moving super-resolution imaging

    图  112  可控亚像素移动所引起的像素级光强变化

    Figure  112.  Pixel level light intensity change caused by controllable sub-pixel movement

    图  113  微扫描装置。(a)光学折射法;(b)平板旋转法;(c) 压电陶瓷体

    Figure  113.  Micro scanning device. (a) Optical refraction method; (b) Plate rotation method; (c) Piezoelectric ceramics body

    图  114  长春光机所通过采用微扫描成像器件实现亚像素级光强变换以实现图像超分率[589]

    Figure  114.  Changchun University of technology realizes sub-pixel light intensity conversion by using micro scanning imaging devices to realize image super-resolution[589]

    图  115  编码孔径超分辨率成像基本思想[594]

    Figure  115.  Basic principle of coded aperture super resolution imaging[594]

    图  116  (a) 研制的可见光波段孔径编码原理样机及成像结果;(b) 研制的红外波段孔径编码原理样机及成像结果

    Figure  116.  (a) Visible coded aperture imaging system and its reconstruction results; (b) Infrared coded aperture imaging system and its reconstruction results

    图  117  合成孔径雷达示意图

    Figure  117.  Schematic diagram of Synthetic aperture radar

    图  118  (a) 美国Aerospace公司研制的基于光纤的激光合成孔径雷达成像原理图;(b) 成像结果对比(右图为衍射受限成像结果,左图为合成孔径后的结果图)

    Figure  118.  (a) Principle diagram of laser synthetic aperture radar imaging based on optical fibers developed by Aerospace Corporation of the United States; (b) Comparison of imaging results (right image is diffraction-limited imaging results, left image is synthetic aperture results)

    图  119  非干涉傅里叶叠层成像合成孔径技术系统原理示意图

    Figure  119.  Schematic of non-interferometric synthetic aperture imaging technology based on Fourier ptychography

    图  120  反射式宏观傅里叶叠层成像系统实物与原理图[600]

    Figure  120.  Reflective Fourier ptychography imaging system and schematic diagram[600]

    图  121  传统非相干合成孔径系统结构。(a)迈克尔逊型干涉仪;(b)中次镜结构;(c)相控阵列结构

    Figure  121.  Conventional incoherent synthetic aperture structure. (a) Michelson interferometer; (b) Common secondary structure; (c) Phased array structure

    图  122  初代SPIDER成像概念系统设计模型。 (a) SPIDER设计模型和分解图;(b)两个物理基线和三个光谱波段的PIC示意图;(c) SPIDER微透镜排列方式;(d)对应排列方式下频谱覆盖

    Figure  122.  Design model of the initial generation of SPIDER imaging conceptual system. (a) Design model and explosive view of SPIDER; (b) PIC schematics of the two physical baselines and three spectral bands; (c) Arrangement of SPIDER lenslets; (d) Corresponding spatial frequency coverage

    图  123  基于FINCH的非相干合成孔径技术[605]

    Figure  123.  Incoherent synthetic aperture based on FINCH[605]

    图  124  STORM的超分辨原理示意图与结果图[608,615]

    Figure  124.  Super-resolution schematic diagram and result diagram of STORM[608,615]

    图  125  STED的超分辨原理示意图和结果图[618]

    Figure  125.  The schematic diagram and results of super-resolution STED [618]

    图  126  SIM的超分辨原理及在不同时刻对动态微管的超分辨重建结果[610]

    Figure  126.  The of SIM and the super-resolution reconstruction results of dynamic microtubules at different times [610]

    图  127  3D超分辨显微典型实验结果图。(a) 3D SIM[626];(b) 3D STORM[628]

    Figure  127.  3D super-resolution microscopy experimential results. (a) 3D SIM[629]; (c) 3D STORM[628]

    图  128  两种代表性的主动式超快光学成像技术。(a)Nakagawa等人提出的一种基于顺序时间全光映射摄影术的超快成像技术(sequentially time all-optical mapping photography, STAMP)[647]; (b)Kristensson等人提出的一种基于多曝光频率识别算法的超快成像技术(frequency recognition algorithm for multiple exposures, FRAME)[649]

    Figure  128.  Two representative active ultrafast optical imaging techniques. (a) An ultrafast imaging technique based on sequential time all-optical mapping photography (STAMP) proposed by Nakagawa et al.[647]; (b) An ultrafast imaging technique based on frequency recognition algorithm for multiple exposures (FRAME) proposed by Kristensson et al.[649]

    图  129  Gao等人提出的一种单帧压缩超快成像技术(compressed ultrafast photography, CUP)[653]

    Figure  129.  A single-shot compressed ultrafast photography technique (CUP) proposed by Gao et al.[653]

    图  130  基于数字光处理DLP(Digital Light Processing)技术的数字投影仪基本结构及其核心部件DMD

    Figure  130.  Basic structure of a digital projector based on Digital Light Processing (DLP) technology and its core component DMD

    图  131  单个DMD微镜的工作原理

    Figure  131.  Working principle of a single DMD micromirror

    图  132  DMD显示8位灰度图像的二元时间脉冲宽度调制机理

    Figure  132.  Binary time pulse width modulation mechanism for 8-bit grayscale image displayed by DMD

    图  133  跳动兔子心脏的测量结果[671]

    Figure  133.  The measurement result of beating rabbit heart[671]

    图  134  对气枪发射的子弹的三维测量与跟踪[669]。(a)不同时间点的相机图像; (b)相应3D重建结果; (c)枪口区域的3D重建(对应于(b)中所示的盒装区域)以及在飞行过程中的三个不同时间点的子弹(7.5 ms,12.6 ms和17.7 ms)的3 D重建 (插图显示在17.7 ms处穿过飞行子弹中心的水平(x-z)和垂直(y-z)轮廓);(d)最后时刻(135 ms)场景的3 D点云,彩色线显示130 ms长的子弹轨迹(插图为子弹速度-时间的图)

    Figure  134.  3D measurement and tracking a bullet fired from a toy gun[669]. (a) Representative camera images at different time points; (b) Corresponding color-coded 3D reconstructions; (c) 3D reconstruction of the muzzle region (corresponding to the boxed region shown in (b)) as well as the bullet at three different points of time over the course of flight (7.5 ms, 12.6 ms, and 17.7 ms) (The insets show the horizontal (xz) and vertical (y-z) profiles crossing the body center of the flying bullet at 17.7 ms); (d) 3D point cloud of the scene at the last moment (135 ms), with the colored line showing the 130 ms long bullet trajectory (The inset plots the bullet velocity as a function of time)

    图  135  阵列投影技术及GOBO投影技术[678-679]。(a)阵列投影仪及用该投影仪搭建的三维测量系统;(b)GOBO投影仪及用该投影仪搭建的三维测量系统

    Figure  135.  Array projection technology and GOBO projection technology[678-679]. (a) Array projector and three-dimensional measuring system set up with the projector; (b) GOBO projector and three-dimensional measuring system set up with the projector

    图  136  对安全气囊弹出过程的3D重建结果[679]

    Figure  136.  3D reconstruction results for the airbag ejection process[679]

    图  137  5D高光谱成像系统、结果及高速热成像系统、结果[680-681]。(a) 5D高光谱成像系统;(b) 高速热成像系统;(c) 5D高光谱成像结果:对柑橘植物的吸水性的测量;(d)高速热成像结果:不同时间对篮球运动员的测量

    Figure  137.  The systems and results of 5D hyperspectral imaging and high speed thermal imaging[680-681]. (a) 5D hyperspectral imaging system; (b) High speed thermal imaging system; (c) 5D hyperspectral imaging results: The measurement of water absorption by a citrus plant; (d) High-speed thermal imaging results: The measurement of a basketball player at different times

    图  138  μDLP对高速转动风扇的三维测量[682],这些场景在训练过程中都不存在。第一行至第三行为通过μDLP获得风扇在1000~5000 r/min相应的3D重建

    Figure  138.  Measurement of a dynamic scene that includes a static model and a falling table tennis[682], which are also not present in the training process. The first line to the third line pass µDLP obtains the corresponding 3D reconstruction of the fan at 1000 ~ 5000 r/min

    图  139  像增强器工作原理及成像示意图

    Figure  139.  Working principle and imaging diagram of image intensifier

    图  140  远距离成像情况下,EMCCD成像结果与单光子四种不同算法重建结果对比图

    Figure  140.  EMCCD imaging result is compared with the reconstruction results of four different single photon algorithms in the case of long-distance imaging

    图  141  光子计数成像的原理

    Figure  141.  Principle of the photon counting imaging system

    图  142  不同情况下的回波示意图与重建结果

    Figure  142.  Schematic diagram of echo and reconstruction results under different conditions

    图  143  8.2 km外目标的超分辨成像结果

    Figure  143.  Super-resolution results of target located at 8.2 km

    图  144  远距离单光子激光雷达成像示意图

    Figure  144.  Illustration of long range single photon Lidar imaging

    图  145  首达光子的三维重建结果。(a)~(c) 单光子结果三个方向的逐点的最大似然处理;(d)~(e) 对应反射率估算的结果;(g)~(i) 环境噪声处理;(j)~(l) 结果的3D估计

    Figure  145.  Calculate the first photon 3D reconstruction of reflectance. (a)-(c) Point-by-point maximum likelihood processing in the three directions of the single photon result; (d)-(f) Corresponding reflectance estimation results; (g)-(i) Environmental noise processing; (j)-(l) 3D estimation results

    图  146  超过 201.5 km的远程主动成像示意图。在中国乌鲁木齐市附近实施的实验的卫星图像,单光子激光雷达被放置在野外的一个临时实验室。(a) 由配备望远镜的标准天文相机拍摄的山脉可见波段照片,海拔约4500 m;(b) 实验装置示意图;(c) 设置硬件的照片,包括光学系统(左上角和左下角)和电子控制系统(右下角);(d) 临时实验室在海拔 1770 m 处的视图

    Figure  146.  Illustration of the long-range active imaging over 201.5 km. Satellite image of the experiment implemented near the city of Urumqi, China, where the single-photon lidar is placed at a temporary laboratory in the wild. (a) Visible-band photograph of the mountains taken by a standard astronomical camera equipped with a telescope. The elevation is approximately 4500 m; (b) Schematic diagram of the experimental setup; (c) Photograph of the setup hardware, including the optical system (top and bottom left) and the electronic control system (bottom right; (d) View of the temporary laboratory at an altitude of 1770 m

    图  147  201.5 km以上场景重建结果。(a)真实可见光照片;(b) Lindell等人在2018年对SBR ~ 0.04、平均信号PPP ~ 3.58的数据的重建深度结果;(c)重建结果的三维剖面图

    Figure  147.  Reconstruction results of a scene over 201.5 km. (a) Real visible-band photo; (b) The reconstructed depth result by Lindell et al. in 2018 for the data with SBR ~ 0.04 and mean signal PPP ~ 3.58; (c) A 3 D profile of the reconstructed result

    图  148  基于深度学习进行极弱光成像的结果。(a)摄像机输出(ISO 8000);(b)摄像机输出(ISO 409600);(c)由原始数据(a)恢复得到的结果[705]

    Figure  148.  Results of extremely weak light imaging based on deep learning. (a) Camera output with ISO 8000; (b) Camera output with ISO 409600; (c) Our result from the raw data of (a) [705]

    图  149  提出的单光子三维成像多尺度网络图

    Figure  149.  Diagram of proposed multi-scale network for single-photon 3D imaging with multiple returns

    图  150  三个远程户外场景的重建结果。第一行的高层建筑距离成像系统21.6 km,空间分辨率256×256,信噪比为0.114,每像素1.228光子。第二行距离成像系统1.2 km,空间分辨率176×176,信噪比为0.109,每像素3.957光子。第三行的高塔,距离成像系统3.8 km,空间分辨率512×512,信噪比为0.336,每像素1.371光子。GT表示系统在较长的采集时间内捕获的地面真实深度图

    Figure  150.  The reconstruction results for three long range outdoor scenes. First row: A tall building, that locates at 21.6 km away from imaging system with a spatial resolution of 256×256, signal-to-noise ratio is 0.114, and 1.228 photons per pixel. Second row: That locates at 1.2 km away from our imaging system with a spatial resolution of 176×176, signal-to-noise ratio is 0.109, and 3.957 photons per pixel. Third row: A tall tower named Pole, that locates at 3.8 km away from our imaging system with a spatial resolution of 512×512, signal-to-noise ratio is 0.336, and 1.371 photons per pixel. GT denotes the ground truth depth maps captured by system with a long acquisition time

    图  151  对于传统光学系统,视场与分辨率这两个参数互相矛盾,无法同时兼顾。(a) 35 mm单反相机不同焦距下所对应的视场角;(b) 35 mm单反相机不同焦距下所拍摄到的典型图像

    Figure  151.  For traditional optical systems, the two parameters of field of view and resolution are contradictory and cannot be taken into account at the same time. (a) The corresponding field of view angle of 35 mm SLR camera under different focal length; (b) Typical images taken by 35 mm SLR camera under different focal lengths

    图  152  GigaPan全景拍摄系统及拍摄拼接所得的像素全景图

    Figure  152.  GigaPan panoramic shooting system and pixel panorama obtained by shooting splicing

    图  153  ARGUS-IS系统及其成像效果。(a) ARGUS-IS 系统外型;(b)系统采用了368个图像传感器和四个主镜头,其中92个传感器为一组,共用一个主镜头。通过巧妙设置传感器的安装位置,使得每组传感器获得的图像错位,互为补充,再通过图像拼接,能够得到较好的整体成像结果;(c)此成像系统在 6000 m高空有效覆盖7.2 km×7.2 km的地面区域

    Figure  153.  ARGUS-IS system and its imaging effect. (a) ARGUS-IS system appearance; (b) The system uses 368 image sensors and four main lenses, of which 92 sensors are a group and share a main lens. By skillfully setting the installation position of sensors, the images obtained by each group of sensors are misaligned and complementary to each other, and then through image mosaic, better overall imaging results can be obtained; (c) The imaging system effectively covers 7.2 km × 7.2 km ground area at an altitude of 6 km

    图  154  多相机拼接系统。(a) Lytro公司所研制的光场采集系统Immerge;(b) 斯坦福半环型相机阵列系统;(c) 斯坦福平面型相机阵列系统;(d) Camatrix环型相机阵列系统;(e) 清华大学鸟笼相机阵列系统

    Figure  154.  Multi camera splicing system. (a) Light field acquisition system Immerge developed by lytro company; (b) Stanford semi ring camera array system; (c) Stanford planar camera array system; (d) Camatrix ring camera array system; (e) Tsinghua University birdcage camera array system

    图  155  (a) 瑞士洛桑联邦理工学院(EPFL)的科研团队设计并研制了仿生复眼成像设备Panoptic;(b) 大视场高分辨率的OMNI-R系统;(c) Nicholas Law研制的艾弗里地基望远系统Evryscope

    Figure  155.  (a) The research team of the Federal Institute of Technology (EPFL) in Lausanne, Switzerland, designed and developed the bionic compound eye imaging device Panoptic; (b) OMNI-R system with large field of view and high resolution; (c) Everyscope, avery ground-based telescope system developed by Nicholas Law

    图  156  多尺度成像系统。(a) AWARE-2结构图;(b) AWARE-10结构图;(c) AWARE-40结构图

    Figure  156.  Multiscale imaging system. (a) AWARE-2 structure drawing; (b) AWARE-10 structural drawing; (c) AWARE-40 structure drawing

    图  157  传统显微镜存在分辨率与视场大小难以同时兼顾的矛盾:低倍镜下视野大,但分辨率低;切换到高倍镜后分辨率虽得以提升,视场却相应的成更高比例的缩减

    Figure  157.  There is a tradeoff between the resolution and FOV in traditional microscopes: The FOV under low-magnification objective is large with the low resolution; for high-magnification objective, the resolution is improved while the FOV is reduced dramatically

    图  158  克服传统显微镜空间带宽积受限四类可能的解决方案。(a) 芯片上无透镜全息显微成像技术;(b) 傅里叶叠层显微成像技术;(c) 合成孔径/合成视场全息显微技术;(d) 基于流式细胞术的显微成像技术

    Figure  158.  Four types of possible solutions to overcome the limited spatial bandwidth area of conventional microscopes. (a) On-chip lens-free holographic microscopy; (b) Fourier ptychography microscopy; (c) Synthetic aperture/FOV holographic microscopy; (d) Flow cytometric microscopy

    图  159  芯片上无透镜全息显微成像的“亚像素”超分辨技术。(a) 通过移动照明实现亚像素微扫描;(b) 笔者课题组所提出的基于倾斜平行平板的主动亚像素微扫描方案

    Figure  159.  Sub-pixel super-resolution technology based on the lens-free holographic microscope. (a) Sub-pixel micro-scanning by moving illumination; (b) Active sub-pixel micro-scanning scheme with inclined parallel plate proposed by our research group

    图  160  相量传播方法对全息成像重构过程中数据的利用提升[750]

    Figure  160.  Propagation phasor approach improves the data efficiency of holographic imaging[750]

    图  161  基于单帧傅里叶叠层显微成像的高通量定量显微成像

    Figure  161.  High throughput quantitative microscopic imaging based on single frame Fourier ptychographic microscopy

    图  162  单像素成像原理示意图[803]

    Figure  162.  Schematic of single-pixel imaging[803]

    图  163  二维傅里叶单像素成像实验装置示意图[815]

    Figure  163.  Experimental set-up of two-dimension Fourier single-pixel imaging[815]

    图  164  二维傅里叶单像素成像实验结果[815],重建图像的分辨率为256×256 pixel

    Figure  164.  Experimental results of two-dimension Fourier single-pixel imaging[815], the pixels of the reconstructed image are 256×256

    图  165  基于立体视觉的三维单像素成像实验光路[42]

    Figure  165.  Experimental set-up of a stereo vision based 3D single-pixel imaging[42]

    图  166  图像立方法的概述[824]。(a)从场景中背向散射的照明激光脉冲的原始信号;(b)展宽后的信号;(c)利用探测信号得到的一组包含不同深度图像的立方;(d)横截面上的每个位置沿纵向轴的强度分布,包含深度信息;(e)反射率图;(f)深度图可以从图像立方体中解算出来,然后用于重建;(g)场景的三维图像

    Figure  166.  Overview of the image cube method[824]. (a) The illuminating laser pulses back-scattered from a scene are measured as (b) broadened signals; (c) An image cube, containing images at different depths, is obtained using the measured signals; (d) Each transverse location has an intensity distribution along the longitudinal axis, indicating depth information; (e) Reflectivity and (f) a depth map can be estimated from the image cube, and then be used to reconstruct; (g) A 3D image of the scene

    图  167  多维傅里叶单像素成像实验结果[832]。(a)包含目标物体三个模态(空间-三维-彩色)的傅里叶谱,采样率为12%;(b)对重建效果图选中部分区域(红色实线部分);(c)三维彩色重建上视图;(d)三维彩色重建斜视图;(e)三维彩色重建侧视图

    Figure  167.  Experimental results of multi-modality Fourier single-pixel imaging[832]. (a) Fourier transform with spatial, 3D, and color three modality information of target object, where sampling ratio = 12%; (b) Image reconstructed from (a) with partial enlargement; (c)-(e) Top, perspective, and side views of the three-dimensional reconstruction of the object

    图  168  实时太赫兹波段单像素成像实验图[833]

    Figure  168.  Experimental set-up of terahertz imaging with a single-pixel detector[833]

    图  169  (a) 投影式无透镜显微成像实验系统图[833-835];(b) 无透镜光流体显微镜横截面示意图;(c) (b) 中实验装置顶视图。白色圆圈为小孔,浅灰色虚线网格为镀铝二维CMOS图像传感器,蓝线为微流体通道[758,836]

    Figure  169.  (a) Experimental setup[833-835] for lens-free shadow imaging platform; (b) Cross-sectional scheme of the opToFluidic microscopy; (c) The top view of the device (b) The white circles are apertures. The gray dashed grid is the CMOS sensor coated with Al, and the blue lines are the whole microfluidic channel[758,836]

    图  170  无透镜荧光成像原理图。整个成像系统放大率~1,全反射发生在玻璃-空气界面,位于玻璃层底部。为避免检测到散射激发光,在玻璃层下添加了塑料吸收滤光片。(TIR:全反射的缩写;图像是根据参考文献[837-838,841]修改而来)

    Figure  170.  Schematic diagram of the lens-free on-chip fluorescent imaging platform, whose platform has unit magnification. The TIR occurs at the glass-air interface at the bottom facet of the cover glass. To avoid detection of scattered photons a plastic absorption filter is used behind the faceplate. (TIR: Short for total reflection; The image was modified from the references[837-839,841])

    图  171  (a) 无透镜三维层析显微镜实物图[239];(b) (左)用于原位纳米透镜成型和无透镜成像的紧凑装置的实物图和(右)结构原理图[847]

    Figure  171.  (a) Photograph of the lens-free tomography platform[239]; (b) (Left) Photograph and (right) computer graphic diagram of a compact device for in situ nanolens formation and lens-free imaging[847]

    图  172  基于多角度照明的无透镜三维层析成像结果。(a) 马蛔虫子宫切片的折射率重构结果;(b) (a)中红色矩形框中折射率的三维渲染[239];(c) 线虫在z=3μm位置的成像结果;(d1)~(d2) 分别为线虫的前部和后部在y-z平面的成像结果;(e1)~(e2) 分别为沿着(c)中实心箭头和虚线箭头方向的x-z平面的成像结果[548]。(图像是根据参考文献[239,548]修改而来)

    Figure  172.  3D tomographic reconstructions of lens-free on-chip microscope based on multi-angle illumination. (a) The recovered refractive index depth sections of a slice of the uterus of Parascaris equorum; (b) The 3D renderings of the refractive index for the boxed area in (a)[239]; (c) A tomogram for the entire worm corresponding to a plane that is 3 μm above the center of the worm; (d1)-(d2) y-z ortho slices from the anterior and posterior regions of the worm, respectively; (e1)-(e2) x-z ortho slices along the direction of the solid and dashed arrow in (c), respectively[548]

    图  173  无透镜非干涉编码孔径相关全息术。(a) 两颗LEDs和 (b) 两个硬币相距15 mm的重建结果[851]

    Figure  173.  Incoherent lens-free imaging. (a) Two LEDs and (b) two one-dime coins separated by a distance of 15 mm by LI-COACH[851]

    图  174  基于菲涅尔波带片的非相干无透镜摄像。(a) 无镜头相机的实时图像捕获和重建[853];(b) 利用菲涅尔波带片单帧无透镜相机对二值、灰度和彩色图像进行重建[856]

    Figure  174.  Lens-free imaging with FZP and incoherent illumination. (a) Real-time image capturing and reconstruction demonstration of a prototyped lens-free camera[853]; (b) the reconstructions for the binary, grayscale and color images using the FZP single-shot lens-free camera[856]

    图  175  FlatCam结构。(a) 一个二进制的编码掩码被放置在离一个现成的数字图像传感器0.5 mm的地方,对场景进行编码;(b) 一个通过传感器测量和图像重建解决一个计算逆问题的例子

    Figure  175.  FlatCam architecture. (a) A binary, coded mask is placed 0.5 mm away from an off-the-shelf digital image sensor; (b) An example of sensor measurements and the image reconstructed by solving a computational inverse problem

    图  176  自适应光学系统的成像原理图

    Figure  176.  Imaging principle of the system based on adaptive optics

    图  177  SOR 望远镜对低轨卫星的成像效果[875]。(a) 校正前;(b) 校正后;(c) 校正+图像处理

    Figure  177.  Low orbit satellite imaging by SOR telescope[875]. (a) Uncompensated; (b) Compensated; (c) Compensated + image processing

    图  178  成像和人眼测试所用的自适应光学系统的基本布局

    Figure  178.  Basic layout of an adaptive optics system for imaging and vision testing

    图  179  AO-CSLO拍摄的人眼视网膜分层高分辨力图像。(a) 活体人眼视网膜感光细胞层;(b) 毛细血管层;(c) 神经纤维层图像

    Figure  179.  Layered high resolution images taken by the AO-CSLO system. (a) Layer of human retina photoreceptors in vivo; (b) Layer of blood capillaries; (c) Layer of nerve fibers

    图  180  自适应光学在宽场荧光与共聚焦显微镜中的应用

    Figure  180.  Application of adaptive optics in wide field fluorescence and confocal microscope

    图  181  自适应光学在共聚焦显微镜与多光子显微镜中的应用

    Figure  181.  Application of adaptive optics in confocal microscope and multiphoton microscope

    图  182  自适应光学在宽场荧光显微镜和超分辨率荧光显微镜中的应用。 (a) 微管蛋白染色的 HeLa 细胞在校正之前(左) 和之后(右) 的宽场荧光显微成像[892];(b) 一组标称直径为 121 nm 的荧光微球通过常规、共焦和结构光显微成像[894];(c) 使用 DM 和 SLM 来补偿 STED显微镜中所有三个路径的像差[897]; (d) Atto647N 标记的囊泡谷氨酸转运蛋白在完整果蝇大脑突触中的共聚焦(左) 和 3D STED(右) 图像的比较[895]

    Figure  182.  Application of adaptive optics in wide field fluorescence microscopy and super-resolution fluorescence microscopy. (a) Wide-field fluorescence microscopy of tubulin stained HeLa cells before(left) and after(right) correction[892]; (b) A cluster of fluorescent microspheres of nominal diameter 121 nm, as imaged by conventional , confocal , and structured illumination microscopy[894]; (c) By using DM and SLM to compensate all of the three path aberrations in STED microscopy[897]; (d) Comparison of Confocal(left) and 3D STED(right) images of Atto647N labelled vesicular glutamate transporter in synaptic boutons in intact Drosophila brains[895]

    图  183  基于反馈的波前调制原理及实验结果[919]

    Figure  183.  Principle and experimental results of feedback-based wavefront shaping[919]

    图  184  基于散射介质的TM测量原理[920]

    Figure  184.  TM measurement principle based on scattering medium[920]

    图  185  基于光学相位共轭的生物组织散射成像[924]

    Figure  185.  Optical phase conjugation based scattering imaging of biological tissue[924]

    图  186  透过强散射层非入侵式散射成像示意图[18]

    Figure  186.  Schematic of the apparatus for non-invasive imaging through strongly scattering layers

    图  187  基于单帧散斑自相关的透过强散射层成像[923]。(a)实验装置模型; (b)相机原始图像; (c)自相关; (d)通过迭代相位恢复算法重建物体; (e)实验系统; (f)相机原始数据; (g)~(k)第一列为自相关,第二列为重建物体,第三列为真实的物体

    Figure  187.  Single frame imaging based on speckle autocorrelation[923] (a) Experimental set-up; (b) Raw camera image; (c) The autocorrelation of the seemingly information-less raw camera image; (d) The object’s image is obtained from the autocorrelation of by an iterative phase-retrieval algorithm; (e) Photograph of the experiment; (f) Raw camera image; (g)-(k) Left column: calculated autocorrelation of the image in (b), Middle column: reconstructed object from the image autocorrelation. Right column: image of the real hidden object

    图  188  基于深度学习进行散射介质成像的网络原理图[927]

    Figure  188.  Network schematic diagram of imaging through scattering medium based on deep learning[927]

    图  189  典型的非视域成像系统示意图

    Figure  189.  Schematic diagram of typical non field of view imaging system

    图  190  (a)捕获过程:通过用脉冲激光依次照亮墙上的单个点并用条纹相机记录墙上虚线段的图像来捕获一系列图像;(b)按顺序收集的条纹图像示例。根据校准信号对强度进行标准化。红色对应于最大强度,蓝色对应于最小强度;(c)通过重建算法恢复的隐藏物体的3D形状的2D投影视图

    Figure  190.  (a) The capture process: capture a series of images by sequentially illuminating a single spot on the wall with a pulsed laser and recording an image of the dashed line segment on the wall with a streak camera; (b) An example of streak images sequentially collected. Intensities are normalized against a calibration signal. Red corresponds to the maximum, blue to the minimum intensities; (c) The 2D projected view of the 3D shape of the hidden object, as recovered by the reconstruction algorithm

    图  191  间接光传输的双重摄影[934]。(a)系统实验装置;(b)室内照明下拍摄到的扑克牌及书本视图;(c)投影仪扫描(d)扑克牌上指示点时获取的样本图像

    Figure  191.  Dual photography of indirect light transmission[934]. (a) System experimental device; (b) View of playing cards and books taken under indoor lighting; (c) Sample image obtained when the projector scans the indicated points on the playing cards in (d)

    图  192  基于单像素的“广播式”成像系统[935]

    Figure  192.  Proposed secured single-pixel broadcast imaging system[935]

    图  193  共焦非视域成像

    Figure  193.  Diagram of confocal non-line-of-sight imaging

    图  194  远距离NLOS成像实验。(a) 非视域成像实验的航空示意图;(b)光学仿真结果成像系统的装置图,它由两台同步望远镜组成,分别用于发射和接收;(c)尺寸为2 m×1 m的房间,作为隐藏场景示意图;(d) 非视域成像设置的实际照片;(e)、(f)在A位置拍摄的隐藏场景以及其放大照片,在A位置只能看到可见的墙;(g)隐藏物体的照片,在位于B的房间拍摄

    Figure  194.  Long-range NLOS imaging experiment. (a) An aerial schematic of the NLOS imaging experiment; (b) The optical setup of the NLOS imaging system, which consists of two synchronized telescopes for transmitter and receiver; (c) Schematic of the hidden scene in a room with a dimension size of 2 m×1 m; (d) An actual photograph of the NLOS imaging setup; (e)-(f) Zoomed-out and zoomed-in photographs of the hidden scene taken at location A, where only the visible wall can be seen; (g) Photograph of the hidden object, taken at the room located at B

    图  195  用不同方法比较重建的结果。(a)人体模型隐藏场景的重建结果;(b)字母H隐藏场景的重构结果

    Figure  195.  Comparison of the reconstructed results with different approaches. (a) The reconstructed results for the hidden scene of mannequin; (b) The reconstructed results for the hidden scene of letter H

    图  196  温度跳变约1 ℃所引起的热成像相机非均匀性[945]

    Figure  196.  Nonuniformity of the thermal imaging camera caused by temperature jump of approximately 1 °C[945]

    图  197  基于场景的非均匀性校正效果示意图

    Figure  197.  Scene-based non-uniformity correction results

    图  198  时域高通滤波的非均匀性校正方法

    Figure  198.  Non-uniformity correction method based om temporal high-pass filter

    图  199  长时间运动场景的期望(均值)图像近似满足恒定统计假设

    Figure  199.  The expected (mean) image of a long-time motion scene approximately satisfies the constant statistical assumption

    图  200  各类统计恒定法非均匀性校正的实验对比图。(a) 未校正图像; (b) 多尺度恒定统计; (c) 全局恒定统计; (d) 局部恒定统计

    Figure  200.  Experimental comparison plots of non-uniformity correction for various types of statistical constancy methods. (a) Uncorrected image; (b) Multiscale constant statistics; (c) Global constant statistics; (d) Local constant statistics

    图  201  基于神经网络模型的非均匀性校正方法

    Figure  201.  Non-uniformity correction method based on neural network

    图  202  全景图积累法示意图

    Figure  202.  Motion compensation average method

    图  203  基于帧间配准的非均匀性校正方法

    Figure  203.  Nonuniformity correction method based on inter-frame registration

    图  204  基于帧间配准的非均匀性校正方法要求精确估计强非均匀性对图像的相对位移

    Figure  204.  Non-uniformity correction method based on inter-frame registration require accurate estimation of the relative displacement of an image pair imposed by strong non-uniformity

    图  205  针对红外探测器的非均匀性和动态范围低等问题,南京理工大学针对性发展高性能红外图像信号处理技术,设计了集成有基于场景非均匀性校正与红外图像数字细节增强等核心算法定制化的ASIC芯片,并基于此研制了高性能无挡片热像仪

    Figure  205.  In response to the problems of non-uniformity and low dynamic range of infrared detectors, Nanjing University of Science and Technology has developed high-performance infrared image signal processing technology, designed an ASIC with customized core algorithms based on scene-based non-uniformity correction and digital detail enhancement of infrared images, and developed a high-performance shutterless thermal imaging camera

    图  206  高端光学设备仪器及其核心器件技术是西方军事强国对我国禁运的“卡脖子”技术和产品

    Figure  206.  High-end optical instruments and their core technologies are the "bottle-neck" technologies and products embargoed by the Western military powers to China

    图  207  中华人民共和国主席令(第一〇三号)中明确指出在功能、质量等指标能够满足需求的条件下,鼓励采购国产科研仪器

    Figure  207.  The Decree of the President of the People's Republic of China (No. 103) clearly states that under the condition that the function, quality and other indicators can meet the demand, the procurement of domestic scientific research instruments is encouraged

    表  1  典型35 mm单反相机镜头的空间带宽积

    Table  1.   Spatial bandwidth product of typical 35 mm SLR lens

    Focal length/mmField angle
    (diagonal)/(°)
    Typical
    F#
    Equivalent
    NA
    Focal plane resolution
    (550 nm)/μm
    Spatial bandwidth product
    Mega pixel/MP
    Megapixel/mrad
    81803.50.142.3963.350.29
    2094.51.80.271.24212.40.06
    5046.81.20.410.81828.70.016
    8528.61.40.350.95920.90.011
    10024.42.80.171.9734.90.018
    20012.340.122.7952.40.013
    4006.25.60.084.1931.10.009
    10002.580.065.5910.610.005
    下载: 导出CSV

    表  2  典型的显微物镜的空间带宽积

    Table  2.   Spatial bandwidth product of typical microscopic objectives

    Objectives
    (Magnification/Numerical aperture/Field number)
    Resolution/nm
    (Incident wavelength 532 nm)
    SBP/
    Megapixel·MP−1
    1.25×/0.04/26.5811321.5
    2×/0.08/26.5405733.5
    4×/0.16/26.5202833.5
    10×/0.3/26.5108218.9
    20×/0.5/26.564913.1
    40×/0.75/26.54337.4
    60×/0.9/26.53614.7
    100×/1.3/26.52503.5
    下载: 导出CSV
  • [1] 佚名. Nimrud lens[Z/OL]. (2018–12–07)[2019–06–17].https://en.wikipedia.org/w/index.php?title=Nimrud_lens&oldid=872400603.
    [2] 佚名. Huawei rewrites the rules of photography with ground-breaking huawei P30 series[EB/OL]. (2019-03-26)[2019–06–17]. https://consumer.huawei.com/en/press/news/2019/huawei-rewrites-the-rules-of-photography-with-the-new-p30-series/.
    [3] 佚名. Computational imaging[Z/OL]. (2019–03–15)[2019–06–17]. https://en.wikipedia.org/w/index.php?title=Computational_imaging&oldid=887843699.
    [4] KUBALA K, DOWSKI E, CATHEY W. Reducing complexity in computational imaging systems [J]. Optics Express, 2003, 11(18): 2102. doi:  10.1364/OE.11.002102
    [5] MAIT J, ATHALE R, van der GRACHT J. Evolutionary paths in imaging and recent trends [J]. Optics Express, 2003, 11(18): 2093-2101. doi:  10.1364/OE.11.002093
    [6] BIMBER O. Guest editor’s introduction: Computational photography-The next big step [J]. Computer, 2006, 39(8): 28-29. doi:  10.1109/MC.2006.261
    [7] RASKAR R. Computational photography[C/OL]//Frontiers in Optics 2009/Laser Science XXV/Fall 2009 OSA Optics & Photonics Technical Digest, 2009: CTuA1. [2019–06–23].https://www.osapublishing.org/abstract.cfm?uri=COSI-2009-CTuA1.
    [8] MAIT J N, EULISS G W, ATHALE R A. Computational imaging [J]. Advances in Optics and Photonics, 2018, 10(2): 409. doi:  10.1364/AOP.10.000409
    [9] BRADY D J. Optical Imaging and Spectroscopy[M]. New Jersey: John Wiley & Sons, 2009.
    [10] Computational imaging: Rethinking how we look at the world[J/OL]. [2019–06–26]. https://www.mitre.org/publications/project-stories/computational-imaging-rethinking-how-we-look-at-the-world.
    [11] CATHEY W T, FRIEDEN B R, RHODES W T, et al. Image gathering and processing for enhanced resolution [J]. JOSA A, 1984, 1(3): 241-250. doi:  10.1364/JOSAA.1.000241
    [12] MATIC R M, GOODMAN J W. Optimal pupil screen design for the estimation of partially coherent images [J]. JOSA A, 1987, 4(12): 2213-2227. doi:  10.1364/JOSAA.4.002213
    [13] MATIC R M, GOODMAN J W. Comparison of optical predetection processing and postdetection linear processing for partially coherent image estimation [J]. Journal of the Optical Society of America A, 1989, 6(2): 213. doi:  10.1364/JOSAA.6.000213
    [14] MATIC R M, GOODMAN J W. Optical preprocessing for increased system throughput [J]. JOSA A, 1989, 6(3): 428-440. doi:  10.1364/JOSAA.6.000428
    [15] VELDKAMP W B. Wireless focal planes “On the road to amacronic sensors” [J]. IEEE Journal of Quantum Electronics, 1993, 29(2): 801-813. doi:  10.1109/3.199331
    [16] DOWSKI E R, CATHEY W T. Extended depth of field through wave-front coding [J]. Applied Optics, 1995, 34(11): 1859-1866. doi:  10.1364/AO.34.001859
    [17] van der GRACHT J, JR E R D, JR W T C, et al. Aspheric optical elements for extended depth-of-field imaging[C/OL]//Novel Optical Systems Design and Optimization. International Society for Optics and Photonics, 1995: 279–288. [2019–06–24]. https://www.spiedigitallibrary.org/conference-proceedings-of-spie/2537/0000/Aspheric-optical-elements-for-extended-depth-of-field-imaging/10.1117/12.216392.short.
    [18] van der GRACHT J, DOWSKI E R, TAYLOR M G, et al. Broadband behavior of an optical–digital focus-invariant system [J]. Optics Letters, 1996, 21(13): 919-921. doi:  10.1364/OL.21.000919
    [19] ADELSON E H, BERGEN J R. The Plenoptic Function and the Elements of Early Vision[M]// Landy M, Movshon J A. Computational Models of Visual Processing. Massachusetts: MIT Press, 1991: 3-20.
    [20] LEVOY M, HANRAHAN P. Light field rendering[C/OL]//Proceedings of the 23 rd Annual Conference on Computer Graphics and Interactive Techniques-SIGGRAPH ’96. New York: ACM Press, 1996: 31–42. [2019–06–24]. http://portal.acm.org/citation.cfm?doid=237170.237199.
    [21] NAYAR S K, NOGUCHI M. Real-time focus range sensor [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(12): 13.
    [22] BATLLE J, MOUADDIB E, SALVI J. Recent progress in coded structured light as a technique to solve the correspondence problem: a survey [J]. Pattern Recognition, 1998, 31(7): 963-982. doi:  10.1016/S0031-3203(97)00074-5
    [23] DEBEVEC P E, MALIK J. Recovering high dynamic range radiance maps from photographs[C/OL]//Proceedings of the 24 th Annual Conference on Computer Graphics and Interactive Techniques. New York, USA: ACM Press/Addison-Wesley Publishing Co., 1997: 369–378. [2019–06–24].https://doi.org/10.1145/258734.258884.
    [24] NAYAR S K, MITSUNAGA T. High dynamic range imaging: spatially varying pixel exposures[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2000.
    [25] NAYAR S K, BRANZOI V, BOULT T E. Programmable imaging using a digital micromirror array[C/OL]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR. Washington, DC, USA: IEEE, 2004: 436–443. [2019–06–24]. http://ieeexplore.ieee.org/document/1315065/.
    [26] MARKS D L, STACK R A, BRADY D J. Three-dimensional coherence imaging in the fresnel domain [J]. Applied Optics, 1999, 38(8): 1332-1342. doi:  10.1364/AO.38.001332
    [27] SCHECHNER Y Y, NARASIMHAN S G, NAYAR S K. Instant dehazing of images using polarization[C/OL]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR. Kauai, HI, USA: IEEE Comput Soc, 2001: I-325-I–332. [2019–06–24]. http://ieeexplore.ieee.org/document/990493/.
    [28] 佚名. OSA Topical Meeting on Integrated Image Gathering and Processing, Albuquerque, New Mexico[R]. Optical Society of America, 2001.
    [29] 佚名. CS 448 - topics in computer graphics: Computational photography[EB/OL]. [2019–06–25]. http://graphics.stanford.edu/courses/cs448-04-spring/.
    [30] 佚名. Symposium on computational photography and video[EB/OL]. [2019–06–25]. http://scpv.csail.mit.edu/.
    [31] RASKAR R, TUMBLIN J. Computational Photography, Imaging and Video[EB/OL]. [2019–06–25]. https://web.media.mit.edu/~raskar/photo/.
    [32] WILBURN B, JOSHI N, VAISH V, et al. High-speed videography using a dense camera array [C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004.
    [33] LEVOY M, CHEN B, VAISH V, et al. Synthetic aperture confocal imaging[C/OL]//ACM SIGGRAPH 2004 Papers. New York, NY, USA: ACM, 2004: 825–834. [2019–06–24]. http://doi.acm.org/10.1145/1186562.1015806.
    [34] WILBURN B, JOSHI N, VAISH V, et al. High performance imaging using large camera arrays[C/OL]//ACM SIGGRAPH 2005 Papers. New York, NY, USA: ACM, 2005: 765–776. [2019–06–24]. http://doi.acm.org/10.1145/1186822.1073259.
    [35] NAYAR S K, BEN-EZRA M. Motion-based motion deblurring [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 689-698. doi:  10.1109/TPAMI.2004.1
    [36] RASKAR R, TAN K-H, FERIS R, et al. Non-photorealistic camera: Depth edge detection and stylized rendering using multi-flash imaging[C/OL]//ACM SIGGRAPH 2004 Papers. New York, USA: ACM, 2004: 679–688. [2019–06–26]. http://doi.acm.org/10.1145/1186562.1015779.
    [37] NG R, LEVOY M, BRÉDIF M, et al. Light field photography with a hand-held plenoptic camera [J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.
    [38] 佚名. Lytro[Z/OL]. (2019–02–26)[2019–06–26]. https://en.wikipedia.org/w/index.php?title=Lytro&oldid=885240133.
    [39] SEN P, CHEN B, GARG G, et al. Dual photography[C/OL]//ACM SIGGRAPH 2005 Papers. New York, NY, USA: ACM, 2005: 745–755. [2019–06–24]. http://doi.acm.org/10.1145/1186822.1073257.
    [40] TAKHAR D, LASKA J N, WAKIN M B, et al. A new compressive imaging camera architecture using optical-domain compression[C/OL]. BOUMAN C A, MILLER E L, POLLAK I. [2019–06–26]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=728899.
    [41] DUARTE M F, DAVENPORT M A, TAKHAR D, et al. Single-pixel imaging via compressive sampling [J]. IEEE Signal Processing Magazine, 2008, 25(2): 83-91. doi:  10.1109/MSP.2007.914730
    [42] SUN B, EDGAR M P, BOWMAN R, et al. 3 D computational imaging with single-pixel detectors [J]. Science, 2013, 340(6134): 844-847. doi:  10.1126/science.1234454
    [43] LEVOY M, NG R, ADAMS A, et al. Light Field Microscopy[C/OL]//ACM SIGGRAPH 2006 Papers. New York, NY, USA: ACM, 2006: 924–934. [2019–06–24]. http://doi.acm.org/10.1145/1179352.1141976.
    [44] RASKAR R, AGRAWAL A, TUMBLIN J. Coded exposure photography: Motion deblurring using fluttered shutter[C/OL]//ACM SIGGRAPH 2006 Papers. New York, NY, USA: ACM, 2006: 795–804[2017–03–14]. http://doi.acm.org/10.1145/1179352.1141957.
    [45] LEVIN A, FERGUS R, DURAND F, et al. Image and depth from a conventional camera with a coded aperture[C/OL]//ACM SIGGRAPH 2007 Papers. New York, NY, USA: ACM, 2007. [2019–06–26]. http://doi.acm.org/10.1145/1275808.1276464.
    [46] VEERARAGHAVAN A, RASKAR R, AGRAWAL A, et al. Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing[C/OL]//ACM SIGGRAPH 2007 Papers. New York, NY, USA: ACM, 2007. [2017–03–14]. http://doi.acm.org/10.1145/1275808.1276463.
    [47] RASKAR R. Less is more: Coded computational photography[C/OL]//Proceedings of the 8 th Asian Conference on computer Vision - Volume Part I. Berlin, Heidelberg: Springer-Verlag, 2007: 1–12. [2019–06–25]. http://dl.acm.org/citation.cfm?id=1775614.1775616.
    [48] GEHM M E, JOHN R, BRADY D J, et al. Single-shot compressive spectral imaging with a dual-disperser architecture [J]. Optics Express, 2007, 15(21): 14013-14027. doi:  10.1364/OE.15.014013
    [49] WAGADARIKAR A, JOHN R, WILLETT R, et al. Single disperser design for coded aperture snapshot spectral imaging [J]. Applied Optics, 2008, 47(10): B44-B51. doi:  10.1364/AO.47.000B44
    [50] BABCOCK H W. The possibility of compensating astronomical seeing [J]. Publications of the Astronomical Society of the Pacific, 1953, 65(386): 229-236.
    [51] HARDY J W. Active optics: A new technology for the control of light [C]//Proceedings of the IEEE, 1978, 66(6): 651–697.
    [52] FRIED D. Special issue on adaptive optics[J]. JOSA, 1977, 67(3): 47.
    [53] LINNIK V P. On the possibility of reducing the influence of atmospheric seeing on the image quality of stars[C]//European Southern Observatory Conference and Workshop Proceedings. 1994, 48: 535.
    [54] GERCHBERG R, SAXTON W. A practical algorithm for the determination of the phase from image and diffraction plane pictures [J]. Optik (Jena), 1972, 35: 237.
    [55] GERCHBERG R W. Phase determination from image and diffraction plane pictures in the electron microscope [J]. Optik, 1971, 34(3): 275-284.
    [56] FIENUP J R. Phase retrieval algorithms: A comparison [J]. Applied Optics, 1982, 21(15): 2758-2769. doi:  10.1364/AO.21.002758
    [57] TAKASAKI H. Moiré Topography [J]. Applied Optics, 1970, 9(6): 1467-1472. doi:  10.1364/AO.9.001467
    [58] CHIANG F P. Moire methods for contouring displacement, deflection, slope and curvature[C/OL]. [2019–06–26]. http://adsabs.harvard.edu/abs/1978 SPIE..153..113 C.
    [59] Creath K, Wyant J C. Moiré and fringe projection techniques [J]. Optical Shop Testing, 1992, 2: 653-685.
    [60] TAKEDA M, INA H, KOBAYASHI S. Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry [J]. JOSA, 1982, 72(1): 156-160. doi:  10.1364/JOSA.72.000156
    [61] TAKEDA M. Fourier fringe analysis and its application to metrology of extreme physical phenomena: A review [Invited] [J]. Applied Optics, 2013, 52(1): 20. doi:  10.1364/AO.52.000020
    [62] TAKEDA M, MUTOH K. Fourier transform profilometry for the automatic measurement of 3-d object shapes [J]. Applied Optics, 1983, 22(24): 3977-3982. doi:  10.1364/AO.22.003977
    [63] MALACARA D. Optical Shop Testing[M]. New Jersey: John Wiley & Sons, 2007.
    [64] BRUNING J H, HERRIOTT D R, GALLAGHER J, et al. Digital wavefront measuring interferometer for testing optical surfaces and lenses [J]. Applied Optics, 1974, 13(11): 2693-2703. doi:  10.1364/AO.13.002693
    [65] GABOR D. A New microscopic principle[EB/OL]. [2019–06–24]. https: //www.nature.com/articles/161777 a0.
    [66] LEITH E N, UPATNIEKS J. Reconstructed wavefronts and communication theory [J]. JOSA, 1962, 52(10): 1123-1130. doi:  10.1364/JOSA.52.001123
    [67] GOODMAN J W, LAWRENCE R W. Digital image formation from electronically detected holograms [J]. Applied Physics Letters, 1967, 11(3): 77-79. doi:  10.1063/1.1755043
    [68] KREIS T. Digital holographic interference-phase measurement using the Fourier-transform method [J]. JOSA A, 1986, 3(6): 847-855. doi:  10.1364/JOSAA.3.000847
    [69] NAKADATE S, YATAGAI T, SAITO H. Digital speckle-pattern shearing interferometry [J]. Applied Optics, 1980, 19(24): 4241-4246. doi:  10.1364/AO.19.004241
    [70] NAKADATE S, YATAGAI T, SAITO H. Electronic speckle pattern interferometry using digital image processing techniques [J]. Applied Optics, 1980, 19(11): 1879-1883. doi:  10.1364/AO.19.001879
    [71] SCHNARS U, JÜPTNER W. Direct recording of holograms by a ccd target and numerical reconstruction [J]. Applied Optics, 1994, 33(2): 179-181. doi:  10.1364/AO.33.000179
    [72] CUCHE E, MARQUET P, DEPEURSINGE C. Spatial filtering for zero-order and twin-image elimination in digital off-axis holography [J]. Applied Optics, 2000, 39(23): 4070-4075. doi:  10.1364/AO.39.004070
    [73] TAKEDA M, RU Q-S. Computer-based highly sensitive electron-wave interferometry [J]. Applied Optics, 1985, 24(18): 3068. doi:  10.1364/AO.24.003068
    [74] KLOTZ E, WEISS H. Three-dimensional coded aperture imaging using nonredundant point distributions [J]. Optics Communications, 1974, 11(4): 368-372. doi:  10.1016/0030-4018(74)90238-7
    [75] TIPTON M D, DOWDEY J E, BONTE F J, et al. Coded aperture imaging using on-axis Fresnel zone plates and extended Gamma-ray sources [J]. Radiology, 1974, 112(1): 155-158. doi:  10.1148/112.1.155
    [76] FENIMORE E E. Coded aperture imaging: Predicted performance of uniformly redundant arrays [J]. Applied Optics, 1978, 17(22): 3562-3570. doi:  10.1364/AO.17.003562
    [77] FENIMORE E E, CANNON T M. Coded aperture imaging with uniformly redundant arrays [J]. Applied Optics, 1978, 17(3): 337-347. doi:  10.1364/AO.17.000337
    [78] FENIMORE E E, CANNON T M, MILLER E L. Comparison of Fresnel zone plates and uniformly redundant arrays[C/OL]//Digital Image Processing II. International Society for Optics and Photonics, 1978: 232–236. [2019–06–26]. https://www.spiedigitallibrary.org/conference-proceedings-of-spie/0149/0000/Comparison-Of-Fresnel-Zone-Plates-And-Uniformly-Redundant-Arrays/10.1117/12.956690.short.
    [79] GOTTESMAN S R, FENIMORE E E. New family of binary arrays for coded aperture imaging [J]. Applied Optics, 1989, 28(20): 4344-4352. doi:  10.1364/AO.28.004344
    [80] OSA. Computational Optical Sensing and Imaging[EB/OL]. [2019–06–24]. https://www.osapublishing.org/conference.cfm?meetingid=15.
    [81] 佚名. IEEE International Conference on Computational Photography (ICCP)[EB/OL]. [2019–06–26]. https://ieeexplore.ieee.org/xpl/conhome/1800125/all-proceedings.
    [82] 佚名. Conference Detail for Computational Imaging IV[EB/OL]. [2019–06–26]. https://spie.org/SI/conferencedetails/computational-imaging?SSO=1.
    [83] 佚名. About TCI[EB/OL]. (2019–04–12)[2019–06–26]. https://signalprocessingsociety.org/publications-resources/ieee-transactions-computational-imaging/about-tci.
    [84] 佚名. To the cinematic and vr community, live long and prosper[EB/OL]. [2019–06–26]. https://web.archive.org/web/20180328000530/http://blog.lytro.com/to-the-cinematic-and-vr-community-live-long-and-prosper/.
    [85] 赵玲玲. 实景三维中国建设技术大纲印发[EB/OL]. [2022–02–15]. http://www.mnr.gov.cn/dt/ch/202108/t20210826_2678325.html.
    [86] Cao Liangcai, He Zehao, Liu Kexuan, et al. Progress and challenges in dynamic holographic 3 D display for the metaverse (Invited) [J]. Infrared and Laser Engineering, 2022, 51(1): 20210935. (in Chinese) doi:  10.3788/IRLA20210935
    [87] SULLIVAN B T. Computational photography is ready for its close-up[EB/OL]. [2019–06–26]. https://www.pcmag.com/article/362806/computational-photography-is-ready-for-its-close-up.
    [88] 佚名. Computational photography will completely revolutionize your smartphone camera - android authority[EB/OL]. [2019–06–26]. http://m.dailyhunt.in/news/india/english/android+authority-epaper-andauth/computational+photography+will+completely+revolutionize+your+smartphone+camera-newsid-94132611.
    [89] COWLEY J M. Diffraction Physics[M]. 3rd ed. Amsterdam: Elsevier Science B V, 1995.
    [90] GOODMAN J W. Introduction to Fourier Optics[M]. Colorado: Roberts and Company Publishers, 2005.
    [91] BORN M, WOLF E, BHATIA A B, et al. Principles of Optics: Electromagnetic Theory of Propagation, Interference and Diffraction of Light[M]. 7th ed. Cambridge: Cambridge University Press, 1999.
    [92] 佚名. High-speed camera[Z/OL]. (2017–06–20). https://en.wikipedia.org/w/index.php?title=High-speed_camera&oldid=786672531.
    [93] ZERNIKE F. Phase contrast, a new method for the microscopic observation of transparent objects [J]. Physica, 1942, 9(7): 686-698. doi:  10.1016/S0031-8914(42)80035-X
    [94] NOMARSKI G. Differential microinterferometer with polarized waves [J]. J Phys Radium Paris, 1955, 16(9): 9S-11S.
    [95] ABRAMOVICI A, ALTHOUSE W E, DREVER R W, et al. LIGO: The laser interferometer gravitational-wave observatory [J]. Science, 1992, 256(5055): 325-333. doi:  10.1126/science.256.5055.325
    [96] ABBOTT B P, ABBOTT R, ABBOTT T D, et al. Observation of gravitational waves from a binary black hole merger [J]. Physical Review Letters, 2016, 116(6): 061102. doi:  10.1103/PhysRevLett.116.061102
    [97] OLE J, LEKBERG. Electronic speckle pattern interferometry [J]. Physics in Technology, 1980, 11(1): 16. doi:  10.1088/0305-4624/11/1/303
    [98] WANG W-C, HWANG C-H, LIN S-Y. Vibration measurement by the time-averaged electronic speckle pattern interferometry methods [J]. Applied Optics, 1996, 35(22): 4502-4509. doi:  10.1364/AO.35.004502
    [99] POPESCU G, IKEDA T, DASARI R R, et al. Diffraction phase microscopy for quantifying cell structure and dynamics [J]. Optics Letters, 2006, 31(6): 775-777. doi:  10.1364/OL.31.000775
    [100] SCHWARZ C J, KUZNETSOVA Y, BRUECK S R J. Imaging interferometric microscopy [J]. Optics Letters, 2003, 28(16): 1424-1426. doi:  10.1364/OL.28.001424
    [101] KUZNETSOVA Y, NEUMANN A, BRUECK S R J. Imaging interferometric microscopy–approaching the linear systems limits of optical resolution [J]. Optics Express, 2007, 15(11): 6651-6663. doi:  10.1364/OE.15.006651
    [102] SCHNARS U, JUEPTNER W. Digital Holography: Digital Hologram Recording, Numerical Reconstruction, and related techniques[M/OL]. Springer Science & Business Media, 2005. [2017–07–04]. https://link.springer.com/book/10.1007/b138284.
    [103] CUCHE E, BEVILACQUA F, DEPEURSINGE C. Digital holography for quantitative phase-contrast imaging [J]. Optics Letters, 1999, 24(5): 291-293. doi:  10.1364/OL.24.000291
    [104] SCHNARS U, JÜPTNER W P O. Digital recording and numerical reconstruction of holograms [J]. Measurement Science and Technology, 2002, 13(9): R85. doi:  10.1088/0957-0233/13/9/201
    [105] CUCHE E, MARQUET P, DEPEURSINGE C. Simultaneous amplitude-contrast and quantitative phase-contrast microscopy by numerical reconstruction of fresnel off-axis holograms [J]. Applied Optics, 1999, 38(34): 6994-7001. doi:  10.1364/AO.38.006994
    [106] KEMPER B, LANGEHANENBERG P, VON BALLY G. Digital holographic microscopy [J]. Optik & Photonik, 2007, 2(2): 41-44. doi:  10.1002/opph.201190249
    [107] KIM M K. Digital Holographic Microscopy[M/OL]//Digital Holographic Microscopy. New York: Springer, 2011: 149–190. [2017–07–04]. https://link.springer.com/chapter/10.1007/978-1-4419-7793-9_11.
    [108] KEMPER B, von BALLY G. Digital holographic microscopy for live cell applications and technical inspection [J]. Applied Optics, 2008, 47(4): A52-A61. doi:  10.1364/AO.47.000A52
    [109] MARQUET P, RAPPAZ B, MAGISTRETTI P J, et al. Digital holographic microscopy: A noninvasive contrast imaging technique allowing quantitative visualization of living cells with subwavelength axial accuracy [J]. Optics Letters, 2005, 30(5): 468-470. doi:  10.1364/OL.30.000468
    [110] HARTMANN J. Bemerkungen uber den bau und die justirung von spektrographen [J]. Zt Instrumentenkd, 1990, 20(47): 17-27.
    [111] PLATT B C, SHACK R. History and principles of Shack-Hartmann wavefront sensing [J]. Journal of Refractive Surgery, 2001, 17(5): S573-S577. doi:  10.3928/1081-597X-20010901-13
    [112] SHACK R V, PLATT B. Production and use of a lenticular Hartmann screen [J]. Journal of the Optical Society of America, 1971, 61: 656-661.
    [113] RAGAZZONI R. Pupil plane wavefront sensing with an oscillating prism [J]. Journal of Modern Optics, 1996, 43(2): 289-293. doi:  10.1080/09500349608232742
    [114] ESPOSITO S, RICCARDI A. Pyramid wavefront sensor behavior in partial correction adaptive optic systems [J]. Astronomy & Astrophysics, 2001, 369(2): L9-L12. doi:  10.1051/0004-6361:20010219
    [115] RAGAZZONI R, DIOLAITI E, VERNET E. A pyramid wavefront sensor with no dynamic modulation [J]. Optics Communications, 2002, 208(1): 51-60. doi:  10.1016/S0030-4018(02)01580-8
    [116] NEIL M A A, BOOTH M J, WILSON T. New modal wave-front sensor: A theoretical analysis [J]. JOSA A, 2000, 17(6): 1098-1107. doi:  10.1364/JOSAA.17.001098
    [117] BOOTH M J. Wave front sensor-less adaptive optics: A model-based approach using sphere packings [J]. Optics Express, 2006, 14(4): 1339-1352. doi:  10.1364/OE.14.001339
    [118] SCHÄFER B, MANN K. Determination of beam parameters and coherence properties of laser radiation by use of an extended Hartmann-Shack wave-front sensor [J]. Applied Optics, 2002, 41(15): 2809-2817. doi:  10.1364/AO.41.002809
    [119] SCHÄFER B, LÜBBECKE M, MANN K. Hartmann-Shack wave front measurements for real time determination of laser beam propagation parameters [J]. Review of Scientific Instruments, 2006, 77(5): 053103. doi:  10.1063/1.2198795
    [120] PFUND J, LINDLEIN N, SCHWIDER J, et al. Absolute sphericity measurement: A comparative study of the use of interferometry and a Shack–Hartmann sensor [J]. Optics Letters, 1998, 23(10): 742-744. doi:  10.1364/OL.23.000742
    [121] GREIVENKAMP J E, SMITH D G, GAPPINGER R O, et al. Optical testing using Shack-Hartmann wavefront sensors[C]// Optical Engineering for Sensing and Nanotechnology (ICOSN 2001). SPIE, 2001, 4416: 260-263.
    [122] DAYTON D, GONGLEWSKI J, PIERSON B, et al. Atmospheric structure function measurements with a Shack–Hartmann wave-front sensor [J]. Optics Letters, 1992, 17(24): 1737-1739. doi:  10.1364/OL.17.001737
    [123] RICKLIN J C, DAVIDSON F M. Atmospheric turbulence effects on a partially coherent Gaussian beam: Implications for free-space laser communication [J]. JOSA A, 2002, 19(9): 1794-1802. doi:  10.1364/JOSAA.19.001794
    [124] BOOTH M J. Adaptive optics in microscopy [J]. Philosophical Transactions of the Royal Society of London A:Mathematical, Physical and Engineering Sciences, 2007, 365(1861): 2829-2843. doi:  10.1098/rsta.2007.0013
    [125] CHA J W, BALLESTA J, SO P T C. Shack-Hartmann wavefront-sensor-based adaptive optics system for multiphoton microscopy [J]. Journal of Biomedical Optics, 2010, 15(4): 046022. doi:  10.1117/1.3475954
    [126] LIANG J, GRIMM B, GOELZ S, et al. Objective measurement of wave aberrations of the human eye with the use of a Hartmann–Shack wave-front sensor [J]. JOSA A, 1994, 11(7): 1949-1957. doi:  10.1364/JOSAA.11.001949
    [127] MORENO-BARRIUSO E, NAVARRO R. Laser ray tracing versus Hartmann–Shack sensor for measuring optical aberrations in the human eye [J]. JOSA A, 2000, 17(6): 974-985. doi:  10.1364/JOSAA.17.000974
    [128] KOHNEN T, KOCH D. Cataract and Refractive Surgery[M]. Berlin: Springer, 2006.
    [129] ALLEN L J, OXLEY M P. Phase retrieval from series of images obtained by defocus variation [J]. Optics Communications, 2001, 199: 65-75. doi:  10.1016/S0030-4018(01)01556-5
    [130] BAUSCHKE H H, COMBETTES P L, LUKE D R. Phase retrieval, error reduction algorithm, and fienup variants: A view from convex optimization [J]. JOSA A, 2002, 19(7): 1334-1345. doi:  10.1364/JOSAA.19.001334
    [131] BAUSCHKE H H, COMBETTES P L, LUKE D R. Hybrid projection–reflection method for phase retrieval [J]. JOSA A, 2003, 20(6): 1025-1034. doi:  10.1364/JOSAA.20.001025
    [132] ELSER V. Phase retrieval by iterated projections [J]. JOSA A, 2003, 20(1): 40-55. doi:  10.1364/JOSAA.20.000040
    [133] LUKE D R. Relaxed averaged alternating reflections for diffraction imaging [J]. Inverse Problems, 2005, 21(1): 37-50. doi:  10.1088/0266-5611/21/1/004
    [134] ZUO J M, VARTANYANTS I, GAO M, et al. Atomic resolution imaging of a carbon nanotube from diffraction intensities [J]. Science, 2003, 300(5624): 1419-1421. doi:  10.1126/science.1083887
    [135] EISEBITT S, LÜNING J, SCHLOTTER W F, et al. Lensless imaging of magnetic nanostructures by X-ray spectro-holography [J]. Nature, 2004, 432(7019): 885-888. doi:  10.1038/nature03139
    [136] MARCHESINI S, HE H, CHAPMAN H N, et al. X-ray image reconstruction from a diffraction pattern alone [J]. Physical Review B, 2003, 68(14): 140101. doi:  10.1103/PhysRevB.68.140101
    [137] GONSALVES R A, CHIDLAW R. Wavefront sensing by phase retrieval[C]//Applications of Digital Image Processing III. SPIE, 1979, 207: 32-39.
    [138] GUYON O. Limits of adaptive optics for high-contrast imaging [J]. The Astrophysical Journal, 2005, 629(1): 592. doi:  10.1086/431209
    [139] PEDRINI G, OSTEN W, ZHANG Y. Wave-front reconstruction from a sequence of interferograms recorded at different planes [J]. Optics Letters, 2005, 30(8): 833-835. doi:  10.1364/OL.30.000833
    [140] ZHANG Y, PEDRINI G, OSTEN W, et al. Whole optical wave field reconstruction from double or multi in-line holograms by phase retrieval algorithm [J]. Optics Express, 2003, 11(24): 3234-3241. doi:  10.1364/OE.11.003234
    [141] ANAND A, PEDRINI G, OSTEN W, et al. Wavefront sensing with random amplitude mask and phase retrieval [J]. Optics Letters, 2007, 32(11): 1584-1586. doi:  10.1364/OL.32.001584
    [142] ALMORO P F, PEDRINI G, GUNDU P N, et al. Phase microscopy of technical and biological samples through random phase modulation with a diffuser [J]. Optics Letters, 2010, 35(7): 1028-1030. doi:  10.1364/OL.35.001028
    [143] MUDANYALI O, TSENG D, OH C, et al. Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications [J]. Lab on a Chip, 2010, 10(11): 1417-1428. doi:  10.1039/C000453G
    [144] TSENG D, MUDANYALI O, OZTOPRAK C, et al. Lensfree microscopy on a cellphone [J]. Lab on a Chip, 2010, 10(14): 1787-1792. doi:  10.1039/C003477K
    [145] FAULKNER H M L, RODENBURG J M. Movable aperture lensless transmission microscopy: A novel phase retrieval algorithm [J]. Physical Review Letters, 2004, 93(2): 023903. doi:  10.1103/PhysRevLett.93.023903
    [146] FAULKNER H M L, RODENBURG J M. Error tolerance of an iterative phase retrieval algorithm for moveable illumination microscopy [J]. Ultramicroscopy, 2005, 103(2): 153-164. doi:  10.1016/j.ultramic.2004.11.006
    [147] GUIZAR-SICAIROS M, FIENUP J R. Phase retrieval with transverse translation diversity: A nonlinear optimization approach [J]. Optics Express, 2008, 16(10): 7264-7278. doi:  10.1364/OE.16.007264
    [148] THIBAULT P, DIEROLF M, MENZEL A, et al. High-resolution scanning X-ray diffraction microscopy [J]. Science, 2008, 321(5887): 379-382. doi:  10.1126/science.1158573
    [149] MAIDEN A M, RODENBURG J M. An improved ptychographical phase retrieval algorithm for diffractive imaging [J]. Ultramicroscopy, 2009, 109(10): 1256-1262. doi:  10.1016/j.ultramic.2009.05.012
    [150] THIBAULT P, DIEROLF M, BUNK O, et al. Probe retrieval in ptychographic coherent diffractive imaging [J]. Ultramicroscopy, 2009, 109(4): 338-343. doi:  10.1016/j.ultramic.2008.12.011
    [151] THIBAULT P, GUIZAR-SICAIROS M. Maximum-likelihood refinement for coherent diffractive imaging [J]. New Journal of Physics, 2012, 14(6): 063004. doi:  10.1088/1367-2630/14/6/063004
    [152] MAIDEN A, JOHNSON D, LI P. Further improvements to the ptychographical iterative engine [J]. Optica, 2017, 4(7): 736-745. doi:  10.1364/OPTICA.4.000736
    [153] MAIDEN A M, HUMPHRY M J, SARAHAN M C, et al. An annealing algorithm to correct positioning errors in ptychography [J]. Ultramicroscopy, 2012, 120: 64-72. doi:  10.1016/j.ultramic.2012.06.001
    [154] BECKERS M, SENKBEIL T, GORNIAK T, et al. Drift correction in ptychographic diffractive imaging [J]. Ultramicroscopy, 2013, 126: 44-47. doi:  10.1016/j.ultramic.2012.11.006
    [155] ZHANG F, PETERSON I, VILA-COMAMALA J, et al. Translation position determination in ptychographic coherent diffraction imaging [J]. Optics Express, 2013, 21(11): 13592. doi:  10.1364/OE.21.013592
    [156] THIBAULT P, MENZEL A. Reconstructing state mixtures from diffraction measurements [J]. Nature, 2013, 494(7435): 68-71. doi:  10.1038/nature11806
    [157] BATEY D J, CLAUS D, RODENBURG J M. Information multiplexing in ptychography [J]. Ultramicroscopy, 2014, 138: 13-21. doi:  10.1016/j.ultramic.2013.12.003
    [158] CLARK J N, HUANG X, HARDER R J, et al. Dynamic imaging using ptychography [J]. Physical Review Letters, 2014, 112(11): 113901. doi:  https://link.aps.org/doi/10.1103/PhysRevLett.112.113901
    [159] KARL R, BEVIS C, LOPEZ-RIOS R, et al. Spatial, spectral, and polarization multiplexed ptychography [J]. Optics Express, 2015, 23(23): 30250. doi:  10.1364/OE.23.030250
    [160] MAIDEN A M, HUMPHRY M J, ZHANG F, et al. Superresolution imaging via ptychography [J]. JOSA A, 2011, 28(4): 604-612. doi:  10.1364/JOSAA.28.000604
    [161] HUMPHRY M J, KRAUS B, HURST A C, et al. Ptychographic electron microscopy using high-angle dark-field scattering for sub-nanometre resolution imaging [J]. Nature Communications, 2012, 3: 730. doi:  10.1038/ncomms1733
    [162] STOCKMAR M, CLOETENS P, ZANETTE I, et al. Near-field ptychography: Phase retrieval for inline holography using a structured illumination [J]. Scientific Reports, 2013, 3(1): 1-6. doi:  http://www.nature.com/articles/srep01927
    [163] TAKAHASHI Y, SUZUKI A, FURUTAKU S, et al. High-resolution and high-sensitivity phase-contrast imaging by focused hard X-ray ptychography with a spatial filter [J]. Applied Physics Letters, 2013, 102(9): 094102. doi:  10.1063/1.4794063
    [164] MAIDEN A M, HUMPHRY M J, RODENBURG J M. Ptychographic transmission microscopy in three dimensions using a multi-slice approach [J]. JOSA A, 2012, 29(8): 1606-1614. doi:  10.1364/JOSAA.29.001606
    [165] GODDEN T M, SUMAN R, HUMPHRY M J, et al. Ptychographic microscope for three-dimensional imaging [J]. Optics Express, 2014, 22(10): 12513. doi:  10.1364/OE.22.012513
    [166] SUZUKI A, FURUTAKU S, SHIMOMURA K, et al. High-resolution multislice x-ray ptychography of extended thick objects [J]. Physical Review Letters, 2014, 112(5): 053903. doi:  10.1103/PhysRevLett.112.053903
    [167] SHIMOMURA K, SUZUKI A, HIROSE M, et al. Precession X-ray ptychography with multislice approach [J]. Physical Review B, 2015, 91(21): 214114. doi:  https://link.aps.org/doi/10.1103/PhysRevB.91.214114
    [168] THIBAULT P, ELSER V, JACOBSEN C, et al. Reconstruction of a yeast cell from X-ray diffraction data [J]. Acta Crystallographica Section A Foundations of Crystallography, 2006, 62(4): 248-261. doi:  10.1107/S0108767306016515
    [169] RODENBURG J M, HURST A C, CULLIS A G, et al. Hard-X-ray lensless imaging of extended objects [J]. Physical Review Letters, 2007, 98(3): 034801. doi:  https://link.aps.org/doi/10.1103/PhysRevLett.98.034801
    [170] GIEWEKEMEYER K, THIBAULT P, KALBFLEISCH S, et al. Quantitative biological imaging by ptychographic x-ray diffraction microscopy [J]. Proceedings of the National Academy of Sciences, 2010, 107(2): 529-534. doi:  10.1073/pnas.0905846107
    [171] MAIDEN A M, MORRISON G R, KAULICH B, et al. Soft X-ray spectromicroscopy using ptychography with randomly phased illumination [J]. Nature Communications, 2013, 4: 1669. doi:  10.1038/ncomms2640
    [172] RODENBURG J M, HURST A C, CULLIS A G. Transmission microscopy without lenses for objects of unlimited size [J]. Ultramicroscopy, 2007, 107(2-3): 227-231. doi:  10.1016/j.ultramic.2006.07.007
    [173] HUE F, RODENBURG J M, MAIDEN A M, et al. Extended ptychography in the transmission electron microscope: Possibilities and limitations [J]. Ultramicroscopy, 2011, 111(8): 1117-1123. doi:  10.1016/j.ultramic.2011.02.005
    [174] HUE F, RODENBURG J M, MAIDEN A M, et al. Wave-front phase retrieval in transmission electron microscopy via ptychography [J]. Physical Review B, 2010, 82(12): 121415.
    [175] BRADY G R, GUIZAR-SICAIROS M, FIENUP J R. Optical wavefront measurement using phase retrieval with transverse translation diversity [J]. Optics Express, 2009, 17(2): 624-639. doi:  10.1364/OE.17.000624
    [176] MAIDEN A M, RODENBURG J M, HUMPHRY M J. Optical ptychography: A practical implementation with useful resolution [J]. Optics Letters, 2010, 35(15): 2585-2587. doi:  10.1364/OL.35.002585
    [177] MARRISON J, RÄTY L, MARRIOTT P, et al. Ptychography – a label free, high-contrast imaging technique for live cells using quantitative phase information[J/OL]. Scientific Reports, 2013, 3(1)[2017–07–05]. http://www.nature.com/articles/srep02369.
    [178] ZHENG G, HORSTMEYER R, YANG C. Wide-field, high-resolution Fourier ptychographic microscopy [J]. Nature Photonics, 2013, 7(9): 739-745. doi:  10.1038/nphoton.2013.187
    [179] OU X, ZHENG G, YANG C. Embedded pupil function recovery for Fourier ptychographic microscopy [J]. Optics Express, 2014, 22(5): 4960. doi:  10.1364/OE.22.004960
    [180] SUN J, CHEN Q, ZHANG Y, et al. Efficient positional misalignment correction method for Fourier ptychographic microscopy [J]. Biomedical Optics Express, 2016, 7(4): 1336. doi:  10.1364/BOE.7.001336
    [181] YEH L-H, DONG J, ZHONG J, et al. Experimental robustness of Fourier ptychography phase retrieval algorithms [J]. Optics Express, 2015, 23(26): 33214. doi:  10.1364/OE.23.033214
    [182] DONG S, SHIRADKAR R, NANDA P, et al. Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging [J]. Biomedical Optics Express, 2014, 5(6): 1757. doi:  10.1364/BOE.5.001757
    [183] TIAN L, LI X, RAMCHANDRAN K, et al. Multiplexed coded illumination for Fourier ptychography with an led array microscope [J]. Biomedical Optics Express, 2014, 5(7): 2376-2389. doi:  10.1364/BOE.5.002376
    [184] SUN J, CHEN Q, ZHANG Y, et al. Sampling criteria for Fourier ptychographic microscopy in object space and frequency space [J]. Optics Express, 2016, 24(14): 15765. doi:  10.1364/OE.24.015765
    [185] HORSTMEYER R, CHUNG J, OU X, et al. Diffraction tomography with Fourier ptychography [J]. Optica, 2016, 3(8): 827-835. doi:  10.1364/OPTICA.3.000827
    [186] ZUO C, SUN J, LI J, et al. Wide-field high-resolution 3 d microscopy with Fourier ptychographic diffraction tomography [J]. Optics and Lasers in Engineering, 2020, 128: 106003. doi:  10.1016/j.optlaseng.2020.106003
    [187] HORSTMEYER R, CHEN R Y, OU X, et al. Solving ptychography with a convex relaxation [J]. New Journal of Physics, 2015, 17(5): 053044. doi:  10.1088/1367-2630/17/5/053044
    [188] ZUO C, SUN J, CHEN Q. Adaptive step-size strategy for noise-robust Fourier ptychographic microscopy [J]. Optics Express, 2016, 24(18): 20724. doi:  10.1364/OE.24.020724
    [189] TEAGUE M R. Deterministic phase retrieval: A Green’s function solution [J]. JOSA, 1983, 73(11): 1434-1441. doi:  10.1364/JOSA.73.001434
    [190] STREIBL N. Phase imaging by the transport equation of intensity [J]. Optics Communications, 1984, 49(1): 6-10. doi:  10.1016/0030-4018(84)90079-8
    [191] ICHIKAWA K, LOHMANN A W, TAKEDA M. Phase retrieval based on the irradiance transport equation and the Fourier transform method: experiments [J]. Applied Optics, 1988, 27(16): 3433-3436. doi:  10.1364/AO.27.003433
    [192] RODDIER F, RODDIER C, RODDIER N. Curvature sensing: A new wavefront sensing method[C/OL]. 1988: 203-209. http://dx.doi.org/10.1117/12.948547.
    [193] RODDIER F. Curvature sensing and compensation: A new concept in adaptive optics [J]. Applied Optics, 1988, 27(7): 1223-1225. doi:  10.1364/AO.27.001223
    [194] RODDIER F. Wavefront sensing and the irradiance transport equation [J]. Applied Optics, 1990, 29(10): 1402-1403. doi:  10.1364/AO.29.001402
    [195] RODDIER N A. Algorithms for wavefront reconstruction out of curvature sensing data[C/OL]. http://dx.doi.org/10.1117/12.48799.
    [196] GUREYEV T E, ROBERTS A, NUGENT K A. Partially coherent fields, the transport-of-intensity equation, and phase uniqueness [J]. JOSA A, 1995, 12(9): 1942-1946. doi:  10.1364/JOSAA.12.001942
    [197] GUREYEV T E, NUGENT K A. Phase retrieval with the transport-of-intensity equation. ii. orthogonal series solution for nonuniform illumination [J]. JOSA A, 1996, 13(8): 1670-1682. doi:  10.1364/JOSAA.13.001670
    [198] GUREYEV T E, NUGENT K A. Rapid quantitative phase imaging using the transport of intensity equation [J]. Optics Communications, 1997, 133(1): 339-346. doi:  10.1016/S0030-4018(96)00454-3
    [199] PAGANIN D, NUGENT K A. Noninterferometric phase imaging with partially coherent light [J]. Physical Review Letters, 1998, 80(12): 2586. doi:  10.1103/PhysRevLett.80.2586
    [200] NUGENT K A, GUREYEV T E, COOKSON D F, et al. Quantitative phase imaging using hard x rays [J]. Physical Review Letters, 1996, 77(14): 2961. doi:  10.1103/PhysRevLett.77.2961
    [201] ALLMAN B E, MCMAHON P J, NUGENT K A, et al. Phase radiography with neutrons [J]. Nature, 2000, 408(6809): 158. doi:  10.1038/35041626
    [202] MCMAHON P J, ALLMAN B E, JACOBSON D L, et al. Quantitative phase radiography with polychromatic neutrons [J]. Physical Review Letters, 2003, 91(14): 145502. doi:  10.1103/PhysRevLett.91.145502
    [203] BAJT B, BARTY A, NUGENT K A, et al. Quantitative phase-sensitive imaging in a transmission electron microscope [J]. Ultramicroscopy, 2000, 83(1-2): 67-73. doi:  10.1016/S0304-3991(99)00174-6
    [204] MCMAHON P J, BARONE-NUGENT E D, ALLMAN B E, et al. Quantitative phase-amplitude microscopy ii: Differential interference contrast imaging for biological TEM [J]. Journal of Microscopy, 2002, 206(3): 204-208. doi:  10.1046/j.1365-2818.2002.01026.x
    [205] BELEGGIA M, SCHOFIELD M A, VOLKOV V V, et al. On the transport of intensity technique for phase retrieval [J]. Ultramicroscopy, 2004, 102(1): 37-49. doi:  10.1016/j.ultramic.2004.08.004
    [206] VOLKOV V V, ZHU Y. Lorentz phase microscopy of magnetic materials [J]. Ultramicroscopy, 2004, 98(2): 271-281. doi:  10.1016/j.ultramic.2003.08.026
    [207] MCVITIE S, CUSHLEY M. Quantitative Fresnel Lorentz microscopy and the transport of intensity equation [J]. Ultramicroscopy, 2006, 106(4-5): 423-431. doi:  10.1016/j.ultramic.2005.12.001
    [208] PETERSEN T C, KEAST V J, PAGANIN D M. Quantitative TEM-based phase retrieval of MgO nano-cubes using the transport of intensity equation [J]. Ultramicroscopy, 2008, 108(9): 805-815. doi:  10.1016/j.ultramic.2008.01.001
    [209] BARTY A, NUGENT K A, PAGANIN D, et al. Quantitative optical phase microscopy [J]. Optics Letters, 1998, 23(11): 817-819. doi:  10.1364/OL.23.000817
    [210] BARONE-NUGENT E D, BARTY A, NUGENT K A. Quantitative phase-amplitude microscopy I: Optical microscopy [J]. Journal of Microscopy, 2002, 206(3): 194-203. doi:  10.1046/j.1365-2818.2002.01027.x
    [211] STREIBL N. Three-dimensional imaging by a microscope [J]. JOSA A, 1985, 2(2): 121-127. doi:  10.1364/JOSAA.2.000121
    [212] SHEPPARD C J. Three-dimensional phase imaging with the intensity transport equation [J]. Applied Optics, 2002, 41(28): 5951-5955. doi:  10.1364/AO.41.005951
    [213] WALLER L, TIAN L, BARBASTATHIS G. Transport of intensity phase-amplitude imaging with higher order intensity derivatives [J]. Optics Express, 2010, 18(12): 12552-12561. doi:  10.1364/OE.18.012552
    [214] KOU S S, WALLER L, BARBASTATHIS G, et al. Transport-of-intensity approach to differential interference contrast (TI-DIC) microscopy for quantitative phase imaging [J]. Optics Letters, 2010, 35(3): 447-449. doi:  10.1364/OL.35.000447
    [215] WALLER L, LUO Y, YANG S Y, et al. Transport of intensity phase imaging in a volume holographic microscope [J]. Optics Letters, 2010, 35(17): 2961-2963. doi:  10.1364/OL.35.002961
    [216] WALLER L, KOU S S, SHEPPARD C J R, et al. Phase from chromatic aberrations [J]. Optics Express, 2010, 18(22): 22817-22825. doi:  10.1364/OE.18.022817
    [217] KOU S S, WALLER L, BARBASTATHIS G, et al. Quantitative phase restoration by direct inversion using the optical transfer function [J]. Optics Letters, 2011, 36(14): 2671-2673. doi:  10.1364/OL.36.002671
    [218] ALMORO P F, WALLER L, AGOUR M, et al. Enhanced deterministic phase retrieval using a partially developed speckle field [J]. Optics Letters, 2012, 37(11): 2088-2090. doi:  10.1364/OL.37.002088
    [219] GORTHI S S, SCHONBRUN E. Phase imaging flow cytometry using a focus-stack collecting microscope [J]. Optics Letters, 2012, 37(4): 707-709. doi:  10.1364/OL.37.000707
    [220] WALLER L, TSANG M, PONDA S, et al. Phase and amplitude imaging from noisy images by Kalman filtering [J]. Optics Express, 2011, 19(3): 2805-2815. doi:  10.1364/OE.19.002805
    [221] XUE B, ZHENG S, CUI L, et al. Transport of intensity phase imaging from multiple intensities measured in unequally-spaced planes [J]. Optics Express, 2011, 19(21): 20244-20250. doi:  10.1364/OE.19.020244
    [222] BIE R, YUAN X-H, ZHAO M, et al. Method for estimating the axial intensity derivative in the TIE with higher order intensity derivatives and noise suppression [J]. Optics Express, 2012, 20(7): 8186-8191. doi:  10.1364/OE.20.008186
    [223] ZHENG S, XUE B, XUE W, et al. Transport of intensity phase imaging from multiple noisy intensities measured in unequally-spaced planes [J]. Optics Express, 2012, 20(2): 972-985. doi:  10.1364/OE.20.000972
    [224] MARTINEZ-CARRANZA J, FALAGGIS K, KOZACKI T. Optimum measurement criteria for the axial derivative intensity used in transport of intensity-equation-based solvers [J]. Optics Letters, 2014, 39(2): 182-185. doi:  10.1364/OL.39.000182
    [225] FALAGGIS K, KOZACKI T, KUJAWINSKA M. Optimum plane selection criteria for single-beam phase retrieval techniques based on the contrast transfer function [J]. Optics Letters, 2014, 39(1): 30-33. doi:  10.1364/OL.39.000030
    [226] ZUO C, CHEN Q, ASUNDI A. Light field moment imaging: Comment [J]. Optics Letters, 2014, 39(3): 654. doi:  10.1364/OL.39.000654
    [227] ZUO C, CHEN Q, TIAN L, et al. Transport of intensity phase retrieval and computational imaging for partially coherent fields: The phase space perspective [J]. Optics and Lasers in Engineering, 2015, 71: 20-32. doi:  10.1016/j.optlaseng.2015.03.006
    [228] ZUO C, CHEN Q, ASUNDI A. Boundary-artifact-free phase retrieval with the transport of intensity equation: Fast solution with use of discrete cosine transform [J]. Optics Express, 2014, 22(8): 9220. doi:  10.1364/OE.22.009220
    [229] ZUO C, CHEN Q, LI H, et al. Boundary-artifact-free phase retrieval with the transport of intensity equation II: Applications to microlens characterization [J]. Optics Express, 2014, 22(15): 18310. doi:  10.1364/OE.22.018310
    [230] HUANG L, ZUO C, IDIR M, et al. Phase retrieval with the transport-of-intensity equation in an arbitrarily shaped aperture by iterative discrete cosine transforms [J]. Optics Letters, 2015, 40(9): 1976. doi:  10.1364/OL.40.001976
    [231] ZUO C, CHEN Q, HUANG L, et al. Phase discrepancy analysis and compensation for fast Fourier transform based solution of the transport of intensity equation [J]. Optics Express, 2014, 22(14): 17172. doi:  10.1364/OE.22.017172
    [232] ZUO C, CHEN Q, YU Y, et al. Transport-of-intensity phase imaging using Savitzky-Golay differentiation filter - Theory and applications [J]. Optics Express, 2013, 21(5): 5346-5362. doi:  10.1364/OE.21.005346
    [233] SUN J, ZUO C, CHEN Q. Iterative optimum frequency combination method for high efficiency phase imaging of absorptive objects based on phase transfer function [J]. Optics Express, 2015, 23(21): 28031. doi:  10.1364/OE.23.028031
    [234] ZUO C, SUN J, LI J, et al. High-resolution transport-of-intensity quantitative phase microscopy with annular illumination [J]. Scientific Reports, 2017, 7(1): 7654. doi:  10.1038/s41598-017-06837-1
    [235] LI J, CHEN Q, ZHANG J, et al. Efficient quantitative phase microscopy using programmable annular LED illumination [J]. Biomedical Optics Express, 2017, 8(10): 4687-4705. doi:  10.1364/BOE.8.004687
    [236] LI J, CHEN Q, SUN J, et al. Optimal illumination pattern for transport-of-intensity quantitative phase microscopy [J]. Optics Express, 2018, 26(21): 27599. doi:  10.1364/OE.26.027599
    [237] ZUO C, CHEN Q, QU W, et al. Noninterferometric single-shot quantitative phase microscopy [J]. Optics Letters, 2013, 38(18): 3538. doi:  10.1364/OL.38.003538
    [238] ZUO C, CHEN Q, QU W, et al. High-speed transport-of-intensity phase microscopy with an electrically tunable lens [J]. Optics Express, 2013, 21(20): 24060. doi:  10.1364/OE.21.024060
    [239] ZUO C, SUN J, ZHANG J, et al. Lensless phase microscopy and diffraction tomography with multi-angle and multi-wavelength illuminations using a LED matrix [J]. Optics Express, 2015, 23(11): 14314. doi:  10.1364/OE.23.014314
    [240] LI J, CHEN Q, ZHANG J, et al. Optical diffraction tomography microscopy with transport of intensity equation using a light-emitting diode array [J]. Optics and Lasers in Engineering, 2017, 95: 26-34. doi:  10.1016/j.optlaseng.2017.03.010
    [241] LI J, CHEN Q, SUN J, et al. Three-dimensional tomographic microscopy technique with multi-frequency combination with partially coherent illuminations [J]. Biomedical Optics Express, 2018, 9(6): 2526-2542. doi:  10.1364/BOE.9.002526
    [242] ZUO C, LI J, SUN J, et al. Transport of intensity equation: A tutorial [J]. Optics and Lasers in Engineering, 2020, 135: 106187. doi:  10.1016/j.optlaseng.2020.106187
    [243] HAMILTON D, SHEPPARD C. Differential phase contrast in scanning optical microscopy [J]. Journal of Microscopy, 1984, 133(1): 27. doi:  10.1111/j.1365-2818.1984.tb00460.x
    [244] HAMILTON D K, SHEPPARD C J R, WILSON T. Improved imaging of phase gradients in scanning optical microscopy [J]. Journal of Microscopy, 1984, 135(3): 275. doi:  10.1111/j.1365-2818.1984.tb02533.x
    [245] MEHTA S B, SHEPPARD C J R. Quantitative phase-gradient imaging at high resolution with asymmetric illumination-based differential phase contrast [J]. Optics Letters, 2009, 34(13): 1924. doi:  10.1364/OL.34.001924
    [246] TIAN L, WALLER L. Quantitative differential phase contrast imaging in an LED array microscope [J]. Optics Express, 2015, 23(9): 11394. doi:  10.1364/OE.23.011394
    [247] FAN Y, SUN J, CHEN Q, et al. Optimal illumination scheme for isotropic quantitative differential phase contrast microscopy [J]. arXiv preprint, 2019: 1903.10718.
    [248] IGLESIAS I. Pyramid phase microscopy [J]. Optics Letters, 2011, 36(18): 3636. doi:  10.1364/OL.36.003636
    [249] PARTHASARATHY A B, CHU K K, FORD T N, et al. Quantitative phase imaging using a partitioned detection aperture [J]. Optics Letters, 2012, 37(19): 4062. doi:  10.1364/OL.37.004062
    [250] LU H, CHUNG J, OU X, et al. Quantitative phase imaging and complex field reconstruction by pupil modulation differential phase contrast [J]. Optics Express, 2016, 24(22): 25345. doi:  10.1364/OE.24.025345
    [251] ZUO C, SUN J, FENG S, et al. Programmable aperture microscopy: A computational method for multi-modal phase contrast and light field imaging [J]. Optics and Lasers in Engineering, 2016, 80: 24-31. doi:  10.1016/j.optlaseng.2015.12.012
    [252] LIN Y-Z, HUANG K-Y, LUO Y. Quantitative differential phase contrast imaging at high resolution with radially asymmetric illumination [J]. Optics Letters, 2018, 43(12): 2973-2976. doi:  10.1364/OL.43.002973
    [253] FAN Y, SUN J, CHEN Q, et al. Wide-field anti-aliased quantitative differential phase contrast microscopy [J]. Optics Express, 2018, 26(19): 25129. doi:  10.1364/OE.26.025129
    [254] CHEN H-H, LIN Y-Z, LUO Y. Isotropic differential phase contrast microscopy for quantitative phase bio-imaging [J]. Journal of Biophotonics, 2018, 11(8): e201700364. doi:  10.1002/jbio.201700364
    [255] LEE D, RYU S, KIM U, et al. Color-coded LED microscopy for multi-contrast and quantitative phase-gradient imaging [J]. Biomedical Optics Express, 2015, 6(12): 4912. doi:  10.1364/BOE.6.004912
    [256] PHILLIPS Z F, CHEN M, WALLER L. Single-shot quantitative phase microscopy with color-multiplexed differential phase contrast (CDPC) [J]. PLOS ONE, 2017, 12(2): e0171228. doi:  10.1371/journal.pone.0171228
    [257] LEE W, JUNG D, RYU S, et al. Single-exposure quantitative phase imaging in color-coded LED microscopy [J]. Optics Express, 2017, 25(7): 8398. doi:  10.1364/OE.25.008398
    [258] FAN Y, SUN J, CHEN Q, et al. Single-shot isotropic quantitative phase microscopy based on color-multiplexed differential phase contrast [J]. APL Photonics, 2019, 4(12): 121301. doi:  10.1063/1.5124535
    [259] FORD T N, CHU K K, MERTZ J. Phase-gradient microscopy in thick tissue with oblique back-illumination [J]. Nature Methods, 2012, 9(12): 1195-1197. doi:  10.1038/nmeth.2219
    [260] FORD T N, MERTZ J. Video-rate imaging of microcirculation with single-exposure oblique back-illumination microscopy [J]. Journal of Biomedical Optics, 2013, 18(6): 066007. doi:  10.1117/1.JBO.18.6.066007
    [261] JUNG D, CHOI J-H, KIM S, et al. Smartphone-based multi-contrast microscope using color-multiplexed illumination[J/OL]. Scientific Reports, 2017, 7(1): 7564. [2019–06–05]. http://www.nature.com/articles/s41598-017-07703-w.
    [262] ZHENG G, SHEN C, JIANG S, et al. Concept, implementations and applications of Fourier ptychography [J]. Nature Reviews Physics, 2021, 3(3): 207-223. doi:  10.1038/s42254-021-00280-y
    [263] ZUO C, CHEN Q, SUN J, et al. Non-interferometric phase retrieval and quantitative phase microscopy based on transport of intensity equation: A review [J]. Chinese Journal of Lasers, 2016, 43(6): 0609002. (in Chinese) doi:  10.3788/CJL201643.0609002
    [264] SUN J, Zhang Y, CHEN Q, et al. Fourier ptychographic microscopy: Theory, advances, and applications [J]. Acta Optica Sinica, 2016, 36(10): 89-107. (in Chinese)
    [265] FAN Y, CHEN Q, SUN J, et al. Review of the development of differential phase contrast microscopy [J]. Infrared and Laser Engineering, 2019, 48(6): 0603014. (in Chinese) doi:  10.3788/IRLA201948.0603014
    [266] PAN A, ZUO C, YAO B. High-resolution and large field-of-view Fourier ptychographic microscopy and its applications in biomedicine [J]. Reports on Progress in Physics, 2020, 83(9): 096101. doi:  10.1088/1361-6633/aba6f0
    [267] PAN X, LIU C, TAO H, et al. Phase imaging based on ptychography and progress on related key techniques [J]. Acta Optica Sinica, 2020, 40(1): 0111010. (in Chinese) doi:  10.3788/AOS202040.0111010
    [268] DEBSKIA W, WALCZYKOWSKIA P, KLEWSKIA A, et al. Analysis of usage of multispectral video technique for distinguishing objects in real time[C]//20th ISPRS Congress, 2004.
    [269] BACKMAN V, WALLACE M B, PERELMAN L, et al. Detection of preinvasive cancer cells [J]. Nature, 2000, 406(6791): 35. doi:  10.1038/35017638
    [270] YOSHIDA Y, OGUMA H, MORINO I, et al. Mountaintop observation of CO2 absorption spectra using a short wavelength infrared Fourier transform spectrometer [J]. Applied Optics, 2010, 49(1): 71-79. doi:  10.1364/AO.49.000071
    [271] ZHAO Z, DENG L, BAI L, et al. Optimal imaging band selection mechanism of weld pool vision based on spectrum analysis [J]. Optics & Laser Technology, 2019, 110: 145-151.
    [272] KESTER R T, BEDARD N, GAO L S, et al. Real-time snapshot hyperspectral imaging endoscope [J]. Journal of Biomedical Optics, 2011, 16(5): 056005. doi:  10.1117/1.3574756
    [273] SPERLING B A, HOANG J, KIMES W A, et al. Time-resolved surface infrared spectroscopy during atomic layer deposition [J]. Applied Spectroscopy, 2013, 67(9): 1003-1012. doi:  10.1366/13-06995
    [274] GOETZ A F, VANE G, SOLOMON J E, et al. Imaging spectrometry for earth remote sensing [J]. Science, 1985, 228(4704): 1147-1153. doi:  10.1126/science.228.4704.1147
    [275] OKAMOTO T, YAMAGUCHI I. Simultaneous acquisition of spectral image information [J]. Optics Letters, 1991, 16(16): 1277-1279. doi:  10.1364/OL.16.001277
    [276] OKAMOTO T, TAKAHASHI A, YAMAGUCHI I. Simultaneous acquisition of spectral and spatial intensity distribution [J]. Applied Spectroscopy, 1993, 47(8): 1198-1202. doi:  10.1366/0003702934067810
    [277] DESCOUR M, DERENIAK E. Computed-tomography imaging spectrometer: experimental calibration and reconstruction results [J]. Applied Optics, 1995, 34(22): 4817-4826. doi:  10.1364/AO.34.004817
    [278] CIMINO P, NEESE F, BARONE V. Computational Spectroscopy: Methods, Experiments and Applications[M]. Weinheim: Wiley-VCH, 2010.
    [279] WEI R Y, ZHOU J S, JING J J, et al. Developments and trends of the computed tomography imaging spectrometers [J]. Spectroscopy and Spectral Analysis, 2010, 30(10): 2866-2873.
    [280] MOONEY J M, VICKERS V E, AN M, et al. High-throughput hyperspectral infrared camera [J]. JOSA A, 1997, 14(11): 2951-2961. doi:  10.1364/JOSAA.14.002951
    [281] FANG J, ZHAO D, JIANG Y. New method in imaging spectrometry[C]//Color Science and Imaging Technologies. International Society for Optics and Photonics, 2002: 56–63.
    [282] HAGEN N, DERENIAK E L. Analysis of computed tomographic imaging spectrometers. I. Spatial and spectral resolution [J]. Applied Optics, 2008, 47(28): F85-F95. doi:  10.1364/AO.47.000F85
    [283] CANDES E, TAO T. Decoding by linear programming [J]. arXiv preprint, 2005: math/0502327.
    [284] CANDES E, ROMBERG J, TAO T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information [J]. arXiv preprint, 2004: math/0409186.
    [285] BRADY D J, GEHM M E. Compressive imaging spectrometers using coded apertures[C/OL]//Visual Information Processing XV. International Society for Optics and Photonics, 2006: 62460 A. [2019–06–28]. https://www.spiedigitallibrary.org/conference-proceedings-of-spie/6246/62460 A/Compressive-imaging-spectrometers-using-coded-apertures/10.1117/12.667605.short.
    [286] KITTLE D, CHOI K, WAGADARIKAR A, et al. Multiframe image estimation for coded aperture snapshot spectral imagers [J]. Applied Optics, 2010, 49(36): 6824-6833. doi:  10.1364/AO.49.006824
    [287] MA X, YUAN X, FU C, et al. LED-based compressive spectral-temporal imaging [J]. Optics Express, 2021, 29(7): 10698-10715. doi:  10.1364/OE.419888
    [288] CAO X, YUE T, LIN X, et al. Computational snapshot multispectral cameras: Toward dynamic capture of the spectral world [J]. IEEE Signal Processing Magazine, 2016, 33(5): 95-108. doi:  10.1109/MSP.2016.2582378
    [289] XUN CAO, HAO DU, XIN TONG, et al. A prism-mask system for multispectral video acquisition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2423-2435. doi:  10.1109/TPAMI.2011.80
    [290] COURTIAL J, PATTERSON B, HARVEY A, et al. Design of a static Fourier-transform spectrometer with increased field of view [J]. Applied Optics, 1996, 35(34): 6698-6702. doi:  10.1364/AO.35.006698
    [291] ZHANG W, SONG H, HE X, et al. Deeply learned broadband encoding stochastic hyperspectral imaging [J]. Light: Science & Applications, 2021, 10(1): 108. doi:  10.1038/s41377-021-00545-2
    [292] DECKER J A, HARWIT M. Experimental operation of a Hadamard spectrometer [J]. Applied Optics, 1969, 8(12): 2552. doi:  10.1364/AO.8.002552
    [293] DECKER J A. Experimental realization of the multiplex advantage with a Hadamard-transform spectrometer [J]. Applied Optics, 1971, 10(3): 510. doi:  10.1364/AO.10.000510
    [294] YUE J, HAN J, ZHANG Y, et al. Denoising analysis of Hadamard transform spectrometry [J]. Optics Letters, 2014, 39(13): 3744-3747. doi:  10.1364/OL.39.003744
    [295] YUE J, HAN J, LI L, et al. Denoising analysis of spatial pixel multiplex coded spectrometer with Hadamard H-matrix [J]. Optics Communications, 2018, 407: 355-360. doi:  10.1016/j.optcom.2017.09.072
    [296] ZHAO Z, BAI L, HAN J, et al. High-SNR snapshot multiplex spectrometer with sub-Hadamard-s matrix coding [J]. Optics Communications, 2019, 453: 124322. doi:  10.1016/j.optcom.2019.124322
    [297] CHI M, WU Y, QIAN F, et al. Signal-to-noise ratio enhancement of a Hadamard transform spectrometer using a two-dimensional slit-array [J]. Applied Optics, 2017, 56(25): 7188-7193. doi:  10.1364/AO.56.007188
    [298] BAI L, WANG X, HAN J, et al. Development review of new spectral measurement technology [J]. Infrared and Laser Engineering, 2019, 48(6): 0603001. (in Chinese) doi:  10.3788/IRLA201948.0603001
    [299] FARLOW C A, CHENAULT D B, PEZZANITI J L, et al. Imaging polarimeter development and applications[C/OL]//Polarization Analysis and Measurement IV. International Society for Optics and Photonics, 2002: 118–125. [2019–06–05]. https://www.spiedigitallibrary.org/conference-proceedings-of-spie/4481/0000/Imaging-polarimeter-development-and-applications/10.1117/12.452880.short.
    [300] PEZZANITI J L, CHENAULT D B. A division of aperture MWIR imaging polarimeter[C/OL]//Polarization Science and Remote Sensing II. International Society for Optics and Photonics, 2005: 58880 V. [2019–06–28]. https://www.spiedigitallibrary.org/conference-proceedings-of-spie/5888/58880 V/A-division-of-aperture-MWIR-imaging-polarimeter/10.1117/12.623543.short.
    [301] Nordin G P, Meier J T, Deguzman P C, et al. Diffractive optical element for Stokes vector measurement with a focal plane array[C]//Polarization: Measurement, Analysis, and Remote Sensing II. SPIE, 1999, 3754: 169-177.
    [302] Bickel W S, Bailey W M. Stokes vectors, Mueller matrices, and polarized scattered light [J]. American Journal of Physics, 1985, 53(5): 468-478. doi:  10.1119/1.14202
    [303] ESPINOSA-LUNA R. Scattering by rough surfaces in a conical configuration: Experimental Mueller matrix [J]. Optics Letters, 2002, 27(17): 1510-1512. doi:  10.1364/OL.27.001510
    [304] TYO J S, ROWE M P, PUGH E N, et al. Target detection in optically scattering media by polarization-difference imaging [J]. Applied Optics, 1996, 35(11): 1855-1870. doi:  10.1364/AO.35.001855
    [305] LIANG J, ZHANG W, REN L, et al. Polarimetric dehazing method for visibility improvement based on visible and infrared image fusion [J]. Applied Optics, 2016, 55(29): 8221-8226. doi:  10.1364/AO.55.008221
    [306] SCHECHNER Y Y, KARPEL N. Recovery of underwater visibility and structure by polarization analysis [J]. IEEE Journal of Oceanic Engineering, 2005, 30(3): 570-587. doi:  10.1109/JOE.2005.850871
    [307] MUDGE J, VIRGEN M. Real time polarimetric dehazing [J]. Applied Optics, 2013, 52(9): 1932-1938. doi:  10.1364/AO.52.001932
    [308] ZHANG W, LIANG J, JU H, et al. A robust haze-removal scheme in polarimetric dehazing imaging based on automatic identification of sky region [J]. Optics & Laser Technology, 2016, 86: 145-151. doi:  10.1016/j.optlastec.2016.07.015
    [309] WANG H, WANG H, HU H, et al. Automatic underwater polarization imaging without background region or any prior [J]. Optics Express, 2021, 29(20): 31283-31295. doi:  10.1364/OE.434398
    [310] WANG H, HU H, JIANG J, et al. Polarization differential imaging in turbid water via Mueller matrix and illumination modulation [J]. Optics Communications, 2021, 499: 127274. doi:  10.1016/j.optcom.2021.127274
    [311] HU H, QI P, LI X, et al. Underwater imaging enhancement based on a polarization filter and histogram attenuation prior [J]. Journal of Physics D: Applied Physics, 2021, 54(17): 175102. doi:  10.1088/1361-6463/abdc93
    [312] LIU F, LIU F, LIU F, et al. Depolarization index from Mueller matrix descatters imaging in turbid water [J]. Chinese Optics Letters, 2022, 20(2): 022601. doi:  10.3788/COL202220.022601
    [313] LIANG J, JU H, ZHANG W, et al. Review of optical polarimetric dehazing technique[J/OL]. 2017, 37(4): 0400001. [2022–02–14]. http://ir.opt.ac.cn/handle/181661/28922.
    [314] LIANG J, REN L, JU H, et al. Polarimetric dehazing method for dense haze removal based on distribution analysis of angle of polarization [J]. Optics Express, 2015, 23(20): 26146-26157. doi:  10.1364/OE.23.026146
    [315] HU H, LI X, LIU T. Recent advances in underwater image restoration technique based on polarimetric imaging [J]. Infrared and Laser Engineering, 2019, 48(6): 0603006. (in Chinese) doi:  10.3788/IRLA201948.0603006
    [316] Crosby F J. Stokes vector component versus elementary factor performance in a target detection algorithm[C]//Polarization: Measurement, Analysis, and Remote Sensing VI. SPIE, 2004, 5432: 1-11.
    [317] Cavanaugh D B, Castle K R, Davenport W. Anomaly detection using the hyperspectral polarimetric imaging testbed[C]//Algorithms and Technologies for Multispectral, Hyperspectral, and Ultraspectral Imagery XII. SPIE, 2006, 6233: 625-637.
    [318] Egan W G, Duggin M J. Synthesis of optical polarization signatures of military aircraft[C]//Polarization Analysis and Measurement IV. International Society for Optics and Photonics, 2002, 4481: 188-194.
    [319] Egan W G, Liu Q. Polarized MODTRAN 3.7 applied to characterization of ocean color in the presence of aerosols[C]//Polarization Analysis and Measurement IV. International Society for Optics and Photonics, 2002, 4481: 228-241.
    [320] Goldstein D H. Polarimetric characterization of federal standard paints[C]//Polarization Analysis, Measurement, and Remote Sensing III. SPIE, 2000, 4133: 112-123.
    [321] Le Hors L, Hartemann P, Dolfi D, et al. Phenomenological model of paints for multispectral polarimetric imaging[C]//Targets and Backgrounds VII: Characterization and Representation. SPIE, 2001, 4370: 94-105.
    [322] Forssell G, Hedborg-Karlsson E. Measurements of polarization properties of camouflaged objects and of the denial of surfaces covered with cenospheres[C]//Targets and Backgrounds IX: Characterization and Representation. International Society for Optics and Photonics, 2003, 5075: 246-258.
    [323] Aron Y, Gronau Y. Polarization in the MWIR: A method to improve target aquisition[C]//Infrared Technology and Applications XXXI. SPIE, 2005, 5783: 653-661.
    [324] Cremer F, De Jong W, Schutte K. Infrared polarization measurements and modelling applied to surface laid anti-personnel landmines [J]. Optical Engineering, 2002, 41(5): 1021-1032. doi:  10.1117/1.1467362
    [325] KOSHIKAWA K, SHIRAI Y. A model-based recognition of glossy objects using their polarimetrical properties [J]. Advanced Robotics, 1987, 2(2): 137-147. doi:  10.1163/156855387X00129
    [326] Wolff L B, Boult T E. Constraining object features using a polarization reflectance model [J]. Phys Based Vis Princ Pract Radiom, 1993, 1: 167.
    [327] Miyazaki D, Kagesawa M, Ikeuchi K. Transparent surface modeling from a pair of polarization images [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 73-82. doi:  10.1109/TPAMI.2004.1261080
    [328] Duncan D D, Hahn D V, Thomas M E. Physics-based polarimetric BRDF models[C]//Optical Diagnostic Methods for Inorganic Materials III. SPIE, 2003, 5192: 129-140.
    [329] YANG P, WEI H, KATTAWAR G W, et al. Sensitivity of the backscattering Mueller matrix to particle shape and thermodynamic phase [J]. Applied Optics, 2003, 42(21): 4389-4395. doi:  10.1364/AO.42.004389
    [330] ANDREOU A G, KALAYJIAN Z K. Polarization imaging: principles and integrated polarimeters [J]. IEEE Sensors Journal, 2002, 2(6): 566-576. doi:  10.1109/JSEN.2003.807946
    [331] BICKEL W S, DAVIDSON J F, HUFFMAN D R, et al. Application of polarization effects in light scattering: A new biophysical tool [J]. Proceedings of the National Academy of Sciences, 1976, 73(2): 486-490. doi:  10.1073/pnas.73.2.486
    [332] JACQUES S L, ROMAN J R, LEE K. Imaging superficial tissues with polarized light [J]. Lasers in Surgery and Medicine, 2000, 26(2): 119-129. doi:  10.1002/(SICI)1096-9101(2000)26:2<119::AID-LSM3>3.0.CO;2-Y
    [333] Jacques S L, Samatham R, Isenhath S, et al. Polarized light camera to guide surgical excision of skin cancers[C]//Photonic Therapeutics and Diagnostics IV. SPIE, 2008, 6842: 102-108.
    [334] Oldenbourg R, Mei G. New polarized light microscope with precision universal compensator [J]. Journal of Microscopy, 1995, 180(2): 140-147. doi:  10.1111/j.1365-2818.1995.tb03669.x
    [335] OLDENBOURG R. New views on polarization microscopy[C]//European Cells and Materials, 2001.
    [336] Itoh M, Yamanari M, Yasuno Y, et al. Polarization characteristics of multiple backscattering in human blood cell suspensions [J]. Optical and Quantum Electronics, 2005, 37(13): 1277-1285.
    [337] Xia J, Weaver A, Gerrard D E, et al. Monitoring sarcomere structure changes in whole muscle using diffuse light reflectance [J]. Journal of Biomedical Optics, 2006, 11(4): 040504. doi:  10.1117/1.2234278
    [338] ANTONELLI M-R, PIERANGELO A, NOVIKOVA T, et al. Mueller matrix imaging of human colon tissue for cancer diagnostics: How monte carlo modeling can help in the interpretation of experimental data [J]. Optics Express, 2010, 18(10): 10200-10208. doi:  10.1364/OE.18.010200
    [339] PIERANGELO A, BENALI A, ANTONELLI M-R, et al. Ex-vivo characterization of human colon cancer by Mueller polarimetric imaging [J]. Optics Express, 2011, 19(2): 1582-1593. doi:  10.1364/OE.19.001582
    [340] Pierangelo A, Manhas S, Benali A, et al. Ex vivo photometric and polarimetric multilayer characterization of human healthy colon by multispectral Mueller imaging [J]. Journal of Biomedical Optics, 2012, 17(6): 066009. doi:  10.1117/1.JBO.17.6.066009
    [341] CHUNG J, JUNG W, HAMMER-WILSON M J, et al. Use of polar decomposition for the diagnosis of oral precancer [J]. Applied Optics, 2007, 46(15): 3038-3045. doi:  10.1364/AO.46.003038
    [342] Wood M F, Ghosh N, Moriyama E H, et al. Proof-of-principle demonstration of a Mueller matrix decomposition method for polarized light tissue characterization in vivo [J]. Journal of Biomedical Optics, 2009, 14(1): 014029. doi:  10.1117/1.3065545
    [343] SHUKLA P, PRADHAN A. Mueller decomposition images for cervical tissue: Potential for discriminating normal and dysplastic states [J]. Optics Express, 2009, 17(3): 1600-1609. doi:  10.1364/OE.17.001600
    [344] PIERANGELO A, NAZAC A, BENALI A, et al. Polarimetric imaging of uterine cervix: A case study [J]. Optics Express, 2013, 21(12): 14120-14130. doi:  10.1364/OE.21.014120
    [345] Wang W, Lim L G, Srivastava S, et al. Roles of linear and circular polarization properties and effect of wavelength choice on differentiation between ex vivo normal and cancerous gastric samples [J]. Journal of Biomedical Optics, 2014, 19(4): 046020. doi:  10.1117/1.JBO.19.4.046020
    [346] QI J, YE M, SINGH M, et al. Narrow band 3 × 3 Mueller polarimetric endoscopy [J]. Biomedical Optics Express, 2013, 4(11): 2433-2449. doi:  10.1364/BOE.4.002433
    [347] QI J, BARRIÈRE C, WOOD T C, et al. Polarized multispectral imaging in a rigid endoscope based on elastic light scattering spectroscopy [J]. Biomedical Optics Express, 2012, 3(9): 2087-2099. doi:  10.1364/BOE.3.002087
    [348] HE C, HE H, CHANG J, et al. Polarisation optics for biomedical and clinical applications: A review [J]. Light: Science & Applications, 2021, 10(1): 194. doi:  10.1038/s41377-021-00639-x
    [349] QI J, HE H, LIN J, et al. Assessment of tissue polarimetric properties using Stokes polarimetric imaging with circularly polarized illumination [J]. Journal of Biophotonics, 2018, 11(4): e201700139. doi:  10.1002/jbio.201700139
    [350] SUN M, HE H, ZENG N, et al. Characterizing the microstructures of biological tissues using Mueller matrix and transformed polarization parameters [J]. Biomedical Optics Express, 2014, 5(12): 4223-4234. doi:  10.1364/BOE.5.004223
    [351] HEE M R, HUANG D, SWANSON E A, et al. Polarization-sensitive low-coherence reflectometer for birefringence characterization and ranging [J]. JOSA B, 1992, 9(6): 903-908. doi:  10.1364/JOSAB.9.000903
    [352] FAN C, YAO G. Imaging myocardial fiber orientation using polarization sensitive optical coherence tomography [J]. Biomedical Optics Express, 2013, 4(3): 460-465. doi:  10.1364/BOE.4.000460
    [353] Brewster D. X. On the communication of the structure of doubly refracting crystals to glass, muriate of soda, fluor spar, and other substances, by mechanical compression and dilatation. By David Brewster, LL. DFRS Lond. and Edin. In a letter addressed to the Right Hon. Sir Joseph Banks, Bart. G. C. B. P. R S. [J]. Philosophical Transactions of the Royal Society of London, 1816(106): 156-178.
    [354] Hecker F W, Morche B. Computer-aided measurement of relative retardations in plane photoelasticity[M]//Experimental stress analysis. Dordrecht: Springer, 1986: 535-542.
    [355] Sarma A, Pillai S A, Subramanian G, et al. Computerized image processing for whole-field determination of isoclinics and isochromatics [J]. Experimental Mechanics, 1992, 32(1): 24-29. doi:  10.1007/BF02317980
    [356] Kihara T. Automatic whole-field measurement of principal stress directions using three wavelengths[C]//Proc 10th Int Conf on Experimental Mechanics, Lisbon, 1994: 95-99.
    [357] Mangal S K, Ramesh K. Use of multiple loads to extract continuous isoclinic fringes by phase shifting technique [J]. Strain, 1999, 35(1): 15-17. doi:  10.1111/j.1475-1305.1999.tb01114.x
    [358] Almeida Magalhaes C, Americo Almeida Magalhaes Jr P. New numerical methods for the photoelastic technique with high accuracy [J]. Journal of Applied Physics, 2012, 112(8): 083111. doi:  10.1063/1.4761979
    [359] ALMEIDA MAGALHÃES C, SMITH NETO P, ALMEIDA MAGALHÃES JÚNIOR P A, et al. Separation of isochromatics and isoclinics phasemaps for the photoelastic technique with use phase shifting and a large number of high precision images [J]. Metrology and Measurement Systems, 2013, 20(1): 127-138. doi:  10.2478/mms-2013-0012
    [360] AJOVALASIT A, PETRUCCI G. Analisi automatica delle frange fotoelastiche in luce bianca[C]//Proceedings of the XVIII AIAS Conference, 1990.
    [361] CARAZO-ALVAREZ J, HAAKE S J, PATTERSON E A. Completely automated photoelastic fringe analysis [J]. Optics and Lasers in Engineering, 1994, 21(3): 133-149. doi:  10.1016/0143-8166(94)90067-1
    [362] Ajovalasit A, Barone S, Petrucci G. Towards RGB photoelasticity: Full-field automated photoelasticity in white light [J]. Experimental Mechanics, 1995, 35(3): 193-200. doi:  10.1007/BF02319657
    [363] YONEYAMA S, TAKASHI M. A new method for photoelastic fringe analysis from a single image using elliptically polarized white light [J]. Optics and Lasers in Engineering, 1998, 30(5): 441-459. doi:  10.1016/S0143-8166(98)00037-2
    [364] YONEYAMA S, SHIMIZU M, GOTOH J, et al. Photoelastic analysis with a single tricolor image [J]. Optics and Lasers in Engineering, 1998, 29(6): 423-435. doi:  10.1016/S0143-8166(97)00107-3
    [365] NURSE A D. Automated photoelasticity: Weighted least-squares determination of field stresses [J]. Optics and Lasers in Engineering, 1999, 31(5): 353-370. doi:  10.1016/S0143-8166(99)00033-0
    [366] QUIROGA J A, GARCÍA-BOTELLA Á, GÓMEZ-PEDRERO J A. Improved method for isochromatic demodulation by RGB calibration [J]. Applied Optics, 2002, 41(17): 3461-3468. doi:  10.1364/AO.41.003461
    [367] Cline R A, Westerveld W B, Risley J S. A new method for measuring the retardation of a photoelastic modulator using single photon counting techniques [J]. Review of Scientific Instruments, 1993, 64(5): 1169-1174. doi:  10.1063/1.1144113
    [368] ZENG A, LI F, ZHU L, et al. Simultaneous measurement of retardance and fast axis angle of a quarter-wave plate using one photoelastic modulator [J]. Applied Optics, 2011, 50(22): 4347-4352. doi:  10.1364/AO.50.004347
    [369] WOODHAM R J. Photometric method for determining surface orientation from multiple images [J]. Optical Engineering, 1980, 19(1): 191139.
    [370] CHRISTENSEN P H, SHAPIRO L G. Three-dimensional shape from color photometric stereo [J]. International Journal of Computer Vision, 1994, 13(2): 213-227. doi:  10.1007/BF01427152
    [371] DERESIEWICZ H, SKALAK R. On uniqueness in dynamic poroelasticity [J]. Bulletin of the Seismological Society of America, 1963, 53(4): 783-788. doi:  10.1785/BSSA0530040783
    [372] COLEMAN JR E N, JAIN R. Obtaining 3-dimensional shape of textured and specular surfaces using four-source photometry [J]. Computer Graphics and Image Processing, 1982, 18(4): 309-328. doi:  10.1016/0146-664X(82)90001-6
    [373] PARK J-S, TOU J T. Highlight separation and surface orientations for 3-D specular objects[C]//IEEE Proceedings. 10 th International Conference on Pattern Recognition, 1990: 331–335.
    [374] IKEUCHI K. Determining surface orientations of specular surfaces by using the photometric stereo method [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1981, 3(6): 661-669.
    [375] WU T-P, TANG C-K. Dense photometric stereo using a mirror sphere and graph cut[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). IEEE, 2005: 140–147.
    [376] MOZEROV M G, VAN DE WEIJER J. Accurate stereo matching by two-step energy minimization [J]. IEEE Transactions on Image Processing, 2015, 24(3): 1153-1163. doi:  10.1109/TIP.2015.2395820
    [377] GEIGER A, ROSER M, URTASUN R. Efficient large-scale stereo matching[C]//Asian Conference on Computer Vision. Springer, 2010: 25–38.
    [378] TAN X, SUN C, WANG D, et al. Soft cost aggregation with multi-resolution fusion[C]//European Conference on Computer Vision. Springer, 2014: 17–32.
    [379] YANG Q, YANG R, DAVIS J, et al. Spatial-depth super resolution for range images[C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2007: 1–8.
    [380] YOON K-J, KWEON I S. Adaptive support-weight approach for correspondence search [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2006, 28(4): 650-656.
    [381] HOSNI A, RHEMANN C, BLEYER M, et al. Fast cost-volume filtering for visual correspondence and beyond [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(2): 504-511.
    [382] YANG Q, WANG L, YANG R, et al. Stereo matching with color-weighted correlation, hierarchical belief propagation, and occlusion handling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 31(3): 492-504.
    [383] KLAUS A, SORMANN M, KARNER K. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure[C]//18th International Conference on Pattern Recognition (ICPR’06). IEEE, 2006: 15–18.
    [384] BERTOZZI M, BROGGI A. GOLD: A parallel real-time stereo vision system for generic obstacle and lane detection [J]. IEEE Transactions on Image Processing, 1998, 7(1): 62-81. doi:  10.1109/83.650851
    [385] LOOP C, ZHANG Z. Computing rectifying homographies for stereo vision[C]//Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149), 1999: 125–131.
    [386] GEHRIG S K, EBERLI F, MEYER T. A real-time low-power stereo vision engine using semi-global matching[C]//International Conference on Computer Vision Systems. Springer, 2009: 134–143.
    [387] SHIM H, LEE S. Performance evaluation of time-of-flight and structured light depth sensors in radiometric/geometric variations [J]. Optical Engineering, 2012, 51(9): 094401.
    [388] YU L, Zhang D, Yu B, et al. Research of 3 D laser scanning measurement system for mining [J]. Metal Mine, 2012(10): 101-103+107. (in Chinese)
    [389] KOU L, ZHANG L, ZHANG K, et al. A multi-focus image fusion method via region mosaicking on Laplacian pyramids [J]. PloS ONE, 2018, 13(5): e0191085. doi:  10.1371/journal.pone.0191085
    [390] DORRINGTON A A, KELLY C B D, MCCLURE S H, et al. Advantages of 3 D time-of-flight range imaging cameras in machine vision applications[C]// The 16th Electronics New Zealand Conference (ENZCon), 2009: 95–99.
    [391] GANAPATHI V, PLAGEMANN C, KOLLER D, et al. Real time motion capture using a single time-of-flight camera[C/OL]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA: IEEE, 2010: 755–762. [2019–06–04]. http://ieeexplore.ieee.org/document/5540141/.
    [392] HSU S, ACHARYA S, RAFII A, et al. Performance of a Time-of-Flight Range Camera for Intelligent Vehicle Safety Applications[M]//Advanced Microsystems for Automotive Applications. Berlin: Springer, 2006: 205–219.
    [393] HAHNE U, ALEXA M. Depth imaging by combining time-of-flight and on-demand stereo[C]//Workshop on Dynamic 3 D Imaging. Springer, 2009: 70–83.
    [394] SCHUON S, THEOBALT C, DAVIS J, et al. High-quality scanning using time-of-flight depth superresolution[C]//2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. IEEE, 2008: 1–7.
    [395] CUI Y, SCHUON S, THRUN S, et al. Algorithms for 3 d shape scanning with a depth camera [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(5): 1039-1050.
    [396] ZHANG Z, ZHANG J. Solutions and core techniques of city modeling [J]. World Sci-Tech R& D, 2003(3): 23-29. doi:  10.16507/j.issn.1006-6055.2003.03.006
    [397] 王继周, 李成名, 林宗坚. 城市三维数据获取技术发展探讨[J]. 测绘科学, 2004, 29(4): 71-73, 86. doi:  10.3771/j.issn.1009-2307.2004.04.023
    [398] GAO Z. The Research of terrestrial Laser Scanning Data Processing and Modeling[D]. Xi’an: Chang'an University, 2010.
    [399] FANG W, Research on Automatic Texture mapping of terrestrial laser scanning data combining photogrammetry techniques[D]. Wuhan: Wuhan University, 2014.
    [400] NAYAR S K, WATANABE M, NOGUCHI M. Real-time focus range sensor [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996, 18(12): 1186-1198. doi:  10.1109/34.546256
    [401] WATANABE M, NAYAR S K. Rational filters for passive depth from defocus [J]. International Journal of Computer Vision, 1998, 27(3): 203-225. doi:  10.1023/A:1007905828438
    [402] GENG J. Structured-light 3D surface imaging: a tutorial [J]. Advances in Optics and Photonics, 2011, 3(2): 128-160. doi:  10.1364/AOP.3.000128
    [403] ZUO C, FENG S, HUANG L, et al. Phase shifting algorithms for fringe projection profilometry: A j. [J]. Optics and Lasers in Engineering, 2018, 109: 23-59. doi:  10.1016/j.optlaseng.2018.04.019
    [404] GORTHI S S, RASTOGI P. Fringe projection techniques: Whither we are? [J]. Optics & Lasers in Engineering, 2010, 48(2): 133-140.
    [405] REICH C, RITTER R, THESING J. 3-D shape measurement of complex objects by combining photogrammetry and fringe projection [J]. Optical Engineering, 2000, 39(1): 224-232. doi:  10.1117/1.602356
    [406] HUANG P S, ZHANG C, CHIANG F-P. High-speed 3-D shape measurement based on digital fringe projection [J]. Optical Engineering, 2003, 42(1): 163-169. doi:  10.1117/1.1525272
    [407] PAN B, KEMAO Q, HUANG L, et al. Phase error analysis and compensation for nonsinusoidal waveforms in phase-shifting digital fringe projection profilometry [J]. Optics Letters, 2009, 34(4): 416-418. doi:  10.1364/OL.34.000416
    [408] QUAN C, HE X, WANG C, et al. Shape measurement of small objects using LCD fringe projection with phase shifting [J]. Optics Communications, 2001, 189(1-3): 21-29. doi:  10.1016/S0030-4018(01)01038-0
    [409] ZHANG Z, TOWERS C E, TOWERS D P. Time efficient color fringe projection system for 3D shape and color using optimum 3-frequency Selection. [J]. Optics Express, 2006, 14(14): 6444-6455. doi:  10.1364/OE.14.006444
    [410] WANG Z, NGUYEN D A, BARNES J C. Some practical considerations in fringe projection profilometry [J]. Optics & Lasers in Engineering, 2010, 48(2): 218-225.
    [411] PAN J, HUANG P S, CHIANG F-P. Color-coded binary fringe projection technique for 3-D shape measurement [J]. Optical Engineering, 2005, 44(2): 023606. doi:  10.1117/1.1840973
    [412] KÜHMSTEDT P, MUNCKELT C, HEINZE M, et al. 3D shape measurement with phase correlation based fringe projection[C]//Optical Measurement Systems for Industrial Inspection V. International Society for Optics and Photonics, 2007: 66160B.
    [413] ZHANG Z. Review of single-shot 3 D shape measurement by phase calculation-based fringe projection techniques [J]. Optics and Lasers in Engineering, 2012, 50(8): 1097-1106. doi:  10.1016/j.optlaseng.2012.01.007
    [414] LIU H C, HALIOUA M, SRINIVASAN V. Automated phase-measuring profilometry of 3-D diffuse objects [J]. Applied Optics, 1984, 23(18): 3105. doi:  10.1364/AO.23.003105
    [415] SU X, CHEN W. Fourier transform profilometry: A review [J]. Optics and lasers in Engineering, 2001, 35(5): 263-284. doi:  10.1016/S0143-8166(01)00023-9
    [416] SU X, ZHANG Q. Dynamic 3-D shape measurement method: A review [J]. Optics & Lasers in Engineering, 2010, 48(2): 191-204.
    [417] KEMAO Q. Two-dimensional windowed Fourier transform for fringe pattern analysis: Principles, applications and implementations [J]. Optics and Lasers in Engineering, 2007, 45(2): 304-317. doi:  10.1016/j.optlaseng.2005.10.012
    [418] KEMAO Q. Windowed Fourier transform for fringe pattern analysis [J]. Applied Optics, 2004, 43(13): 2695-2702. doi:  10.1364/AO.43.002695
    [419] ZHONG J, WENG J. Spatial carrier-fringe pattern analysis by means of wavelet transform: wavelet transform profilometry [J]. Applied Optics, 2004, 43(26): 4993-4998. doi:  10.1364/AO.43.004993
    [420] SU X Y, BALLY G V, VUKICEVIC D. Phase-stepping grating profilometry: utilization of intensity modulation analysis in complex objects evaluation [J]. Optics Communications, 1993, 98(1-3): 141-150. doi:  10.1016/0030-4018(93)90773-X
    [421] LI J, HASSEBROOK L G, GUAN C. Optimized two-frequency phase-measuring-profilometry light-sensor temporal-noise sensitivity. [J]. Journal of the Optical Society of America:A Optics Image Science & Vision, 2003, 20(1): 106-115.
    [422] ZHANG S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques [J]. Optics & Lasers in Engineering, 2010, 48(2): 149-158.
    [423] VAN DER JEUGHT S, DIRCKX J J. Real-time structured light profilometry: A review [J]. Optics and Lasers in Engineering, 2016, 87: 18-31. doi:  10.1016/j.optlaseng.2016.01.011
    [424] ZUO C, HUANG L, ZHANG M, et al. Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review [J]. Optics & Lasers in Engineering, 2016, 85: 84-103.
    [425] SU X, CHEN W. Reliability-guided phase unwrapping algorithm: A review [J]. Optics and Lasers in Engineering, 2004, 42(3): 245-261. doi:  10.1016/j.optlaseng.2003.11.002
    [426] GUTMANN B, WEBER H. Phase unwrapping with the branch-cut method: Role of phase-field direction [J]. Applied Optics, 2000, 39(26): 4802-4816. doi:  10.1364/AO.39.004802
    [427] ZAPPA E, BUSCA G. Comparison of eight unwrapping algorithms applied to Fourier-transform profilometry [J]. Optics and Lasers in Engineering, 2008, 46(2): 106-116. doi:  10.1016/j.optlaseng.2007.09.002
    [428] GHIGLIA D C, ROMERO L A. Minimum Lp-norm two-dimensional phase unwrapping [J]. JOSA A, 1996, 13(10): 1999-2013. doi:  10.1364/JOSAA.13.001999
    [429] TROUVE E, NICOLAS J-M, MAITRE H. Improving phase unwrapping techniques by the use of local frequency estimates [J]. IEEE Transactions on Geoscience and Remote Sensing, 1998, 36(6): 1963-1972. doi:  10.1109/36.729368
    [430] ZEBKER H A, LU Y. Phase unwrapping algorithms for radar interferometry: residue-cut, least-squares, and synthesis algorithms [J]. JOSA A, 1998, 15(3): 586-598. doi:  10.1364/JOSAA.15.000586
    [431] HUNTLEY J M, SALDNER H. Temporal phase-unwrapping algorithm for automated interferogram analysis [J]. Applied Optics, 1993, 32(17): 3047-3052. doi:  10.1364/AO.32.003047
    [432] GUSHOV V, SOLODKIN Y N. Automatic processing of fringe patterns in integer interferometers [J]. Optics and Lasers in Engineering, 1991, 14(4-5): 311-324. doi:  10.1016/0143-8166(91)90055-X
    [433] SANSONI G, CAROCCI M, RODELLA R. Three-dimensional vision based on a combination of gray-code and phase-shift light projection: analysis and compensation of the systematic errors [J]. Appl Opt, 1999, 38(31): 6565-6573. doi:  10.1364/AO.38.006565
    [434] ZHAO H, CHEN W, TAN Y. Phase-unwrapping algorithm for the measurement of three-dimensional object shapes [J]. Applied Optics, 1994, 33(20): 4497-4500. doi:  10.1364/AO.33.004497
    [435] CHENG Y-Y, WYANT J C. Two-wavelength phase shifting interferometry [J]. Applied Optics, 1984, 23(24): 4539-4543. doi:  10.1364/AO.23.004539
    [436] CREATH K, CHENG Y-Y, WYANT J C. Contouring aspheric surfaces using two-wavelength phase-shifting interferometry [J]. Optica Acta:International Journal of Optics, 1985, 32(12): 1455-1464. doi:  10.1080/713821689
    [437] BURKE J, BOTHE T, OSTEN W, et al. Reverse engineering by fringe projection[C]//Interferometry XI: Applications. International Society for Optics and Photonics, 2002: 312–325.
    [438] DING Y, XI J, YU Y, et al. Recovering the absolute phase maps of two fringe patterns with selected frequencies [J]. Optics Letters, 2011, 36(13): 2518-2520. doi:  10.1364/OL.36.002518
    [439] FALAGGIS K, TOWERS D P, TOWERS C E. Algebraic solution for phase unwrapping problems in multiwavelength interferometry [J]. Applied Optics, 2014, 53(17): 3737-3747. doi:  10.1364/AO.53.003737
    [440] PETKOVIĆ T, PRIBANIĆ T, DJONLIĆ M. Temporal phase unwrapping using orthographic projection [J]. Optics and Lasers in Engineering, 2017, 90: 34-47. doi:  10.1016/j.optlaseng.2016.09.006
    [441] XING S, GUO H. Temporal phase unwrapping for fringe projection profilometry aided by recursion of Chebyshev polynomials [J]. Applied Optics, 2017, 56(6): 1591-1602. doi:  10.1364/AO.56.001591
    [442] SANSONI G, CORINI S, LAZZARI S, et al. Three-dimensional imaging based on Gray-code light projection: characterization of the measuring algorithm and development of a measuring system for industrial applications [J]. Applied Optics, 1997, 36(19): 4463-4472. doi:  10.1364/AO.36.004463
    [443] LI Z, SHI Y, WANG C, et al. Accurate calibration method for a structured light system [J]. Optical Engineering, 2008, 47(5): 053604. doi:  10.1117/1.2931517
    [444] SALDNER H O, HUNTLEY J M. Temporal phase unwrapping: Application to surface profiling of discontinuous objects [J]. Applied Optics, 1997, 36(13): 2770-2775. doi:  10.1364/AO.36.002770
    [445] MARTINEZ-CELORIO R A, DAVILA A, KAUFMANN G H, et al. Extension of the displacement measurement range for electronic speckle-shearing pattern interferometry using carrier fringes and a temporal-phase-unwrapping method [J]. Optical Engineering, 2000, 39(3): 751-758. doi:  10.1117/1.602423
    [446] HUANG L, ASUNDI A K. Phase invalidity identification framework with the temporal phase unwrapping method [J]. Measurement Science and Technology, 2011, 22(3): 035304. doi:  10.1088/0957-0233/22/3/035304
    [447] TIAN J, PENG X, ZHAO X. A generalized temporal phase unwrapping algorithm for three-dimensional profilometry [J]. Optics and Lasers in Engineering, 2008, 46(4): 336-342. doi:  10.1016/j.optlaseng.2007.11.002
    [448] PEDRINI G, ALEXEENKO I, OSTEN W, et al. Temporal phase unwrapping of digital hologram sequences [J]. Applied Optics, 2003, 42(29): 5846-5854. doi:  10.1364/AO.42.005846
    [449] WEISE T, LEIBE B, VAN GOOL L. Fast 3D Scanning with automatic motion compensation[C]//CVPR’07. IEEE Conference on Computer Vision and Pattern Recognition, 2007.
    [450] QIAN J, TAO T, FENG S, et al. Motion-artifact-free dynamic 3D shape measurement with hybrid Fourier-transform phase-shifting profilometry [J]. Optics Express, 2019, 27(3): 2713. doi:  10.1364/OE.27.002713
    [451] TAO T, CHEN Q, FENG S, et al. High-speed real-time 3D shape measurement based on adaptive depth constraint [J]. Optics Express, 2018, 26(17): 22440. doi:  10.1364/OE.26.022440
    [452] TAO T, CHEN Q, FENG S, et al. High-precision real-time 3D shape measurement based on a quad-camera system [J]. Journal of Optics, 2018, 20(1): 014009. doi:  10.1088/2040-8986/aa9e0f
    [453] TAO T, CHEN Q, DA J, et al. Real-time 3-D shape measurement with composite phase-shifting fringes and multi-view system [J]. Optics Express, 2016, 24(18): 20253-20269. doi:  10.1364/OE.24.020253
    [454] BRÄUERBURCHARDT C, MUNKELT C, HEINZE M, et al. Using geometric constraints to solve the point correspondence problem in fringe projection based 3D measuring systems[C]//International Conference on Image Analysis and Processing. 2011.
    [455] LI Z, ZHONG K, LI Y F, et al. Multiview phase shifting: A full-resolution and high-speed 3D measurement framework for arbitrary shape dynamic objects [J]. Optics Letters, 2013, 38(9): 1389-1391. doi:  10.1364/OL.38.001389
    [456] QIAN J, FENG S, TAO T, et al. High-resolution real-time 360° 3D model reconstruction of a handheld object with fringe projection profilometry [J]. Optics Letters, 2019, 44(23): 5751. doi:  10.1364/OL.44.005751
    [457] QIAN J, FENG S, XU M, et al. High-resolution real-time 360° 3D surface defect inspection with fringe projection profilometry [J]. Optics and Lasers in Engineering, 2021, 137: 106382. doi:  10.1016/j.optlaseng.2020.106382
    [458] ZHOU P, GOODSON K E. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation [J]. Optical Engineering, 2001, 40(8): 1613-1621. doi:  10.1117/1.1387992
    [459] ZHANG J, JIN G, MA S, et al. Application of an improved subpixel registration algorithm on digital speckle correlation measurement [J]. Optics & Laser Technology, 2003, 35(7): 533-542.
    [460] FENG S, CHEN Q, GU G, et al. Fringe pattern analysis using deep learning [J]. Advanced Photonics, 2019, 1(2): 1. doi:  10.1117/1.AP.1.2.025001
    [461] FENG S, ZUO C, HU Y, et al. Deep-learning-based fringe-pattern analysis with uncertainty estimation [J]. Optica, 2021, 8(12): 1507-1510. doi:  10.1364/OPTICA.434311
    [462] FENG S, ZUO C, YIN W, et al. Micro deep learning profilometry for high-speed 3D surface imaging[J/OL]. Optics and Lasers in Engineering, 2019, 121: 416–427. [2019–12–20]. https://linkinghub.elsevier.com/retrieve/pii/S0143816619302015.
    [463] QIAN J, FENG S, TAO T, et al. Deep-learning-enabled geometric constraints and phase unwrapping for single-shot absolute 3 D shape measurement[J/OL]. APL Photonics, 2020, 5(4): 046105. [2020–06–23]. http://aip.scitation.org/doi/10.1063/5.0003217. DOI: 10.1063/5.0003217.
    [464] QIAN J, FENG S, LI Y, et al. Single-shot absolute 3D shape measurement with deep-learning-based color fringe projection profilometry [J]. Optics Letters, 2020, 45(7): 1842-1845. doi:  10.1364/OL.388994
    [465] LI Y, QIAN J, FENG S, et al. Composite fringe projection deep learning profilometry for single-shot absolute 3D shape measurement[J/OL]. Optics Express, 2022, 30(3): 3424. [2022–02–13]. https://opg.optica.org/abstract.cfm?URI=oe-30-3-3424.
    [466] VAN DER JEUGHT S, DIRCKX J J J. Deep neural networks for single shot structured light profilometry[J/OL]. Optics Express, 2019, 27(12): 17091. [2020–07–19]. https://www.osapublishing.org/abstract.cfm?URI=oe-27-12-17091.
    [467] NGUYEN H, WANG Y, WANG Z. Single-shot 3D shape reconstruction using structured light and deep convolutional neural networks[J/OL]. Sensors, 2020, 20(13): 3718. [2020–07–08]. https://www.mdpi.com/1424-8220/20/13/3718.
    [468] ZHENG Y, WANG S, LI Q, et al. Fringe projection profilometry by conducting deep learning from its digital twin[J/OL]. Optics Express, 2020, 28(24): 36568. [2021–05–08]. https://www.osapublishing.org/abstract.cfm?URI=oe-28-24-36568.
    [469] YIN W, HU Y, FENG S, et al. Single-shot 3D shape measurement using an end-to-end stereo matching network for speckle projection profilometry [J]. Optics Express, 2021, 29(9): 13388-13407. doi:  10.1364/OE.418881
    [470] QIAO G, HUANG Y, SONG Y, et al. A single-shot phase retrieval method for phase measuring deflectometry based on deep learning [J]. Optics Communications, 2020, 476: 126303. doi:  10.1016/j.optcom.2020.126303
    [471] ZHOU W, SONG Y, QU X, et al. Fourier transform profilometry based on convolution neural network[C/OL]. HAN S, YOSHIZAWA T, ZHANG S. Optical Metrology and Inspection for Industrial Applications V. Beijing, China: SPIE, 2018: 62. [2020–03–15]. https://www.spiedigitallibrary.org/conference-proceedings-of-spie/10819/2500884/Fourier-transform-profilometry-based-on-convolution-neural-network/10.1117/12.2500884.full.
    [472] YANG T, ZHANG Z, LI H, et al. Single-shot phase extraction for fringe projection profilometry using deep convolutional generative adversarial network [J]. Measurement Science and Technology, 2020, 32(1): 015007. doi:  10.1088/1361-6501/aba5c5
    [473] YAN K, YU Y, HUANG C, et al. Fringe pattern denoising based on deep learning[J/OL]. Optics Communications, 2019, 437: 148–152. [2021–11–29]. https://linkinghub.elsevier.com/retrieve/pii/S0030401818311076.
    [474] GERSHUN A. The light field [J]. Journal of Mathematics and Physics, 1939, 18(1-4): 51-151. doi:  10.1002/sapm193918151
    [475] ADELSON E H, WANG J Y A. Single lens stereo with a plenoptic camera [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 99-106. doi:  10.1109/34.121783
    [476] NG R, LEVOY M, BREDIF M, et al. Light field photography with a hand-held plenoptic camera[D]. California: Stanford University, 2005.
    [477] PERWASS C, WIETZKE L. Single lens 3D-camera with extended depth-of-field[C/OL]. [2019–06–04]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?doi=10.1117/12.909882.
    [478] HEINZE C, SPYROPOULOS S, HUSSMANN S, et al. Automated robust metric calibration algorithm for multifocus plenoptic cameras [J]. IEEE Transactions on Instrumentation and Measurement, 2016, 65(5): 1197-1205. doi:  10.1109/TIM.2015.2507412
    [479] LEVOY M, HANRAHAN P. Light field rendering[C/OL]//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques - SIGGRAPH ’96. Not Known: ACM Press, 1996: 31–42. [2019–05–10]. http://portal.acm.org/citation.cfm?doid=237170.237199.
    [480] YANG J C, EVERETT M, BUEHLER C, et al. A real-time distributed light field camera. [J]. Rendering Techniques, 2002, 2002: 77-86.
    [481] WILBURN B, JOSHI N, VAISH V, et al. High performance imaging using large camera arrays[C/OL]//ACM SIGGRAPH 2005 Papers. New York, NY, USA: ACM, 2005: 765–776. [2019–06–05]. http://doi.acm.org/10.1145/1186822.1073259.
    [482] LIN X, WU J, ZHENG G, et al. Camera array based light field microscopy [J]. Biomedical Optics Express, 2015, 6(9): 3179-3189. doi:  10.1364/BOE.6.003179
    [483] VEERARAGHAVAN A, RASKAR R, AGRAWAL A, et al. Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing [J]. ACM Trans Graph, 2007, 26(3): 69. doi:  10.1145/1276377.1276463
    [484] MARWAH K, WETZSTEIN G, BANDO Y, et al. Compressive light field photography using overcomplete dictionaries and optimized projections [J]. ACM Transactions on Graphics, 2013, 32(4): 1-12. doi:  10.1145/2461912.2461914
    [485] LIANG C-K, LIN T-H, WONG B-Y, et al. Programmable aperture photography: Multiplexed light field acquisition [M]//ACM SIGGRAPH 2008 papers. 2008: 1-10.
    [486] ORTH A, CROZIER K B. Light field moment imaging [J]. Optics Letters, 2013, 38(15): 2666. doi:  10.1364/OL.38.002666
    [487] PARK J-H, LEE S-K, JO N-Y, et al. Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays [J]. Optics Express, 2014, 22(21): 25444. doi:  10.1364/OE.22.025444
    [488] CHEN N, REN Z, LI D, et al. Analysis of the noise in backprojection light field acquisition and its optimization [J]. Applied Optics, 2017, 56(13): F20. doi:  10.1364/AO.56.000F20
    [489] LU C-H, MUENZEL S, FLEISCHER J W. High-resolution light-field imaging via phase space retrieval [J]. Applied Optics, 2019, 58(5): A142. doi:  10.1364/AO.58.00A142
    [490] CHEN N, ZUO C. 3D imaging technology based on depth measurement [J]. Infrared and Laser Engineering, 2019, 48(6): 0603013. (in Chinese) doi:  10.3788/IRLA201948.0603013
    [491] XIAO X, WANG Z, SUN C, et al. Research on focusing and ranging method based on light field camera technology [J]. Acta Photonica Sinica, 2008, 37(12): 2539. (in Chinese)
    [492] VAISH V, GARG G, TALVALA E, et al. Synthetic aperture focusing using a shear-warp factorization of the viewing transform[C/OL]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). San Diego, CA, USA: IEEE, 2005: 129. [2019–06–04]. http://ieeexplore.ieee.org/document/1565441/.
    [493] Godfrey Hounsfield[Z/OL]. (2019–04–15)[2019–06–28].https://en.wikipedia.org/w/index.php?title=Godfrey_Hounsfield&oldid=892611195.
    [494] RADON J. On the determination of functions from their integral values along certain manifolds [J]. IEEE Transactions on Medical Imaging, 1986, 5(4): 170-176. doi:  10.1109/TMI.1986.4307775
    [495] Allan MacLeod Cormack[Z/OL]. (2019–06–04)[2019–06–29]. https://en.wikipedia.org/w/index.php?title=Allan_MacLeod_Cormack&oldid=900263100.
    [496] Isidor Isaac Rabi - Wikipedia[EB/OL]. [2019–06–29]. https://en.wikipedia.org/wiki/Isidor_Isaac_Rabi.
    [497] Nuclear magnetic resonance - Wikipedia[EB/OL]. [2019–06–29]. https://en.wikipedia.org/wiki/Nuclear_magnetic_resonance.
    [498] WEBB R H. Confocal optical microscopy [J]. Reports on Progress in Physics, 1996, 59(3): 427. doi:  10.1088/0034-4885/59/3/003
    [499] DIASPRO A. Confocal and Two-Photon Microscopy: Foundations, Applications and Advances[M/OL]. New York : Wiley-Liss, 2002. http://adsabs.harvard.edu/abs/2001 ctmf.book.....D.
    [500] ZIPFEL W R, WILLIAMS R M, WEBB W W. Nonlinear magic: Multiphoton microscopy in the biosciences [J]. Nature Biotechnology, 2003, 21(11): 1369-1377. doi:  10.1038/nbt899
    [501] OLARTE O E, ANDILLA J, GUALDA E J, et al. Light-sheet microscopy: A tutorial [J]. Advances in Optics and Photonics, 2018, 10(1): 111. doi:  10.1364/AOP.10.000111
    [502] SARDER P, NEHORAI A. Deconvolution methods for 3-D fluorescence microscopy images [J]. IEEE Signal Processing Magazine, 2006, 23(3): 32-45. doi:  10.1109/MSP.2006.1628876
    [503] WEINSTEIN M, CASTLEMAN K R. Reconstructing 3-D specimens from 2-D section images[C/OL]//Quantitative Imagery in the Biomedical Sciences I. International Society for Optics and Photonics, 1971: 131–138. [2019–06–29].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/0026/0000/Reconstructing-3-D-Specimens-From-2-D-Section-Images/10.1117/12.975337.short.
    [504] AGARD D A. Optical sectioning microscopy: Cellular architecture in three dimensions [J]. Annual Review of Biophysics and Bioengineering, 1984, 13: 191-219. doi:  10.1146/annurev.bb.13.060184.001203
    [505] GIBSON S F, LANNI F. Experimental test of an analytical model of aberration in an oil-immersion objective lens used in three-dimensional light microscopy [J]. JOSA A, 1992, 9(1): 154-166. doi:  10.1364/JOSAA.9.000154
    [506] MONCK J R, OBERHAUSER A F, KEATING T J, et al. Thin-section ratiometric Ca2+ images obtained by optical sectioning of fura-2 loaded mast cells [J]. The Journal of Cell Biology, 1992, 116(3): 745-759. doi:  10.1083/jcb.116.3.745
    [507] MCNALLY J G, KARPOVA T, COOPER J, et al. Three-dimensional imaging by deconvolution microscopy [J]. Methods, 1999, 19(3): 373-385. doi:  10.1006/meth.1999.0873
    [508] PREZA C, MILLER M I, THOMAS L J, et al. Regularized linear method for reconstruction of three-dimensional microscopic objects from optical sections [J]. Journal of the Optical Society of America A, Optics and Image Science, 1992, 9(2): 219-228. doi:  10.1364/JOSAA.9.000219
    [509] DEY N, BLANC-FERAUD L, ZIMMER C, et al. Richardson–lucy algorithm with total variation regularization for 3D confocal microscope deconvolution [J]. Microscopy Research and Technique, 2006, 69(4): 260-266. doi:  10.1002/jemt.20294
    [510] VAN KEMPEN G M P, VAN VLIET L J. Background estimation in nonlinear image restoration [J]. Journal of the Optical Society of America A, 2000, 17(3): 425. doi:  10.1364/JOSAA.17.000425
    [511] REMMELE S, SEELAND M, HESSER J. Fluorescence Microscopy Deconvolution Based on Bregman Iteration and Richardson-Lucy Algorithm with TV Regularization[M/OL]//Bildverarbeitung Für Die Medizin. Berlin: Springer, 2008: 72–76. [2018–07–20].https://link.springer.com/chapter/10.1007/978-3-540-78640-5_15.
    [512] HOLMES T J. Maximum-likelihood image restoration adapted for noncoherent optical imaging [J]. Journal of the Optical Society of America A, 1988, 5(5): 666. doi:  10.1364/JOSAA.5.000666
    [513] HOLMES T J. Blind deconvolution of quantum-limited incoherent imagery: Maximum-likelihood approach [J]. Journal of the Optical Society of America A, 1992, 9(7): 1052. doi:  10.1364/JOSAA.9.001052
    [514] HOLMES T J, O’CONNOR N J. Blind deconvolution of 3 d transmitted light brightfield micrographs [J]. Journal of Microscopy, 2000, 200(2): 114-127. doi:  10.1046/j.1365-2818.2000.00751.x
    [515] MARKHAM J, CONCHELLO J-A. Parametric blind deconvolution: A Robust method for the simultaneous estimation of image and blur [J]. JOSA A, 1999, 16(10): 2377-2391. doi:  10.1364/JOSAA.16.002377
    [516] LEVOY M, NG R, ADAMS A, et al. Light Field Microscopy[C/OL]//ACM SIGGRAPH 2006 Papers. New York, USA: ACM, 2006: 924–934. [2019–06–05]. http://doi.acm.org/10.1145/1179352.1141976.
    [517] LEVOY M, ZHANG Z, MCDOWALL I. Recording and controlling the 4D light field in a microscope using microlens arrays [J]. Journal of Microscopy, 2009, 235(2): 144-162. doi:  10.1111/j.1365-2818.2009.03195.x
    [518] BROXTON M, GROSENICK L, YANG S, et al. Wave optics theory and 3-D deconvolution for the light field microscope [J]. Optics Express, 2013, 21(21): 25418. doi:  10.1364/OE.21.025418
    [519] GUO C, LIU W, HUA X, et al. Fourier light-field microscopy [J]. Optics Express, 2019, 27(18): 25573. doi:  10.1364/OE.27.025573
    [520] PREVEDEL R, YOON Y-G, HOFFMANN M, et al. Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy [J]. Nature Methods, 2014, 11(7): 727-730. doi:  10.1038/nmeth.2964
    [521] PÉGARD N C, LIU H-Y, ANTIPA N, et al. Compressive light-field microscopy for 3D neural activity recording [J]. Optica, 2016, 3(5): 517. doi:  10.1364/OPTICA.3.000517
    [522] SKOCEK O, NÖBAUER T, WEILGUNY L, et al. High-speed volumetric imaging of neuronal activity in freely moving rodents [J]. Nature Methods, 2018, 15(6): 429-432. doi:  10.1038/s41592-018-0008-0
    [523] LI H, GUO C, KIM-HOLZAPFEL D, et al. Fast, volumetric live-cell imaging using high-resolution light-field microscopy [J]. Biomedical Optics Express, 2019, 10(1): 29. doi:  10.1364/BOE.10.000029
    [524] ZHANG Z, BAI L, CONG L, et al. Imaging volumetric dynamics at high speed in mouse and zebrafish brain with confocal light field microscopy [J]. Nature Biotechnology, 2021, 39(1): 74-83. doi:  10.1038/s41587-020-0628-7
    [525] WU J, LU Z, JIANG D, et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale [J]. Cell, 2021, 184(12): 3318-3332. doi:  10.1016/j.cell.2021.04.029
    [526] WOLF E. Three-dimensional structure determination of semi-transparent objects from holographic data [J]. Optics Communications, 1969, 1(4): 153-156. doi:  10.1016/0030-4018(69)90052-2
    [527] KAK A C, SLANEY M. Principles of Computerized Tomographic Imaging[M/OL]. Philadelphia: SIAM, 2001. [2017–09–25]. http://epubs.siam.org/doi/pdf/10.1137/1.9780898719277.fm.
    [528] HAEBERLÉ O, BELKEBIR K, GIOVANINNI H, et al. Tomographic diffractive microscopy: Basics, techniques and perspectives [J]. Journal of Modern Optics, 2010, 57(9): 686-699. doi:  10.1080/09500340.2010.493622
    [529] RAPPAZ B, MARQUET P, CUCHE E, et al. Measurement of the integral refractive index and dynamic cell morphometry of living cells with digital holographic microscopy [J]. Optics Express, 2005, 13(23): 9361-9373. doi:  10.1364/OPEX.13.009361
    [530] LAUER V. New approach to optical diffraction tomography yielding a vector equation of diffraction tomography and a novel tomographic microscope [J]. Journal of Microscopy, 2002, 205(2): 165-176. doi:  10.1046/j.0022-2720.2001.00980.x
    [531] CHOI W. Tomographic phase microscopy and its biological applications[J/OL]. 3D Research, 2012, 3(4): 1-11. [2017–11–20]. http://link.springer.com/10.1007/3 DRes.04(2012)5.
    [532] CHARRIÈRE F, MARIAN A, MONTFORT F, et al. Cell refractive index tomography by digital holographic microscopy [J]. Optics Letters, 2006, 31(2): 178. doi:  10.1364/OL.31.000178
    [533] CHARRIÈRE F, PAVILLON N, COLOMB T, et al. Living specimen tomography by digital holographic microscopy: Morphometry of testate amoeba [J]. Optics Express, 2006, 14(16): 7005. doi:  10.1364/OE.14.007005
    [534] CHOI W, FANG-YEN C, BADIZADEGAN K, et al. Tomographic phase microscopy [J]. Nature Methods, 2007, 4(9): 717-719. doi:  10.1038/nmeth1078
    [535] SUNG Y, CHOI W, FANG-YEN C, et al. Optical diffraction tomography for high resolution live cell imaging [J]. Optics Express, 2009, 17(1): 266-277. doi:  10.1364/OE.17.000266
    [536] KIM K, YOON H, DIEZ-SILVA M, et al. High-resolution three-dimensional imaging of red blood cells parasitized by plasmodium falciparum and in situ hemozoin crystals using optical diffraction tomography [J]. Journal of Biomedical Optics, 2013, 19(1): 011005. doi:  10.1117/1.JBO.19.1.011005
    [537] COTTE Y, TOY F, JOURDAIN P, et al. Marker-free phase nanoscopy [J]. Nature Photonics, 2013, 7(2): 113-117. doi:  10.1038/nphoton.2012.329
    [538] DEVANEY A J. A filtered backpropagation algorithm for diffraction tomography [J]. Ultrasonic Imaging, 1982, 4(4): 336-350. doi:  10.1016/0161-7346(82)90017-7
    [539] BARTY A, NUGENT K A, ROBERTS A, et al. Quantitative phase tomography [J]. Optics Communications, 2000, 175(4): 329-336. doi:  10.1016/S0030-4018(99)00726-9
    [540] DEVANEY A J. Inverse-scattering theory within the rytov approximation [J]. Optics Letters, 1981, 6(8): 374-376. doi:  10.1364/OL.6.000374
    [541] CHEN B, STAMNES J J. Validity of diffraction tomography based on the first born and the first rytov approximations [J]. Applied Optics, 1998, 37(14): 2996-3006. doi:  10.1364/AO.37.002996
    [542] DEBAILLEUL M, GEORGES V, SIMON B, et al. High-resolution three-dimensional tomographic diffractive microscopy of transparent inorganic and biological samples [J]. Optics Letters, 2009, 34(1): 79-81. doi:  10.1364/OL.34.000079
    [543] FANG-YEN C, CHOI W, SUNG Y, et al. Video-rate tomographic phase microscopy [J]. Journal of Biomedical Optics, 2011, 16(1): 011005. doi:  10.1117/1.3522506
    [544] KIM K, KIM K S, PARK H, et al. Real-time visualization of 3-D dynamic microscopic objects using optical diffraction tomography [J]. Optics Express, 2013, 21(26): 32269. doi:  10.1364/OE.21.032269
    [545] JIN D, ZHOU R, YAQOOB Z, et al. Dynamic spatial filtering using a digital micromirror device for high-speed optical diffraction tomography [J]. Optics Express, 2018, 26(1): 428. doi:  10.1364/OE.26.000428
    [546] KIM T, ZHOU R, MIR M, et al. White-light diffraction tomography of unlabelled live cells [J]. Nature Photonics, 2014, 8(3): 256-263. doi:  10.1038/nphoton.2013.350
    [547] LEE K, KIM K, KIM G, et al. Time-multiplexed structured illumination using a dmd for optical diffraction tomography [J]. Optics Letters, 2017, 42(5): 999. doi:  10.1364/OL.42.000999
    [548] ISIKMAN S O, BISHARA W, MAVANDADI S, et al. Lens-free optical tomographic microscope with a large imaging volume on a chip [J]. Proceedings of the National Academy of Sciences, 2011, 108(18): 7296-7301. doi:  10.1073/pnas.1015638108
    [549] SOTO J M, RODRIGO J A, ALIEVA T. Label-free quantitative 3D tomographic imaging for partially coherent light microscopy [J]. Optics Express, 2017, 25(14): 15699-15712. doi:  10.1364/OE.25.015699
    [550] TIAN L, WALLER L. 3D intensity and phase imaging from light field measurements in an led array microscope [J]. Optica, 2015, 2(2): 104. doi:  10.1364/OPTICA.2.000104
    [551] ZHANG R, CAI Z, SUN J, et al. Calculation of coherent field and its application in optical imaging [J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811025. (in Chinese)
    [552] WOLF E. New theory of partial coherence in the space–frequency domain. part I: Spectra and cross spectra of steady-state sources [J]. JOSA, 1982, 72(3): 343-351. doi:  10.1364/JOSA.72.000343
    [553] WIGNER E. On the quantum correction for thermodynamic equilibrium [J]. Physical Review, 1932, 40(5): 749-759. doi:  10.1103/PhysRev.40.749
    [554] DOLIN LS. Beam description of weakly-inhomogeneous wave fields [J]. Izv Vyssh Uchebn Zaved Radiofiz., 1964, 7: 559-563.
    [555] WALTHER A. Radiometry and coherence [J]. JOSA, 1968, 58(9): 1256-1259. doi:  10.1364/JOSA.58.001256
    [556] WALTHER A. Radiometry and coherence [J]. JOSA, 1973, 63(12): 1622-1623. doi:  10.1364/JOSA.63.001622
    [557] BASTIAANS M J. The Wigner distribution function applied to optical signals and systems [J]. Optics Communications, 1978, 25(1): 26-30. doi:  10.1016/0030-4018(78)90080-9
    [558] BASTIAANS M J. Wigner distribution function and its application to first-order optics [J]. JOSA, 1979, 69(12): 1710-1716. doi:  10.1364/JOSA.69.001710
    [559] BASTIAANS M J. Application of the wigner distribution function to partially coherent light [J]. JOSA A, 1986, 3(8): 1227-1238. doi:  10.1364/JOSAA.3.001227
    [560] TESTORF M, HENNELLY B, OJEDA-CASTANEDA J. Phase-SPACE Optics: Fundamentals and Applications[M]. New York: McGraw-Hill Education, 2009.
    [561] ZERNIKE F. The concept of degree of coherence and its application to optical problems [J]. Physica, 1938, 5(8): 785-795. doi:  10.1016/S0031-8914(38)80203-2
    [562] SANTARSIERO M, BORGHI R. Measuring spatial coherence by using a reversed-wavefront young interferometer [J]. Optics Letters, 2006, 31(7): 861. doi:  10.1364/OL.31.000861
    [563] GONZÁLEZ A I, MEJÍA Y. Nonredundant array of apertures to measure the spatial coherence in two dimensions with only one interferogram [J]. JOSA A, 2011, 28(6): 1107-1113. doi:  10.1364/JOSAA.28.001107
    [564] NAIK D N, PEDRINI G, TAKEDA M, et al. Spectrally resolved incoherent holography: 3D spatial and spectral imaging using a Mach–Zehnder radial-shearing interferometer [J]. Optics Letters, 2014, 39(7): 1857. doi:  10.1364/OL.39.001857
    [565] IACONIS C, WALMSLEY I A. Direct measurement of the two-point field correlation function [J]. Optics Letters, 1996, 21(21): 1783-1785. doi:  10.1364/OL.21.001783
    [566] NAIK D N, PEDRINI G, OSTEN W. Recording of incoherent-object hologram as complex spatial coherence function using sagnac radial shearing interferometer and a pockels cell [J]. Optics Express, 2013, 21(4): 3990-3995. doi:  10.1364/OE.21.003990
    [567] RAYMER M G, BECK M, MCALISTER D. Complex wave-field reconstruction using phase-space tomography [J]. Physical Review Letters, 1994, 72(8): 1137-1140. doi:  10.1103/PhysRevLett.72.1137
    [568] MCALISTER D F, BECK M, CLARKE L, et al. Optical phase retrieval by phase-space tomography and fractional-order fourier transforms [J]. Optics Letters, 1995, 20(10): 1181-1183. doi:  10.1364/OL.20.001181
    [569] WALLER L, SITU G, FLEISCHER J W. Phase-space measurement and coherence synthesis of optical beams [J]. Nature Photonics, 2012, 6(7): 474-479. doi:  10.1038/nphoton.2012.144
    [570] TIAN L, ZHANG Z, PETRUCCELLI J C, et al. Wigner function measurement using a lenslet array [J]. Optics Express, 2013, 21(9): 10511-10525. doi:  10.1364/OE.21.010511
    [571] GLASNER D, BAGON S, IRANI M. Super-resolution from a single image[C/OL]//2009 IEEE 12 th International Conference on Computer Vision. Kyoto: IEEE, 2009: 349–356. [2019–06–05]. http://ieeexplore.ieee.org/document/5459271/.
    [572] HUANG J-B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C/OL]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, MA, USA: IEEE, 2015: 5197–5206. [2019–06–05]. http://ieeexplore.ieee.org/document/7299156/.
    [573] KWANG IN KIM, YOUNGHEE KWON. Single-image super-resolution using sparse regression and natural image prior [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(6): 1127-1133. doi:  10.1109/TPAMI.2010.25
    [574] WANG D, FU T, BI G, et al. Long-distance sub-diffraction high-resolution imaging using sparse sampling [J]. Sensors, 2020, 20(11): 3116. doi:  10.3390/s20113116
    [575] XIANG M, PAN A, ZHAO Y, et al. Coherent synthetic aperture imaging for visible remote sensing via reflective fourier ptychography [J]. Optics Letters, 2021, 46(1): 29-32. doi:  10.1364/OL.409258
    [576] BIONDI F. Recovery of partially corrupted SAR images by super-resolution based on spectrum extrapolation [J]. IEEE Geoscience and Remote Sensing Letters, 2016, 14(2): 139-143.
    [577] BHATTACHARJEE S, SUNDARESHAN M K. Mathematical extrapolation of image spectrum for constraint-set design and set-theoretic superresolution [J]. JOSA A, 2003, 20(8): 1516-1527. doi:  10.1364/JOSAA.20.001516
    [578] ELAD M, DATSENKO D. Example-based regularization deployed to super-resolution reconstruction of a single image [J]. The Computer Journal, 2009, 52(1): 15-30.
    [579] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Single-image super-resolution via linear mapping of interpolated self-examples [J]. IEEE Transactions on Image Processing, 2014, 23(12): 5334-5347. doi:  10.1109/TIP.2014.2364116
    [580] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Iintelligence, 2015, 38(2): 295-307.
    [581] ZOU Y, ZHANG L, LIU C, et al. Super-resolution reconstruction of infrared images based on a convolutional neural network with skip connections [J]. Optics and Lasers in Engineering, 2021, 146: 106717. doi:  10.1016/j.optlaseng.2021.106717
    [582] WANG B, ZOU Y, ZHANG L, et al. Low-light-level image super-resolution reconstruction based on a multi-scale features extraction network [J]. Photonics, 2021, 8(8): 321.
    [583] VANDEWALLE P, SÜSSTRUNK S, VETTERLI M. A frequency domain approach to registration of aliased images with application to super-resolution[J/OL]. EURASIP Journal on Advances in Signal Processing, 2006(1): 71459. [2019–06–05].https://asp-eurasipjournals.springeropen.com/articles/10.1155/ASP/2006/71459.
    [584] NGUYEN N, MILANFAR P. A wavelet-based interpolation-restoration method for superresolution (wavelet superresolution) [J]. Circuits Systems and Signal Processing, 2000, 19(4): 321-338. doi:  10.1007/BF01200891
    [585] SUNG CHEOL PARK, MIN KYU PARK, MOON GI KANG. Super-resolution image reconstruction: A technical overview [J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36. doi:  10.1109/MSP.2003.1203207
    [586] WANG Z, LIU D, YANG J, et al. Deep networks for image super-resolution with sparse prior[C/OL]//2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE, 2015: 370–378. [2019–06–05]. http://ieeexplore.ieee.org/document/7410407/.
    [587] IRANI M, PELEG S. Improving resolution by image registration [J]. CVGIP:Graphical Models and Image Processing, 1991, 53(3): 231-239. doi:  10.1016/1049-9652(91)90045-L
    [588] CHEN J, LI Y, CAO L. Research on region selection super resolution restoration algorithm based on infrared micro-scanning optical imaging model [J]. Scientific Reports, 2021, 11(1): 1-8. doi:  10.1038/s41598-020-79139-8
    [589] ZHANG X, HUANG W, XU M, et al. Super-resolution imaging for infrared micro-scanning optical system [J]. Optics Express, 2019, 27(5): 7719-7737. doi:  10.1364/OE.27.007719
    [590] DAI S, LIU J, XIANG H, et al. Super-resolution reconstruction of images based on uncontrollable microscanning and genetic algorithm [J]. Optoelectronics Letters, 2014, 10(4): 313-316. doi:  10.1007/s11801-014-4067-x
    [591] HUSZKA G, GIJS M A. Turning a normal microscope into a super-resolution instrument using a scanning microlens array [J]. Scientific Reports, 2018, 8: 601.
    [592] GUNTURK B K, ALTUNBASAK Y, MERSEREAU R M. Super-resolution reconstruction of compressed video using transform-domain statistics [J]. IEEE Transactions on Image Processing, 2004, 13(1): 33-43. doi:  10.1109/TIP.2003.819221
    [593] CABANSKI W A, BREITER R, MAUK K-H, et al. Miniaturized high-performance starring thermal imaging system[C]//Infrared Detectors and Focal Plane Arrays VI. International Society for Optics and Photonics, 2000: 208–219.
    [594] WANG B, ZUO C, SUN J, et al. A computational super-resolution technique based on coded aperture imaging[C/OL]. PETRUCCELLI J C, TIAN L, PREZA C. Computational Imaging V. United States: SPIE, 2020: 25. [2020–10–13].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/11396/2560579/A-computational-super-resolution-technique-based-on-coded-aperture-imaging/10.1117/12.2560579.full.
    [595] LUCKE R L, RICKARD L J, BASHKANSKY M, et al. Synthetic aperture ladar (SAL): Fundamental theory, design equations for a satellite system, and laboratory demonstration[R/OL]. Fort Belvoir, VA: Defense Technical Information Center, 2002. [2019–06–05]. http://www.dtic.mil/docs/citations/ADA409859.
    [596] BASHKANSKY M, LUCKE R L, FUNK E, et al. Two-dimensional synthetic aperture imaging in the optical domain [J]. Optics Letters, 2002, 27(22): 1983. doi:  10.1364/OL.27.001983
    [597] BECK S M, BUCK J R, BUELL W F, et al. Synthetic-aperture imaging laser radar: Laboratory demonstration and signal processing [J]. Applied Optics, 2005, 44(35): 7621. doi:  10.1364/AO.44.007621
    [598] GARCÍA J, MICÓ V, GARCÍA-MARTÍNEZ P, et al. Synthetic aperture superresolution by structured light projection[C/OL]//AIP Conference Proceedings. Toledo (Spain): AIP, 2006: 136–145. [2019–06–05]. http://aip.scitation.org/doi/abs/10.1063/1.2361214.
    [599] GARCÍA J, ZALEVSKY Z, FIXLER D. Synthetic aperture superresolution by speckle pattern projection [J]. Optics Express, 2005, 13(16): 6073. doi:  10.1364/OPEX.13.006073
    [600] HOLLOWAY J, WU Y, SHARMA M K, et al. SAVI: Synthetic apertures for long-range, subdiffraction-limited visible imaging using fourier ptychography [J]. Science Advances, 2017, 3(4): e1602564. doi:  10.1126/sciadv.1602564
    [601] KOCH B. Status and future of laser scanning, synthetic aperture radar and hyperspectral remote sensing data for forest biomass assessment [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(6): 581-590. doi:  10.1016/j.isprsjprs.2010.09.001
    [602] HOLLOWAY J, ASIF M S, SHARMA M K, et al. Toward long distance, sub-diffraction imaging using coherent camera arrays[J/OL]. ArXiv: 1510.08470 [Physics], 2015. [2019–12–18]. http://arxiv.org/abs/1510.08470.
    [603] KENDRICK R L, DUNCAN A, OGDEN C, et al. Segmented planar imaging detector for eo reconnaissance[C]//Imaging and Applied Optics, OSA, 2013: CM4 C. 1.
    [604] KENDRICK R L, DUNCAN A, OGDEN C, et al. Flat-panel space-based space surveillance sensor[C]//Advanced Maui Optical and Space Surveillance Technologies Conference, 2013.
    [605] KATZ B, ROSEN J. Super-resolution in incoherent optical imaging using synthetic aperture with fresnel elements [J]. Optics Express, 2010, 18(2): 962-972. doi:  10.1364/OE.18.000962
    [606] ABBE E. Beiträge zur Theorie des mikroskops und der mikroskopischen wahrnehmung [J]. Archiv Für Mikroskopische Anatomie, 1873, 9(1): 413-418.
    [607] BETZIG E, PATTERSON G H, SOUGRAT R, et al. Imaging intracellular fluorescent proteins at nanometer resolution [J]. Science, 2006, 313(5793): 1642-1645. doi:  10.1126/science.1127344
    [608] RUST M J, BATES M, ZHUANG X. Sub-diffraction-limit imaging by stochastic optical reconstruction microscopy (STORM) [J]. Nature Methods, 2006, 3(10): 793. doi:  10.1038/nmeth929
    [609] HELL S W, WICHMANN J. Breaking the diffraction resolution limit by stimulated emission: stimulated-emission-depletion fluorescence microscopy[J]. Optics Letters, 1994, 19(11):780-782.
    [610] GUSTAFSSON M G. Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy [J]. Journal of Microscopy, 2000, 198(2): 82-87. doi:  10.1046/j.1365-2818.2000.00710.x
    [611] HESS S T, GIRIRAJAN T P, MASON M D. Ultra-high resolution imaging by fluorescence photoactivation localization microscopy [J]. Biophysical Journal, 2006, 91(11): 4258-4272. doi:  10.1529/biophysj.106.091116
    [612] XIA P, LIU X, WU B, et al. Superresolution imaging reveals structural features of EB1 in microtubule plus-end tracking [J]. Molecular Biology of the Cell, 2014, 25(25): 4166-4173. doi:  10.1091/mbc.e14-06-1133
    [613] NICKERSON A, HUANG T, LIN L-J, et al. Photoactivated localization microscopy with bimolecular fluorescence complementation (BiFC-PALM) for nanoscale imaging of protein-protein interactions in cells [J]. PloS One, 2014, 9(6): e100589. doi:  10.1371/journal.pone.0100589
    [614] LIU Z, XING D, SU Q P, et al. Super-resolution imaging and tracking of protein–protein interactions in sub-diffraction cellular space [J]. Nature Communications, 2014, 5: 4443. doi:  10.1038/ncomms5443
    [615] XU K, ZHONG G, ZHUANG X. Actin, spectrin, and associated proteins form a periodic cytoskeletal structure in axons [J]. Science, 2013, 339(6118): 452-456. doi:  10.1126/science.1232251
    [616] KLAR T A, JAKOBS S, DYBA M, et al. Fluorescence microscopy with diffraction resolution barrier broken by stimulated emission [J]. Proceedings of the National Academy of Sciences, 2000, 97(15): 8206-8210. doi:  10.1073/pnas.97.15.8206
    [617] WILLIG K I, RIZZOLI S O, WESTPHAL V, et al. STED microscopy reveals that synaptotagmin remains clustered after synaptic vesicle exocytosis [J]. Nature, 2006, 440(7086): 935. doi:  10.1038/nature04592
    [618] HELL S W. Far-field optical nanoscopy [J]. Science, 2007, 316(5828): 1153-1158. doi:  10.1126/science.1137395
    [619] KNER P, CHHUN B B, GRIFFIS E R, et al. Super-resolution video microscopy of live cells by structured illumination [J]. Nature Methods, 2009, 6(5): 339. doi:  10.1038/nmeth.1324
    [620] HUANG X, FAN J, LI L, et al. Fast, long-term, super-resolution imaging with hessian structured illumination Microscopy [J]. Nature Biotechnology, 2018, 36(5): 451-459. doi:  10.1038/nbt.4115
    [621] EGGELING C, WILLIG K I, SAHL S J, et al. Lens-based fluorescence nanoscopy [J]. Quarterly Reviews of Biophysics, 2015, 48(2): 178-243. doi:  10.1017/S0033583514000146
    [622] GUSTAFSSON M G. Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution [J]. Proceedings of the National Academy of Sciences, 2005, 102(37): 13081-13086. doi:  10.1073/pnas.0406877102
    [623] WILDANGER D, MEDDA R, KASTRUP L, et al. A compact STED microscope providing 3D nanoscale resolution [J]. Journal of Microscopy, 2009, 236(1): 35-43. doi:  10.1111/j.1365-2818.2009.03188.x
    [624] SCHMIDT R, WURM C A, JAKOBS S, et al. Spherical nanosized focal spot unravels the interior of cells [J]. Nature Methods, 2008, 5(6): 539. doi:  10.1038/nmeth.1214
    [625] BERNING S, WILLIG K I, STEFFENS H, et al. Nanoscopy in a living mouse brain [J]. Science, 2012, 335(6068): 551-551. doi:  10.1126/science.1215369
    [626] SCHERMELLEH L, CARLTON P M, HAASE S, et al. Subdiffraction multicolor imaging of the nuclear periphery with 3D structured illumination microscopy[J/OL]. Science, 2008, 320(5881): 1332–1336. [2019–06–05]. http://www.sciencemag.org/cgi/doi/10.1126/science.1156947.
    [627] ZHIJIAN L, JINGZE L, YAQIONG W, et al. Principle and recent progress of several super-resolution fluorescence microscopy techniques [J]. Progress in Biochemistry and Biophysics, 2009, 36(12): 1626-1634.
    [628] HUANG B, WANG W, BATES M, et al. Three-dimensional super-resolution imaging by stochastic optical reconstruction microscopy [J]. Science, 2008, 319(5864): 810-813. doi:  10.1126/science.1153529
    [629] PRAKASH K, DIEDERICH B, HEINTZMANN R, et al. Super-resolution microscopy: a brief history and new avenues [J]. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2022, 380(2220): 20210110. doi:  10.1098/rsta.2021.0110
    [630] CHMYROV A, KELLER J, GROTJOHANN T, et al. Nanoscopy with more than 100, 000’doughnuts’ [J]. Nature Methods, 2013, 10(8): 737. doi:  10.1038/nmeth.2556
    [631] SHARONOV A, HOCHSTRASSER R M. Wide-field subdiffraction imaging by accumulated binding of diffusing probes [J]. Proceedings of the National Academy of Sciences, 2006, 103(50): 18911-18916. doi:  10.1073/pnas.0609643104
    [632] BALZAROTTI F, EILERS Y, GWOSCH K C, et al. Nanometer resolution imaging and tracking of fluorescent molecules with minimal photon fluxes [J]. Science, 2017, 355(6325): 606-612. doi:  10.1126/science.aak9913
    [633] DERTINGER T, COLYER R, IYER G, et al. Fast, background-free, 3D super-resolution optical fluctuation imaging (SOFI) [J]. Proceedings of the National Academy of Sciences, 2009, 106(52): 22287-22292. doi:  10.1073/pnas.0907866106
    [634] WANG Z, GUO W, LI L, et al. Optical virtual imaging at 50 nm lateral resolution with a white-light nanoscope [J]. Nature Communications, 2011, 2: 218. doi:  10.1038/ncomms1211
    [635] SIGAL Y M, ZHOU R, ZHUANG X. Visualizing and discovering cellular structures with super-resolution microscopy [J]. Science, 2018, 361(6405): 880-887. doi:  10.1126/science.aau1044
    [636] XIANG H, QING Y, CUIFANG K, et al. Optical super-resolution imaging based on frequency shift [J]. Acta Optica Sinica, 2021, 41(1): 0111001. (in Chinese) doi:  10.3788/AOS202141.0111001
    [637] ZHANGHAO K, CHEN X, LIU W, et al. Super-resolution imaging of fluorescent dipoles via polarized structured illumination microscopy [J]. Nature Communications, 2019, 10(1): 4694. doi:  10.1038/s41467-019-12681-w
    [638] LIANG L, YAN W, QIN X, et al. Designing sub‐2 nm organosilica nanohybrids for far‐field super‐resolution imaging[J]. Angewandte Chemie, 2020, 132(2): 756-761.
    [639] Zhao W, Zhao S, Li L. et al. Sparse deconvolution improves the resolution of live-cell super-resolution fluorescence microscopy[J/OL]. Nature Biotechnology (2021).https://doi.org/10.1038/s41587-021-01092-2.
    [640] DAN D, LEI M, YAO B, et al. DMD-based LED-illumination super-resolution and optical sectioning microscopy [J]. Scientific Reports, 2013, 3(1): 1116. doi:  10.1038/srep01116
    [641] HELL S W, SAHL S J, BATES M, et al. The 2015 super-resolution microscopy roadmap[J]. Journal of Physics D: Applied Physics, 2015, 48(44): 443001.
    [642] CLEGG B. The Man Who Stopped Time: The Illuminating Story Of Eadweard Muybridge–pioneer Photographer, Father of the Motion Picture, Murderer[M]. Washington, DC: Joseph Henry Press, 2007, 7: 1, 106-108.
    [643] FURUTA M, NISHIKAWA Y, INOUE T, et al. A high-speed, high-sensitivity digital CMOS image sensor with a global shutter and 12-bit column-parallel cyclic A/D converters [J]. IEEE Journal of Solid-State Circuits, 2007, 42(4): 766-774. doi:  10.1109/JSSC.2007.891655
    [644] WANG X, YAN L, SI J, et al. High-frame-rate observation of single femtosecond laser pulse propagation in fused silica using an echelon and optical polarigraphy technique [J]. Applied Optics, 2014, 53(36): 8395-8399. doi:  10.1364/AO.53.008395
    [645] KAKUE T, TOSA K, YUASA J, et al. Digital light-in-flight recording by holography by use of a femtosecond pulsed laser [J]. IEEE Journal of Selected Topics in Quantum Electronics, 2011, 18(1): 479-485.
    [646] LI Z, ZGADZAJ R, WANG X, et al. Single-shot tomographic movies of evolving light-velocity objects [J]. Nature Communications, 2014, 5(1): 1-12.
    [647] NAKAGAWA K, IWASAKI A, OISHI Y, et al. Sequentially timed all-optical mapping photography (STAMP) [J]. Nature Photonics, 2014, 8(9): 695-700. doi:  10.1038/nphoton.2014.163
    [648] YUE Q-Y, CHENG Z-J, HAN L, et al. One-shot time-resolved holographic polarization microscopy for imaging laser-induced ultrafast phenomena [J]. Optics Express, 2017, 25(13): 14182-14191. doi:  10.1364/OE.25.014182
    [649] EHN A, BOOD J, LI Z, et al. FRAME: Femtosecond videography for atomic and molecular dynamics[J]. Light: Science & Applications, 2017, 6(9): e17045–e17045.
    [650] FERMANN M E, GALVANAUSKAS A, SUCHA G. Ultrafast Lasers: Technology and Applications[M]. Boca Raton: CRC Press, 2002.
    [651] WEINER A M. Ultrafast optical pulse shaping: A tutorial review [J]. Optics Communications, 2011, 284(15): 3669-3692. doi:  10.1016/j.optcom.2011.03.084
    [652] VELTEN A, WU D, JARABO A, et al. Femto-photography: Capturing and visualizing the propagation of light [J]. ACM Transactions on Graphics (ToG), 2013, 32(4): 1-8.
    [653] GAO L, LIANG J, LI C, et al. Single-shot compressed ultrafast photography at one hundred billion frames per second [J]. Nature, 2014, 516(7529): 74-77. doi:  10.1038/nature14005
    [654] LIANG J, ZHU L, WANG L V. Single-shot real-time femtosecond imaging of temporal focusing[J]. Light: Science & Applications, 2018, 7(1): 1–10.
    [655] QI D, CAO F, XU S, et al. 100-trillion-frame-per-second single-shot compressed ultrafast photography via molecular alignment [J]. Physical Review Applied, 2021, 15(2): 024051. doi:  10.1103/PhysRevApplied.15.024051
    [656] LEI S, ZHANG S. Flexible 3-D shape measurement using projector defocusing [J]. Optics Letters, 2009, 34(20): 3080-3082. doi:  10.1364/OL.34.003080
    [657] AYUBI G A, AYUBI J A, DI MARTINO J M, et al. Pulse-width modulation in defocused three-dimensional fringe projection [J]. Optics Letters, 2010, 35(21): 3682-3684. doi:  10.1364/OL.35.003682
    [658] ZUO C, CHEN Q, FENG S, et al. Optimized pulse width modulation pattern strategy for three-dimensional profilometry with projector defocusing [J]. Applied Optics, 2012, 51(19): 4477-4490. doi:  10.1364/AO.51.004477
    [659] ZUO C, CHEN Q, GU G, et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection [J]. Optics and Lasers in Engineering, 2013, 51(8): 953-960. doi:  10.1016/j.optlaseng.2013.02.012
    [660] WANG Y, ZHANG S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation [J]. Optics Express, 2011, 19(6): 5149-5155. doi:  10.1364/OE.19.005149
    [661] WANG Y, ZHANG S. Three-dimensional shape measurement with binary dithered patterns [J]. Applied Optics, 2012, 51(27): 6631-6636. doi:  10.1364/AO.51.006631
    [662] DAI J, ZHANG S. Phase-optimized dithering technique for high-quality 3D shape measurement [J]. Optics and Lasers in Engineering, 2013, 51(6): 790-795. doi:  10.1016/j.optlaseng.2013.02.003
    [663] DAI J, LI B, ZHANG S. High-quality fringe pattern generation using binary pattern optimization through symmetry and periodicity [J]. Optics and Lasers in Engineering, 2014, 52: 195-200. doi:  10.1016/j.optlaseng.2013.06.010
    [664] SUN J, ZUO C, FENG S, et al. Improved intensity-optimized dithering technique for 3D shape measurement [J]. Optics and Lasers in Engineering, 2015, 66: 158-164. doi:  10.1016/j.optlaseng.2014.09.008
    [665] DAI J, LI B, ZHANG S. Intensity-optimized dithering technique for three-dimensional shape measurement with projector defocusing [J]. Optics and Lasers in Engineering, 2014, 53: 79-85. doi:  10.1016/j.optlaseng.2013.08.015
    [666] LI B, WANG Y, DAI J, et al. Some recent advances on superfast 3D shape measurement with digital binary defocusing techniques [J]. Optics and Lasers in Engineering, 2014, 54: 236-246. doi:  10.1016/j.optlaseng.2013.07.010
    [667] ZHANG S, VAN D W D, OLIVER J. Superfast phase-shifting method for 3-D shape measurement. [J]. Optics Express, 2010, 18(9): 9684. doi:  10.1364/OE.18.009684
    [668] GONG Y, ZHANG S. Ultrafast 3-D shape measurement with an off-the-shelf DLP projector [J]. Optics Express, 2010, 18(19): 19743-19754. doi:  10.1364/OE.18.019743
    [669] ZUO C, TAO T, FENG S, et al. Micro Fourier transform profilometry (μFTP): 3D shape measurement at 10, 000frames per second [J]. Optics and Lasers in Engineering, 2018, 102: 70-91. doi:  10.1016/j.optlaseng.2017.10.013
    [670] YIN W, ZUO C, FENG S, et al. High-speed three-dimensional shape measurement using geometry-constraint-based number-theoretical phase unwrapping [J]. Optics and Lasers in Engineering, 2019, 115: 21-31. doi:  10.1016/j.optlaseng.2018.11.006
    [671] LAUGHNER J I, ZHANG S, LI H, et al. Mapping cardiac surface mechanics with structured light imaging [J]. American Journal of Physiology-Heart and Circulatory Physiology, 2012, 303(6): H712-H720. doi:  10.1152/ajpheart.00269.2012
    [672] ZHANG Q, SU X, CAO Y, et al. Optical 3-D shape and deformation measurement of rotating blades using stroboscopic structured illumination [J]. Optical Engineering, 2005, 44(11): 113601. doi:  10.1117/1.2127927
    [673] SCHAFFER M, GRO\S SE M, HARENDT B, et al. High-speed optical 3-D measurements for shape representation [J]. Optics and Photonics News, 2011, 22(12): 49-49. doi:  10.1364/OPN.22.12.000049
    [674] SCHAFFER M, GROSSE M, HARENDT B, et al. High-speed three-dimensional shape measurements of objects with laser speckles and acousto-optical deflection [J]. Optics Letters, 2011, 36(16): 3097-3099. doi:  10.1364/OL.36.003097
    [675] SCHAFFER M, GRO\S SE M, HARENDT B, et al. Statistical patterns: an approach for high-speed and high-accuracy shape measurements [J]. Optical Engineering, 2014, 53(11): 112205.
    [676] GROSSE M, SCHAFFER M, HARENDT B, et al. Fast data acquisition for three-dimensional shape measurement using fixed-pattern projection and temporal coding [J]. Optical Engineering, 2011, 50(10): 100503. doi:  10.1117/1.3646100
    [677] FUJIGAKI M, SAKAGUCHI T, MURATA Y. Development of a compact 3D shape measurement unit using the light-source-stepping method [J]. Optics and Lasers in Engineering, 2016, 85: 9-17. doi:  10.1016/j.optlaseng.2016.04.016
    [678] HEIST S, MANN A, KÜHMSTEDT P, et al. Array projection of aperiodic sinusoidal fringes for high-speed three-dimensional shape measurement [J]. Optical Engineering, 2014, 53(11): 112208. doi:  10.1117/1.OE.53.11.112208
    [679] HEIST S, LUTZKE P, SCHMIDT I, et al. High-speed three-dimensional shape measurement using GOBO projection [J]. Optics and Lasers in Engineering, 2016, 87: 90-96. doi:  10.1016/j.optlaseng.2016.02.017
    [680] HEIST S. 5D hyperspectral imaging: Fast and accurate measurement of surface shape and spectral characteristics using structured light [J]. Optics Express, 2018, 26(18): 23366-23379. doi:  10.1364/OE.26.023366
    [681] LANDMANN M, HEIST S, DIETRICH P, et al. High-speed 3D thermography [J]. Optics and Lasers in Engineering, 2019, 121: 448-455. doi:  10.1016/j.optlaseng.2019.05.009
    [682] FENG S, ZUO C, YIN W, et al. Micro deep learning profilometry for high-speed 3D surface imaging [J]. Optics and Lasers in Engineering, 2019, 121: 416-427. doi:  10.1016/j.optlaseng.2019.04.020
    [683] YOU L, YANG X, HE Y, et al. Jitter analysis of a superconducting nanowire single photon detector [J]. Aip Advances, 2013, 3(7): 072135. doi:  10.1063/1.4817581
    [684] RAGHURAM A, PEDIREDLA A, NARASIMHAN S G, et al. STORM: Super-resolving transients by oveRsampled measurements[C/OL]//2019 IEEE International Conference on Computational Photography (ICCP). Tokyo, Japan: IEEE, 2019: 1–11. [2022–01–27]. https://ieeexplore.ieee.org/document/8747334/.
    [685] WANG Z, MIKI S, FUJIWARA M. Superconducting nanowire single-photon detectors for quantum information and communications [J]. IEEE Journal of Selected Topics in Quantum Electronics, 2009, 15(6): 1741-1747. doi:  10.1109/JSTQE.2009.2034616
    [686] LINGDONG K, QINGYUAN Z, XUECOU T, et al. Progress and applications of superconducting nanowire delay-line single-photon imagers [J]. Laser & Optoelectronics Progress, 2021, 58(10): 1011002. (in Chinese) doi:  10.3788/LOP202158.1011002
    [687] BEITONG C, QIAN D, XIUMIN X, et al. The progress of single-photon photodetectors[J/OL]. Laser Technology. [2022-02-18]. http://kns.cnki.net/kcms/detail/51.1125.TN.20210927.2354.004.html.
    [688] Tobin R, Halimi A, Mccarthy A, et al. Long-range depth profiling of camouflaged targets using single-photon detection [J]. Optical Engineering, 2017, 57(3): 031303. doi:  10.1117/1.OE.57.3.031303
    [689] LI Z-P, YE J-T, HUANG X, et al. Single-photon imaging over 200 km [J]. Optica, 2021, 8(3): 344. doi:  10.1364/OPTICA.408657
    [690] CHEN S, HALIMI A, REN X, et al. Learning non-local spatial correlations to restore sparse 3D single-photon data [J]. IEEE Transactions on Image Processing, 2019, 29: 3119-3131.
    [691] HUA K, LIU B, CHEN Z, et al. Efficient and noise robust photon-counting imaging with first signal photon unit method[J]. Photonics, 2021, 8(6): 229.
    [692] LI Z-P, HUANG X, JIANG P-Y, et al. Super-resolution single-photon imaging at 8.2 kilometers [J]. Optics Express, 2020, 28(3): 4076-4087. doi:  10.1364/OE.383456
    [693] XUE R, KANG Y, ZHANG T, et al. Sub-pixel scanning high-resolution panoramic 3D imaging based on a SPAD array [J]. IEEE Photonics Journal, 2021, 13(4): 1-6. doi:  10.1109/JPHOT.2021.3103817
    [694] MACCARONE A, MATTIOLI DELLA ROCCA F, MCCARTHY A, et al. Three-dimensional imaging of stationary and moving targets in turbid underwater environments using a single-photon detector array [J]. Optics Express, 2019, 27(20): 28437. doi:  10.1364/OE.27.028437
    [695] LIU Y X, FAN Q, LI X Y, et al. Realization of silicon single-photon detector with ultra-low dark count rate [J]. Acta Optica Sinica, 2020, 40(10): 1004001. (in Chinese)
    [696] LI Z P. Long range single-photon three-dimensional imaging[D/OL]. Heifei: University of Science and Technology of China, 2020.https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CDFD&dbname=CDFDLAST2021&filename=1020088480.nh&v=.
    [697] MARINO R, STEPHENS T, HATCH R, et al. A compact 3D imaging laser radar system using Geiger-mode APD arrays: System and measurements[C]//Proceedings of SPIE, 2003, 5086: 501581.
    [698] AULL B. Geiger-mode avalanche photodiode arrays integrated to all-digital CMOS circuits [J]. Sensors, 2016, 16: 495. doi:  10.3390/s16040495
    [699] MARINO R, DAVIS W. Jigsaw : A foliage-penetrating 3D imaging laser radar system[J/OL]. Undefined, 2004.[2022–02–13].https://www.semanticscholar.org/paper/Jigsaw-%3 A-A-Foliage-Penetrating-3-D-Imaging-Laser-Marino-Davis/dd5821 a64 eb27 b04259 c0 fb4 da93 f3 b7601 f70 b1.
    [700] BULLER G S, WALLACE A M. Ranging and three-dimensional imaging using time-correlated single-photon counting and point-by-point acquisition [J]. IEEE Journal of Selected Topics in Quantum Electronics, 2007, 13(4): 1006-1015. doi:  10.1109/JSTQE.2007.902850
    [701] MCCARTHY A, KRICHEL N J, GEMMELL N R, et al. Kilometer-range, high resolution depth imaging via 1560 nm wavelength single-photon detection [J]. Optics Express, 2013, 21(7): 8904-8915. doi:  10.1364/OE.21.008904
    [702] KIRMANI A, VENKATRAMAN D, SHIN D, et al. First-photon imaging [J]. Science, 2014, 343(6166): 58-61. doi:  10.1126/science.1246775
    [703] ALTMANN Y, REN X, MCCARTHY A, et al. Lidar waveform-based analysis of depth images constructed using sparse single-photon data [J]. IEEE Transactions on Image Processing, 2016, 25(5): 1935-1946. doi:  10.1109/TIP.2016.2526784
    [704] LI Z-P, HUANG X, CAO Y, et al. Single-photon computational 3D imaging at 45 km [J]. Photonics Research, 2020, 8(9): 1532-1540. doi:  10.1364/PRJ.390091
    [705] CHEN C, CHEN Q, XU J, et al. Learning to see in the dark [C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2008: 3291-3300.
    [706] LINDELL D B, O’TOOLE M, WETZSTEIN G. Single-photon 3D imaging with deep sensor fusion [J]. ACM Transactions on Graphics, 2018, 37(4): 1-12. doi:  https://doi.org/10.1145/3197517.3201316
    [707] PENG J, XIONG Z, HUANG X, et al. Photon-efficient 3D imaging with a non-local neural network[C]//European Conference on Computer Vision, ECCV, 2020: 225-241.
    [708] TAN H, PENG J, XIONG Z, et al. Deep learning based single-photon 3D imaging with multiple returns [C]//2020 International Conference on 3D Vision (3DV), 2020: 1196-1205.
    [709] ZHAO X, JIANG X, HAN A, et al. Photon-efficient 3D reconstruction employing a edge enhancement method [J]. Optics Express, 2022, 30(2): 1555-1569. doi:  10.1364/OE.446369
    [710] ARGUS-IS. ARGUS-IS[Z/OL].(2020–07–15)[2021–03–08]. https://en.wikipedia.org/w/index.php?title=ARGUS-IS&oldid=967762056.
    [711] WILBURN B, JOSHI N, VAISH V, et al. High-speed videography using a dense camera array[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR, 2004.
    [712] WILBURN B, JOSHI N, VAISH V, et al. High performance imaging using large camera arrays [J]. ACM Transactions on Graphics, 2005, 24(3): 765-776. doi:  https://doi.org/10.1145/1073204.1073259
    [713] Perrin S. A 360 Degree camera that sees in 3D (w/ Video)[EB/OL]. 2010, [2021–03–08]. https://phys.org/news/2010-12-degree-camera-3d-video.html.
    [714] COGAL O, AKIN A, SEYID K, et al. A new omni-directional multi-camera system for high resolution surveillance[C]//Mobile Multimedia/Image Processing, Security, and Applications 2014. International Society for Optics and Photonics, 2014, 9120: 91200N.
    [715] LAW N M, FORS O, RATZLOFF J, et al. The evryscope: Design and performance of the first full-sky gigapixel-scale telescope[C]//Ground-Based And Airborne Telescopes VI. International Society for Optics and Photonics, 2016, 9906: 99061M.
    [716] LAW N M, FORS O, RATZLOFF J, et al. Evryscope science: Exploring the potential of all-sky gigapixel-scale telescopes [J]. Publications of the Astronomical Society of the Pacific, 2015, 127(949): 234. doi:  10.1086/680521
    [717] LIFANG S. Research and experiments on artificial compound eye imaging system with large field of view [D]. Chengdu: University of Electronic Science and Technology of China, 2014. (in Chinese)
    [718] SHI LIFANG, CAO AXIU C, LIU YUELIAN, et al. Design and experiment of artificial compound eye with large view field [J]. Opto-Electronic Engineering, 2013, 40: 27-33. (in Chinese)
    [719] HONGXIN Z, ZHENWU L, FENGYOU L. The Research progress of artificial compound eye [J]. Journal of Changchun University of Science and Technology, 2006(2): 4-7.
    [720] ZHANG HONGXIN, LU ZHENWU, LIU HUA. Novel method to simulate and analyze superposition compound eyes [J]. Optics and Precision Engineering, 2008, 16(10): 1847. (in Chinese)
    [721] HONGXIN Z, ZHENWU L, FENGYOU L, et al. The building and analysis of the superposition compound eye’s optical model [J]. Acta Photonica Sinica, 2007, 36(6): 1106. (in Chinese)
    [722] HONGXIN Z, ZHENWU L, FENGYOU L, et al. Simulation and analysis of the apposition compound eye based on the ZEMAX software [J]. Optical Technique, 2006, 32(S1): 124-126+129.
    [723] CAO ZhAOLOU, ZHAN ZHENXIAN, WANG KEYI. Structural design of spherical compound eye lens for moving object detection [J]. Infrared and Laser Engineering, 2011, 40(1): 70-73. (in Chinese)
    [724] Fang G. Design on novel compound eye device for target positioning and research on the key technology[D]. Hefei: University of Science and Technology of China, 2012. (in Chinese)
    [725] GUO FANG, WANG KEYI, YAN PEIZHENG, et al. Calibration of compound eye system for target positioning with large field of view [J]. Optics and Precision Engineering, 2012, 20(5): 913-920. (in Chinese)
    [726] KEIYI W, HAO Z, ZHAOLOU C, et al. Calibration and detection of compound eye model [J]. Optics and Precision Engineering, 2010, 18(8): 1807-1813. (in Chinese)
    [727] Aqueti. Aqueti(中国)- 官方网站[EB/OL]. [2021–03–07]. http://www.aqueti.cn/.
    [728] BRADY D J, HAGEN N. Multiscale lens design [J]. Optics Express, 2009, 17(13): 10659-10674. doi:  10.1364/OE.17.010659
    [729] TREMBLAY E J, MARKS D L, BRADY D J, et al. Design and scaling of monocentric multiscale imagers [J]. Applied Optics, 2012, 51(20): 4691-4702. doi:  10.1364/AO.51.004691
    [730] MARKS D L, BRADY D J. Close-up imaging using microcamera arrays for focal plane synthesis [J]. Optical Engineering, 2011, 50(3): 033205. doi:  10.1117/1.3554389
    [731] MARKS D L, TREMBLAY E J, FORD J E, et al. Microcamera aperture scale in monocentric gigapixel cameras [J]. Applied Optics, 2011, 50(30): 5824-5833. doi:  10.1364/AO.50.005824
    [732] MARKS D L, BRADY D J. Gigagon: A monocentric lens design imaging 40 gigapixels[C]//Imaging Systems. Optical Society of America, 2010: ITuC2.
    [733] SON H S, MARKS D L, HAHN J, et al. Design of a spherical focal surface using close-packed relay optics [J]. Optics Express, 2011, 19(17): 16132-16138. doi:  10.1364/OE.19.016132
    [734] SON H S, MARKS D L, TREMBLAY E, et al. A multiscale, wide field, gigapixel camera[C]//Computational Optical Sensing And Imaging. Optical Society of America, 2011: JTuE2.
    [735] BRADY D J, GEHM M E, STACK R A, et al. Multiscale gigapixel photography [J]. Nature, 2012, 486(7403): 386-389. doi:  10.1038/nature11150
    [736] MARKS D L, LLULL P R, PHILLIPS Z, et al. Characterization of the AWARE 10 two-gigapixel wide-field-of-view visible imager [J]. Applied Optics, 2014, 53(13): C54-C63. doi:  10.1364/AO.53.000C54
    [737] LLULL P, BANGE L, PHILLIPS Z, et al. Characterization of the AWARE 40 wide-field-of-view visible imager [J]. Optica, 2015, 2(12): 1086-1089. doi:  10.1364/OPTICA.2.001086
    [738] WU J, XIONG B, LIN X, et al. Snapshot hyperspectral volumetric microscopy [J]. Scientific Reports, 2016, 6(1): 1-10. doi:  10.1038/s41598-016-0001-8
    [739] JUNKAI Q, FENG Z, GANG Y, et al. A new super-large of view and small distortion optical system [J]. Spacecraft Recovery & Remote Sensing, 2013, 34(2): 30-35.
    [740] AQI Y. Optical design of three-line array airborne mapping camera[D]. Xi'an: University of Chinese Academy of Sciences (Xi'an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences), 2015. (in Chinese)
    [741] YISI W. Research on wide FOV high resolution earth observation system based on multi-scale stitching imaging[D]. Hangzhou: Zhejiang University, 2016. (in Chinese)
    [742] XIAOPENG S, FEI L, WEI L, et al. Latest progress in comptutational imaging technology and application [J]. Laser & Optoelectronics Progress, 2020, 57(2): 020001. (in Chinese)
    [743] FEI L, YAZHEN W, PINGLI H, et al. Design of multi-scale wide area high-resolution computational imaging system based on concentric spherical lens [J]. Acta Physica Sinica, 2019, 68(8): 084201. (in Chinese) doi:  10.7498/aps.68.20182229
    [744] GARCIA-SUCERQUIA J, XU W, JERICHO S K, et al. Digital in-line holographic microscopy [J]. Applied Optics, 2006, 45(5): 836-850. doi:  10.1364/AO.45.000836
    [745] GARCIA-SUCERQUIA J, XU W, JERICHO M H, et al. Immersion digital in-line holographic microscopy [J]. Optics Letters, 2006, 31(9): 1211-1213. doi:  10.1364/OL.31.001211
    [746] KANKA M, RIESENBERG R, KREUZER H J. Reconstruction of high-resolution holographic microscopic images [J]. Optics Letters, 2009, 34(8): 1162-1164. doi:  10.1364/OL.34.001162
    [747] KANKA M, RIESENBERG R, PETRUCK P, et al. High resolution (NA=0.8) in lensless in-line holographic microscopy with glass sample carriers [J]. Optics Letters, 2011, 36(18): 3651-3653. doi:  10.1364/OL.36.003651
    [748] BISHARA W, SU T-W, COSKUN A F, et al. Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution [J]. Optics Express, 2010, 18(11): 11181-11191. doi:  10.1364/OE.18.011181
    [749] HAHN J, LIM S, CHOI K, et al. Video-rate compressive holographic microscopic tomography [J]. Optics Express, 2011, 19(8): 7289-7298. doi:  10.1364/OE.19.007289
    [750] LUO W, ZHANG Y, GÖRÖCS Z, et al. Propagation phasor approach for holographic image reconstruction [J]. Scientific Reports, 2016, 6: 22738. doi:  10.1038/srep22738
    [751] XIONG Z, MELZER J E, GARAN J, et al. Optimized sensing of sparse and small targets using lens-free holographic microscopy [J]. Optics Express, 2018, 26(20): 25676. doi:  10.1364/OE.26.025676
    [752] AGBANA T E, GONG H, AMOAH A S, et al. Aliasing, coherence, and resolution in a lensless holographic microscope [J]. Optics Letters, 2017, 42(12): 2271-2274. doi:  10.1364/OL.42.002271
    [753] ZHANG W, CAO L, JIN G, et al. Full field-of-view digital lens-free holography for weak-scattering objects based on grating modulation [J]. Applied Optics, 2018, 57(1): A164. doi:  10.1364/AO.57.00A164
    [754] ALLIER C, MOREL S, VINCENT R, et al. Imaging of dense cell cultures by multiwavelength lens-free video microscopy: Cell cultures by lens-free microscopy [J]. Cytometry Part A, 2017, 91(5): 433-442. doi:  10.1002/cyto.a.23079
    [755] SERABYN E, LIEWER K, WALLACE J K. Resolution optimization of an off-axis lensless digital holographic microscope [J]. Applied Optics, 2018, 57(1): A172. doi:  10.1364/AO.57.00A172
    [756] FENG S, WU J. Resolution enhancement method for lensless in-line holographic microscope with spatially-extended light source [J]. Optics Express, 2017, 25(20): 24735. doi:  10.1364/OE.25.024735
    [757] FENG S, WANG M, WU J. Lensless in-line holographic microscope with talbot grating illumination [J]. Optics Letters, 2016, 41(14): 3157. doi:  10.1364/OL.41.003157
    [758] CUI X, LEE L M, HENG X, et al. Lensless high-resolution on-chip optofluidic microscopes for caenorhabditis elegans and cell imaging [J]. Proceedings of The National Academy of Sciences, 2008, 105(31): 10670-10675. doi:  10.1073/pnas.0804612105
    [759] XU W, JERICHO M H, MEINERTZHAGEN I A, et al. Digital in-line holography for biological applications [J]. Proceedings of the National Academy of Sciences, 2001, 98(20): 11301-11305. doi:  10.1073/pnas.191361398
    [760] SU T, SEO S, ERLINGER A, et al. Towards wireless health: Lensless on-chip cytometry [J]. Optics and Photonics News, 2008, 19(12): 24-24. doi:  10.1364/OPN.19.12.000024
    [761] ISIKMAN S, SEO S, SENCAN I, et al. Lensfree cell holography on a chip: From holographic cell signatures to microscopic reconstruction[C]//2009 IEEE LEOS Annual Meeting Conference Proceedings, 2009.
    [762] ZHENG G, LEE S A, ANTEBI Y, et al. The ePetri dish, an on-chip cell imaging platform based on subpixel perspective sweeping microscopy (SPSM) [J]. Proceedings of the National Academy of Sciences, 2011, 108(41): 16889-16894. doi:  10.1073/pnas.1110681108
    [763] GREENBAUM A, LUO W, SU T-W, et al. Imaging without lenses: achievements and remaining challenges of wide-field on-chip microscopy [J]. Nature Methods, 2012, 9(9): 889-895. doi:  10.1038/nmeth.2114
    [764] GREENBAUM A, OZCAN A. Maskless imaging of dense samples using pixel super-resolution based multi-height lensfree on-chip microscopy [J]. Optics Express, 2012, 20(3): 3129-3143. doi:  10.1364/OE.20.003129
    [765] BISHARA W, SIKORA U, MUDANYALI O, et al. Holographic pixel super-resolution in portable lensless on-chip microscopy using a fiber-optic array [J]. Lab on A Chip, 2011, 11(7): 1276-1279. doi:  10.1039/C0LC00684J
    [766] HARDIE R C, BARNARD K J, BOGNAR J G, et al. High-resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system [J]. Optical Engineering, 1998, 37(1): 247-261. doi:  10.1117/1.601623
    [767] ELAD M, HEL-OR Y. A fast super-resolution reconstruction algorithm for pure translational motion and common space-invariant blur [J]. IEEE Transactions on Image Processing, 2001, 10(8): 1187-1193. doi:  10.1109/83.935034
    [768] GREENBAUM A, FEIZI A, AKBARI N, et al. Wide-field computational color imaging using pixel super-resolved on-chip microscopy [J]. Optics Express, 2013, 21(10): 12469-12483. doi:  10.1364/OE.21.012469
    [769] GREENBAUM A, SIKORA U, OZCAN A. Field-portable wide-field microscopy of dense samples using multi-height pixel super-resolution based lensfree imaging [J]. Lab on A Chip, 2012, 12(7): 1242-1245. doi:  10.1039/C2LC21072J
    [770] ZHENG G, AH LEE S, YANG S, et al. Sub-pixel resolving optofluidic microscope for on-chip cell imaging [J]. Lab on A Chip, 2010, 10(22): 3125-3129. doi:  10.1039/C0LC00213E
    [771] LUO W, GREENBAUM A, ZHANG Y, et al. Synthetic aperture-based on-chip microscopy [J]. Light:Science & Applications, 2015, 4(3): e261. doi:  10.1038/lsa.2015.34
    [772] BAO P, ZHANG F, PEDRINI G, et al. Phase retrieval using multiple illumination wavelengths [J]. Optics Letters, 2008, 33(4): 309-311. doi:  10.1364/OL.33.000309
    [773] BAO P, SITU G, PEDRINI G, et al. Lensless phase microscopy using phase retrieval with multiple illumination wavelengths [J]. Applied Optics, 2012, 51(22): 5486-5494. doi:  10.1364/AO.51.005486
    [774] NOOM D W E, FLAES D E B, LABORDUS E, et al. High-speed multi-wavelengt Fresnel diffraction imaging [J]. Optics Express, 2014, 22(25): 30504-30511. doi:  10.1364/OE.22.030504
    [775] SANZ M, PICAZO-BUENO J A, GARCÍA J, et al. Improved quantitative phase imaging in lensless microscopy by single-shot multi-wavelength illumination using a fast convergence algorithm [J]. Optics Express, 2015, 23(16): 21352-21365. doi:  10.1364/OE.23.021352
    [776] FIENUP J R. Reconstruction of an object from the modulus of Its fourier transform [J]. Optics Letters, 1978, 3(1): 27-29. doi:  10.1364/OL.3.000027
    [777] LUO W, ZHANG Y, FEIZI A, et al. Pixel super-resolution using wavelength scanning [J]. Light: Science & Applications, 2016, 5(4): e16060. doi:  10.1038/lsa.2016.60
    [778] ZHANG J, SUN J, CHEN Q, et al. Adaptive pixel-super-resolved lensfree in-line digital holography for wide-field on-chip microscopy [J]. Scientific Reports, 2017, 7(1): 11777. doi:  10.1038/s41598-017-11715-x
    [779] RIVENSON Y, ZHANG Y, GÜNAYDIN H, et al. Phase recovery and holographic image reconstruction using deep learning in neural networks [J]. Light: Science & Applications, 2018, 7(2): 17141. doi:  10.1038/lsa.2017.141
    [780] RIVENSON Y, CEYLAN KOYDEMIR H, WANG H, et al. Deep learning enhanced mobile-phone microscopy [J]. ACS Photonics, 2018, 5: 2354-2364. doi:  10.1021/acsphotonics.8b00146
    [781] JIALIN Z, QIAN C, XIANGYU Z, et al. Lens-free on-chip microscopy: Theory, advances, and applications [J]. Infrared and Laser Engineering, 2019, 48(6): 0603009. (in Chinese) doi:  10.3788/IRLA201948.0603009
    [782] MICO V, ZALEVSKY Z, GARCÍA-MARTÍNEZ P, et al. Synthetic aperture superresolution with multiple off-axis holograms [J]. JOSA A, 2006, 23(12): 3162-3170. doi:  10.1364/JOSAA.23.003162
    [783] MICO V, ZALEVSKY Z, GARCÍA-MARTÍNEZ P, et al. Superresolved imaging in digital holography by superposition of tilted wavefronts [J]. Applied Optics, 2006, 45(5): 822-828. doi:  10.1364/AO.45.000822
    [784] GRANERO L, MICÓ V, ZALEVSKY Z, et al. Superresolution imaging method using phase-shifting digital lensless fourier holography [J]. Optics Express, 2009, 17(17): 15008-15022. doi:  10.1364/OE.17.015008
    [785] MICÓ V, FERREIRA C, GARCÍA J. Surpassing digital holography limits by lensless object scanning holography [J]. Optics Express, 2012, 20(9): 9382-9395. doi:  10.1364/OE.20.009382
    [786] MICO V, ZALEVSKY Z, GARCÍA J. Common-path phase-shifting digital holographic microscopy: A way to quantitative phase imaging and superresolution [J]. Optics Communications, 2008, 281(17): 4273-4281. doi:  10.1016/j.optcom.2008.04.079
    [787] MICÓ V, GARCÍA J. Common-path phase-shifting lensless holographic microscopy [J]. Optics Letters, 2010, 35(23): 3919-3921. doi:  10.1364/OL.35.003919
    [788] MICÓ V, ZALEVSKY Z, GARCIA J. Superresolved common-path phase-shifting digital inline holographic microscopy using a spatial light modulator [J]. Optics Letters, 2012, 37(23): 4988-4990. doi:  10.1364/OL.37.004988
    [789] MICÓ V, ZALEVSKY Z. Superresolved digital in-line holographic microscopy for high-resolution lensless biological imaging [J]. Journal of Biomedical Optics, 2010, 15(4): 046027. doi:  10.1117/1.3481142
    [790] PICAZO-BUENO J Á, ZALEVSKY Z, GARCÍA J, et al. Superresolved spatially multiplexed interferometric microscopy [J]. Optics Letters, 2017, 42(5): 927-930. doi:  10.1364/OL.42.000927
    [791] MICO V, FERREIRA C, ZALEVSKY Z, et al. Spatially-multiplexed interferometric microscopy (SMIM): Converting a standard microscope into a holographic one [J]. Optics Express, 2014, 22(12): 14929-14943. doi:  10.1364/OE.22.014929
    [792] GAO P, PEDRINI G, OSTEN W. Structured illumination for resolution enhancement and autofocusing in digital holographic microscopy [J]. Optics Letters, 2013, 38(8): 1328. doi:  10.1364/OL.38.001328
    [793] CHOWDHURY S, ELDRIDGE W J, WAX A, et al. Structured illumination multimodal 3D-resolved quantitative phase and fluorescence sub-diffraction microscopy [J]. Biomedical Optics Express, 2017, 8(5): 2496. doi:  10.1364/BOE.8.002496
    [794] GABAI H, SHAKED N T. Dual-channel low-coherence interferometry and its application to quantitative phase imaging of fingerprints [J]. Optics Express, 2012, 20(24): 26906. doi:  10.1364/OE.20.026906
    [795] GIRSHOVITZ P, SHAKED N T. Doubling the field of view in off-axis low-coherence interferometric imaging [J]. Light: Science & Applications, 2014, 3(3): e151. doi:  10.1038/lsa.2014.32
    [796] FRENKLACH I, GIRSHOVITZ P, SHAKED N T. Off-axis interferometric phase microscopy with tripled imaging area [J]. Optics Letters, 2014, 39(6): 1525. doi:  10.1364/OL.39.001525
    [797] BIAN L, SUO J, SITU G, et al. Content adaptive illumination for fourier ptychography [J]. Optics Letters, 2014, 39(23): 6648-6651. doi:  10.1364/OL.39.006648
    [798] HE X, LIU C, ZHU J. Single-shot fourier ptychography based on diffractive beam splitting [J]. Optics Letters, 2018, 43(2): 214. doi:  10.1364/OL.43.000214
    [799] LEE B, HONG J, YOO D, et al. Single-shot phase retrieval via Fourier ptychographic microscopy [J]. Optica, 2018, 5(8): 976-983. doi:  10.1364/OPTICA.5.000976
    [800] TIAN L, LIU Z, YEH L-H, et al. Computational illumination for high-speed in vitro Fourier ptychographic microscopy [J]. Optica, 2015, 2(10): 904. doi:  10.1364/OPTICA.2.000904
    [801] SUN J, ZUO C, ZHANG J, et al. High-speed Fourier ptychographic microscopy based on programmable annular illuminations[J/OL]. Scientific Reports, (2018–09–11). http://www.nature.com/articles/s41598-018-25797-8.
    [802] SUN J, CHEN Q, ZHANG J, et al. Single-shot quantitative phase microscopy based on color-multiplexed Fourier Ptychography [J]. Optics Letters, 2018, 43(14): 3365. doi:  10.1364/OL.43.003365
    [803] QIU Z, ZHANG Z, ZHONG J, et al. Comprehensive comparison of single-pixel imaging methods [J]. Optics and Lasers in Engineering, 2020, 134: 106301. doi:  10.1016/j.optlaseng.2020.106301
    [804] NIPKOW P. Optical disk [J]. German patent, 1884, 30: 15.
    [805] LOGIE B J. Apparatus for transmitting views or images to a distanc: US, US1699270A[P]. 1929-01-15.
    [806] PITTMAN T B, SHIH Y H, STREKALOV D V, et al. Optical imaging by means of two-photon quantum entanglement [J]. Physical Review A, 1995, 52(5): R3429-R3432. doi:  10.1103/PhysRevA.52.R3429
    [807] BENNINK R S, BENTLEY S J, BOYD R W. “Two-Photon” coincidence imaging with a classical source [J]. Physical Review Letters, 2002, 89(11): 113601. doi:  10.1103/PhysRevLett.89.113601
    [808] GATTI A, BRAMBILLA E, BACHE M, et al. Ghost imaging with thermal light: Comparing entanglement and classical correlation [J]. Physical Review Letters, 2004, 93(9): 093602. doi:  10.1103/PhysRevLett.93.093602
    [809] CAI Y, ZHU S-Y. Ghost imaging with incoherent and partially coherent light radiation [J]. Physical Review E, 2005, 71(5): 056607. doi:  10.1103/PhysRevE.71.056607
    [810] BROMBERG Y, KATZ O, SILBERBERG Y. Ghost imaging with a single detector [J]. Physical Review A, 2009, 79(5): 053840. doi:  10.1103/PhysRevA.79.053840
    [811] HAN S, YU H, SHEN X, et al. A review of ghost imaging via sparsity constraints [J]. Applied Sciences, 2018, 8(8): 1379. doi:  10.3390/app8081379
    [812] FERRI F, MAGATTI D, LUGIATO L, et al. Differential ghost imaging [J]. Physical Review Letters, 2010, 104(25): 253603. doi:  10.1103/PhysRevLett.104.253603
    [813] SUN B, WELSH S S, EDGAR M P, et al. Normalized ghost imaging [J]. Optics Express, 2012, 20(15): 16892-16901. doi:  10.1364/OE.20.016892
    [814] VASILE T, DAMIAN V, COLTUC D, et al. Single pixel sensing for THz laser beam profiler based on Hadamard Transform [J]. Optics & Laser Technology, 2016, 79: 173-178.
    [815] ZHANG Z, MA X, ZHONG J. Single-pixel imaging by means of Fourier spectrum acquisition [J]. Nature Communications, 2015, 6(1): 1-6.
    [816] LIU B-L, YANG Z-H, LIU X, et al. Coloured computational imaging with single-pixel detectors based on a 2D discrete cosine transform [J]. Journal of Modern Optics, 2017, 64(3): 259-264. doi:  10.1080/09500340.2016.1229507
    [817] MCCARTHY A, COLLINS R J, KRICHEL N J, et al. Long-range time-of-flight scanning sensor based on high-speed time-correlated single-photon counting [J]. Applied Optics, 2009, 48(32): 6241-6251. doi:  10.1364/AO.48.006241
    [818] VELTEN A, WILLWACHER T, GUPTA O, et al. Recovering three-dimensional shape around a corner using ultrafast time-of-flight imaging [J]. Nature Communications, 2012, 3: 745. doi:  10.1038/ncomms1747
    [819] KEPPEL E. Approximating complex surfaces by triangulation of contour lines [J]. IBM Journal of Research and Development, 1975, 19(1): 2-11. doi:  10.1147/rd.191.0002
    [820] BOYDE A. Stereoscopic images in confocal (tandem scanning) microscopy [J]. Science, 1985, 230(4731): 1270-1272. doi:  10.1126/science.4071051
    [821] Zhang Z, Zhong J. Three-dimensional single-pixel imaging with far fewer measurements than effective image pixels [J]. Optics Letters, 2016, 41(11): 2497-2500. doi:  10.1364/OL.41.002497
    [822] ZHANG Y, EDGAR M P, SUN B, et al. 3 D single-pixel video [J]. Journal of Optics, 2016, 18(3): 035203. doi:  10.1088/2040-8978/18/3/035203
    [823] SALVADOR-BALAGUER E, LATORRE-CARMONA P, CHABERT C, et al. Low-cost single-pixel 3 D imaging by using an LED array [J]. Optics Express, 2018, 26(12): 15623-15631. doi:  10.1364/OE.26.015623
    [824] SUN M-J, EDGAR M P, GIBSON G M, et al. Single-pixel three-dimensional imaging with time-based depth resolution [J]. Nature Communications, 2016, 7: 12010. doi:  10.1038/ncomms12010
    [825] HOWLAND G A, DIXON P B, HOWELL J C. Photon-counting compressive sensing laser radar for 3 D imaging [J]. Applied Optics, 2011, 50(31): 5917-5920. doi:  10.1364/AO.50.005917
    [826] ZHAO C, GONG W, CHEN M, et al. Ghost imaging lidar via sparsity constraints [J]. Applied Physics Letters, 2012, 101(14): 141123. doi:  10.1063/1.4757874
    [827] HOWLAND G A, LUM D J, WARE M R, et al. Photon counting compressive depth mapping [J]. Optics Express, 2013, 21(20): 23822-23837. doi:  10.1364/OE.21.023822
    [828] CHEN M, LI E, GONG W, et al. Ghost imaging lidar via sparsity constraints in real atmosphere [J]. Optics and Photonics Journal, 2013, 3(2): 83. doi:  10.4236/opj.2013.32B021
    [829] YU H, LI E, GONG W, et al. Structured image reconstruction for three-dimensional ghost imaging lidar [J]. Optics Express, 2015, 23(11): 14541-14551. doi:  10.1364/OE.23.014541
    [830] GONG W, ZHAO C, YU H, et al. Three-dimensional ghost imaging lidar via sparsity constraint [J]. Scientific Reports, 2016, 6: 26133. doi:  10.1038/srep26133
    [831] QIU Z, ZHANG Z, ZHONG J. Efficient full-color single-pixel imaging based on the human vision property—“Giving in to the Blues” [J]. Optics Letters, 2020, 45(11): 3046-3049. doi:  10.1364/OL.389525
    [832] ZHANG Z, LIU S, PENG J, et al. Simultaneous spatial, spectral, and 3D compressive imaging via efficient Fourier single-pixel measurements [J]. Optica, 2018, 5(3): 315. doi:  10.1364/OPTICA.5.000315
    [833] STANTCHEV R I, YU X, BLU T, et al. Real-time terahertz imaging with a single-pixel detector[J/OL]. Nature Communications, 2020, 11(1): 2535. https://doi.org/10.1038/s41467-020-16370-x.
    [834] PUSHKARSKY I, LIU Y, WEAVER W, et al. Automated single-cell motility analysis on a chip using lensfree microscopy [J]. Scientific Reports, 2014, 4: 4717. doi:  10.1038/srep04717
    [835] KESAVAN S V, GARCIA F P N Y, MENNETEAU M, et al. Real-time label-free detection of dividing cells by means of lensfree video-microscopy [J]. Journal of Biomedical Optics, 2014, 19(3): 036004.
    [836] LEE L M, CUI X, YANG C. The application of on-chip optofluidic microscopy for imaging giardia lamblia trophozoites and cysts [J]. Biomedical Microdevices, 2009, 11(5): 951. doi:  10.1007/s10544-009-9312-x
    [837] COSKUN A F, SENCAN I, SU T-W, et al. Lensless wide-field fluorescent imaging on a chip using compressive decoding of sparse objects [J]. Optics Express, 2010, 18(10): 10510-10523. doi:  10.1364/OE.18.010510
    [838] COSKUN A F, SU T-W, OZCAN A. Wide field-of-view lens-free fluorescent imaging on a chip [J]. Lab on A Chip, 2010, 10(7): 824-827. doi:  10.1039/B926561A
    [839] SHANMUGAM A, SALTHOUSE C D. Lensless fluorescence imaging with height calculation [J]. Journal of Biomedical Optics, 2014, 19(1): 016002.
    [840] OZCAN A, MCLEOD E. Lensless imaging and sensing [J]. Annual Review of Biomedical Engineering, 2016, 18(1): 77-102. doi:  10.1146/annurev-bioeng-092515-010849
    [841] COSKUN A F, SENCAN I, SU T-W, et al. Wide-field lensless fluorescent microscopy using a tapered fiber-optic faceplate on a chip [J]. Analyst, 2011, 136(17): 3512-3518. doi:  10.1039/C0AN00926A
    [842] KHADEMHOSSEINIEH B, SENCAN I, BIENER G, et al. Lensfree on-chip imaging using nanostructured surfaces [J]. Applied Physics Letters, 2010, 96(17): 171106. doi:  10.1063/1.3405719
    [843] KHADEMHOSSEINIEH B, BIENER G, SENCAN I, et al. Lensfree color imaging on a nanostructured chip using compressive decoding [J]. Applied Physics Letters, 2010, 97(21): 211112. doi:  10.1063/1.3521410
    [844] LEE S A, OU X, LEE J E, et al. Chip-scale fluorescence microscope based on a silo-filter complementary metal-oxide semiconductor image sensor [J]. Optics Letters, 2013, 38(11): 1817-1819. doi:  10.1364/OL.38.001817
    [845] HAN C, PANG S, BOWER D V, et al. Wide field-of-view on-chip talbot fluorescence microscopy for longitudinal cell culture monitoring from within the Incubator [J]. Analytical Chemistry, 2013, 85(4): 2356-2360. doi:  10.1021/ac303356v
    [846] COSKUN A F, SENCAN I, SU T-W, et al. Lensfree fluorescent on-chip imaging of transgenic caenorhabditis elegans over an ultra-wide field-of-view [J]. PLoS ONE, 2011, 6(1): e15955. doi:  10.1371/journal.pone.0015955
    [847] MCLEOD E, DINCER T U, VELI M, et al. High-throughput and label-free single nanoparticle sizing based on time-resolved on-chip microscopy [J]. ACS Nano, 2015, 9(3): 3265-3273. doi:  10.1021/acsnano.5b00388
    [848] MENG H, HUSSAIN F. In-line recording and off-axis viewing technique for holographic particle velocimetry [J]. Applied Optics, 1995, 34(11): 1827-1840. doi:  10.1364/AO.34.001827
    [849] ISIKMAN S O, BISHARA W, OZCAN A. Partially coherent lensfree tomographic microscopy [J]. Applied Optics, 2011, 50(34): H253-H264. doi:  10.1364/AO.50.00H253
    [850] SU T-W, ISIKMAN S O, BISHARA W, et al. Multi-angle lensless digital holography for depth resolved imaging on a chip [J]. Optics Express, 2010, 18(9): 9690-9711. doi:  10.1364/OE.18.009690
    [851] KUMAR M, VIJAYAKUMAR A, ROSEN J. Incoherent digital holograms acquired by interferenceless coded aperture correlation holography system without refractive lenses [J]. Scientific Reports, 2017, 7(1): 11555. doi:  10.1038/s41598-017-11731-x
    [852] MERTZ L, YOUNG N O. Fresnel transformations of images [J]. SPIE Milestone Series Ms, 1996, 128: 44-49.
    [853] SHIMANO T, NAKAMURA Y, TAJIMA K, et al. Lensless light-field imaging with fresnel zone aperture: quasi-coherent coding [J]. Applied Optics, 2018, 57(11): 2841-2850. doi:  10.1364/AO.57.002841
    [854] TAJIMA K, SHIMANO T, NAKAMURA Y, et al. Lensless light-field imaging with multi-phased fresnel zone aperture[C/OL]//2017 IEEE International Conference on Computational Photography (ICCP). Stanford, CA, USA: IEEE, 2017: 1–7.[2021–06–23]. http://ieeexplore.ieee.org/document/7951485/.
    [855] SAO M, NAKAMURA Y, TAJIMA K, et al. Lensless close-up imaging with fresnel zone aperture [J]. Japanese Journal of Applied Physics, 2018, 57(9S1): 09SB05. doi:  10.7567/JJAP.57.09SB05
    [856] WU J, ZHANG H, ZHANG W, et al. Single-shot lensless imaging with fresnel zone aperture and incoherent illumination [J]. Light: Science & Applications, 2020, 9(1): 53.
    [857] ASIF M S, AYREMLOU A, SANKARANARAYANAN A, et al. FlatCam: Thin, lensless cameras using coded aperture and computation [J]. IEEE Transactions on Computational Imaging, 2017, 3(3): 384-397. doi:  10.1109/TCI.2016.2593662
    [858] BOOMINATHAN V, ADAMS J K, ROBINSON J T, et al. PhlatCam: designed phase-mask based thin lensless camera [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(7): 1618-1629. doi:  10.1109/TPAMI.2020.2987489
    [859] SCHILLING G. Catching gamma-ray bursts on the Wing [J]. Sky and Telescope, 2004, 107(3): 32-42.
    [860] GREENWOOD D P. Bandwidth specification for adaptive optics systems [J]. JOSA, 1977, 67(3): 390-393. doi:  10.1364/JOSA.67.000390
    [861] FRIED D L. Limiting resolution looking down through the atmosphere [J]. JOSA, 1966, 56(10): 1380-1384. doi:  10.1364/JOSA.56.001380
    [862] FRIED D L. Anisoplanatism in adaptive optics [J]. JOSA, 1982, 72(1): 52-61. doi:  10.1364/JOSA.72.000052
    [863] MURPHY D V. Atmospheric-turbulence compensation experiments using cooperative beacons [J]. Lincoln Laboratory Journal, 1992, 5: 25-44.
    [864] MURPHY D V, PRIMMERMAN C A, ZOLLARS B G, et al. Experimental demonstration of atmospheric compensation using multiple synthetic beacons [J]. Optics Letters, 1991, 16(22): 1797-1799. doi:  10.1364/OL.16.001797
    [865] FUGATE R Q, FRIED D, AMEER G, et al. Measurement of atmospheric wavefront distortion using scattered light from a laser guide-star [J]. Nature, 1991, 353(6340): 144. doi:  10.1038/353144a0
    [866] PRIMMERMAN C, FOUCHE D. Thermal-blooming compensation: experimental observations using a deformable-mirror system [J]. Applied Optics, 1976, 15(4): 990-995. doi:  10.1364/AO.15.000990
    [867] FOY R, LABEYRIE A. Feasibility of adaptive telescope with laser probe [J]. Astronomy and Astrophysics, 1985, 152: L29-L31.
    [868] HUMPHREYS R, BRADLEY L, HERRMANN J. Sodium-layer synthetic beacons for adaptive optics [J]. The Lincoln Laboratory Journal, 1992, 5(1): 45-66.
    [869] HARDY J W, LEFEBVRE J E, KOLIOPOULOS C. Real-time atmospheric compensation [J]. JOSA, 1977, 67(3): 360-369. doi:  10.1364/JOSA.67.000360
    [870] HARDY J W. Adaptive optics for astronomical telescopes [J]. Physics Today, 2000, 53(4): 69-69. doi:  10.1063/1.2405463
    [871] ELLERBROEK B, BRITTON M, DEKANY R, et al. Adaptive optics for the thirty meter telescope[C]//Astronomical Adaptive Optics Systems and Applications II. International Society for Optics and Photonics, 2005: 590304.
    [872] VERNIN J, MUÑOZ-TUÑÓN C, SARAZIN M, et al. European extremely large telescope site characterization I: Overview [J]. Publications of the Astronomical Society of the Pacific, 2011, 123(909): 1334. doi:  10.1086/662995
    [873] KERN P, MERKLE F, GAFFARD J P, et al. Prototype of an adaptive optical system for astronomical observation[C]//Real-Time Image Processing: Concepts and Technologies, 1988: 9–16.
    [874] ROUSSET G, FONTANELLA J, KERN P, et al. First diffraction-limited astronomical images with adaptive optics [J]. Astronomy and Astrophysics, 1990, 230: L29-L32.
    [875] FUGATE R Q. The Starfire optical range 3.5-m adaptive optical telescope[C]//Large Ground-based Telescopes, 2003: 934–944.
    [876] ACTON D S, DUNN R B. Solar imaging at national solar observatory using a segmented adaptive optics system[C]//Active and Adaptive Optical Components and Systems II, 1993: 348–353.
    [877] ROORDA A. Adaptive optics for studying visual function: A comprehensive review [J]. Journal of Vision, 2011, 11(5): 6. doi:  10.1167/11.5.6
    [878] LIANG J, WILLIAMS D R, MILLER D T. Supernormal vision and high-resolution retinal imaging through adaptive optics [J]. JOSA A, 1997, 14(11): 2884-2892. doi:  10.1364/JOSAA.14.002884
    [879] ROORDA A, WILLIAMS D R. The arrangement of the three cone classes in the living human eye [J]. Nature, 1999, 397(6719): 520. doi:  10.1038/17383
    [880] XUEJUN L N Z Y R, YIYUN L X W C H, WENHAN J. A small adaptive optical imaging system for cells of living human retina [J]. Acta Optica Sinica, 2004, 24(9): 1153-1158. (in Chinese)
    [881] SHI G, DAI Y, WANG L, et al. Adaptive optics optical coherence tomography for retina imaging [J]. Chinese Optics Letters, 2008, 6(6): 424-425. doi:  10.3788/COL20080606.0424
    [882] LU J, LI H, HE Y, et al. Superresolution in adaptive optics confocal scanning laser ophthalmoscope [J]. Journal of Physics, 2011, 60(3): 266-275. (in Chinese)
    [883] GU M. Principles of Three Dimensional Imaging in Confocal Microscopes[M]. Singapore: World Scientific, 1996.
    [884] PAWLEY J. Handbook of Biological Confocal Microscopy[M]. Berlin: Springer Science & Business Media, 2010.
    [885] WILSON T, OTHERS. Confocal Microscopy[M]. London: Academic Press London, 1990.
    [886] BOOTH M J, NEIL M A, JUŠKAITIS R, et al. Adaptive aberration correction in a confocal microscope [J]. Proceedings of the National Academy of Sciences, 2002, 99(9): 5788-5792. doi:  10.1073/pnas.082544799
    [887] TAO X, AZUCENA O, FU M, et al. Adaptive optics microscopy with direct wavefront sensing using fluorescent protein guide stars [J]. Optics Letters, 2011, 36(17): 3389. doi:  10.1364/OL.36.003389
    [888] ALBERT O, SHERMAN L, MOUROU G, et al. Smart microscope: An adaptive optics learning system for aberration correction in multiphoton confocal microscopy [J]. Optics Letters, 2000, 25(1): 52. doi:  10.1364/OL.25.000052
    [889] CHA J W, BALLESTA J. Shack-hartmann wavefront-sensor-based adaptive optics system for multiphoton microscopy [J]. Journal of Biomedical Optics, 2010, 15: 10.
    [890] POTSAID B, BELLOUARD Y, WEN J T. Adaptive scanning optical microscope (ASOM): A multidisciplinary optical microscope design for large field of view and high resolution imaging [J]. Optics Express, 2005, 13(17): 6504-6518. doi:  10.1364/OPEX.13.006504
    [891] WARBER M, MAIER S, HAIST T, et al. Combination of scene-based and stochastic measurement for wide-field aberration correction in microscopic imaging [J]. Applied Optics, 2010, 49(28): 5474. doi:  10.1364/AO.49.005474
    [892] VERMEULEN P, MURO E, PONS T, et al. Adaptive optics for fluorescence wide-field microscopy using spectrally independent guide star and markers [J]. Journal of Biomedical Optics, 2011, 16(7): 076019. doi:  10.1117/1.3603847
    [893] HELL S W, WICHMANN J. Breaking the diffraction resolution limit by stimulated emission: Stimulated-emission-depletion fluorescence microscopy [J]. Optics Letters, 1994, 19(11): 780. doi:  10.1364/OL.19.000780
    [894] DÉBARRE D, BOTCHERBY E J, BOOTH M J, et al. Adaptive optics for structured illumination microscopy [J]. Optics Express, 2008, 16(13): 9290. doi:  10.1364/OE.16.009290
    [895] PATTON B R, BURKE D, OWALD D, et al. Three-dimensional STED microscopy of aberrating tissue using dual adaptive optics. [J]. Optics Express, 2016, 24(8): 8862-8876. doi:  10.1364/OE.24.008862
    [896] GOULD T J, KROMANN E B, BURKE D, et al. Auto-aligning stimulated emission depletion microscope using adaptive optics [J]. Optics Letters, 2013, 38(11): 1860. doi:  10.1364/OL.38.001860
    [897] GOULD T J, BURKE D, BEWERSDORF J, et al. Adaptive optics enables 3 D STED microscopy in aberrating specimens [J]. Optics Express, 2012, 20(19): 20998. doi:  10.1364/OE.20.020998
    [898] NING Y, JIANG W, LING N, et al. Response function calculation and sensitivity comparison analysis of various bimorph deformable mirrors [J]. Optics Express, 2007, 15(19): 12030-12038. doi:  10.1364/OE.15.012030
    [899] ROOMS F, CAMET S, CHARTON J, et al. A new deformable mirror and experimental setup for free-space optical communication[C]//Free-Space Laser Communication Technologies XXI, 2009: 71990 O.
    [900] BIFANO T G, PERREAULT J A, BIERDEN P A. Micromachined deformable mirror for optical wavefront compensation[C]//High-Resolution Wavefront Control: Methods, Devices, and Applications II, 2000: 7–15.
    [901] LOVE G D. Wave-front correction and production of Zernike modes with a liquid-crystal spatial light modulator [J]. Applied Optics, 1997, 36(7): 1517-1524. doi:  10.1364/AO.36.001517
    [902] CAI D, YAO J, JIANG W. Performance of liquid-crystal spatial light modulator using for wave-front correction [J]. Acta Optica Sinica, 2009, 29(2): 285-291. (in Chinese) doi:  10.3788/AOS20092902.0285
    [903] GUO Y, ZHANG A, FAN X, et al. First on-sky demonstration of the piezoelectric adaptive secondary mirror [J]. Optics Letters, 2016, 41(24): 5712-5715. doi:  10.1364/OL.41.005712
    [904] VORONTSOV M, CARHART G, RICKLIN J. Adaptive phase-distortion correction based on parallel gradient-descent optimization [J]. Optics Letters, 1997, 22(12): 907-909. doi:  10.1364/OL.22.000907
    [905] YANG H, LI X, JIANG W. High resolution imaging of phase-distorted extended object using SPGD algorithm and deformable mirror[C]//Optical Design and Testing III, 2007: 683411.
    [906] WANG J, BAI F, NING Y, et al. Wavefront response matrix for closed-loop adaptive optics system based on non-modulation pyramid wavefront sensor [J]. Optics Communications, 2012, 285(12): 2814-2820. doi:  10.1016/j.optcom.2012.02.026
    [907] WANG S, WEI K, ZHENG W, et al. First light on an adaptive optics system using a non-modulation pyramid wavefront sensor for a 1.8 m telescope [J]. Chinese Optics Letters, 2016, 14(10): 100101. doi:  10.3788/COL201614.100101
    [908] DONG J, BI R, HO J-H, et al. Diffuse correlation spectroscopy with a fast Fourier transform-based software autocorrelator [J]. Journal of Biomedical Optics, 2012, 17(9): 097004.
    [909] GIBSON A, HEBDEN J, ARRIDGE S R. Recent advances in diffuse optical imaging [J]. Physics in Medicine & Biology, 2005, 50(4): R1.
    [910] BI R, DONG J, LEE K. Multi-channel deep tissue flowmetry based on temporal diffuse speckle contrast analysis [J]. Optics Express, 2013, 21(19): 22854-22861. doi:  10.1364/OE.21.022854
    [911] VARMA H M, VALDES C P, KRISTOFFERSEN A K, et al. Speckle contrast optical tomography: A new method for deep tissue three-dimensional tomography of blood flow [J]. Biomedical Optics Express, 2014, 5(4): 1275-1289. doi:  10.1364/BOE.5.001275
    [912] WANG L V, HU S. Photoacoustic tomography: In vivo imaging from organelles to organs [J]. Science, 2012, 335(6075): 1458-1462. doi:  10.1126/science.1216210
    [913] BAYER E, SCHAACK G. Two-photon absorption of CaF2: Eu2+ [J]. Physica Status Solidi (B), 1970, 41(2): 827-835. doi:  10.1002/pssb.19700410239
    [914] DENK W, STRICKLER J H, WEBB W W. Two-photon laser scanning fluorescence microscopy [J]. Science, 1990, 248(4951): 73-76. doi:  10.1126/science.2321027
    [915] FERCHER A, MENGEDOHT K, WERNER W. Eye-length measurement by interferometry with partially coherent light [J]. Optics Letters, 1988, 13(3): 186-188. doi:  10.1364/OL.13.000186
    [916] HUANG D, SWANSON E A, LIN C P, et al. Optical coherence tomography [J]. Science, 1991, 254(5035): 1178-1181. doi:  10.1126/science.1957169
    [917] VELLEKOOP I M, MOSK A P. Focusing coherent light through opaque strongly scattering media [J]. Optics Letters, 2007, 32(16): 2309. doi:  10.1364/OL.32.002309
    [918] POPOFF S M, LEROSEY G, CARMINATI R, et al. Measuring the transmission matrix in optics: An approach to the study and control of light propagation in disordered media [J]. Physical Review Letters, 2010, 104(10): 100601. doi:  10.1103/PhysRevLett.104.100601
    [919] VELLEKOOP I M. Feedback-based wavefront shaping [J]. Optics Express, 2015, 23(9): 12189-12206. doi:  10.1364/OE.23.012189
    [920] POPOFF S, LEROSEY G, FINK M, et al. Image transmission through an opaque material [J]. Nature Communications, 2010, 1: 81. doi:  10.1038/ncomms1078
    [921] CUI M. Parallel wavefront optimization method for focusing light through random scattering media [J]. Optics Letters, 2011, 36(6): 870-872. doi:  10.1364/OL.36.000870
    [922] LEITH E N, UPATNIEKS J. Holographic imagery through diffusing media [J]. JOSA, 1966, 56(4): 523-523. doi:  10.1364/JOSA.56.000523
    [923] KATZ O, HEIDMANN P, FINK M, et al. Non-invasive single-shot imaging through scattering layers and around corners via speckle correlations [J]. Nature Photonics, 2014, 8(10): 784-790. doi:  10.1038/nphoton.2014.189
    [924] YAQOOB Z, PSALTIS D, FELD M S, et al. Optical phase conjugation for turbidity suppression in biological samples [J]. Nature Photonics, 2008, 2(2): 110. doi:  10.1038/nphoton.2007.297
    [925] BERTOLOTTI J, VAN PUTTEN E G, BLUM C, et al. Non-invasive imaging through opaque scattering layers [J]. Nature, 2012, 491(7423): 232. doi:  10.1038/nature11578
    [926] YANG W, LI G, SITU G. Imaging through scattering media with the auxiliary of a known reference object [J]. Scientific Reports, 2018, 8(1): 9614. doi:  10.1038/s41598-018-27754-x
    [927] LYU M, WANG H, LI G, et al. Deep speckle correlation: A deep learning approach toward scalable imaging through scattering media [J]. Optica, 2018, 5(10): 1181-1190.
    [928] MENG L, WANG H, LI G, et al. Learning-based lensless imaging through optically thick scattering media [J]. Advanced Photonics, 2019, 1(3): 10. doi:  10.1364/OPTICA.5.001181
    [929] VELTEN A, RASKAR R, WU D, et al. Femto-photography: Capturing and visualizing the propagation of light [J]. ACM Transactions on Graphics, 2013, 32(4): 1-8. doi:  10.1145/2461912.2461928
    [930] MIKAMI H, GAO L, GODA K. Ultrafast optical imaging technology: Principles and applications of emerging methods [J]. Nanophotonics, 2016, 5(4): 497-509. doi:  10.1515/nanoph-2016-0026
    [931] ZHU L, CHEN Y, LIANG J, et al. Space- and intensity-constrained reconstruction for compressed ultrafast photography [J]. Optica, 2016, 3(7): 694-697. doi:  10.1364/OPTICA.3.000694
    [932] LAURENZIS M, VELTEN A. Nonline-of-sight laser gated viewing of scattered photons [J]. Optical Engineering, 2014, 53(2): 023102. doi:  10.1117/1.OE.53.2.023102
    [933] REPASI E, LUTZMANN P, STEINVALL O, et al. Advanced short-wavelength infrared range-gated imaging for ground applications in monostatic and bistatic configurations [J]. Applied Optics, 2009, 48(31): 5956-5969. doi:  10.1364/AO.48.005956
    [934] SEN P, CHEN B, GARG G, et al. Dual photography [J]. ACM Transactions on Graphics (TOG), 2005, 24(3): 745-755. doi:  10.1145/1073204.1073257
    [935] ZHANG Z, JIAO S, YAO M, et al. Secured single-pixel broadcast imaging [J]. Optics Express, 2018, 26(11): 14578-14591. doi:  10.1364/OE.26.014578
    [936] BUTTAFAVA M, ZEMAN J, TOSI A, et al. Non-line-of-sight imaging using a time-gated single photon avalanche diode [J]. Optics Express, 2015, 23(16): 20997-21011. doi:  10.1364/OE.23.020997
    [937] JIN C, XIE J, ZHANG S, et al. Reconstruction of multiple non-line-of-sight objects using back projection based on ellipsoid mode decomposition [J]. Optics Express, 2018, 26(16): 20089-20101. doi:  10.1364/OE.26.020089
    [938] O’TOOLE M, LINDELL D B, WETZSTEIN G. Confocal non-line-of-sight imaging based on the light-cone transform [J]. Nature, 2018, 555(7696): 338-341. doi:  10.1038/nature25489
    [939] WU C, LIU J, HUANG X, et al. Non–line-of-sight imaging over 1.43 km [J]. Proceedings of the National Academy of Sciences, 2021, 118(10): e2024468118. doi:  10.1073/pnas.2024468118
    [940] SCRIBNER D A, KRUER M R, KILLIANY J M. Infrared focal plane array technology [J]. Proceedings of the IEEE, 1991, 79(1): 66-85. doi:  10.1109/5.64383
    [941] MILTON A F, BARONE F R, KRUER M R. Influence of nonuniformity on infrared focal plane array performance [J]. Optical Engineering, 1985, 24(5): 245855. doi:  10.1117/12.7973588
    [942] PERRY D L, DERENIAK E L. Linear theory of nonuniformity correction in infrared staring sensors [J]. Optical Engineering, 1993, 32(8): 1854-1860. doi:  10.1117/12.145601
    [943] SCHULZ M, CALDWELL L. Nonuniformity correction and correctability of infrared focal plane arrays [J]. Infrared Physics & Technology, 1995, 36(4): 763-777. doi:  10.1016/1350-4495(94)00002-3
    [944] SCRIBNER D A, SARKADY K A, CAULFIELD J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[C/OL]//Infrared Detectors and Focal Plane Arrays. International Society for Optics and Photonics, 1990: 224–233.[2019–06–09].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/1308/0000/Nonuniformity-correction-for-staring-IR-focal-plane-arrays-using-scene/10.1117/12.21730.short.
    [945] DUGDALE S J. A practitioner’s guide to thermal infrared remote sensing of rivers and streams: Recent advances, precautions and considerations [J]. Wiley Interdisciplinary Reviews:Water, 2016, 3(2): 251-268. doi:  10.1002/wat2.1135
    [946] SCRIBNER D A, SARKADY K A, KRUER M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C/OL]//Infrared Sensors: Detectors, Electronics, and Signal Processing. International Society for Optics and Photonics, 1991: 100–109.[2019–06–09].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/1541/0000/Adaptive-nonuniformity-correction-for-IR-focal-plane-arrays-using-neural/10.1117/12.49324.short.
    [947] HARRIS J G, CHIANG Y-M. Nonuniformity correction using the constant-statistics constraint: Analog and digital implementations[C/OL]//Infrared Technology and Applications XXIII. International Society for Optics and Photonics, 1997: 895–905.[2019–06–09].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/3061/0000/Nonuniformity-correction-using-the-constant-statistics-constraint--analog-and/10.1117/12.280308.short.
    [948] HARRIS J G, CHIANG Y-M. Minimizing the ghosting artifact in scene-based nonuniformity correction[C/OL]//Infrared Imaging Systems: Design, Analysis, Modeling, and Testing IX. International Society for Optics and Photonics, 1998: 106–113. [2019–06–09].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/3377/0000/Minimizing-the-ghosting-artifact-in-scene-based-nonuniformity-correction/10.1117/12.319364.short.
    [949] HARRIS J G, CHIANG YU-MING. Nonuniformity correction of infrared image sequences using the constant-statistics constraint [J]. IEEE Transactions on Image Processing, 1999, 8(8): 1148-1151. doi:  10.1109/83.777098
    [950] HAYAT M M, TORRES S N, ARMSTRONG E, et al. Statistical algorithm for nonuniformity correction in focal-plane arrays [J]. Applied Optics, 1999, 38(5): 772-780. doi:  10.1364/AO.38.000772
    [951] TORRES S N, HAYAT M M. Kalman filtering for adaptive nonuniformity correction in infrared focal-plane arrays [J]. JOSA A, 2003, 20(3): 470-480. doi:  10.1364/JOSAA.20.000470
    [952] TORRES S N, PEZOA J E, HAYAT M M. Scene-based nonuniformity correction for focal plane arrays by the method of the inverse covariance form [J]. Applied Optics, 2003, 42(29): 5872-5881. doi:  10.1364/AO.42.005872
    [953] TORRES S N, VERA E M, REEVES R A, et al. Adaptive scene-based nonuniformity correction method for infrared-focal plane arrays[C/OL]//Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XIV. International Society for Optics and Photonics, 2003: 130–139. [2019–06–09].https://www.spiedigitallibrary.org/conference-proceedings-of-spie/5076/0000/Adaptive-scene-based-nonuniformity-correction-method-for-infrared-focal-plane/10.1117/12.487217.short.
    [954] VERA E, TORRES S. Fast adaptive nonuniformity correction for infrared focal-plane array detectors [J]. EURASIP Journal on Advances in Signal Processing, 2005, 2005(13): 560759. doi:  10.1155/ASP.2005.1994
    [955] PEZOA J E, HAYAT M M, TORRES S N, et al. Multimodel Kalman filtering for adaptive nonuniformity correction in infrared sensors [J]. JOSA A, 2006, 23(6): 1282-1291. doi:  10.1364/JOSAA.23.001282
    [956] HARDIE R C, HAYAT M M, ARMSTRONG E, et al. Scene-based nonuniformity correction with video sequences and registration [J]. Applied Optics, 2000, 39(8): 1241-1250. doi:  10.1364/AO.39.001241
    [957] RATLIFF B M, HAYAT M M, HARDIE R C. An algebraic algorithm for nonuniformity correction in focal-plane arrays [J]. JOSA A, 2002, 19(9): 1737-1747. doi:  10.1364/JOSAA.19.001737
    [958] RATLIFF B M, HAYAT M M, TYO J S. Radiometrically accurate scene-based nonuniformity correction for array sensors [J]. JOSA A, 2003, 20(10): 1890-1899. doi:  10.1364/JOSAA.20.001890
    [959] ZUO C, CHEN Q, GU G, et al. Scene-based nonuniformity correction algorithm based on interframe registration [J]. JOSA A, 2011, 28(6): 1164-1176. doi:  10.1364/JOSAA.28.001164
    [960] ZUO C, CHEN Q, GU G, et al. Improved interframe registration based nonuniformity correction for focal plane arrays [J]. Infrared Physics & Technology, 2012, 55(4): 263-269. doi:  10.1016/j.infrared.2012.04.002
    [961] ZUO C, ZHANG Y, CHEN Q, et al. A two-frame approach for scene-based nonuniformity correction in array sensors [J]. Infrared Physics & Technology, 2013, 60: 190-196. doi:  10.1016/j.infrared.2013.05.001
    [962] BLACK W T, TYO J S. Feedback-integrated scene cancellation scene-based nonuniformity correction algorithm [J]. Journal of Electronic Imaging, 2014, 23(2): 023005. doi:  10.1117/1.JEI.23.2.023005
    [963] TORRES S N, VERA E M, REEVES R A, et al. Scene-based non-uniformity correction method using constant range: Performance and analysis[C]//Proceedings of the 6th SCI, IX: 224–229.
    [964] ZHANG T, SHI Y. Edge-directed adaptive nonuniformity correction for staring infrared focal plane arrays [J]. Optical Engineering, 2006, 45(1): 016402. doi:  10.1117/1.2158404
    [965] ROSSI A, DIANI M, CORSINI G. Temporal statistics de-ghosting for adaptive non-uniformity correction in infrared focal plane arrays [J]. Electronics Letters, 2010, 46(5): 348-349. doi:  10.1049/el.2010.3559
    [966] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm [J]. Optical Review, 2010, 17(1): 24-29. doi:  10.1007/s10043-010-0005-8
    [967] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter [J]. Optical Review, 2011, 18(2): 197-202. doi:  10.1007/s10043-011-0042-y
    [968] ZHANG C, ZHAO W. Scene-based nonuniformity correction using local constant statistics [J]. JOSA A, 2008, 25(6): 1444-1453. doi:  10.1364/JOSAA.25.001444
    [969] ZUO C, CHEN Q, GU G, et al. Scene-based nonuniformity correction method using multiscale constant statistics [J]. Optical Engineering, 2011, 50(8): 087006. doi:  10.1117/1.3610978
    [970] ROSSI A, DIANI M, CORSINI G. Bilateral filter-based adaptive nonuniformity correction for infrared focal-plane array systems [J]. Optical Engineering, 2010, 49(5): 057003. doi:  10.1117/1.3425660
    [971] VERA E, MEZA P, TORRES S. Total variation approach for adaptive nonuniformity correction in focal-plane arrays [J]. Optics Letters, 2011, 36(2): 172-174. doi:  10.1364/OL.36.000172
    [972] RATLIFF B M, HAYAT M M, TYO J S. Generalized algebraic scene-based nonuniformity correction algorithm [J]. JOSA A, 2005, 22(2): 239-249. doi:  10.1364/JOSAA.22.000239
    [973] ZUO C, CHEN Q, GU G, et al. Registration method for infrared images under conditions of fixed-pattern noise [J]. Optics Communications, 2012, 285(9): 2293-2302. doi:  10.1016/j.optcom.2012.01.019
    [974] LIU N, XIE J. Interframe phase-correlated registration scene-based nonuniformity correction technology [J]. Infrared Physics & Technology, 2015, 69: 198-205. doi:  10.1016/j.infrared.2015.01.004
    [975] BOUTEMEDJET A, DENG C, ZHAO B. Robust approach for nonuniformity correction in infrared focal plane array [J]. Sensors, 2016, 16(11): 1890. doi:  10.3390/s16111890
    [976] ANTIPA N, KUO G, HECKEL R, et al. DiffuserCam: Lensless single-exposure 3D imaging [J]. Optica, 2018, 5(1): 1-9. doi:  10.1364/OPTICA.5.000001
    [977] BARBASTATHIS G, OZCAN A, SITU G. On the use of deep learning for computational imaging [J]. Optica, 2019, 6(8): 921. doi:  10.1364/OPTICA.6.000921
    [978] ZUO CHAO, FENG SHIJIE, ZHANG XIANGYU, et al. Deep learning based computational imaging: Status, challenges, and future [J]. Acta Optica Sinica, 2020, 40(1): 0111003. (in Chinese) doi:  10.3788/AOS202040.0111003
    [979] FEI W, HAO W, YAOMING B. Application of deep learning in computational imaging [J]. Acta Optica Sinica, 2020, 40(1): 14. (in Chinese)
    [980] KHORASANINEJAD M, CHEN W T, DEVLIN R C, et al. Metalenses at visible wavelengths: Diffraction-limited focusing and subwavelength resolution imaging [J]. Science, 2016, 352(6290): 1190-1194. doi:  10.1126/science.aaf6644
    [981] LALANNE P, CHAVEL P. Metalenses at visible wavelengths: Past, present, perspectives [J]. Laser & Photonics Reviews, 2017, 11(3): 1600295. doi:  10.1002/lpor.201600295
    [982] CHEN W T, ZHU A Y, SANJEEV V, et al. A broadband achromatic metalens for focusing and imaging in the visible [J]. Nature Nanotechnology, 2018, 13(3): 220. doi:  10.1038/s41565-017-0034-6
    [983] WANG S, WU P C, SU V-C, et al. A broadband achromatic metalens in the visible [J]. Nature Nanotechnology, 2018, 13(3): 227. doi:  10.1038/s41565-017-0052-4
    [984] ZHANG L, MEI S, HUANG K, et al. Advances in full control of electromagnetic waves with metasurfaces [J]. Advanced Optical Materials, 2016, 4(6): 818-833. doi:  10.1002/adom.201500690
    [985] HUANG K, QIN F, LIU H, et al. Planar diffractive lenses: Fundamentals, functionalities, and applications [J]. Advanced Materials, 2018, 30(26): 1704556. doi:  10.1002/adma.201704556
    [986] COLBURN S, ZHAN A, MAJUMDAR A. Metasurface optics for full-color computational imaging [J]. Science Advances, 2018, 4(2): eaar2114. doi:  10.1126/sciadv.aar2114
    [987] LIN R J, SU V-C, WANG S, et al. Achromatic metalens array for full-colour light-field imaging [J]. Nature Nanotechnology, 2019, 14(3): 227. doi:  10.1038/s41565-018-0347-0
    [988] LI C, ZHANG X, LI J, et al. The challenges of modern computing and new opportunities for optics [J]. PhotoniX, 2021, 2(1): 20. doi:  10.1186/s43074-021-00042-0
    [989] LIN X, RIVENSON Y, YARDIMCI N T, et al. All-optical machine learning using diffractive deep neural networks [J]. Science, 2018, 361(6406): 1004-1008. doi:  10.1126/science.aat8084
  • [1] 李智渊, 翟爱平, 冀莹泽, 李国辉, 王东, 王文艳, 石林林, 冀婷, 刘飞, 崔艳霞.  光学偏振成像技术的研究、应用与进展 . 红外与激光工程, 2023, 52(9): 20220808-1-20220808-16. doi: 10.3788/IRLA20220808
    [2] 郭恩来, 师瑛杰, 朱硕, 程倩倩, 韦一, 苗金烨, 韩静.  深度学习下的散射成像:物理与数据联合建模优化(特邀) . 红外与激光工程, 2022, 51(8): 20220563-1-20220563-13. doi: 10.3788/IRLA20220563
    [3] 刘金鹏, 冯怡, 刘蕾, 相萌, 刘飞, 邵晓鹏.  全息技术在散射成像领域中的研究及应用进展(特邀) . 红外与激光工程, 2022, 51(8): 20220307-1-20220307-15. doi: 10.3788/IRLA20220307
    [4] 陈钱.  先进夜视成像技术发展探讨 . 红外与激光工程, 2022, 51(2): 20220128-1-20220128-8. doi: 10.3788/IRLA20220128
    [5] 陈沁, 南向红, 梁文跃, 郑麒麟, 孙志伟, 文龙.  片上集成光学传感检测技术的研究进展(特邀) . 红外与激光工程, 2022, 51(1): 20210671-1-20210671-18. doi: 10.3788/IRLA20210671
    [6] 赵海博, 刘彦丽, 杨雯铄, 苏云, 高大化, 孙权森, 赵慧洁.  双通道衍射计算成像光谱仪系统 . 红外与激光工程, 2022, 51(5): 20220077-1-20220077-8. doi: 10.3788/IRLA20220077
    [7] 韩申生, 胡晨昱.  信息光学成像研究回顾、现状与展望(特邀) . 红外与激光工程, 2022, 51(1): 20220017-1-20220017-22. doi: 10.3788/IRLA20220017
    [8] 郑培霞, 刘亦辰, 刘宏超.  单像素成像与超表面成像(特邀) . 红外与激光工程, 2021, 50(12): 20211058-1-20211058-12. doi: 10.3788/IRLA20211058
    [9] 李珮明, 蒋文杰, 赵海潇, 孙宝清.  掩膜版调制关联成像的发展及应用(特邀) . 红外与激光工程, 2021, 50(12): 20210738-1-20210738-14. doi: 10.3788/IRLA20210738
    [10] 廖兆琨, 王汉, 陈文, 孙鸣捷.  紧凑双光路单像素成像系统(特邀) . 红外与激光工程, 2021, 50(12): 20210723-1-20210723-7. doi: 10.3788/IRLA20210723
    [11] 程永强, 王宏强, 曹凯程, 刘康, 罗成高.  微波关联成像研究进展及展望(特邀) . 红外与激光工程, 2021, 50(12): 20210790-1-20210790-21. doi: 10.3788/IRLA20210790
    [12] 孙宝清, 江山, 马艳洋, 蒋文杰, 殷永凯.  单像素成像在特殊波段及三维成像的应用发展 . 红外与激光工程, 2020, 49(3): 0303016-0303016-16. doi: 10.3788/IRLA202049.0303016
    [13] 范斌, 刘彦丽, 赵海博, 徐婧, 孙权森, 王旭.  新型深空高光谱衍射计算成像探测技术(特约) . 红外与激光工程, 2020, 49(5): 20201005-20201005-6. doi:  10.3788.IRLA20201005
    [14] 潘安, 姚保利.  高通量快速傅里叶叠层显微成像技术研究进展 . 红外与激光工程, 2019, 48(6): 603012-0603012(19). doi: 10.3788/IRLA201948.0603012
    [15] 张子邦, 陆天傲, 彭军政, 钟金钢.  傅里叶单像素成像技术与应用 . 红外与激光工程, 2019, 48(6): 603002-0603002(19). doi: 10.3788/IRLA201948.0603002
    [16] 刘正君, 耿勇, 谭久彬.  基于柱透镜多旋转测量的计算成像 . 红外与激光工程, 2019, 48(6): 603016-0603016(5). doi: 10.3788/IRLA201948.0603016
    [17] 刘正君, 郭澄, 谭久彬.  基于多距离相位恢复的无透镜计算成像技术 . 红外与激光工程, 2018, 47(10): 1002002-1002002(16). doi: 10.3788/IRLA201847.1002002
    [18] 李生福, 赵宇, 陈光华, 罗振雄, 叶雁.  选择型照明傅里叶叠层成像提取粒子尺度 . 红外与激光工程, 2017, 46(11): 1103005-1103005(8). doi: 10.3788/IRLA201746.1103005
    [19] 赵惠, 魏静萱, 庞志海, 刘美莹.  波前编码超分辨成像技术 . 红外与激光工程, 2016, 45(4): 422003-0422003(10). doi: 10.3788/IRLA201645.0422003
    [20] 刘子伟, 许廷发, 王洪庆, 申子宜, 饶志涛.  深度成像理论与实现 . 红外与激光工程, 2016, 45(7): 726001-0726001(5). doi: 10.3788/IRLA201645.0726001
  • 加载中
图(207) / 表(2)
计量
  • 文章访问数:  5266
  • HTML全文浏览量:  1714
  • PDF下载量:  1432
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-02-01
  • 修回日期:  2022-02-06
  • 网络出版日期:  2022-03-04
  • 刊出日期:  2022-02-28

计算光学成像:何来,何处,何去,何从?

doi: 10.3788/IRLA20220110
    作者简介:

    左超,男,教授,博士生导师,博士,主要从事计算光学成像与光信息处理技术的研究 (Email: zuochao@njust.edu.cn; Website: www.scilaboratory.com)

    通讯作者: 陈钱,男,教授,博士生导师,博士,主要从事光电成像与信息处理等方面的研究 (Email: chenqian@njust.edu.cn)。
基金项目:  国家自然科学基金(U21B2033);江苏省基础研究计划前沿引领专项(BK20192003);中央高校科研专项资助项目(30920032101)
  • 中图分类号: O438

摘要: 计算光学成像是一种通过联合优化光学系统和信号处理以实现特定成像功能与特性的新兴研究领域。它并不是光学成像和数字图像处理的简单补充,而是前端(物理域)的光学调控与后端(数字域)信息处理的有机结合,通过对照明、成像系统进行光学编码与数学建模,以计算重构的方式获取图像与信息。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等因素的限制,使其在功能(相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓、模糊复原、数字重聚焦,改变观测视角)、性能(空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度)、可靠性、可维护性等方面获得显著提高。现阶段,计算光学成像已发展为一门集几何光学、信息光学、计算光学、现代信号处理等理论于一体的新兴交叉技术研究领域,成为光学成像领域的国际研究重点和热点,代表了先进光学成像技术的未来发展方向。国内外众多高校与科研院所投身其中,使该领域全面进入了“百花齐放,百家争鸣”的繁荣发展局面。作为本期《红外与激光工程》——南京理工大学专刊“计算光学成像技术”专栏的首篇论文,本文概括性地综述了计算光学成像领域的历史沿革、发展现状、并展望其未来发展方向与所依赖的核心赋能技术,以求抛砖引玉。

English Abstract

    • 上帝说要有光,于是便有了光;光学“optics”一词源自古希腊字“ὀπτική”,意为 “看见”、“视见”。三千年前,古埃及人与美索不达米亚人第一次将石英晶体磨光制成宁路德透镜(Nimrud lens),这翻开了人类光学成像历史的第一页[1]。时光流转,如今我们手持搭载潜望式长焦镜头与人工智能算法的智能手机就能拍摄皎洁白月与绚丽星空[2]。现如今,人类享受着光学成像技术带来的多姿多彩的绚丽生活,也一直在为了看得“更远、更广、更清晰”这个永无止境的目标前赴后继。由于视觉是人类获得客观世界信息的主要途径,据估计人类感知外界信息有80%是来自于视觉。而人眼由于受限于视觉性能,在时间、空间、灵敏度、光谱、分辨力等方面均存在局限性。光学成像技术利用各种光学成像系统,即获取客观景物图像的工具,如显微镜、望远镜、医疗CT、手机摄像机和照相机等(见图1),实现光信息的可视化,同时延伸并扩展人眼的视觉特性。

      一个典型的光学成像系统主要由光源、光学镜头组、光探测器三部分组成。光学镜头将三维场景目标发出或者透/反/散射的光线聚焦在表面上,探测器像素和样品之间通过建立一种直接的一一对应关系来获取图像,光场的强度由光探测器离散采集并经过图像处理器数字化处理后形成计算机可显示的图像,整个过程如图2所示。这种“所见即所得”的成像方式受强度成像机理、探测器技术水平、光学系统设计、成像衍射极限等因素限制以及单视角、相位丢失、光谱积分、二维平面成像等因素的制约,导致高维度样品信息的缺失或丢失。此外光学镜头组通常需要和光学镜片、镜筒、光圈以及调焦系统等部件配合使用以获得清晰的图像,大大增加了成像装置的体积和复杂度。

      图  1  常见的光电成像系统

      Figure 1.  Common optoelectronic imaging systems

      图  2  传统光学成像系统的成像过程

      Figure 2.  Conventional optical imaging process

      光学成像技术的出现延伸并扩展人眼的视觉特性,其以成像分辨率(时间、空间、光谱)的提高、成像维度的拓展、探测灵敏度的提升作为技术发展目标(图3)。受当今电子信息时代的影响,高性能、低成本、体积小、重量轻的光学成像系统越来越受到广泛的重视与需求。商用相机和手机摄像头因其光学系统结构小巧,价格低廉,已成为人们不可或缺的日常用品。然而传统光学成像系统因受强度成像机理、探测器技术水平、光学系统设计、成像衍射极限等因素制约,在空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度等方面仍存在一定局限性。随着人们对成像系统功能与性能的不断追求,以及军用和民用领域日益增长的高分辨、高灵敏度以及多维高速成像的应用需求,也对光学成像技术提出了更具挑战性的要求:例如在显微成像领域,一方面需要显微成像系统能够对无色透明的生物细胞组织实现无标记、多维度、高分辨、宽视场成像观察,另一方面需要显微成像系统能够小型化便携式,以满足当今迅速增长的即时检验与远程医疗的应用需求。在空间科技领域,同样需要光学成像系统不断减小重量和体积,以节省运载空间或降低运载成本。在工业制造领域,需要视觉检测仪要能够实现高精度、高分辨、高速实时的三维成像与传感,以满足快速在线检测与机器人视觉导航等应用需求。在医疗诊断领域,如内窥镜等设备,在保证清晰成像观测的同时,需要将设备做得更小,以减轻患者的痛苦与不适。在地质勘探领域,如在光线较暗的环境探测情况下,需要光学成像系统对光具有更高的透过率、响应灵敏度和动态范围,以提高图像的亮度与成像的信噪比。采用传统光学成像系统设计思路想要获得成像性能的少量提升,通常意味着硬件成本的急剧增加,甚至难以实现工程化应用。另一方面,光探测器规模尺寸、像元大小、响应灵敏度等已接近物理极限,很难满足这些极具挑战性的需求。

      图  3  光学成像技术的五方面发展目标

      Figure 3.  Five goals for the development of optical imaging technology

      随着成像电子学的发展,计算机数据处理能力的增强,光场调控、孔径编码、压缩感知、全息成像等光、电信息处理技术取得了重大的进展;另一方面,经过成千上万年,自然界已经演化出多类能够适应不同生存需求的生物视觉系统,从生物视觉系统中获得灵感无疑可以对新一代光学成像技术的发展带来有益的启示。在此背景下,20世纪90年代中期光学成像界和计算机视觉界的许多研究人员不约而同地探索出了一种新型成像模式:即图像形成不再仅仅依赖于光学物理器件,而是前端光学和后探测信号处理的联合设计[3],这种技术就是现在广为人知的“计算成像”(Computational imaging)技术。计算成像将光学调控与信息处理有机结合,为突破上述传统成像系统中的诸多限制性因素提供了新手段与新思路[3]。对于“计算成像”,目前国际上并没有清晰的界定和严格的定义。目前普遍接受的一种说法是计算成像是通过光学系统和信号处理的有机结合与联合优化来实现特定的成像系统特性,它所得到的图像或信息是二者简单相加所不能达到的。它可以摆脱传统成像系统的限制,并且能够创造新颖的图像应用[48]。这种成像技术的实现方法与传统成像技术有着实质上的差别,给光学成像领域注入了新的活力[9]。21世纪初,计算成像技术在斯坦福大学、麻省理工学院、哥伦比亚大学、杜克大学、南加州大学、微软研究院等国际著名研究机构的研究学者的推动下得以迅猛发展,发展了波前编码成像、光场成像、时间编码成像、孔径编码成像、偏振成像、高光谱成像、单像素成像、结构光三维成像、数字全息成像、无透镜成像、定量相位成像、衍射层析成像、穿透散射介质成像等一系列计算光学成像的新概念与新体制。近年来,光学成像技术的发展已经由传统的强度、彩色成像发展进入计算光学成像时代。通过将光学系统的信息获取能力与计算机的信息处理能力相结合,实现相位、光谱、偏振、光场、相干度、折射率、三维形貌等高维度视觉信息的高性能、全方位采集。现如今,计算光学成像已发展为一门集几何光学、信息光学、计算光学、计算机视觉、现代信号处理等理论于一体的新兴交叉技术研究领域,成为光学成像领域的一大国际研究重点和热点。

      这里必须说明的是:“计算成像”这个新兴词汇很容易被误解为“计算机成像”,或者仅仅被误认为是“传统成像”与“数字图像处理”技术的延伸。笔者认为这里有必要加以强调与区分。传统光学成像是为了获得可满足人眼或者机器视觉要求的图像,所以在进行图像采集时就需要保证获取高质量的图像数据。而实际操作中由于种种原因,成像效果往往达不到理想预期,所以通常还需要借助于数字图像处理技术对采集图像进行进一步加工。从学术级的Matlab、ImageJ,到专业级的Adobe Photoshop,乃至大众都在使用的“美图秀秀”,都属于典型的数字图像处理软件的范畴。在此过程中,光学成像过程与数字图像处理是独立且串行的关系,算法被认为是后处理过程,并不纳入成像系统设计的考虑之中,如图4所示。这即决定了传统成像技术无法从根本上通过图像处理技术来挖掘出更多场景的本质信息。简言之,如果成像前端所获取的图像数据缺失或者质量不理想(如严重离焦、噪声污染),后端仅依靠图像处理技术很难加以弥补。因为信息并不会凭空产生,正所谓“巧妇难为无米之炊”。

      图  4  传统数字图像处理往往仅作为成像的后处理过程

      Figure 4.  Conventional digital imaging processing is only a post-processing step in the whole imaging process

      与传统光学成像系统“先成像,后处理”的成像方式截然不同,计算光学成像采用的是“先调制,再拍摄,最后解调”的成像方式。其将光学系统(照明、光学器件、光探测器)与数字图像处理算法作为一个整体考虑,并在设计时一同进行综合优化。前端成像元件与后端数据处理二者相辅相成,构成一种“混合光学—数字计算成像系统”,如图5所示。不同于传统光学成像的“所见即所得”,计算光学成像通过对照明与成像系统人为引入可控的编码或者“扭曲”,如结构照明、孔径编码、附加光学传函、子孔径分割、探测器可控位移等并作为先验知识,目的是将物体或者场景更多的本质信息调制到传感器所能拍摄到的原始图像信号中(又被称作中间像,Intermediate image,因为该图像往往无法直接使用或观测)。在解调阶段,基于几何光学、波动光学等理论基础上通过对场景目标经光学系统成像再到探测器这一完整图像生成过程建立精确的正向数学模型,再经求解该正向成像模型的“逆问题”,以计算重构的方式来获得场景目标的高质量的图像或者所感兴趣的其它物理信息。正如其名,“计算成像”中的图像并不是直接拍摄到的,而是计算出来的。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的联系,这种联系可以是线性的也可以是非线性的,可以突破一一对应的直接采样形式,实现非直接的采样形式,使得采样形式更加灵活,更能充分发挥不同传感器的特点与性能。如果说光电成像技术延伸并扩展了人眼的视觉特性,那么计算成像技术则进一步延伸并扩展光电成像器件的成像维度与探测性能。这种新型的成像方式将有望突破传统光学成像技术对光学系统以及探测器制造工艺、工作条件、功耗成本等因素的限制,使其在功能(相位、光谱、偏振、光场、相干度、折射率、三维形貌、景深延拓,模糊复原,数字重聚焦,改变观测视角)、性能(空间分辨、时间分辨、光谱分辨、信息维度与探测灵敏度)、可靠性、可维护性等方面获得显著提高,有助于实现成像设备的高性能、微型化、智能化。

      图  5  计算光学成像系统的成像过程

      Figure 5.  Computational optical imaging process

      近年来,计算光学成像也已逐步进入了我国从事光学成像、光学测量、光信息学以及计算机视觉领域科研人员的视野,在光学信息获取与处理领域占据了越来越重要的地位。2017年,在包括我们在内的计算成像领域的同行学者的一致建议下,国家自然科学基金委结合未来学科的发展方向和趋势首次将“计算成像”列入信息科学部四处F05学科代码下F0501光学信息获取、显示与处理研究方向,并作为一个独立的子方向(F050109),见图6(注:2021年基金委信息科学部优化学科布局,调整代码之后仅保留一级和二级代码,已不再设立三级代码)。近年来,以“计算光学成像”为议题的国际会议与专题研讨会在国内也逐步兴起,国内外各类学术期刊均争相推出了相关专刊与专栏,广大从业人员对此领域的兴趣与热情日益高涨,前沿热点研究方向,如相位成像、全息成像、光谱成像、偏振成像、三维成像、光场成像、超分辨成像、无透镜成像、单像素成像(鬼成像)、穿透散射介质成像等层出不穷。因此现阶段迫切需要对此蓬勃发展且充满前景的新领域进行梳理,归纳与总结,并基于此为我国相关领域研究人员在计算光学成像技术及其应用领域方面提供一些有益的参考。

      图  6  从2017年修订后的国家自然科学基金委学科代码,其中“计算成像”被列入信息科学部四处下一个独立的子方向(F050109)

      Figure 6.  The revised discipline code of the National Natural Science Foundation of China in 2017. “Computational imaging” has been listed as an independent sub-direction of Information Science (F050109)

      在此背景下,本文作为本期《红外与激光工程》——南京理工大学专刊“计算光学成像技术”专栏的首篇论文,概括性地综述了计算光学成像领域的历史沿革(何来)、发展现状(何处)、并展望其未来发展方向(何去)与其所依赖的核心赋能技术(何从)。在第一章中,我们首先简要回顾光学成像技术的历史以及计算光学成像的发展由来。计算光学成像被认为是人类从光化学成像时代、胶片成像时代、数码成像时代后的第四次成像革命。第二章将是文中的要点内容,我们将综述计算光学成像技术的发展现状。这里我们按照采用计算成像技术的“动机”或者说计算成像技术所带来的成效来将计算光学技术体系进行细分。并对每种成像技术或者方法的基本原理、发展现状、代表性成果以及典型应用进行了概述。第三章评估了计算光学成像的当前优势和劣势,以及未来发展面临的机会和威胁。第四章分析了计算成像未来发展所依赖的核心赋能技术。最后,我们在第五章中给出了文中的总结性评论。值得说明的是,由于本文涉及内容广泛且作者水平精力与文章篇幅所限,文中难免存在疏漏与错误之处,在此由衷期望读者不吝指正。

    • 光学成像诞生与发展是时代的必然产物。科学技术的进步、人们对长驻影像的渴望、对影像记录和信息传播的需求催生了光学成像技术的诞生;同时光学成像技术的诞生又反过来更进一步促进了科技的发展与人们的需求。光学成像技术并不是某一个人发明出来的,而是经过数代人共同努力的成果,它是适应社会需求的必然产物。在摄影术诞生后180余年的今天,摄像头已经成为我们日常生活不可分割的一部分:打开微信支付宝扫一扫支付,拍一张自拍发个朋友圈,拍一段宠物视频上传抖音,用淘宝拍照识别商品已经成为人们的生活常态。而你可曾知道历史上第一张照片曝光要长达8 h,而现如今手机标配摄像头,在屏幕上按下快门的那一瞬间一张清晰的照片就出炉了。光学成像技术是怎么演变到如今这个阶段的?有哪些人、公司和产品推动了演变的发生?演变带走了什么,留下了什么?带着这些疑问,我们回顾了一番光学成像技术的演变历程。

    • 早在公元前四百多年,中国哲学家墨子观察到小孔成像的现象,并记录在他的著作《墨子•经下》中,成为有史以来对小孔成像最早的研究和论著,为摄影的发明奠定了理论基础。墨子之后,古希腊哲学家亚里士多德和数学家欧几里得、春秋时期法家韩非子、西汉淮南王刘安、北宋科学家沈括等中外科学家都对针孔成像有颇多论述,针孔影像,已为察觉乃至运用,但只可观察,无法记录。在15~16世纪文艺复兴时期,欧洲出现了供绘画用的“成像暗箱”(Camera obscura),如图7所示(最初由意大利人阿贝尔第(Leon Batisti Alberti)研制)。由于暗箱的发明,很多历史的记载中从来没有系统学过绘画的人都“突然之间”摇身一变成了绘画天才,写实技巧骤然提升。在那个摄影技术尚未出现的时代,涌现出了大量能与“单反照片”媲美的杰作。

      图  7  16世纪用于绘图的暗箱装置

      Figure 7.  Camera obscura box, 16th century

    • 1725年,德国纽伦堡阿道夫大学医学教授亨利其·舒尔茨(Heinrich Schulze)发现硝酸银溶液在光作用下会变黑,并于1727年发表论文《硝酸银与白垩混合物对光的作用》,论文讨论了硝酸银混合物在光作用下记录图案的功能,德国人称之为现代摄影的始祖。1793年法国发明家尼埃普斯(Joseph Nicéphore Nièpce)和他的兄弟一起开始了对感光材料的实验。1822~1824年期间,他实验发现把沥青涂在玻璃板和金属板上能够实现感光。1825年,他成功地利用可以感光的纸把铜版画上的影像制作成了一幅图片,由此诞生世界上第一张照片——《牵马少年》,如图8所示。这个以牵马的人为对象的图片虽然不是用照相机“照”出来的,但是这张图片预示着感光材料在实际运用方面迎来了一个新时代。然而在摄影技术诞生的初期,由于感光材料的灵敏度很低,拍摄一张照片往往需要曝光几个小时。

      图  8  尼埃普斯使用的暗箱相机和所拍摄的《牵马少年》

      Figure 8.  The Camera Obscura box used by Joseph Nicephore Niépce and his photo “the man with a horse”

      1825年,尼埃普斯委托法国光学仪器商人夏尔·雪弗莱(Charles Chevalier)为他的暗箱制作光学镜片。并于1826年(也有说1827年)将其发明的感光材料放进暗箱,拍摄现存最早的景物照片,作品《Le Gras窗外的景色》(见图9)在其法国勃艮第(Burgundy)的家里拍摄完成,通过其阁楼上的窗户拍摄,使用暗箱曝光时间超过8小时。尼埃普斯把这种用日光将影像永久记录在金属板上的摄影方法叫做“日光摄影法(Heliography)”-“Helios”来自希腊语.意即太阳,“Graphein”意即记录、描绘。

      图  9  尼埃普斯所拍摄的《窗外景色》

      Figure 9.  “Window at Le Gras” taken by Joseph Nicephore Niépce

      19世纪20年代,法国发明家、画家和舞台背景设计师路易·达盖尔(Louis-Jacques-Mandé Daguerre)开始热衷于寻找把暗箱投影固定下来的方法。他于1827年结识了尼埃普斯,两人于1829年12月开始了正式合作,订立了为期10年的合作契约,在尼埃普斯先前日光摄影法的基础上,共同研究和改进留住影像的工艺。1833年7月5日,尼埃普斯在没有取得丝毫新成果的情况下溘然辞世。但幸运的是,他的笔记留给继续工作的达盖尔。1837年的一天,达盖尔在药品箱中找药品时,突然看到过去曝过光的底片上的影像变得十分清晰。他猜想很可能是药箱里的某种药品在发生作用。为了找到答案,他每天晚上把一张曝过光的铜板底片放进药箱。次日早晨,在取出底片的同时,取出其中的一瓶药。他猜想如果取出了那种起作用的药品,再放进去的底片,影像就不可能显现清晰了。但使达盖尔意外的是,直到箱中药品全部取完,底片仍然显像清晰。为了彻底查清原因,他把箱子翻了个底朝天,终于发现了箱底有一支打碎了的水银温度计,四周零星散落着一些小水银珠。他马上意识到:奇迹一定是这些小水银珠造成的。因为箱子里温度较高,使水银蒸发影响底片,使显像更加良好。达盖尔随后把已曝光的铜板放在加热的水银热汽上熏蒸,果不其然铜板上的影像得到了非常明显的加强。万分惊喜的达盖尔立即在其工作室里布置了一组静物,30 min就拍摄完成了《工作室一角》这张在世界摄影史上具有转折意义的照片。这幅照片被认为是达盖尔首次定影成功的金属银盐干版照片。

      1838年春天,达盖尔拍摄了巴黎繁华的Boulevard du Temple的照片(见图10)。这张照片被认为是第一张拍到人的摄影作品。照片曝光接近20 min,因此虽然大街并不是没有往来行人,但是它们由于曝光时间不足没有留下影像,只有擦鞋人与顾客因为站得足够久才被记录了下来。那两个人永远不会知道他们实际上是历史上第一个被拍照的人。1839年8月19日,法国科学与艺术学院购买了达盖尔摄影法的专利,并将此工艺公诸于世。成千上万的人聚集在法国学术院门前,其情景就像庆祝战胜归来的英雄那样热烈。这一天,在法国学术院所举行的科学院和美术院联席会议上,阿拉哥代表政府向世界宣布:“法国已接受了达盖尔的发明,并且一开始就表示为能够慷慨地免费把它奉献给全世界而自豪”。从此摄影正式诞生,成为人类的共同语言与财富,后人将这一天定为摄影诞生的纪念日。

      图  10  1838年达盖尔所拍摄的《Boulevard du Temple》

      Figure 10.  “Boulevard du Temple” taken by Joseph Nicephore Niépce, 1838

      在同期研究的科学家中,还有一位英国科学家亨利·福克斯·塔尔博特(Henry Fox Talbot)。1833年10月,塔尔博特在意大利科摩湖附近的小镇贝拉究(Bella-gio)进行写生时忽然想到,如果用以前使用的暗箱把自然影像固定在纸上岂不更好。从此塔尔博特开始了摄影实验。1834年,他在写字纸上涂上氧化银晾干后,盖以花边或树叶,放在阳光下曝晒。结果未被物品遮盖的银盐变成了黑色。通过实验塔尔博特发现,将已曝光的氧化银纸浸在依盐水中,可以防止影像的进一步黑化,他还发现,虽然制作出来的影像是负像(即黑色部分代表白,白色部分代表黑),但把这负像通过光线印在另一张感光纸上,就可以表现出与景物相同的影调。1835年3月,木匠艾比(Lacock Abbey)专门给塔尔博特制造了几架2.5 cm2的小型暗箱。塔尔博特用涂上氯化银溶液的高级书写纸张,拍摄世上第一张负像照片,即后来所谓的负片(见图11)。通过接触式印相,可获得正像照片,由此开创出由负转正的摄影工艺。他在1839年将自己的“负片-正片”摄影法提交给了英国皇家科学院,同期有另一位科学家法国人伊波利特·贝雅尔(Hippolyte Bayard)于1839年3月在相纸上也制造出了正像。他们两人的研究成果都报告给了法国下议院议员、物理和天文学家阿拉果(François Arago),不过阿拉果认为达盖尔的方法更为成熟,因此授予了更多支持。1840年9月,塔尔博特对他的摄影法进行了改进,他改用碘化银代替氯化银,用硝酸银进行显影。与达盖尔式摄影法所拍摄的影像相比,塔尔博特的作品拥有更多的细节,并且曝光时间也更短。1841年2月8日,塔尔博特用自己改良后的底片向英国政府申请专利,终于如愿以偿。塔尔博特为自己的发明起了一个非常动听的名字:“卡罗式摄影法(Calotype Process)”。“Calotype”在希腊语里是“美丽”之意。但亲友们认为应以发明者的姓名来命名,因此“卡罗式摄影法”又称为“塔尔博特摄影法”。

      图  11  塔尔博特所拍摄的“冬天里的橡树”(负片与正片)

      Figure 11.  William Henry Fox Talbot – An oak tree in winter (Negative and positive)

    • 摄影发展的下一步发展是从光化学时代进入了高度详细和可再现的感光版摄影成像时代。1851年伦敦雕塑家弗里德里克·司各特·阿切尔(Frederick Scott Archer)发明了“火棉胶湿”(Wet-collidion process)摄影术。所谓火棉胶,是一种将硝化棉溶在乙醚和酒精混合物中的黏性液体,因为必须在液体状态下进行冲洗,所以这种方法因此得名(见图12)。它的优点是光敏度高,感光快,拍风景约需10 s~1 min,拍人像只要2~20 s。可以印出无限量永久性的照片,且影像纹理清晰、层次丰富、优美真实、价格低廉,因此成为当时欧美的主要摄影法。火棉胶湿版摄影法效果虽然很好,但使用很不方便,不适用于工业化生产。摄影师外出拍摄时必须携带着遮光的帐篷、化学药品、玻璃片、笨重的支架以及一壶水,全套装备通常是整整一马车。

      图  12  火棉胶湿摄影术的基本流程

      Figure 12.  Wet-collidion process

      1871年,英国医生理查德·里彻·马克多斯(Richard Leach Maddox)发明了另外一种以玻璃为感光版的摄影方法“明胶干版法”。他用糊状的明胶为材料的溴化银乳剂,趁热涂在玻璃上,干燥时就不会像火棉胶那样发生结晶现象。玻璃干版在感光能力上又有提高,质量很稳定,摄影时比“湿法”方便很多,并且可以商购,这是摄影开发技术的重大突破。用明胶作涂布材料,感光度极高,在室外阳光下曝光时间可缩短到1/25 s,可以手持相机拍摄,而且外出拍摄可以不用带暗室设备和化学药品,摆脱了临时涂布制作湿版的不便,并适用于工业化生产。这是成像摄影界的一次革命,标志着“快照”的时代已经到来。

      在同一时期,对瞬间性摄影的发掘做出最大贡献的当数英国摄影家埃德沃德·迈布里奇(Eadweard Muybridge)。迈布里奇是一名赌徒,但又十分热爱“摄影实验”。1872年,利兰·斯坦福(Leland Stanford),当时的加州州长,同时也是一名“淘金热”富豪,坐拥一片马场,一天与朋友争辩“马在奔跑时是不是一直至少有一只马蹄在地面”,因为油画中所刻画的“奔跑的马匹”,都是单蹄触地。利兰请来了当时小有名气的摄影实验家迈布里奇。1877年,迈布里奇在利兰的马场直道上放置了12台摄影机,并用机关和线将所有照相机的快门与马相连起来,马奔跑的过程被这12台照相机分别捕捉下来。12张底片冲洗成12张照片,从中看清楚奔马在奔跑时四蹄完全离地的影像,如图13所示。迈布里奇的这一实验让人类首次认识到了摄影的重要特性——瞬间性:“照片不仅能够看到真实,而且能够滞留时间”。

      图  13  1878年迈布里奇拍摄的《奔马》连续照片

      Figure 13.  Eadweard Muybridge——The horse in motion, 1878

    • 摄影直到19世纪80年代中期才真正为业余爱好者所接受。让摄影变得轻便、并且走向大众的人,是美国人乔治·伊斯曼(George Eastman)。1880年,在银行工作的伊斯曼辞去了职务,专心研究照片拍摄技术。他尝试用一种透明的材料作为曝光底片,并且于1884年发明了世界上第一款胶卷底片。当年,伊斯曼成立了伊斯曼干版公司(现柯达公司)。1888年,该公司利用涂布机将感光乳剂涂在透明的软片片基上,用于拍照的胶卷由此诞生。胶卷比玻璃板更轻、更有弹性,而且胶卷的使用可以让摄影师快速连续拍摄多张照片。与此同时,伊斯曼干版公司还研制出了使用这种胶卷的傻瓜式的盒式照相机,可连续拍摄100张照片。伊斯曼给自己的照相机和胶卷起名为“柯达”,因为它“听起来就像相机快门声一样干脆”。无疑它是世界上最早使用胶卷的相机。从此照相底片以干版一统天下的格局被打破,感光材料的发展进入了一个新纪元。但是该相机的胶卷是事先放置在相机里的,待100张照片拍完以后需要再花10美元寄回伊斯曼公司,由工厂冲洗、印制照片并装帧,再把相机装入新胶卷后连同照片寄回用户。

      1887年,美国人古德温·汉尼拔(Goodwin Rev Hannibal)取得硝化纤维素感光片的专利,1889年开始生产硝化纤维素片的胶卷。1891年,柯达公司制作出摄影者自己能装卸的胶卷,从此柯达软片胶卷风行世界,摄影开始逐渐走进大众生活中。1892年,伊斯曼将公司改名为“伊士曼柯达公司”。1900年,柯达公司推出普及型照相机布朗尼(Brownie),如图14所示。它是史上第一台批量生产的消费级相机,正是由于这台相机的诞生,摄影首次成为了平民化的活动,对摄影术的推广起到了不可估量的作用。当时柯达对这台相机仅仅定价1美元(笔者猜想其主要是想通过胶卷盈利),由于价格低廉且容易操作,每个人都能用它轻松的拍照。柯达在推广这台相机的同时也同时推广了生活印记(Celebrate the moments of your life)的摄影概念。而就像柯达广告语里说的那样:“你只需要按动快门,其他的由我们搞定(You push the button, we do the rest,见图15)”。这是一次重大的技术变革,从此快拍(Snapshot)成为了一种生活方式,使用不同类型的胶卷相机开始充斥市场,相机的发展因此开始向小型化和轻量化方向演进。

      图  14  布朗尼相机与莱卡相机

      Figure 14.  Brownie and Leica camera

      图  15  1888年在纽约刊登的柯达相机广告

      Figure 15.  The advertisement of Kodak camera in New York, 1888.

      1906年,美国人乔治·希拉斯(George Silas)首创了闪光灯摄影。1913年,德国莱兹厂的一位工程师巴纳克(Oskar Barnack)按35 mm电影胶片的规格设计出一种小型照相机,可拍摄24 mm×36 mm照片,取名莱卡(Leica),如图14所示。由于第一次世界大战的影响,直到1925年才问世。徕卡小而紧凑,其相对较小的原因是由于采用了135格式(35 mm)的乔治·伊士曼干式乳液卷筒照相胶片。莱卡标志着35 mm照相机(又称135照相机)的诞生,35 mm胶卷也在未来75年内成为照片行业的主导,并用于了后续的傻瓜相机,测距仪和单反相机,成为了从爱好者到专业摄影师的黄金标准。1925年,德国蔡司•伊康公司(Zeiss Ikon)公司生产出世界上首批平视旁轴取景的135照相机,成为摄影史上的里程碑,照相机跨入高级光学和精密机械的技术时代从此确立。1928年,德国“弗兰克和海德克”公司生产出一种双镜头反(双反)光照相机——罗莱反光照相机,它能拍摄6 cm×6 cm的方形照片,并能在相机顶部的磨砂玻璃屏上调焦和取景。1945年,瑞典生产了一款名为“哈苏”(Hasselblad)的120单镜头反光(也就是现在我们所熟知的单反)照相机。1947年,美国人发明了世界上第一台拍摄后即可拿到照片的“宝丽来”(Polaroid)相机,开创了“拍立得”这个相机品类。直到今天,宝丽来所开创的拍立得相机品类依然在年轻人中非常受欢迎。1949年,蔡司•伊康公司生产的35 mm单镜头反光相机“康泰克斯”(Contax)开创了现代135单反相机的基本模式。在此期间,照相机的性能逐步提高和完善,光学式取景器、测距器、自拍机等被广泛采用,机械快门的调节范围不断扩大。照相机制造业开始大批量生产照相机,各国照相机制造厂纷纷仿制莱卡型和罗莱型照相机。黑白感光胶片的感光度、分辨率和兼容性不断提高,从而使摄影队伍迅速扩大并走向专业化。

      关于彩色照片的起源时间可能比大家想象得要早一些。自1850年以来,彩色摄影的概念已经存在,苏格兰物理学家詹姆斯·克拉克·麦克斯韦(James Clerk Maxwell,对!就是大名鼎鼎的麦克斯韦)于1855年撰写了一篇关于光学色彩视觉和感知的论文。该论文指出人类是通过位于眼睛后表面的锥状细胞来感知颜色的。麦克斯韦断言,每个细胞上的不同区域对红色,蓝色和绿色光谱都很敏感,正是这些颜色组合决定了我们对周围颜色的解释。这个被称为“三基色”或“RGB”的想法是我们今天所拥有的几乎所有彩色摄影方法的基础。使用麦克斯韦提出的概念制作的第一张已知照片是在英国摄影师和发明家托马斯·萨顿(Thomas Sutton)于1861年拍摄的。照片是通过堆叠三个黑白图像制成的,他首先将三条纱巾分别染上红绿蓝三种颜色,然后让它们轮流罩在同一台相机镜头前,拍摄一条彩色格子尼龙丝带,这样就拍出了三张底片(如今我们将这种方式称为滤镜)。这三张底片中,记录下了光线通过红绿蓝三条纱巾后状态。这张照片记录的是一个彩色丝带,通常被称为苏格兰花格纹丝带(Tartan Ribbon)。这也是有史以来第一张已知的彩色照片(见图16)。

      图  16  托马斯·萨顿拍摄的“苏格兰格纹丝带”

      Figure 16.  Thomas Sutton — Tartan Ribbon

      起初的彩色照相遇到的大多数问题不是源于彩色印刷品本身,而是图像显影后的持久性。彩色照片对环境光非常敏感,当暴露于自然光下时会褪色或质量大大降低。1891年,物理学家加布里埃尔·李普曼(Gabriel Lippmann)开发了一种基于光波传播干涉现象的过程,并在1908年获得了诺贝尔物理学奖。此方法可以在正常光线下生成和观看彩色照片,克服了印刷褪色的技术难题。1907年,法国兄弟路易斯和奥古斯特卢米尔开始推广一种他们称之为“自动色素(Autochrome)”的染色工艺。卢米尔夫妇通过在全色乳剂中加入微小的染色土豆淀粉颗粒,制作出生动的、具有绘画风格的图像。直到1935年,Autochrome才成为世界上最受欢迎的彩色胶卷技术,并以柯达公司传奇的柯达彩色胶卷(Kodachrome)的形式走向市场。这是全球第一款成功投入商用的彩色胶片,也是柯达公司最为成功的产品之一(见图17)。1942年,柯达公司正式推出彩色负片和彩色相纸。彩色摄影开始迅速发展,得到广泛普及和应用。20世纪60年代间,黑白、彩色胶片的质量有了进一步的提高,光学工业制成了含有稀有元素的新型光学玻璃,如镧、钛、镉等玻璃。从而更好地校正了摄影镜头的像差,使镜头向大孔径和多种焦距的方向迅速发展。因而,出现了变焦、微距、折反射式、广角等多种摄影镜头。镜头单层镀膜得到普遍推广。照相机出现了计数器自动复零、反光镜自动复位、半自动和全自动收缩光圈等结构。照相机的质量、产量开始飞速发展。

      图  17  柯达K135-20彩色胶卷

      Figure 17.  Kodachrome K135-20 Color Film

    • 从20世纪60年代初起,光学传递函数理论进入了光学设计领域,出现了成像质量高,色彩还原好,大孔径,低畸变的摄影镜头。同时,镜头向系列化发展,由焦距几mm的鱼眼镜头到焦距长达2 m的超摄远镜头,并有了透视调整、变焦徽距、夜视等摄影镜头。1960年,日本旭光公司在德国世界相机博览会上展示了世界上首台以电子测光的135单反“潘泰克斯”(Pentax SP),从此照相机进入了电子时代。电子技术逐渐深入到照相机内部,多种测光、高精度的电子镜间快门、电子焦平面快门以及易于控制的电子自拍机等都纷纷出现。曝光补偿、存储记忆、多照片纪录、电动上弦卷片、自动调焦等各种功能得到愈益精美的应用,高度自动化、小型、轻便达到了前所未有的高度。

      1963年,柯达再次推出革命性产品系列——傻瓜相机Instamatic(见图18)。这一系列产品将胶卷盒制作成独立暗盒,可以在任何自然环境中打开相机后盖更换胶卷,并且具备自动曝光功能,让消费者操作完全“傻瓜化”。得益于多款产品成功,柯达在20世纪60~70年代的地位如日中天,成为摄影的代名词。根据HowMuch.Net网站的统计,如果考虑通货膨胀因素,1967年柯达的市值高达1770亿美元,仅排在IBM和AT&T之后。哈佛商学院2005年的一份研究报告显示,截止1975年,柯达垄断了美国90%的胶卷市场以及85%的相机市场份额。

      图  18  柯达傻瓜相机“Instamatic”

      Figure 18.  Kodak instamatic camera

      电子自动化技术为摄影光学系统提供了十分精良的设备,但真正意义上让摄影与众不同的一大革命是实现图像的数字化。在胶片出现的近一个世纪的时间里,其一直是摄影的标准手段,直到数码相机的出现。数码相机的历史可以追溯到上个世纪四五十年代。1956年,安培(Ampex)公司推出了该公司所谓的“首款实用的磁带录像机”(VTR)VR-1000(见图19)。这种新机器可以将电视转播中的电流脉冲记录到磁带上,它被视为电子成像技术的诞生。尽管最终走向衰落,但在磁带录像机1950年代推出时,它却被视作一项革命性技术。它虽然花了几十年时间才最终进入寻常百姓家,但在全盛时期几乎随处可见,一度主导了整个市场。

      图  19  安培公司推出的首款磁带录像机VR-1000

      Figure 19.  The first of Ampex's videotape recorder VR-1000

      1969年,博伊尔(Willard Boyle)和史密斯(George E. Smith)在AT&T贝尔实验室发明电荷耦合器件(Charge Coupled Device,CCD,见图20)。CCD能够将光学影像转换为电子信号,自此奠定了数码相机的根基。其起初被美国宇航局(NASA)用于通过卫星系统从太空中向地面发送航天照片。CCD具有由光敏电容器阵列组成的层,该光敏电容器阵列感测不同强度的光,因此将相关数据传输到相机的处理器。在这之后,数码图像技术发展得更快,主要归功于冷战期间的科技竞争。而这些技术也主要应用于军事领域,大多数的间谍卫星都使用数码图像科技。有趣的是,博伊尔和史密斯原先发明CCD是作存储用途,但后来却因CCD在成像领域的贡献,两人在2009年获得了诺贝尔物理学奖。同样是在1969年,阿帕网(ARPANet)正式投入运行。阿帕网是美国国防部高级研究计划署组建的计算机网络,最初只有研究机构、大学和军事机构才能进入这个网络。在那时,谁也不曾想到阿帕网的相关技术后来成为互联网的基础,而互联网彻底地改变了大众使用相机的习惯和目的。

      图  20  博伊尔和史密斯发明的首个CCD相机

      Figure 20.  The first CCD camera developed by Boyle and Smith

      1975年,柯达工程师史蒂文·萨森(Steven Sasson)基于电荷耦合器件研发出世界上第一部数码相机(见图21),当年他仅有24岁。萨森使用了半导体公司提供的电荷耦合器件(仅具有100 pixel×100 pixel),并将其与电影摄像机部件结合起来,将黑白图像保存在盒式磁带上。然后从盒式磁带中读取图像,并在电视监视器上观看。当时整个过程十分漫长,虽然相机仅用50 ms拍摄照片,但用了23 s来记录在磁带上,30 s后才于电视监视器上屏幕上显示一幅100 pixel×100 pixel的黑白影像。整机重3.6 kg,是如今流行的专业数码单反重量的3~4倍。虽然图像分辨率、体积重量、成像速度等还不够理想,但数码相机的出现彻底颠覆了摄影的物理本质。萨森使用“摩尔定律”预测数码技术将会高速进化,将来会达到200万像素以上,成像素质甚至可跟135胶片竞争,预测所需时间大约是15~20年后。萨森的判断相当准确,数码相机的发展是一条漫长的道路。遗憾的是,对于柯达公司的管理层来说,15~20年后的事他们或许并不关心,并且管理层固执地深信“没有人会喜欢在电视上看照片”。因为当年柯达包揽胶卷摄影的每一工序,由相机、胶卷、冲晒、相纸,每一张照片的成像过程他们都在大量收益,而且实体照片已经行之有效100年;再者,在照片载体(计算机)的概念还未清晰时,他们也不准备发展一套自己打自己的新技术。虽然意识到数码相机的出现可能会威胁到胶卷产业,柯达公司还是决定将相关技术进行雪藏。柯达管理层的决定是︰准许萨森继续研究数码相机、影像压缩及记忆卡技术,并在1978年把数码相机技术注册专利,但不准他公开谈论此发明,或向其他人展示产品原型,相关的研究工作也因此而陷入停滞。

      图  21  史蒂文·萨森研发出世界上第一部数码相机

      Figure 21.  The first digital camera developed by Steven Sasson

      第一台照相机诞生后不久,盒式磁带逐渐被闪存取代。1981年,日本索尼(SONY)公司在德国国际广播器材博览会上推出了世界上首台磁记录照相机“玛维卡”(Mavica,见图22)。它记录影像的载体不再是银盐胶片,而是以电磁记录影像,开创了照相机技术的数字化时代。这台数码相机采用了可交换镜头设计,其传感器面积为12 mm×10 mm,具备570×490≈28万像素,拥有标准变焦,中焦,长焦这3枚镜头。1986年,日本尼康公司推出了第一台数码单镜头反射镜相机-Nikon SVC。1989年,萨森与同事也制造出了第一部数码单反相机,有120万像素感光组件。但柯达市场部对此不感兴趣,并且声明不会推销这个产品来威胁他们如日中天的胶卷业务。萨森表示,当他们造出了这部相机时,整个争论已经结束,一切只是时间问题,只可惜管理层仍然执迷不悟。值得提及的是,从1975年研发出第一部数码相机到1989年期间,柯达萨森实验室产生了1千多项与数码相机有关的专利。其中最重要的当属莱斯-拜耳(Bryce Bayer)发明的拜耳滤色器。目前几乎所有的数码相机、摄像机和手机摄像头都在采用这一技术,拜耳被誉为“数字图像之父”。1989年,日本富士(Fujifilm)公司研发出世界上首台使用闪存存储介质的相机DS-1 P,这一存储模式沿用至今,也成了目前相机存储信息的第一方式。1995年,卡西欧(Casio)研制出数码相机QV-10,它是第一台采用LCD屏幕取景的数码相机。随后,理光(Ricoh)也发布了一台使用相似传感器的相机RDC1,相对于卡西欧的产品增加了视频拍摄功能,这也是数码相机历史上第一台可以拍摄视频的产品。同年微软推出了Windows 95,这一时期的数码相机以配合Windows 95操作系统为主要需求。各家厂家在软件方面,各自发展出支持Windows 95操作系统的驱动程序。1996年奥林巴斯(Olympus)和佳能(Canon)公司也推出了自己的数码相机。随后柯尼卡、美能达、尼康、理光、康太克斯、索尼、东芝、JVC、三洋等近20家公司先后参与了数码相机的研发与生产,各自推出了自己的数码相机。分辨率上,1995年世界上数码相机的像素只有41万;到1996年几乎翻了一倍,达到81万像素,数码相机的出货量达到50万台;1997年又提高到100万像素,数码相机出货量突破100万台。

      图  22  索尼推出的世界上首台电磁记录照相机“玛维卡”

      Figure 22.  Mavica camera developed by SONY

      第一部数码相机被发明出来的前两年(1973 年),第一部手机Dyna TAC在摩托罗拉(Motorola)的实验室里诞生,马丁·库帕(Martin Lawrence Cooper)成了“手机之父”。有传言,马丁·库帕用手机打的第一个电话,正是打给了上文提到的贝尔实验室。当时贝尔实验室正和摩托罗拉在通信领域展开激烈竞争。手机和数码相机在20世纪70年代中期被发明出来后,两者各自发展。直到1999~2000年,手机和相机才狭路相逢。2000年,夏普(Sharp)联合运营商J-Phone(现在的软银移动)推出了全球首款拍照手机J-SH04(见图23)。这款手机的摄像头只有11万像素,没有自动对焦,没有闪光灯,具有96 pixel×130 pixel的256色液晶屏。在摄像头附近有一块小镜子,方便自拍。从如今手机市场里动辄上千万像素的摄像头来看,不用想也知道其拍下来的照片是一张充满马赛克的图片。售价将近500美元的J-SH04在当时并没有引起多少关注,但夏普给手机带来的深远影响,谁都无法否认。这启发了其他手机厂商,开启了拍照手机的大门。

      图  23  夏普联合J-Phone推出的全球首款拍照手机J-SH04

      Figure 23.  The first handphone with camera, J-SH04, developed by SHARP and J-Phone

      此后几年里,手机厂商开始不断提高摄像头的像素。夏普在2003年发布J-SH53,将摄像头像素提高到100万;2003年,松下(Panasonic)发布了一款独特旋转设计的手机P505 iS,可以侧面360°旋转,也可以向后旋转180°进行自拍。其中最吸引人的是首次配备了自动聚焦功能,这个功能一直延续至今。2004年,夏普又发布了首款光学变焦手机V602 SH,在手机拍照的发展史上书写下了一个又一个里程碑。同年,诺基亚(Nokia)推出了其首个百万级别摄像头的手机7610,同时搭载了塞班(Symbian)操作系统。2005年,诺基亚推出N90(见图24),其采用双转轴工业设计,在拍摄方面还采用了卡尔蔡司(Carl Zeiss)认证镜头,开创了手机厂商与传统光学影像巨头合作的先河。尽管该机200万像素所呈现的画质并没有因为高大上的镜头而变得出类拔萃,但它以及它的后代产品却凭借大师级光学影像巨头的光环而收获了市场的认可。随后,诺基亚依托强大的市场品牌效应,后续推出了多款N系列手机,将手机拍照打造成产品的卖点之一,并在1996~2010年期间连续14年保持手机销量全球第一。2006年,索尼爱立信(Sony Ericsson)推出K790,其配有320万像素的摄像头,并且被业界认为是第一款配备氙气闪光灯的手机,对比LED闪光灯在黑暗状态下能够带来更充足的光照。同年,三星(Samsung)推出了SCH-B600,首次将摄像头像素提高到了千万量级。

      图  24  采用了卡尔蔡司(Carl Zeiss)认证镜头的诺基亚N90

      Figure 24.  Nokia N90 handphone with Carl Zeiss optics

      另一边,相机厂商在2000年左右定下了专业级单反和卡片机两条腿走路的发展基调。1998年,佳能推出了旗下第一台数码单反相机,也就是传说中的佳能D2000。这台与柯达联手打造的数码相机机身尺寸十分庞大,采用了尺寸高达APS-C(24.9 mm×16.6 mm)的CCD传感器,200万像素也带来了非常不错的画质表现。1999年,尼康推出了第一台真正意义上自己的单反相机D1(见图25)。D1采用了270万像素的CCD传感器,可以说是当时画质最为优秀的数码相机,而且D1的机身十分紧凑,这个尺寸也被目前所有的旗舰级单反沿用下来。2000年,佳能推出了第一款采用CMOS 传感器的数码单反D30。虽然当时CMOS传感器在画质上要比CCD逊色不少,但是有易于制造、成本低等特点。佳能此后依托于CMOS传感器得到了快速发展。尼康和佳能数码单反的推出不仅打破了柯达在胶片单反领域的统治,也让很多摇摆不定的相机厂商,坚定了研发数码单反相机的道路。与此同时,数码相机也在往小型化、傻瓜操作化发展。佳能PowerShot系列、卡西欧Exilim系列等相机都助推了这股潮流。

      图  25  尼康单反相机D1

      Figure 25.  Nikon SLR camera D1

      20世纪90年代后期,数码相机及配套的电脑图像处理系统迅速崛起,传统的胶卷时代受到数码技术的巨大冲击。影像的存储载体变成了CCD或CMOS芯片。数码相机的出现标志着新的数字摄影时代的到来,胶卷相机也逐渐淡出历史舞台。在2007年,柯达的数码相机的专利期限结束,而结束之前,它已为柯达带来数以十亿美元计的收入。但柯达始终没有全力投入数码革命,到他们意识到发力的时候,一切已经太迟。到了2012年1月19日,柯达公司正式申请破产。如今,破产重组的伊士曼柯达公司已把工作重心迁移到企业市场,将技术应用在印刷、包装和服务等领域上。

      经过前几年的铺垫和积累,2007~2010年间成为手机摄影和数码相机的一个重要的转折点。2007年,史蒂夫·乔布斯(Steve Jobs)在Macworld 2007大会上发布了第一代iPhone(见图26),它开启了整个大屏幕触控智能手机时代。那一刻,乔布斯在发布会上难掩心中的激动说到:“今天苹果要重新发明手机”。虽然iPhone后置摄像头只有区区的200万像素,更不支持自动对焦(而当时诺基亚N95的摄像头像素高达500万像素,且支持自动对焦),市面上也已经有其他设备配备了触摸屏,但苹果却率先将这些技术打包,使之无缝整合到了自己独创的系统——iOS。

      图  26  乔布斯在Macworld 2007大会上发布的第一代iPhone

      Figure 26.  Apple iPhone 1 released in the Macworld 2007 by Steve Jobs

      2008年,苹果推出了iPhone 3G,这是第一款支持App Store第三方应用程序的iPhone,其还首次支持VGA画质(640×480分辨率)的录像。得益于苹果这一转变,才有了图片社交平台Instagram、图片编辑软件Snapseed等一众影响了数码摄影的App。同年,诺基亚卖出4.6亿部带摄像头的手机,超过了柯达卖出胶片相机的数量,成为世界上最大的“相机制造商”。可在接下来的三年里,全球手机市场就发生了翻天覆地的变化。2008年,谷歌(Google)发布了其智能手机操作系统安卓(Android);HTC推出了全球第一部安卓手机HTCG1;此后三星、摩托罗拉、LG、爱立信等手机制造商纷纷放弃塞班系统,加入到安卓的队伍中来。触控式智能手机的潮流已经无法阻挡。诺基亚也深知这点,于是在2008年推出了基于塞班V5系统加S60 V5.0界面的手机5800 XM。此后诺基亚推出的旗舰N97上也是基于触控式的操作方式,准确来说应该是侧滑全键盘加触控的操作方式。然而不管是5800 XM还是N97,抑或是其他塞班触控手机都无法拯救诺基亚,因为Symbian系统过于臃肿,该系统本来就不是为触控式操作而开发的,在添加触控功能后,代码变得十分复杂,系统运行效率十分低下,无法满足时代发展的需求。2009年,其他手机厂商纷纷退出塞班平台投奔安卓系统的怀抱,最后只剩下诺基亚独自坚守。诺基亚想努力地改变,但很遗憾N97成了N系列最后一代的机皇,诺基亚也进入了一个迷失的时期。2010年,乔布斯推出苹果划时代的产品iPhone 4(见图27)。iPhone 4引起的巨大反响可以用空前来形容,不仅粉丝们疯狂惊叹,就连同行业界也钦佩不已。虽然iPhone 4后置的iSight摄像头只有500万像素,但它是第一个使用背照式传感器的手机,这也保证了iPhone 4无与伦比的拍照质量。通过软件操作界面和优化算法,让手机拍照的用户体验和成像质量上了一个台阶。iPhone 4充分印证了手机与摄像头之间的故事远非硬件参数的对比,一味追求高像素不但缺乏实际意义,而且也不一定就会得到与像素数相匹配的优质的照片。

      图  27  2010年乔布斯推出苹果划时代的产品iPhone 4

      Figure 27.  Apple iPhone 4 released by Steve Jobs in 2010

      其实,iPhone 4获得巨大成功的真正的推动力并非摄像头本身,而是社交媒体的崛起。晚于iPhone 4四个月的Instagram彻底改变了手机与摄像头之间的关系。通过社交媒体,人们将手机摄像头记录到的世界万象分享到全球各地。此外,海外主流运营商开始大规模建设4 G,图片和视频传输变得更快更便宜。2011年6月,发布仅一年、像素仅有500万的iPhone 4,超越了尼康发布三年、像素有1200万的单反相机D90,成为Flickr上最受欢迎的拍照设备。iPhone 4的超越意味着手机摄影逐渐被专业摄影师群体所接受。与此相呼应的则是两件事情:2012年,快速发展的Instagram不到两年就被Facebook以10亿美金买下;同年,一代相机巨头伊斯曼柯达正式申请破产。摄像头已经成为手机标配,单反相机仍被专业工作者青睐,低端卡片机几乎销声匿迹。掌握了广大消费者拍摄这一动作主导权的柯达从传统相机公司变成了科技公司。柯达的谢幕似乎标志着“你只需按动快门,剩下的交给我们来做”胶卷相机时代的终结。或许当今的相机能帮用户做的已经不仅仅是呈现一张照片了。与此同时,诺基亚推出全球第一款配备高达4100万像素卡尔蔡司摄像头的手机808 PureView,但这并不能挽救其一直走下坡路并持续亏损的态势,808 PureView也成了最后一款诺基亚开发的塞班手机。2013年,诺基亚黯然退幕,将其手机业务以54.4亿欧元的价格出售给微软。

      iPhone 4的成功似乎在向市场证明:手机拍照在够用的基础上,还应该要具有更高的可玩性和趣味性。2011年,“苹果之父”乔布斯逝世,苹果进入库克(Tim Cook)时代。LG发布了全世界第一台双摄像头手机LG Optimus 3D(见图28)。它的亮点在于机身背后的双摄像头通过偏振技术合成3D影像。LG计划通过两枚500万像素的摄像头打造出照片和视频的裸眼3D效果,也就是说不需要借助3D眼镜便能在手机里体验到3D。但是LG并没有考虑到3D照片无法像2D照片那样易于呈现与分享,特别是当时大多数接收者的手机并不具备裸眼3D功能。因此在当时“双摄”很快就成了凋落的时尚。2012年2月26日,华为于巴塞罗那2012年WMC2012展会上发布了第一款搭载自研的四核移动中央处理器K3 V2的手机“Ascend D quad”,该处理器由华为旗下子公司海思自主设计,也是当时业界体积最小的四核处理器。同时,华为也成为国内第一家推出自研手机移动中央处理器的手机厂商,该举对于打破高通,德州仪器TI等对手机CPU的垄断具有重要意义。2012年6月,OPPO手机推出了具有前置200万像素的自拍手机U701,这是全球首款美颜智能手机。要知道当时的主流手机后置摄像头也就在200~300万像素的水平,而U701的出现开启的手机照相的“美颜时代”。

      图  28  全世界第一台双摄手机LG Optimus 3 D

      Figure 28.  The first dual camera mobile phone — LG Optimus 3 D

      2013年,苹果推出的iPhone 5S首次采用了双色温闪光灯,便是通过调节两个不同色温闪光灯的光线强度,从而改善拍摄环境的色温水平,已达到成片的真实色彩还原。2014年2月的MWC大展上,三星推出旗舰Galaxy S5,该机首次搭载相位检测自动对焦(PDAF),这项此前高端数码单反相机上才具备的功能正式进入到智能手机领域。与传统技术相比,相位检测技术可以更快更准确地对焦到目标上,尤其是在比较昏暗的场景下。内置的相位检测传感器可以让镜头快速的做出适当调整,从而与普通的传感器相比拍摄出完全不一样效果的照片。2014年3月,双摄像头手机在沉寂了3年后又重新抛头露面,它是HTC推出的HTC One(M8)。区别于LG Optimus 3D的裸眼3D功能,HTC One引入的第二个相机传感器不仅是为了实现3D照片的深度预测,还增加了散景(bokeh)功能——以前只有单反相机上的大型传感器才能实现深浅景深的调整。同年5月,LG发布G3,其不仅配备双LED闪光灯,更拥有具备激光自动对焦功能的传感器。该传感器会从和摄像头同侧的一个窗口中发射出一道锥形激光光束,不断地反复根据激光反射回来的时间长短来判断物体的距离,继而完成对焦。对焦时间仅需276 ms,甚至比人眨一下眼还要快。同年,苹果推出大屏幕手机iPhone 6 Plus,虽然乔布斯生前曾说过:“大屏手机都是异类”,他的接班人库克上台后就反手打脸乔布斯,推出了拥有5.5 in(1 in=2.54 cm)大屏幕的iPhone 6 Plus。随后各大厂家纷纷跟进,亮出自家大屏幕手机,自此开启了大屏幕手机时代。2016年,LG推出了双摄手机G5,其使用了一种标准+广角的方案:1600万像素的主镜头配合800万像素的广角镜头,通过切换能拍摄出等效焦距35 mm的广角照片,增加了照片的景深与视野。如果说LG力求拍得多,同年发布的双摄手机iPhone 7 Plus则是追求拍的远,利用等效焦距28 mm和56 mm的两颗摄像头,当切换成56 mm的长焦镜头拍摄时,能得到近乎无损的2倍画面。得益于长焦镜头的加入,iPhone 7 Plus新增了一个人像模式,在拍摄人像时能带来更自然的虚化效果,而不是单纯的“高斯模糊”。虽然双摄这个概念是LG的首先推出并使用的,但iPhone 7 Plus的出现真正意义上让双摄手机走入大众视野,之后发布的手机纷纷采用双摄方案,甚至在千元机上都能看到双摄的身影。同年,华为也推出了P9/P9 Plus作为全球首款配置徕卡镜头的双摄像头的手机,凭借徕卡镜头的硬件光学水准,成为全球首款配置徕卡镜头的双摄像头手机。区别于之前的双摄方案,华为P9的双摄中的一颗采用了索尼IMX 286传感器,这个用于捕捉物体的RGB颜色;而另外一颗采用了黑白摄像头用于捕捉物体的黑白影像。由于黑白传感器无需Bayer编码,从而具有更大的进光量并能够捕捉到更清晰的物体细节。加上华为与徕卡联合完成的成像算法调校,轻松实现徕卡特有的“德系”色彩风格,将手机拍照技术推向历史巅峰。2017年,苹果在iPhone X上引入结构光(structured light)深度相机以实现3D人脸识别,摄像头变成了身份验证装置(见图29)。同年,苹果和Google相继推出AR开发者套件,摄像头变成了虚拟和现实融合的入口。

      图  29  苹果在iPhone X上引入的结构光 3D人脸识别

      Figure 29.  Structured light 3D face recognition technique in iPhone X

      就在大家还在不断优化双摄算法,探索拍照更多玩法之时,华为P20 Pro携三摄像头于2018年横空出世,其采用了彩色+黑白+3倍的长焦方案,集成了多种双摄方案的优势,并首次做到了3倍的无损变焦以及5倍的混合变焦。在华为推出三摄后,手机市场也做出了回应。OPPO的R17 Pro同样也搭载了三颗摄像头,推出了彩色+长焦+ToF的新奇组合,将ToF运用在拍照上,能完成人物的3D建模以及2D景物的轮廓,帮助机器更好地完成背景的虚化,有助于虚化算法的完善,减少抠图错误;ToF运用在美颜上,3D建模能帮助机器更准确地识别人脸,提高美颜效果的准确性,同时通过建模,甚至能实现3D美体功能。然而三摄又岂止是手机摄像头数量的终点,同年的三星用A9 s一举打破三摄的传说,让后置摄像头来到了四颗。手机采用的是彩色+长焦+超广角+虚化的方案,基本上又是之前介绍过的双摄方案综合体。一句话概括就是,既能拍多,又能拍远,以及更好的景深效果。2019年,5G手机、三摄乃至四摄手机成为吸引消费者升级的一些卖点,华为发布的P30和P30 Pro(见图30)就引领了拍照的新风潮。P30 Pro搭载了超感光徕卡四摄系统,四个镜头组合分别为4000万像素索尼IMX650超感光主摄像头、2000万像素超广角镜头、800万像素超级变焦镜头以及一枚ToF摄像头,ISO达到惊人的409600,支持2.5 cm超级微距、50倍混合光学数码变焦。而新一代徕卡四摄与图像信号处理器、神经元网络单元精密协作,能够更智能、便捷地拍出精彩照片和视频。在这些镜头的帮助下,华为P30 Pro获得DxOMark 112的最高分,使其成为DxOMark当时测试过的最高级别的手机摄像头。

      图  30  华为P30 Pro及其在50倍的变焦下拍摄的月亮表面的细节清晰可见(虽然有争议说是AI修正合成的结果)

      Figure 30.  Huawei P30 Pro and captured moon with highly clear surface details (though it is controversial that it is the result of AI synthesis)

      时至今日,对于手机拍照而言,真正的进步也已不仅仅单纯体现在拍照技术上,AI、大数据等其他新技术的应用,让拍照效果和体验得到更大提升。拍照早已经不是拍摄的物体在传感器上所形成影像那样简单,拍照算法也经过升级,从简单的磨皮到精细化美颜,在细节方面处理更加细致,结合AI技术,系统自动识别当前照片的人、物和景观,并寻找与之接近的图片和相应参数设置方案。这一系列工作都在用户按下快门之后自动完成了,用户得到的是一张经过多层次优化处理的照片。拍照功能自引入手机中起,从最初的萌芽,不断集成来自卡片相机的功能,到社交网络成为手机照片的主要应用场景,再到现在手机拍照不在一味追求高像素转而追求“趣味”和 “好用”。拍照手机现在已经完全取代了卡片相机,成为记录大家生活的首选工具。回看手机拍照发展史,从2000年首部拍照手机问世到现在,手机摄像已经走过20多年历史。显然,特别是在后半阶段,国产品牌在这个过程中扮演了重要作用。随着当下新技术的快速更迭及应用,我们有足够理由相信,以华为、OPPO、小米等为代表的国产厂商,凭借在底层核心技术上的突破以及AI、大数据等新技术的结合,还将会为我们带来更多惊喜,同时为国产厂商在全球手机市场谋得更多话语权,而这份惊喜与荣耀,值得我们所有人期待。

    • 当您看到现在这篇文章的时候,图像的光电成像记录可以说完全取代了早期光化学成像记录方式。你的胶片式相机早已“退休”,取而代之的是你先进的多镜头、多传感器的手机摄影系统;你家附近的老照相馆或许早已不见了身影;“洗照片”也被高清的数码打印技术所取代。但是第三次成像革命真正的影响才刚刚崭露头角。正如同300年前图像只能透过镜筒所看到到现如今在手机屏幕上触手可及这般彻底与深刻。从胶卷摄影到数字成像的转变并非是要改进完善的旧技术,而是要将其彻底颠覆,取而代之将是全新的图像采集与存储方式。正如计算机使金融业达到了算盘时代无法想象的规模一样,数码成像极大地扩大了成像系统的数量、捕获的图像数量和图像的实用性。与纸张或胶片上所记录的物理实体不同,数字图像是一个数字实体,其可以无限多次复制,而不会丢失保真度。计算机视觉和数字图像处理技术能够用于增强图像数据、并进行图像分析和理解。

      光电成像技术迅速改变了光化成像模式,舍弃了不能重复使用的感光片,取而代之的是电子的CCD和CMOS器件,进入了数字时代。照相机也从木质到金属,从单镜片到多镜片(甚至多镜头),从双反到单反,从定焦到变焦,从手动到自动等等。尽管有如此巨大的变化,但具有讽刺意味的是:从胶片时代以来照相机的形态组成本身没有明显的变化,如图31所示。尽管胶卷相机已成为一种历史性的设备。然而在图像分辨率和动态范围方面,现代数码相机的质量很难说能够优于胶片相机。研究人员一直在努力提高数码相机的质量,实现更方便的功能。另一方面,数码成像和数字信号处理所代表的革命性机遇尚未在传感器系统设计中得到充分利用。在许多情况下(特别对数码相机而言),模拟摄影机和数字摄影机的唯一区别在于,电子焦平面取代了胶片,仅此而已。这正如Mitre公司所描述的那样[10]:“数码相机的出现使许多新的成像能力和应用成为可能。图片可以数不清的方式进行操作;它们可以毫不费力地存储、编辑和检索;它们可以在瞬间与世界各地的任何人共享。尽管这是一场科技革命,但现实情况是:自从一千年前第一部相机被展示出来以来,相机基本上没有什么根本性的变化,其仍然是以人眼为模型的,并几乎完全依靠光学来形成图像。与现代数码相机相关的主要进步不在于获取图像的方式,而在于这些图像的记录方式。半导体光电探测器阵列可以认为是一种电子模拟胶片。有人可能会说,这些新相机根本不是真正的数字成像系统,而是带有电子记录的模拟成像系统。因此,现代相机还没有充分实现数字过渡所带来的潜力。”

      图  31  胶卷相机(Nikon F80)与数码相机(Nikon D50)的对比

      Figure 31.  Comparison of film camera (Nikon F80) with digital camera (Nikon D50)

      近年来,为了开发数字成像技术尚未实现的潜力,计算光学成像技术应运而生。计算成像包括这样一种概念,即“光学系统与图像处理算法的并行设计与联合优化来进一步打破传统成像系统的限制,而不是单个组件的集合”。这似乎是个显而易见的选择:在设计整个成像系统中的光学系统时,难道不应该考虑图像被捕获后如何以及将如何处理吗?目前相机已经拥有捕捉千万像素图像的能力,对于图像中像素的数量线性增加的同时,图像中包含的有用信息的量受光学系统所限通常不会同比增加,导致数据量和信息量二者之间的差异不断扩大。图像数据量的爆炸式增长也导致了对用于处理、传输、存储和检索的底层硬件基础结构的数据容量的不断增加。因此,我们难道不应该设计具有提供更多信息而不是更多数据的目标的成像系统吗?一旦开始用这种方式来看待成像系统的设计,我们就会发现一个全新的设计空间被打开了:例如,数字重聚焦技术能够在拍摄图像后利用软件来控制成像的景深。也许大家都经历过相机失焦造成的图像模糊,而且发现即使在Photoshop利用去模糊算法也无法很好地复原清晰图像。而基于计算成像的数字重聚焦计算则能够在此情况下提供一个可行的解决方案。计算成像所包含的另一个概念是“不应该仅仅依赖光学器件来在传感器前面形成完美的图像”。毕竟只要必要的信息包含在由光学器件收集的光场中,那么现在可以通过数字信号处理来极大地实现图像增强与细化。现在常用后处理来校正光学缺陷与不足,例如红眼、防抖、HDR是一些简单不过例子。此外,计算成像技术还能够拓宽光学成像技术的疆界,获取到强度、颜色以外的不可视化的额外信息。通常当照相机拍摄多维场景的信息时,图像数据被压缩并被映射到二维的数据集上。二维图像数据表示数字图像传感器上每个像素处的光的强度。场景和图像之间的这种尺寸的不匹配固有地导致信息丢失。而计算成像则“通过合理设计光学系统与硬件传感器之间的任务分配,利用一部分传感器记录场景的高维度附加信息”。其可以是物体深度、相位、光谱或所收集光的偏振的形式。由于整个光学系统已经与后端检测算法协同设计,所以这些附加信息可以在后续处理中实现图像恢复。

      虽然上一节中我们已经回顾截至21世纪初数码相机的成像进展,但计算成像的先例,如雷达探测应用其实远远早于1990年。然而,尽管早期的研究涉及到了类似于计算成像一些初步的概念,但直到20世纪90年代,研究人员才开始将针对成像中的不同的具有挑战性的问题的单独设计解决方案,这才反映了成像方法上的根本转变:“计算”逐步成为光学成像过程中的明确且不可分割的一部分。计算光学成像的起源离不开20世纪三项重要的发明:光电信号传输;信号记录、通信和数字化技术以及数字信号处理技术。光电信号传输始于电视机的出现(1904年),第一个电子记录系统(Ampex VR-1000磁带录像机)直到1956年才诞生。第二次世界大战期间(1939~1945年)诞生了数字信号处理技术。此时形成了最初计算成像概念,其主要来源于无线电探测和测距(雷达,注意其英文缩写Radio detecting and ranging,Radar)应用,例如合成孔径雷达(SAR)或许是人类历史上最早采用“计算成像”思想的光电探测系统(尽管不是在可见光波段,如图32所示)。随着深空成像和传真技术发展,电子成像系统在20世纪70年代期间得到了蓬勃发展。1950年~1980年间,基于X射线计算机断层扫描(CT)和磁共振断层扫描成像(MRI)技术的医学成像发展也为光电成像系统注入了新的活力。这一时期光学成像最重要的发明包括半导体焦平面探测器、微处理器和存储器。这些技术的发展在70年代中期孕育出了人类第一个数字-光学成像系统—CCD相机,实现了光学图像信号经光电转换再进行数字化记录的整个过程。这些数字化光电成像系统随着计算机硬件从70年代庞大的数据运算中心,到80年代的台式个人计算机,到90年代的集成式微相机与嵌入式微处理器,再到如今无处不在的便携式移动终端而不断向前发展着。

      图  32  最早的“计算成像”技术——合成孔径雷达

      Figure 32.  Synthetic Aperture Radar (SAR), the earliest computational imaging technique

      真正意义上采用“计算成像”思想联合设计光学(光波波段)成像系统和信号处理算法的研究工作是美国科罗拉多大学的Cathey等[11]于1984年提出的。他们在文章中这样描述道:“传统的光学分辨率增强方法要么是设计合适的成像系统,要么是对已经形成的图像进行某种形式的后处理。而文中的结果表明,如果能够以提升图像恢复算法的性能为目的有针对性地对图像采集系统进行特别地设计,将能够获得更优的图像重建结果”。这正是计算成像思想的精髓所在。1987~1989年期间,Matic与Goodman[1214]连续发表了三篇文章从傅里叶光学原理上阐明了这种光学和信号处理的联合设计方法的独特优势:当对图像进行滤波(反卷积)复原以恢复理想信号时,将光学滤波器与图像处理算法有机结合能够比二者独立使用具有更好的噪声性能。1993年,“二元光学”的创始人Veldkamp[15]形象地将“计算成像”这种光学和信号处理的联合设计思想的比喻成“无长突神经细胞电子装置(Amacronics)”。因为人眼的无长突层在将视觉信息发射到视神经之前对其进行预处理,这个比喻十分生动形象。Veldkamp主张的Amacronics将成像系统的各元素,如模拟电路、微光学、激光微阵列和探测器阵列以仿神经视网膜的设计方式相结合,以模仿视网膜上的无长突神经细胞的近距离探测,从而使成像系统具有运动检测、边缘增强、动态范围压缩等功能。他认为Amacronics的设计方式“可以弥合(bridge)以往技术未能弥合的图像处理间的鸿沟”。很可惜Amacronics这个名字后续并没有流行起来,也许是因为这个单词太过生僻,也或许是在当时这一思想被认为是个全新的领域还为时过早。

      如果说在此之前计算成像的大部分研究还停留在概念阶段,那么1995年Dowski和Cathey[16]的开创性工作——波前编码技术的提出则是计算光学成像技术从理论走向真正实际应用的一个重要转折点。传统成像系统中,只有在系统景深范围内的物体才能在像平面上清晰成像。超出这个范围,系统成像变模糊,成像质量剧烈下降。波前编码技术正是为了解决这一实际问题而诞生的。其方法是通过在光学系统的孔径光栏或入瞳处增加一块位相调制板,使光学系统的点扩散函数(PSF)或调制传递函数(MTF)对离焦不敏感,同时能够对系统的初级像差如球差、彗差、像散等起到一定的抑制作用。同传统的成像光学系统相比,波前编码成像系统最主要的特点是波前编码系统结合了光学成像技术和数字图像处理技术。首先,波前编码成像系统通过在光瞳处加入三次相位调制板对图像进行调制,使目标在焦平面上成一个模糊的中间像,再通过计算机对模糊图像进行反卷积处理,以得到最后的清晰图像,并实现焦深扩展的目的,整个过程如图33所示(对照计算光学成像的框图图5,你就能明显地看出它就是一个典型的计算光学成像系统)。

      图  33  最早的采用“计算成像”思想设计的光学成像系统——波前编码成像

      Figure 33.  Wave-front coding, the earliest optical imaging system involving the idea of computational imaging

      似乎十分巧合的是,Dowski和Cathey的技术灵感来自于看似不相关,却和计算成像颇有渊源的研究领域——雷达技术。20世纪90年代中期,雷达工程师们使用模糊函数(Ambiguity function,其实相空间光学中的一个代表物理量)表示在测量某物体的范围(距离)和测量其多普勒频移(物体移动的速度)之间所取的折衷;Dowski和Cathey发现只要经过简单的坐标变换,模糊函数即与光学传递函数(OTF)在数学上是等价的。当然这还需要进行一些变量替换:用“景深”替换“范围”, “散焦”替换“多普勒频移”。Dowski和Cathey意识到其中蕴含的意义是相同的:景深和聚焦水平之间也是一种折衷关系。于是Dowski和Cathey从优化雷达性能的数学公式中直接推导出了最早的三次相位板的数学表达式[17],并通过实验证明波前编码技术可以将成像系统的景深扩展到传统光学成像系统的6倍以上[18]。如果使用常规增大F数(减小孔径)的方法达到同样景深,必须将曝光时间延长36倍。这对于某些专业领域应用,譬如要对显微镜下面一个活动的细胞进行成像,就能以1/36的时间获得同样质量的图像,这可以说是实验技术上的一次巨大进步。

      Dowski和Cathey为提高成像景深所做的开创性工作在当时吸引了一部分光学成像领域研究者的目光。20世纪90年代中期,一个小型的研究群体开始不约而同地发表了一系列采用“计算成像”思想的研究工作,尽管他们所解决的问题各不相同,但解决问题的方式和思路却不尽相同——前端的光学系统设计与编码都明确考虑到了后端信号处理的算法。1996年,斯坦福大学的Levoy教授等人开始进行光场研究,他认为早期Adelson等[19]所总结和发展的全光函数中存在一定的冗余,由于光线在传播的过程中能量保持不变,因此光场可以在自由空间中简化为4维。基于此,Levoy与Hanrahan[20]进而提出了著名的光场的双平面模型,为下一步光场理论的广泛应用奠定了重要的基础。为了采集四维光场,他们还设计了基于移动相机的光场采集系统。通过将相机安装在光场采集机械臂支架上,该支架能够实现两维平移与两维转动,实现目标物体光场信息的完整采集。当然这一年对于计算成像领域而言是极不平凡的一年,因为当年诞生了第一台3 LCD(Liquid Crystal Display,LCD)投影仪和DLP(Digital Light Processing)投影仪(见图34)。液晶显示屏(1968年)与数字微镜阵列(Digital Micromirror Device,DMD,1987年)诞生以来经过了漫长的发展与改良终于在此刻“修成正果”。LCD与DLP数字投影仪的出现为照明/成像系统调控提供了强大的空间光调制工具,计算光学成像技术从此以后具有了更多的调控自由度。1996年,Nayar等[21]将主动投影引入到离焦深度估计方法中,通过向物体投射精心设计的棋盘格照明图案,然后对拍摄到的2个不同离焦状态下图案利用频域滤波算子进行处理即可得到精确的物体深度估计。该方法证明了在某些应用下,照明和成像系统可以进行联合调控从而可以获得更好的成像性能。无独有偶,一种非常类似的技术——结构光三维传感技术在此期间也跟随着数字投影仪的诞生而逐步兴起。各式各样的照明编码图像被众研究者提出并加以优化,显然通过照明调制的方式对待测场景“打上标记”,可以有效解决传统双目立体视觉中后端图像处理算法中的场景特征匹配的难题[22]

      图  34  3LCD投影仪与DLP投影仪的基本结构

      Figure 34.  Basic configurations of the 3LCD projector and the DLP projector

      1997年,Debevec与Malik[23]首次提出了高动态范围(High Dynamic Range, HDR)成像技术的概念,他们通过调整相机的曝光时间对同一场景反复拍摄(见图35),并从这组照片中恢复高动态范围图像,这种技术可以通过照相机捕捉实现从黑暗阴影到高亮光源的更大动态范围的图像。该技术产生的本质原因是由于大多数数码相机包括显示仪器等仅能够显示或捕捉约8个灰度级的亮度变化,而人眼条件下实际场景的亮度变化范围能够达到12~14个数量级。因此当亮度对比范围超过单张图像数字信息所能表示的范围,数据会溢出从而导致环境实际信息的缺失。如果增加或减少曝光量满足局部的环境细节反应,会影响其他局部从而产生曝光过渡或者完全黑暗的问题。因此,通过低动态范围图像合成高动态范围图像后,采用色调映射(Tone Mapping)技术在有限动态范围媒介例如电脑显示器、打印纸张上等近似显示最终的图像,即形成了HDR图像。尽管显示在屏幕等媒介上的HDR图像无法完全反应亮度对比的关系,但是文件自身已经相对准确地记录了场景的亮度和亮度关系信息,这为通过数码相机进行照明的分析和评估提供条件。2000年,Nayar与Mitsunaga[24]提出了“空间变换掩膜”的概念,该方法通过在传感器前放置一个4像素透射率不同的掩膜(类似于Bayer编码的原理)以单帧拍摄四组不同曝光的图像,进而通过它们合成一张HDR图像。考虑到空间变换掩膜加工较难,随后它们还将掩膜替换为可以灵活编程的DMD,将图像首先成像到DMD上加以调制并利用DMD的二元光开关效应对于环境中较亮的区域给予较低的通光时间,再经过二次成像到传感器上以实现逐像素的自适应曝光调节[25]

      图  35  16张不同曝光时间(30~1/1000 s)下拍摄的教堂图像[23]

      Figure 35.  Sixteen photographs of a church taken at 1-stop increments from 30 to 1/1000 second[23]

      除了计算机视觉领域这些具有代表性的工作外,“计算成像”这一思想在光学界的研究工作也在同期悄然升起。1999年,杜克大学Brady课题组推广了范西特-泽尼克定理(van Cittert–Zernike theorem)并提出了一种三维相干成像层析的方法[26]。他们利用旋转剪切干涉仪实现相干测量,成功重建出三维空间中的非相干主光源的位置。或许是因为太过于“物理”的缘故,Brady的方法和传统意义上的CT成像技术明显不同且更加复杂。因此这篇文章在当时并未得到足够的重视,但不可否认它或许是首个相干测量应用在光学成像领域的研究工作。2001年,哥伦比亚大学的Schechner等[27]分析了大气散射的偏振效应,并基于此推导了图像形成的数学模型。基于此模型,他们提出采集2幅或者多幅不同偏振态的图像,并进行分析处理后即可从图像中去除雾霾,使场景的对比度和色彩得到极大改善(见图36)。这项工作展示了光的“偏振”属性的调控对于改善成像质量的强大潜力。

      图  36  采用两张正交偏振图像进行图像去雾的效果[27]

      Figure 36.  Image dehazing using two images with orthogonal polarization state[27]

      2001年,美国光学学会召开了第一次关于计算成像的专题会议[28],尽管当时“计算成像”还未得名,会议的议题被选作“集成图像采集与处理”(Integrated Image Gathering and Processing)。1998年和2000年,杜克大学的Brady教授主办了两场有关计算成像的研讨会也推动了这一新兴领域的发展。在这些最初的会议中,研究人员们集中讨论了这种成像方法的内涵,并考虑为这种成像方式取一个“足够响亮”的名字以提升其在业内的影响力。2003年,Dowski和Cathey[4]首次在论文中将他们的波前编码成像技术定义为一种“计算成像”技术。这或许是“计算成像”一词首次出现在正式的学术文献中。Dowski和Cathey在这篇文章的开篇这样描述道[4]:“一种新型数字成像方法联合优化成像系统的光学、检测和信号处理。在联合优化中,信号处理算法由特殊设计的光学系统决定,光学系统的设计形式同样受信号处理算法的要求所制约。这与传统的成像系统截然不同——传统的成像系统的各部件是相互独立设计的,光学性能的提升通常以增加光学和机械的复杂度为代价的。”(A recent methodology for digital imaging systems jointly optimizes the optics, detection and signal processing of an imaging system. In joint optimization, the signal processing is determined by specialized optics, and the exact form of the specialized optics is affected by requirements placed on the signal processing. This is in contrast to traditional imaging systems where the optics are designed independently of the other system components and an increase in optical performance comes at the cost of an increase in optical and mechanical complexity)。同年,Mait等[5]在文献中也给出了计算成像技术的类似地定义:“集成计算成像系统是一种将光学、光电子学和信号处理联合设计的光学系统。系统性能通过并行设计和联合优化来控制,而不是光学、光电焦平面和后处理算法的顺序设计和独立优化”。(An integrated(computational)imaging system is one whose design integrally incorporates optics, optoelectronics, and signal processing. System performance is controlled through concurrent design and joint optimization, as opposed to sequential design and independent optimization of the optics, focal plane optoelectronics, and post-detection algorithm.)。从此,“计算成像”由此得名,从一种成像设计思路发展为一项新的成像方法论,并正逐渐发展为一门崭新的学科与研究领域。

      就在“计算成像”这个新兴词汇在光学界的得名且萌芽的同时,计算机视觉领域的研究人员似乎也不约而同地开展着同样的研讨活动。或许是因为他们所关心的焦点更为具体——摄影学,“计算摄影”(Computational photography)成为了该领域在他们心中的代名词。2004年春季,斯坦福大学Levoy与Wilburn教授首次开设了名为“计算摄影”的课程[29],课程的项目为构建一个多相机的阵列,此时Levoy教授课题组正在开展光场成像的研究工作。2005年5月,Levoy (Stanford)、Durand (MIT)、Szeliski (Microsoft Research)三位教授共同于Siggraph会议期间在麻省理工学院组织了一场名为“Computational Photography and Video”的研讨会[30]。会议的议题摘要这样描述道[30]:“在2D图像分析/合成方面的研究突破加之数字摄影作为一种实用和艺术媒介的发展,正在创造视觉、图形和摄影之间的交汇融合。数字视频也出现了类似的趋势。与此同时,新的传感方式和更快的CPU在许多科学学科中产生了新的计算成像技术(Computational imaging techniques)。就像20世纪70年代和80年代CAD/CAM和可视化是计算机图形学研究的驱动力市场一般、娱乐和游戏是当今的驱动力市场,10年后的驱动力市场将是消费数码摄影和视频技术。鉴于这些趋势,现在正是举行计算摄影和视频专题讨论会的时候了。这个领域已经足够成熟以至于我们都了解研讨会的内容,但他也足够年轻以至于我们仍然可以争论它,足够成熟以至于它的从业者可以填满一个礼堂,足够年轻以至于他们仍然适合任何一个新的从业者。”(Research breakthroughs in 2 D image analysis/synthesis, coupled with the growth of digital photography as a practical and artistic medium, are creating a convergence between vision, graphics, and photography. A similar trend is occurring with digital video. At the same time, new sensing modalities and faster CPUs have given rise to new computational imaging techniques in many scientific disciplines. Finally, just as CAD/CAM and visualization were the driving markets for computer graphics research in the 1970 s and 1980 s, and entertainment and gaming are the driving markets today, a driving market 10 years from now will be consumer digital photography and video. In light of these trends, the time is right to hold a symposium on computational photography and video. The area is old enough that we understand what the symposium is about, young enough that we can still argue about it, old enough that its practioners can fill an auditorium, and young enough that they still fit in one.)。该会议召集了包括George Barbastathis (MIT)、Michael Cohen (Microsoft Research)、Paul Debevec (University of Southern California)、Marc Levoy (Stanford)、Shree Nayar (Columbia University)、Frédo Durand (MIT)、Richard Szeliski (Microsoft Research)、Aaron Hertzmann (University of Toronto)、Ramesh Raskar (MIT)在内的16名计算成像领域的著名学者进行学术汇报交流,涉及的内容包括计算成像的概念与内涵、3D成像、光场成像、吉像素成像(Giga-pixel imaging)等一系列前沿的成像技术(见图37),并获得热烈的反响。相同议题的研讨会在于Siggraph会议上持续举办了4届(2005~2008)[31]。基于这个讨论会,研究者们为“计算摄影”赋予了一个定义[31]:“计算摄影结合了大量的计算、数字传感器、现代光学、驱动器、探测器以及智能照明来摆脱传统胶片相机的限制,并且能够创造新颖的图像应用”(Computational photography combines plentiful computing, digital sensors, modern optics, actuators, and smart lights to escape the limitations of traditional film cameras and enables novel imaging applications)。

      图  37  2005年于麻省理工学院举办的“Computational Photography and Video”研讨会的会议议程[29]

      Figure 37.  Program of Symposium on Computational Photography and Video in MIT, 2005 [29]

      正是由于这些著名学者的卓越贡献与强大的号召力,在此期间计算摄影技术得以迅猛发展,诞生了一系列当今耳熟能详的计算成像新概念与新体制:2004年,Levoy课题组构建了多相机阵列系统[32],应用于合成孔径成像[33]、高速摄影[32]、HDR成像[34]。同年Nayar课题组提出了多传感器融合技术用于去运动模糊[35],Raskar教授课题组提出了编码曝光技术用于图像中不同深度物体的边缘提取以及风格化渲染[36]。2005年,Levoy课题组的博士生Ng(吴义仁)[37]研制出第一台手持式光场相机(见图38),采用了“微透镜阵列”的结构将进入相机的光线分为不同的方向,从而也可以获得具有一定范围视角差异的当前场景的多幅图像。博士毕业后,吴义仁开创了Lytro公司[38],先后推出了Lytro I、Lytro II两款商业级手持式微透镜型光场相机,光场成像从此进入了大众的视野。同年,Sen等[39]提出了“对偶摄影”(Dual photography),利用投影仪与摄像机的互换性实现了一系列新奇的成像功能,如场景渲染与绕墙成像。或许很多光学成像领域的研究人员现在还不知道,当下十分热门的单像素成像技术[40-41](起源于2006年)与计算鬼成像技术[42](起源于2012年)其实就是对偶摄影的一种特殊形式。2006年,Levoy课题组研制出第一台光场显微镜[43]。相比于摄像机而言,显微镜的光学数值孔径可以做的更大,景深也相对浅的多,景深和分辨率这对难以调和的矛盾在传统显微镜中更加突出。光场成像完美地解决了这一问题,在显微成像领域展现出强大的应用潜力。同年,Raskar课题组提出了编码曝光摄影技术[44],通过快速开闭的快门在时域上调制成像系统的点扩散函数,并通过反卷积算法从运动模糊的图像中重建物体的清晰图像。Rice大学根据压缩感知理论设计出单像素相机[40-41](见图39),使用DMD产生二值伪随机阵列对场景进行调制后聚焦到一个单像素探测器接收,并通过压缩感知重建算法进行原始图像的重构,“压缩感知”从此以后成为了学术界一个耳熟能详的词汇。

      图  38  吴义仁研制的首个光场相机及其商业化产品

      Figure 38.  The first light field camera developed by Ng and its commercialized verison——Lytro

      图  39  Rice大学于2006年所设计的单像素相机[40-41]

      Figure 39.  The 1st single-pixel camera developed by Rice University in 2006[40-41]

      2007年,Levin等[45]提出了编码孔径摄影技术,通过将传统摄像机孔径光阑处插入一编码掩膜调制成像系统的点扩散函数使之对不同景深的物体具有最优的区分度,从而能够通过反卷积重构出全聚焦图像,并同时实现场景的深度估计。Raskar课题组提出了斑点摄影(Dappled Photography)技术[46],利用小孔阵列取代微透镜阵列的方式实现了光场成像。这一系列编码摄影技术(编码照明、编码曝光、编码孔径),漂亮地诠释了计算成像技术“Less is more”的精髓所在[47]。计算成像技术在计算机视觉领域形成了“百花齐放,百家争鸣”的态势。在当时,虽然光学界在计算成像领域也产生了许多开创性研究成果,如Brady课题组年所提出的编码孔径与压缩光谱成像技术[48-49],但不得不承认在这一时间段计算机视觉领域的“计算摄影”走在了光学成像领域“计算成像”技术的前面。

      尽管如此,以示“公平起见”这里必须作一些说明:虽然“计算成像”这一概念起源于20世纪90年代中期,但是在光学界的某些研究领域(特别是信息光学领域),研究者其实早已采用类似的思想去解决诸多传统成像技术无法解决的难题。要注意它们不像SAR、CT、MRI等技术起源于非可见光波段,而是实实在在的可见光成像与传感系统。注意由于篇幅所限,这里只略举其中4项代表性技术,并没有尽数罗列。

      第一项具有长久历史的计算成像技术是于1953年的自适应光学(Adaptive Optics, AO)。他是由海尔天文台的美国天文学家Babcock[50]提出的,用实时测量波前误差并加以实时补偿的方法来解决大气湍流等动态干扰的设想,该方法通过波前测量——成像系统(波前校正器)反馈——波前再测量的形式形成光学系统与信息处理算法的闭环,以用不断变化的波前校正量来补偿校正不断变化的动态波前误差[5053]

      第二项经典的计算成像技术称为相位恢复(Phase retrieval),由于光探测器仅能测得光场的强度信息而无法对相位成分进行探测,因此相位恢复就是解决如何从衍射场的强度分布反演其强度分布这一问题。其最具代表性的GS算法最初由Gerchberg和Saxton[54-55]于1972年所提出。其他较为经典且广泛使用的相位恢复算法还包括1982年Fienup[56]所提出的混合输入输出算法(Hybrid Input-Output, HIO)与1983年Teague所提出的非迭代算法光强传输方程(Transport of Intensity Equation,TIE)。它们都是通过改变探测器与待测光场之间的轴向位置来获得(经相位信息调制后的)强度信息,再通过标量衍射或波动方程理论建立强度信号的正向模型并以此反演光波场的相位信息(见图40),因此相位恢复技术显然也属于计算成像的范畴。

      图  40  GS相位恢复算法基本原理[54-55]

      Figure 40.  Principle of the GS phase retrieval method[54-55]

      第三项经典的计算成像技术称为条纹投影轮廓术,即计算机视觉领域结构光三维测量技术在光学检测领域的对应版本。但究其历史而言,条纹投影轮廓术的前身最早可以追溯到19世纪70年代的莫尔轮廓术[5759]。1982年,Takeda等[60]提出了基于相位测量技术的傅里叶变换轮廓术。通过对场景投射高频正弦条纹对空间物体进行光学编码,再通过傅里叶变换在频域提取条纹的相位信息并重构出物体的三维轮廓,整个过程如图41[61]所示。要知道在当时支持电磁记录的CCD相机才刚刚诞生,而数字投影技术还尚在胎中,投射的条纹都是通过干涉或者物理光栅生成的[60,62]。1983年,Srinivasan等[63-64]提出相移轮廓术,利用多幅相移光栅实现相位信息的高精度获取。而最初相移光栅则是通过偏振截切干涉仪或者PZT压电陶瓷移动参考臂实现的。

      图  41  傅里叶变换轮廓术的基本原理[64]

      Figure 41.  Principle of the Fourier transform profilometry method[64]

      第四项经典的计算成像技术称为数字全息,全息术是英国科学家Gabor[65]在1947年为提高电子显微镜的分辨率而首次提出的。由于需要高度相干性和高强度的光源,直到1960年激光器出现以及1962年Leith与Upatnieks[66]提出离轴全息图以后,全息术的研究才进入了一个新的阶段。全息术的出现是光学学科中一个划时代的进展,全息图再现物体三维像的能力是其他技术所无法比拟的。但是,全息图的记录通常涉及曝光、显影、定影等一系列比较繁琐的处理过程,难于做到实时记录和再现。此外,图像重建过程仍然需要参考光束照射,只能从肉眼观测物体的虚像,无法进行记录与定量分析(见图42)。

      图  42  传统全息术基本原理

      Figure 42.  Principle of the conventional holographic imaging technique

      1967年,Goodman与Lawrence[67]最先提出数字全息的设想,它是一种典型的计算成像系统。其记录光路和普通全息基本相同,不同的是用CCD摄像机等光敏电子元件代替普通照相干版来拍摄全息图,并将所记录的数字全息图存入计算机,然后用数字计算的方法对该全息图进行数字再现。在那个没有数字化成像器件的年代,他们用视像管记录图像,并用扫描仪对傅里叶变换全息图进行8位数字化处理,得到256×256的离散数值矩阵。然后直接对全息图进行数值重构(傅里叶变换),在当时用PDP-6计算机对256×256的矩阵计算FFT足足花了5 min的计算时间。由于数字全息对记录设备的精度和计算机的性能要求较高,所以此方法在提出后很长一段时间里一直没有什么进展。直到19世纪,随着光电记录材料如CCD、CMOS的性能和分辨率的不断提高,以及快速、大容量PC机的飞速发展,数字全息又引起了科研人员强烈的关注。与此同时,全息干涉计量[68]与电子散斑干涉[69-70]技术也得到了飞速的发展。1994年,Schnars与Jüptner[71]首次采用CCD记录了一幅1024×1024的离轴菲涅耳全息图,并利用菲涅耳变换法重建出了物体(一个骰子)的清晰影像。而后于2000年,Cuche等[72]将傅里叶变换与频域滤波技术引入数字全息重建中用于抑制零级衍射,该项技术后续成为了离轴数字全息重构的标准算法(见图43)。值得注意的是该方法的思想与Takeda等[60]的傅里叶变换轮廓术如出一辙,实际上早在1985年,Takeda与Ru[73]就已经将该方法应用在电子全息干涉测量中了。

      图  43  离轴数字全息重构基本原理

      Figure 43.  Principle of the off-axis digital holographic reconstruction

      同传统全息相比,数字全息有其突出的优点:首先,它采用光敏电子元件作记录介质,大大缩短了曝光时间,没有了繁琐的湿处理过程,CCD/CMOS全场高速记录的特点很适合记录运动物体的各个瞬时状态;其次,它采用数字再现,不需要光学元件聚焦,方便、灵活,并且对于记录过程中引入的各种诸如像差、噪声等不利因素可以通过后期算法处理来消除其影响,使得再现像的质量大大提高。而且更为重要的是数字全息可定量地得到被记录物体再现像的振幅和位相信息,而不只是光强信息,这也是它较普通全息最为优越的一点,由此可得到被记录物体的三维形貌分布等信息,可方便用来定量测量与分析。

      此外不得不提及的是:早在20世纪70年代中后期,光学成像与天文学界就提出了编码孔径成像(Coded Aperture Imaging,CAI)的思想[7477]。区别于计算机视觉领域的编码孔径摄影,光学界的编码孔径成像起初的应用是在高能天文物理领域,是一种无透镜(Lens-free)成像技术。目前人们可以让能量低于10 keV的光子聚焦成像。对于能量更高的光子,尤其是伽玛射线来说,虽然理论上可以利用劳厄衍射透镜来汇聚很窄的波长范围和很小的视场内的光线,但这种方法很少被天文领域实际应用。编码掩模作为解决高能成像的方法自20世纪70年代起倒是在各高能望远镜上遍地开花,如目前仍在役的INTEGRAL、雨燕(Swift Gamma-Ray Burst Mission)等高能卫星即采用此种成像设备。

      编码孔径成像的核心是编码掩模(Coded mask),掩模板上对某波段高能光子透明和不透明的两类掩模元(Mask element)按预先设计好的方式交错排列成格。仪器的成像原理很简单:从某一方向的源投射到掩模上的光子在接收端探测器上产生的投影形状与码版相同,但会随着入射方向的变化而发生相应位移,如图44所示。用数学语言描述则是接收端影像是天体形象与掩模图样的卷积。这样通过投影的位置和强度就可以相应还原出源的位置和各部分的辐射强度。显然,合适的编码掩模需要保证来自天空中每一方向的入射光子都可以在接收端投影出独一无二的影像,这样才能保证还原出影像的唯一性。成像质量因而就不仅仅取决于掩模的透射率和掩模元形状的加工精度,更与掩模元的设计与图像解码技术有关,因此CAI是一种典型的计算成像技术。早期编码孔径成像采用菲涅耳波带片[75](Fresnel Zone Plate,FZP)、随机编码掩模[74],后来则通过循环差分数列构造自相关函数,如均匀冗余矩阵(Uniformly Redundant Arrays,URA)[7678],改进的均匀冗余阵(Modified Uniformly Redundant Arrays,MURA)[79]等。

      图  44  编码孔径成像基本原理与掩模板实物图

      Figure 44.  Principle of coded aperture imaging and a photograph of a coded mask

      区别于计算机视觉领域在计算摄影方面面向大众消费所做出的“奇思妙想”式的创新,计算成像在光学界的产物更加侧重于物理机理与光学机制的创新,以服务基础科研与工业应用为目的。2005年,美国光学学会首次开设了“计算光学传感与成像”(Computational Optical Sensing and Imaging, COSI)的专题国际会议[80],每年举办一次并一直延续至今。该会议极大地推动了计算成像技术在光学成像领域的普及与推广。目前,COSI的会议议题涵盖了计算成像领域几乎所有的研究方向:压缩感知、断层成像、光场成像、数字全息(显微)、合成孔径雷达与激光雷达、红外与光谱成像、相位恢复、计算光谱成像与显微、反问题(盲反卷积)、叠层成像、无透镜成像(相干衍射成像)、深度学习计算成像、结构光照明成像、鬼成像、量子成像、相干成像、穿透散射介质成像、三维成像与计算显示、以及计算成像与计算机视觉的交叉领域等(见图45)。2009年,美国电子电器工程师学会IEEE举办了首届“IEEE计算摄影国际会议”(IEEE International Conference on Computational Photography,ICCP)[81]。该会议每年举办一次,至今已经连续召开了12届。2016年,国际光学工程学会也在其Defense + Commercial Sensing (DCS)国际会议中设置了Computational Imaging分会场,目前已于美国巴尔的摩连续举办了6届[82]。同年,IEEE创办了旗下新的Trans期刊IEEE Transactions on Computational Imaging (IEEE TCI)[83],期刊论文主题涵盖计算成像的所有领域,从基本理论方法到创新的计算成像系统设计,包括:先进数学算法、基于模型的数据反演、稀疏和不完全数据的图像和信号恢复方法、图像数据的非传统传感技术、动态信息采集和从成像传感器中提取信息的方法、成像系统中高效计算的软件和硬件,以及新颖的成像系统设计。2019年,TCI收获了其第一个影响因子:4.546,这标志着计算成像已经成为一个热门的研究领域。其实自2010年后,计算成像技术在光学成像领域与计算机视觉领域之间的界限越来越模糊:光学成像界的研究人员的思维也打开缰绳变得越来越开阔,越来越活跃;计算机视觉界的学者也越来越注重成像背后的物理本质。两个领域之间的新思想相互交融借鉴,目前已经并驾齐驱发展。

      如果读者您曾阅读过一些中文综述文章,可能会对如下的字眼感到无比熟悉:“国内该领域的研究起步较晚,到目前为止研究水平与欧美发达国家相比还存在一定差距……”。这里只能说这句话只说对了前一半。近5年来,以“计算光学成像”为议题的国际会议与专题研讨会在国内也逐步兴起。国内包括我们南京理工大学在内的众多高校与科研院所,如清华大学、南京大学、北京航空航天大学、北京理工大学、西北工业大学、西安电子科技大学、暨南大学、山东大学、天津大学、上海大学、中国科学院上海光学精密机械研究所、中国科学院西安光学精密机械研究所、中国科学院光电研究院等均已成立计算光学成像实验室或研究课题组对该方向开展了针对性的研究工作,已进入“百花齐放、百家争鸣”的繁荣阶段,在压缩感知、单像素成像、光场成像、数字全息、光谱成像、相位成像、穿透散射介质成像等领域取得了一系列媲美国际同行的重要研究成果。

      图  45  美国光学学会(OSA,现Optica)计算光学传感与成像国际会议议题

      Figure 45.  Topic categories of the Optica (formerly OSA) topic meeting COSI

      最后值得提及的是,虽然计算成像的从业人员都深刻感受到了该技术对于成像领域的革命性意义。但在消费电子领域,该技术还尚在启蒙阶段,似乎并未得到大众普遍的关注与认可。就拿光场相机这个最典型的例子来说:Ng所发明的Lytro对光场相机的普及做出了毋庸置疑的贡献,其“先拍照后聚焦”的理念也让众人眼前一亮。然而Lytro相机自面世以来一直不温不火,并没有在摄影领域带来人们期待的类似于“胶卷相机”到“数码相机”那样巨大的变革。这主要是由于光场相机固有的不足之处——除功能实用性较低、使用复杂度较高等因素外,拍摄图像的分辨率较同价位的传统相机更低是其面临的最主要的问题。为了获取来自不同视角的光线,光在传感器总的像素数不变的前提下则势必要牺牲图像的分辨率来提升角度分辨率(获取不同角度光线的能力)。举例说明,Lytro I原本4096×4096分辨率的传感器需要分割为8×8个512×512分辨率的子图像,即使光场相机拥有一系列新意有趣的功能,但其最基本的摄影性能受到了很大的影响。而相比之下,基本的拍照质量往往是消费者更加看重的。因此Lytro将自己定位在消费电子行业的中高端相机并没有最大化地扬长避短,又因为算法层面上也还没有做的很完美,才导致了现在的局面。如何有效地利用光场相机所捕获的当前场景的子图像,提高分辨率、开拓新功能,仍然是当今学术界光场成像领域研究的热点问题。

      2018年3月27日,Lytro官方博客发布消息[84]:“能够为电影和VR技术做出贡献,让我们倍感荣幸,但从今日起,Lytro将不再进行新产品的开发或提供专业的服务,因为我们准备结束公司的运营了”。不过光场成像的探索仍未结束,光场相机同专业的单反相机相比还有一定的劣势,但是随着智能手机的发展与普及,微型摄像头的工艺与质量也在不断改进,各大手机生产厂商都在尝试将光场的获取能力作为智能手机新产品的一项功能,比如各大品牌使用的手机双摄三摄甚至多摄中所集成的焦点调整,背景虚化功能,其基本原理本质上就是一个简化的光场相机。只是相比于“光场成像”,“双摄、三摄、多摄”这些简单明了的名词似乎更加深得人心。相当长的一段时间里,手机拍照能力的调优都在遵循硬件升级的原则:感光元件的尺寸逐年增大、像素参数不断增高、摄像头的数量也在持续增加,影像进化似乎仍在继续传统相机的路线。

      说到计算成像在手机摄影上的应用,就不得不提起一段小插曲。2014 年,计算成像创始人之一Marc Levoy教授从斯坦福退休,全职加入Google并担任了其内部最具影响力的部门之一——Google Research的领导人,主要负责计算成像在移动端的应用研究。在和 Google X 实验室合作时,Levoy就意识到了HDR 算法能应用在智能手机上,并带领团队在Nexus系列上首次实现了HDR算法。只不过由于当时机能受限,效果一直达不到理想的水平,即使是Nexus系列的闭关之作Nexus 6 P在配备了升级版 HDR+算法后的DxOMark分数也只有73分,和当时的主流旗舰还有一段距离。直到2016年深度学习技术的兴起,Google CEO Sundar Pichai提出由“移动为先”转为“AI 为先”的策略转向,这也让专精于计算成像领域的Levoy获得更多的资源与空间,他随后成为了Google 首款自研智能手机——Pixel系列的相机团队负责人(见图46左图)。2016年10月,Google正式发布了Pixel,它的相机模组和 Nexus 6 P相比并没有太大变化,都是索尼的IMX378(1230万像素,1.55 μm像素尺寸)。但得益于手机处理器性能的提升以及基于深度学习的计算成像技术的强大潜能,Pixel超越了同期采用类似水平传感器的旗舰手机iPhone 7 Plus和三星S7登顶了DxOMark榜单,这让整个业界为之震惊。2017年,Levoy又尝试将自己在2011年开发的App SynthCam的技术拓展应用在Pixel 2上,这其实同样是一种图像堆栈合成加深度学习技术,但应用从单纯的HDR与夜景模式逐渐扩展到图像超分辨和语义分割编辑。为了承载这些强大的功能,Pixel 2额外加入了定制图像处理单元以加速图像采集和运算。不出意外,Pixel 2再次超越同期旗舰三星 Galaxy Note 8和 iPhone 8 Plus,登顶 DxOMark榜首(见图46右图)。2018年10月,Google推出了Pixel 3,最大的亮点正是Levoy带领团队开发的Night Sight夜景模式,其所采用的方法依然是多帧合成,但和传统HDR方式有所区别的是,Night Sight仅通过捕捉大量低曝光下低信噪比的图片进行合成计算,这些照片并不存在长曝光照片的模糊,从而可以基于类似多帧像素超分辨的原理最终合成一张清晰的照片。2019年,Levoy在Google工作了近6年后选择了离职,而他的新工作是 Adobe公司的副总裁。Levoy的离职部分可能的因素在于Pixel 4在相机硬件、处理器、甚至电池容量上过于落后时代(它甚至没有配备超广角摄像头),这无法让Levoy继续支撑那些先进计算成像技术的研发。而其他厂商不仅在不断更新迭代摄像头与处理器平台的硬件配置,也慢慢开始着手布局“计算成像”且成效显著。Levoy的离开、Google硬件研发的滞后以及友商的迅速跟进导致谷歌似乎逐渐已经失去了它在前几代Pixel手机中所确立的移动成像领域的领导地位(由于Pixel手机在中国的销售策略因素,上述这段有关计算成像在手机摄影上的小插曲可能并不为国内读者所广泛知晓)。

      图  46  Levoy教授所领导研发的Google Pixel相机多次登顶DXOMark榜单

      Figure 46.  Professor Levoy's Google Pixel camera tops DXOMark several times

      谷歌Pixel系列智能手机虽然黯然消退,但由其所倡导的“计算成像”的思想几乎启发了整个智能手机行业。2019年9月11日,iPhone 11系列的发布会上,苹果高级副总裁Philip W. Schiller在介绍 iPhone 的相机时表示首次提到了“计算摄影”的概念。第二年的iPhone 12 系列发布会上,他又花了很长篇幅介绍以Deep Fusion算法为核心的计算摄影为手机拍照所带来的进步。同年,华为P40也将一直隐藏在华为手机背后的计算成像核心技术XD Fusion图像引擎从幕后走到了前台,并指明手机摄影已完成了从传统单反拍照技术逻辑向以计算为主的新的手机影像逻辑的转变。2021 年,华为在华为P50系列的基础上,又进一步将其升级为XD Optics“计算光学”图像引擎。虽然各厂家名词各不相同,但这些技术本质上和Google Pixel HDR+的多帧图像堆叠与深度学习提取并重组图像信息的方式没有质的区别。苹果、华为的身体力行地倡导和示范下,计算成像终于摆脱了“锦上添花”的地位,逐渐成为大众化的新潮流。如今在芯片算力不断增强与人工智能技术快速发展的大环境下,自动HDR、超级夜景、模拟大光圈等算法调优几乎成了各大厂商智能手机的标配。“计算成像”、“计算光学”、“计算摄影”这些本该是涉及到相位、光谱、超分辨、超快成像等复杂成像问题的严谨科学名词却似乎渐渐地成为了各大厂商的营销词汇,用于取代晦涩的“多帧图像堆叠”、“语义分割分区域处理”、“深度学习超分辨”这些专业术语,成为了随手一拍就能够“化腐朽为神奇一般地改善画质表现”的代名词(见图47)。

      图  47  “计算成像”、“计算光学”、“计算摄影”已经逐渐成为智能手机各大厂商的营销词汇

      Figure 47.  "Computational imaging", "computational optics" and "computational photography" have gradually become marketing terms for smartphone manufacturers

      尽管现阶段的计算成像技术在产业界还未真正发展成熟,但其也逐渐模糊了摄影和其他类型的媒体之间的界限,例如数字视频、虚拟现实与增强现实(AR/VR)。谷歌正利用人工智能扩展Google照片应用程序,以实现新的计算成像功能,包括黑白照片的彩色化。微软在iOS的PIX应用程序中使用AI,这样用户就可以无缝地将名片添加到LinkedIn中。而最近最大的热点话题莫过于“元宇宙”(Meta-verse)。2021年10月29日,Facebook创始人Mark Zuckerberg宣布将Facebook更名为Meta,并将在未来一年花费100亿美元来开发元宇宙所需要的技术(见图48)。当前对于元宇宙的定义,全球学术界和产业界尚未形成定论。普遍被接受的概念为:元宇宙构建了一个开放的、多人在线的、实时的虚拟与现场结合的社区,它需要具备“沉浸感、开放性、经济系统、文明”等特征,区块链、VR/AR、5 G/6 G或成为其底层技术支撑。元宇宙这个概念既超前又很宏大,而且对其未来的具体形态,目前谁也无法确切地预测。但可以肯定的是,在“元宇宙”的概念中,三维影像是其中重要的一个内容元素。其实在2021年8月16日,我国自然资源部已正式印发了《实景三维中国建设技术大纲》[85],提出开展“实景三维中国”的建设任务:构建一个高精细、多维度、多层次的时空数据模型:以地球为对象,基于统一时空基准的与位置直接或间接相关联的地理要素信息构建数据库与模型,具有时间维(T,如时序、时空数据),空间维(S,如空间数据与地理实体)和属性维(D,行业)等多维特征。该虚拟时空架构于物理世界之上,但又与物理世界相互独立、相互影响,这非常接近元宇宙的概念。但相比《头号玩家》中光怪陆离的“人造”虚拟世界,作为计算成像技术重要组成部分的快速动态三维传感技术有望将物理四维时空世界“数字化”,这对于元宇宙的基建与落成都有着重大的实际意义(见图48)。而与计算成像紧密相关的VR/AR技术,如全息三维显示[86],作为给用户塑造近似真实的交互、提供深度感官体验核心技术与硬件,是实现元宇宙的重要途径。虽然目前构建成熟元宇宙基础条件尚不具备,元宇宙仍处于概念形成与底层硬件技术逐步发展的初期阶段。同样地,计算光学成像技术虽然发展至今已经取得了很多令人振奋的成果,但倘若要接受其为当前媒体所广泛宣传的“第四次成像革命”[87-88],似乎还有些为时过早。不过可以预见的是,计算光学成像技术作为智能制造、先进医疗、消费电子、高端仪器、“元宇宙”底层基建的核心支持技术,定会得到更大的投入、更多的关注、更快速且务实的发展,并在国家安全、装备制造、生物能源、生物医学、消费电子等行业发挥越来越重要的作用。

      图  48  Facebook创始人Mark Zuckerberg宣布将Facebook更名为Meta并提出“元宇宙”概念。而三维传感技术有望将物理世界“数字化”,对于元宇宙的基建与落成都有着重大的实际意义

      Figure 48.  Facebook founder Mark Zuckerberg announced the renaming of Facebook as Meta and proposed the concept of "Metaverse", 3D sensing technology that promises to "digitize" the physical world and has great practical significance for the infrastructure and completion of Metaverse

    • 回顾完计算光学成像的发展由来,本章将综述计算光学成像技术的研究现状与最新进展。如前文所述,计算光学成像的研究内容比较发散,目前还没有一个比较明确的分类方法。如果来按研究的问题或者成像的体制来分的话可能会较为琐碎。因此,在本节中将按照采用计算成像技术的“目的与动机”或者说计算成像技术所带来的成效来将这些技术进行细分。一般而言,计算光学成像均是为了从不同的角度和采用不同的方法来解决下面三方面的问题:(1)功能提升。即赋予成像系统传统成像技术所无法实现的功能,如对相位、光谱、偏振、光场、相干度、折射率、三维形貌等进行成像或测量;(2)性能提升。即提升现有成像技术的性能指标,如在空间分辨、时间分辨、信息通量等方面上加以提升;(3)成像系统简化与智能化。顾名思义使成像系统简化或变得更加智能,例如实现单像素成像、无透镜成像、自适应光学、透散射介质成像、非视域成像、红外焦平面自适应校正等。按该方式的整个分类框架如图49所示。下面就依据此分类方式,对每种成像技术或者方法的基本原理、发展现状以及典型应用进行概述。

      图  49  基于“目的与动机”对典型计算光学成像技术所作的分类

      Figure 49.  Classification of typical computational imaging techniques according to their ''objectives and motivations''

    • 在波动光学领域,单色相干光波场可用二维复振幅(Complex amplitude)函数所描述,而光学范畴内的“相位”就定义为这个复振幅函数的幅角部分[89-90]。人眼或现有的成像器件,仅能探测到光的强度或振幅,而光波的相位信息却完全丢失了。一个重要的原因是由于光波场的振荡接近1015 Hz量级[91],远远高于人眼(通常为30 Hz)与成像器件的响应速度(目前最高速的摄像机的帧频也仅仅能达到108 Hz的量级[92])。相位的重要性在某些特定领域显得尤为突出:如在光学测量、材料物理学、自适应光学、X射线衍射光学、电子显微学、生物医学成像等领域,大部分感兴趣的样本都属于相位物体——这类物体的振幅透过率分布是均匀的,但其折射率或厚度的空间分布是不均匀的,从而它们对光波振幅部分改变甚小,对相位部分改变却非常大。人眼或其他光探测器都只能判断物体所导致的振幅变化而无法判断其相位的变化,因此也就不能“看见”相位物体,即不能区分相位物体内厚度或折射率不同的各部分。所以对于这些领域,相位信息的获取就显得尤为重要。相位成像技术可以分为定性和定量两大类,定性的方法主要是用于观察的相衬成像技术,定量技术则能够对相位信息进行定量测量。其又可以被细分为干涉和非干涉技术。非干涉技术主要包括波前传感与相位恢复技术,而相位恢复技术还可再细分为迭代相位恢复技术与直接(deterministic,确定性)相位恢复技术。其整个分类见图50所示。

      图  50  相位成像技术的分类

      Figure 50.  Classification of the phase imaging techniques

      (1) 定性相衬成像

      相位成像在显微成像领域已经有很长的发展历史。由于生物细胞的细胞质和大部分细胞器的光学吸收系数很小,几乎无色透明。为了实现样品在显微镜下的可视化观察,传统明场显微成像技术通过染色标记等方式来增强成像对比度,从而达到细胞成像的目的。然而,这一传统方式通过样品的光学吸收(振幅)构建图像,无法获取样品重要的相位信息(形貌或折射率分布等)。并且,其形成的图像通常对比度很低,难以显示出样品的细微结构。但大部分无色透明的生物细胞的结构特征及各组分不同的折射率分布可对入射光波产生不同空间分布的相位延迟,称之为相移。基于这一思想,1942年,Zernike[93]发明了相差显微术(Phase Contrast, PC, 见图51(a)与(c))。其采用一个额外的空间滤波器将未扰动的背景光和散射光之间的相对相位移动四分之一波长来产生图像对比度,在不染色或无标记的情况下大大提高透明生物细胞和组织的可分辨性。相差显微术的发明漂亮地解决了未染色生物细胞这类样本的观察难题,揭开了细胞无标记成像的新篇章,其发明人Zernike因此获得1953年的诺贝尔物理学奖。基于类似的思想,Nomarski[94]于1955年发明了基于偏振分光原理的微分干涉相差显微术(Differential Interference Contrast, DIC, 见图51(b)与(d)),其可将样品的相位梯度转换为强度差反映出来,大大增强了细胞等弱吸收样品在镜下的图像衬度与成像立体感,极大方便了生命科学研究与镜下操纵。

      图  51  Zernike相差显微术与微分干涉相差显微术

      Figure 51.  Zernike phase contrast microscopy and Differential Interference Contrast (DIC) microscopy

      如今,相差显微镜和微分干涉显微镜已经发展成为两种最典型的相差显微方法,它们无需对样本进行任何的染色标记处理即可实现对细胞这类相位物体的可视化成像,揭示未染色生物标本的细胞边界和亚细胞细胞器等细节特征,已经在生物学、病理学、医药学等领域得到了广泛的应用,促进了传统显微技术由“标记成像”走向了“无标记成像”。由于这两类技术依赖于特殊的光学系统配置形成光学滤波,成像过程简单而有效,它们几乎成了所有的生物显微镜的“标配”,与明场显微技术互相配合,为生物学研究提供多样化的信息。然而这两种方法最终获得的图像强度与相位分布之间并非呈线性关系,致使它们只适用于成像时定性地提升对比,而样品物理厚度与折射率系数所决定的相位特性并不能由这些图像量化出来,这给细胞的定量测量带来了极大不便。另一方面,这些相差方法在成像过程将产生“光晕”(halo)与“阴影”(shade-off)效应(artifacts),降低成像结果质量,导致后续的图像分析与处理(如细胞分割、细胞计数、细胞追踪等)复杂化。随着生命科学与生物医学研究的不断深入,生物学家们也越来越意识到定量测量细胞和组织中的相位分布特性对于细胞显微观察、结构信息的提取以及动力学行为研究的重要性。因此相位测量(phase measurement)技术与定量相位显微技术(quantitative phase microscopy)成为了一个必然的发展趋势。

      (2) 干涉相位测量——干涉与全息

      纵观光学测量近半个世纪的进展,最经典的相位测量方法应该非干涉术莫属。自从19世纪80年代人们第一次证实了光干涉原理可以作为测量工具使用以来,干涉技术在光学测量中一直占有十分重要的地位。由于传统的光探测器(如CMOS,CCD)仅对光强信息敏感而无法探测相位信息,大部分相位测量方法都需要将不可见的相位信息转化为可见的光强信号进行探测。干涉测量法即利用相干光的干涉效应,即通过将两束相干光的空间叠加将不可见的相位信息转化为可见的干涉条纹,进而可被光探测器所记录。获得干涉条纹后,再通过条纹分析技术,就可以将相位从干涉图中解调出来,实现相位获取。目前高精密激光干涉仪的光程测量精度已可达到激光波长千分之一,而2016年探测到引力波的著名的美国路易斯安那州和华盛顿州的激光干涉引力波探测器LIGO[95-96]实际上就是一个臂长达4 km巨型迈克耳孙干涉仪(见图52),其测量精度更是达到一个质子大小的1/10,000。尽管干涉测量技术多年来得到了突飞猛进的发展,但其基本原理仍然没有改变:干涉测量方法通过引入额外的相干的参考光,将不可见相位信息转换成为强度信号——干涉条纹,这样就可以通过传统成像器件采集并加以分析。通过一系列的条纹分析算法,就可以将相位从干涉图中解调出来。经过数十年的发展,经典的干涉测量术已经日趋成熟,并繁衍出多个分支:如电子散斑干涉[97-98]、干涉显微[99101]、数字全息等[72,102105]。它们的基本原理极其类似,且发展几乎也是并行的。特别是近年来,高性能计算机与高分辨率光电传感器的出现促进了数字全息技术的蓬勃发展,已成为定量相位测量与计算光学显微成像中的一种最具代表性的相干成像技术[106109]。尽管如此,以数字全息为基础的干涉定量显微成像方法并没有撼动传统显微成像方式在如生命科学界的地位,带来预计的革命性成果和技术变革。究其原因主要是由于其实现“定量相位测量”方式的干涉性:数字全息显微技术往往依赖于高度时间相干的光源(如激光)以及较为复杂的干涉光路;高相干性的光源引入的散斑相干噪声不但限制了成像系统的空间分辨率,还严重影响了成像质量;额外的参考光路的引入导致对于系统测量环境的(如:环境震动、气流扰动等)要求变得十分苛刻;从干涉图中解调测量得到的相位被包裹在2π范围内,需要额外的相位解包裹以获得真实的连续相位分布。

      图  52  巨型迈克尔逊干涉仪——LIGO引力波探测器

      Figure 52.  Giant Michelson interferometer——LIGO wavefront detector

      (3) 非干涉相位测量——波前传感

      与干涉测量法截然不同,相位测量的另一大类方法并不借助于光的干涉效应,称之为非干涉相位测量技术。非干涉相位测量技术的一大分支被称为波前传感技术,如夏克—哈特曼(Shack-Hartmann)波前传感器[110112]、四棱锥(金字塔)波前传感器[113115]、模式波前传感器116-117]等(见图53)。其中,夏克—哈特曼波前传感器是采用几何光学原理的相位测量方法,其最早出现的原因是为了满足自适应光学与天文探测学的需要。在这些领域,一般光波场的相位被称为波前像差(Wavefront aberration),用来表示理想光学系统参考波阵面与实际测量光学系统波阵面之间的差别。夏克—哈特曼波前传感器的雏形是由天文学家Hartmann[110]于1900年提出的哈特曼光阑,其将由许多小孔组成的按一定规律排列的光阑对被检测波前进行细分探测。哈特曼法虽然系统简单,但精度与光能利用效率低。后续到了1971年,Shack和Platt[112]对此进行改良,形成了目前广泛采用的夏克—哈特曼波前传感器结构。夏克—哈特曼波前传感器的核心器件是微透镜阵列,它将待测光波场聚焦为一系列点阵。通过测量这些点阵相对于参考规则间距点阵(理想无像差情况)的位移量,就可以获得待测波场的相位梯度(自适应光学中一般称为波前斜率),然后将其积分就可得到相位(波前)的分布。目前,夏克—哈特曼波前传感器的应用领域已从自适应光学与天文探测学拓展到了光束质量评价[118-119],光学元件检测[120-121],激光大气通信[122-123],显微相差校正[124-125],眼科视力矫正[126128]等众多领域。但是由于微透镜物理尺寸的限制,探测的信号并没有充分利用成像器件的所有有效像素,导致恢复相位的空间分辨率很低,所以夏克—哈特曼波前传感器很少直接应用于定量相位成像与显微成像领域。

      图  53  Shack-Hartmann波前传感器与四棱锥波前传感器

      Figure 53.  Schematics of Shack-Hartmann and pyramid wavefront sensors

      (4) 非干涉迭代相位恢复——离焦衍射

      另一类非常重要的非干涉相位测量技术统称为相位恢复(Phase retrieval)。由于直接测量光波场的相位分布非常困难,而测量光波场的振幅/强度却十分容易。因此可将由强度分布来恢复(估算)相位这一过程考虑为一个数学上的“逆问题”,而通过求解这类从光强反演相位逆问题的方法就被统称为相位恢复法。相位恢复方法可以细分为两小类:迭代法(Iterative method,见图54)与直接(确定)法(Deterministic method)。基于迭代运算的相位复原法是于1972年,Gerchberg和Saxton[54-55]在研究电子显微成像的相位恢复问题首次提出的,该算法称为Gerchberg-Saxton(GS)算法。该方法指明:当待测光波场在像平面(Imaging plane)和远场衍射平面(Diffraction plane)的光强分布已知时,光场波前相位可以通过衍射计算迭代的方式求解出来。1982年,Fienup[56]在分析了GS算法的优化原理后指出GS是一种误差下降算法,本质与最速下降算法相同,该项工作首次从最优化角度为相位恢复问题的可解性奠定了理论基础。也为算法的停滞问题找到的合理的解释:由于相位恢复问题本身的非凸性,通过误差下降搜索是无法保证收敛的全局极小值的。针对该问题,Fienup基于非线性控制思想提出了混合输入输出算法(Hybrid Input-Output,(HIO))以改善GS算法陷入局部极小值的问题。HIO算法因为其简单有效,且明显改善了GS算法的收敛效果,在众多领域都被广泛应用并得到了进一步推广发展[129133]。随着相位恢复问题的成功解决,GS和HIO算法也激起了各领域研究者们极大的兴趣,被推广到X射线衍射成像[134136](又被称为相干衍射成像CDI)、自适应光学[137-138]、光学相位显微[139144]等众多领域。

      图  54  迭代法相位恢复技术

      Figure 54.  Schematics of iterative phase retrieval techniques

      (5) 非干涉相位测量——叠层与傅里叶叠层成像

      2004年,Rodenburg与Faulkner[145-146]将叠层(ptychography)成像的思想引入GS与HIO算法,提出了一种新型的迭代相位恢复方法PIE(Ptychographic Iterative Engine)。该方法通过改变照明光束和样品的相对位置关系,采集样品的一系列在空间上相互交叠的“子孔径”的衍射图像,然后利用这些光强图像作为约束,反复迭代演算就可以重构出样品被光束所覆盖过区域的复振幅分布。正是由于叠层成像所获取的大量光强数据信息存在高度冗余,从而使相位恢复问题的非凸性得以大大缓解,这不但极大改善了传统迭代相位恢复算法(如GS算法与HIO算法)收敛性,还完全消除了正确解和其复共轭之间的歧义性问题。随后十余年间,以PIE算法为代表的叠层成像方法得到了众多学者的研究与改进,在探针(照明光)恢复[147152],扫描位置误差校正[153155],部分相干照明模式的解耦[156159],横向分辨率的提高[160163],以及轴向多层样品层析[164168]等方面涌现了大量研究成果。目前,该方法已在X射线衍射成像[169171]、电子显微成像[172174]、可见光相位成像[175177]等不同领域得到了广泛应用。

      2013年,Zheng等[178]进一步将叠层成像从空域发展到了频域,提出了空域叠层成像的对偶形式——傅里叶叠层成像(Fourier ptychographic microscopy,FPM)。在傅里叶叠层成像中的“叠层”是发生在频谱域的:样品不再是被一个有限支持域的照明光束在空域进行扫描,而是被不同角度的照明光束(通常是一个LED阵列)所依次照射(见图55);采集的也不是位于远场的衍射图案,而是直接在空域拍摄样品的低分辨率聚焦图像。成像系统有限孔径在傅里叶叠层成像中成为了频域“子孔径”,而照明光束角度的改变则实现了频域子孔径的交叠扫描。正是由于这样清晰的对偶特性,傅里叶叠层成像技术在提出伊始就与传统叠层成像技术交融借鉴,相差补偿[179]、位置误差校正[180-181]、照明模态用与解耦[182184],三维衍射层析[185-186]等核心问题在短短几年内被相继攻克,现阶段已与空域叠层成像并驾齐驱发展。傅里叶叠层成像的核心优势在于其不仅仅能获得待测样品的相位信息,还在基于最优化的交叠更新过程实现了频域的合成孔径,有效促进了成像分辨率的提高[181,187-188]。与传统的频域合成孔径超分辨率算法不同,在傅里叶叠层成像交叠更新算法中相位恢复与频域合成孔径是同时完成的,这也正是傅里叶叠层成像技术本身的优美之处。通常情况下,傅里叶叠层成像采用低数值孔径的低倍率物镜以获得较大的观察视场FOV,再采用较大角度范围内的照明光束依次照射样品在频域进行合成孔径,最后可将最终成像的等效数值孔径提升到物镜与照明数值孔径之和,且与此同时保持了低倍率物镜的大视场,从而达到很大的成像空间带宽积。因此,其最大的优势在于提升成像系统的信息通量,关于傅里叶叠层成像的更多详细信息,将在2.2.4节对其进行进一步介绍。

      图  55  傅里叶叠层成像技术

      Figure 55.  Schematic of Fourier ptychographic microscopy

      (6) 非干涉直接相位恢复——光强传输方程

      与迭代法相对应的另一类非干涉相位恢复方法称为光强传输方程[189](Transport of intensity equation,TIE)。如前所述,光波相位信息向强度信息的转化其实不仅仅依赖于干涉。光波其自身的传播效应就是一种自发的光强—相位的转化过程。设想晴天时的游泳池,水面的涟漪如同透镜一般,将透射的光线重新分配并“堆积”在池底的某些区域,形成了如图56所示的一些亮线网络。图中池底的明暗相间的网络结构,正是这种波纹状的相位结构在经过一段传播距离后的自我显现与转变(相位在传播过程中引起强度的变化),称该现象为光强传输(Transport of intensity)效应。在这一场景中,既没有“激光”,也不存在“干涉”,但泳池底部光强图案却与干涉条纹具有异曲同工之妙。这种现象表明,相位可以被转化为光强(称为相衬),并且不需要借助于干涉。与池底的明暗图案反映水面特性类似,光强传输方程“非干涉”相位复原的根本目的,就是通过测量这种由相位结构在离焦平面导致的强度改变(相衬信号)从而反演出定量相位分布。通俗来说,即是通过池底明暗相间的条纹恢复出水面的形貌,如图56所示。

      图  56  晴天下游泳池底的光波图案。(池中水面的涟漪让阳光发生折射,在池底产生了明暗相间的网络结构)

      Figure 56.  The wave-like pattern at the bottom of a swimming pool in sunlight. (The pool surface refracts the incident sunlight to produces the characteristic pattern)

      光强传输方程是Teague[132]于1983年由亥姆霍兹方程在傍轴近似下首次推导而出的。该方程是一个二阶椭圆型偏微分方程,其阐明了沿着光轴方向上光强度的变化量与垂直于光轴平面上光波的相位的定量关系。该方法区别于迭代相位恢复算法的一大特点是,其不是通过传统的衍射计算公式来迭代恢复相位,在待求平面上的光强分布(直接测量)以及光强轴向微分(通过采集离焦光强进行数值差分估计得到)已知的情况下,通过数值求解光强传输方程确定性地(deterministically,一次求解)获取相位信息,从而不需要任何的迭代求解过程。Teague[132]于1983推导而出光强传输方程后仅相隔一年,Streibl[190]就敏锐地发现光强传输方程有望应用于光学显微领域,以便实现对透明相位物体的相差成像。1988年,Ichikawa与Takeda[191]首次在实验上验证了光强传输方程。其采用了傅里叶变换方法求解该方程,并获得了待测一维物体的相位分布。几乎与此同时,以Roddier[192195]为代表的美国夏威夷大学研究小组在自适应光学领域也正探索如何应用光强传输方程实时校正大气湍流造成的波前相位扭曲。1995年,Gureyev等[196]人首次采用较为严格的数学证明了光强传输方程的适定性(well-posedness)与其解的唯一性(uniqueness)问题。1996年,Gureyev与Nugent[197]提出利用正交多项式分解的方法求解光强传输方程,并指出当光强分布均匀的时候,通过快速傅里叶变换可以有效求解光强传输方程[198]。随后,Paganin与Nugent[199]将该方法进行了拓展,并使快速傅里叶变换求解法可以有效应用于待测光波场光强分布不均匀的情况,大大推动了光强传输方程的发展与应用。光强传输方程的相关数学基础的确立与其数值解法的成功出现成为了其后续应用快速发展的强劲推动力,光强传输方程随后也被开创性地应用到了X射线成像[200],中子射线成像(neutron radiography)[201-202]、透射电子显微[203208]等领域(见图57)。这些领域的共性在于难以借助或实现高相干性的干涉光源,因此光强传输方程便成为了一种取代干涉术的简单且行之有效的衍射成像手段。

      图  57  光强传输方程在不同研究领域的应用

      Figure 57.  Applications of TIE in different research fields

      90年代后期,一方面随着光强传输方程相关理论框架的逐步完善;另一方面,从事定量相位成像领域的相关研究人员也越来越意识到采用较低相干性照明对于分辨率提高以及成像质量改善的重要性。这两方面随后成为了光强传输方程在光学显微领域广泛应用的催化剂。Barty等[209]简要报道了采用光强传输方程实现了人体颊上皮细胞与光纤的定量相衬成像,这是光强传输方程在定量光学相衬成像上的首次登台亮相。2002年,Barone-Nugent等[210]基于Striebl[211]的三维光学传递函数理论详细分析了弱相位物体在光学显微镜下图像的形成与表征,进一步肯定了光强传输方程方法在低空间相干性照明下的适用性。同年,Sheppard[212]采用类似方法分析光强传输方程在Born近似下的表现形式,并指明光强轴向变化率的低频部分应与波前相位的拉普拉斯(二阶导数)成比例。2010年,Waller等[213]提出采用多个离焦平面的强度信息去增强相位恢复的准确度与抗噪能力,并将此方法命名为高阶光强传输方程。同年,Kou等[214]提出了光强传输方程可以直接与微分干涉相衬成像技术结合,实现相位信息的定量获取,并成功将其应用于人体颊上皮细胞的定量相位显微成像。与此同时Waller等还采用体全息分束多幅不同聚焦面的强度图像的单次曝光采集[215],并通过色差与颜色通道复用实现单次彩色图像曝光获取三幅不同聚焦面的光强图[216]。2011年,Kou[217]提出利用反卷积光学传递函数法实现了部分相干照明定量相位恢复,并与光强传输方程法进行了对比分析;2012年,Almoro等[218]利用散斑场照明提高了光强传输方程法测量平滑相位分布的信噪比;同年,Gorthi与Schonbrun[219]等首次将光强传输方程应用到流式细胞术(flow cytometry),利用过流式细胞设备实现了细胞在不同聚焦面的强度图像的自动采集。与此同时,关于提高光强传输方程相位成像精度与噪声抑制的理论研究也有大批报道[220225]

      自2012年起,笔者课题组也针对此方向开展了持续系统的研究工作,首次建立了部分相干光场的广义光强传输方程(Generalized Transport of Intensity Equation, GTIE, 见图58),基于相空间光学的维格纳分布函数给出了部分相干光场中广义“相位”的严格定义[226-227],解决了部分相干光场下没有明确适定的“相位”定义这一理论难点。此外在其理论与应用方面的若干关键问题:(1) 非齐次边界条件下方程的快速求解[228230];(2) 方程求解误差的分析与补偿[231];(3) 光强轴向微分的最优差分估计[232-233];(4) 部分相干光场下的相空间拓展[226-227];(5) 照明相干调控与成像分辨率提升[234236];(6) 动态定量相位显微成像[237-238]图59);(7) 光强传输衍射层析成像[239241]等方面均取得了一定的进展,研究成果为定量相位成像从“干涉”走向“非干涉”,由“完全相干照明”到“部分相干照明”奠定了理论基础。2020年,笔者受邀在Optics and Lasers in Engineering上撰写了题为“Transport of intensity equation: A tutorial”的教程(tutorial)论文[242],对此领域进行了全面系统的归纳与总结。

      图  58  部分相干光场下的广义光强传输方程

      Figure 58.  Generalized transport of intensity equation (GTIE) for partially coherent field

      图  59  光强传输方程对乳腺癌细胞的定量相位三维成像[238]

      Figure 59.  Quantitative phase 3D imaging of a breast cancer cell using TIE[238]

      (7) 非干涉直接相位恢复——差分相衬成像

      区别于基于离焦衍射的相位恢复技术,另一类非干涉直接相位恢复方法称为差分相衬成像(Differential phase contrast,DPC)。其概念最早在电子显微镜领域被提出,被用于实现高电子收集效率的相位结构成像。1984年,Hamilton和Sheppard[243-244]将此概念发展到了光学显微成像领域,用于解决Nomarski微分干涉显微成像对比度低和分辨率无法同时兼顾的矛盾。该系统基于共聚焦光学扫描显微镜和差分探测器搭建而成,通过扫描的方式探测由样品厚度差异引起的相位梯度变化,首次获得了与样品相位梯度成线性关系的强度图像。然而受制于当时硬件水平,这种逐点扫描成像的方式成像速度较慢,导致其并未被广泛采用。新型光电照明与传感器件的发展为显微成像系统提供了新的实现方式,扫描式的差分相衬成像系统逐渐被全场成像显微系统所取代。2009年,Mehta等[245]首次提出了全场差分相衬成像的基本原理,通过非对称照明和孔径调控来实现样品相位梯度获取。随后国内外学者在该系统的基础上采用不同的光源调制器件(可编程LED[246]、空间光调制器、可编程LCD[247])设计了不同的差分相衬成像系统。不同于非对称光源调制,基于非对称孔径调制的差分相衬成像方法则将孔径调制器件放置在光学系统的傅里叶孔径平面上,实现相位频谱的非对称空间滤波。基于此原理,四棱锥波前传感器[248]、四叶形透镜[249]、空间光调制器[250]或液晶显示器(LCD)[251]等器件被用于孔径调制器件。在丰富的调制手段为差分相衬成像带来灵活的实现方式的同时,差分相衬实现定量相位成像的机理也在不断的完善的发展,逐渐形成了以多次非对称照明调控或非对称孔径调制将不可见的样品相位信息转换为成像器件可直接探测的强度信号,通过一步反卷积或者梯度积分方法恢复样品的定量相位的技术路线。

      作为一种部分相干成像技术,差分相衬成像中采集强度和相位分布通过复杂的物理模型所描述,其实现定量相位成像的难点在于如何建立强度和相位的显式关系来实现强度—相位反演。典型的差分相衬相位恢复算法通过引入近似过程来简化成像模型,其中缓变相位近似和弱相位近似是最常用的两种近似化手段[244]。尽管近似化条件的不同使得这两种近似化下的定量相位成像算法适用于不同的样本,但是其成像过程都是基于统一的思想,即通过对样本的分布进行一定的近似化简,实现采集强度和样本相位显式表达。近年来,这两种技术路线下的差分相衬成像技术都得到了发展。相比较而言,基于弱相位近似过程由于其便于解释和直接的求解过程更加广泛的关注。2015年,Tian等[246]在弱相位近似理论的基础上推导了差分相衬成像的相位传递函数,并采用两轴不对称的半圆形照明采集实现了定量相位反卷积算法,如图60所示,该方法给出了现有通用的差分相衬定量相位成像算法。

      图  60  基于弱相位近似的差分相衬定量相位成像原理示意图

      Figure 60.  Schematic diagram of the principle of quantitative phase imaging with DPC based on weak phase approximation

      基于部分相干成像下相位传递函数理论,差分相衬定量相位成像的理论机理近年来被深入研究,并实现了成像分辨率、成像对比度的提升和优化。在这一理论下,照明函数被确定作为一种最为直接有效的成像优化方案,众多的研究成果也不断涌现[247,252254]。2018年Luo等[252]通过3轴径向照明获得了各向同性的相位传递函数,但遗憾的是,这一优化照明并未被理论地证明其实现各向同性分辨率成像。在此基础上,他们进一步提出了2轴梯度(振幅)掩码照明,并通过理论推导证明了其有效的实现了各向同性相位成像[254]。在此基础上,Chen等进一步提出了2轴梯度掩码照明,并通过理论推导证明了其有效的实现了各向同性相位成像。然而,纵观上述优化照明设计方案,其都采用了设计照明—演示各向同性成像这一通用思路,这种“穷举”的方法难以获得理论上的最优化照明。针对这一问题,笔者课题组在2019年通过严格的理论推导,首次得到了各向同性差分相衬成像的广义照明函数,在2轴照明下获得了完美的各向同性相位传递函数[247]。根据该广义照明函数,进一步给出了差分相衬成像的最优照明方案,如图61所示。通过采用照明数值孔径与物镜数值孔径相等的环上正弦分布的半环形照明,在保证各向同性差分相衬成像的基础上,获得了具有最强传递响应的相位传递函数。

      图  61  照明优化策略的对比。 (a) 对应的单次相位传递函数与合成相位传递函数;(b)最优照明下的各向同性定量相位成像结果

      Figure 61.  Comparison illumination-optimized schemes. (a) PTFs and their synthetic PTFs corresponding to different illumination functions; (b) Isotropic quantitative phase imaging results under optimal illumination

      差分相衬技术通常仅需要4幅强度图像即可实现定量相位的恢复,在高效定量相位成像方面展示出了巨大的潜能。然而对于动态样品成像而言,最理想的情况仍然是实现更少帧数甚至是单帧的定量相位显微成像。针对这一目标,常用思路是结合波长复用的思想来将多次顺序采集的图像分配在单次曝光的多颜色通道上来减少采集图像数量。2015年,Lee等[255]在同一照明轴方向上利用颜色不同的两个半圆形同时照射样品采集一幅图像,通过分离图像通道并计算该轴上的差分相衬图像用于相位重构,将2轴差分相衬成像的重构图像数量由4幅减少到2幅(见图62(a))。2017年,Phillip等[256]采用自主设计的成本低廉的彩色滤光片实现了单帧的差分相衬定量相位成像。利用LED阵列的同样可以实现单帧差分相衬定量相位成像。Lee等[257]通过调控LED阵列使其同时显示三个均匀分布的R,G,B扇形照明,同样实现了单帧差分相衬定量相位重构(见图62 (b))。笔者课题组在前期广义各向同性照明的基础上,同样引入波长复用照明结合最优化的三波长照明,首次实现了各项同性分辨率的单帧差分相衬定量相位成像[258](见图62(c))。由于差分相衬成像具有高分辨率、高效率、高鲁棒性等优点,目前已在多个领域得以成功应用。2013年,Ford等[259-260]将基于反射成像的差分相衬成像系统引入内窥镜中,成功实现了小鼠活体组织相位成像。除此之外,基于智能手机平台的小型化差分相衬显微成像系统也被开发出来[261]。通过将自主设计的成像装置与手机镜头相结合,可在手机平台上实现了样品相位梯度的可视化显示。本综述由于篇幅所限,对上述相位成像技术仅能做简要概述,感兴趣的读者可参阅关于光强传输方程、傅里叶叠层成像和差分相衬成像等技术的相关综述论文[242, 262-267]

      图  62  差分相衬定量相位成像的成像效率优化方案。(a)彩色复用三波段的差分相衬定量相位成像方案;(b) 基于三波长照明的多模态成像及定量相位成像方案;(c) 单帧差分相衬最优照明成像方案

      Figure 62.  Imaging efficiency optimization schemes of DPC. (a) Triple-wavelength multiplexed illumination scheme; (b) Triple-wavelength illumination scheme for multimodal imaging and DPC; (c) Single-shot optimal illumination scheme of DPC

    • 当前大多数成像摄影技术都是基于红、绿、蓝三色信息对场景影像进行记录。虽然三色传感成像技术符合人类视觉系统的基本成像需求,然而从物理原理的角度出发,现实场景中从光源发出或经物体反射的光线具有丰富的波长,其中可见光覆盖从390~780 nm的广泛区域,包含了大量的光谱信息。相比于当前常用的红、绿、蓝三通道成像技术,光谱采集能够提供更多的颜色通道,从而更加精细地反映光源与场景的物理特性,因可以广泛应用于遥感、材料、医疗、环境等诸多领域[268273]图63展示了农田遥感成像从单通道图像到彩色图像、多光谱图像以及高光谱图像,光谱分辨率逐渐提升,更加精细地放映光源与场景的物理特性的过程。

      图  63  成像光谱分辨率逐渐提升

      Figure 63.  Gradual increase in spectral imaging resolution

      传统的光谱仪都是基于物理分光/色散装置,如滤光片、狭缝、棱镜、光栅、法布里-珀罗滤光片等的光学成像/探测系统。他们的基本结构大同小异,其硬件主要由三部分组成:光束收集部分、分光/色散装置和探测器(阵列)。光束收集部分收集来自样品的光线,使入射光的光学参数(例如入射角、光通量、杂散光水平等)更适合于滤光和检测。当光透射穿过滤光片时,不同的波长分量被顺序地分开,或者同时照射到滤光片阵列上。最后通过探测器或探测器阵列测量每个光谱分量,从而获取被测样品的光谱信息。目前传统型光谱仪的成像技术已经非常成熟,但由于分光装置使探测维度提升且导致细分光谱能量的下降,致使可以观测到的光谱分辨率与信噪比之间成为鱼和熊掌不可兼得的关系。此外通常情况下对于整个场景的光谱图获取中还需要长时间的推扫,无法用于动态场景成像。计算光谱成像技术是一类新型光谱成像技术,它将光学系统调整和图像处理技术相结合,即将图像处理技术引入成像环节。计算光谱成像通常包括光谱调制或欠采样部分,以获得变换过后的光谱数据,计算光谱探测系统往往采用了复杂的软件算法从原始数据中提取光谱信息。其可实现景物空间信息与光谱信息的快照式成像,弥补了传统光谱成像技术光通量低、逐行扫描成像时间长等不足,在实现灵活拓展系统成像性能的同时,降低系统硬件的复杂度。计算型光谱仪主要分为层析型、压缩型、傅里叶变换型与多路复用型,下面进行分别介绍与阐述。

      (1) 层析计算光谱成像

      计算层析技术又称为计算机断层扫描技术,是由低维度投影数据重建高维目标的一项技术,最早于1963年由Cormack提出,在医学上起到了标志性的作用[274276]。随着计算机水平和探测水平的提升,直到1990年层析投影成像才被Descour与Dereniak[277279]应用于成像光谱技术。计算层析成像光谱技术(Computed Tomographic Imaging Spectrometry,CTIS)将计算机断层扫描原理与成像光谱技术相结合,探测目标数据立方体的一个投影或者多个投影方向的投影图像,然后由这些投影图像重建目标的光谱信息和空间图像信息,如图64所示。在CTIS系统中,空间和光谱数据在探测器的不同位置上发生混叠,使得光谱和空间数据压缩成单张快照,从而将系统布局变得更紧凑。它在光谱与图像的快速探测、无视场扫描、高通量、性能稳定等方面具有显著优势,可应用于遥感、材料、环境等诸多领域。

      图  64  计算层析成像光谱技术的数据立方投影过程

      Figure 64.  The projection of the data cube in CTIS

      层析型光谱成像技术有三种技术类型,分别为画幅型、旋转棱镜型以及柱透镜型。Okamotot[275]首先提出画幅型层析成像光谱仪,通过二维正交光栅来获取目标数据立方在多发方向的投影。系统原理图如图65所示。Mooney等[280]提出了一种高通量扫描层析成像光谱仪即棱镜型层析成像光谱仪,通过绕光轴旋转直视棱镜来获取多个方向的目标数据立方投影,然后再进行层析处理。Fang等[281]提出了柱透镜型层析成像光谱仪,利用两个互相垂直的柱透镜实现特定方向的投影,从而提高投影时的能量利用率。然而,在层析型成像光谱技术在研究理论上图像重建还受到有限投影角、色散器件自由光谱范围等的约束,工程研制中受到色散器件和探测器制作工艺、以及探测器尺寸等的限制,因而会降低空间和光谱分辨率,产生所谓的信息丢失锥体问题[282]。但该技术已经在多个不同领域发展和应用,随着其应用波段范围的扩展,以及与多种其他技术的联合,层析型光谱成像技术的发展前景会越来越受到关注和重视。

      图  65  画幅型层析成像光谱仪原理图

      Figure 65.  Schematic diagram of frame-type computer tomographic imaging spectrometer

      (2) 压缩计算光谱成像

      压缩型光谱成像技术是在近年来提出的压缩感知理论的基础上发展而来的一个新型光谱成像技术。2006年,Candes、Donoho、Tao等提出了压缩感知理论[283-284]。在压缩感知理论的基础上,2006年,杜克大学Brady和Gehm[285]提出了编码孔径快照光谱成像(Coded Aperture Snapshot Spectral Imager,CASSI),利用利用编码孔径和棱镜的色散,将目标调整为一个多通道混合的编码投影图像。然后基于压缩感知原理,只需要单次测量然后通过计算得到三维光谱数据立方。2007年,Gehm等[48]搭建了双色散棱镜编码孔径快照光谱成像仪原型机(Dual-Disperser CASSI, DD-CASSI)。该系统采用一个编码模板和两个色散棱镜调制入射光,使用探测器采集经过编码和色散后的多通道投影数据,并成功重建出目标的光谱。Wagadarikar等[49]搭建了基于单色散元件的编码孔径成像光谱仪(Single Disperser CASSI)。与DD-CASSI相比,SD-CASSI只用单个色散元件,但是同样能够获得较高的光谱分辨率。随后他们又利用阿米西色散棱镜搭建了快照式编码孔径光谱成像仪样机[286],其实验装置与成像结果见图66。由于压缩感知方法所获取的数据量被高度压缩,可在探测器相同的分辨率实现视频帧速率的光谱捕获能力。西湖大学袁鑫[287]提出一种二极管阵列压缩光谱时间成像系统,通过DMD对空间和时间帧进行编码,从黑白低帧率相机捕获的压缩测量序列中重建出了高帧率光谱视频,可基于单次2D测量重建一个256×256×8×6的四维立方体数据。南京大学曹汛等[288-289]开发了棱镜-掩模调制式光谱视频相机(Prism-mask Modulation Imaging Spectromter,PMIS),通过在光路上放置一个棱镜将光散到不同的波段,在图像传感器上得到光谱曲线,并以此生成RGB图像,实现了具有一定空间分辨能力的光谱视频获取。通过添加额外的RGB传感器,可同时使用RGB相机和光谱相机来捕捉图像,并在RGB相机中得到空间分辨率高但光谱分辨率低的图像,而在光谱灰度相机中得到空间分辨率低但光谱分辨率高的图像。

      图  66  Wagadarikar设计的单色散元件的编码孔径成像光谱仪及其成像结果[49]

      Figure 66.  Single Disperser CASSI instrument designed by Wagadarikar, and the imaging results[49]

      (3) 傅里叶变换光谱成像

      经典的傅里叶变换光谱仪(Fourier Transform Spectrometer, FTS)大多数都是基于迈克尔逊干涉仪,系统结构如图67所示。相比于传统狭缝光谱仪,傅里叶变换光谱仪具有高光通量的优势。基于迈克尔逊干涉仪的FTS的核心元件是可移动透镜及其高精度运动控制系统,这种设备通过透镜的不断移动采集得到场景光谱的一系列干涉图,进而可以通过计算重构的方法得到场景光谱数据,其优点在于光谱采集精度高,但是这种采集技术对于机械结构和运动控制的精度要求较高。此外需要连续扫描一个周期的光程差来实现输入信号的测量,因此无法应用于对瞬态目标的测量。为了拓宽傅里叶变换光谱仪的应用范围,发展出静态傅里叶光谱仪。1996年,Courtial[290]提出了一种基于双Wollaston棱镜的新型静态傅里叶变换光谱仪。通过双棱镜之间正负折射材料特性及具有消色差的45°半波片的相互增强作用提升系统的视场,省去了扫描部件,从一定程度上提升了成像效率。

      图  67  傅里叶变换光谱仪示意图

      Figure 67.  Schematic diagram of Fourier transform spectrometer

      (4) 多路复用计算光谱成像

      多路复用型光谱仪包括多路滤光片计算光谱仪与哈达玛变换光谱仪。多路滤光片计算光谱仪和传统滤光片光谱仪之间最显著的区别在于滤光片的不同。传统滤光片光谱仪要提升光谱分辨率,就必须使用通带越窄和越多的滤光片。这增加了整个系统的体积和复杂度,同时当光谱响应曲线变窄时,光通量下降,导致信噪比降低。而多路滤光片计算光谱仪采用宽谱滤光片,通过计算重建算法从少量通道中恢复原始光谱数据(从较低维向量恢复较高维向量)。如浙江大学刘旭、郝翔等[291]提出了深度学习宽光谱编码随机滤光片成像方法,使用深度学习对光谱相机中的宽光谱编码滤光片及解码算法进行了协同设计,实现了基于宽光谱编码随机滤光片的光谱相机(Broadband Encoding Stochastic camera,BEST camera)。哈达玛变换光谱仪(Hadamard Transform Spectrometer,HTS)最早由Decker于1969年[292-293]所提出,其理论基础为统计学中的称重理论。称重理论是指如何精确的测量多个物体的重量,多路复用称重理论是在光学系统中的一种推广。传统的哈达玛变换成像光谱仪多采用光栅狭缝,但是自DMD 器件问世以来,由于其可实现哈达玛狭缝宽度与阶数(有限宽谱段范围内, 阶数间接反映分辨率)且实时可调,并且有无运动部件因此稳定性高等优点,在光谱仪中获得了广泛的应用。在HTS中,使用DMD代替传统色散型光谱仪中的狭缝(如图68所示),当检测出经所有哈达玛变换模板调制后的相应的光谱信号,借助计算机进行哈达玛逆变换解码,便可以得到原始光谱信号的信息。哈达玛变换法通过入射光进行组合测量从而提升光通量,特别适用于微弱光信号的检测[294297]。有关光谱测量技术更多详细的内容,请参阅《红外与激光工程》“计算光学成像技术与应用”专栏南京理工大学柏连发等撰写的综述论文《新型光谱测量技术发展综述》[298]

      图  68  哈达玛变换光谱仪示意图

      Figure 68.  Schematic diagram of Hadamard transform spectrometer

    • 光波是一种横波,描述光波的主要物理量除了包括光的强度、波长、相位以外,还有它的偏振态。传统的成像技术主要利用目标辐射的光谱和强度信息,当目标与其所处背景的辐射强度比较接近时,目标信号会受到背景信号的影响,甚至被淹没;对于处于水或雾霾环境中的目标,图像的对比度会因水和大气的散射而下降,这对目标的识别与观测造成一定的影响;此外,对于伪装或隐藏目标,传统基于辐射光谱与强度的成像技术难以进行有效的检测与识别。偏振成像技术的出现为复杂背景下的目标检测与识别问题提供了一种有效的解决方案。

      光波的偏振态会随着其与地球表面以及大气中任意物质作用而发生改变。偏振成像技术通过分析光波与物质作用前后偏振态的变化,从而提取物质表面的偏振特征信息如偏振度、偏振方位角、偏振椭率和旋转的方向等。这些信息中包含物质本身的形状、材质和粗糙度等表面特征信息,是对传统成像技术所获得信息的补充。图69展示了同一场景下的不同图像,在可见光与长波红外图像中卡车目标均不可见,而在长波红外的偏振图像中清晰可见。偏振成像技术有助于提高目标探测和地物识别的准确度,因此,偏振成像技术逐渐得到人们的关注。

      图  69  同一场景的可见光、长波红外以及偏振成像结果

      Figure 69.  Visible light, long wave infrared and polarization imaging results for the same scene

      偏振成像技术能够对场景目标的光波偏振态进行成像,其成像性能首先取决于使用的偏振成像系统。现有的成像偏振测量系统主要有两种:被动偏振成像系统和主动偏振成像系统。被动成像系统也称为Stokes测量系统,按照实现方式区分,又可以分为分时偏振成像系统和并行偏振成像系统。分时偏振成像系统采用单光束结构,通过改变偏振片的偏振方向在多个时刻对同一场景进行拍摄,以获取多张不同偏振态的图像(如图70所示),因此该成像系统在静止场景的偏振信息获取以及多通道偏振系统的标定等领域具有应用。针对分时偏振成像的实时性问题,提出了一种基于液晶可调滤光片的偏振成像系统。该系统改善了分时偏振测量的成像速度,使其能够在缓变场景下得到应用,但仍然无法用于测量快速运动场景的偏振特性。

      图  70  基于旋转偏振片的偏振成像系统

      Figure 70.  Polarization imaging system based on rotating polarizer

      并行偏振成像系统又可细分为三类:分振幅式、分孔径式和分焦平面式。2002年,Farlow等[299]人设计了分振幅偏振成像系统,如图71所示,该系统将入射光线分解成多束不同偏振态的光束,并利用多个探测器获取场景同一时刻的多幅偏振态图像。但由于该系统结构复杂、成本高、光路调校困难、分束能量损失大,因此存在对比度低、噪声大、成像质量差等问题。2005年, Pezzaniti与Chenault[300]研制了基于微透镜阵列的分孔径式偏振成像系统,如图72所示。该系统利用单个探测器对多束不同偏振态的光束进行成像,与分振幅偏振成像系统相比,光学元件少,结构相对稳定,但该系统是以牺牲空间分辨率为代价换取的偏振成像信息,而且不具备圆偏振探测能力。

      图  71  Farlow等研制的分振幅偏振成像系统[299]

      Figure 71.  Split amplitude polarization imaging system developed by Farlow et al. [299]

      图  72  分孔径偏振成像系统

      Figure 72.  Split aperture polarization imaging system

      1999年, 美国亚拉巴马大学的Nordin等[301]将微偏振光学元件集成到焦平面阵列上,研制了基于微偏振片的分焦平面式同时偏振成像探测器。如图73所示,每4个(2×2)相邻的单像素组合构成一个超像素(super-pixel),每个超像素中的四个单像素分别对应0°,45°,90°,135°的4种偏振轴方向(偏振片透过率最大的方向),对角线上的两个像素点刻划角度相差90°。整个探测器平面有大量的超像素平铺而成。入射光经过微偏振片后,投射在CCD探测器上,探测器根据超像素内部偏振方向的划分,一次性测量4个偏振角度的分量信息,从而对入射光的偏振信息进行解算。由于不存在分光元件,所以分焦平面偏振成像系统稳定性较高、成像质量较好。但是该系统依旧牺牲了成像分辨率,另外焦平面阵列与微偏振片需要在严格对准的基础上集成,探测器造价通常较为昂贵。目前该分焦平面偏振成像相机已经形成成熟的商业化产品。

      图  73  分焦平面偏振成像系统

      Figure 73.  Split focal plane polarization imaging system

      为了获取更多的偏振信息来研究目标特性,需要通过测量光波在目标表面散射前后的偏振态变化来分析目标的表面特性。1985年,Bickel等[302]设计了一种主动偏振成像系统,测量得到样品的穆勒矩阵,但是实验过程中操作复杂,所需测量数据过多,容易引起误差。Luna等[303]在分析了穆勒矩阵各个元素之间的关系后,设计了新的实验系统,其原理如图74所示。

      图  74  Luna等设计的多波长双旋转相位片偏振仪系统结构图[303]

      Figure 74.  Structure diagram of multi-wavelength dual-rotating phase plate polarization imaging system designed by Luna et al. [303]

      偏振成像探测具有强度成像无法比拟的独特优势:1)人造目标与自然背景偏振特性差异明显;2)偏振信息与强度、光谱等光学信息相独立;3)偏振信息在散射介质中的穿透性更强。正是由于这些优点,偏振成像技术已广泛应用于图像复原、目标识别、材料鉴别、生物医学和光弹应力测量等典型应用领域。

      (1) 图像复原

      雾霾、烟尘和水下的散射微粒造成的背向散射光具有明显的部分偏振特性,因而基于偏振成像的图像复原技术可有效抑制背向散射光,分离物体光和散射光,实现成像清晰度的提升。基于偏振成像的图像复原技术可以分为两大类。一类是基于偏振差分成像的图像复原方法[304]。该方法利用两个正交线偏振图像之间的差异抑制背向散射光,从而实现对物体的识别和探测。该方法对于简单的目标识别有较好的效果,但对于低偏振度物体和复杂场景等,复原效果一般。另一类是基于物理退化模型的偏振图像复原方法[305-306]。该方法通过采集同一场景在不同偏振态下的偏振图像[307-308],准确估计出背向散射光的偏振特性(如偏振度,偏振角等),反演退化过程,得到散射光强和透射系数等,实现场景光和散射光的分离,进而实现图像清晰度提升,如图75所示。该类技术作为现有的主流偏振复原技术经过长期的发展和改进,理论和实验上均趋于成熟,适用于各类散射介质环境且复原效果明显。如天津大学胡浩丰等[309311]通过测量物体光波的偏振态(Stokes矢量)或目标对偏振态的调制(Mueller矩阵)信息,实现了水下复杂环境中图像清晰度增强。西安电子科技大学邵晓鹏等[312]与陕西师范大学任立勇等[313-314]也将偏振成像技术应用到水下、雾霾与其他散射介质中,可显着提高拍摄图像的对比度和可见度。有关偏振图像复原技术更多详细的内容,请参阅《红外与激光工程》“计算光场成像技术与应用”专栏天津大学胡浩丰等撰写的综述论文:《基于偏振成像的水下图像复原技术研究最新进展》[315]

      图  75  大气散射模型与偏振去雾图像前后效果对比

      Figure 75.  Atmospheric scattering model and comparison of images before and after polarization defogging

      (2) 目标识别

      自然场景和人造物体的偏振特性之间存在明显差异,所以常规探测手段所无法识别的目标可以通过偏振成像技术辨别。Crosby与Cavanaugh借助偏振测量和光度测量[316-317],更有效地从自然背景中识别出了士兵及伪装军用车辆等目标;纽约大学Egan[318-319]研究B-52和C-130飞机的偏振特性,并基于此更准确地将飞机目标从天空背景中区分;Goldstein和Hors等[320-321]研究了雷达、车辆、舰船等目标的偏振特性,揭示了金属目标与非金属目标在偏振度上的差异,指出了偏振遥感探测技术在目标识别上的优势;目标与背景辐射的偏振度差异在中长波红外波段同样存在,因此偏振成像技术能够有效解决热成像中背景杂乱的问题[322-323],有效抑制红外背景辐射,从而提高目标的探测效率,相关技术在埋伏目标的识别等场景中得到应用[324]

      (3) 材料鉴别

      在材料鉴别方面,偏振信息与物体表面特征的关系一直以来都是偏振成像领域研究的热点。Koshikawa等[325]通过分析偏振光源在物体表面反射光的偏振度,得到了金属物体表面的特征信息;Wolff等[326]通过偏振Fresnel反射系数(PFR)判断反射面的属性;Miyazaki等[327]对红外辐射与镜面反射的偏振度进行了分析,从而得到了透明物体的表面特征信息;美国海军研究室从偏振角度出发对高吸收界面和高反射界面分别进行了检测[328]。以上研究表明偏振信息与物体表面特征息息相关。目标表面特征信息主要包括光学常数和表面粗糙度,固体材料的光学常数对于解释固体的光学性质有着重要意义,目前测量手段发展已经较为成熟,主要采用主动成像偏振技术。由于从穆勒矩阵出发可以推导出退偏振参数、起偏参数和双向衰减参数,且退偏振参数在偏振信息应用过程中一直是一项重要的指标,因此利用主动成像偏振技术测量目标的穆勒矩阵可以获得物体表面全面的偏振特性。Yang等[329]研究了大气中不同形状的冰颗粒对应的穆勒矩阵;Andreou等[330]在8~12 μm波段利用两种不同的红外偏振计对表面光滑的玻璃板、生锈的钢板和表面涂黑漆的铝板进行了测量。

      (4) 生物医学

      1976年,Bickel等[331]指出分析光的偏振特性可获得生物材料的一些结构信息,使得偏振技术在生物医学领域中的应用得到广泛关注。Jacques等[332-333]最早将光波的偏振度应用于皮肤基底癌细胞、皮肤鳞状细胞癌等病变的检测。Oldenbourg等[334-335]将偏振分析与光学显微镜结合,设计了一种基于液晶可调波片的新型偏振显微镜Pol-scope,该系统通过测量双折射分布的变化获得细胞的结构信息,可以在不对样品染色或标记的情况下,实现无损的细胞成像。Itoh等[336]对比了红细胞破损前后血液背向散射穆勒矩阵的变化,揭示了偏振成像用于血液疾病诊断的可能性。Xia等[337]通过测量点光源照明下的背向散射矩阵,研究骨骼肌的肌节结构。Antonelli等[338]借助面光源照明的背向穆勒矩阵研究人体肠癌组织,分析了不同波长照明下的组织在癌变前后穆勒矩阵发生的变化[339-340],并提出了穆勒矩阵多波长成像的概念。Chung等[341]将穆勒矩阵分解参数应用于检测口腔癌变组织;Wood等[342]研究发现穆勒矩阵分解参数可反映皮肤胶原纤维的破坏,具有用于某些皮肤疾病的诊断的可能性;Shukla等[343]发现穆勒矩阵分解参数具有宫颈癌早期诊断的潜力,随后Pierangelo等[344]指出穆勒矩阵分解参数可辅助区分处于不同病变阶段的宫颈上皮瘤组织;Wang等[345]将由9个线偏振相关穆勒矩阵元进行分解得到的参数用于胃癌组织的定量检测;Qi等[346-347]则将其与内窥技术结合,实现了动物体内消化道病变成像。清华大学马辉等[348350]通过在光路中增加偏振器件,保持显微镜、内窥镜等原有光学成像及测量设备工作方式不变的情况下,拓展其获取生物医学样品微观结构信息的能力。此外偏振技术还可以与其他光学方法结合,例如光谱成像、光学相干层析、荧光共聚焦显微等,以实现多模态多通道成像。其中最具代表性的就是偏振敏感光学相干层析技术[351],其不仅能得到传统OCT层析图像,还能得到背向反射光偏振状态随穿透深度的改变情况,在眼睛、皮肤、牙齿、骨骼等相关病变的检测方面都有应用。图76显示了牛心肌样品的三维PS-OCT成像结果[352]

      图  76  牛心肌样品的三维PS-OCT成像结果。(a)三维整体结构图;(b)局部光轴图;(c)局部延迟图;(d)局部二向衰减图

      Figure 76.  PS-OCT imaging results of bovine myocardial samples. (a) 3D global structure map; (b) Local optical axis diagram; (c) Local delay map; (d) Local bi-direction attenuation map

      偏振成像技术的另一项非常重要的应用是光弹应力测量。某些透明晶体由于具有各向异性的固有特性,因此极易产生双折射现象,称为永久双折射。1816年,Brewster等[353]首次发现透明非晶材料的暂时双折射(人工双折射)现象,即当材料受应力作用是产生双折射现象,而在消除应力后,材料内的双折射线性也随之消失。这种由于受到应力而使介质产生各向异性并显示出双折射现象的效应称为光弹效应。尽管早在18世纪就已经发现了人工双折射现象,但由于光弹技术中对光学元件性能与图像采集处理能力都有较高的要求,光弹性发展却停滞不前。近年来,先进仪器设备、自动化图像分析技术以及计算技术的快速发展为现代光弹性测量技术的诞生创造了条件。1986年,Heckerhe与Morche[354]首先将相移法应用于单色光弹测量分析中,通过旋转光学元件构建不同的偏振光场,得到了待测区域的等差条纹级数信息。1992年,Sarma等[355]通过改变分析镜角度,记录三张不同的光强图像,分析平面偏振光场的等倾角和等差条纹级数。Kihara[356]借助三波长法分析并确定了全场主应力方向与分布。Mangal与Ramesh[357]借助多步长加载相移法分析确定了等差线和等倾线。Magalhaes等[358]提出了只旋转分析镜的光弹分析方法,并推导了相应的公式。图77展示了采用六步相移法分析光弹图像中的等倾线和等差线[359]。1990年,Ajovalasit[360]首次提出了RGB光弹法,也称为彩色光弹法[361]。当采用波长范围300nm至800nm的宽谱白光为照明光,受载模型在偏振场中获取彩色条纹(见图77)。通过对单幅干涉图进行分析即可得到等差条纹级数,进而确定测量区域上主应力差的分布[362]。1998年,Yoneyanma等[363-364]采用三种波长的单色光作为光弹光源来处理光弹图像中的等差线和等倾线参数。1999年,Nursel[365]进一步提高了RGB光弹法的计算精度。Juan[366]提出了新的基于查表法的RGB光弹标定算法,跟数值模拟对比,该方法具有较高的精确度。除此以外,国内外在基于光弹效应的应力测量设备研发上也已取得了显著的成果。Strainoptics公司研发的PS-100-BS偏光应力仪采用的是光弹应力原理,其精度提升到了0.5 nm/cm,在玻璃和塑料产品的质量监控中得到了较为广泛的应用[367]。德国Erlangen ILIS公司生产的Strain Matic应力自动测试系统Strain Matic M4/320采用传统的Senarmont法,仪器通过测量穿过物体的线偏振光偏振角度的变化,能够快速测量样品的应力双折射,测量精度达到0.1 nm[368]

      图  77  对径压缩圆盘六步相移彩色光弹图像

      Figure 77.  Six-step phase-shifting color photoelastic images of the diametric compression disk

    • 相机成像过程将拍摄的三维场景映射成了二维图像,该过程丢失了场景的深度信息(或者高度、距离)。三维成像与传感技术作为感知真实三维世界的重要信息获取手段,为重构物体真实几何形貌及后续的三维建模、检测、识别等方面提供数据基础。而以光信号为载体的光学三维传感技术融合光电子学、图像处理、计算机视觉与现代信号处理等多学科为一体,已发展成为计算光学成像领域中最重要的研究方向之一。如图78所示,典型的光学三维传感技术主要包括光度立体视觉、双(多)目立体视觉、飞行时间法、激光线扫法、散焦恢复形状法、结构光投影法等,而结构光投影又包括条纹投影与散斑投影法等。本节对这些常见的光学三维成像技术进行介绍,其中将着重介绍目前最为广泛使用的结构光投影三维成像技术。

      图  78  典型的光学三维传感技术

      Figure 78.  Representative techniques for 3D optical sensing

      (1) 光度立体视觉

      光度立体视觉技术最早由Woodham[369]提出,其假设了一个已知的重构函数,即理想的朗伯体反射模型。采用一个相机和几个发光强度相同的光源,保持相机和拍摄物体静止,通过改变光源方向,同时拍摄物体在不同光源照射条件下的一组图像,然后根据这些图像计算出物体的表面法向,再由法向求解出物体表面三维形状。随后一系列方法被提出[370375]已解决光度立体法模型、对高光物体测量及标定问题等。光度立体法的设备较简单,但对环境要求严格,并需要待测物表面为严格平滑的漫反射朗伯体,对于具有陡变或者反射特性较为复杂的物体难以适用。

      (2) 双(多)目立体视觉

      立体视觉是一种模拟人类视觉原理的被动深度感知方法[376386]。测量系统基于三角测距原理,用两个或多个相机从不同角度获取同一场景的多幅图像,通过对同一物点在各幅图像上检测和匹配,根据立体视差进行测距,得到物体该点的深度信息。其原理如图79(a)所示。立体视觉测量系统硬件结构简单,易实现。其主要难点在于立体匹配,实际应用中由于遮挡或阴影的影响,可能会产生视觉信息不足的问题,导致误匹配。另外,对于无明显表面特征的物体,也难以从多个视角中找到对应点,因而无法进行准确的三维重建。但值得提及的是,立体视觉法的基本三维重建原理是和后面我们所介绍的结构光投影法是一致的。

      图  79  (a)立体视觉法[386];(b)飞行时间法[387];(c)激光线扫法[388];(d)散焦恢复形状测量法[389]

      Figure 79.  (a) Schematic diagrams of stereo vision[386]; (b) Time-of-flight method[387]; (c) Laser scanning[388];(d) Defocus recovery method[389]

      (3) 飞行时间法

      飞行时间法通过记录光束传播时间来计算被测物体表面的深度距离[390392]。其原理如图79(b)所示,系统发射装置发射脉冲信号,经被测物体反射后,通过信号从发出到接收的时间与速度便可以计算出深度值。激光飞行时间法可以分为两类:一类是脉冲调制(脉冲测距技术);另一类是对激光连续波进行强度的调制,通过相位差来测量距离信息的相位测距。市面上常见的测距仪、激光雷达,基本上都是采用时间飞行测距方法。该方法可避免阴影和遮挡带来的问题,但由于设备装置的限制,测量精度一般在毫米级。若想达到更高的精度,就需要更加复杂、昂贵的设备。虽然许多学者尝试将飞行时间法与多视几何相结合来提高测量空间分辨率与测量精度[393395],但与高精度测量方法相比,飞行时间法还存在一定的差距。

      (4) 激光线扫法

      激光线扫法的原理如图79(c)所示,其是一种最简单的结构光三维测量技术。该技术利用线激光器投射一维线激光到物体表面,图像采集装置采集到物体表面变形的线激光,然后根据三角测量原理得到物体表面相应位置的三维信息。线激光扫描方法的优点是其数据采集不依赖外部光照环境,对目标场景要求低,操作简单直观,自动化程度高[388,396-397]。但由于激光扫描仪本身技术的限制,它也存在以下不足:扫描速度较慢,激光扫描仪造价高[398];其最高精度和最大扫描距离是固定的,无法像摄影测量那样通过方案设计来得到提高;无法获取高质量纹理数据[399]等。宽泛意义上说,激光线扫法其实就是结构光投影法的一种极端特例。但由于投影图案就是一条直线,所以测量效率要比全场结构光技术要低得多。

      (5) 散焦恢复形状法

      散焦恢复形状法的原理图如图79(d)所示,散焦恢复形状是通过处于不同深度方向物体在图像中离焦的程度来恢复物体的深度值,测量过程中需要移动被测物或是相机,拍摄至少两张不同聚焦程度的图像。1995年,哥伦比亚大学的Nayer[400]首次实现基于散斑恢复的三维面型测量法,其向被测物体投射图案,经被测物体反射后,通过分束棱镜分离将光线分离,由两个相机在同一个方向分别采集,由于两幅图像具有不同的离焦信息,因此可以计算出相机图像中每个像素的深度值。测量过程中,投影与采集方向几乎一致,因此测量时很少会受到遮挡与阴影的影响,并且计算过程较为简单,在不依赖于高性能硬件条件下便可以实现实时动态三维面形测量。1998年,Nayer等人[401]在不使用主动光源的情况下,实现了具有纹理表面物体的三维测量。然而,该方法在深度方向的测量误差还有待进一步改进。

      (6) 结构光投影法

      结构光投影法是一种非常流行的非接触式三维形貌测量技术,其具有硬件配置简单、测量精度高、点云密度高、速度快、成本低等优点,已在工业和科学研究中得到广泛应用。结构光投影法可看作是立体视觉法的一种改进,其通过将立体视觉中一个摄像机替换成光源发生器(如投影仪)而实现。光源向被测物体投影按一定规则和模式编码的图像,由于物体表面被编码图案所覆盖,可很容易地克服立体视觉中的立体匹配问题,最终测量精度可达到几十分之一到几百分之一个等效波长。对于想了解有关结构光投影法的基本原理读者,建议阅读Geng等[402]所发表的结构光教学论文。

      最具代表性的结构光投影技术是条纹投影轮廓术(Fringe Projection Profilometry,FPP)。其原理如图80所示,投影仪将光栅条纹投向物体,条纹经物体调制后变形,再由相机采集;从采集到的条纹图中可获取物体相位信息,根据相位可找出相机在投影仪的对应点,然后根据三角关系可求出物体的深度信息[403413]。在此过程中存在两个关键步骤:相位测量和相位展开,下面分别对此进行介绍。

      图  80  条纹投影轮廓术示意图[403]

      Figure 80.  Schematic diagram of fringe projection profilometry [403]

      FPP中两种主要的相位测量技术是(时域)相移轮廓术(Phase Shifting Profilometry,PSP)[403,414]和(空域)傅里叶变换轮廓术(Fourier Transform Profilometry, FTP)[60,415-416]。FTP是一种基于空间滤波的单帧光栅投影法,最初由Takeda等[60]于1982年提出,随后四川大学的苏显渝、张启灿课题组针对此方法开展了系统深入的研究工作[415-416]。此外,加窗傅里叶变换(Windowed Fourier Transform, WFT)[417-418]和小波变换(Wavelet Transform, WT)[419]也可用于单帧相位解调。不同于FTP,PSP需要至少三幅相移条纹图案以实现逐像素的高精度相位测量。PSP最初由Srinivasan等[63-64]从相移干涉技术中引入三维形貌测量领域。由于多帧测量特性,PSP具有更高的空间分辨率和相位测量精度;但当测量动态场景时,尤其当帧间间隔内的物体运动不可忽略时将导致相位误差[420-421]。近年来,随着高帧率图像传感器、高性能处理器和高速数字投影技术的发展,PSP已逐渐应用于动态场景的高速实时三维测量[422-423]。有关FTP和PSP的更多详细的技术细节及其在动态三维测量方面的应用可分别参阅四川大学苏显渝、张启灿课题组的两篇综述论文[415-418]及笔者课题组所发表的综述论文[424]

      通常所获取的包裹相位范围限制在−π和π之间,为了建立相机和投影仪间唯一的像素对应关系,并正确重建三维形貌,需对相位进行展开。常见的相位展开法分为空间相位展开和时间相位展开两大类。空间相位展开通常只需一幅单独的相位图,依据像素邻域内的相位值实现相位展开。代表性的空间相位展开法包括可靠度引导的相位展开法[425]、剪枝法[426]、多网格法[427]、最小${L_p}$范数法[428]、掩膜切割法[429]、最小二乘相位展开法[430]等。但对于孤立物体和不连续表面的相位分布,利用空间相位展开法无法无歧义地实现可靠的相位展开,如图81所示。时间相位展开方法通过采用多个包裹相位分布或添加额外的黑白编码图案来提供关于条纹级次的额外信息,可逐像素地展开任意复杂形状表面的包裹相位分布[431441]。其中常用的算法包括格雷编码法[433,442]与多频时间相位展开法[431-432,443448]。有关于时域相位展开的基本原理可参考笔者课题组所发表的相关综述论文[424]。尽管时间相位展开法可稳定地展开复杂场景的包裹相位,但其通常需投影额外的辅助图像,难以用于对动态场景的三维测量。而基于几何约束的立体相位展开法可利用不同视角间的空间几何关系在不添加额外辅助图像的情况下实现相位无歧义展开[449-455]。笔者课题组提出的基于立体相位展开技术的四目实时三维成像系统,可在45 Hz的高三维图像刷新速率下实时获取精度优于45 μm的彩色三维轮廓数据[450,452],并实现实时全方位点云获取和三维面型缺陷检测,如图82所示。

      图  81  孤立物体和不连续表面的包裹相位存在条纹级次歧义[424]

      Figure 81.  Fringe order ambiguity in the wrapping phase of isolated objects and discontinuity surfaces[424]

      图  82  基于立体相位展开的四目实时三维测量系统及其测量结果。(a)笔者课题组提出的四目实时系统[450];(b)该系统获取的动态场景下的实时彩色三维轮廓数据[450];(c)该系统获取的全方位点云数据[456];(d)该系统实现的360°三维面型缺陷检测[457]

      Figure 82.  Quad-camera real-time 3D measurement system based on stereo phase unwrapping and its measurement results. (a) Quad-camera real-time system proposed by our research group[450]; (b) The real-time color 3D data in the dynamic scene obtained by our system[451]; (c) The omnidirectional point cloud data obtained by our system[456]; (d) 360° 3D surface defect detection obtained by our system[457]

      另一种典型的结构光投影技术是散斑结构光投影法。其三维重建的基本流程为:首先,对物体投射随机散斑图案,利用提前标定好的双目相机同时拍摄物体获取左右原始散斑图;对原始散斑图像进行极线校正和散斑区域提取,在此基础上利用数字散斑相关方法搜索整像素对应点并根据视差约束剔除误匹配;然后,通过合适的亚像素搜索方法得到准确的亚像素对应点;最后,利用三角测量原理重建出物体的三维形貌。但与FPP不同,散斑结构光投影法是一种快速、单帧重建、测量范围大的三维测量方法,在消费电子领域备受青睐。2010年,美国微软公司发布了跨时代全新体感套件——Kinect(图83(a)),类似产品还有PrimeSense公司研发的深度相机(图83(b))等。基于散斑投影轮廓术的Kinect使用小型化散斑投影模组将数万个肉眼不可见的近红外光斑投影到被测场景,红外摄像头同步采集形变散斑图像,利用立体匹配技术得到视差图以实现三维成像。2017年9月,美国苹果公司将Kinect整体硬件缩小到iPhone X独特的“刘海”上,通过快速扫描人脸面部的三维信息以实现基于Face ID的三维人脸识别(图83(c))。虽然数字散斑三维重建有着单幅重建的优势,但由于该方法在搜索对应点时需要对大量待匹配点进行相关函数的计算,此过程计算量庞大,显著影响着三维重建的效率。此外,受散斑生成的质量[458]、相关窗口的大小[459]等诸多因素的影响,散斑相关法所重构的点云密度与空间分辨率相对较低,不适合高分辨、高精度的三维测量。

      图  83  基于散斑相关法的商业产品。(a) Kinect; (b) PrimeSense; (c) iPhone X

      Figure 83.  Commercial products based on speckle correlation. (a) Kinect; (b) PrimeSense; (c) iPhone X

      (7) 基于深度学习的结构光三维成像

      随着数字光投影器、高速光探测器等光电器件以及高性能计算机、嵌入式处理器等运算处理单元的跨越式发展,人们也随之对结构光三维成像提出了更高的期许——既要“精度高”,又要“速度快”。尽管二者似乎天生就是一对矛盾体,“速度”已逐渐成为采用结构光三维成像时所要考虑的“必要因素”。对结构光三维成像技术而言,仅采用一幅投影图案实现高精度三维重建才是研究人员永恒追求的终极目标。如前文所述,1983年Takeda等[60]提出的FTP技术可从单幅条纹图像中恢复出被测物相位信息,但FTP成立的前提条件是物体表面调制的高频信息能够与背景在频谱域相分离,因此其仅能用于测量较平缓的面型,难以实现对复杂物体的高精度三维重构。

      近年来,以深度学习为代表的人工智能技术已为计算机视觉、计算成像等众多领域带来巨大变革。鉴于深度学习在这些相关领域所取得的巨大成功,光学计量学的研究人员也开始积极投身到这一快速发展的新兴领域中。笔者课题组率先将深度学习技术应用于条纹分析,实现了单帧相位获取,有效提升了FPP的三维测量精度[460-461]。该方法的思想在于仅采用一张条纹图像作为输入,利用深度神经网络来模拟相移法的相位解调过程,如图84(a)所示。相比于FTP,该方法能更准确地提取相位信息,相位精度可提升50%以上,如图84(b)所示。目前该技术已应用于测量速度高达20 000 Hz的超高速三维成像,如图84(c)所示[462]。然而,该技术仅能实现单帧包裹相位获取,要想实现绝对三维测量,还需进行相位展开。对此笔者课题组进一步将深度学习技术分别与几何约束、彩色编码、多频复用技术相结合,实现了真实意义上的单帧无歧义高精度结构光三维成像(图84(d)和(e)),为复杂、高速运动物体的三维面型准确的测量开辟了新途径[463465]。此外,还有一些学者以端到端的学习方式直接将条纹图像映射到绝对深度信息[466468]。针对散斑结构光测量精度与分辨率较低的问题,笔者课题组提出了基于深度学习的单帧散斑投影三维测量方法[469],利用端到端立体匹配网络可直接获得亚像素精度的视差图,匹配精度提升50%,实现了精度为110 μm的单帧三维测量。另一方面,可喜地发现,当前深度学习技术已全面“渗透”进了计算光学和光学计量这一学科中,在条纹分析[460-461,470472]、条纹去噪[473]、相位展开[463465]等方面展现出令人惊叹的性能以及强大的应用潜力。诚然现阶段这些“漂亮”甚至“华丽”结果背后的深层次原因仍不明晰,许多学者针对深度学习重建结果的精度和可靠性等方面仍然存疑。但可以乐观地相信,随着人工智能理论与技术的进一步发展、计算机硬件水平与性能的不断提高、光学信息处理技术与方法的不断改进,这些问题在不远的将来会迎来突破并逐步得到解决,深度学习技术也将在三维成像领域发挥更为重要的作用,产生更为深远的影响。

      图  84  利用深度学习的单帧相位恢复方法流程图以及不同方法的三维重建结果。(a)基于深度学习相位恢复原理[460];(b)不同条纹分析方法(FT、WFT、基于深度学习的方法和12步移相轮廓术)的三维重建比较[460];(c)利用深度学习方法对一台不同转速的电扇进行了测量[462];(d)利用深度学习单帧彩色条纹投影轮廓术对旋转工件的动态三维重建[464];(e)利用深度学习单帧复合条纹投影轮廓术对旋转女孩模型的动态三维重建[465]

      Figure 84.  Flowchart of the single-frame phase retrieval approach using deep learning and the 3D reconstruction results of different approaches. (a) The principle of deep-learning-based phase retrieval method[460]; (b) Comparison of the 3D reconstructions of different fringe analysis approaches (FT, WFT, the deep-learning-based method, and 12-step phase-shifting profilometry) [460]; (c) The measurement results of a desk fan rotating at different speeds using our deep-learning method[462]; (d) The dynamic 3D measurement result of a rotating workpiece by deep-learning-based color FPP method[464]; (e) The dynamic 3D measurement result of a rotating bow girl model by composite fringe projection deep learning profilometry(CDLP)[465]

    • 光的本质是电磁场,有波长、振幅、相位等属性,而传统的成像方式只能获得空间中光辐射场在二维平面上的投影强度,而不能得到光线角度等其他维度的光学信息,是一种直观的成像方式。而光场可以记录空间光辐射场的完整分布,光场成像就是光场的捕获以及光场的处理过程。对比传统的成像方式,光场成像是一种基于计算成像理论的新型高维成像技术,其应用非常广泛:可以对指定景深处的图像进行光场积分,实现数字重聚焦;可以进行合成孔径成像;可以实现光场显微等很多应用。

      光场成像技术的发展经历了一个漫长的时期。1936年,Gershum[474]将光场定义为四维光辐射场在空间位置向各个方向的传播,这是最早的对四维光场的定义。之后,光场成像理论和技术得到了广泛的关注和高速的发展。目前获取光场信息的手段总体来说分为两大类,通过改变光学设计(如引入微透镜阵列、相机阵列、或通过编码掩膜、编码孔径等)的方式直接采集光场以及近年来发展出的通过离焦强度序列恢复四维光场的计算光场成像技术。

      (1) 微透镜阵列式光场成像

      引入微透镜阵列可以对光场进行直接采样。将微透镜阵列放置在主镜头与成像传感器之间,光线与两个平行平面的交点分别作为二维位置信息和二维角度信息,在不同成像系统中表示位置和角度的两个平面的选择略有不同,但都通过微透镜阵列得到了四维的光场。光线通过主镜头、微透镜阵列,最后到达成像传感器(如CCD/CMOS)。1992年,Adelson[475]提出全光场理论(plenoptic theory),并将该理论运用到计算机视觉。基于全光场理论,Adelson设计了全光相机,主要结构由主镜头、微透镜阵列和成像探测器组成,可进行目标视角变换并获得目标深度信息。2005年,Ng等[476]在此基础上简化了全光相机的结构,制成了如图85所示的手持式光场相机Lytro,并在随后推出了其第二代升级版本。此外,Raytrix公司同样设计出了基于微透镜阵列的便携式光场相机(见图85)。Raytrix和Lytro两者面向的市场不同,Lytro主要面向普通大众,成像的空间分辨率较低,硬件成本也相对较低,而Raytrix主要面向工业和科研应用领域,价格高昂。Raytrix的关键技术在于延拓了采集光场的深度范围[477]并开发了一套用于标定光场相机的自动标定算法[478]

      图  85  各种基于微透镜阵列的光场相机系统

      Figure 85.  Various light field cameras based on microlens array

      (2) 相机阵列式光场成像

      另一种对光场进行直接采集的方法借助于大规模相机阵列。通过对大规模相机阵列按一定顺序进行排列,使得不同位置的相机(普通相机无需改造)分别记录不同角度的图像信息。1996年,Levoy与Hanrahan[479]提出了光场渲染理论(Light Field Rendering, LFR),并将相机安装在一个可以平移和转动的机械臂上构造成一个光场采集支架如图86(a)所示,由单个相机完成对目标场景的四维光场采集。2002年,Yang等[480]在MIT搭建出全世界第一套近实时相机阵列,单个视角下分辨率为320×240,有8×8共64个视角,光场采集帧率为18 fps,延时80 ms。2005年,斯坦福大学的Wilburn和Joshi等[481]设计了大规模128相机阵列,如图86(b)所示。他们使用低成本相机和镜头一次性对于同一场景获取大量视角下的图像,并且将相机阵列的图像用于提升成像分辨率、动态范围、帧率和合成孔径等方面,以获得传统高成本单镜头摄像机无法实现的功能与性能。然而,由于角度采样的高度离散化,需要多次移动相机或使用大规模的相机阵列才能获得满足角度采样需求的光场数据,这种技术通常应用于一些大场景的光场摄像。2015年,清华大学林星等[482]将基于相机阵列的光场采样应用到显微领域,图86(c)展示了基于相机阵列的光场显微镜,通过专有的光路组合和设计可实现显微视场下的光场采集,能够实现高分辨率的光场显微成像。然而,基于相机阵列的光场成像系统规模较为庞大,硬件成本较高,因而难以广泛应用。

      图  86  基于相机阵列的光场采集。(a) 斯坦福光场龙门架[479]; (b) 斯坦福大学的大规模相机阵列[481];(c) 5×5相机阵列实现显微光场采集[482]

      Figure 86.  Light field capture based on camera arrays. (a) Stanford Spherical Gantry[479]; (b) Stanford large camera arrays[481]; (c) Acquiring micro-object images with the 5×5 camera array system[482]

      (3) 编码掩膜光场成像

      基于微透镜阵列和基于相机阵列都是通过对棱镜和透镜的排布来捕获高维的光场,是一个直接获得光场的过程。这种技术存在较为明显的缺点,即无法同时兼容或满足高空间采样率和连续视角采样率。而大规模相机阵列虽然在没有牺牲空间分辨率的前提下增加了角度分辨率,但是成像系统规模十分的庞大,硬件成本高且难以广泛应用。总而言之,如何解决光场成像技术的空间分辨率与角度分辨率二者之间的矛盾是该领域亟待解决的问题。基于编码掩膜的光场采集有助于解决这一对分辨率的矛盾,即对相机的孔径做相应处理,重构出光场数据。Veeraraghavan通过在普通相机中插入一个掩膜搭建了一款光场相机[483]图87(a)),将采集到的图像变换到频域后发现其频谱呈规律性分布,属于典型的频率复用技术。这类技术的特点在于掩膜是非折射元件,并且通过后期算法计算重构光场信号,因此使用掩膜的光路结构比使用微透镜阵列具有更高的设计自由度。除此之外,MIT Media Lab的Marwah等[484]基于此结构进一步提出了压缩光场采集方法(图87(b)),通过压缩感知采集和重构技术可以获得更高空间分辨率的光场。

      图  87  基于编码掩膜的计算光场成像。(a)掩膜增强相机光场采集[483];(b)压缩光场采集[484]

      Figure 87.  Computational light field. (a) Mask enhanced camera[483]; (b) Compressive light field photography[484]

      另一类解决光场技术成像的空间分辨率与角度分辨率二者之间的矛利用可编程孔径技术。Liang等[485]首次提出并设计了可编程孔径相机(Programmable aperture camera),如图88(a)所示,通过多次曝光的方式对主镜头的子孔径进行采样,每次曝光时只允许特定子孔径位置的光线成像到探测器上,子孔径的采用特定的二值编码方式以确保后期高信噪比的光场重构。2016年,笔者课题组也将可编程孔径思想引入到光场显微领域,提出了一种可编程孔径显微镜(Programmable Aperture Microscopy, PAM)[251],通过在显微成像平面后放两块透镜,两块透镜形成一个4 f系统,将可编程LCD放在4 f系统的中间的傅里叶平面上(见图88(b))。LCD是一个可编码的空间光调制器,通过对LCD的编码可以拍摄到不同合成角度下的光场图像,再反解出每个角度下的图像,即可得到四维光场。基于可编程孔径的光场成像技术的优势在于其能够获得探测器全分辨率的光场采集,但与此同时也牺牲了成像的时间分辨率。

      图  88  基于可编程孔径的光场成像。(a) 可编程孔径光场相机[485];(b) 可编程孔径光场显微镜[251]

      Figure 88.  Light field imaging based on programmable aperture. (a) Programmable aperture light field camera[485]; (b) Programmable aperture microscope[251]

      (4) 计算光场成像

      除了通过改变光学设计的方式来获取采集光场以外,近年来新兴起了计算光场成像技术,即通过采集离焦强度序列利用后期计算重构的方式恢复四维光场。方法主要包括基于光场矩成像与基于反投影的光场成像技术。光场矩成像(Light field moment image, LMI)是2013年Orth等首次提出的[486],它仅需要采集观测场景两幅不同焦距上的光强图像,通过求解一光场传播的连续性方程来提取光场的一阶矩,并利用该一阶矩与均匀高斯角分布假设来构建目标场景各个视角下的透视图。后来笔者课题组发现在几何光学的近似下,LMI中所采用的连续性方程就是部分相干光场下光强传输方程(TIE)联系起来,整套求解理论也与TIE相位恢复技术不谋而合[226]

      基于反投影的光场成像是Park等[487]首次提出的,其利用一个普通的相机对观测场景在不同的焦距下拍摄多幅图像,然后将拍摄的图像反投影到四维空间得到光线场。所获得的光场可以进行数字处理或光学重建,使用各种三维显示技术(包括积分成像、分层显示和全息照相)进行可视化。在此基础上,陈妮等[488]分析了基于焦平面扫描的光场重建技术中的散焦噪声,提出了一种减少散焦噪声的方法以提高重建光场的分辨率。Lu等[489]也基于类似的方法提出了基于相空间反演的高分辨率光场成像技术,通过将标准相机的高分辨率图像与透镜阵列的低分辨率光场图像相结合,利用迭代投影的方式实现了光场图像的空间分辨率的提升。关于计算光场成像的更多详细介绍,可以参阅陈妮等撰写的综述论文《基于深度测量的三维成像技术》[490]

      光场成像作为一种新型的多维计算成像技术,具有广阔的应用前景。在摄影成像领域,光场相机可以对单次曝光后获得的图像进行数字重聚焦,实现“先拍照、后聚焦”[476],并且在一定程度上克服了光圈与景深之间的矛盾(图89(a))。在航天光电测量领域,光场成像原理还可以实现非合作目标测距,不依赖目标表面几何特征的光标信息,在军事上具有重要的应用价值[491]。光场成像的另一大优势在于可以实现多视角图像的合成孔径。不同于光场渲染理论(Light Field Rendering, LFR)[479],合成孔径成像技术能够实现动态光场“再参量化”(Dynamically reparametrized light fields)[480]。相机阵列整体可看作一个大孔径的“虚拟相机”,当合成孔径相比于目标前的障碍物具有较大的空间尺寸时,在像面上可以虚化障碍物从而探测到目标物体。斯坦福大学还设计出动态实时聚焦的合成孔径系统[492],通过计算得到遮挡物后的目标信息(图89(b))。该穿透遮障的“透视”特性展示了光场合成孔径技术在监控安防、监视侦察领域的应用潜力。此外,光场成像还能够与光学显微成像技术相结合,发展成为一种高效三维显微成像的新体制,具体内容请参见2.1.6小节的相关内容。

      图  89  光场成像在计算摄像的应用。(a)光场重聚焦[476];(b)合成孔径成像[492]

      Figure 89.  Light field imaging in computational photography. (a) Light field refocusing[476]; (b) Synthetic aperture imaging[492]

    • 作为传统二维平面成像技术的延伸和拓展,三维断层成像技术在生物医学成像中应用更为广泛。从被成像物体空间尺度上来看,可以分为计算断层扫描成像和显微光学衍射断层成像,其中计算断层扫描成像技术主要成像对象为人体或组织等具有较大尺寸的物体,而显微光学衍射断层成像则主要围绕细胞等较小尺度的观测样品。

      (1) X射线断层扫描

      X射线断层扫描术( X-ray computed tomography(X-ray CT))是用X射线束对人体某部一定厚度的层面进行360°扫描,由探测器接收透过该层面的X射线,由光电转换变为电信号,再经模拟/数字转换器(Analog/Digital converter)输入计算机处理,形成物体内部三维结构的成像技术(图90(a))。由于待测样品内部不同相和成分的密度以及原子系数的不同,对X射线的吸收能力有强有弱从而造成成像的明暗差别,从而可以进行不同组分的分析。其作为一种新型的无损检测技术广泛用于疾病诊断,其三维成像的能力使得其在更多的医学和工业领域发挥着越来越重要的作用,现已成为医学诊断和工业检测的主流技术之一。

      图  90  X 射线断层扫描技术。(a) X-ray 二维图像 与(b)三维CT 的对比及螺旋锥束扫描CT

      Figure 90.  X-ray computed tomography. (a) 2D X-ray image versus; (b) 3D X-ray CT and Spiral cone beam scanning CT

      1967~1970年间,英国EMI公司的工程师Hounsfield研发出世界第一台临床CT装置[493],CT这项技术的问世在放射学界引起了爆炸性的轰动,CT技术的诞生在放射学界引发了爆炸性的轰动,因而被认为是继1895年伦琴发现X射线(1901年获首届诺贝尔物理学奖)后,工程界对放射学界又一个里程碑式的贡献。CT最初的思想要追溯到1917年奥地利数学家Radon对于Radon正逆变换公式的证明[494],这是CT重建最基础的数学理论。然而70年代以前,Radon的公式并未被发现且利用到CT研究上,当时所采用的用于投影图像精确重建方法是美国物理学家Cormack于1964年确立的[495]。鉴于计算机断层装置在医学上的重大贡献,Hounsfield和Cormack获得1979年诺贝尔医学奖。目前为止,X射线CT在方法与系统上的演变已经历了七代——笔束平移旋转扫描、窄扇束平移旋转扫描、宽扇束射线源与探测器同步旋转扫描、宽扇束射线源旋转扫描、电子束扫描、螺旋扇束扫描、螺旋锥束扫描,在成像质量和成像速度上得到了显著提升。在医学诊断领域,螺旋锥束扫描已发展为CT设备的主流扫描方式(见图90(b))。而在当今工业检测的实际应用中,出于对成本、实际工程要求等各方面因素的考量,工业CT产品的主要制造商仍然采用第三代宽扇束射线源旋转扫描方式。

      (2) 核磁共振成像

      核磁共振成像(Magnetic Resonance Imaging,MRI)是依据所释放的能量在物质内部不同结构环境中衰减不同,即核磁共振原理(Nuclear Magnetic Resonance,简称NMR),通过外加梯度磁场检测所发射出的电磁波,即可得知构成这一物体的原子核位置和种类,并根据这些信息绘制物体内部的结构图像。1930年,美国物理学家Rabi[496]最早发现原子核、磁场以及外加射频场之间的相互作用,原子核在施加磁场后会沿磁场方向呈正向或反向的有序排列,而施加电场后原子核的自旋方向发生翻转。1946年,美国科学家Bloch和Purcell在实验中发现磁场中具有奇数个核子(包括质子和中子)的原子核,在施加特定频率的射频场下,原子核会吸收射频场能量,这就是人们最初对核磁共振现象的认识[497]。1952年,Bloch 和Purcell由于发现了核磁共振获得了诺贝尔奖。基于核磁共振原理对人体内部结构进行成像成为了一种革命性的医学诊断工具。目前核磁共振成像检查已经成为一种常见的医学影像检查方式,医学、神经生理学和认知神经科学的发展在它的推动下也有了质的飞跃。磁共振成像技术与其他断层成像技术(如X射线CT)具有一些共同点,比如都可以用于获取某种物理量(如密度)在空间中的分布情况;同时也具备一些特殊的成像能力:磁共振成像可以得到任何方向的断层图像、三维体图像,甚至空间-波谱分布的四维图像。目前核磁共振已广泛应用于物理、化学、材料科学、生命科学和医学等领域。特别在医学领域,核磁共振成像(MRI)已经在全身各系统的诊断中都得到应用。其中颅脑(如图91所示),脊髓、心脏大血管、关节骨骼、软组织及盆腔等的诊断效果最佳。值得一提的是自核磁共振现象发现到MRI技术成熟这几十年期间,与核磁共振相关的研究曾在三个领域(物理学、化学、生理学或医学)内累计获得过6次诺贝尔奖,足以说明MRI技术及其衍生技术的重要性。

      图  91  典型的颅脑MRI图像

      Figure 91.  Typical brain MRI images

      (3) 三维荧光显微与反卷积

      严格上而言,细胞和组积都是三维结构体。传统宽场显微只能拍摄二维图像,所观察到的聚焦面的图像其实既包含着聚焦面物体信息,又包含着来自于离焦面的杂散光的贡献。这为准确地解读生物标本的三维结构制造了阻碍。为了解决这一问题,人们通常需要采用具有三维层析能力的显微成像技术,如激光共聚焦显微[498]、双/多光子荧光显镜[499-500]、光片显微等[501]。对于共聚焦显微成像而言,其通过针孔滤波逐点扫描的方式可以有效排除传统宽场显微镜离焦面上光强与杂散光所造成的图像背景,相比宽场显微镜而言本身就具有更高的光学切片能力(Optical sectioning),如图92所示。而双光子(或多光子)荧光显微镜是借助于双光子(或多光子)非线性激发技术,能够进一步提升共焦显微镜的层析能力,实现高空间分辨率的深层组织荧光成像。

      图  92  宽场(左)与共聚焦显微镜(右)的光路结构[502]

      Figure 92.  Schematic of widefield (left) and confocal fluorescence microscope (right) optical path structure[502]

      区别于直接采用具有“物理门控”效应的三维荧光显微技术,另一种实现具有三维层析能力的显微技术需借助于计算成像的思想,称为三维荧光反卷积。三维荧光反卷积起源于1971年,Weinstein与Castleman[503]发表了关于由二维切片重建三维样本结构的论文,首次提出了通过二维图像z堆栈重构样品三维图像信息的思想:即将显微镜的物焦平面按照一定的步进间隔依次置于三维样本的不同位置并采集此时样本位于像焦平面的二维图像。采集到的二维切片图像称为光学切片,样本的三维图像就是由采集到的这一组离散采样的光学切片重构而成,其基本思想如图93所示。但是当时Weinstein与Castleman只是对图像进行了简单的配准与边缘增强,并没有使用到反卷积技术,因此实际上并不能得到真正的三维层析成像。因此这些工作在当时并没有受到广泛的关注。1989年,Agard[504]首次系统性的论述了三维荧光显微技术的三维卷积数学模型,即测量到三维图像堆栈为3 D PSF与理想3 D图像的卷积。他还指出采用显微镜对荧光染料标记的细胞进行观察时,存在的主要问题是每片二维光学切片是焦平面和离焦面光信息的线性叠加,导致焦平面的图像质量下降。因此需要对图像进行反卷积恢复,去除或减弱在成像过程中引起的图像质量下降或退化,使得处理后的图像尽量趋近没有退化的理想图像。基于此,他提出了若干简单高效的反卷积解决方案以有效排除离焦面上光强并提升成像的分辨率。论文发表之后,该方面的研究才引起了学术界的广泛关注,并随后得到迅速发展。

      图  93  荧光显微镜拍摄到的细胞三维图像

      Figure 93.  An example of the acquired 3 D image of a cell, captured by a fluorescence microscope

      三维图像反卷积恢复算法需要预先确定成像系统的PSF[505]。理论上当物镜放大倍率、数值孔径、以及成像介质的折射率、发射荧光波长已知的情况下,可以计算出理论上的点扩散函数。如显微镜物镜浸油的折射率为1.515,物镜为Olympus UPIanApo 100 ×/1.4 NA Oil,成像波长500 nm,按上述条件计算出的显微镜成像系统的理论点扩展函数的二维切片图像如图94所示。然而实际成像系统往往存在像差,因此针对某个具体显微镜成像系统的准确的PSF函数模型往往难以直接通过理论得到,而需要采用理想点物体(如尺寸小于光学衍射极限的荧光小球)直接采集得到。

      图  94  理论计算得到的三维PSF的x-yx-z平面切片图像。(a) x-y平面切片图像,每一切片上方数字表示该切片沿z轴方向距离点扩散函数中心亮点的距离;(b) x-z平面切片图像,每一切片上方数字表示该切片沿y轴方向距离点扩散函数中心亮点的距离

      Figure 94.  x-y and x-z slice images of three-dimensional PSF are calculated theoretically. (a) x-y slice images. The number above each slice represent the distance between the slice along the z-axis direction and the central highlights of the point spread function; (b) x-z slice images. The number above each slice indicates the distance between the slice along the y-axis and the highlight of the point spread function center.

      当对物体进行光学切片扫描时,成像系统所记录到的原始图像堆栈是三维样品函数和PSF的卷积,采集得到的三维原始图像因受离焦面光线的影响而变得模糊,因此需要根据采集到的原始图像和PSF求样品的函数,这一过程即是反卷积。图95展示了反卷积三维荧光显微成像的工作流程图。三维荧光反卷积的方法有很多,一般可分为六大类:无邻域方法、邻域方法、线性方法、非线性方法、统计方法和盲卷积方法。

      图  95  反卷积三维荧光显微成像的工作流程

      Figure 95.  Workflow of deconvolution three-dimensional fluorescence microscopic imaging

      无邻域方法计算方法效率高,只是简单分别处理每个二维焦平面切片。这种方法的应用仅限于高空间频率的物体[506-507]。邻域方法通过考虑来自相邻平面的信息对每个二维焦平面图像进行去模糊处理。然后通过从焦平面图像中减去模糊平面来进行反卷积。线性方法是最简单可靠的三维反卷积方法,其直接通过线性滤波器,如维纳滤波实现反卷积,该方法充分利用来自所有焦平面的图像信息[508]。非线性方法在线性算法的基础上引入了额外的物理先验(例如非负性、有限样本支持、样本分片平滑和正则化[509511]),可有效改善重建图像的效果,但通常需要迭代优化,以增加计算复杂度为代价。统计方法对样本与噪声的分布进行精确数学建模,基于概率论思想(如最大后验)进行目标图像的恢复。当获取的三维图像中的噪声相当强时,该方法往往非常有效[510,512]。上述提到的算法都依赖于对系统PSF的精确建模,而在实际成像场景中,受到噪声、相差以及低信噪比的影响,往往很难得到成像系统的精确PSF。盲反卷积法(Blind deconvolution)[513-514]在重建理想三维样本信息的同时对显微镜的PSF也同时进行估计[515],可以有效地解决PSF难以准确标定的问题,在成像系统存在像差等干扰因素时往往具有较好的表现。在实际使用中,建议对拍摄的图像应用几种不同的反卷积算法进行测试,最终在算法简单性、计算复杂度、收敛速度、抗噪声鲁棒性和重建图像的保真度之间进行适当的折衷。此外值得提及的是,三维荧光反卷积同样也适用于具有三维层析能力的显微成像技术,如共聚焦显微镜,其能够进一步去除成像系统点扩散函数对于图像的模糊作用,使影像数据更加清晰。

      (4) 三维光场显微

      在2.1.5节中,已经讨论过光场成像技术,其是一种基于计算成像理论的新型高维成像技术。除了可以应用于宏观摄影,还能够与光学显微成像技术相结合,构成为一种高效的非相干三维显微成像的新体制。2006年,Levoy等[516-517]搭建了光场显微成像系统,如图96(b)所示,在传统科勒照明的明场显微镜(见图96 (a))的原始成像面插入一块微透镜阵列,图像传感器放置于微透镜阵列后焦面处,能够获得样本在不同视点和不同焦面处的显微图像。通过焦点堆栈和点扩散函数进行三维反卷积,可以实现单帧体成像。然而,这种基于几何光学的光线模型无法考量显微成像条件下的衍射效应,其空间分辨率仍受限于微透镜数量。2013年,Broxton等[518]提出光场显微成像的波动光学模型,如图96 (c)所示。通过光场点扩散函数进行4 D反卷积,利用光场角度信息的冗余性实现较高空间分辨率的体成像。Levoy和Broxton等提出的光场成像系统结构和波动光学模型奠定了基于微透镜阵列的光场显微成像的基本理论和算法框架。自2014年始,光场显微成像作为一种高速体成像的新型显微成像模式很快在生命科学领域开辟了一块特有的应用空间,在一定程度上解决了诸如共聚焦显微成像、光片显微成像和双光子显微成像等技术所面临的成像速率问题。虽然波动光学模型相比于几何光线模型提高了光场显微成像的空间分辨率,但是仍面临一些限制其应用推广的主要问题。一个问题是放置于原始成像面的微透镜阵列造成了原始物面上角度信息的高度冗余,以至于原始物面上反卷积重建结果失真。针对这一问题,研究人员通过改变微透镜阵列或图像传感器的位置,或是采用不规则参数(位置和焦距)的微透镜阵列,在一定程度上消解了物面上角度信息的高度冗余性,提高了物面重建结果的空间分辨率。此外,微透镜阵列对轴向点源的成像是线性空变的,体成像的轴向分辨率呈现出分布不均匀的特性,轴向分辨率随着轴向距离的增加而迅速降低,因此限制了成像的深度范围。2019年,Guo等[519]在传统光场显微成像光路中加入一块傅里叶透镜,如图96 (d)所示,将微透镜阵列放置于透镜的傅里叶面上,等效于对物镜光瞳面的分割成像,在较大的深度范围内获得了轴向和横向分辨率较为均匀分布的结果。

      图  96  光场显微镜模型[516]。(a)传统明场显微镜;(b)光场显微镜[516];(c)基于波动光学的光场显微模型[518];(d)傅里叶光场显微镜模型[519]

      Figure 96.  Model of Light field microscope[516]. (a) Traditional bright field microscope; (b) Light field microscopy[516]; (c) Light field microscopic based on wave optics theory[518]; (d) Fourier light field microscopy[519]

      在生物医学成像领域,Prevedel等[520]用光场显微镜对生物体进行神经元活动的三维成像。神经活动的高速、大规模三维成像是神经科学的一大挑战。他们运用光场显微镜实现了在单个神经元分辨率下,对秀丽隐杆线虫和斑马鱼幼虫的整个大脑神经活动功能的成像。Pegard等[521]运用压缩光场显微术记录三维神经活动,提出了一种新的压缩光场显微镜方法来解决传统光场显微空间分辨率较低的问题,为测量大体积组织中单个神经元的活动提供了一条途径。这项技术依赖于荧光信号的时空稀疏性,使人能够识别和定位三维体积中的每个神经元,包括散射和像差效应而无需重建体积图像。Skocek等[522]制作了一种头戴式微型光场显微镜(MiniLFM),能够捕捉自由运动小鼠的海马体中的神经网络活动(见图97(a))。李浩宇等[523]使用高分辨率光场显微镜(HR-LFM)进行快速的体细胞成像,光场显微镜作为一种无扫描的三维成像方法,可以实现脑组织的快速、三维体成像,还可以应用于细胞动力学结构成像以及单个分子跟踪(见图97 (b))。中国科学院王凯等[524]将光场显微与共聚焦技术结合,选择性地从聚焦体中收集荧光信号,赋予光场显微光学切片能力,以提高厚组织的成像分辨率和灵敏度,记录了自由游动的斑马鱼幼虫的全脑钙瞬变,并观察了捕获猎物过程中单个神经元的行为相关活动与小鼠大脑中的神经活动(见图97 (d))。清华大学吴嘉敏等[525]使用数字自适应光学扫描光场互迭代层析(DAOSLIMIT)的方法,横向和轴向分辨率都达到了物镜平面附近的阿贝衍射极限,但是牺牲了一定的时间分辨率(见图97 (c))。

      图  97  光场显微在生物科学中的应用。(a)小鼠头戴MiniLFM[522];(b)使用HR-LFM成像COS-7活细胞中的高尔基源膜泡[523];(c) DAOSLIMIT观测小鼠肝脏中中性粒细胞迁移过程中的迁移[525];(d)共聚焦光场显微镜,观测斑马鱼的捕猎活动以及探测小鼠大脑的神经活动[525]

      Figure 97.  Light field applications in biological science. (a) Mouse with a head-mounted MiniLFM [522]; (b) Imaging Golgi-derived membrane vesicles in living COS-7 cells using HR-LFM [523]; (c) Migrasome dynamics during neutrophil migration in mouse liver with DAOSLIMIT[525]; (d) Confocal light field microscopy, tracking and imaging whole-brain neural activity during larval zebrafish’s prey capture behavior and imaging and tracking of circulating blood cells in awake mouse brain[524]

      (5) 全息衍射层析显微

      在2.1.1节中讨论相位成像技术时,都会假设大部分待测物体属于二维(薄)物体。对于这类物体,可以将其表示为由吸收与相位成分所构成的二维的复透射率分布。其被相干光所照射后,透射光场的复振幅分布即为入射光场复振幅与物体复透射率的乘积。生物细胞结构特征及各组分不同的折射率分布对于入射光波最直接的影响就是产生不同的相位延迟,称之为相移。由于相位延迟其实是样品三维折射率在一个二维平面上的投影(俗称2.5D成像),缺乏三维层析能力[526529]。只从平面图像上人们很难得到样品的立体构像及其相关的功能特性。基于上述局限,作为一种新型的获取细胞三维结构信息的工具——衍射层析显微成像的产生与发展成为了一个必然的趋势[526,528,530-531]

      衍射层析显微成像技术在原理上实施起来并不困难,传统方法只需将相位测量技术(数字全息显微或相位恢复技术)与计算机断层扫描技术相结合:通过旋转物体[532-533],改变照明方向[534537]等方式得到多组定量相位信息,然后结合反投影滤波[538]、逆Radon变换(忽略衍射效应)[534,539]、或是衍射层析理论(考虑衍射效应)[526,535-536]就可重建出物体的空间三维折射率分布。起初的三维相位层析理论大多是基于数字全息显微与计算机断层扫描技术。其中代表性的工作包括:瑞士洛桑联邦理工学院Charriere等[532]采用微吸管承载生物细胞,通过机械装置来控制微吸管的转动从而实现样品的转动,对花粉细胞的三维折射率分布进行了重构(见图98(a))。美国麻省理工学院的Choi等[534]利用扫描振镜控制入射光的方向,以不同的角度照射样品,成功获得了人类宫颈癌细胞与结肠癌细胞的三维折射率分布(见图98(b))。然而,基于传统X-ray CT的模型忽略了样品的衍射效应,在物体的高空间频率信息会产生扭曲,从而得不到高分辨率的重建结果。在随后的工作中,光学衍射层析技术被引入三维相位成像领域,其基本成像理论模型是Wolf[526]于1969年提出的标量衍射层析(Optical Diffraction Tomography, ODT)理论。由于该模型考虑透射光场的衍射效应,采用Wolf标量衍射层析理论[526]取代CT中的傅里叶切片投影理论能够获得更为准确、分辨率更高的重构结果[535,540-541]。近年来,更精确的理论模型[535,540-541](考虑衍射效应,利用Wolf的标量衍射层析理论[526]取代傅里叶切片投影理论以提高重构准确度)、更高的成像分辨率[537,542]以及更快的成像速度[543547]逐渐成为国际上定量相位层析显微的三大研究趋势。

      图  98  全息衍射层析显微术的代表性工作。(a)瑞士洛桑联邦理工学院Charriere等[532]的旋转物体测量;(b)美国麻省理工学院的Choi等[534]的扫描振镜测量;(c)瑞士洛桑联邦理工学院的Cotte等[537]楔形棱镜扫描;(d)韩国技术科学院的Park团队[547]的DMD扫描测量

      Figure 98.  Representative work on holographic diffraction tomography microscopy. (a) Rotating object measurements by Charriere et al[532]; (b) Scanning galvanometer measurements by Choi et al[534]; (c) Wedge prism scanning by Cotte et al[537]; (d) Park's team[547] for DMD scanning measurements

      2013年,瑞士洛桑联邦理工学院的Cotte等[537]利用高数值孔径物镜与相干传递函数反卷积技术实现了高分辨率全息衍射层析成像(见图98(c))。尽管他们在文章中声称横向分辨率突破到了100 nm以下(405 nm照明下达到90 nm),实际上该分辨率是半宽分辨率,真实分辨率的理论值应该在180 nm。2014年,美国伊利诺伊大学香槟分校Popescu研究团队也将三维反卷积与白光共路移相干涉法相结合,实现了人骨肉瘤细胞与大肠杆菌细胞的三维折射率层析[546]。然而相比于改变照明角度,宽谱白光有限的相干门限效应导致了严重的“频谱缺失”,极大限制了该方法的轴向分辨率(仅为1 μm左右),远低于其横向分辨率(250 nm)以及共聚焦显微镜的典型轴向分辨率(500 nm)。2017年,韩国技术科学院的Park团队[547]利用DMD取代扫描振镜,实现了照明角度的高速调制(见图98(d))。值得一提的是,全息干涉衍射层析显微技术虽然原理看似简单,但实际实施起来却存在诸多不便:旋转样品不但操作复杂,难以精确固定转轴,且旋转过程易对样品产生扰动。改变照明方向的方式虽然避免了样品的移动,但仍需复杂的光机扫描装置。此外由于全息衍射层析显微术通常需要获取上百幅不同照明角度下的全息图以合成三维折射率分布,因此成像速度往往较慢。现有技术在提升时间分辨率的同时,往往是以牺牲实时性(采用高速摄影机)[543,545],或者是空间分辨率与重构精度[544]为代价的。

      (6) 相位恢复衍射层析显微

      相位恢复衍射层析显微术与全息衍射层析显微术的基本思想是一致的:通过旋转物体或改变照明方向等方式得到多组定量相位信息,然后结合断层扫描理论重建出物体的空间三维折射率分布。但与传统全息衍射层析显微术不同,在相位恢复衍射层析显微术中每个角度照射下散射场的复振幅信息是通过相位恢复技术以非干涉方式获取的。这就为衍射层析显微技术提供了更多灵活性。典型的工作如:2000年,澳大利亚墨尔本大学X衍射成像研究团队的Barty等[539]利用注射器针尖固定样品并利用电机转动实现样品的旋转,基于光强传输方程实现了不同角度下的相位获取,并采用逆Radon变换合成了光纤的三维折射率分布(见图99(a))。2011年,加州大学洛杉矶分校的Ozcan课题组[548]基于无透镜片上显微镜平台在24 mm2的大视野下实现了断层扫描显微。借助于多角度机械照明扫描和滤波反投影重构出固定的秀丽隐杆线虫(C. elegans.)三维吸收分布图像(见图99(b))。虽然图像采集仍然基于机械扫描,且层析合成忽略了衍射效应,但上述工作验证了衍射层析成像可以直接基于无需任何修改的传统宽场显微镜平台,甚至没有任何透镜的片上显微系统上实现。

      图  99  相位恢复衍射层析显微术的代表性工作。(a)澳大利亚墨尔本大学X衍射成像研究团队的Barty等[539]的显微镜平台旋转物体测量;(b)加州大学洛杉矶分校的Ozcan课题组[548]的无透镜片上层析平台;(c)笔者课题组[239]的基于LED阵列的无透镜平台;(d)笔者课题组[240]的基于LED阵列的显微镜平台

      Figure 99.  Representative work on phase retrieval diffraction tomography microscopy. (a) Microscope platform rotating object measurements by Barty et al[539] from the X diffraction imaging research team at the University of Melbourne, Australia; (b) Lens-free on-chip chromatography platform by the Ozcan group at UCLA[548]; (c) Lens-free LED array-based platform by our group[239]; (d) LED array-based microscopy platform of our group[240]

      2015年,笔者课题组[239]基于菲涅耳域内照明波长与传播距离的可置换性,采用“多波长照明、固定物平面”的方式构建了基于光强传输方程的微型化无透镜显微镜[239](见图99(c))。系统利用RGB三色LED阵列以多角度照射物体,通过求解光强传输方程获取散射场相位信息,最终结合了光学衍射层析理论重建出马蛔虫子宫切片的空间三维折射率分布。2017年,笔者课题组[240]又进一步将该技术拓展到了传统宽场显微镜平台(见图99(d)):通过将显微镜的科勒照明系统替换为可编程LED阵列实现多角度照明,基于求解光强传输方程获得物体在不同入射光方向上的相位信息,并利用衍射层析定理恢复出待测物体的三维折射率信息。相比较全息衍射层析显微术,相位恢复衍射层析显微术在很大程度上简化了成像系统,但由于需要在角度扫描的基础上增加轴向扫描以获取离焦强度图像,成像速度并未因此得到较大改观。

      (7) 光强衍射层析显微

      相位恢复衍射层析显微术虽有效克服了“定量相位测量”中的“干涉性”这一大不足,但想要实现“三维层析”,方法仍局限于“先相位恢复,再衍射层析”这种“分步分治”的思想。近年来,“光强衍射层析”显微术作为一类基于非干涉强度测量原理的衍射层析技术逐渐崭露头角。它将“从强度恢复相位”与“从相位重建折射率”二者有机结合起来,跨越了“相位测量”这一中间步骤,由强度图像重建直接反演物体的三维折射率分布。区别于相位恢复衍射层析显微术的“既角度扫描,又轴向离焦”,光强衍射层析显微术二者只需其一。因此从实现方式上来区分,光强衍射层析显微术可以分为基于轴向扫描的“光强传输衍射层析”(Transport of Intensity Diffraction Tomography, TIDT)显微术以及基于照明角度扫描的“傅里叶叠层衍射层析”(Fourier Ptychographic Diffraction Tomography,FPDT)显微术。

      光强衍射层析本质上是受2.1.1节所介绍的光强传输方程所启发,更具体地来说:光强传输方程建立的是单一横断面上衍射场的光强传输与该面上的相位分布之间的关联。通过这种关联,可以利用待求平面附近的光强分布来重构该面上的相位分布。这本质上是通过光强的二维“面传输”来解决二维定量相位测量问题。光强衍射层析将该设想进行拓展,如图100(a)所示,即建立透过三维物体的一系列轴向光强分布与该物体三维折射率分布之间的关联。通过这种关联可以由轴向扫描物体所得的三维光强图像序列重构出该三维物体的空间折射率分布,即将光强传输方程的光强二维“面传输”拓展为三维“体传输”,以解决三维相位层析问题。利用生物细胞或组织的内部折射率非均匀分布,基于部分相干照明光场记录不同轴向位置上样品散射场的强度图像堆栈,再基于成像系统所对应的三维相位传递函数进行三维反卷积得到待测样品的三维折射率分布信息(见图100(a))。

      图  100  光强衍射层析显微术的两种实现方式。(a)基于轴向扫描的“光强传输衍射层析”(TIDT)显微术;(b)基于照明角度扫描的“傅里叶叠层衍射层析”(FPDT)显微术

      Figure 100.  Two implementations of optical intensity diffraction tomography. (a) TIDT microscopy based on axial scanning; (b) FPDT microscopy based on illumination angle scanning

      2017年,笔者课题组推导了非傍轴部分相干照明下的离焦相位传递函数,揭示了照明空间相干性对相位成像横向分辨率的作用机理[234]。基于高数值孔径环形照明,仅采用三幅光强图像以非干涉方式实现了横向分辨率为208 nm的定量相位成像,并对在培养皿中的HeLa细胞进行了长达60 h的无间断连续观测。在文章末尾[234],笔者课题组指明该技术(环形照明孔径)可以被直接应用于三维衍射层析成像,以克服传统圆形照明光阑在大孔径下相位传递函数缺失的问题。2017年,西班牙马德里大学Alieva课题组[549]在笔者之前提出的电控变焦透镜光强传输显微系统[238]的基础上实现了三维衍射层析成像。利用电控变焦透镜控制显微镜的焦距,轴向扫描拍摄一系列在固定圆形光瞳下的强度堆栈图像,并基于吸收/相位对偶假设与三维反卷积算法重构出硅藻与人血细胞的三维折射率分布。然而正是由于大数值孔径照明下相位衬度缺失问题,该系统所采用照明的数值孔径被限制到物镜数值孔径的68%(相干参数s = 0.68),这在一定程度上限制了成像的分辨率。2018年,笔者课题组[241]采用多照明孔径合成的方式来调控三维相位传递函数以实现更加全面的三维物频谱覆盖。其中引入的环形照明孔径有效解决了采用传统圆形孔径分辨率与相位衬度之间的矛盾,从而最终成像的分辨率可以达到非相干衍射极限的截止频率(550 nm照明下横向分辨率200 nm,轴向分辨率为645 nm)。

      图101所示,光强衍射层析显微术的另一种实现形式“傅里叶叠层衍射层析”(Fourier ptychographic diffraction tomography,FPDT)本质上是受2.1.1节所介绍的傅里叶叠层成像所启发(图55)。傅里叶叠层成像的一个关键问题在于其只能获得薄物体的定量相位分布,无法对厚物体进行三维层析成像。针对这一问题,2015年,美国加州大学伯克利分校的Waller课题组的Tian等[550]借鉴X射线衍射成像领域的多层(multi-slice)模型[164],将传统空域三维叠层成像技术拓展到频域,提出了基于多层模型的傅里叶叠层三维成像技术(图102(a))。然而由于照明与物镜的数值孔径较低,最终成像的分辨率较低(10×0.25 NA,横向590 nm,轴向5.4 μm)。且该方法的运算量随着样品分层数量的增加而指数[O(n4)]上升,难以实现对样品的快速成像。2016年,美国加州理工学院的Yang课题组的Horstmeyer等[185]将光学衍射层析技术与傅里叶叠层成像技术相结合,提出了傅里叶叠层层析技术(图102(b))。该方法将傅里叶叠层成像中的二维频谱空间直接拓展到三维,在一阶Born近似下对物体三维散射势的频谱进行填充与更新。严格来说,该工作标志着傅里叶叠层成像已由一种二维定量相位成像技术逐渐演变为一种三维光学衍射层析技术。然而由于Wolf[526]在推导衍射层析理论时并没有考虑到散射光中的暗场成分,Horstmeyer等[185]的傅里叶叠层层析术中也并没有纳入暗场图像,导致最终的成像分辨率很低(20×,0.4 NA,横向780 nm, 轴向7.4 μm)。2020年,笔者课题组提出了完整的傅里叶叠层衍射层析成像技术[186]。在一阶Born与Rytov两种近似下推导出了明场图像与暗场图像分别满足的三维频谱更新模型。最终在10× 0.4 NA物镜的大视野下(1.77 mm2,可同时容纳约20 000个血细胞或约4 000个HeLa细胞),实现了横向分辨率390 nm,轴向分辨率899 nm高通量三维衍射层析(图102(c))。相比较仅采用明场图像的情况下,横向分辨率提升了1.63倍(从634 nm提升至390 nm),轴向分辨率提升了6.75倍(从6.07 μm提升至到899 nm),展示利用大数值孔径的暗场照明实现了高通量衍射层析的可行性。

      图  101  光强传输衍射层析术的代表性工作。(a)笔者课题组[238]的基于高数值孔径环形照明的定量相位成像;(b) 西班牙马德里大学Alieva课题组[549]的电控变焦透镜的光强传输衍射层析;(c)笔者课题组[241]的基于环形照明的多孔径光强传输衍射层析

      Figure 101.  Representative work on TIDT. (a) Quantitative phase imaging based on high numerical aperture ring illumination by our group[238]; (b) TIDT with electronically controlled zoom lens by Alieva's group[549] at the University of Madrid, Spain; (c) Multi-aperture optical intensity transfer diffraction tomography based on ring illumination by our group[241]

      图  102  傅里叶叠层衍射层析术的代表性工作。(a)美国加州大学伯克利分校的Waller课题组[550]的基于多层模型的傅里叶叠层三维成像;(b)美国加州理工学院的Yang课题组[185]的傅里叶叠层层析技术(一阶Born近似下不含暗场强度图);(c)笔者课题组[186]的傅里叶叠层衍射层析成像技术(一阶Rytov近似下含暗场强度图)

      Figure 102.  Representative work on FPDT. (a) FPDT 3D imaging based on a multilayer model by Waller's group at UC Berkeley[550]; (b) FPDT without dark field intensity under the first-order Born approximation by Yang's group at Caltech[185]; (c) FPDT with dark field intensity under the first-order Rytov approximation by our group[186]

    • 不论完全相干光、部分相干光、还是完全非相干光。光波场的光强都是清晰适定且直接可测的,但传统“相位”的意义却仅限于完全相干光的范畴。由于光的振动周期十分短,远超出了目前光探测器的时间分辨率;即随时间的瞬时变化在实验上不能用现有的探测器测量出来,实际能测量到的量是一个强度的时间平均。例如:对于部分相干光场而言,其光振动同样是无法直接探测的,而所能观测到的仅仅是光探测器所能拍摄到的光强。但是此时由于光场的随机波动特性,仅仅采用二维复振幅函数无法对其进行全面描述。此时需要更高阶的四位关联函数与相空间光学对其进行表征。因此想要对部分相干光场进行完整刻画,必须对其四维关联函数或相空间函数进行测量或重构。该类问题被称为相干测量与相空间断层扫描,由于该问题本身所涉及到高维度数据重构,到目前为止仍然是光学成像与测量界的一大研究重点与难点。关于相干测量的更多详细介绍可以参阅笔者课题组撰写的综述论文《光场相干测量及其在计算成像中的应用》[551]

      在傅里叶光学与统计光学中,光波场是平稳、各态历经的,通常可采用光波场的二阶空间关联函数,即四维互相关函数(准单色光场下退化为互强度函数)或交叉谱密度函数[552]对其进行表征。因为互强度函数与交叉谱密度函数的传播同样满足的亥姆霍兹方程,因此若能够得到部分相干光场的四维相干函数,就能像在数字全息测量中传播标量光场一般对部分相干光场进行调控与传播。相干测量理论就是通过实际量测或者算法重建部分相干光场的二阶,或者高阶统计函数,从而去描述或者表征部分相干光场的物理特性。除了空间关联函数外,另一种非常经典的部分相干光场的表征方法称为 “相空间光学”。众所周知,傅立叶变换被广泛应用于对稳态信号的研究中。但对于非平稳信号(如部分相干统计光场),必须借助于时/空频联合分析的手段,即要求能够同时描述该光场的空间信息和空间频率信息。1932年,维格纳(Wigner)[553]首次针对热力学体系的量子修正而提出维格纳分布函数(Wigner Distribution Function,WDF),其实质是作为的相空间中的准概率分布函数。随后,维格纳分布函数便成为了相空间中最具代表性的典型物理量。20世纪60年代以后,维格纳分布被Dolin[554]与Walther[555-556]引入光学领域。由于它能同时表示出信号的空间位置和频率特征,很好的满足了人们对于空域、频域信息结合的需要,为光学研究提供了新的思路。随后Bastiaans[557559]详细分析并总结了维格纳函数在描述部分相干光下的独特优势。这种空频联合描述光场的方法与物理学中相空间的概念类似,因此被称为相空间光学[560]。不同于常见的空间域或频率域,相空间光学是一个人为构造的多维空间,在这个多维空间中,光信号的空间位置和角谱能够同时表征出来。因此,我们可以在相空间光学中同时表现信号的空间特征和频率特征。维格纳函数和模糊函数就是相空间光学中同时描述这两个空间信息的典型数学方法。本节重点讨论部分相干光场的“相干性测量”,即四维相干函数或其维格纳分布函数/模糊函数的测量技术。与相位恢复技术相似,相干测量技术总体也可以分为干涉和非干涉两类方法。其中非干涉测量法又可细分为相干恢复与(直接)相干采样的方法。

      (1) 干涉相干测量

      图103所示,干涉测量基于相干函数的定义测量/重构两点关联函数,即通过对光场内任意两点进行干涉,并测量条纹的对比度与空间位移(相位)。代表性的有杨氏双缝干涉仪[561]、逆波前杨氏干涉仪[562]以及非冗余孔径阵列[563]。然而如果我们想要测量二维函数的四维互相关函数,这需要将两个测量点遍历整个二维光场平面,显然这是非常耗时且不便于实际操作的。实际测量两点关联函数时往往采用剪切干涉原理,通过将待测光场产生一个具有横向、轴向、或者旋转剪切量的副本后重叠在一起,采用Mach-Zehnder[564],Sagnac[565-566]或旋转剪切[26]干涉光路来实现单次测量获取大量关联点对的数据。

      图  103  通过干涉测量法进行相干测量。(a)杨氏双缝干涉仪[561];(b)逆波前杨氏干涉仪[562];(c)非冗余孔径阵列[563];(d)自参考干涉法[565];(e)两点干涉仪;(f) Sagnac干涉仪[565-566]

      Figure 103.  Coherent measurement using interferometer. (a) Young’s interferometer[561]; (b) Reversed-wavefront Young interferometer[562]; (c) Non-redundant array[563]; (d) Self-referencing interferometer[565]; (e) Two-point interferometer; (f) Sagnac interferometer[565-566]

      (2) 非干涉相干恢复

      与相位成像类似,干涉测量法测量装置复杂且效率低下。类似于相位复原,光场的相干性也可以通过非干涉的方法恢复,包括相干恢复以及直接采样法。相干恢复即通过光强的测量重建相干函数,这类方法中最著名的是相空间断层扫描(Phase-space tomography)[567-568],原理和典型光路结构如图104所示。通过对待测光场引入非对称光学元件(柱面透镜),再对光场在各种传播距离上的光强进行大量采集,从而获得维格纳分布函数在不同角度下的旋转投影,然后再通过类似传统断层扫描的方式重建出完整的四维维格纳分布函数。在光学上,想要实现二维函数的非对称分数傅里叶变换,通常需要引入像散透镜以打破光学系统的旋转对称性。然后通过改变透镜的焦距或者透镜之间的间距就可以分别对两个维度进行独立调整,从而获得维格纳分布函数在二维角度下的旋转投影。

      图  104  相空间断层扫描的原理与光路图。(a)原理示意图;(b)相空间断层扫描的光路结构,实验系统采用一对柱状透镜,在轴向z0处测量光强

      Figure 104.  The principal and optical setup of phase-space tomography. (a) Principle of phase space tomography; (b) A pair of cylindrical lenses oriented perpendicularly are used to introduce astigmatism to the measurement. Intensities are measured at planes with axial coordinate z0

      除了基于干涉测量与相空间断层扫描的方法这些相对“间接”的方法外,还可以利用维格纳分布函数作为一种局域频谱(local frequency spectrum),或者广义辐亮度的性质,直接对维格纳分布函数进行测量。这里有两种常见的方式一种是通过引入空域光阑(如图105(a)所示,通常是小孔),使待测光场空间局域化在空间${{x}_0}$位置后,通过远场衍射或利用透镜的傅里叶变换性质直接测量其二维局域频谱,该频谱即近似对应了维格纳分布函数的一个空域采样$W\left( {{{x}_0},{u}} \right)$;当小孔在空域遍历整个二维平面后即可近似获得光场的四维维格纳分布函数[569]。另一种方式是采用微透镜阵列直接对光场进行四维采样(图105(b))[570]。这种方式实际上可以看成前一种小孔扫描方式的并行化版本,可以实现单帧采集(每个微透镜后面的光强分布对应于不同空间位置的局域频谱),但其缺点是无法实现光场在空域内连续间隔采样,在一定程度上牺牲了测量的空间分辨率。二者的基本原理是一致的,即利用维格纳分布函数与能量密度函数(辐亮度或光场)的近似等价性实现维格纳分布的直接采集。

      图  105  相空间的直接测量。(a) 基于小孔扫描的相空间直接测量[569];(b)基于微透镜阵列的相空间直接测量[570]

      Figure 105.  The direct measurement of phase space. (a) Direct measurement based on pinhole scanning[569]; (b) Direct measurement based on microlens array[570]

    • 图像的空间分辨率是对图像细节分辨能力的一种度量,是对成像系统图像质量评价的关键性指标,也是成像系统在实际应用中应该考虑到的至关重要的参数。成像系统的分辨率主要包括光学分辨率(衍射极限)与图像分辨率(像素尺寸)。二者共同成为光学成像系统空间分辨率的两大制约因素(图106)。

      图  106  两类成像分辨率对最终图像清晰度的影响。(a) 理想高分辨率图像;(b) 对于小视场的制导系统而言,成像系统的分辨率最终由光学分辨率,即成像系统的口径所决定(如图(c)所示),而对于大部分宽视场的搜索/跟踪系统而言,成像系统的分辨率最终由图像分辨率,即探测器的像素尺寸决定(如图(d)所示)

      Figure 106.  The influence of two kinds of imaging resolution on the final image definition. (a) ideal high resolution image; (b) for the guidance system with small field of view, the resolution of the imaging system is finally determined by the optical resolution, that is, the aperture of the imaging system (as shown in Figure(c)), while for most search / tracking systems with wide field of view, the resolution of the imaging system is finally determined by the image resolution, that is, the pixel size of the detector (as shown in Figure(d))

      传统的光电成像系统均为点对点一一成像,而光学信息所经过的第一步就是成像光学系统。此时的光学成像系统相当于一个图像信号的低通滤波器,因此成像系统并不能接收目标的所有信息,接收的目标信息频率响应会在某个衍射上截止,而这个衍射极限即称为成像系统的光学分辨率,其决定着一个光学成像系统所能接收或容纳的最大空间分辨率。成像系统的光学分辨率主要受限于19世纪Abbe所提出的光学成像系统的衍射极限理论,即对于衍射受限成像系统来说,其能够分辨的两个等亮度点间的最小距离对应艾里斑的半径,即一个亮点的衍射图案中心与另一个亮点的衍射图案的第一个暗环相重合时,这两个亮点则能被分辨。用公式表示,即$\delta = 1.22{{\lambda f} / D}$,其中为D光学系统的口径,$f$为光学系统的焦距,$\lambda $表示波长(见图107)。由上式可知,在波长一定的情况下,只能增大系统的孔径才能保证系统的光学分辨率的提高。但是事实上,随着口径的增大,加工成本与孔径的2.76次方成正比,工艺制造难度增加、对系统的材料、制造技术、和机械结构以及重量等因素的要求都大大提高,所以致使实际的成像系统的口径不能一味增加,从而限制了成像系统的光学分辨率。

      图  107  光学系统口径所限制的衍射分辨极限(艾里斑)。(a) 成像系统的最小可分辨距离(光学角分辨率)与成像系统的孔径成反比;(b)~(d) 两个非相干的点目标在不同间距下所能拍摄到的艾里斑图像

      Figure 107.  Diffraction resolution limit limited by the aperture of optical system (Airy spot). (a) The minimum resolvable distance (optical angular resolution) of the imaging system is inversely proportional to the aperture of the imaging system; (b)-(d) Airy spot images of two incoherent point targets at different distances

      而随着光学成像时代到光电数字化成像时代的转变,光学分辨率不再是限制成像系统分辨率的唯一因素,它和光电探测器件的图像分辨率一起,共同成为系统空间分辨率的两大制约因素。通常来讲,对于大孔径宽视场的搜索/跟踪系统而言,图像分辨率,即探测器的像元尺寸是限制其分辨率的主要因素(如图107所示)。其主要受限于奈奎斯特采样定理,即像元的采样率必须大于图像中感兴趣最高频率分量${f_{\max }}$的两倍,如图108(a)与(b)所示。换言之,限制这类成像系统分辨率的最主要因素是探测器采样间距过大,采样频率不足所形成“马赛克”效应。正如约翰逊准则所定义的那样,这种马赛克效应成为限制搜索/跟踪系统的探测(目标所成的像在探测器焦平面上必须占到1.5个像素以上)、识别(目标所成的像在焦平面上必须占到6个像素以上)、以及辨认(目标所成的像在焦平面上必须占到12个像素以上)的关键瓶颈。如图108(c)给出了一个典型的红外热像仪对于人体目标在不同距离下的成像效果(像元尺寸为38 μm,像素分辨320×240,50 mm焦距镜头)。

      图  108  探测器像元大小所限制的奈奎斯特采样极限(马赛克效应)。(a) 像素采样不足(像素尺寸过大)所导致的信息混叠现象;(b) 恰好满足奈奎斯特采样极限时的情况; (c) 一个典型的红外热像仪对于人体目标在不同距离下的成像效果(像元尺寸为38 μm,像素为320×240,50 mm焦距镜头)

      Figure 108.  Nyquist sampling limit limited by detector pixel size (mosaic effect). (a) Information aliasing caused by insufficient pixel sampling (excessive pixel size); (b) When the Nyquist sampling limit is exactly met; (c) The imaging effect of a typical infrared thermal imager for human targets at different distances (Pixel size: 38 μm. 320× 240 pixels, 50 mm focal length lens)

      综上所述,成像系统最终探测的成像分辨率取决于衍射分辨率与传感器分辨率的最小值,即光学系统与传感器能识别最小距离的最大值,而传感器能识别的最小距离通常会大于光学衍射的最小距离,因此通常传感器分辨率是决定整个成像系统分辨率最主要的因素。然而,对于衍射分辨率与传感器分辨率的分析都只局限于理想状态,实际应用中,还存在着许多其他多方面对成像系统分辨率的限制。如传感器的制作工艺,成像系统灵敏度与像元大小之间的权衡。因此,从硬件改进的角度打破成像系统分辨率的极限有着诸多方面的限制,而作为计算成像的超分辨率重建却有着巨大的发展与应用空间。

      (1) 像素超分辨成像

      超分辨率重建技术不仅仅是从表层提升图像的像素数量,更是从深层实现对低分辨图像的细节补充。这种“无中生有”的过程说明超分辨重建问题从始至终都是一个存在不唯一解的病态问题(图109),问题的病态性即解的不可预测性,可以通过增加约束条件,将病态问题正定化,从而获得重建问题的最优解。超分辨率重建通常以构建成像模型、假设噪声模型以及学习外部样例等方式引入先验知识,使得超分辨率重建问题的解具有唯一性,重建出理想的高分辨率图像。归根到底,超分辨率重建技术本质就是对现有图像在分辨率上的“超越”,即打破成像系统的固有限制,获取系统极限之外的细节信息。目前图像(像素)超分辨率成像技术大致可分为两类,即单帧图像超分辨[571573]和多帧图像超分辨[574-575]

      图  109  像素超分辨重建的基本原理(逆向病态问题的最优解)

      Figure 109.  Basic principle of pixel super-resolution reconstruction (Optimal solution of inverse ill-posed problem)

      单帧图像超分辨重建技术可以被看作是一种图像插值的特例,即从一幅低分辨率图像中重建对应的高分辨率图像。显然,从一幅静态图像进行像素超分辨率是一个病态逆问题求解过程,但在拍得图像质量较高而噪声较低且放大系数较小的情况下,可以通过引入某种先验模型或使用特定的匹配机制在原始图像上进行插值,以提升图像的视觉效果。单帧图像超分辨方法主要包括频域外推[576-577]、正则化[578]、实例映射[579]、以及深度学习[580582]等。其中实例映射以及深度学习方法的效果最为突出。深度学习技术通过利用输入图像中不同尺度上的内部相似性或者从外部低分辨率和高分辨率样本中进行学习建立学习映射函数来恢复其最可能的高分辨率的版本,如图110所示。然而由于单帧图像所包含的信息本身十分有限,所能达到的分辨率提升效果会受到极大限制。更重要的是,额外的高频信息往往是通过“图像先验”与“样本学习”所得到的,因此重建所获得的“最有可能”的高分辨率版本通常情况下只能在视觉上达到较高的清晰度,但不能保证提供真实的目标图像高分辨率细节。

      图  110  基于SCRNN的单帧重建算法

      Figure 110.  Single frame reconstruction algorithm based on SCRNN

      多帧图像超分辨利用多帧图像序列(通常是具有相对亚像素位移的)进行处理从而重建对应的高分辨率图像。由于其可以充分利用多帧图像数据间丰富且互补的空域时域信息,从而使得从一系列质量较差、分辨率较低的图像来重建图像出质量超过任何一帧低分辨率图像成为可能。其核心思想在于利用时间带宽(获取同一场景的多帧图像序列)换取空间分辨。根据图像序列中亚像素位移产生机理的不同,多帧图像超分辨还可以进一步分为被动多帧图像超分辨以及主动微扫描多帧图像超分辨。

      图111所示,被动亚像素位移成像技术则通过探测器与观测场景间的可控亚像素位移来产生这些具有光强多样性的低分辨图像的,通过对同一场景的多次采样,最后采用重构算法恢复出高分辨率图像。基于被动亚像素位移的超分辨重建算法研究较为成熟,大部分算法是从图像盲复原引入的,此类算法还可以细分为频域法[583]、非均匀内插法[584]等;另一种是基于单帧的图像超分辨率重建算法,此类算法以基于学习的算法为主,大部分算法是从机器学习[572,585-586]引入的。在经典多图像超分辨中,对同一场景中的低分辨率图像进行亚像素位移对高分辨率图像进行重构,例如只需相对于场景移动相机即可实现。然而实际上,由于非理想光学传输、配准误差[587]及非均匀采样[584]问题,这种方法通常仅限于分辨率的小幅度提高。

      图  111  被动亚像素移动超分辨成像基本原理

      Figure 111.  Basic principle of passive subpixel moving super-resolution imaging

      实现图像亚像素偏移的另一类关键技术是通过主动微扫描的方式获得光学系统和探测器之间的可操纵位移[588591],以获取如图112所示的像素级光强变化。微扫描可以看作是一个过采样的过程,它是利用高精度微扫描装置(如图113所示,通过压电陶瓷、扫描振镜或平板旋转来实现),将光学系统所成的图像在$ x $,$ y $方向进行进行亚像素级别的位移,当位移距离为1/N时(N为整数),既可以得到N×N帧的欠采样图像,并运用数字图像处理器将经过亚像元错位得到的多帧图像按照获得图像的方式和顺序进行融合重建成一帧图像,从而达到最终实现提高分辨率的目的。微扫描技术的应用比较广泛,特别是在现代军事夜视与红外成像制导应用方面占有极其重要的地位。主动微扫描图像超分辨技术[592]有效解决了被动多帧图像超分辨中的非全局平移、配准误差、以及采样不均匀的问题,有效促进了分辨率稳定且各向同性的提升,如图114所示,长春光机所通过采用微扫描成像器件实现亚像素级光强变换以实现图像超分率。但采集装置存在着系统结构复杂,加工精度高,位移量及扫描路径不易控制,对环境振动敏感等缺点,往往局限于分辨率的小幅度提高[593](注:像素数目增多并不等效于分辨率的等比例提升,2×2微扫描理论上仅能带来约1.4倍的分辨率提升),难以满足复杂环境下实际工程应用对高分辨成像的需要。

      图  112  可控亚像素移动所引起的像素级光强变化

      Figure 112.  Pixel level light intensity change caused by controllable sub-pixel movement

      图  113  微扫描装置。(a)光学折射法;(b)平板旋转法;(c) 压电陶瓷体

      Figure 113.  Micro scanning device. (a) Optical refraction method; (b) Plate rotation method; (c) Piezoelectric ceramics body

      图  114  长春光机所通过采用微扫描成像器件实现亚像素级光强变换以实现图像超分率[589]

      Figure 114.  Changchun University of technology realizes sub-pixel light intensity conversion by using micro scanning imaging devices to realize image super-resolution[589]

      针对上述问题,笔者课题组提出了基于孔径编码的像素超分辨成像方法[594]。该方法与传统的基于亚像素位移的多帧图像超分辨率方法的根本区别是,成像过程并不依赖于场景和探测器之间的相对运动,并明确地考虑了成像系统的衍射效应。如图115所示,编码孔径像素超分辨成像技术的基本思想是通过改变不同的孔径模式来调节成像系统的点扩散函数,使得点扩散函数可以跨越多个整像素,并包含有关高频图像的信息。利用成像系统在不同孔径编码调控点扩散函数下对同一场景的多次采样,最后采用重构算法恢复出场景中小于像素尺寸的细节成分,使得成像分辨率超越器件像素物理尺寸所限制的奈奎斯特采样频率,实现“亚像素”成像。如图116所示,笔者课题组设计并构建了两套孔径编码成像系统,成像波段分别为可见光(550 nm)与远红外(8~14 µm),在可见光波段利用空间光调制器以及4 f中继系统进行孔径调制,实现了超越像素奈奎斯特采样频率的3.5倍以上的超分辨成像结果。红外波段采用“编码孔径旋转”的方式,直接针对F#1.5的变焦镜头的光阑面进行孔径调制,实现了超越像素奈奎斯特采样频率的3.34倍以上的超分辨成像结果。有效提升对远距离目标的识别距离,为突破探测器空间采样不足所造成的像素分辨率受限提供一条崭新的思路。

      图  115  编码孔径超分辨率成像基本思想[594]

      Figure 115.  Basic principle of coded aperture super resolution imaging[594]

      图  116  (a) 研制的可见光波段孔径编码原理样机及成像结果;(b) 研制的红外波段孔径编码原理样机及成像结果

      Figure 116.  (a) Visible coded aperture imaging system and its reconstruction results; (b) Infrared coded aperture imaging system and its reconstruction results

      (2) 超衍射极限分辨成像——合成孔径

      区别于图像分辨率在后端器件采样过程中限制空间分辨率,光学分辨率指的是光学传递过程中在系统前端受到的空间分辨率限制。对于非相干成像系统,其极限角分辨率可根据瑞利判据计算,表示为$ \Delta \theta = 1.22\lambda /D $。其中,$\lambda $与$D$分别表示为工作波长与及孔径直径。在系统光照确定的情况下,要通过减小系统的工作波长来提高成像分辨能力几乎不可实现。因此光学衍射极限对系统成像分辨能力的限制本质上是系统孔径的限制,即有限的系统孔径限制了成像系统的成像分辨能力。远场光学超分辨率成像技术主要借助于合成孔径的思想,按照照明情况可以分为相干合成孔径成像技术与非相干合成孔径成像技术。

      相干合成孔径技术通常采用激光主动照明的方式,利用小孔径系统从多角度分别采集低分辨图像,在后处理中利用相干照明所带来的图像间位相关系,实现低分辨图像的合成,以获取超分辨成像结果。相干合成孔径技术还可以进一步划分为激光合成孔径雷达与基于傅里叶叠层成像原理的非干涉激光合成孔径技术。激光合成孔径雷达技术(Synthetic Aperture Lidar,SAL)借鉴于如图117所示的微波成像领域中的合成孔径雷达技术(Synthetic Aperture Radar,SAR),利用激光器作辐射源,将微波段合成孔径技术移植到光学波段[595]而发展形成的。其成像原理同SAR,两者都是在通过在距离向上通过发射大时宽-带宽积的信号(如线性调频信号),并通过对目标回波进行脉冲压缩得到距离向的高分辨率;方位向上基于合成孔径原理,在平台与目标之间有相对运动的情况下,记录平台不同位置处的目标回波信号并根据多普勒频率的线性变化进行数据处理,将发射孔径在空间上合成出一个虚拟大孔径,可同时实现方位向的高分辨率与方位向聚焦。

      图  117  合成孔径雷达示意图

      Figure 117.  Schematic diagram of Synthetic aperture radar

      2002年,美国空军实验室采用移动的孔径和漫散射目标成功研制了世界上首个真正意义上的合成孔径激光雷达装置[596]。2005年,美国Aerospace公司同样采用1.5 μm波长的光纤激光器第一次实现了真正意义上的激光合成孔径雷达成像(如图118所示):5 mm×8 mm漫反射目标,2 m距离成像[597]。类似于SAR,基于激光合成孔径的SAL也是以提升有效成像孔径为目标的[598-599],但SAL的激光发射孔径衍射极限与SAR的天线束宽相比要小得多[600-601]。并且其合成孔径长度远小于传统SAR的合成孔径长度,即相同时间内需要处理的数据量没有传统SAR那么大,这也就加快了掌握战场情报的速度。并且激光合成孔径雷达可以对微小表面进行成像,而且这些图像看起来更加自然、更容易理解,非常适合快速掌握战场环境细节的需求。

      图  118  (a) 美国Aerospace公司研制的基于光纤的激光合成孔径雷达成像原理图;(b) 成像结果对比(右图为衍射受限成像结果,左图为合成孔径后的结果图)

      Figure 118.  (a) Principle diagram of laser synthetic aperture radar imaging based on optical fibers developed by Aerospace Corporation of the United States; (b) Comparison of imaging results (right image is diffraction-limited imaging results, left image is synthetic aperture results)

      另一种相干合成孔径技术是基于傅里叶叠层成像原理的非干涉激光合成孔径成像技术,其成像系统的示意图如图119所示,即在主动激光照明的条件下,利用多个小孔径低分辨率的相机阵列实现一个大孔径高分辨率相机的成像分辨能力。2015年,美国西北大学的Holloway等[602]首先将傅里叶叠层成像技术应用在远距离成像中,随后在2017年,Holloway等又在之前的基础上对透射式系统进行改进,提出了反射式的宏观傅里叶叠层成像系统[600]。在反射式系统中,通过对散斑噪声的处理而能够对漫反射物体进行测量,反射式系统结构如图120所示。与传统的基于干涉相干合成孔径(如SAL)成像技术不同,虽然采用采用相干激光照明,傅里叶叠层成像技术不采用干涉的方式对散射场的强度和相位进行直接探测,而是通过频域中的孔径交叠反复迭代投影更新并恢复目标不同的空间频率的振幅与相位成分,在非干涉条件下实现合成孔径主动超分辨率成像。

      图  119  非干涉傅里叶叠层成像合成孔径技术系统原理示意图

      Figure 119.  Schematic of non-interferometric synthetic aperture imaging technology based on Fourier ptychography

      图  120  反射式宏观傅里叶叠层成像系统实物与原理图[600]

      Figure 120.  Reflective Fourier ptychography imaging system and schematic diagram[600]

      尽管上述两种相干合成孔径成像技术在原理上不尽相同,但都依赖于高相干性的主动照明光源(如激光)。然而针对远场目标探测应用(如战场监测),主动照明会带来自我暴露等问题,限制了其应用场景。因此被动非相干照明下的合成孔径将是该技术未来的一大发展趋势。被动照明下的非相干合成孔径技术通常采用多路干涉的成像方式,利用多个子孔径收集来自各个方向的目标入射光,并通过严格的光程控制使其在探测器平面干涉合成,从而实现超分辨成像的效果。如图121所示,传统的非相干合成孔径技术按照光束合成方式不同,主要分为瞳面干涉和像面干涉,瞳面干涉又叫迈克尔逊型干涉(图121(a)),像面干涉也叫菲索(Fizeau)干涉,分为中次镜结构(图121(b))和相控阵列结构(图121(c))。

      图  121  传统非相干合成孔径系统结构。(a)迈克尔逊型干涉仪;(b)中次镜结构;(c)相控阵列结构

      Figure 121.  Conventional incoherent synthetic aperture structure. (a) Michelson interferometer; (b) Common secondary structure; (c) Phased array structure

      近年来,一些新型的非相干合成孔径成像技术也相继被提出,如分块式平板干涉以及基于非相干全息的合成孔径超分辨成像技术,其有望打破传统光学系统“2.76次方”的比例限制,实现轻量化的非相干合成孔径成像。2013年,美国洛克希德·马丁公司基于Van Cittert-Zernike定理提出了一种分段式平面干涉成像技术(Segmented Planar Imaging Detector for Electro-optical Reconnaissance, SPIDER)[603-604]。SPIDER技术的核心思想在于通过干涉的方式,测量探测面上两点间的互强度以填充目标的空间频谱,进而利用傅里叶逆变换重建目标图像。如图122所示。但由于SPIDER技术的成像过程需要对目标频谱进行逐点采样,频谱采样密度很大程度上受限于透镜阵列规模,因此频谱采样密度低,容易产生空域混叠;同时受限于当下光子集成电路技术的发展情况,目前高密度采样、高集成度的平面干涉系统的实现仍然充满了挑战。另一种新型的非相干合成孔径技术是基于非相干全息技术发展而来的。2010年,菲涅耳相关联全息技术的提出者Rosen和Katz等[605]将这一技术与合成孔径技术相结合,提出了一种基于菲涅耳相关联全息的合成孔径技术(Synthetic Aperture with Fresnel Elements, SAFE)。如图123所示,SAFE技术改变了传统非相干合成孔径技术先干涉后记录的成像过程,可以基于单孔径系统对不同的子孔径单独拍摄,并在后期重建过程中完成各孔径的干涉合成,有效解决了多孔径系统体积庞大、结构复杂、调试困难等问题。

      图  122  初代SPIDER成像概念系统设计模型。 (a) SPIDER设计模型和分解图;(b)两个物理基线和三个光谱波段的PIC示意图;(c) SPIDER微透镜排列方式;(d)对应排列方式下频谱覆盖

      Figure 122.  Design model of the initial generation of SPIDER imaging conceptual system. (a) Design model and explosive view of SPIDER; (b) PIC schematics of the two physical baselines and three spectral bands; (c) Arrangement of SPIDER lenslets; (d) Corresponding spatial frequency coverage

      图  123  基于FINCH的非相干合成孔径技术[605]

      Figure 123.  Incoherent synthetic aperture based on FINCH[605]

      (3) 超衍射极限分辨成像——超分辨荧光显微

      在光学显微成像系统中,成像的分辨率同样受光学衍射极限的限制。其分辨率通常被认为不会超过光波波长的一半,这就是著名的“阿贝极限”[606]。随着人类对微观世界的探索逐步深入,需要观测的微观尺度越来越小,传统光学显微镜的分辨率已无法满足科学研究的需要,人们迫切需要分辨率更高的显微技术。于是在人们不断的探索努力中,一些更高分辨率的显微技术应运而生,如X射线显微镜、电子透射显微镜、原子力显微镜等。然而它们大都无法用于活细胞的观测,而且有些只能观测到样品近表面区域的信息,这有很大的局限性。2014年,诺贝尔化学奖的三位得主使用荧光分子和特殊的光物理原理,巧妙地突破了普通光学显微镜无法突破的 “阿贝极限”,其开创性的成就使得能够窥探纳米世界。当前主流的荧光超分辨成像技术可分为两类:一类是基于单分子定位的超分辨显微成像技术,如光激活定位显微技术(Photoactivated localization microscopy, PALM)[607]和随机光学重构显微术(Stochastic optical reconstruction microscopy, STORM)[608];另一类是基于PSF调制的超分辨显微成像技术,主要包括受激发射损耗显微术(Stimulated emission depletion, STED)[609]和结构光照明显微成像术(Structure Illumination Microscopy, SIM)[610]

      在基于单分子定位的超分辨显微成像技术中,PALM由2014年诺贝尔奖得主Betzig[607]提出,该技术基于荧光分子的光转化能力和单分子定位原理,使用较弱的激发光照明样品,单次成像中激发随机少量的荧光分子,由于周围荧光分子未被激活因此不存在干扰,即可精确定位这些荧光分子的中心。最终对多次曝光图像进行叠加,就可以把所有荧光分子的中心点位置叠加起来形成超分辨图像(见图124)。由Hess[611]提出的荧光活化定位显微术(fPALM)与PLAM原理相似,荧光团经探测器成像后,由光强控制荧光分子被可逆地灭活或不可逆地光漂白而从视场中消失。哈佛大学教授庄小威[608]提出的STORM,利用活性荧光染料Cy3和Cy5、Cy7等分子对的光转换效应,在不同时间分别点亮重合的荧光分子,也获得了打破光学衍射极限的成像结果。STORM与PALM进行超分辨的理论类似,只是使用的探针原理不同,是化学小分子而不是生物大分子;STORM需要利用荧光发色团标记抗体对靶蛋白进行识别,因此可以对细胞内源蛋白进行超分辨成像,避免了PALM中由于外源性表达偶联荧光蛋白的靶蛋白在定位方面可能产生的影响。2014年,三个小组分别报道了互补式可激活型荧光蛋白系统,在哺乳动物(PAGFP[612]和PAmCherry[613])和大肠杆菌中(mEos3.2[614])实现了荧光互补和超高分辨率成像,对二聚化或相互作用蛋白的超高分辨率成像具有重要应用价值。基于单分子定位的超分辨显微成像技术可实现10~30 nm的横向分辨率,但由于反复激活和淬灭荧光分子,所需时间长,其时间分辨率较低。

      图  124  STORM的超分辨原理示意图与结果图[608,615]

      Figure 124.  Super-resolution schematic diagram and result diagram of STORM[608,615]

      基于点扩展函数调制的超分辨技术的代表为Hell[609,616]所提出的STED技术。如图125所示,STED采用两束共轴激光,分别为激发光和损耗光。其中一束激发光用于照明目标,处于基态的荧光分子吸收光子跃迁到激发态,自发辐射产生荧光;同时用另一束空心环形损耗光使第一束光斑周围的荧光物质通过受激发射亏蚀过程猝灭,因此只有位于中心区域的纳米尺度结构得以保留,通过滤光片被探测器收集。荧光光点的有效衍射面积以这种“擦除”的方式成功地被减少,通过扫描记录即可获取整个样品的完整图像[617]。STED显微镜的横向分辨率可达20~70 nm,其优越的分辨率指标很快为STED带来了生物细胞研究领域的应用,并取得了一系列重大发现。例如:在对突触传递过程的研究中,STED显微镜分辨出直径仅40 nm的突触囊泡,并发现突触囊泡膜蛋白I在突触囊泡胞吐后保持独立团簇状态的现象[617]。但是,为了达到生物可用的速度,STED通常需要高的激发强度来记录足够的光子以换取时间分辨率,所导致的光漂白限制了STED在活细胞成像中的应用。

      图  125  STED的超分辨原理示意图和结果图[618]

      Figure 125.  The schematic diagram and results of super-resolution STED [618]

      另一种典型的基于点扩展函数调制的超分辨技术是SIM技术,该技术由Gustafsson[610]于2000年提出。如图126所示,SIM通过结构化照明在频域以空间混频的方式将物体高频信息载入光学系统的探测通带内实现突破阿贝衍射极限的超分辨光学显微成像,其横向分辨率理论可达到非相干衍射极限的2倍,约100 nm[619]。尽管SIM对横向分辨率的提升不如PALM、STORM、STED等技术,但其高的光子效率、较快的成像速度和全场成像等优点使得其非常适合进行活细胞的超分辨成像。2018年,北京大学陈良怡团队所提出的Hessian-SIM以88 nm和188 Hz的时空分辨率对内质网中运动的囊泡进行了长达1 h的延时记录(图126(b)、(c))[620]。SIM的不足在于其成像质量依赖于后期的重构算法,超分辨图像的数值重建需要对照明参数进行精确估计,否则会产生干扰定量的重构伪影[621]。在传统SIM的基础上,Gustafsson[622]进一步提出SSIM (饱和SIM),该技术利用荧光饱和实现更高的横向分辨率(50 nm)。但饱和照明所需的高强度激光增加了SSIM的光漂白,使其难以运用于活细胞成像。

      图  126  SIM的超分辨原理及在不同时刻对动态微管的超分辨重建结果[610]

      Figure 126.  The of SIM and the super-resolution reconstruction results of dynamic microtubules at different times [610]

      事实上,生命有机体从本质上而言是个复杂的三维结构体,为了获取细胞三维空间的立体结构,各类超分辨成像技术也逐步从2D成像发展至3D成像。Hell[623-624]等通过将STED与4 Pi技术相结合实现了3D-STED超分辨成像。应用该技术可实现在活体小鼠中直接对脑组织进行观察,观察深度达10~15 mm,轴向分辨率达70 nm[625]。三维结构光照明显微成像(3 D- SIM)则是在2D-SIM的双光束干涉的基础上再加一束干涉光以产生轴向方向的干涉模式,进而提升轴向分辨率,其横向分辨率可达100 nm,轴向分辨率达200 nm[626]。3D-SIM易于实现,无需特殊荧光蛋白标记,但对轴向分辨率的提升略低[627]图127(a)所示)。哈佛大学的庄小威[628]等利用光学像散性实现了3D -STORM(如图127所示),达到了横向20~30 nm、轴向50~60 nm的成像精度(如图127(b)所示)。尽管三维超分辨显微成像技术已得到很大发展,并有多种不同成像技术实际应用于生物系统的范例,甚至已经出现了商业化的超分辨率显微成像系统,但目前的成像模式仍没有达到理想状态,对于固定样本成像的三维分辨率还没有达到可以和电子显微镜相媲美的几纳米的范围。当前的发展趋势是结合不同成像模式的优点,进一步提高成像的精度和速度。另一个方面是继续开发出量子效率更高、荧光更稳定、颜色不同的荧光蛋白或荧光染料。由于生命现象的本质是非静止的不停歇活动,超分辨成像应用的一个重要领域是活细胞成像。但目前对活细胞样品的成像的分辨率远低于固定样本成像,时间分辨率也较低。因此,当前的研究热点集中在通过改进荧光探针和成像模式来进一步提高活细胞上超分辨成像的时空分辨率[629]

      图  127  3D超分辨显微典型实验结果图。(a) 3D SIM[626];(b) 3D STORM[628]

      Figure 127.  3D super-resolution microscopy experimential results. (a) 3D SIM[629]; (c) 3D STORM[628]

      除了上述介绍的几大方法外,超分辨率显微成像技术还包括可逆饱和荧光转换显微术(Reversible saturable/switchable optical transitions, RESOLFT)[630]、纳米形貌点积累成像(DNA point accumulation in nanoscale topography, DNA-PAINT)[631]、MINFLUX[632]、超分辨光学波动成像技术(Super-resolution Optical Fluctuation Imaging, SOFI)[633],以及2011年王增波[634]小组提出的基于介质微球的超分辨成像技术等。RESOLFT的原理类似于STED,通过重复利用荧光分子的快速激发与淬灭特性实现超分辨。DNA-PAINT使用短染色标记的寡核苷酸和它们的互补目标瞬时结合,生成必要的闪烁来开启随机超分辨显微成像。MINFLUX则结合了基于单分子定位和基于点扩散函数调制的方法进行超高精度成像[635]。SOFI利用荧光发射强度随时间的涨落现象,在多个时间尺度上采集量子点荧光涨落图像序列,通过图像中像素点相关累积量函数运算得到超分辨图像。SOFI具有装置结构简单,成像速度快,光毒性小等优点,并具备对活体样本实时三维成像的潜力。基于介质微球的超分辨成像技术则具有白光照明下即可实现超分辨成像的优势。虽然我国在超分辨率显微成像领域起步较晚,但2014年的诺奖授予超分辨率显微技术也掀起了我国在该技术领域的研究热潮,涌现出一批优秀的科研团队。如浙江大学刘旭课题组提出的光学移频超分辨成像不拘泥于荧光非线性效应的限制,兼具非荧光标记样品以及荧光标记样品的超分辨成像能力,在材料学、生物学和医学等领域展现了很好的应用前景[636];北京大学席鹏课题组开发的偏振光结构光显微技术(pSIM)可同时提取荧光偶极子的方位角与空间超分辨信息[637];北京大学陈良怡课题组与华中科技大学谭山课题组提出的Hessian-SIM拥有超高的采集速度和灵敏度,成为超长时间活细胞高速超分辨成像的利器[620];深圳大学屈军乐课题组在STED超分辨成像方面发展了一系列新的改进方法和手段[638];哈尔滨工业大学谭久彬、李浩宇团队联合北大陈良怡团队所研发的Sparse-SIM实现 60 nm的分辨率和1小时以上的超长时间活细胞动态快速成像[639];中国科学院西安光学精密机械研究所的姚保利课题组首次提出并实现了基于数字微镜器件(DMD)和LED照明的SIM技术[640]。超分辨显微镜成像技术,将使得科学家实时动态观察生物有机体内的生化反应过程成为现实,为深刻认识复杂生命现象的本质打开了黑箱之窗,对阐释生命活动的基本规律、揭示疾病发生机理、探寻发现新药物具有重大作用。更多的有关超分辨显微成像技术的详细讨论可以参考Hell[641]与庄小威[635]的综述论文。

    • 人类对捕捉和记录快速现象的渴望可以追溯到19世纪胶片摄影技术的发明,它通过严格控制胶片曝光时间以实现快速成像。1878年,因提出“动物运动计时摄影术”而闻名的英国摄影师Eadweard Muybridge使用多个胶片相机拍摄奔驰的马[642],解决了一场由加利福尼亚州长提起的争论:动物的四条腿是否可以同时离开地面。在之后的百余年间,随着基于CCD与CMOS技术的固态电子成像传感器领域的不断进步[643],高速摄像机已成为工业智能制造、汽车碰撞试验、基础科研、生物医学观测等领域进行快速图像记录的常用工具。然而由于受传统相机成像机理的限制——从传感器阵列读出数据需要消耗大量时间,高速相机捕获快速动态过程的时间分辨率被限制在10−7s量级。如何提升成像系统的时间分辨率,实现快速甚至超快成像以观测人眼无法捕获的快速瞬间内所发生的事件信息,一直是计算光学成像一个重要的研究方向。

      (1) 超快二维成像

      超快光学成像技术是分析物理、化学和生物的关键机制、活细胞中的化学动力学、神经活动和微流体等分子和原子动力学事件不可缺少的工具,在科学、工业、国防、能源和医学等几乎所有领域具有重要的科学意义和应用价值。近年来,超快光学成像方法得到了迅速发展,实现了纳秒(10−9s)甚至皮秒(10−12s)时间尺度的超高速二维瞬态事件成像。根据是否需要主动照明来区分,超快光学成像可分为主动超快成像和被动超快成像。

      主动式超快光学成像方法通过发送一组超快脉冲序列探测瞬态事件,脉冲序列中的每个脉冲均带有一个独特的光学标记(不同的空间位置[644-645]、角度[646]、波长[647]、偏振状态或空间频率[648-649]),并结合对应的信号解调技术以恢复具有高时间分辨率的二维瞬态场景。随着超快激光技术的广泛普及和不断进步,目前的飞秒激光系统能够产生具有飞秒级脉冲宽度和高达焦耳级脉冲能量的超短激光脉冲[650-651],它提供了杰出的时间分辨能力,为超快光学成像技术铺平了道路。2014年,日本东京大学的Nakagawa等人提出的STAMP (sequentially time all-optical mapping photography)技术[647],如图128 (a)所示。在该方法中,飞秒脉冲首先通过由脉冲展宽器和脉冲整形器组成的时间映射装置,该脉冲展宽器采用不同的色散材料增加脉冲宽度,然后使用一个经典的4 f脉冲整形器对输入脉冲的波长进行选择性过滤,从而生成一组包含六个不同波长编码脉冲的脉冲序列探测瞬态场景。这些输出的脉冲通过一个空间映射单元在空间上彼此分离并被记录在成像传感器的不同区域,最终以4.4×1012 fps的成像速度和450×450 pixel的空间分辨率实现了瞬态场景的二维成像。另一种代表性方法是瑞典隆德大学的Kristensson等人于2017年提出的FRAME (frequency recognition algorithm for multiple exposures)技术[649]。如图128 (b)所示,该方法将一束脉冲宽度为125 ps的超快激光脉冲分成四个具有不同时间延迟的子脉冲,每个子脉冲经由相同周期、不同方向的Ronchi光栅调制(即利用强度调制将各种不同频率的光栅载波叠加在子脉冲上),从而直接探测瞬态场景。换句话说,利用不同载频的正弦图像将不同时刻的场景信息移至空间频域的不同区域上,然后使用关键的频率识别算法将分离的频谱分量重新移至频谱中心,最终实现了成像速度高达5 Tfps,分辨率为1002×1004 pixel的超快光学成像。由于该技术的时间分辨能力理论上仅受限于激光脉冲的持续时间,阿秒激光技术可以进一步将该技术的成像速度提升几个数量级。

      图  128  两种代表性的主动式超快光学成像技术。(a)Nakagawa等人提出的一种基于顺序时间全光映射摄影术的超快成像技术(sequentially time all-optical mapping photography, STAMP)[647]; (b)Kristensson等人提出的一种基于多曝光频率识别算法的超快成像技术(frequency recognition algorithm for multiple exposures, FRAME)[649]

      Figure 128.  Two representative active ultrafast optical imaging techniques. (a) An ultrafast imaging technique based on sequential time all-optical mapping photography (STAMP) proposed by Nakagawa et al.[647]; (b) An ultrafast imaging technique based on frequency recognition algorithm for multiple exposures (FRAME) proposed by Kristensson et al.[649]

      被动检测方法仅利用超快探测器件记录二维动态事件,分为直接成像和重建成像两种成像方法。与主动检测方法相比,被动检测方法在自发光运动目标成像和多光谱瞬态场景探测等方面具有独特的优势。2013年,美国麻省理工学院的Velten等人使用一种新式的超快光电检测器件(条纹相机)实现了亚纳秒尺度的超快成像[652]。2014年,美国华盛顿大学的Wang等人提出了一种新颖的单帧压缩超快成像技术(Compressed Ultrafast Photography, CUP)[653],利用压缩感知技术实现稀疏数据的超高压缩比和条纹相机的超短时间分辨能力,其成像速度为1011帧/s,单次成像的序列深度可高达几百帧,如图129所示。近年来,CUP已经成为最有前景的单次超快成像技术之一。国内外许多学者从数据采集和图像重建两个方面对该技术进行改进,美国华盛顿大学的Gao等人于2018年提出了一种成像速度高达10万亿帧/s的单次压缩超快成像技术(single-shot 10-trillion-frame-per-second compressed ultrafast photography, T-CUP)[654],利用压缩感知和Radon变换间的协同作用显著减少了高质量超快成像所需的投影数量,实现了首个飞秒时间尺度的被动式超高速二维成像。2021年,华东师范大学的齐大龙等人将具有全光学偏转成像特性的气相时空转换器引入传统CUP系统,提出了一种基于分子对准辅助的CUP技术(molecular-alignment-assisted CUP, MACUP)[655],将CUP的成像速度进一步提升至1.8×1013帧/s。

      图  129  Gao等人提出的一种单帧压缩超快成像技术(compressed ultrafast photography, CUP)[653]

      Figure 129.  A single-shot compressed ultrafast photography technique (CUP) proposed by Gao et al.[653]

      (2) 快速三维成像

      条纹投影轮廓术是用于光学三维形貌测量的成熟技术。然而在许多应用中,期望以非常高的速度进行三维信息的获取,尤其是需要测量快速移动或形貌迅速变化的物体。目前由于相机的拍摄速度已经普遍超过了投影仪的投影速度,因此投影仪的工作速度成为了限制数字光栅投影系统测量效率提升的瓶颈。在光栅投影轮廓术中,光栅条纹图像一般由计算机生成,通过数字投影设备投射至被测物体表面。相机采集变形的光栅图像,经过相位分析等算法处理后恢复物体的三维信息。相比于基于LCD技术的数字投影仪,基于数字光处理DLP技术的数字投影仪在速度、对比度、亮度等方面具有先天优势。DLP数字光处理的概念在20世纪80年代末起源于美国德州仪器公司(TI),从20世纪90年代末就被开始用于光栅投影三维测量系统中。DLP投影系统中的核心元件是一个称为数字微镜器件(Digital Mirror Device, DMD)的光学半导体芯片,它是一种极为精确的光路开关,如图130所示。DMD芯片包含一个微镜阵列,其每一个微镜对应于投影图像的一个像素。DMD芯片上的微镜数目决定了DLP投影仪的物理分辨率。

      图  130  基于数字光处理DLP(Digital Light Processing)技术的数字投影仪基本结构及其核心部件DMD

      Figure 130.  Basic structure of a digital projector based on Digital Light Processing (DLP) technology and its core component DMD

      图131所示为DMD微镜的工作原理。光源发出的光束与光学系统光轴的夹角为$2{\theta _L} = {20^ \circ }$。当某一像素的反射镜$ {\theta _L} = {10^ \circ } $或$ {0^ \circ } $时,反射光不能通过投影物镜。当该像素被寻址电极电压驱动,使反射镜偏转$ - {\theta _L} = - {10^ \circ } $时,它反射的光束刚好沿光轴方向通过投影物镜成像在屏上,称此状态为“开启”(ON);反之,当$ {\theta _L} = {10^ \circ } $时,称DMD的状态为“关闭”(OFF)。由此可见,DMD实际上是一种二元光学器件(非亮即暗),而想要实现具有不同灰阶的光强分布信号必须借助于对入射光进行二元时间脉冲宽度调制来实现。即在每一帧的时间内,某一像素处于两种状态的占空比决定了该像素的灰阶。所以为了显示灰阶数为$ {2^8} = 256 $的灰度图像,需要引入8个时分位平面,即灰度数据的D0,D1,…,D7的数据位分别对应bit0,bit1,…,bit7这8个时分位平面,每个时分位平面脉冲调制宽度不同,如0%的时间为状态开即为灰度0,100%时间为状态开即为灰度255,即通过时间积分的方式产生不同的灰度值。这8个时分位平面一共需要占据255个DMD的最小时钟周期。这就是DLP投影仪产生灰度图像的原理。虽然DMD的工作频率可以高达20000 Hz以上,但由于其内在的二元时间脉冲宽度调制机理,投影一幅传统的8位灰度光栅条纹图像的速度通常情况下只能达到120 Hz。因此DMD的这种基于时间积分的灰度投影机理(如图132所示)成为其制约结构光条纹投影速度的关键性因素。

      图  131  单个DMD微镜的工作原理

      Figure 131.  Working principle of a single DMD micromirror

      图  132  DMD显示8位灰度图像的二元时间脉冲宽度调制机理

      Figure 132.  Binary time pulse width modulation mechanism for 8-bit grayscale image displayed by DMD

      为了解决这一问题,美国普渡大学的Zhang等[656]于2009年提出利用投影仪离焦投影二值条纹的方法来模拟正弦条纹的投影,该方法将256级灰阶投影变成了两级灰阶的投影从而提高了DLP投影仪的工作速度,图133给出了二值离焦技术下测得的兔子跳动的心脏的三维结果。但由于离焦二值条纹的正弦性不好,该方法的测量精度较低。为了提高散焦二值条纹的正弦性,学者们提出了正弦脉冲宽度调制技术(SPWM)[657659]、最优脉冲宽度调制技术(OPWM)[658,660]、二进制抖动技术[661]和优化抖动技术[662665]等,通过预先抑制原始方波中高次谐波分量,使投影仪投射更逼近理想正弦的光栅。上述二值离焦技术的详细原理介绍可参考相关的综述论文[666]。二值离焦技术再搭配高速相机,可将三维测量的速度提升至近kHz[667-668]级别甚至10 kHz级别[669]。2010年,美国爱荷华州立大学的Zhang和Gong[668]通过二值离焦技术和傅里叶轮廓术实现了4000 Hz的三维测量速度。2018年,笔者课题组基于高速DLP投影与微频移傅里叶变换法(μFTP)在国际上首次实现了速度高达10000 Hz的瞬态三维传感,实现了气枪子弹出膛、气球爆炸瞬间等瞬态场景的三维重构[669]图134给出了对气枪发射子弹过程的三维重建及跟踪结果。2019年,笔者课题组结合几何约束与数论相位展开方法提出了一种针对动态场景的高速三维形貌测量技术,可在3333 Hz的速度下实现精度达54 μm的高精度三维测量[670]

      图  133  跳动兔子心脏的测量结果[671]

      Figure 133.  The measurement result of beating rabbit heart[671]

      图  134  对气枪发射的子弹的三维测量与跟踪[669]。(a)不同时间点的相机图像; (b)相应3D重建结果; (c)枪口区域的3D重建(对应于(b)中所示的盒装区域)以及在飞行过程中的三个不同时间点的子弹(7.5 ms,12.6 ms和17.7 ms)的3 D重建 (插图显示在17.7 ms处穿过飞行子弹中心的水平(x-z)和垂直(y-z)轮廓);(d)最后时刻(135 ms)场景的3 D点云,彩色线显示130 ms长的子弹轨迹(插图为子弹速度-时间的图)

      Figure 134.  3D measurement and tracking a bullet fired from a toy gun[669]. (a) Representative camera images at different time points; (b) Corresponding color-coded 3D reconstructions; (c) 3D reconstruction of the muzzle region (corresponding to the boxed region shown in (b)) as well as the bullet at three different points of time over the course of flight (7.5 ms, 12.6 ms, and 17.7 ms) (The insets show the horizontal (xz) and vertical (y-z) profiles crossing the body center of the flying bullet at 17.7 ms); (d) 3D point cloud of the scene at the last moment (135 ms), with the colored line showing the 130 ms long bullet trajectory (The inset plots the bullet velocity as a function of time)

      除了上述通过二值离焦技术提高DLP工作速度进而提高三维测量速度的手段,还有一些学者使用定制化的投影技术以实现高速三维测量。四川大学的张启灿等[672]使用频闪结构光的投影方案和傅里叶轮廓术实现了对转速为1080 r/min的旋转叶片的三维测量。德国耶拿大学的Schaffer等[673675]提出相干激光散斑投影技术,通过声光反射器(AOD)改变入射激光束方向来产生不同的散斑图案,可实现20 kHz的投影速度。德国耶拿大学的Grosse等[676]通过高速旋转的转镜将投影仪所投图案以不同角度入射到物表面,并基于立体视觉法实现速度高于700 Hz的三维测量。日本福井大学的Fujigaki等[677]开发了一种采用光源步进法(LSSM)的紧凑型线性LED器件,配合光栅板可实现快速条纹投影。德国弗劳恩霍夫应用光学和精密工程研究所的Heist等[678]提出阵列投影仪进行三维形状测量,该阵列投影仪由27个LED构成,每三个为一组,可投射九种非周期正弦条纹图案,图135 (a)给出了他们使用的投影仪及用该投影仪搭建的系统,通过该系统可以3 kHz的投影帧速实现3 D帧速大于330 Hz的三维测量。2016年,他们提出使用GOBO(Goes Before Optics)投影法[679],通过在投影仪前放置高速旋转的带有一定镂空图案的转轮,再由离焦技术可高速“投影”出有一定结构编码的条纹图案,图135 (b)给出了他们使用的GOBO转轮的三维测量系统,图136给出了用该技术测得的安全气囊弹出的3 D结果。他们还通过GOBO技术实现了5 D高光谱成像和高速热成像[680-681],其系统及典型实验结果如图137所示。此外,笔者课题组将深度学习条纹分析技术引入微频移傅里叶变换法(μFTP),提出了微深度学习测量法(μDLP)[682]。通过适当训练的深度神经网络,可以从单幅条纹图像直接预测相位信息,然后可以将其转换为三维形貌,从而将μFTP的成像速度提升了1倍,达到20000 frame/s,同时三维重建的精度也得到了提升。图138给出了μDLP对高速转动风扇的三维测量。即使风扇转速高达5000 r/min,μDLP仍可以稳定可靠地重建其三维形貌。

      图  135  阵列投影技术及GOBO投影技术[678-679]。(a)阵列投影仪及用该投影仪搭建的三维测量系统;(b)GOBO投影仪及用该投影仪搭建的三维测量系统

      Figure 135.  Array projection technology and GOBO projection technology[678-679]. (a) Array projector and three-dimensional measuring system set up with the projector; (b) GOBO projector and three-dimensional measuring system set up with the projector

      图  136  对安全气囊弹出过程的3D重建结果[679]

      Figure 136.  3D reconstruction results for the airbag ejection process[679]

      图  137  5D高光谱成像系统、结果及高速热成像系统、结果[680-681]。(a) 5D高光谱成像系统;(b) 高速热成像系统;(c) 5D高光谱成像结果:对柑橘植物的吸水性的测量;(d)高速热成像结果:不同时间对篮球运动员的测量

      Figure 137.  The systems and results of 5D hyperspectral imaging and high speed thermal imaging[680-681]. (a) 5D hyperspectral imaging system; (b) High speed thermal imaging system; (c) 5D hyperspectral imaging results: The measurement of water absorption by a citrus plant; (d) High-speed thermal imaging results: The measurement of a basketball player at different times

      图  138  μDLP对高速转动风扇的三维测量[682],这些场景在训练过程中都不存在。第一行至第三行为通过μDLP获得风扇在1000~5000 r/min相应的3D重建

      Figure 138.  Measurement of a dynamic scene that includes a static model and a falling table tennis[682], which are also not present in the training process. The first line to the third line pass µDLP obtains the corresponding 3D reconstruction of the fan at 1000 ~ 5000 r/min

    • 光子是光学成像系统中的信息载体,成像探测器将接收到的光子信号转化为电信号,从而实现观测场景的再现。被探测的所有光子携带的信息总量决定了可解耦的图像信息量上限。被探测的信号光子数越少,可解耦的信息量越少。实际系统中由于各类噪声的影响,可解耦的图像信息量会远远小于被探测的所有光子携带的信息量。在极弱光成像中,物体信号中光子通量低,单位时间内可探测的光子数少,携带的信息总量极为有限,这在“光子信号-灵敏度-解耦图像信息”层面严重限制了可解耦的图像信息量,具体表现为图像的信噪比极低、信息缺失、甚至无法成像。因此,如何实现在低光照下稳定成像,在有限的回波信号中甄别出光子信号与成像噪声,在单光子乃至负分贝下实现图像的重建并开发更高效率的电子/电荷倍增器件一直是目前的一项研究热点,这对成像系统的光机设计、探测器的光子识别性能、信号增强与重建都提出了更高的要求。如图139所示,像增强器等成像器件的出现,力图实现在低光照下有效捕捉光信号,提升成像信噪比与灵敏度,实现了星光、微光等微弱光照下的成像[582],从此实现了“黑夜”向“白天”的转化。

      图  139  像增强器工作原理及成像示意图

      Figure 139.  Working principle and imaging diagram of image intensifier

      在极限探测距离或低信噪比应用场景中,由于作用距离远或辐照功率低,到达探测面的信号光子数少,信噪比低,对光学系统设计、信号探测和图像恢复都带来了极大困难,严重限制了光学成像性能。因此,通过硬件的方式进行改进,即提高成像探测器电子倍增效率的方式已经不能满足对微弱光信号的探测。尤其在微光成像、超远距离非视距等成像应用中,对系统的性能提出了更高的要求。sCMOS图像传感器在微光探测方面具有众多的优势,但当超远距离的回波光子数远低于sCOMS电荷积累触发条件时,则无法获取对应的成像。如图140所示,对于传统的电子倍增传感器而言,其虽然可以实现光子信号的倍增,但面对远距离成像时存在的极少量光子信号的情形仍显得“力不从心”。

      图  140  远距离成像情况下,EMCCD成像结果与单光子四种不同算法重建结果对比图

      Figure 140.  EMCCD imaging result is compared with the reconstruction results of four different single photon algorithms in the case of long-distance imaging

      近年来,借助于单光子探测器探测灵敏度高、抗干扰能力强的成像特性,基于单光子成像的高灵敏度成像技术也为发展极弱光条件下的光学成像技术带来了新的机遇。我国科研团队研发的纳米线单光子探测器已经实现了量子效率国际领先[683685],在单光子乃至亚光子信号中可解耦出更多的信息,形成了适用于极弱光条件下的新光学成像机制。因此,其也逐渐成为在极少量光子条件下推动光学成像向着更大视场、更远作用距离、更高信息通量和更强鲁棒性的“不可或缺的一员”。

      (1) 单光子成像

      如何在极少量光子的条件下获得高质量图像,是光电成像系统研究的基础性难题,也是推动光学成像不断向更大视场、更远作用距离、更高信息通量发展亟待克服的关键技术。随着近些年单光子探测器灵敏度的提升、计时设备精度的提高、光源功率以及相干性的增强,单光子探测技术逐渐得到发展,量子成像领域也应运而生,同时,具有单光子级别的探测灵敏度以及超高时间分辨能力的单光子探测技术运用到激光雷达领域,使得激光雷达的探测能力与距离分辨精度得到了很大的提升。

      单光子成像指的是使用单光子计数相机接收回波光子并对目标场景进行成像。单光子计数相机即单光子探测器,分为单像素探测器与多像素的阵列探测器,常见的单光子探测器主要包括三种:光电倍增管、超导纳米线[686]、半导体雪崩光电二极管[687]。对于远距离目标的三维遥感、星载测绘以及跟踪识别等,激光雷达与单光子成像探测技术结合,诞生了单光子激光雷达。在百公里级别的超远距离成像情况下[688],激光存在巨大衰减,使激光雷达的回波减弱到被强噪声淹没的情况。而单光子激光雷达具备能够探测单个光子的灵敏度,打破了传统激光雷达只能通过增大激光功率和增大望远镜口径来提高探测信号强度、信噪比,同时也能够提升激光雷达的成像效率和探测距离[689]

      单光子成像的核心技术是光子计数,其成像原理如图141所示。脉冲激光器发射高重频的光脉冲到目标物体上,激光器每发射一个光脉冲的同时会发送一个电脉冲给时间相关单光子计数器(TCSPC),TCSPC接收到来自于激光器的电脉冲的时刻作为起始时间。从目标物体反射回来的光子由光学探测系统所接收,单光子探测器探测到光子后随机发送电脉冲给TCSPC,TCSPC接收到来自于探测器的电脉冲的时刻作为结束时间。在每个脉冲周期中,TCSPC每接收到一个来自于探测器的电脉冲,代表探测器探测到一个光子,TCSPC并在对应的时间栅格上将光子数加1。在物体的每个像素上发射一定数量的光脉冲,根据光子计数的累积原理,每个像素对应一个光子计数直方图,通过寻找直方图的峰值所对应的时间,该时间对应物体该像素点距离成像系统的距离,便能通过时间距离的换算公式计算出物体每个像素点的距离,进而得到物体的三维图像。常见的光子计数成像系统大致可分为共轴光路与非共轴光路两大类,其中,共轴光路指的是收发同轴,收发的偏转角一致,无需额外调节便能保证系统的探测效率,但缺点是成像质量受到系统内部较大的后向散射影响,非共轴光路则需要调节发射与回收光路的偏转角度以适应位置与距离不同的目标物体,探测效率较低,但受到系统内部的后向散射影响较小。此外,除了单点扫描方式获取光子信息,随着单光子阵列探测器的发展与成熟,每一时刻对物体表面大面积的光子探测的成像系统使得成像效率更高,进一步推动了成像的实时化。

      图  141  光子计数成像的原理

      Figure 141.  Principle of the photon counting imaging system

      光子计数成像技术不仅具有单光子的探测灵敏度与皮秒级别的时间分辨率,而且其利用回收光子的概率统计特性使得在重建过程中可以充分解调每个回波光子携带的信息,为远距离成像、绕过障碍物成像、透过散射介质成像等光学成像领域开辟了新的道路。图142为不同情况下的回波示意图与重建结果,结果表明光子计数成像技术仍然面临着许多技术挑战。如在稀疏回波重建算法下极少量的积累时间或在激光返回强度过低的情况下,其仅能响应非常有效的回波信号,2019年中国科技大学[690]通过多尺度三维低通滤波获取图像的先验信息,再结合Laplacian矩阵引入像素间的非局部空间关系迭代更新非局部空间关系,最终能够提升重建的质量,在60 μs下实现了较好的重建。而对于单光子级别的成像探测均伴随着强噪声的情况下,有效进行噪声抑制和噪声去除始终是光子计数成像算法的核心问题之一,因此如何准确甄别信号与噪声,最大程度上抑制噪声也是一项极具挑战性的研究工作,代表性的是首序列成像方法[691],但该方法由于需要足够长时间的光子累计才能进行下一像素点的扫描,因此其存在像素累积时间较长的问题。

      图  142  不同情况下的回波示意图与重建结果

      Figure 142.  Schematic diagram of echo and reconstruction results under different conditions

      此外,目前受探测器阵列尺寸与系统成像速率等因素的限制,光子计数成像仅依靠提升硬件水平很难实现高分辨率成像,并且目前的面阵单光子成像相机的分辨率也仅为32×32,因此目前单光子成像设备所接受的图像均为低分辨图像。2020年,黎正平等人通过对8.2 km外的单光子探测目标使用亚像素扫描方法以及与之对应的三维反卷积算法,相比于单光子直接成像法,这种方法的重构图像提升了两倍分辨率(8.2 km亚像素扫描超分辨结果如图143所示)[692],证明了单光子远距离成像中,也能通过分析回波信息,构建相应算法,从而来提高远距离单光子成像结果的分辨率。此后利用SPAD探测器阵产生一系列的亚像素位移也被提出,通过在同一目标点不同像素处的光子数进行累积,以提升3D图像质量[693]

      图  143  8.2 km外目标的超分辨成像结果

      Figure 143.  Super-resolution results of target located at 8.2 km

      (2) 单光子激光雷达

      单光子激光雷达成像系统通过获取光子的飞行时间(ToF)信息来估算目标物体的位置。系统主要由时间测量设备、脉冲激光光源以及单光子探测器组成。脉冲激光光源作为主动照明光源,以高重复频率照射目标,并在每个激光脉冲发出时,产生同步的电脉冲作为时间测量设备的输入信号,以此为开始时间启动时间测量[694]。通过单光子探测器探测被目标反射的激光脉冲回波信号[695],将探测器探测到光子后产生的电脉冲输入时间测量设备,作为时间测量的停止时间。激光脉冲光子的飞行时间即为开始时间与停止时间的差。由于在远距离成像中受到环境的影响,脉冲激光会被极大地衰减,返回到探测系统的光信号极弱,所以对于每个像素点通常需要约104-106次重复测量[696]。为了获得准确的ToF信号,单个像素的重复测量次数取决于多种内在和外在因素,例如:目标距离范围、大气条件、目标反射率、脉冲激光功率、探测器灵敏度、光学系统口径大小等,图144所示为单光子激光雷达成像示意图。

      图  144  远距离单光子激光雷达成像示意图

      Figure 144.  Illustration of long range single photon Lidar imaging

      最早开始研究单光子激光雷达的是林肯实验室,自2000年后的数十年时间里,先后研发了Gen系列单光子成像系统、响应近红外波段的盖革模式下的雪崩光电二极管APD阵列单光子相机[697699],研制的单光子成像系统已在民用、商用及军用各方面产生了巨大的效益。2002年,该实验室对60 m的目标实现了128×128的三维成像,距离分辨率达到7.5 cm。2007年,赫瑞瓦特大学Gerald S. Buller团队采用1550 nm波长的激光与单光子探测器,实现330 m距离处最小分辨率为4 mm的探测[700]。2013年,McCarthy对于远距离检测使用了高速时间相关单光子计数法,对4500 m的目标探测精度可达4 mm[701]。2014年,Kirmani等设计了一种高效的首光子成像系统[702],在成像过程中每个像素仅接收首个回波光子,便能实现目标信息的高精度三维重建,其重建结果如图145所示。2016年,Altmann等实现了在回波总光子数少于总像素数的极端条件下也能进行目标成像[703],极大地提高了光子的利用率。

      图  145  首达光子的三维重建结果。(a)~(c) 单光子结果三个方向的逐点的最大似然处理;(d)~(e) 对应反射率估算的结果;(g)~(i) 环境噪声处理;(j)~(l) 结果的3D估计

      Figure 145.  Calculate the first photon 3D reconstruction of reflectance. (a)-(c) Point-by-point maximum likelihood processing in the three directions of the single photon result; (d)-(f) Corresponding reflectance estimation results; (g)-(i) Environmental noise processing; (j)-(l) 3D estimation results

      近年来,国内在单光子成像技术也取得了显著突破。徐飞虎、黎正平等[692]对成像系统设计进行了优化,光学中重要的设计是采用了收发同轴的设计,以保证探测效率,以及不需要调节就能适应不同距离目标的探测。光学镜头选用较大口径(280 mm)的商用望远镜,保证高的接收口径同时不影响指向速度和外场移动的灵活性。为了保证分辨率,同时充分利用大孔径望远镜带来的光学高分辨性能,光束发散角和视场都设计为近衍射极限,光束以较小的发散角出射,保证了远程光斑的汇集程度,得以集中于需要照明的目标;保持小的视场,每像素只收集细小局部的回波,以保证采样的细节。随后,该团队利用极大似然估计的思想,将重建过程描述为反卷积问题而非逐像素处理,利用三维spiral-tape的凸优化方法解卷积,从而完成远距离超分辨单光子成像的重构。在8.2 km的固定距离下,实现在远距离情况下空间分辨率提升至2倍[692]。对于2.1 km的自然场景下树木等深度剖面和13 km的不同朝向建筑进行了准确成像。在此基础上,徐飞虎、黎正平等[704]使用延时器来调节适当的信号延时量,用周期为P的脉冲序列信号作为激光脉冲、探测器和光调制器在每个大周期内的起点,同时以与脉冲信号同步的高重复频率信号作为激光脉冲和TDC的触发信号,从而使各个激光脉冲产生的信号光子能够在脉冲周期内统计叠加起来,以提高成像信噪比与灵敏度。利用三维反卷积算法重建出45 km外的物体的三维图像[704],远远打破了哈利瓦特大学的10 km探测记录。2020年1月,该团队又将改进的单光子成像算法成功应用于200 km外的探测目标进行精确三维成像(成像系统如图146所示,成像结果如图147所示),其灵敏度达到单像素单光子,深度变化更加细致[689]

      图  146  超过 201.5 km的远程主动成像示意图。在中国乌鲁木齐市附近实施的实验的卫星图像,单光子激光雷达被放置在野外的一个临时实验室。(a) 由配备望远镜的标准天文相机拍摄的山脉可见波段照片,海拔约4500 m;(b) 实验装置示意图;(c) 设置硬件的照片,包括光学系统(左上角和左下角)和电子控制系统(右下角);(d) 临时实验室在海拔 1770 m 处的视图

      Figure 146.  Illustration of the long-range active imaging over 201.5 km. Satellite image of the experiment implemented near the city of Urumqi, China, where the single-photon lidar is placed at a temporary laboratory in the wild. (a) Visible-band photograph of the mountains taken by a standard astronomical camera equipped with a telescope. The elevation is approximately 4500 m; (b) Schematic diagram of the experimental setup; (c) Photograph of the setup hardware, including the optical system (top and bottom left) and the electronic control system (bottom right; (d) View of the temporary laboratory at an altitude of 1770 m

      图  147  201.5 km以上场景重建结果。(a)真实可见光照片;(b) Lindell等人在2018年对SBR ~ 0.04、平均信号PPP ~ 3.58的数据的重建深度结果;(c)重建结果的三维剖面图

      Figure 147.  Reconstruction results of a scene over 201.5 km. (a) Real visible-band photo; (b) The reconstructed depth result by Lindell et al. in 2018 for the data with SBR ~ 0.04 and mean signal PPP ~ 3.58; (c) A 3 D profile of the reconstructed result

      (3) 基于深度学习的高灵敏度成像

      近年来,基于数据驱动的深度学习技术也在提升成像灵敏度方面取得了成功应用。2018年,Chen等[705]将深度学习技术应用于极弱光成像领域。其思想主要在于在使用相同相机的情况下,先在极低照度的情况下拍摄到短曝光(约1/30 s)图像,而后使用在长曝光时间下拍摄到的图像作为深度神经网络的匹配目标。经过训练的深度学习网络可以在照度低于0.1 l×的情况下,仅根据一幅极弱光条件下拍摄到的短曝光时间(约1/30 s)图像(如图148(a)所示)恢复得到一张细节清晰的高信噪比图像(如图148(c)所示),相比于图148(b)所示的使用高感光灵敏度CCD拍摄到的图像,深度学习所得到结果无论是色彩、细节还是阴影中的背景均得到了更好的还原。

      图  148  基于深度学习进行极弱光成像的结果。(a)摄像机输出(ISO 8000);(b)摄像机输出(ISO 409600);(c)由原始数据(a)恢复得到的结果[705]

      Figure 148.  Results of extremely weak light imaging based on deep learning. (a) Camera output with ISO 8000; (b) Camera output with ISO 409600; (c) Our result from the raw data of (a) [705]

      2018年,Lindell等[706]人首次将神经网络应用到了单光子成像中,其主要将近场的单光子成像模型生成数据集,其输入为一张高质量的RGB图像以及模拟的三维单光子成像结果,原始输入经过去噪网络后输出一个低分辨率深度图片,再在RGB图片的引导下进行超分辨,能够在低信噪比的单光子成像中,得到重建结果远远优于低分辨率的深度图片。中国科技大学熊志伟等[707]将non-local的网络模块加入了重构单光子成像的网络当中,使用网络更有效地获得了图像其他区域地信息,从而有效提高了重构性能,并且可以在极低信噪比情况下进行重构。而在远距离单光子成像的重构中。谭浩等人首次尝试使用深度学习来解决重构质量低以及重构时间长的问题[708]。如图149所示设计了多尺度网路结构来对远距离单光子成像进行由粗到细的重构,并且采用了梯度损失函数来对边缘细节模糊进行约束,在距离21 km的远距离单光子成像实验中,在平均光子数为1,信号背景比为0.1的极限条件下实现了高质量重建,且耗时仅为0.55 s,重建结果验证了网络的优越性。针对单光子探测物体边缘位置的重建对整体深度重建影响方面,南京理工大学何伟基等人提出了一种性能增强型神经网络[709],采用多尺度集成U-net网络作为主干网络实现边缘位置和整体深度分辨率的显著提升,其重建结果如图150所示。虽然针对单光子成像的深度学习方面的研究还处于初步阶段,但鉴于深度学习强大泛化能力,单光子成像也将会朝着更高灵敏度、更高分辨率、更远的探测距离等方向发展,在航空航天及军事国防领域具有重要的应用价值。

      图  149  提出的单光子三维成像多尺度网络图

      Figure 149.  Diagram of proposed multi-scale network for single-photon 3D imaging with multiple returns

      图  150  三个远程户外场景的重建结果。第一行的高层建筑距离成像系统21.6 km,空间分辨率256×256,信噪比为0.114,每像素1.228光子。第二行距离成像系统1.2 km,空间分辨率176×176,信噪比为0.109,每像素3.957光子。第三行的高塔,距离成像系统3.8 km,空间分辨率512×512,信噪比为0.336,每像素1.371光子。GT表示系统在较长的采集时间内捕获的地面真实深度图

      Figure 150.  The reconstruction results for three long range outdoor scenes. First row: A tall building, that locates at 21.6 km away from imaging system with a spatial resolution of 256×256, signal-to-noise ratio is 0.114, and 1.228 photons per pixel. Second row: That locates at 1.2 km away from our imaging system with a spatial resolution of 176×176, signal-to-noise ratio is 0.109, and 3.957 photons per pixel. Third row: A tall tower named Pole, that locates at 3.8 km away from our imaging system with a spatial resolution of 512×512, signal-to-noise ratio is 0.336, and 1.371 photons per pixel. GT denotes the ground truth depth maps captured by system with a long acquisition time

    • 对于传统成像系统而言,通过镜头聚焦并被成像设备采集到的物体的信息量总是有限的,它由成像系统的空间带宽积(Space-Bandwidth Product,SBP)决定。类似于海森堡不确定性原理,空间带宽积是对成像系统信息承载能力的衡量,其被定义为$SBP = {{FOV} / {{{\left[ {0.5 r} \right]}^2}}}$,其中$ r = 1.22\lambda F\# = {{0.61\lambda } / {NA}} $为成像系统在非相干成像条件下的衍射极限分辨率,$ F\# $代表镜头的F数,$ NA $代表其对应的数值孔径。如表1所示。目前现有的成像镜头的空间带宽积都在千万像素量级(10 Megapixels),且随着镜头焦距的提高(角分辨率提高),成像系统的空间带宽积不但没有提升,反而却有所下降。这种有限的空间带宽积是制约传统光学成像系统进行高通量探测、识别与感知的关键瓶颈。那么如何在现有成像硬件加工制造水平有限的前提下,进一步提升成像系统的信息通量,实现“大视场、高分辨、高通量”成像,解决传统成像系统视场与分辨率不可调和的矛盾,也必将是光电成像系统研究的基础性难题,也是推动光学成像不断向更大视场、更远作用距离、更高信息通量发展亟待克服的关键技术。

      表 1  典型35 mm单反相机镜头的空间带宽积

      Table 1.  Spatial bandwidth product of typical 35 mm SLR lens

      Focal length/mmField angle
      (diagonal)/(°)
      Typical
      F#
      Equivalent
      NA
      Focal plane resolution
      (550 nm)/μm
      Spatial bandwidth product
      Mega pixel/MP
      Megapixel/mrad
      81803.50.142.3963.350.29
      2094.51.80.271.24212.40.06
      5046.81.20.410.81828.70.016
      8528.61.40.350.95920.90.011
      10024.42.80.171.9734.90.018
      20012.340.122.7952.40.013
      4006.25.60.084.1931.10.009
      10002.580.065.5910.610.005

      光学成像系统获取的信息量由光学系统的视场和分辨率决定。宽视场高分辨成像顾名思义就是成像系统既能够拍摄到很的大视场范围,又能拍摄到场景中重要且又易被忽略的细节信息,然而对于传统光学系统,视场与分辨率这两个参数互相矛盾。如图151所示的一个典型35 mm单反相机,短焦距镜头能够获得较大的视场范围,但无法观测到场景中人物的细节。焦距增大后,对场景细节的分辨能力虽得以提升,但其视场角几乎得到等比例的缩小,只能看到场景中很少的一部分信息。换言之,传统光学成像系统存在分辨率与视场大小难以同时兼顾的矛盾:短焦镜下视野大,但分辨率低;切换到长焦镜头后分辨率虽得以提升,视场却相应的成更高比例的缩减。

      图  151  对于传统光学系统,视场与分辨率这两个参数互相矛盾,无法同时兼顾。(a) 35 mm单反相机不同焦距下所对应的视场角;(b) 35 mm单反相机不同焦距下所拍摄到的典型图像

      Figure 151.  For traditional optical systems, the two parameters of field of view and resolution are contradictory and cannot be taken into account at the same time. (a) The corresponding field of view angle of 35 mm SLR camera under different focal length; (b) Typical images taken by 35 mm SLR camera under different focal lengths

      在宏观成像系统中,图像拼接是获得宽视场高分辨图像的重要途径,最简单的方式是通过单个高分辨相机围绕一个固定轴进行连续扫描拍摄,获得大量具有重叠区域的图像之后,通过后期图像拼接即可得到宽视场高分辨图片(如图152所示)。而近年来,基于的多相机/孔径的计算成像技术不断涌现以提升成像系统的数据通量,从其实现方式来看大致可分为探测器拼接、多相机拼接、仿生复眼成像和多尺度成像四大类。

      图  152  GigaPan全景拍摄系统及拍摄拼接所得的像素全景图

      Figure 152.  GigaPan panoramic shooting system and pixel panorama obtained by shooting splicing

      (1) 探测器拼接

      近年来,半导体制造工艺的快速发展带动了光电探测器在灵敏度、像素数量、像素规模、噪声水平、成像波段等方面的巨大进步。尽管目前探测器的像素规模已经达到了千万量级,单片的成像探测器的像素规模仍然无法满足航天遥感、天文观测、广域监视等领域对高通量成像的需求。探测器拼接集成是提升像素规模实现高通量成像的常用方法。例如美国空军实验室和LosAlamos国家实验室联合研制了AngelFire大视角持久监视观测系统,英国Logos Technologies公司研制了高分辨率广域昼夜监视系统Kestrel,英国BAE公司研制了搭载在A160 T蜂鸟无人直升机上的ARGUS系统[710]等。如图153所示,ARGUS系统主要由4个主镜头构成,每个镜头分配92个Aptina MT9P031商用图像传感器,共计368个子探测器。在每个主镜头下,探测器呈棋盘状分布,四个焦平面阵列交错互补,通过后期图像拼接,能够得到总像素达18亿的整体大视场高分辨率图像。在系统高度为6 km的情况下,可以覆盖直径为7.2 km、面积达40平方公里的地面区域,像元分辨率为15 cm,可以清晰分辨成像视场内的车辆、行人及其他目标。

      图  153  ARGUS-IS系统及其成像效果。(a) ARGUS-IS 系统外型;(b)系统采用了368个图像传感器和四个主镜头,其中92个传感器为一组,共用一个主镜头。通过巧妙设置传感器的安装位置,使得每组传感器获得的图像错位,互为补充,再通过图像拼接,能够得到较好的整体成像结果;(c)此成像系统在 6000 m高空有效覆盖7.2 km×7.2 km的地面区域

      Figure 153.  ARGUS-IS system and its imaging effect. (a) ARGUS-IS system appearance; (b) The system uses 368 image sensors and four main lenses, of which 92 sensors are a group and share a main lens. By skillfully setting the installation position of sensors, the images obtained by each group of sensors are misaligned and complementary to each other, and then through image mosaic, better overall imaging results can be obtained; (c) The imaging system effectively covers 7.2 km × 7.2 km ground area at an altitude of 6 km

      (2) 多相机拼接

      不同于多探测器拼接中构建探测器阵列,多相机拼接则采用多个独立的成像设备作为探测单元对空间场景进行拍摄。通过多台成像设备按照一定的排布方式构建相机阵列,以获取不同方位的场景信息。根据应用情况的不同,相机阵列的排布方式可以设计为平面型、环型、球型等多种方式。这种成像模式通过后期图像配准与拼接最终得到宽视场高分辨图像,无需旋转扫描机械结构避免了单相机扫描拍摄的时间延迟问题,但要求相邻的探测单元间存在一定的视场重叠。典型案例包括Lytro公司所研制的光场采集系统Immerge(如图154(a)所示),其是由2005年斯坦福大学Wilburnden等人提出一种由96个相机组成的大型成像系统发展演化而来,如图154(b)、(c)所示。该系统每个相机视场均可调,在确定相机在空间中的排布方式以及调节相机视场可以并行获取一系列不同视角下的图像,借助相邻相机的视场重叠可以重构出宽视场高分辨图像或者实现宽视场高分辨视频采集[711-712]等。通过改变相机单元的排布方式,相关技术还可以用于实现三维重建(如图154(d)所示的用于3 D扫描技术的CAMatrix环型相机阵列系统)与光场渲染(如图154(e)所示的清华大学戴琼海院士课题组研制的鸟笼状相机阵列系统,可以用于采集场景各个角度的光照变化)等。

      图  154  多相机拼接系统。(a) Lytro公司所研制的光场采集系统Immerge;(b) 斯坦福半环型相机阵列系统;(c) 斯坦福平面型相机阵列系统;(d) Camatrix环型相机阵列系统;(e) 清华大学鸟笼相机阵列系统

      Figure 154.  Multi camera splicing system. (a) Light field acquisition system Immerge developed by lytro company; (b) Stanford semi ring camera array system; (c) Stanford planar camera array system; (d) Camatrix ring camera array system; (e) Tsinghua University birdcage camera array system

      (3) 仿生复眼成像

      从探测器的“平面”到“曲面”、探测机制的“成像”到“光感”、复眼的“形似”到“神似”,仿生复眼成像也在高通量成像研究上取得了显著的应用成果。瑞士洛桑联邦理工学院(EPFL)的科研团队设计并研制了仿生复眼成像设备Panoptic[713],如图155(a)所示。该系统由上百个分层排布于半球面上的“子眼微相机”构成,能够覆盖较大的视场范围。在此基础之上,该团队进一步研发了OMNI-R系统和Giga EYE系统[714],以提升系统的分辨率与视场范围。如图155(b)所示为OMNI-R系统,该系统由44个子眼镜头构成,每个镜头焦距为6 mm,视场范围为53º×43º,通过后期拼接可以对360º×100º的视场范围实时成像。美国北卡罗来纳州立大学天文学家Nicholas Law研制的艾弗里地基望远系统(Evryscope)[715-716],是另一种类似于昆虫复眼结构的成像系统。如图155(c)所示,该系统由24个口径为7cm的望远镜在半球壳上排布构成,成像视场约1/4个天空范围。

      图  155  (a) 瑞士洛桑联邦理工学院(EPFL)的科研团队设计并研制了仿生复眼成像设备Panoptic;(b) 大视场高分辨率的OMNI-R系统;(c) Nicholas Law研制的艾弗里地基望远系统Evryscope

      Figure 155.  (a) The research team of the Federal Institute of Technology (EPFL) in Lausanne, Switzerland, designed and developed the bionic compound eye imaging device Panoptic; (b) OMNI-R system with large field of view and high resolution; (c) Everyscope, avery ground-based telescope system developed by Nicholas Law

      国内相关单位也开展了一些工作,在复眼镜头设计、拼接算法优化、结构特性分析等方面展开研究。中科院光电技术研究所综合了前期在前端子眼镜头光学设计、排列方式与后端图像拼接算法的研究基础,研制出人工仿生复眼成像系统[717-718]。该系统由37个分布于球壳表面的子眼镜头构成,视场范围可以达到118º。长光所的张红鑫等人针对动物复眼结构开展研究,借助ZEMAX软件仿真分析了动物复眼的结构,并基于此提出了一种新型的重叠复眼结构模型,拓展了复眼系统的成像视场角[719722]。中国科学技术大学的课题组研究了仿生复眼的成像特性并对各通道下的物像关系模型进行了精确的建模,最终研制出一种宽视场复眼结构成像装置[723726],可应用于低空飞行目标运动参数的快速获取。上海安科迪公司将相关技术应用于安防领域,研发了超高清大视角高分辨率安防相机[727],可以对目标区域进行实时高分辨监控。

      (4) 多尺度成像

      不同于上述介绍的几种成像方法,多尺度光学成像是从光学设计校正像差的角度出发,基于透镜成像系统的物像比例原则,从而同时提升成像系统的分辨率与视场范围。美国杜克大学的Brady提出了多尺度光学成像设计[728],采用光学设计手段校正系统的像差,在增加光学系统尺度的同时,保证系统具有较小的几何像差。虽然多尺度光学系统设计具有很大优越性,由于作为系统主镜的常规透镜在不同视场位置的像差很难保证一致,这就要求次级多孔径中继阵列所需要校正的局部视场像差也各不相同,进一步导致次级中继系统的加工和设计充满挑战。针对这一问题,Brady等提出了同心多尺度光学成像系统[728735]以保证不同视场位置的次级中继成像系统校正的局部像差相同,并先后研制了AWARE-2[735]、AWARE-10[736]、AWARE-40[737]等多尺度可见光大视场高分辨率成像系统,分别如图156所示。其中,AWARE-2与AWARE-10的前级均采用一个双层同心球透镜,次级系统分别采用98个、382个微相机组成中继成像阵列。AWARE-40则采用了一个非同心的双高斯物镜以增加前级系统物镜的焦距,次级采用262个微型相机组成中继成像阵列。

      图  156  多尺度成像系统。(a) AWARE-2结构图;(b) AWARE-10结构图;(c) AWARE-40结构图

      Figure 156.  Multiscale imaging system. (a) AWARE-2 structure drawing; (b) AWARE-10 structural drawing; (c) AWARE-40 structure drawing

      国内也有相关单位对多尺度多孔径光学系统开展了研究。清华大学戴琼海院士课题组[738]将多尺度光学设计引入生物医学成像领域,通过中继成像与视场分区域采集,并在综合考虑光场重构与计算等过程的条件下,研发了一款快照高光谱体积式显微成像系统,能够实现宽视场高分辨显微成像。北京空间机电研究所的戚均恺等研发了一种新型多尺度单中心光学系统,同时具备视场大、畸变小、照度均匀、像面分辨率均匀等特点[739]。中国科学院西安光学精密机械研究所闫阿奇将同心多尺度设计方法引入大视场三线阵立体航测相机光学系统研究,设计了一种宽视场高分辨率成像系统,在60 mm焦距下,视场范围可达100°×60°[740]。浙江大学郑臻荣教授课题组结合多尺度成像理论设计了一种机载对地观测系统[741],该系统视场在水平方向上采用多子孔径拼接,竖直方向上则采用单孔径视场,配合无人机沿成像系统竖直方向飞行以进行连续的视场扫描,从而实现宽视场成像。西安电子科技大学的邵晓鹏教授课题组开展基于共心球透镜的多尺度广域高分辨率计算成像系统设计研究,借助构建的像差优化函数获取了光学系统的设计参数,既简化了光学设计过程又提高了系统成像性能[742-743]

      (5) 无透镜片上高通量显微成像

      成像视场与分辨率的矛盾同样存在于传统显微成像系统中(如图157所示)。如表2所示,目前现有的大部分显微物镜的空间带宽积均在千万像素量级(10 Megapixels),这种有限的空间带宽积与宏观成像系统一样,其同样是制约显微成像系统应对复杂生物样品(如细胞集群)研究的关键瓶颈。虽然利用高倍物镜结合视场拼接技术可以同时实现高分辨与宽视野成像,达到提升空间带宽积的目的,但机械扫描与图像拼接降低了成像的速度,致使成像系统的时空带宽积(Space-Time-Bandwith Product,STBP,即单位时间内的SBP)降低,从而无法为单细胞分析提供具有细胞生命现象动态过程研究所需的高时间分辨率。因此,如何有效突破成像系统的时空带宽积限制实现高通量显微成像,是目前计算光学成像研究的一大重要方向。

      表 2  典型的显微物镜的空间带宽积

      Table 2.  Spatial bandwidth product of typical microscopic objectives

      Objectives
      (Magnification/Numerical aperture/Field number)
      Resolution/nm
      (Incident wavelength 532 nm)
      SBP/
      Megapixel·MP−1
      1.25×/0.04/26.5811321.5
      2×/0.08/26.5405733.5
      4×/0.16/26.5202833.5
      10×/0.3/26.5108218.9
      20×/0.5/26.564913.1
      40×/0.75/26.54337.4
      60×/0.9/26.53614.7
      100×/1.3/26.52503.5

      图  157  传统显微镜存在分辨率与视场大小难以同时兼顾的矛盾:低倍镜下视野大,但分辨率低;切换到高倍镜后分辨率虽得以提升,视场却相应的成更高比例的缩减

      Figure 157.  There is a tradeoff between the resolution and FOV in traditional microscopes: The FOV under low-magnification objective is large with the low resolution; for high-magnification objective, the resolution is improved while the FOV is reduced dramatically

      针对传统显微成像系统中空间分辨率与视场大小之间的矛盾,目前有四类可能的解决方案(如图158所示):(1)片上无透镜显微成像技术(On-chip lens-free microscopy)[143, 744757];(2)傅里叶叠层显微成像技术(Fourier ptychography microscopy)[178, 180, 188];(3)合成孔径/合成视场全息显微技术(Synthetic aperture/FOV holographic microscopy);(4)基于流式细胞术的显微成像技术(Flow cytometric microscopy)。在片上无透镜显微成像技术中,无需借助任何透镜,将物体置于传感器上进行成像。为克服无透镜成像分辨率较低问题,传统的无透镜全息成像往往采用相干球面波照明,并将待测物体尽可能靠近光源以获得足够的放大率。这种球面波预放大方式虽然简单易行,但也带来两大矛盾,即放大率与视场大小的之间的矛盾(放大率越大,视场越小)以及放大率与数值孔径之间的矛盾(放大率越大,等效数值孔径越小)。前者限制了成像区域的范围,后者则限制了系统的极限分辨率。此外,由于部分相干成像所固有的相干门限效应,这种大物距的无透镜成像方式无法应用于低相干照明的成像中。因此,近年来无透镜显微成像都尽可能地将待测物体靠近传感器(一般小于1 mm),即无透镜片上显微技术。相比于传统透镜式显微系统,无透镜片上显微系统具有两大优点[143,748]:系统放大率接近于1,即成像视场完全由探测器的光敏面大小所决定;系统的等效数值孔径也接近于1,即几乎样品的所有正向散射光均能够被探测器所接收。以上两点表明无透镜显微成像系统理论上等价于一个放大率为1,数值孔径为1.0的传统光学显微镜,相比传统显微镜,其空间带宽积提升了两个量级,实现质的突破。

      图  158  克服传统显微镜空间带宽积受限四类可能的解决方案。(a) 芯片上无透镜全息显微成像技术;(b) 傅里叶叠层显微成像技术;(c) 合成孔径/合成视场全息显微技术;(d) 基于流式细胞术的显微成像技术

      Figure 158.  Four types of possible solutions to overcome the limited spatial bandwidth area of conventional microscopes. (a) On-chip lens-free holographic microscopy; (b) Fourier ptychography microscopy; (c) Synthetic aperture/FOV holographic microscopy; (d) Flow cytometric microscopy

      无透镜片上显微成像技术主要分为两类,即接触式投影成像技术和基于衍射的无透镜显微成像技术。投影式成像中,样品直接放置于传感器表面,空间相干性有限的光源直接照射相位物体,样品的投影直接由图像传感器采集。这种方法无需任何重构方法,不仅可以用于静态物体的成像还可以用于细胞分裂、运动以及其他特性的监测。2008年,Cui[758]等和 Ozcan[759-760]等在微流体通道上结合片上显微技术,实现了对不同类型细胞的监测。次年,Ozcan[761]等实现了微粒和细胞强度和相位的重构。2011年,Zheng[762]等在移除相机表面玻璃的传感器表面,基于投影式无透镜显微镜实现了细胞生长以及胚胎干细胞分化的跟踪。此外,结合微流通道可有效减小实验系统体积,实现大视场高分辨成像。如2008年,Yang[758]等利用微流体、金属镀层的CMOS传感器以及微米尺寸的小孔阵列,实现了对秀丽隐杆线虫、孢子和单细胞的实体进行成像。后一类无透镜显微成像技术本质上是依赖计算来消除或者部分消除样品和成像面之间的产生的衍射现象。具体地,在重构物体的聚焦图像时,由于缺少相位信息,所以重构后的聚焦图像往往存在着共轭像,因此相位恢复[129, 132, 140, 763-764]是无透镜全息显微成像过程中的关键因素之一。与此同时,受制于传感器的制造工艺、光源的相干性等一系列因素,无透镜显微成像还迫切地需要提高重构分辨率。

      传统的像素超分辨率依赖于使用多个低分辨率测量值对样本的高空间频率内容进行数字合成,这些测量值依赖于图像传感器和目标平面之间的亚像素位移[548, 585, 748, 765-767],因此,发展出了诸如光源/样品/传感器横向位移(光源阵列)[748,765,768770](系统结构如图159(a)、(b)所示)的方法来实现分辨率的提高。利用该方法可以获得高分辨率(即超分辨)全息图,然后将这些高分辨全息图用于相位恢复。为了恢复同轴成像中丢失的相位信息,一般需要使用多幅全息图,例如,多个样品到传感器的距离[129, 140, 764]、照明角度[771],或照明波长[772775]。每一幅全息图都可以作为光场振幅的物理约束,从而在迭代算法中可以强制使得计算的复振幅场与这些采集值保持一致[56, 129, 140, 772, 776]。上述的像素超分辨率技术结合相位恢复算法,能够使无透镜全息显微镜获得亿像素级的高通量,即实现高分辨率和大视场重构,但它们需要采集大量的数据,并将重构过程分为两大部分。例如,基于多高度重构算法[129, 140, 764]中,如果在八个不同高度上实现4×4 pixel的超分辨率,则要采集128幅原始全息图。为提高数据的利用率,Luo等[750]提出了一种新的计算方法,称为传播相量法,首次将像素超分辨率和相位恢复技术结合到一个统一的数学框架中。该方法分析了无透镜各参数对重构分辨率以及共轭像的消除的影响(如图160所示),通过分析,可以提高重构方法数据效率,即减少原始数据的采集。

      图  159  芯片上无透镜全息显微成像的“亚像素”超分辨技术。(a) 通过移动照明实现亚像素微扫描;(b) 笔者课题组所提出的基于倾斜平行平板的主动亚像素微扫描方案

      Figure 159.  Sub-pixel super-resolution technology based on the lens-free holographic microscope. (a) Sub-pixel micro-scanning by moving illumination; (b) Active sub-pixel micro-scanning scheme with inclined parallel plate proposed by our research group

      图  160  相量传播方法对全息成像重构过程中数据的利用提升[750]

      Figure 160.  Propagation phasor approach improves the data efficiency of holographic imaging[750]

      Luo等[750]指出除了单独横向位移只能对消除像素混叠有作用,其余的参数(样品和传感器间距、照明波长、照明角度)都兼顾提高重构分辨率、消除共轭像。目前已发展出多波长照明[777]、轴向扫描[778]等方法。2016年,Luo等[777]利用波长可调谐激光器产生498~510 nm的可变波长,结合多角度照明以及多高度扫描,算法上在基于交叠孔径的相位恢复方法中加入了高分辨校正矩阵过程。最终在1.12 μm的相机的像元尺寸上实现了0.5 μm的分辨率(5个角度照明,每个角度下12种波长照明,即60幅图像)。笔者课题组也提出了一种利用轴向扫描(多样品-传感器面间距)同时实现像素超分辨和相位恢复的方法[778]。该方法建立了无透镜显微成像像素传递函数模型,通过轴向扫描采集不同离焦面上的低分辨的光强图,基于自适应松弛系数的GS迭代算法以实现相位恢复与超分辨成像。最终在1.67 μm的相机的像元尺寸上实现了0.77 μm的半宽分辨率(共采集10幅不同离焦平面的图像)。近年来,深度学习也被应用于无透镜显微成像以解决传统无透镜重构算法(相位恢复、像素超分辨)中的一些关键问题,如消除共轭像、提升重构效率、改善色彩还原等[779-780]。这不仅有助于无透镜显微镜在生物医疗等方面的应用,还有助于去除传统全息显微成像中由于灰尘或光学原件不完美导致的寄生干涉效应,生成高质量高通量重构图像。有关无透镜显微成像技术更多详细的内容,请参阅《红外激光工程》“计算光学成像技术与应用”专栏本课题组所撰写的综述论文《无透镜片上显微成像技术:理论、发展与应用》[781]

      (6) 合成孔径/合成视场全息显微成像

      传统的离轴数字全息技术仅需采集一幅载频干涉图即可以实现相位重建,简单高效。然而由于共轭项和零频分量的作用,该方法很难充分利用成像系统与成像器件的空间带宽积。合成孔径/合成视场全息显微技术将合成孔径/合成视场的理念引进数字全息技术,把载频干涉条纹当作频域载波,通过频分复用的原理在全息图的傅里叶频谱空间上调制多重空间/视场信息。与傅里叶叠层成像类似,合成孔径数字全息术也是基于倾斜照明的移频原理。由于数字全息直接记录了物体的振幅与相位信息,合成孔径可以直接实现,无需像傅里叶叠层成像那样迭代重建。建立了数字全息合成孔径的基本理论基础[782],采用倾斜照明[783],无透镜扫描[784-785]等实现数字全息超分辨成像。多种成像系统,如共路干涉光路[786-788]、无透镜光路[784,789]、多波长复用、空域最优复用策略[775, 790-791]等相继报道。除倾斜照明外,基于结构光照明[792-793]数字全息技术也是实现超分辨全息的常见方法。但值得注意的是,频分复用的原理不仅能提升分辨率,还能延展视场,其基本原理是利用物体在不同视场内信息与不同参考光角度干涉形成不同频率/方向的载频,从而将看似叠加在一起的多幅空间视场信息在频谱域进行分离。Shaked教授课题组报道了一系列合成视场的数字全息显微镜光路[794796]。目前该技术视场的延展范围仍然有限,仅能达到原成像视场的2~3倍,在提升数据通量上作用并不明显。

      (7) 傅里叶叠层显微成像

      如2.1.1节所介绍的,傅里叶叠层成像整合了相位恢复和合成孔径的理念[178]:样品被不同角度的照明光束(通常是一个LED阵列)依次照射,并通过一个低倍、低数值孔径的物镜成像(如图55所示)[178]。将所拍摄到的低分辨率图像在频域里迭代,依次更新对应的子孔径里的频谱信息,子孔径与子孔径交叠着扩展了频域带宽并恢复出超过物镜空间分辨率限制的高频信息,进而在低倍物镜的大视野下重构出物体的高分辨强度和相位分布。传统傅里叶叠层成像技术虽然同时实现“大视场、高分辨”的高通量显微成像,但是仍然需要采集大量低分辨率光强图像。为了减少傅里叶叠层成像所需的原始图像数量、提升成像的时间分辨率,稀疏采样[797]、多角度照明复用[182-183]、空间分束单次采集[798-799]、差分相衬初始化迭代[800]等方法相继报道。Bian等[797]基于稀疏采样技术减少约50%的图像采集数量,但该技术不适用于频谱分布复杂的样品;He等[798]基于衍射分束法实现单帧FPM采集,但该方法牺牲了空间带宽积,无法达到高成像分辨率;Tian等[800]提出DPC初始化结合多角度复用照明技术,将所需的图像减少到21幅,实现等效数值孔径为0.8的1.25 Hz准动态成像。笔者课题组通过结合环形可编程照明与颜色复用技术实现了单帧傅里叶叠层显微成像(如图161所示),相位成像帧率达到相机的固有帧率50 fps,并展现了该方法应用于动态傅里叶叠层成像[801-802]

      图  161  基于单帧傅里叶叠层显微成像的高通量定量显微成像

      Figure 161.  High throughput quantitative microscopic imaging based on single frame Fourier ptychographic microscopy

    • “单像素成像”就是利用空间光调制技术将结构光图案投影到目标场景上,使得场景的二维或者三维空间信息被编码成一维光信号,然后使用不具备空间分辨能力的单像素探测器(比如光电二极管、光电倍增管、光电池等)采集包含场景空间信息的一维光信号,最后在计算机端对一维光信号进行数值计算,得以完成物体图像的重建。由于其不需要常规成像系统的面阵探测器,仅用单点探测器进行信号采集,单像素成像技术有望成为简化成像系统并降低其成本。如图162所示,单像素成像是一种典型的计算成像技术:空间光调制(如DMD、LCOS等)和数值计算是单像素成像的核心。通过投影结构光图案(比如随机散斑图案、傅里叶条纹图案、哈达玛图案等)到目标场景上,将目标场景的空间信息调制到对应的变换域中。而数值计算指的是重构算法,根据不同的调制图案,采用对应的重构算法,使得场景空间信息从一维光信号中被解码出来。

      图  162  单像素成像原理示意图[803]

      Figure 162.  Schematic of single-pixel imaging[803]

      100多年以前,就有科学家使用只有单个像素的探测器来恢复图像。早在1884年,P. Nipkow 所提出的转盘扫描成像技术[804],光源经过一个表面刻有细小孔洞(孔洞成螺旋式分布)的转盘,只有透过孔洞的光能打在目标物体上,其余的光被转盘阻挡,从而实现对物体的空间单点扫描,目标物体各位置的反射光被单像素探测器——“flying-spot”相机记录。1929年,Baird等[805]提出的电视放映机中也用了单像素探测器来记录图像。上述成像技术在当时被称为基于空间单点扫描的单像素成像技术,但由于重建的图像质量差、信噪比低、光照利用率低、成像时间长等缺点,该技术逐渐淡出了历史舞台。20世纪以来,随着“鬼成像”现象的发现,人们重新燃起了对单像素成像的研究热情。“鬼成像”技术最早于1995年被Pittman等在利用量子纠缠效应的实验中发现,因此该技术又被称作双光子纠缠鬼成像[806]。该技术利用光子对的纠缠效应而非空间单点扫描来探测目标物体的空间信息,从而实现对物体成像。随后,Bennink等人于2002年提出了基于相干光的热光鬼成像[807],实验没有使用上述的纠缠态量子源,而是使用斩波器来调制激光光束,对刻有“UR”字样的光阑进行了重建,实验证明量子纠缠并非实现“鬼成像”的必要条件。Gatti等[808]和Cati等[809]又进一步证明了使用部分相干的热光源也可以实现“鬼成像”,从实验上说明了“鬼成像”是一种经典的光学现象[807]。2008年,受Shapiro提出的计算鬼成像装置的启发,Bromberg等人在计算机端产生具有随机相位的散斑图案,将图案加载到空间光调制器(SLM)上,激光光束将空间光调制器上的散斑图案投影到目标物体上,单像素探测器探测目标物体的透射光,最后经关联运算重建图像,该技术被称为“计算鬼成像”技术[810]。由于SLM产生随机散斑场是已知的,因此无需使用图像传感器记录散斑场图案,只需要一个单像素探测器即可实现图像获取,该技术又被称为“单像素成像”技术。

      (1) 成像性能的改进

      虽然鬼成像技术经历了上述从量子成像到关联成像[811]到计算成像的三个发展阶段,单像素鬼成像技术也仅达到了实验室验证的程度,成像质量仍然不理想,且其采用的关联计算重建算法需要大量的单像素测量值,所以单像素鬼成像在实际应用中面临着成像质量差与测量次数多的问题。

      针对上述问题,近年来科研工作者从不同角度提出了很多有益的解决方案。从图像重建算法的角度,2009年,Durate等第一次提出了使用压缩感知重建算法进行物体空间信息解码的单像素鬼成像技术[41],该技术利用“先压缩,后采样”的压缩感知思想,以及大多数自然图像在合适的变换域中具有稀疏性的先验知识(稀疏性是指图像在变换域中具有很多近似取值或者取值为0的系数),将一些原始稀疏信号或者可压缩的原始信号(假设信号长度为M×N )从极少量的测量数据(假设测量数据长度为nn<<M×N )中恢复出来,使得单像素成像系统可以用远低于奈奎斯特采样定理的数据量实现对场景图像的重建。实验中仅使用1500次测量(重建图像像素数的2%)即可重建出相应的图像,然而,该方法虽然大大减少了测量次数,却需要耗费大量时间用于运算,并且很难恢复出图像的细节信息;2010年,Ferri等[812]提出了差分鬼成像的概念,该方法通过去除信号中的直流分量,来显著提高重建物体图像的信噪比;2012年,Sun等[813]提出了归一化鬼成像方法,该方法通过消除实验中激光器的功率波动引起的噪声,来提高成像系统的抗噪性能。近些年来的压缩感知现有若干压缩感知重建图像算法,如L1范数最小化算法、正交匹配和全变分算法等。

      从照明端的角度,上述介绍的用于鬼成像的随机图案作为用于空间光调制的结构光图案时,若要重建较清晰的图像,需要大量的测量次数,而一些变换域(如哈达玛变换域[814]、傅里叶变换域[815]、离散余弦变换域[816]等)的基底图案可以作为结构光图案的同时,能以更少的测量次数重建质量较好的图像。因为在同一变换域中的基底图案,彼此之间是正交的,加上自然图像在变换域中具有稀疏性,所以在采集数据的过程中可以适当减少冗余的数据而不影响重建图像的质量。如钟金钢课题组[815]首次提出的傅里叶单像素成像技术,其实验装置如图163所示。傅里叶单像素成像是基于傅里叶分析理论,即任意信号都可以经过傅里叶正变换分解为一组正弦波的加权组合。而图像作为二维信号,可以经过傅里叶正变换分解为一系列正交的傅里叶基底图案的线性组合,只要得到了目标图像在傅里叶域中的傅里叶系数,便可通过逆傅里叶变换获取目标图像。而傅里叶频谱是由傅里叶系数构成的,每一个系数可以通过投影一组相同频率、不同相位的傅里叶基底图案然后经简单的运算而获得。该技术能够在光源强度较弱并且采集的数据量仅为全采样的10%的情况下重建出轮廓清晰、细节分明的物体图像,如图164所示。

      图  163  二维傅里叶单像素成像实验装置示意图[815]

      Figure 163.  Experimental set-up of two-dimension Fourier single-pixel imaging[815]

      图  164  二维傅里叶单像素成像实验结果[815],重建图像的分辨率为256×256 pixel

      Figure 164.  Experimental results of two-dimension Fourier single-pixel imaging[815], the pixels of the reconstructed image are 256×256

      (2) 成像维度的提升

      在二维傅里叶单像素成像的基础上,通过与第2.1节所介绍的常见的三维成像技术,如飞行时间法[701, 817818]或立体视觉法[819-820]等相结合,即可将单像素成像的维度从二维拓展到三维[821]。立体视觉法主要是通过从不同视角获取场景的空间信息来重建场景中的三维图像[42,822-823],其实验光路如图165所示,一个数字投影仪将随机散斑图案投影到目标物体上对物体的空间信息进行调制,处在不同方位的四个单像素探测器测量物体对应方向上的调制光信号,并在计算机端通过算法对四个单像素探测器记录的数据进行处理,最终解码出目标物体的空间信息,获取四个探测器“观察”到的物体图像,通过联合四幅图像,便重建出物体的三维图像。

      图  165  基于立体视觉的三维单像素成像实验光路[42]

      Figure 165.  Experimental set-up of a stereo vision based 3D single-pixel imaging[42]

      飞行时间法主要可以分为两种:一种是图像立方法[824830],通过对目标物体进行成像获取一系列的二维图像,接着经过具体算法计算出物体的三维图像。在二维单像素成像中,可以通过投影一系列的结构光图案编码物体空间信息,并通过算法对单像素探测器所探测到的信号进行解码而获取物体的二维图像,但这并不能恢复物体的深度信息。由于脉冲激光的脉宽可以达到ps级别,利用脉冲激光携带调制图案的信息对物体进行调制并反射到探测器后被单像素探测器所探测,结合超短脉冲激光的飞行时间以及单像素探测值,可以重建出不同飞行时间下的物体二维图像,即不同深度下物体的二维图像,通过对每张二维图像的每个像素的灰度值进行比较,灰度值峰值对应的深度便是该像素所处的深度位置,进而恢复出了场景的三维图像,其实验原理如图166所示。除此之外,罗切斯特大学的Howland等人提出了另一种恢复深度图的方法[827],相比于图像立方法,其在物理意义上较为抽象,但是大大减少了三维重建时的计算量,更加高效快捷。

      图  166  图像立方法的概述[824]。(a)从场景中背向散射的照明激光脉冲的原始信号;(b)展宽后的信号;(c)利用探测信号得到的一组包含不同深度图像的立方;(d)横截面上的每个位置沿纵向轴的强度分布,包含深度信息;(e)反射率图;(f)深度图可以从图像立方体中解算出来,然后用于重建;(g)场景的三维图像

      Figure 166.  Overview of the image cube method[824]. (a) The illuminating laser pulses back-scattered from a scene are measured as (b) broadened signals; (c) An image cube, containing images at different depths, is obtained using the measured signals; (d) Each transverse location has an intensity distribution along the longitudinal axis, indicating depth information; (e) Reflectivity and (f) a depth map can be estimated from the image cube, and then be used to reconstruct; (g) A 3D image of the scene

      近年来,基于傅里叶单像素成像技术的多维成像技术也得到了迅速发展。借助于傅里叶变换条纹投影轮廓术,可以从二维成像拓展到三维成像[821];结合彩色相机的Bayer编码思想,可从灰度成像拓展到彩色成像[831],最终实现了多模态成像[832]。多模态傅里叶单像素成像通过空间光调制技术,将物体的空间信息、深度信息以及物体的彩色信息压缩在同一个傅里叶频谱中,从而实现了空间-深度-光谱的多模态单像素成像[832],结果如图167所示。

      图  167  多维傅里叶单像素成像实验结果[832]。(a)包含目标物体三个模态(空间-三维-彩色)的傅里叶谱,采样率为12%;(b)对重建效果图选中部分区域(红色实线部分);(c)三维彩色重建上视图;(d)三维彩色重建斜视图;(e)三维彩色重建侧视图

      Figure 167.  Experimental results of multi-modality Fourier single-pixel imaging[832]. (a) Fourier transform with spatial, 3D, and color three modality information of target object, where sampling ratio = 12%; (b) Image reconstructed from (a) with partial enlargement; (c)-(e) Top, perspective, and side views of the three-dimensional reconstruction of the object

      (3) 成像波段的拓展

      在很多重要的成像领域,如极弱光成像、远红外成像、太赫兹成像等,难以制造出具备高空间分辨率性能且成本低廉的面阵探测器。而制造满足相同技术指标的单像素探测器要更为容易且成本低廉。此外相比较阵列探测器,单像素探测器往往具有更高的能量收集效率、更低的噪声水平和更小的时间分辨率。因此特殊波段的面阵成像是单像素成像技术一个重要的应用方向。例如,太赫兹波段成像因具有透视、安全、光谱分辨率高等优点,被广泛应用在工业检测、安防安检、医疗诊断等领域。但现阶段的太赫兹阵列探测器技术成熟度低且成本高昂,而基于单点扫描的太赫兹成像技术虽已流行多年,但存在系统复杂、成像时间长等缺陷,难以实现动态成像。为了解决上述问题,Rayko等将单像素成像技术应用到了太赫兹成像波段。如图168所示,该方法使用太赫兹脉冲对目标物体准直照射,目标物体的透射光被投影到硅棱镜的一个界面上。与此同时,450 nm激光光束照射DMD,激光被DMD上的结构光图案调制后反射到硅棱镜的一个界面上。通过调整光路角度,可使得目标物体的透射光正好与结构光图案的反射光在棱镜上“相遇”。最终该方法仅采用太赫兹单像素探测器采集到的调制光信号,实现了像素数为32×32、6 frame/s的太赫兹波段动态面阵成像。

      图  168  实时太赫兹波段单像素成像实验图[833]

      Figure 168.  Experimental set-up of terahertz imaging with a single-pixel detector[833]

    • (1) 无透镜显微成像

      “无透镜显微成像”即摒弃所有光学透镜,将样品直接置于传感器上进行成像的新概念显微成像技术。无透镜技术是实现显微设备小型化、低廉化的关键途径,其可分为接触式投影成像技术和基于衍射的无透镜显微成像技术。投影成像实验光路如图169 (a)所示,其采用部分相干光源照明,样品置于传感器表面,传感器直接采集样品投影图像。可用于静态物体成像与细胞分裂、运动特性监测[834835]。在测量方面要求尽量缩小样品与传感器间距,因此有时需去除传感器保护玻璃层[762]。投影成像的极限分辨率一般取决于像素尺寸(0.8~10 μm之间)。有学者在传感器上涂金属层并排列亚微米小孔阵列,利用微流通道实现物体流动从而形成光流体显微镜。其装置如图169 (b)、(c)所示,可有效减小系统体积并提高成像分辨率[758,836]

      图  169  (a) 投影式无透镜显微成像实验系统图[833-835];(b) 无透镜光流体显微镜横截面示意图;(c) (b) 中实验装置顶视图。白色圆圈为小孔,浅灰色虚线网格为镀铝二维CMOS图像传感器,蓝线为微流体通道[758,836]

      Figure 169.  (a) Experimental setup[833-835] for lens-free shadow imaging platform; (b) Cross-sectional scheme of the opToFluidic microscopy; (c) The top view of the device (b) The white circles are apertures. The gray dashed grid is the CMOS sensor coated with Al, and the blue lines are the whole microfluidic channel[758,836]

      将样品发射的非相干荧光取代散射中的部分相干或相干信号[837-838]时即为无透镜荧光成像。此法一般在传统系统上增加一个激发光源与滤波器[839],其系统如图170(a)所示。通常该技术的分辨率受制于系统PSF[92],而样品到传感器间距将影响PSF(分辨率限制在~200 μm[838-839])。尽管该技术在成本、便携性和视野上有明显优势,其空间带宽积并不比传统有透镜成像优越[840]。为提高无透镜荧光成像分辨率,已发展出硬件[841845]和计算方法[837-838,846],如图170(b)所示[844]

      图  170  无透镜荧光成像原理图。整个成像系统放大率~1,全反射发生在玻璃-空气界面,位于玻璃层底部。为避免检测到散射激发光,在玻璃层下添加了塑料吸收滤光片。(TIR:全反射的缩写;图像是根据参考文献[837-838,841]修改而来)

      Figure 170.  Schematic diagram of the lens-free on-chip fluorescent imaging platform, whose platform has unit magnification. The TIR occurs at the glass-air interface at the bottom facet of the cover glass. To avoid detection of scattered photons a plastic absorption filter is used behind the faceplate. (TIR: Short for total reflection; The image was modified from the references[837-839,841])

      数字全息无透镜成像的采集图像是由样品散射光与直射参考光之间产生的干涉,其常见装置如图171所示。在实际系统中为尽可能减小体积与不必要的机械位移,一般采用多波长照明、多角度照明及等效光源横向位移来实现相位恢复与分辨率提升。如McLeod[847]利用光纤耦合LED作照明光源,如图171(b)所示,在牺牲一定时间分辨率的基础上实现对亚波长尺寸纳米颗粒($\lambda /10$)的测量,精度达11 nm,该系统的样品尺寸范围可从纳米级到毫米级。

      图  171  (a) 无透镜三维层析显微镜实物图[239];(b) (左)用于原位纳米透镜成型和无透镜成像的紧凑装置的实物图和(右)结构原理图[847]

      Figure 171.  (a) Photograph of the lens-free tomography platform[239]; (b) (Left) Photograph and (right) computer graphic diagram of a compact device for in situ nanolens formation and lens-free imaging[847]

      多角度照明系统可获取样品三维信息(如图171(a)所示),且有效避免共聚焦显微镜和光学相干断层扫描等方法所需的复杂装置。但此法轴向分辨率极低且与物体尺寸相关[548, 848-849],若在成像系统中增加光源进行三角测量[850]可提高轴向分辨率。笔者课题组[239]用LED阵列提供的多角度及多波长照明实现了马蛔虫子宫切片的三维层析成像,其实验装置如图171(a),实验结果如图172(a)、(b)所示。Isikman[548]等利用此类技术在约15 mm3的体积内,在x、yz方向上实现了1 μm×1 μm×3 μm空间分辨率,如图172(c)所示。

      图  172  基于多角度照明的无透镜三维层析成像结果。(a) 马蛔虫子宫切片的折射率重构结果;(b) (a)中红色矩形框中折射率的三维渲染[239];(c) 线虫在z=3μm位置的成像结果;(d1)~(d2) 分别为线虫的前部和后部在y-z平面的成像结果;(e1)~(e2) 分别为沿着(c)中实心箭头和虚线箭头方向的x-z平面的成像结果[548]。(图像是根据参考文献[239,548]修改而来)

      Figure 172.  3D tomographic reconstructions of lens-free on-chip microscope based on multi-angle illumination. (a) The recovered refractive index depth sections of a slice of the uterus of Parascaris equorum; (b) The 3D renderings of the refractive index for the boxed area in (a)[239]; (c) A tomogram for the entire worm corresponding to a plane that is 3 μm above the center of the worm; (d1)-(d2) y-z ortho slices from the anterior and posterior regions of the worm, respectively; (e1)-(e2) x-z ortho slices along the direction of the solid and dashed arrow in (c), respectively[548]

      (2) 无透镜摄影

      无透镜成像同样可以简化传统基于透镜的相机成像系统,实现宏观物体的无透镜摄影。由于仅需要低成本的非相干照明条件即可实现高质量的成像,基于非相干全息的无透镜成像技术作为计算成像的代表之一备受关注。其可分为非干涉编码孔径相关全息术和基于掩膜调制的无透镜成像技术。前者由Kumar等[851]提出,通过对非相干物体的入射波前分束、干涉记录,成功将物体上每一个点源的信息的线性叠加以全息图的形式记录下来,再利用算法恢复出物体在不同距离下的强度信息,从而得到进一步的深度信息。实验结果如图173(a)~(b)所示。基于掩膜调制的无透镜成像技术对入射光进行调制从而实现对物体信息进行编码,后期再经过算法对信息进行解码以实现无透镜成像。最早的掩膜调制无透镜成像技术是由Mertz等[852]提出的基于菲涅尔波带片(Fresnel Zone Plate,FZP)的方法,如图174(a)所示。该方法的一大缺点是其至少需要四个不同相位的菲涅尔波带片以实现相移算法获取相位信息[853855]。为了进一步减少编码数量,清华大学吴佳琛等[856]对该技术进行改良,将用于信号恢复中的TwIST(Two-Step Iterative Shrinkage/Thresholding)算法与TV正则化相结合,将单帧编码无透镜图像中的真实信号与孪生像分离开来,从而实现单帧下的无透镜重建,如图174(b)所示。

      图  173  无透镜非干涉编码孔径相关全息术。(a) 两颗LEDs和 (b) 两个硬币相距15 mm的重建结果[851]

      Figure 173.  Incoherent lens-free imaging. (a) Two LEDs and (b) two one-dime coins separated by a distance of 15 mm by LI-COACH[851]

      图  174  基于菲涅尔波带片的非相干无透镜摄像。(a) 无镜头相机的实时图像捕获和重建[853];(b) 利用菲涅尔波带片单帧无透镜相机对二值、灰度和彩色图像进行重建[856]

      Figure 174.  Lens-free imaging with FZP and incoherent illumination. (a) Real-time image capturing and reconstruction demonstration of a prototyped lens-free camera[853]; (b) the reconstructions for the binary, grayscale and color images using the FZP single-shot lens-free camera[856]

      除了利用菲涅尔波带片作为编码掩膜进行无透镜成像以外,在基于掩模调制的无透镜系统中,还可以通过引入不同的光学掩模来取代传统光学透镜实现聚焦成像。Asif等[857]设计了FlatCam,在相机传感器前放置了一个图案可分离的振幅掩膜,如图175(a)所示。FlatCam可分离的编码图案对应的PSF简化了无透镜相机的计算重建模型,展示了基于计算成像原理可以利用振幅掩膜实现平面无透镜相机成像的可能性。除了振幅掩膜以外,Boominathan等[858]设计的PhlatCam通过引入相位掩膜来产生高对比度的衍射图样作为系统的PSF,并结合了相位恢复方法来设计理想PSF所对应相位掩膜。PhlatCam 不仅可以实现中远距离的二维成像,还可以实现重聚焦,近距离物体的三维成像,以及在非常近的样品-掩膜距离下的显微观察,潜在应用场景十分广泛。

      图  175  FlatCam结构。(a) 一个二进制的编码掩码被放置在离一个现成的数字图像传感器0.5 mm的地方,对场景进行编码;(b) 一个通过传感器测量和图像重建解决一个计算逆问题的例子

      Figure 175.  FlatCam architecture. (a) A binary, coded mask is placed 0.5 mm away from an off-the-shelf digital image sensor; (b) An example of sensor measurements and the image reconstructed by solving a computational inverse problem

    • 自适应光学(Adaptive Optics, AO)是一种通过校正动态光学波前误差,从而改进光学系统性能的技术。约400年前,伽利略用他的望远镜首次发现木星的卫星,开启了人类进行天文观测的时代。但很快人类发现大气层对于天文观测有着不可忽视的影响:大气湍流产生动态波前误差导致成像光斑模糊抖动,大大影响了观测分辨力。1953年,海尔天文台的美国天文学家Babcock首次提出对大气湍流所造成的相差进行实时测量并加以补偿的设想。这个想法的核心在于用传感器测量波前误差信号并用控制校正器进行补偿,成像原理如图176[859],但是却未能及时在工程上实现。直到20世纪80年代后期,欧洲南方天文台(ESO)首次在智利的腊希拉(La Silla)天文台的3.6米望远镜上安装了自适应光学系统的原型机。同一时期,美国军方林肯实验室在大气湍流理论[860862]、激光大气传输[863866]、激光导引[867-868]、高分辨成像[869-870]都有了长足的发展。而后,于20世纪70年代末期,自适应光学开始在天文观测领域被应用,为高性能天文望远镜的研发开辟了道路。现如今,除了在军用和天文领域,自适应光学还与生物医学成像等民用领域相结合,在视网膜成像和显微成像展现了广阔的发展前景。

      图  176  自适应光学系统的成像原理图

      Figure 176.  Imaging principle of the system based on adaptive optics

      (1) 天文观测

      欧洲南方天文台(European southern observatory, ESO)于1985年开始研发最早的用于天文观测的自适应光学成像系统,该系统于1989年在法国Haute-Province天文台首次获得自适应光学校正的天文图像。天文成像系统在配备自适应光学校正后能够有效克服大气抖动对成像带来的影响,将空间分辨率显著提高大约一个数量级,使分辨率能够接近成像系统衍射极限。在目前正在推进的口径达30~40 m的超大型天文望远镜计划[871-872]中,自适应光学技术作为关键环节需要对目标在大视场(几角分),宽光谱范围(可见光到中红外光)实现自适应光学校正。除了基于天文望远镜的自适应光学系统[193, 871-874],自适应光学还可以被应用于人造卫星成像望远镜[51,872,875]以及太阳望远镜[876], 用于对人造卫星的监测和对太阳的物理研究、空间预报等。目前,美国星火导弹靶场(Starfire Optical Range, SOR) 的3.5 m望远镜[875](如图177所示)和毛伊岛光学站(AMOS)的3.67 m先进电光系统(Advanced Electro Optical System, AEOS)[51]是所使用的最大的对人造卫星成像用的自适应光学望远镜。中国科学院光电技术研究所(IOE)于1990年10月在云南天文台的1.2 m望远镜上研制了21单元动态波前误差校正系统,在我国首次实现了对自然星体的大气湍流校正;并于2011年通过激发人造纳信标实现了对暗弱恒星的自适应光学实时校正。

      图  177  SOR 望远镜对低轨卫星的成像效果[875]。(a) 校正前;(b) 校正后;(c) 校正+图像处理

      Figure 177.  Low orbit satellite imaging by SOR telescope[875]. (a) Uncompensated; (b) Compensated; (c) Compensated + image processing

      (2) 视网膜成像

      由于人眼不是理想的光学成像系统,所存在的固有像差会严重影响医学诊断中的视网膜成像。而且人眼像差与各人的瞳孔尺寸,光入射角度,视网膜成像位置以及体质等因素都存在联系,所以传统光学方法无法动态实时的对人眼像差进行探测,而基于自适应光学的人眼视网膜成像技术能够对这个问题进行解决。典型人眼自适应光学系统如图178所示,包括波前传感器和波前矫正器[877]。探测光首先照明人眼视网膜,经视网膜反射后由波前传感器对人眼像差进行测量,然后在下一次照明成像时由波前校正器对所测得像差进行校正。1994年,梁俊忠将夏克曼传感器首次应用于人眼像差的探测,又于1997年和Williams[878-879]将自适应光学技术引入视网膜成像系统中,获得了接近人眼瞳孔衍射极限的清晰视网膜图像,开辟了视网膜无创成像的新途径。我国的相关研究与仪器研制也发展迅速,中国科学院光电技术研究所(IOE)于2000年用19单元变形镜建立了我国第一台活体人眼视网膜自适应光学成像观察系统[880],目前已获得药监局批准为医疗仪器。IOE在研制成功人眼视网膜成像仪的基础上又研制成功自适应光学相干层析(AO-OCT)[881]和自适应光学共焦扫描检眼镜(AO-confocal Scanning Laser Ophthalmoscope, AO-CSLO)[882]等先进视网膜成像系统。图179是AO-CSLO拍摄的视网膜分层图像。

      图  178  成像和人眼测试所用的自适应光学系统的基本布局

      Figure 178.  Basic layout of an adaptive optics system for imaging and vision testing

      图  179  AO-CSLO拍摄的人眼视网膜分层高分辨力图像。(a) 活体人眼视网膜感光细胞层;(b) 毛细血管层;(c) 神经纤维层图像

      Figure 179.  Layered high resolution images taken by the AO-CSLO system. (a) Layer of human retina photoreceptors in vivo; (b) Layer of blood capillaries; (c) Layer of nerve fibers

      (3) 显微成像

      在光学显微成像领域,显微镜的成像性能通常受到像差的影响,一般表现为图像分辨率和对比度的降低。显微成像中的像差主要来源于成像系统的缺陷,浸没介质与样品折射率不匹配和样品折射率不均匀三种因素。前两种固定的像差均可以通过对系统的优化设计消除。而第三种随空间以及时间变化的像差会严重影响深层区域的成像质量,极大限度的限制了成像深度,因此需要应用自适应光学技术才能得以解决,如图180所示。荧光显微成像被分为宽场成像和点扫描成像,针对不同的照明和成像方式,自适应光学在显微镜中的应用方法也不相同。

      图  180  自适应光学在宽场荧光与共聚焦显微镜中的应用

      Figure 180.  Application of adaptive optics in wide field fluorescence and confocal microscope

      对于点扫描成像显微镜,例如共聚焦显微镜和多光子显微镜[883886],照明光路的自适应像差校正是必须的,而成像光路端的像差校正则各有不同。共聚焦显微镜在照明和成像上采用的都是点扫描的模式,去程像差会导致照明聚焦点扩散,产生背景杂散光,回程像差会导致图像对比度和分辨率的降低,因此在成像和照明双光路上均需要自适应像差校正。Booth[886]2002年首次将自适应光学技术应用于共聚焦显微镜(见图181),基于无波前探测器的模式法,有效提升了荧光强度和成像质量。Tao[887]于2011年通过注射荧光蛋白作为人工导星,对像差进行直接测量与校正。而多光子显微镜仅在焦点附近激发光子,因此主要需要对照明光路的像差进行校正。Albert[888]于2000年首次基于双光子显微镜实现了自适应像差校正。2010年,Cha[889]利用双光子焦点的反射光进行逐点的直接波前探测,实现了对小鼠大脑的深层成像。

      图  181  自适应光学在共聚焦显微镜与多光子显微镜中的应用

      Figure 181.  Application of adaptive optics in confocal microscope and multiphoton microscope

      宽场荧光显微镜在照明和成像方式上均属于宽场形式,因此自适应像差校正主要集中于成像端。2005年,Potsaid [890]首次将自适应光学技术应用于普通宽场显微镜,验证了将自适应光学应用于宽场荧光成像的可行性。2010年,Warber[891]应用基于随机搜索的无波前探测优化算法得到波前的畸变信息,将像差的计算时间缩短至30 s以下。Vermeulen[892]于2011年使用荧光微珠作为人工导星对蛋白细胞样品产生的像差进行直接探测,但是这种方法下视场受限于原视场的10%。此外,在超分辨荧光显微镜中,例如结构光照明显微镜(SIM)[610]和受激发射损耗显微镜(STED)[893],自适应光学也得到了广泛应用。2008年,Booth组[894]在结构光照明显微镜上实现了对小鼠肠样品的自适应光学校正成像,该工作主要对影响结构光产生的像差进行了校正。2012~2016年,Booth组[895898]将自适应光学技术应用于受激发射损耗显微镜(如图182所示),用空间光调制器和变形镜对系统中的三个光路同时进行了像差校正。

      经过50余年的发展,自适应光学技术在理论和硬件架构上已经基本发展成熟,在高分辨力成像、激光系统、视光学等方面都取得了重大应用成果。但大多数自适应光学系统的价格高昂、系统复杂,因此系统小型化和低成本将会成为其在民用领域得以广泛推广的一大瓶颈。而整个自适应光学系统中,波前校正器的大小决定了自适应光学系统体积,目前已经发展出小型分立式压电变形镜、双膜片变形镜[898]、MEMS变形镜[899-900]、液晶空间光调制器[901-902]、变形次镜[903]、无波前传感器自适应光学技术[886,904-905]、四棱锥波前探测器[906-907]等用于自适应光学系统的小型化。

      图  182  自适应光学在宽场荧光显微镜和超分辨率荧光显微镜中的应用。 (a) 微管蛋白染色的 HeLa 细胞在校正之前(左) 和之后(右) 的宽场荧光显微成像[892];(b) 一组标称直径为 121 nm 的荧光微球通过常规、共焦和结构光显微成像[894];(c) 使用 DM 和 SLM 来补偿 STED显微镜中所有三个路径的像差[897]; (d) Atto647N 标记的囊泡谷氨酸转运蛋白在完整果蝇大脑突触中的共聚焦(左) 和 3D STED(右) 图像的比较[895]

      Figure 182.  Application of adaptive optics in wide field fluorescence microscopy and super-resolution fluorescence microscopy. (a) Wide-field fluorescence microscopy of tubulin stained HeLa cells before(left) and after(right) correction[892]; (b) A cluster of fluorescent microspheres of nominal diameter 121 nm, as imaged by conventional , confocal , and structured illumination microscopy[894]; (c) By using DM and SLM to compensate all of the three path aberrations in STED microscopy[897]; (d) Comparison of Confocal(left) and 3D STED(right) images of Atto647N labelled vesicular glutamate transporter in synaptic boutons in intact Drosophila brains[895]

    • 当光穿过透明介质时,其传播方向与在真空中类似,都为线性传播。而当透明介质变为散射介质时,光会在散射介质中产生多次散射,从而将原本的光场进一步调制为带有随机散斑的光场。由于散射介质大多为纳米颗粒材料、生物组织以及白纸等,导致介质中无序的微小结构使得光束的传播方向多次改变,这个过程被称为光漫射,是一种不可逆的扩散过程。从而严重影响了人类从中提取信息的能力。因此,为了使得光束在通过散射介质后能够成像,人们提出了许多重要且新颖的穿透散射介质成像的方法。

      如2.3.3节所述,在天文学、眼科学、光学显微领域,采用自适应光学技术可以一定程度上克服散射介质对光线聚焦的影响。然而当光束在生物样品等强散射介质中被高度散射时,使用传统的变形镜来矫正波前的自适应技术已很难适用。因此针对强散射介质情况,经典传统方法包括扩散光学成像[908911]、光声成像[912]、双光子或者多光子荧光成像[913-914]与光学相干层析成像[915-916]等。其中扩散光学成像是基于光子在组织中传播的扩散近似,通过测量组织边界的扩散光强来重建组织光学参数(吸收系数和散射系数)的空间分布。利用这一技术,能够在厘米级别深度对生物组织成像。相对的,光声成像既拥有光学成像的高分辨率优点,又能够像超声成像一般在一定深度的情况下对生物组织实现成像。具体来说,其利用短脉冲发射的激光照射待测的生物组织,使得深层组织吸收脉冲光能量后升温膨胀,从而产生超声波。得益于超声散射比光散射弱几个数量级的特性,实现深层组织成像。光声成像既弥补了光学方法在深度和分辨率上的不足,又克服了纯超声成像技术在对比度和功能性方面的缺陷。除了上述这类传统的透过散射介质成像方法以外,近年来涌现出一批基于波前调制的方法[917924]、传输矩阵[918]、共轭波前[922,924]、散斑相关[923,925926]这类新型散射介质计算成像方法,此外最近深度学习技术[927]的出现与快速发展也给透过散射介质成像带来了新的机遇与可能。

      (1) 基于反馈波前调制的穿透散射介质成像

      与散射聚焦相关的工作最初主要是利用散射前后光场之间的线性关系进行波前调制,从而达到通过散射介质后聚焦的目的。Vellekoop等[917]在2007年利用空间光调制器逐点调控散射介质前的入射光场,实现了光场透过散射介质后聚焦,首次证明了对多重散射的相干控制,在此之前多重散射一直被认为是散射光成像无法克服的障碍。其主要利用了入射光场与出射光场之间的线性关系,通过SLM对入射波前相位调制并不断迭代优化,直到光场以最大强度穿透散射介质,从而实现了相干光透过SiO2的聚焦。由图183(d)可知,其亮度比优化前增强103[919]。基于反馈的波前调制方法虽然能够实现透过散射介质聚焦,但其对于散射光场的控制严重依赖于光场的入射位置,即如果要想在新的位置聚焦,则需要迭代优化算法从位置的初始状态重新启动,若要进一步实现散射成像,仅仅聚焦到单个点是完全不够的。

      图  183  基于反馈的波前调制原理及实验结果[919]

      Figure 183.  Principle and experimental results of feedback-based wavefront shaping[919]

      (2) 基于光学传输矩阵的穿透散射介质成像

      受单点聚焦启发,为了更好地描述光在散射介质中的传输,Popoff等[918]首次引入光学传输矩阵的概念,来描述光经过散射介质的传输特性,并利用“四步相移法”对传输矩阵进行 了测量。随后利用测量得到的传输矩阵实现了图像透过散射介质传输[920],其实验原理如图184所示。然而,由于散射介质的内部微观结构的复杂性,传输矩阵中的元素基本相互独立,其标定过程往往以单个单元进行,过程十分复杂耗时。针对此问题,2011年Cui等[921]提出并行波前优化方法,通过对每个像素采用不同的频率进行调制,实现了对传输矩阵的快速测量。

      图  184  基于散射介质的TM测量原理[920]

      Figure 184.  TM measurement principle based on scattering medium[920]

      (3) 基于光学相位共轭的穿透散射介质成像

      光学相位共轭技术是借助于全息技术生成物光波的共轭波前的技术[922,924]。该技术需要参考光,使之和被散射物体的物光相干涉,在记录介质上记录下散射场的复振幅分布,进而产生“时间反演”,从而恢复出入射光场的信息,实验原理如图185所示。

      图  185  基于光学相位共轭的生物组织散射成像[924]

      Figure 185.  Optical phase conjugation based scattering imaging of biological tissue[924]

      (4) 基于散斑相关的穿透散射介质成像

      除了基于波前调制技术的透过散射介质成像技术外,散斑相关法也是目前散射介质成像技术中应用颇为广泛的技术。2012年,Bertolotti等[925]首次利用自相关算法从透过散射介质得到的散斑图像中解算出物体的结构信息。如图186所示,该方法依赖于光学记忆效应,从而使穿透散射介质成像过程满足线性不变系统模型。利用散射介质的脉冲响应函数是空间随机分布的散斑信号,并且其自相关为冲激函数(δ函数),从而进一步可以计算得到散斑的自相关与物的自相关相同,最后利用GS迭代算法即可得到散射介质底层的物结构信息。

      图  186  透过强散射层非入侵式散射成像示意图[18]

      Figure 186.  Schematic of the apparatus for non-invasive imaging through strongly scattering layers

      虽然散斑相关方法开创了被动散射成像的新局面,但是也存在两个不可忽视的缺陷:首先,散斑数据的获取需要在空间角度上扫描,且扫描过程中要求物体和散射介质保持不变,因此该方法只能适用于静态散射介质。其次,利用GS迭代恢复相位本质上是一个欠定问题,只能概率性的给出恢复结果,结果存在不确定性。为了解决这两个问题,2014年,Katz等[923]结合了天体散斑干涉法及角度记忆效应的散斑相关性,在多帧散斑自相关成像方法的基础上,提出了一种非侵入式单帧散斑自相关的成像方法(见图187)。另一方面,Yang等[926]在物体邻近位置引入点物体作为参考物,借助物体和参考点的关联特性,在LED照明条件下,实现了两次透过同一散射介质的非侵入、无标记、反射型物体的散射成像。

      图  187  基于单帧散斑自相关的透过强散射层成像[923]。(a)实验装置模型; (b)相机原始图像; (c)自相关; (d)通过迭代相位恢复算法重建物体; (e)实验系统; (f)相机原始数据; (g)~(k)第一列为自相关,第二列为重建物体,第三列为真实的物体

      Figure 187.  Single frame imaging based on speckle autocorrelation[923] (a) Experimental set-up; (b) Raw camera image; (c) The autocorrelation of the seemingly information-less raw camera image; (d) The object’s image is obtained from the autocorrelation of by an iterative phase-retrieval algorithm; (e) Photograph of the experiment; (f) Raw camera image; (g)-(k) Left column: calculated autocorrelation of the image in (b), Middle column: reconstructed object from the image autocorrelation. Right column: image of the real hidden object

      (5) 基于深度学习的穿透散射介质成像

      实现(穿透)散射介质成像的方法包括反馈波前调制[917]、传输矩阵[918]、相位共轭技术[922,924]、散斑相关[925-926]等。然而这些方法的有效性往往限制在光学记忆效应区:即介质的散射作用不可过强并在一定入射角内可以被视为一个线性移不变系统。而复杂强散射介质形成的散斑空间分布是散射体微观排列和入射光场波前的复杂函数,难以对其建立全面精确的物理模型并给出简单直接的逆散射解决方案,且算法对于不同类型的散射介质的可迁移性较差。

      近年来,随着深度学习技术在解决“逆问题”上取得越来越多的进展,其在解决穿透散射介质成像问题上也带来了很多新的思路。Li等[927]提出了一种统计特征的“一对多”深度学习技术(见图188),该技术从大型数据集中识别出数据中隐藏的统计不变性,其封装了多个微观结构不同的散射介质系统的一系列统计变化,使神经网络模型能够适应散斑的去相关(Decorrelation)。卷积神经网络能够学习在具有相同宏观参数的散射体上捕获的散斑强度图案中包含的统计信息(如图188所示)。经过训练后,该网络能够迁移至未经训练的散射介质,且对于不同类型物体生成高质量的目标预测,因而在数据类型、系统结构等方面表现出了良好的泛化性。Lyu等[928]构建混合神经网络(HNN)模型在强散射情形下实现了隐藏物体的恢复。实验中使用的散射介质是3 mm厚白色聚苯乙烯平板,其记忆效应范围小于0.01°,光学厚度达到13.4,远超记忆效应区。说明了基于深度学习的散射成像方法可以不受“正向物理模型精确可知”的约束,突破传统技术中依赖的记忆效应视场角的限制。

      图  188  基于深度学习进行散射介质成像的网络原理图[927]

      Figure 188.  Network schematic diagram of imaging through scattering medium based on deep learning[927]

    • 在远程非合作目标探测中,接收的光回波信号能量极其微弱,通常只有若干个光子能量,甚至是单光子量级。而单光子级别的回波信号已不是连续光,产生的光电流比室温下常规光电探测器噪声还要低,因此要探测这种极其微弱的光子回波信号极其困难。20世纪60年代,单光子雪崩二极管(Single Photon Avalanche Diode, SPAD)的出现为微观水平的光子计数和测距开辟了新的道路,使得时间相关成像具备了高分辨成像特性。工作于盖革模式下的SPAD,凭借其极高的灵敏度,在光电探测中得到广泛应用,逐渐成为取代光电倍增管(Photomultiplier Tube, PMT)的固态解决方案。相较于传统图像传感器和线性激光测距传感器,SPAD能够在实现像素级光子探测的同时,达到皮秒级的本征时间分辨率。探测器上的每个像素都可以识别入射的光子并产生一个明显的时间标识,从而测量光子的到达时间。同时由于像素规模庞大,每一个像素都能对应探测目标的不同位置,因而可以提取目标的深度信息。甚至有可能探索到其他传感器难以捕捉到的现象,非视域成像便是其中的一个重要研究方向,典型的非视域成像如图189所示。

      图  189  典型的非视域成像系统示意图

      Figure 189.  Schematic diagram of typical non field of view imaging system

      非视域(Non-Line-of-Sight)成像的概念是指当探测目标与探测器之间存在障碍物遮挡而无法直接成像时,在收集目标所在场景以及各种相关目标信号的基础上,通过算法重构目标图像的一种成像方式。这种成像方式的核心在于利用激光脉冲的多路径散射回波对非视域目标进行有效成像。相较于传统光学成像手段,由于非视域成像在探测端采用了单光子探测技术,能够对单个光子的飞行时间进行记录,再结合相关重构算法,最终实现对相机视场范围外的目标成像,实现“隔墙观物”。相关技术在反恐侦察、灾害救援、考古探测、医疗检测等领域具有广泛的应用价值。

      (1) 基于飞秒摄影的非视域成像

      在3D非视域成像应用中,相机依靠光电阴极将传入的光子转换为电子。然后电子可以被时变电场“划线”,因此将时间映射到空间位置。这些相机一次只能看到一条场景线,可以通过扫描照明激光点的方式来抵消成像的限制[818,929]。此外一些技术已经实现了基于完全打开的相机通光狭缝,通过与CCD数据计算融合,无需扫描即可获得完整的2D图像[653, 930-931]。然而这些成像方法尚未完全应用于非视域成像中。另一种方法是使用增强型CCD相机(iCCD),其依赖于电子门控微通道板,输入光电阴极产生的电子仅在很短的门控时间内被放大。栅极响应时间为纳秒级,甚至可缩短至100 ps或更短,iCCD也可用于非视域成像[932]

      2009年,瑞典国防研究中心以及德国光子学及模式识别研究中心提出了非视域成像的概念及其实验验证[933]。该项实验成功地将距离反射面20 m远处人物目标和30 m远处的车牌目标进行成像,但其结果实质很大程度上是利用了散射体的类镜面性质。近年来,超快成像技术得到了极大的发展,2012年,麻省理工学院的Velten等首次将飞秒激光技术应用于计算摄像学,并于次年实现了宏观场景的万亿帧每秒的超高速视频采集[818],从而观察到了光在场景中传输时随时间而变化的暂态分布。在如此高的成像帧率之下,这种基于飞秒激光的计算摄像技术能够采集到光与场景相互作用下, 时间可解析的多次反射、散射光传输,实现了绕过“拐角”对被遮挡物体的几何结构进行成像。这也成为了公认的真正意义上的首个非视域三维成像工作。如图190所示,实验中超快激光脉冲通过摆镜对被障碍物遮挡的目标物体进行点扫描,用条纹相机分别采集在多个不同照明点的位置下目标散射光场在中介面上的时间波形,并通过重建算法获得非视域目标的三维图像。实验结果表明,在垂直于中介面的方向上(纵向)分辨率可以达到0.4 mm,而在平行于中介面的方向上(横向)分辨率仅为5~10 mm。该方法重要意义在于首次采用标准朗伯体作为散射目标和场景,验证了利用普通材料的散射光信息还原隐藏目标信息的能力。

      图  190  (a)捕获过程:通过用脉冲激光依次照亮墙上的单个点并用条纹相机记录墙上虚线段的图像来捕获一系列图像;(b)按顺序收集的条纹图像示例。根据校准信号对强度进行标准化。红色对应于最大强度,蓝色对应于最小强度;(c)通过重建算法恢复的隐藏物体的3D形状的2D投影视图

      Figure 190.  (a) The capture process: capture a series of images by sequentially illuminating a single spot on the wall with a pulsed laser and recording an image of the dashed line segment on the wall with a streak camera; (b) An example of streak images sequentially collected. Intensities are normalized against a calibration signal. Red corresponds to the maximum, blue to the minimum intensities; (c) The 2D projected view of the 3D shape of the hidden object, as recovered by the reconstruction algorithm

      (2) 基于单像素/对偶摄影的非视域成像

      除了采用上述的超快成像技术,通过观察光线与场景间的相互作用来实现“绕墙成像”外,还可以利用所谓的“对偶摄影”法来实现绕墙成像[934]。该技术使用结构光投影仪,利用亥姆霍兹互易性定理,实现了投影仪模型的重建。利用相机拍摄到被物体调制的结构光,根据结构光的变形程度即可计算出投影仪与相机之间的光线传输方式,进而重建出从投影仪角度拍摄到的图像,其结果如图191所示。基于单像素的非视域成像其实也是基于类似的互易性定理实现的,其同样只要求单像素探测器能接收到目标场景光强的变化即可实现成像,并不要求单像素探测器能“看见”目标物体。从而实现“绕墙成像”。如图192所示,这种广播成像的物理信道是开放的,就如同无线电广播系统一样,任何单像素探测器终端采集到的光信号值,均可实现图像重建[935]。基于单像素或对偶摄影的非视域成像方法的一大缺陷是样品必须被设计好并需要已知的结构光场进行照明,也就是说当照明光路上存在散射介质或者遮障时是无法使用的。

      图  191  间接光传输的双重摄影[934]。(a)系统实验装置;(b)室内照明下拍摄到的扑克牌及书本视图;(c)投影仪扫描(d)扑克牌上指示点时获取的样本图像

      Figure 191.  Dual photography of indirect light transmission[934]. (a) System experimental device; (b) View of playing cards and books taken under indoor lighting; (c) Sample image obtained when the projector scans the indicated points on the playing cards in (d)

      图  192  基于单像素的“广播式”成像系统[935]

      Figure 192.  Proposed secured single-pixel broadcast imaging system[935]

      (3) 基于单光子成像的非视域成像

      2015年,Buttafava等[936]提出将选通型单光子探测器应用到非视域成像系统中,使用低功率脉冲激光器来进行逐点扫描以获得重构结果。该成果随后引发了基于SPAD的扫描式非视域成像的研究热潮。2015年,Buttafava等选用时间门控制的SPAD配合时间相关单光子计数器(Time-Correlated Single Photon Counting,TCSPC),借助反投影算法从采集到的光子信息中恢复隐藏物体的形状。但受限于实验系统,只能对1.5 m范围内的隐藏物体进行重建。2018年,哈尔滨工业大学的靳辰飞等[937]在基于反投影算法,采用椭球模式分解方法对被障碍物遮挡的多个物体进行了重建。实验中光源对成像平面上的测量点依次进行扫描,SPAD获得大量反射回来的光子信息。椭球模式分解方法可以把属于不同物体的椭球区分开来,能够对采集到的数据依次进行处理,最后恢复出不同物体的图像。2018年,斯坦福大学的Toole等[938]提出了基于光锥变换的共焦非视域成像方法,实现了对复杂目标的快速重建,实验光路如图193所示。皮秒激光通过扫描振镜对中介面上的探测点阵同时进行扫描,重建算法中通过Wiener滤波降低了噪声,显著地提高了重建质量,因此可以不受环境光的影响对更远距离的隐藏目标实现快速、高分辨率的重建。

      图  193  共焦非视域成像

      Figure 193.  Diagram of confocal non-line-of-sight imaging

      将非视域成像扩展到远距离目标的主要障碍是信号强度、背景噪声和光学多次散射造成的信号衰减。此外后向反射信号与环境光的混入也会导致信噪比变差,影响其最终重建结果。另一方面,长距离的光学发散会造成系统接收的光脉冲具有强烈的时间展宽,因此往往需要更高的扫描精度。2021年,中国科学技术大学的徐飞虎等[939]在硬件上利用了双望远镜共焦光学设计,开发了一套高效、低噪声的近红外波段非视域成像系统,搭建的成像系统如图194所示。该系统基于收发摆镜组对距离1.43 km场景进行了64×64的精细化扫描,并结合所提出的统计优化重建算法显著提升了成像信噪比,最终重建分辨率达到了9.4 cm,实验结果如图195所示。随后该课题组将该技术进一步改良与发展,成功实现了距离45 km以及201.5 km的单光子非视域成像[689, 704]

      图  194  远距离NLOS成像实验。(a) 非视域成像实验的航空示意图;(b)光学仿真结果成像系统的装置图,它由两台同步望远镜组成,分别用于发射和接收;(c)尺寸为2 m×1 m的房间,作为隐藏场景示意图;(d) 非视域成像设置的实际照片;(e)、(f)在A位置拍摄的隐藏场景以及其放大照片,在A位置只能看到可见的墙;(g)隐藏物体的照片,在位于B的房间拍摄

      Figure 194.  Long-range NLOS imaging experiment. (a) An aerial schematic of the NLOS imaging experiment; (b) The optical setup of the NLOS imaging system, which consists of two synchronized telescopes for transmitter and receiver; (c) Schematic of the hidden scene in a room with a dimension size of 2 m×1 m; (d) An actual photograph of the NLOS imaging setup; (e)-(f) Zoomed-out and zoomed-in photographs of the hidden scene taken at location A, where only the visible wall can be seen; (g) Photograph of the hidden object, taken at the room located at B

      图  195  用不同方法比较重建的结果。(a)人体模型隐藏场景的重建结果;(b)字母H隐藏场景的重构结果

      Figure 195.  Comparison of the reconstructed results with different approaches. (a) The reconstructed results for the hidden scene of mannequin; (b) The reconstructed results for the hidden scene of letter H

    • 红外热成像技术具有作用距离远、抗干扰性好、穿透烟尘雾霾能力强、可全天候工作等优点,在航天、军用和民用领域都得到了极为广泛的应用[940]。特别在军用领域,红外热成像技术已经成为了军用探测技术中重要的一环。传统红外成像系统性能的提高过度依赖于探测器(红外焦平面阵列,IRFPA)水平的提高。但受材料工艺等因素所限,红外焦平面探测器各探测元具有不同的响应率,因此,即便红外焦平面接收均匀辐射(即每个探测像元的入射辐射值一样),输出的红外图像也会存在各像素强度值不同的情况。这会导致红外探测器输出的图像上出现不均匀、随机的某种固定图案,即固定图像噪声(Fixed Pattern Noise, FPN),如图196所示,对红外探测器的探测精度与温度灵敏度具有严重的影响。FPN通常表现为一种叠加在场景之上的静态图像,与镜头沾染污渍后拍摄得到的红外图像类似。由于“污渍”的位置与形状固定,FPN不会随着图像中场景发生变化而变化。因此,为了提高成像质量且得到理想的场景图像,非均匀性校正是必不可少的红外图像的预处理环节[941-942]。随着相关问题研究的深入,大量非均匀性校正算法相继提出。整体而言,红外图像的非均匀校正可以分为基于定标的非均匀校正算法和基于场景的非均匀校正算法。其中基于定标的方法有两点法、多点法和挡板校正法等[942-943]。这类算法能够在少量计算的前提下得到明显的校正效果,但是标定过程中需要借助黑体或挡板以提供均匀的背景辐射,导致观测过程中断。此外,大部分非制冷红外焦平面阵列响应环境稳定性差,各探测像元的响应系数会随着焦平面温度、读取电压变化等环境因素变化而发生缓慢的变化[944]。因此,若采用定标技术实现非均匀性校正,则必须定期地对焦平面进行重新定标,周期性地反复计算校正系数以补偿非均匀性的时间漂移。然而由于在定标过程中需要让黑体或挡板完全覆盖红外相机视场,使得光路完全被遮挡,导致拍摄中断。这会在实际应用中严重影响成像功能的使用,例如目标跟踪、成像制导等中错失目标,可能造成无法挽回的严重后果。

      图  196  温度跳变约1 ℃所引起的热成像相机非均匀性[945]

      Figure 196.  Nonuniformity of the thermal imaging camera caused by temperature jump of approximately 1 °C[945]

      基于场景的非均匀性校正旨在仅利用场景本身的图像数据进行非均匀校正,而非通过黑体或均匀挡片的定标获得。基于场景的方法能够对校正参数进行自适应更新,不但不用中断正常观测,还可以解决非均匀性随着时间漂移的问题,因此具有比定标法更好的环境适应性。从本质上而言,基于场景的红外图像非均匀性校正是一种典型的计算成像技术。其利用探测器和目标场景之间的可控位移,通过场景的时空统计特性利用后端算法进行非均匀性的校正与补偿,如图197所示。自从基于场景校正这一概念出现以来,国外学者便给予了高度关注,并取得了大量的研究成果与一批良好的校正算法。总的来说,这些算法都是通过两大类途径实现的:基于统计的校正方法[944,946955]与基于配准的校正算法[956962]

      图  197  基于场景的非均匀性校正效果示意图

      Figure 197.  Scene-based non-uniformity correction results

      (1) 基于统计的场景非均匀性校正

      基于统计的场景非均匀性校正方法通常对于焦平面每个像元接收到的辐射量作一些时间上或者空间上的统计假设,在此假设的基础上不断修正校正参数,校正焦平面像元的非均匀性。其中最具代表性的技术有时域高通法[944]、统计恒定法[949]、神经网络法[946]、恒定范围法[963]及其他相应的扩展形式,如统计维纳滤波法[950]、卡尔曼滤波法[951,955]等。该类算法的共性是要求目标场景与IRFPA器件产生相对运动,以使IRFPA器件中所有探测单元在一段时间内所接收到的目标场景辐射满足一定的统计假设。

      1990年,Scribner等[944]人提出基于时域高通滤波(TH)的非均匀性校正方法(见图198),该方法是首个基于统计模型的非均匀性校正方法。当红外成像系统与所探测的场景之间存在相对运动时,可以认为探测器上各像元所拍摄的场景辐射是随时间变化的,而非均匀性带来的FPN的时间漂移相对于这种场景变化是非常缓慢的,因此可以认为FPN近似固定不变。从时间域的角度来说,场景信息快速变化为高频信息,而FPN缓慢变化为低频信息。因此,可以采用时域高通滤波将红外图像中的固定样式噪声作为时域低频信号从图像中滤除。基于恒定统计(CS)的方法是另一类基于统计模型的非均匀性校正方法,最早由Harris等[949]于1997年提出。该方法假设红外焦平面上每个像元所接收的辐射在空域与时域均具有足够的多样性(spatio-temporal diversity)。在此基础上,当成像系统所拍摄的场景持续变化(如成像系统与场景的持续相对运动),在长时间的拍摄所获得的图像序列中,各像元接收的辐射值均会包含所有可能的值,即对于每个像元而言,其接受的辐射值强度满足恒定的统计分布,具有相同的均值与方差,如图199所示。那么,不妨假设每个像元接收的辐射值的统计分布均值为0,方差为1,并对比实际拍摄图像序列中各像元接收辐射值的统计分布,其差值即固定图像噪声对成像的影响。在此基础上,就可以计算各像元的校正系数,从而消除焦平面中像元的增益与偏置的非均匀性。相比于时域高通滤波,恒定统计法增加了对场景辐射值方差趋于恒定的假设,因而能够额外对增益非均匀性进行校正。

      图  198  时域高通滤波的非均匀性校正方法

      Figure 198.  Non-uniformity correction method based om temporal high-pass filter

      图  199  长时间运动场景的期望(均值)图像近似满足恒定统计假设

      Figure 199.  The expected (mean) image of a long-time motion scene approximately satisfies the constant statistical assumption

      基于统计的场景非均匀性校正本质是假设图像的时域平稳性[947,963],也就是说大量随机运动的图像帧统计平均趋近于均匀化的图像。然而由于目标运动的复杂性与图像场景的多样性,该假设不一定能够得到满足,因此这类校正算法经常伴随较为严重的“鬼影”(Ghost artifact)问题[948,964-965]。一种简单减缓“鬼影”的方法是引入运动判断机制[948],即判断相机是处于运动状态,如果不运动则不更新,避免将恒定背景误当做非均匀性统计进去。然而当观测帧数较少、或者相机与场景间的运动不够随机时“鬼影”现象仍会存在。针对以上的问题,笔者课题组于2010年提出了空域低通和时域高通的非均匀校正算法(SLTH)[966]。SLTH算法从人眼视觉出发,认为空域中的高频非均匀性是影响视觉效果的主要因素,而低频部分的非均匀性则可以忽略不计。因此,空域的图像非均匀性校正,主要校正的是其高频部分。从时域来看,探测器的非均匀性漂移是一个时间缓变信号,相较之下,场景是快速变化的,因此可以在时域上进行高通滤波实现校正。2011年,笔者课题组进一步提出了一种基于双边滤波的时域高通滤波算法(BFTH)[967]。BFTH采用双边滤波器替代了SLTH中的均值滤波器。实验结果表明采用双线性滤波器分离出来的高频信息中含有更少的图像场景的信息,低频信息中含有更少的光晕效应,从而可以进一步减少鬼影现象。

      类似地,恒定统计法中的全局性的统计恒定假设(GCS)一般需要几千帧的图像才能获得较为稳定的统计特性。为了解决这一问题,Zhang与Zhao[968]提出了局部恒定统计法(LCS)。LCS 算法的基本假设是每个探测像元及其空间局部邻域的辐射在时域上的均值和均方差是常数,这个假设显然比GCS宽松许多(因为场景固有的局部相似性),从而需要更少的图像帧数就可以获得较好的统计特征。但是由于LCS算法中对“局部”尺度定义是模糊的,选择不同的尺度会有不同的校正效果。针对此问题,笔者将多尺度分析引入时域统计恒定假设,将局部尺度恒定法广义化,提出了基于多尺度恒定统计(MSCS)的非均匀性校正算法[969]。该方法认为固定图案噪声主要分布在更高的空间频率域中,而越高空间频率的图像信息越容易满足统计恒定假设,这样就可以对不同空间频率的场景信息采用不同的时间常数,从而能够进一步提升收敛速度并降低“鬼影”的产生,如图200所示。

      图  200  各类统计恒定法非均匀性校正的实验对比图。(a) 未校正图像; (b) 多尺度恒定统计; (c) 全局恒定统计; (d) 局部恒定统计

      Figure 200.  Experimental comparison plots of non-uniformity correction for various types of statistical constancy methods. (a) Uncorrected image; (b) Multiscale constant statistics; (c) Global constant statistics; (d) Local constant statistics

      区别于时域高通滤波与恒定统计法,基于神经网络模型的非均匀性校正方法本身就包含了时空域平稳的双重假设。这类方法将图像建模成类视网膜(retina-like)的神经网络,图像中的每一个像素对应神经网络中的一个神经元,神经网络输入层为含有非均匀性的图像,输出层为校正后的图像(见图201)。输入层和输出层之间通过隐含层连接,该隐含层中的每个像素根据其周围像素在输入层的信息来计算反馈,通过最优化的方式迭代地更新连接权重(非均匀性校正系数),最终使输出层的结果趋向于隐含层的反馈值。也就是说,这类算法以输入图像的某种空间邻域计算结果(通常为空间滤波)作为最优化的目标 (即目标图像),来迭代计算非均匀性校正系数,直到收敛。该方法最初由Scribner等[944,946]于1990年最先提出,对于每个像素而言,以其4-邻域平均作为该像素的目标函数进行迭代计算,经过长时间的时域迭代从而使目标图像逐渐逼近于其一个“空域低通滤波”后的版本。2005年,Vera与Torres[954]提出了快速自适应的神经网络校正方法,该方法依据图像局部空间标准差自适应调整更新步长,并采用均值滤波来计算目标图像,在提高算法收敛速度的同时,降低了校正误差。2009年,Hardie等进一步将门限检测机制引入神经网络非均匀性校正,该方法使用高斯滤波来计算目标图像,并借助门限检测机制来判断场景是否运动,从而开始或暂停更新校正系数,减少了因为缺乏场景运动而产生的“鬼影”。基于神经网络的非均匀性校正方法的优势就在于内部固有的“反馈”机制,即滤波后的校正目标图像对真实场景辐射图像的复原准确度会决定下一帧校正误差的大小。但会存在一个关键问题,即校正后的图像必须趋近于其滤波版本,否则就会产生校正残差并进一步反馈到校正系数上。显然,线性空间滤波器(如高斯滤波器,均值滤波器)会将图像边缘较大的梯度扩散到相邻的非边缘区域,导致所得的目标图像存在边缘模糊的问题。针对此问题,Rossi等[970]于2010年提出了基于双边缘滤波器的校正方法,该方法使用双边缘滤波器来计算神经网络的目标图像,减少了图像的残差效应,降低了目标边缘区域引入的伪像。2011年,Vera等[971]提出了基于总变分最小化(Total Variation, TV)的校正方法,该方法利用理想目标场景总变分往往远小于被非均匀性污染图像这一先验,较好地解决目标图像边缘模糊的问题。本质上而言,总变分最小化的校正方法可以被视为一个由局部梯度所决定的自适应参数神经网络法,平滑区域给予较大的收敛系数保证快速收敛,陡变边缘处给予小的收敛系统以抑制错误更新。

      图  201  基于神经网络模型的非均匀性校正方法

      Figure 201.  Non-uniformity correction method based on neural network

      (2) 基于配准的场景非均匀性校正

      另一类场景非均匀性校正算法是基于配准的校正方法[956962],这类方法通常认为,若不考虑非均匀性对各探像元的光电响应率的影响,在较短的时间间隔内观察场景中相同的位置时,那么各探测像元对场景中同一点的辐射的响应电信号应该是一样的。而在实际中不同探测器对相同场景中同一点的辐射响应存在差异,那么这些差异则是由于各探测器的非均匀性导致的。这类技术需要准确估计帧与帧之间的移动,其中比较有代表性的技术有全景图积累法[956]、代数校正法[957-958,972]、帧间配准法[959961]等。

      最早将配准的思想引入非均匀性校正的Hardie等[956]于2000年提出的全景图积累法,该方法对多张图像进行运动配准,得到场景中同一目标点辐射强度在不同像元上产生的电信号响应,以这些响应的均值作为该点实际辐射值的估计,并基于此进一步计算各探测器像元的非均匀性校正系数(见图202)。2002年,Ratliff等[957]提出了代数非均匀性校正方法,该方法需要在对前后两帧图像配准的基础上,挑选出横向、纵向平移均小于1像素的图像对,计算横向与纵向的校正矩阵,并得到最终的偏置校正矩阵。该方法将探测器上各像元的偏置统一转化为最左上角像元的偏置,从而实现了均匀的光电响应。他还指出如果焦平面阵列最外围一圈像元被准确辐射定标,那么该方法可以使整个焦平面内部所有像素均获得准确的线性辐射响应[958],从而可以应用于测温等需要获得定量热辐射值的场景。2005年,Ratliff等[972]又提出了泛化代数校正方法,该方法可以采用各种存在水平或垂直位移的图像对进行非均匀性校正。其先使用原始的代数校正方法对探测器四周边界的像元进行非均匀性校正,然后借助图像配准与双线性插值,从四周向中心区域递归地计算探测像元的偏置校正系数。全景图积累法与代数校正法虽然利用了图像配准解决了图像非均匀性校正问题,但是由于算法要求限制较多,计算量与存储量较大,且校正误差易逐级累计传播,所以难以达到实际应用。

      图  202  全景图积累法示意图

      Figure 202.  Motion compensation average method

      针对上述问题,笔者课题组于2011年提出了基于帧间配准的非均匀性校正方法(IRLMS)[959]。该方法所基于假设是:如果红外探测器是均匀的,那么相邻图像对同一目标的响应应当是均匀的,正是由于探测器非均匀性的存在,才导致了相邻像元对同一目标具有不同的响应。显然这种时空域热辐射帧间恒定假设要比传统统计校正法单一时域恒定假设要可靠合理。该算法通过采用最小二乘法迭代地最小化帧间配准误差实现了探测器偏置与增益的联合校正(见图203)。随后笔者以IRLMS为中心形成了一系列相关研究成果,具体包括:基于统计相关判别与自适应迭代步长,有效克服了场景中局部运动对校正精度带来的影响[960](见图204);基于相位相关抵消与霍夫变换位移估计,解决了强非均匀性噪声下的图像精确配准的难题[973];基于场景抵消与最小二乘方反卷积法,将校正收敛所需的图像帧数由十余帧减少至两帧[961]。目前IRLMS已经成为基于场景非均匀性校正的一项标准算法,在红外成像领域被广泛采用和推广,其思想也被同行学者广泛采纳借鉴。如:2014年,Black等[962]基于IRLMS思想提出了集成反馈场景抵消的校正方法,通过配准相邻帧来抵消场景信息,得到场景平移路径上探测器偏置的差值,随后以焦平面中心的探测像元为参考像素,来计算最终的校正系数。2015年,Liu与Xie[974]改进了IRLMS中的相位相关配准算法,从而进一步提升了IRLMS校正精度,减少了“鬼影”效应。2016年,Boutemedjet等[975]在IRLMS上进一步引入了盲元校正算法,避免了异常响应像元对校正结果产生的影响。

      图  203  基于帧间配准的非均匀性校正方法

      Figure 203.  Nonuniformity correction method based on inter-frame registration

      图  204  基于帧间配准的非均匀性校正方法要求精确估计强非均匀性对图像的相对位移

      Figure 204.  Non-uniformity correction method based on inter-frame registration require accurate estimation of the relative displacement of an image pair imposed by strong non-uniformity

      让使用者“无觉察”地实现红外焦平面探测器的校正与补偿是基于场景非均匀性校正算法的终极目标,具有优秀的成像质量和智能化的热像仪是未来热成像装置发展的方向。基于场景红外非均匀性校正从后端信号处理与成像电子学角度弥补了前端红外探测器的两大固有缺陷,有效提升了红外热像仪的工程应用能力,极大地促进了红外热像仪的智能化水平。而笔者团队经过多年努力,设计了集成有基于场景非均匀性校正与红外图像数字细节增强等核心算法定制化的ASIC芯片,并基于此研制了高性能无挡片热像仪,如图205所示。实现了核心元器件的自主可控,又提高了设备稳定性与可靠性并大幅降低功耗,有力地推动了红外热像仪在军民各领域的广泛应用。

      图  205  针对红外探测器的非均匀性和动态范围低等问题,南京理工大学针对性发展高性能红外图像信号处理技术,设计了集成有基于场景非均匀性校正与红外图像数字细节增强等核心算法定制化的ASIC芯片,并基于此研制了高性能无挡片热像仪

      Figure 205.  In response to the problems of non-uniformity and low dynamic range of infrared detectors, Nanjing University of Science and Technology has developed high-performance infrared image signal processing technology, designed an ASIC with customized core algorithms based on scene-based non-uniformity correction and digital detail enhancement of infrared images, and developed a high-performance shutterless thermal imaging camera

    • 上一章从功能提升、性能提升、简化与智能化成像系统三个方面介绍了计算光学成像的研究现状与最新进展。当然,计算光学成像所涉及研究的内容非常广泛,由于篇幅限制仅列举了一些该领域内的典型案例。但是从这些典型的案例中可以看出,虽然计算光学成像的研究内容是发散的,但目的都是一致的:如何让相机记录到客观实物更丰富的信息,延伸并扩展人眼的视觉感知。总的来说,计算光学成像现阶段已经取得了很多令人振奋的研究成果,这些成果必将会对光学成像技术未来的发展方向产生深远影响。本章将注意力进一步前移,通过探讨计算成像的优势、弱点、机会与威胁来大胆展望它的未来,以期能对未来的研究方向与侧重点提供一些有益的参考。

    • 经过文中的综述,相信计算成像技术的优势这里应该可以不必再赘述了。计算光学成像的最大优势在于它代表了一种崭新的光学系统设计方式。其在建立光的几何光学,波动光学,甚至光量子模型的基础上,采用照明与光学系统调制等方式,建立场景与观测之间的变换或调制模型,然后利用逆问题求解等数学手段,通过计算反演来进行成像。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的联系,这种联系可以是线性的也可以是非线性的,可以突破一一对应的直接采样形式(最合适的测量可能并不是来自传统的场景点对点映射),实现非直接的采样形式,使得采样形式更加灵活,更能充分发挥不同传感器的特点与性能。这种灵活的设计模式可以改变光学测量的性质以获得所需的结果并平衡物理域和计算域之间对图像生成和信息提取所依赖的资源。利用信息论的概念,不仅可以借助于传统光学设计的优势,还可以充分利用对于光信息处理的潜力来设计成像系统。

    • 计算光学成像技术的另一大显著优势在于其能够有望形成一个更高维度的框架体系来分析处理与看待光学成像的具体个案问题。传统光学成像技术的发展大多依赖于case-by-case的研究方式,极易造成大量重复性研究,难以揭示那些看似独立的成像方法之间的内在关联。此外特定方法针对核心成像指标提升的本质原因仍不明确,从而难以定量优化或进一步提升其成像潜能。而计算光学成像实则提供了一个“包罗万象”的通用理论框架:一个典型的计算光学成像系统由照明、样品、成像系统、探测器四部分构成。照明光与样品发生作用后成为其本质信息(如吸收,相位,折射率等)的载体,通过对照明与成像系统进行光学调控使物体的本质信息转化为光强信号由探测器离散采集,最后通过相应的计算方法对样品本质信息进行反演,获得样品高维高分辨率定量数据。若能基于物理成像模型构建计算光学成像理论体系,突破“如何表示”、“如何求解”、“如何设计”三大关键科学问题,并在此体系下发展求解相应逆问题的标准可重用算法,发挥可见光波段光学调控手段的灵活优势,有助于实现有限资源的最大效用,使最优核心成像指标实现质的突破,进而促使面向各类复杂现实成像应用的新理论、新机制、新技术更快,更系统地形成。

    • 俗话说“天下没有免费的午餐”,任何事物的存在都具有两面性,计算成像技术亦是如此。当设计计算光学成像系统时,必须权衡计算成像和传统成像技术相关的成本代价与预期的功效改善。考虑的成本代价包括:进行非传统点对点强度测量的物理元件的成本、对观测目标多次测量产生的时间成本、数据量以及物理模型和校准与标定对处理性能的影响等。尽管计算成像技术的某些案例能够(在一定意义上)简化成像系统,但从整体来看往往并非能够那么轻易下结论。例如:单像素成像技术虽然能够简化探测端,降低了采用大规模阵列探测器的成本,但是却令照明或者光学系统变得复杂化[42]。空间光调制器的引入往往使系统成本不降反升,多次采样所导致时间成本与数据量的增加,重建运算所导致的复杂度往往远高于传统面阵成像技术。穿透散射介质成像往往需要一定的“学习”时间以获得散射介质的物理特性与统计模型,但是实际应用条件下大部分散射介质并不具备时域稳定性,可能当你“学习”完毕后参数已经丧失了时效性[928]。由于目前对这类成本的评估方式尚未形成一套严格的科学理论,因此必须强调这一过程中所蕴含的成本、代价与一些不确定性因素。

      虽然在设计计算光学成像系统时候可以尽可能平衡物理域和计算域之间对图像生成和信息提取所依赖的资源,但常规成像传感器只能捕获二维信号,由低维强度采样重建高维目标信息是充满挑战性的逆问题。这通常需要大量繁琐的数据采集和复杂的数据处理,采样密度必须足够高,以避免采样不足所导致的重建质量下降。虽然计算机硬件性能与存储技术的进一步发展有助于改善这一问题,如何从数据采集和运算重建角度去减少高维数据的冗余,从而以更少的测量次数、更小的数据量获得精准的重构结果是今后解决该问题的关键所在。另一方面,采用昂贵的专用光学器件代替价格低廉且易于大批量生产的光学透镜其实并非一个明智的选择;而另一个极端:即将光学成像系统过于简化以至于计算负荷增加到难以接受的程度其实也同样不可取。前者是对前端光学技术(如梯度折射率光学元件和自由曲面)改善光学成像性能的前景与潜力的盲目乐观:如果看似结构“简单”的光学器件需要复杂专门定制与昂贵的价格,那么该光学器件就不能真的称之为“简单”。后一点表明,前端光学系统和后端计算机的“算力”之间存在权衡。例如无透镜相机虽然在概念上非常新颖,但考虑到光学透镜的本身优异的成像能力,当需要采用一个简化元件(如随机掩模、毛玻璃等[857,976])来代替它时,人们还需要提供令人信服初衷与缘由,而不仅仅是“把成像光学做薄”那么简单草率。

    • 计算光学成像华丽的外衣下还掩盖了现实世界中与计算成像算法实现相关的问题。在计算成像方法中,有两个重要的问题需要注意:第一,如何准确地建立场景与图像之间的正向模型,并能使得采样数据包含全部的场景信息,这是最关键的问题;第二,如何利用逆问题优化求解来重构图像,这也是个核心的问题,它既要与非直接采样的自身特点相匹配建立优化模型,又要在重构过程中保证重构图像的准确度。然而通过已有的实验结果可以发现,在某些领域(特别是间接成像),目前通过计算成像算法重构的图像结果和基于传统透镜直接拍摄到成像结果在成像质量和保真度上仍然有一些差距。其根本原因在于计算成像要求在算法中采用的光学系统的数学模型能够真实全面地反映实际的物理成像过程,如果该模型不能真实地反映光学系统的复杂性,计算成像将有可能得不到理想中的成像结果,其优势也可能会完全丧失。例如:在数学建模时将成像过程中光的波动性质、像差或系统对温度变化的敏感度的客观参数进行忽略或者简化,则很可能会出现这种情况。此外在数据采集的过程中还会受到各种环境不确定因素的影响(噪声、振动等),从而会导致所建立的成像模型并不准确。即使完全知道这些影响因素的存在,设计人员仍然会面临着这样一个难题:简单化的模型可能无法产生精确有效的结果,而更加真实的模型可能需要大量的系统参量、很高的处理负载和很长的处理时间。实际考虑因素包括正向模型成立的条件和逆向重构算法的复杂程度、测量过程对噪声及环境扰动的敏感性以及算法后处理引入的伪影(Artifacts)水平等。

      值得一提的是,目前基于深度学习的计算成像方式虽然可以利用大量样本提取的特征信息来“傻瓜式”建模,以降低对实际成像过程精确建模的需求[977-979]。然而,深度学习的本质是从大量训练样本中总结归纳出的它们“共性的”统计特性。对于某些特殊的应用场合,如医学检验与病灶筛查领域,使用者往往更注重的是样本的特异性,即个体间的差异数据。而深度学习技术对于“罕见样本”(与训练数据集差异较显著)的重构结果的准确性并不理想。因此,基于深度学习的计算成像技术是否可以真正应用于医疗诊断、工业检测、质量控制等“敏感”领域还有待进一步考量。

    • 光学系统与处理算法的联合设计是计算光学成像系统的标志性特点,这与传统光学成像设备与仪器的模块化、开放式系统设计理念背道而驰。模块化开放式系统设计模式是现代成像技术与系统的一大发展趋势,例如:具有标准化接口的模块化设计可以使佳能单反相机兼容尼康公司所生产的镜头,或在各种硬件平台上,如照相机、手机甚至平板电脑上移植高动态范围成像算法的应用程序。这种接口模块化和标准化设计使光学成像设备的低成本、大规模生产成为可能,促进了包含光学传感器的复杂消费电子设备的普及。计算光学成像的前端与后端联合设计思路恰好与模块化开放式系统设计思路相悖,因此计算光学成像系统必须在功能、性能、实用性或人机界面方面提供压倒性的优势,才有希望未来能够克服这种标准化模块化为主导的设计范式。

      另一方面,对于设计一款商业产品而言,需要评估研发一款计算成像系统相关的人力与组织方面的成本。计算成像系统的开发需要一个“光机电算”多学科交叉的团队,目前能够同时精通成像光学和信息处理的专业人才与团队少之又少。人力资源成本的增加以及跨学科跨团队的组织管理对于大部分企业来说是个很大的挑战。在当前计算成像技术刚刚从学术界迈向产业界的关键时刻,往往面临着一个缺乏经验且配备并不完善的初创团队,亦或是基于现有的传统高度专门化研发团队进行协调改制。潜在问题在于由计算成像设计思路所研发的产品在功能与性能方面的优势相比较传统产品必须足够显著,这样才有望说服企业的管理层跨越组织的界限进行协调统筹。这一点对于拥有广泛消费基础的昂贵仪器设备的制造商尤其适用,如医疗行业的MRI和CT机的制造商。

    • 实际上计算成像所带来的所谓的“优势”其实也没有办法很好地界定。功能与技术的先进性和简单易用便携到底孰更重要?对于科研应用来说,也许前者是最重要的。但是对于商业系统,特别是消费电子类产品来说,后者才是关键。当计算成像技术从学术界走向产业界时,就必须认清现实——商业产品必须具备市场优势,而不仅仅是技术优势。例如:相比较更清晰的图像与更高的分辨率,减少医疗成像中人体对X光辐射暴露的时间或减少进站安检X光机所需的等待时间往往是消费者更为在意的地方。关于这方面一个众所周知的反例就是光场相机,其所带来的功能优势并不能很好地弥补其在成像质量与易用性上的缺失,导致普通消费人群并没有因为其一系列创新功能而动容买单。

    • 或许对于研究人员而言,计算成像最大的吸引力来自通过计算机与微处理器性能的不断提升使光学成像也能够搭上“摩尔定律”的顺风车,利用强大的“算力”突破物理定律(如麦克斯韦方程、光学衍射极限、采样定律、不确定性原理等)的限制与制约。但是对于普通大众而言,更令他们感兴趣的还是计算成像所带来的功能与性能方面的提升。为了预测计算成像技术对未来成像系统的发展走向的影响,此节将着重考虑计算光学成像潜在的广泛应用领域:科学仪器、商业工业、国防安全。

    • 科学仪器是科学研究与高端制造业发展所不可或缺的重要工具,是现代工业研发与生产的重要物质支撑,也是物理、化学、材料、生命科学等实验科学数据的根本源头。正如之前所提及的,计算成像技术尤其适用于拥有广泛消费基础的昂贵科学仪器设备,而科学与医学领域则是这类高端科学仪器设备的主要集散地。例如,2014年诺贝尔化学奖被授予具有亚波长成像能力的超分辨率荧光显微成像技术,现阶段已经有众多商业化的科学仪器与产品。对该项技术而言,科研应用对功能和性能提升上的需求远超过计算成像所需的数据处理所耗费的代价,这点已经从X-ray CT和MRI等技术的广泛推广与应用得到证实。这些科学应用充分利用了主动成像技术,即照明端与样品端调控所带来的额外优势与自由度。然而不得不承认的是,被动计算成像技术的发展仍然落后于主动成像技术。这并不难理解,因为被动成像少了一个重要的调控自由度——光源/照明。不过,自适应光学利用空间光调制和成像系统自主反馈为计算成像提供了一个非常成功的案例。在未来,这种闭环式控制论思想也有望会被越来越多地引入到计算光学成像仪器的设计中,如显微镜、超声、OCT等。此外对于非可见光波段,如X射线、紫外、近红外、红外、太赫兹(THz)和吉赫兹(GHz)等,计算成像技术都存在大量潜在的应用。这些波段往往缺乏高分辨、低成本的面阵探测器,此外还需要昂贵的光学成像器件。在此背景下,计算光学成像技术(如单像素成像、无透镜成像)具有非常可观的应用空间。因为针对这些应用而言,空间光调制器(如DMD)与单点探测器的成本往往相比较该谱段的成像镜头和大规模面阵传感器更加具有竞争力。

    • 在商业应用方面,手机摄像头与微处理器等高度集成系统为计算成像提供了新的机遇。例如,在iPhone X上集成的用于三维人脸识别的结构光传感器。它包括精密的照明、图像捕捉和微型化的处理芯片。目前智能手机中存在的传感、处理、存储、显示和通信系统紧凑集成,这即将为计算光学成像在移动消费终端的技术落地提供沃土。另一方面,随着触摸屏、手势控制、体感控制的发明,人机界面经历了一场革命。体感控制本质上需要三维成像技术来感知人体或身体部位的位置和姿势,从而实现计算机的远程控制或者游戏交互娱乐,如微软搭载Kinect体感3 D传感器的游戏机X-Box 360。此外,当今概念大热的“元宇宙”作为虚拟世界和现实世界融合的载体,也需要具备“沉浸感、开放性”等特征,计算光学成像(特别是三维成像技术)、虚拟和增强现实(VR/AR)等成为其底层支撑技术。现阶段的三维感知、VR/AR在产业链成熟度、生态构建等方面,还无法支撑元宇宙的愿景。不过可以预见的是,未来计算光学成像传感技术、显示技术、实时交互等技术将与计算机网络、大数据云计算、操作系统等底层技术更紧密结合并进一步共同发展,从而才能使“元宇宙”为用户提供完美沉浸式体验,助推实现科技与人文的结合,推动游戏、工业、教育及社交等多场景在元宇宙的渐进式发展。工业应用方面,其目标是工业生产全线的自动化控制,包括设计、生产、加工、装调、检测等。计算光学成像技术在其中也有望充分发挥其优势。例如,基于高精度三维测量技术对流水线上的工件与产品进行合规检测,通过主动三维传感技术提取环境信息,经过计算机处理后进行后续分析并反馈机器人执行装配命令等,从而保证工业自动化生产全链路闭环控制。

    • 未来的国家安全与民生保障要求光电成像与探测系统能同时实现高像素分辨率,多模态成像,高灵敏度,大景深,快帧频,而传统光电成像技术对于解决新的未来的反恐维稳、监控安防、国防安全等领域成像探测应用需求所带来的问题已显得力不从心,其具体表现在:光电成像系统在信息获取能力、功能、性能指标等方面的提高过度依赖于探测器技术水平的提高。单一成像系统难以同时实现高灵敏度,大景深,高分辨,快帧频。例如针对成像分辨率提升而言,目前的探测器尺寸已经接近物理极限,受到探测器工作条件和加工工艺的限制,采用减小像元尺寸和增加阵元数量的方式来提高分辨率往往是十分困难的;反之,像元尺寸的变小会导致光通量降低,灵敏度下降,产生严重的散粒噪声,致使后续补偿困难。此外对于传统小视场的成像系统而言,成像分辨率往往最终由光学系统口径所决定。然而传统光学系统设计受限于光学衍射极限,为了实现高分辨率,必须增加光学系统的孔径,而光学系统孔径的不断加大会导致体积、质量不断增加;更重要的是,孔径尺寸的增加往往导致景深与视场尺寸的对应缩减。因此,发展基于计算光学的新概念光电成像与探测机理与方法,指导高精尖光电成像系统的设计,已经成为国防安全领域新一代光电成像技术与系统的重要发展方向。对于监视侦察应用,光谱成像仪(在空间位置测量详细的光谱特征)和多波段成像仪(在不同和非连续的光谱波段,如可见、短波和长波红外波段,偏振、强度、相位信息的融合进行图像测量)可显著提高信息的维度与目标特性。而散射介质成像技术在恶劣天气下穿透雨水、雾霾、大气湍流上也有着广泛的应用。此外,图像超分辨成像技术能够使得成像系统的分辨率超越器件像素物理尺寸所限制的奈奎斯特采样频率,从而实现“亚像素”成像,使小规模面阵探测成像器件实现超分辨率探测,有效提升光电搜索跟踪/探测识别系统的探测精度与作用距离,对目标高分辨率探测与精确识别具有重要作用。

    • 第3.3节提到的计算成像技术未来发展的机会大部分都是基于其功能与性能方面的先进性,而成像系统的低成本、简单易用、小型便携要求是计算成像技术未来发展的最大威胁,特别是在可见光成像波段。可见光照相机如今是一种大众消费品。这是由于光学、探测器和嵌入式处理芯片当今已经发展到高度通用化、大批量,低成本与微型化(高精密制造技术使它们能够高度集成到晶片级)。此外,智能手机平台的广泛普及降低了应用程序开发人员的入门成本。搭载高品质摄像头的智能手机的广泛普及同时也成为了计算成像技术的威胁之一,这凸显了计算成像的联合设计和优化理念与商业产品的模块化设计理念以及标准化接口之间的矛盾。如果功能不能通过传统方法实现,集成智能手机平台则可能成为实现计算成像技术的一片沃土。然而如果功能可以通过传统方法实现,那么相同的集成平台将可能成为计算成像推广的严重障碍。例如:基于微透镜阵列的光场成像技术在消费电子方面已被传统的“双摄、多摄”这些简化方案所取代,因为光场成像技术的“优势阈值”还没有越过市场所要求的“简单易用低成本”的门槛。值得注意的是,目前尽管很多厂家,如苹果、华为、荣耀等在最近推出的智能手机上已经主打“计算成像”的概念,但是现阶段大多还是局限在一些单摄/多摄的多帧堆叠融合技术,目的还是集中在图像分辨率、信噪比、对比度、色彩还原、动态范围提升(HDR)、背景虚化等方面。处理手段大多还是集中在图像的后处理算法上(去噪、融合、插值、锐化、抠图、修补、校正等),而非成像系统前后端的协同设计与优化上,因此和真正意义上的“计算光学成像”尚存在一定距离。大多数先进的计算成像技术涉及到复杂的多维度光信息的捕获、处理与重构,它们还并没有从实验室走到用户的手中。正如斯坦福大学Levoy教授(前谷歌Pixel首席影像工程师)所指出的:“计算摄影相机的概念是一个很有前景的方向,我认为我们现在才摸到它的一点皮毛”。

      再大胆展望一下未来:随着传感器与嵌入式处理器性能的飞速提高,成本的迅速降低,云计算与大数据的飞速发展,未来计算成像技术将会渗透到人们身边每一个新的设备(电视、冰箱、垃圾桶、吸尘器、扫地机器人)、运输工具(电动自行车、汽车、飞机或轮船)、建筑(住宅和商业场所)和处理平台(手机、电脑、平板)中,其必将为成像领域带来一次革命性的改变。到时候,“计算”和“成像”将无处不在。可能唯一现在无法确定的是:“计算成像”是否会一直成为一个默默无闻的幕后英雄,还是能够真正从幕后走到台前成为一个家喻户晓的名词?可能到那一天,这个问题已经并不重要了……

    • 计算光学成像系统是光学、传感器、信号处理技术的综合体,它并不是独立于其他技术的存在。计算光学成像技术也并非一门完全独立的技术领域,而是一个跨光学、计算机、电子信息等多个学科的系统科学。因此,笔者预计计算光学成像技术的未来发展也离不开以下五个方面技术的不断进步。

    • 传统光学成像系统离不开透镜的聚焦成像,即使是在计算光学成像系统中,透镜通常也是不可或缺的重要光学元件。为了消除相差色差,传统的成像系统将多个不同厚度和材质的曲面透镜叠加在一起,但是这种解决方案却是以增加系统复杂度和质量为代价的。而最近出现的超透镜(Metalens)[980-983]技术有望彻底颠覆传统光学镜头的形态。其具有扁平表面,轻薄小巧,能利用纳米结构聚光让入射光投射到期望的地方,功能大大超越传统透镜。它有望彻底颠覆传统光学系统中繁琐的透镜组,使得成像系统更小、更薄、更轻。2016 年,基于超表面构造的显微物镜被《Science》杂志评为年度十大科技突破[980]。当然,不仅仅是超透镜,亚波长电磁学所包含的范畴还更加宽泛,其内涵包括超构材料、表面等离子体、光子晶体等。二维超构表面(简称超表面,Metasurfaces)还可以通过亚波长金属或介质结构在二维平面内调控电磁波的振幅、相位、偏振等参量[984],能突破传统电磁定律的限制实现超分辨成像[985],并能用于新型平面电磁学和光学器件的设计。最近,超表面领域的原理和技术研究取得显著进展,各种新型超表面器件不断涌现,这不但为解决现代光学系统体积质量较大、集成度较低等难题提供了全新的技术途径,还将为计算成像技术开辟全新的光学调控的自由度[986-987]

    • 图像传感器是光学成像器件中负责光电转换的重要部件,从产品的技术发展趋势看,无论是CCD还是CMOS,其体积小型化及高像素化仍是业界积极研发的目标。因为像素尺寸小则图像产品的分辨率越高、清晰度越好、体积越小,其应用面更广泛。然而像素尺寸本身又和芯片光响应能力是一对矛盾,像元尺寸越大,能够接收到的光子数量越多,在同样的光照条件和曝光时间内产生的电荷数量越多。但是小像素意味着高分辨率、高集成度、低功耗和低成本。目前CMOS都已经普遍采用背照技术以有效缩小像素尺寸(目前可以达到0.9 μm左右),这对于无透镜片上成像等计算成像机制的分辨率提升起着至关重要的作用。进一步缩小像素尺寸可能会引发灵敏度不足以及像素间链路串扰等一系列问题。因此,如何在保持小像元的基础上提高量子效率(QE,转换成为电子的光子的百分比)以及减少小像素带来的电子串扰(相邻像素之间的电荷的扩散)是未来的图像传感器的发展方向。当然,采用新颖的探测机理或探测器结构(如sCMOS、EMCCD)提升器件的成像性能仍然对于科研领域应用而言非常重要。

    • 对于很多计算成像技术,如光场相机、CT成像等,场景与图像之间实际上是某种变换关系,因此用于反演的采样数据与图像的数据量相同。而对于空间、时间和光谱等信息的获取,在满足上面两个条件的基础上,还需要考虑如何才能使用二维传感器来采集多维信息,这个问题的难度在于多维信息的大数据量与二维传感器采集数据维度有限之间的矛盾。这就需要在采样过程中,能够找到合适的方法将大量多维信息“压缩采样”到少量二维数据中。如何保证这种“压缩采样”数据的信息完整性和反演准确度呢?近年来十分流行的压缩感知技术提供了一种可能的解决方案。它变传统奈奎斯特直接信号采样为信息采样,以直接获取信息为目的,从而在一定的条件下,信号能够从少量的观测值中高概率地精确恢复。当然,压缩感知技术只是计算成像技术中所采用的众多经典数学工具中的其中之一。毫不夸张的说,任何一次数学与算法工具的革新都会对无数的研究领域起到巨大的推动作用(回忆一下最优化方法、偏微分、小波这些耳熟能详的技术吧)。

      尽管在3.1节笔者提及过计算光学成像技术的另一大显著优势在于其能够有望形成一个更高维度的框架体系来分析处理与看待光学成像的具体个案问题。但读者或许会多少有些感觉:目前的计算成像技术领域更像是各种具有一定共性的成像技术的一个集合体。而各个小领域之间的研究似乎并没有太大的关联性,貌似为了找到一个学术共同体而簇拥到了一起。设想如果未来能够从计算光学成像理论框架(物理机理→求解算法→成像参数/调控手段优化)出发去探究某项具体成像技术,也许能够为计算成像领域带来一些新的活力:借助信息光学手段将计算光学成像过程中的核心要素(①照明:包括一维波长、二维光强、相位以及角度、四维相干性等;②物体:建模为二维(面)物体或三维(体)物体;成像系统:即孔径函数调制,又可细分为固有调制(数值孔径、相差)、相位调制(离焦、光线偏折等)与强度调制(光强掩膜等);探测器:包括可控位移(横向、轴向)及像素化作用(降采样、Bayer滤镜等))进行正向建模,实现关键物理机理的数学模型化。并在此模型体系下研究从正向模型反解物体复信息这类病态逆问题的最优化理论方法,发展对应标准可重用求解算法。分析核心成像指标的关键敏感参量及其相互制约,建立光学系统相关多参数设计与光学调控方法最优选择机制。最后面向应用需求辐射,以相应成像核心指标最优化为导引,设计光学调控方法,优化相应逆向重构方法,优化成像系统参数,完善数据获取体质,有助于实现有限资源的最大效用,使最优核心成像指标实现质的突破,进而促使面向各类复杂现实成像应用的新理论、新机制、新技术更快、更系统地形成。

    • 1965年,英特尔(Intel)创始人之一戈登·摩尔(Gordon Moore)提出摩尔定律。即集成电路上可容纳的晶体管数目,约每隔18~24个月便会增加一倍,芯片的性能也会得到相应的提高。与其说是定律,不如说是一种假想,且在过去的半个世纪里,一直在发生的现象。但近年来,摩尔定律的维系遇到以下两方面的问题:① 物理极限:特征尺寸缩减,越来越接近于物理极限,需要采用更先进的设备,更复杂的工艺流程。研发周期变长,同时研发费用和生产费用也随之上升。② 功耗上升/单位面积:每个器件的功耗越来越小,但是单位面积晶体管的数字在快速增加,随着器件变小,单位面积功耗在急速上升,尤其是静态功耗。有几个方向可以跳出摩尔定律划定的圈限,今后持续为计算成像技术的发展赋能:

    • 相比较通用芯片,专用芯片设计可以提供一系列功能、性能、功耗的改进,往往具有更高的效能比与性价比。采用定制设计的芯片厂商包括英特尔、谷歌、Wave Computing、英伟达和IBM等。英伟达的图形处理单元(GPU)就是最具代表性的一个例子,其已广泛应用于计算成像算法的加速并行实现上。定制化的专用处理器还可应用在深度学习、自动驾驶汽车的计算机视觉、语音识别和物联网设备等应用中。

    • 硅谷之所以被称为硅谷是有原因的,但研究人员正在忙着研究未来可能由硅以外的其他材料制成的芯片。例如,晶体管从2 D升级到3 D形式排列在芯片中,提高芯片集成的晶体管数量。其他材料,如位于元素周期表中第三和第五列的元素,可以取代硅成为制造芯片的材料,因为它们的导电性更高。目前最热的第三代半导体GaN、SiC已经能够规模量产,且被视为摩尔定律的后继力量,凭借其宽禁带、高热导率、高击穿电场、高抗辐射能力等特点,在许多应用领域拥有前两代半导体材料无法比拟的优点,有望突破第一、二代半导体材料应用技术的发展瓶颈,市场应用潜力巨大。

    • 摩尔定律“诞生”于20世纪60年代中期,比计算机科学家蒂姆·伯纳-李(Tim Berners-Lee)发明万维网早了四分之一世纪。虽然自问世起摩尔定律一直有效,但在万物互联的时代,对本地处理能力的需求减少了。云计算技术意味着,许多大型计算问题可以由位于其他地方的大型数据中心中的大规模并行系统完成。随着手机等移动终端的出现,笔者可以预计今后计算成像的复杂算法很大程度上可以实现分布式运算,通过在云端高性能服务器上处理任务,并在处理完成时将运算结果传回本地设备,极大地降低了对本地的硬件及处理器的需求配置。

    • 光计算是指利用光信号的模拟特性,实现数据处理中的复杂代数运算或者逻辑运算,其在过去半个多世纪的发展中取得了长足的进步[988]。光本身的衍射、散射、干涉等天然特性,隐含了卷积、傅里叶变换、矩阵变换等数学特性,光计算省去大规模的数模转换的过程,在特定领域,如人工智能领域中包括大量的矩阵变换、最优求解,计算机视觉中包括的大量卷积运算等有着天然优势。近年来深度学习与光计算二者结合,为光学计算的实现创造了新的机会,使之成为一个令人兴奋的研究领域。如光衍射神经网络技术采用基于深度学习算法的无源衍射层设计,经误差反向传播法训练后,能够以接近光速的速度实现多种机器学习算法功能,如:字符识别、图像处理等[989]。但该方法对光场的相干性具有较为严格的要求,当应用于自然非相干光照射下的场景还存在诸多挑战。数字电子系统是当今计算系统的主要平台,然而在可预见的将来,开发通用光学计算系统可能仍然具有挑战性。到目前为止,光学计算机还只是模拟的,光线在衍射、散射、干涉中出现的损耗、散粒噪声干扰,与电信号高效耦合与转化等问题仍然亟待解决。未来“光电混合”计算,即将光学计算的带宽和速度与电子计算的灵活性相结合,有望在计算成像和其他视觉计算领域中发挥重要作用。

    • 量子计算基于自20世纪初起经由大量实验验证的量子力学理论。它与人们所熟知的基于晶体管的二进制数字电子计算机完全不同。量子计算不是基于0或1数据编码,而是处理量子比特,这些量子比特的值可以同时为0、1以及0和1。它的计算方式不同于传统计算机,在量子计算中信息以量子叠加态的形式存储,并通过量子态的演化进行计算。量子计算机可以运行以肖尔算法为代表的量子算法,并且在解决某些计算问题方面,量子计算机可以远远快于经典计算机。虽然经历了近年来的快速发展,但与成熟的经典计算机技术相比,量子计算机技术,特别是具有广泛实用价值的通用量子计算机仍处于初级阶段。实现理想状态下的通用量子计算机,无论是远期的容错量子计算还是近期的中等规模量子计算,都需要一定数量的低错误率量子比特,当前的实验技术还无法完全满足条件。未来的发展既需要从理论上研究量子算法和错误处理方法,同时也需要实验技术在量子比特数量和错误率两方面的进步。如果上述问题得以解决,可能从根本上突破瓶颈并促进计算机技术的大规模发展,并能够以极其快的速度推动计算成像技术乃至整个科学技术的巨大进步。

    • 虽然深度学习技术已经被广泛应用于计算成像技术中,但是其所实现的工作还是大多基于具体技术层面,即针对解决某个成像物理问题而采用的技术方案[977979]。通过研究从观测数据(样本)出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测。但从本质上来说,更高层次的人工智能的目的是实现对人类音频、视觉、乃至思想的智能感知与反馈。目前智能音箱市场火热,而其背后蕴含的技术正是对音频数据的人工智能与大数据处理。但人类对客观世界的认识及感知,有80%的信息来自于视觉。因此对图像信息的搜集与处理,将成为人工智能下一阶段最重要的技术引擎。通过智能化的光场调控控制原始图像信息的高效采集,再运用人工智能对图形图像做精准地分析处理,经过人机接口领会用户的意图与想法,并通过计算机的深度学习、理解和思考之后,以形象的方式呈现给人们所需要的更完美、更符合人们想法的图像信息,这可能将会是人工智能时代下的计算成像的展现形式。传统意义上的计算成像实现了从“所见即所得” 到“所见非所得”或者“非见也可得”的发展,而在人工智能使能下计算成像有望步入下一个更加令人振奋的阶段——“所思即所得”。

    • 此文起初是为《红外激光工程》2019年第六期,也就是笔者作为专题主编组稿的“计算光学成像技术与应用”专栏而着手准备的开篇论文。文章初稿完成于2019年6月28日的凌晨五点,还记得那时候窗外天已经蒙蒙亮,纵然身体已百般困倦却按捺不住脑中萌生的千万思绪。很庆幸能够生活在这个以“光学”与“计算”所主导的时代,似乎一夜间身边所有的光学成像系统都包括了“计算”。然而“成像中的计算”与“计算成像”不同,它们就如同傍晚的日落与清晨的日出,看似一样却代表了两个完全不同时代中的两个不同发展阶段。计算光学成像技术就像窗外的太阳,才刚刚探出了一小部分头顶。光源、光学元件、光调制器、光电传感器等先进的光机电组件,数据处理能力日益提升、存储空间日益递增的计算机/并行处理计算单元以及最优化理论、压缩感知、深度学习等新型数学与算法工具三方面的并行发展与无缝结合促使计算成像技术开始崭露头角。计算机与微处理器的计算性能仍然会在接下来的若干年内借助于“摩尔定律”(尽管并非严格遵守)的惯性持续增长,而计算光学成像技术必定将搭载着这列顺风车继续快速发展。而正在孕育中的新型光学器件、光场调控机制、高性能图像传感器、数学算法与工具、并行/云/光/量子计算、人工智能技术必将会为计算成像技术的未来发展注入新的活力。笔者期待并且相信,在学术界与工业界的不懈努力之下,它终将能够喷薄而出,万丈光芒。

      计划赶不上变化。由于文章篇幅太长,排版工作压力较大,很遗憾最终未能及时按原计划刊出。时光飞逝,文章一搁就是两年多。虽有些遗憾,但此期间有幸目睹许多优秀的计算成像领域的中文综述论文陆续发表刊登,也算了却了心愿。考虑到避免重复,于是笔者就放弃了发表该文的念头。直到2021年底得到消息,《红外激光工程》计划于2022年第二期出版“南京理工大学”专刊,尚缺一篇文章作为“计算光学成像技术”该方向的引子抛砖引玉。这才算重新鼓起勇气翻出旧稿,从头到尾修改增补与更新,以免信息观点陈旧而落后于时代。此刻再度完稿之时,已经是2022年2月14日凌晨4点。时过境迁,所感所想也大不相同。

      近两年新冠病毒全球肆意,世界国际形势正面临百年未有之大变局,中美贸易战呈现越演越烈态势。以科学仪器为核心的新一轮科技革命正在全球范围内广泛兴起,成为现代科技竞争新的制高点。作为支撑我国未来科技和产业发展的基础核心领域,先进光学成像技术与高端光学仪器却是我国军事国防、制造产业技术对外依赖的重灾区,受困程度极为严峻:美、英、法等发达国家长期垄断高性能红外与微光探测器等核心器件,联合签署《瓦森纳协定》以对我国实施电子信息与仪器仪表等领域的长期技术封锁(图206)。我国半导体、生命科学、纳米领域以及三甲医院所使用的高端光学显微镜,也几乎都被德日“四大家”(蔡司、徕卡、奥林巴斯、尼康)所垄断,国产品牌有量无质且市场占有率极低。在此迫在眉睫之际,2021年12月24日中华人民共和国主席根据全国人民代表大会及其常务委员会决定签发的《中华人民共和国主席令(第一〇三号)》中明确指出在功能、质量等指标能够满足需求的条件下,鼓励采购国产科研仪器(图207)。面向国家重大战略,高端科学仪器已成为我国抢占科技前沿制高点,实现科技自立自强的突破口。

      图  206  高端光学设备仪器及其核心器件技术是西方军事强国对我国禁运的“卡脖子”技术和产品

      Figure 206.  High-end optical instruments and their core technologies are the "bottle-neck" technologies and products embargoed by the Western military powers to China

      图  207  中华人民共和国主席令(第一〇三号)中明确指出在功能、质量等指标能够满足需求的条件下,鼓励采购国产科研仪器

      Figure 207.  The Decree of the President of the People's Republic of China (No. 103) clearly states that under the condition that the function, quality and other indicators can meet the demand, the procurement of domestic scientific research instruments is encouraged

      从光学成像系统的组成架构与总的发展趋势来看,光电探测器、信号处理技术与新型计算光学成像理论与方法已经逐渐呈现出多点突破蓄势待发的生动景象,有望对未来精密光学仪器的底层机理与构架形态产生重大影响,最终催生高端精密光学仪器颠覆性和换代性的重大产业变革。我国虽在精密光学加工、先进光电传感器、工业基础软件等领域起步较晚,但在近年来新兴的新型光学计算成像理论与技术方面的研究从起步阶段就紧随时代潮流,近年来发展势头十分迅速,研究水平与技术成果与发达国家相比并不滞后,在某些细分领域甚至已跻身国际前列。

      在此文的结尾,也是本期“南京理工大学”专刊的开始,笔者首先感谢您能够耐心经历这百余页的“长篇累牍”陪笔者一直走到这里,希望本文能为从事计算光成像领域学术界与产业界的相关从业人员,抑或是对本领域感兴趣的初学者与行外人士提供一些有益参考。但在这里更想呼吁更多产学研用各界人员能够加入笔者的行列,积极投身于计算光学成像领域的基础研究、技术攻关与成果产业化,共同携手在新型光学成像机理方面取得原创性、关键共性及前沿引领基础理论创新成果的同时,突破高精密光学加工、高灵敏度光电探测器、信号处理专用芯片及仪器配套基础应用软件等“卡脖子”关键技术,形成具有完全自主知识产权的相关理论、技术、工艺、器件、软件与产品,实现新一代基于新型计算成像机理的系列先进光学仪器装备的自主可控,为我国早日实现高端光学仪器的高水平科技自立自强贡献力量。

    • 此文部分内容来源于南京理工大学陈钱教授领衔的“光谱成像与信息处理”长江学者创新团队以及左超教授带领的 “智能计算成像”实验室(SCILab: www.scilaboratory.com)毕业博士研究生学位论文,并在此基础上进行了修改与补充。在搜集资料,文章修改以及排版校对的过程中,胡岩、王博文、钱佳铭、尹维、张润南、范瑶、吴雪娟等做出了大量工作,在此向他们深表谢意。

参考文献 (989)

目录

    /

    返回文章
    返回