Radiation calibration and correction in infrared light field imaging

光场是场景中所有光线的信息总体。光场成像是一种独特的成像方法，成像不仅采集场景光线的位置信息，也采集角度信息。Adelson等^[1]将空间中的光信息概括为一个七维函数，称为全光函数。Levoy等^[2]将全光函数简化至四维，仅保留二维位置信息与二维角度信息。在传统成像中，某一像元所接受的光照度是来自于整个有效孔径角内各个方向的光线强度积分，损失了光线的方向信息；光场成像则不同，通过微透镜阵列等方法可保留光线一定角分辨率的方向信息。在此基础上，国内外对于光场相机的研究已有进展。Ng等^[3]发明了手持式光场相机，利用重聚焦渲染成像；Bazeille等^[4]通过四个微型透镜环将传统数码相机转换为光场相机；Lin等^[5]制得了氮化镓纳米光波天线阵列，以此获得无色差的全色光场相机。光场相机在虚拟现实^[6]、计算机视觉^[7]、三维场景重建^[8]等领域均有良好的应用前景。

目前，光场相机的研究成果基本都是针对可见光波段，而对于红外波段光场成像的研究极少。夏朝阳等^[9]提出了以红外相机阵列采集红外光场信息后渲染图像的方法，具有景深调节范围大、生成图像等效孔径大、采样密度可控等优点，但是采用扫描的方法采集红外光场信息只能对静态物体成像；受限于扫描结构尺寸，只能用于某些特定的场景。另外，该研究并未分析红外光场成像与可见光光场成像的区别。

红外成像相比于可见光成像关键性的不同点在于红外成像存在较为显著的非均匀性。非均匀性是指红外焦平面上的像元对标准黑体的均匀辐射响应不一致。由于多种复杂因素，定标校正后一段时间的探测器像元产生响应特性漂移，导致非均匀性显著增大，从而对正常成像造成干扰。文中提出了红外光场成像的黑体辐射定标模型，从像元响应特性漂移与成像非均匀性的关系入手，对比分析了两点法校正之后，光场原始数据与光场输出图像经过长时间工作的非均匀性变化。理论分析与实验均表明，像元响应漂移对红外光场成像非均匀性的影响受到微透镜渐晕和重聚焦计算两方面综合作用。

光场成像可分为两个过程，即光场信息的采集和重聚焦成像。如图1所示，光场相机的结构主要包括主透镜、微透镜阵列以及探测器，其中微透镜阵列位于主透镜像面，探测器光敏面位于微透镜阵列的焦面。因此，场景中物面与微透镜阵列面成物像共轭关系；主透镜出瞳与探测器面成物像共轭关系。场景中物点发出的光线会聚于对应的微透镜或其附近，经过微透镜的变换，不同方向的光线入射在不同的像素点上，以此采集光线的位置与方向信息。

Figure 1.  Structure diagram of light field camera

如图2所示，以$\left( {u,v} \right)$和$\left( {s,t} \right)$分别表示出瞳面和微透镜阵列面的坐标，$\left( {s',t'} \right)$表示重聚焦面坐标，则某一条光线亮度可表示为$L\left( {u,v,s,t} \right)$，该光线与重聚焦面相交于$\left( {s',t'} \right)$，因此也可表示为$L'\left( {u',v',s',t'} \right)$，其中$u = u'$，$v = v'$。重聚焦面上的辐照度分布$\overline E \left( {s',t'} \right)$可通过光线亮度对方向的积分获得，即

Figure 2.  Schematic of refocusing

根据图2，可得出$s = u' + \dfrac{{s' - u'}}{\alpha }$，$t = v' + \dfrac{{t' - v'}}{\alpha }$，其中，$\alpha $为重聚焦面与主透镜出瞳的距离和微透镜阵列与主透镜出瞳的距离之比。公式（1）可改写为：

通过公式（2）实现光场成像中的重聚焦计算。

在传统成像中，常将标准黑体置于光学系统的入瞳附近，从而使黑体成像在出瞳附近，黑体的像对于在像面的探测器可认为是朗伯体。此时探测器各像元接收到的辐射是均匀的，非常适合于系统的标定。然而，在光场成像中，微透镜阵列位于像面处，探测器位于微透镜的焦面处。这种与传统成像不同的光学结构导致辐射在系统中的传输发生改变。

图3所示为辐射定标的传输示意图，其中图3（a）为传统成像，图3（b）为光场成像，黑体均置于入瞳附近。对于传统成像，入瞳与出瞳共轭，黑体所发辐射可以均匀地入射在探测器面上。对于光场成像，当黑体置于入瞳附近时，辐射经由出瞳均匀地入射在微透镜阵列面上，再经过各微透镜的变换，各方向的辐射分散在不同的像元上，得到光场成像的定标数据。

Figure 3.  Schematic diagram of radiation transmission. (a) Traditional imaging; (b) Light field imaging

设计光场成像方向分辨率为$A \times A$，即某微透镜下包括$A \times A$个像元。每个像元均与出瞳相应的一部分为物像关系。黑体辐射存在一定的非均匀性，造成出瞳各子区域的辐射也存在一定的差异。因此，即便微透镜是理想的，对于某一微透镜，不同像元所接收到的辐射也不一致。实际上，微透镜的透过率、渐晕、像差等因素也对像元接收的辐射产生影响。由于主镜头的渐晕造成的非均匀性是需要校正的一部分，微透镜阵列面上的辐射通量可认为是均匀的，用$\varPhi $表示。对于某像元$\left( {i,j} \right)$，对应的微透镜透过率为$k{m_{ij}}$，该像元接收到的辐射通量为$ \varPhi \cdot k{m}_{ij}/{A}^{2} $。在辐射定标中，校正目标是使均匀辐射下各像元的像素值相等。认为在一定范围内像元对辐射的响应是线性的，${g_{ij}}$和${m_{ij}}$表示增益和偏置，则像元响应输出${X_{ij}}$可表示为：

由公式（3）可知黑体的非均匀性以及微透镜透过率的非均匀性均可通过辐射定标的方法予以校正。

校正后，像元参与重聚焦计算，对于不同深度的重聚焦面，相互对应的像元有所不同，得到的重聚焦图像存在差别。

对于辐射定标类校正方法，两点法是基础。假设探测器的响应特性是线性的，以$\phi $表示某辐射通量，${X_{ij}}$表示坐标为$\left( {i,j} \right)$的像元的响应输出，${G_{ij}}$和${M_{ij}}$表示该像元的增益和偏置，则

以高低两个温度作为定标点，分别对应辐射通量${\phi _1}$和${\phi _2}$，校正目标分别为$X_t^{({\phi _1})}$和$X_t^{\left( {{\phi _2}} \right)}$，是探测器各像素的平均值。校正后，坐标为$\left( {i,j} \right)$的像元输出为${Y_{ij}}$，则有

式中：${K_{ij}} = \dfrac{{X_t^{\left( {{\phi _2}} \right)} - X_t^{\left( {{\phi _1}} \right)}}}{{X_{ij}^{\left( {{\phi _2}} \right)} - X_{ij}^{\left( {{\phi _1}} \right)}}}$、${B_{ij}} = \dfrac{{X_{ij}^{\left( {{\phi _2}} \right)}X_t^{\left( {{\phi _1}} \right)} - X_{ij}^{\left( {{\phi _1}} \right)}X_t^{\left( {{\phi _2}} \right)}}}{{X_{ij}^{\left( {{\phi _2}} \right)} - X_{ij}^{\left( {{\phi _1}} \right)}}}$为校正系数。对于光场成像，由于像元为离散的形式，重聚焦输出图像的每一个像素为其在光场数据中的对应像素之和，即校正后的重聚焦输出图像为：

综合公式（4)~(6），有

经过一段时间，像元的响应特性发生漂移，漂移后的增益和偏置为$G_{ij}^{'}$和$M_{ij}^{'}$，漂移量分别为$\Delta {G_{ij}}$和$\Delta {M_{ij}}$，即$G_{ij}^{'} = {G_{ij}} + \Delta {G_{ij}}$，$M_{ij}^{'} = {M_{ij}} + \Delta {M_{ij}}$。此时，光场的输出为：

式中：$ \Delta \bar E\left( {s',t'} \right) = \displaystyle\sum {{K_{ij}}\left( {\phi \Delta {G_{ij}} + \Delta {M_{ij}}} \right)} $。增益和偏置发生随机漂移，认为漂移量服从正态分布，即$ \Delta G \sim {\text{N}}({\mu _G},\sigma _G^2) $，$ \Delta M \sim {\text{N}}({\mu _M},\sigma _M^2) $。因此，对某一像元有

式中：$\; {\mu _{Cij}} = {K_{ij}}\phi {\mu _G} + {K_{ij}}{\mu _M} $；$ \sigma _{Cij}^2 = K_{ij}^2{\left( {\phi {\sigma _G}} \right)^2} + K_{ij}^2\sigma _M^2 $。光场成像的角度分辨率为$A$，重聚焦面的像素由各子孔径图像叠加而成。因此，光场输出图像的漂移量近似服从正态分布：

式中：$\; {\mu _C} $为$ {\mu _{Cij}} $的平均值；$ \sigma _C^2 $为$ \sigma _{Cij}^2 $的平均值。将光场成像的所有像素平均值调节到与重聚焦计算之前相一致，此时

非均匀性可通过公式（12）计算：

式中：${V_{ij}}$为某一像元的像素值；${V_{oavg}}$为各像元的平均像素值；$m \times n$为探测器的阵列数；$d$为阵列的盲元数。则对于传统成像，漂移后的非均匀性可表示为：

对于光场成像，漂移后的非均匀性可表示为：

其中，${V_{oavg}} = {\bar E_{oavg}}$。

不同深度的重聚焦图像参与叠加的像元不同。然而，校正后的光场原始数据各像素的值近乎相同，出现像元响应漂移后，各像元的漂移规律相近。因此，同一时间、不同深度的重聚焦图像的非均匀性相近。

对比传统成像和光场成像的辐射传输模型，有两点不同之处：一是光场成像存在微透镜阵列所造成的渐晕；二是光场成像需要通过重聚焦算法计算得到输出图像。渐晕的存在导致传输到像元上的辐射通量不一致，比传统成像的差别更大，使${K_{ij}}$更加偏离于1。由公式（9）和公式（13），对于同样大小的像元响应漂移量，较大的${K_{ij}}$会更加放大漂移量，使经过校正的像素值更加偏离平均值，非均匀性的增长幅度也更大。光场数据经过重聚焦计算获得光场成像的输出图像。由公式（11）~（14），相比于光场数据，重聚焦后的光场输出图像的像素值变化的方差较小，对于同样的像元响应漂移，非均匀性增长幅度较小。

采用Sofradir的某款高灵敏度制冷型长波红外探测器研制了红外光场相机，如图4所示。系统总体参数如表1所示。

Figure 4.  Infrared light field camera. (a) Object picture; (b) Structural drawing

系统整体分为四部分，分别为主透镜、微透镜镜室、中继系统和探测器，其中微透镜镜室与中继系统用以实现主镜头、微透镜阵列与探测器的耦合^[10]。

为验证上文所述辐射定标模型，并分析光场成像中响应漂移对非均匀性的影响，设计标准黑体辐射实验，以公式（12）计算比较光场成像和光场数据的非均匀性。在多种复杂因素的影响下，随着工作时间推移，探测器各单元的响应特性漂移会增大，导致探测器非均匀性也随之增大。鉴于此，采集系统长时间工作的数据进行分析，具体实验过程如下。

将标准黑体置于成像系统入瞳附近，分别调节黑体温度至298 K和302 K，记录下探测器得到的图像数据，作为两点校正法的定标点，此时计时开始，作为实验的时间原点。经过10 min，黑体温度调节至300 K，此时探测器采集的图像作为实验数据。采集此后直至30 h的实验数据。图5所示为30 h时探测器所采集的原始图像数据。将每个微透镜圆形视场之外的像元点排除，盲元经过补偿算法处理。

Figure 5.  Original data of the blackbody experiment

为分别分析微透镜阵列渐晕和重聚焦成像两个因素，将未经过重聚焦计算成像的原始光场数据作为实验的对照组；重聚焦计算后的光场输出图像作为实验组。为了抑制时间噪声对非均匀性计算的干扰，所用数据由5帧叠加的方式获得。

首先分析光场成像中不同深度的重聚焦成像。表2所示为各时间点分别对应于物距1 m、2 m、3 m和4 m的光场成像非均匀性数值。由表可知，各个物距下的光场成像非均匀性较为接近，与理论分析相吻合。表中物距为3 m的光场成像的非均匀性最大，下文以此代表光场成像。

图6所示为10 min和30 h时光场数据和光场成像的对比图。其中光场数据的图像由各微透镜相应的有效点拼接而成，光场成像的图像则通过重聚焦计算成像得到。

Figure 6.  Comparison of light field imaging and traditional imaging at 10 min and 30 h. (a) Light field imaging at 10 min; (b) Light field data at 10 min; (c) Light field imaging at 30 h; (d) Light field data at 30 h

图7所示为光场数据和光场成像的非均匀性随时间的变化曲线。其中，折线为各时间点采集的实时数据所连成，曲线为各数据点拟合而成，可在一定范围内近似表示非均匀性随时间变化的趋势。

Figure 7.  Nonuniformity of light field data and light field imaging within 30 h

由图7中数据可知，相比于光场数据，重聚焦后光场图像的非均匀性受到像元响应特性漂移的影响较小，这与理论分析所推导出的结果一致。

分析图6的图像，在10 min时，两幅图像都比较均匀，表明提出的辐射定标模型适用于红外光场成像。随着工作时间的增长，像元发生响应特性漂移，使30 h时图像的非均匀性增大。光场数据的图像出现了具有周期性的纵横纹路，原因是这些点都对应微透镜的边缘位置，受到微透镜渐晕的影响，导致定标计算的增益校正系数较大。像元发生响应漂移时，较大的系数使校正计算后的像素值与其他像元产生了明显的差异。相比于光场数据，光场成像在30 h时的非均匀性明显较小。

分析图7中的数据，在非均匀性校正后10 min，光场数据的非均匀性为0.062%，重聚焦后的非均匀性为0.024%。随着时间推移，两者的非均匀性均在波动中增大。30 h，光场数据的非均匀性为0.62%，光场成像的非均匀性为0.28%。根据理论推导，光场成像的像素值变化的方差为$ {\left( {{\sigma _C}/A} \right)^2} $，而光场数据的像素值变化的方差为$ {\sigma _C}^2 $，则在漂移后，光场成像非均匀性与光场数据非均匀性之比的理论值应接近$ 1/A $，即1/9。然而在实验中，光场成像非均匀性与光场数据非均匀性之比在1/1.4~1/4.6之间，各时间点的平均值约为1/2.8，与理论值存在差距。可能的原因是，相互邻近像元的响应漂移存在一定的相关性，从而使光场成像输出图像的单一像素的变化量大于理论值。虽然实验结果与理论推导存在一定差距，但可以确定，相比于光场数据，重聚焦后的光场图像受到像元漂移的影响较小。光场成像中，微透镜阵列的渐晕会放大漂移的影响，但重聚焦计算又会抑制漂移造成的非均匀性增长。

分析各数据点拟合而成的曲线，两条曲线均随时间增大，随着时间推进，非均匀性的变化速率也在变小。经过计算，未校正的光场数据和光场成像的非均匀性均为2%。因此，随着时间增大的非均匀性存在上限值2%。根据拟合曲线，光场数据的非均匀性达到2%需要约400 h，而光场成像则需要约2500 h。

由此，考虑重复定标以更新校正系数的方法。根据数据拟合曲线，若非均匀性达到1%，光场数据需要约82 h，而光场成像需要约522 h；非均匀性达到0.5%，光场数据需要约15 h，而光场成像需要约110 h。对于光场成像，重聚焦计算可抑制响应漂移的影响，采用辐射定标类方法结合低频率的重复定标，可以较好地校正红外光场成像的非均匀性。若能有效减弱甚至消除微透镜的渐晕，则光场成像中受到像元响应漂移的影响将大幅减小，重复定标频率将大幅降低。

综合上述结果，辐射定标模型符合红外光场成像的实际特点。

为了实现在红外波段应用光场成像技术，提出了红外光场成像黑体辐射传输模型，研究了像元响应漂移与红外光场成像非均匀性的关系。相比于传统成像，光场成像的校正效果受到微透镜渐晕和重聚焦计算两方面因素影响。实验结果显示：在相同的实验条件下，30 h光场数据的非均匀性为0.62%，光场成像的非均匀性为0.28%。若能有效减弱甚至消除微透镜阵列的渐晕，红外光场成像的非均匀性受到响应漂移的影响将大幅减小。