Design of mid-wave 1 280×1 024 infrared imaging components （Invited）

自红外成像系统在美国问世以来，已经过60多年的发展^[1]。它利用光电转换的原理及信号处理的方式来探测目标物体表面的红外辐射强度，获取到探测物体表面温度后将其转化为电信号最终以图像信息形式输出^[2]。目前国外1 280及以上的像素热像仪已经处于应用阶段，而国内红外系统应用中，中波器件主流仍然是640×512的分辨率，但随着红外市场需求的不断扩大和探测器工艺和工程技术的成熟发展，夜视、侦察、监视、导弹制导等军事领域，对大面积探测、高分辨率探测器的需求会越来越多^[3-4]，中波1280×1024红外百万像素成像组件在今后的武器系统、军事侦察、战略防御^[5]等方面具有非常大的应用前景。

文中正是基于国产15 μm 1280×1024中波HgCdTe红外成像探测器，介绍了探测器的性能、成像组件电路构成和组件的一体化设计；针对大面阵的信息采集处理，介绍了双FPGA图像处理电路硬件构架及设计方案；根据组件应用要求开发了以FPGA为核心的软件平台；介绍了机芯组件所采用的红外图像算法，阐述了非均匀性校正、局部增强关键模块算法；最后针对红外成像组件系进行了低噪声电路测试、NETD测试、高低温测试以及成像测试。

中波红外1280×1024 HgCdTe探测器主要用于实现目标红外信号与电信号的转换。某国产探测器由HgCdTe列阵探测器芯片、CMOS读出电路芯片、金属杜瓦和SCI08R型集成整体式斯特林制冷机组成。其性能如表1所示，探测器像元中心间距为15 μm，光谱响应范围（3.7±0.2）~（4.8±0.2） μm，工作温度80 K，探测器采用离子注入成结技术在p-HgCdTe上制成光伏1280×1024个（PV）探测器列阵，与读出电路通过倒装互连实现电极互连，构成混合式红外焦平面探测器芯片组。其中读出电路采用1280×1024高性能的快照模式读出集成电路，读出电路完成光伏二极管瞬时信号的（直接注入）积分、存储、行选通、单元选通以及信号电压的驱动输出。具有1280×1024窗口格式及开窗模式，4或8路模拟输出可选。

根据探测器性能和实时输出的需求，文中采用XILINX公司的SPARTAN6为主处理芯片，完成50 Hz的成像帧频，电路成像部分则需要完成盲元替换、非均匀校正和图像增强等功能，根据成像软件要求，设计算出主时钟MC为17.5 MHz，像素时钟70 MHz，可以满足帧频50 Hz的大面阵红外图像采集、处理以及显示。这样算法处理占用的DDR3带宽需求为14.6 Gbps，考虑到每块SPARTAN6的FPGA的DDR3带宽最高支持10 Gbps，文中选用双FPGA架构来满足系统对DDR3带宽的需求，除此之外，双FPGA架构能减轻FPGA布局布线的压力，提高程序的可靠性，也可以留有资源支持后续更高帧频设计以及图像处理算法的升级。具体需求带宽如表2所示。

由于目前红外系统的发展均考虑到各种需求对系统提出了小型化、轻量化的需求，因此文中设计理念是围绕探测器外包络尺寸154 mm×78 mm×57 mm进行组件设计，从而降低组件尺寸。如图1所示：整个组件以探测器为中心设计了轻量化骨架，用于安装组件系统电路。系统电路由采集电路、探测器驱动电路板、FPGA₁主处理板、FPGA₂增强处理板、电源电路板、制冷机接口电路、对外接口电路组成。制冷机接口板为制冷机提供电源滤波电路，在制冷机制冷到制冷温度80 K后；红外焦平面探测器进行正常工作开始光电信号转换；双FPGA图像处理电路对探测器进行驱动控制，从而进行图像采集、处理并最终将处理后的红外成像信号输出；电源板主要完成整个电路系统和探测器的供电；主处理板设计了散热板，用于组件散热和主电路板的固定。组件结构拆解如图1(b)所示，其整体尺寸为155 mm×95 mm×95 mm，略大于探测器外包络，质量约为1400 g。

Figure 1.  15 μm 1280×1024 cooled infrared imaging components. (a) Schematic diagram; (b) Exploded view

文中为了满足探测器输出实时性要求，设计了双FPGA硬件架构进行1280×1024分辨率的后续处理，整体电路设计如图2所示。电路部分由电源电路、FPGA₁主处理电路、FPGA₂增强电路、探测器驱动电路和低噪声采集电路组成。其中探测器驱动电路板为探测器提供电源及偏置电压，使其可以工作在最佳工作点。低噪声采集电路板调理并采集探测器输出的模拟信号。电源电路板是将外部输入的28 V电压进行滤波与降压，从而产生满足图像处理电路的低噪声低的稳定电压。

Figure 2.  Image processing circuit hardware design

FPGA₁主处理板根据焦平面探测器组件的工作时序要求产生探测器驱动时序，同时接收探测器输出的图像信息，完成图像驱动与采集，并对采集到的原始图像进行非均匀性校正等预处理。FPGA₂增强处理板主要实现图像增强、降噪等其他复杂图像处理算法并且将处理后的图像通过图像数据传输到外部显示设备进行显示。接口电路模块通过串口实现上级系统与机芯之间的通讯，采用RS422串口接收上级系统发出的指令，通过接口电路的传输，实现对成像电路组件的功能控制。此外组件留有维护串口，可用于检修、维护以及在线升级等扩展功能。

红外探测器像元阵列工作在80 K的温度下，并且需要提供一定的电压和脉冲信号才能将外界的红外辐射进行光电转换，形成光电流，并由CMOS读出电路进行光电流的积分，形成电压信号后进行输出。因此，探测器驱动电路主要是提供给探测器工作所需要的偏置电压与时序信号，其中固定的偏置电压，可以采用电源芯片直接供电，另一部分则是需要可调节的电压，需要根据实际情况进行调整的偏置电压，文中采用了一种数模转换（Digital-to-Analogue Conversion, DAC）+运放（Buffer）的方案，如图3所示，利用DAC可以生成数值可调的直流电压，通过Buffer驱动探测器工作。

Figure 3.  Detector bias voltage circuit

低噪声采集电路的AD转换芯片采用LT公司的LTC2263-14，采样精度为14位精度，采样范围为2V_p−p，探测器输出的电压信号的范围是1.4~3.0 V，因此首先需要将探测器输出的单端电压信号转换成满足AD转换芯片采样范围的差分电压信号，考虑信号变换过程中不能引入过多的噪声，根据探测器输出电压的带宽与压摆率选择合适的差分运放，差分运放的偏置和共模电压需要具有极高的稳定性和极低的噪声。

文中采用了一种0.1~10 Hz频带内超低噪声的电路设计方案，该方案原理如图4所示。电压源输出电压值V₁，通过电阻分压得到目标电压值${V_2}$，经RC滤波后得电压值${V_3}$，通过运算放大器缓冲后得到理想偏置电压。假设电压源输出电压值为12 V，所需的理想电压值为2.5 V。根据分压理论，R₁/R₂的电压比值为19/5。对于使用OP （运算）放大器的放大电路，由于负反馈的使用，可以分为反向放大电路和非反向放大电路。为尽量减小电路结构、降低电路噪声，采用非反向放大电路。

Figure 4.  Low noise circuit design scheme

电压基准的作用是输出一个非常稳定的电压，该电压不随时间、温度的变化而变化；根据噪声传递理论，由于电压基准为电路的第一级，其噪声系数越小越好。主要从长期稳定性、温度稳定性和输出噪声3个参数选择电压基准。经过筛选，采用LT6655作为电压基准，运放采用OPA221，RC滤波电路的电阻为1.6 MΩ，电容为1 μF，截止频率为0.1 Hz。

成像组件为了更好地满足不同系统的应用，电源设计为12~36 V宽范围输入。且满足上电开关控制、反接保护、过压过流保护、浪涌抑制等功能。图5为电源滤波降压电路结构框图，外部供电电压首先经过上电开关控制模块、经过反接保护与过压过流保护模块，再经过滤波降噪与浪涌抑制模块，最终通过隔离电源模块生成可供成像电路和制冷机电路使用的电压。由于探测器制冷机工作的时候会产生强烈的PWM电磁干扰，因此采用隔离电源模块将成像电路和制冷机电路的电源进行隔离，降低制冷机电路对成像电路的干扰，输出稳定的图像。

Figure 5.  Power circuit diagram

在当前红外探测器材料、制造工艺、红外成像硬件系统趋于完善的条件下，对于红外图像存在噪声大、对比度低、非均匀性大等缺陷^[6]，为克服这些缺陷，红外图像处理软件设计能够有效地提高红外成像系统的性能和应用效果^[7]，文中针对大面阵红外图像处理需求，设计了基于双FPGA的红外成像处理平台，并且在平台中实现了红外图像预处理与图像增强程序。

系统所有软件算法均通过FPGA平台进行硬件实现，如图6所示，为数据流走向进行流水线开发流程。其中FPGA₁主处理板提供探测器驱动时序，获取4或8路探测器输出信号，形成红外14位原始视频流，完成盲元替换（Blind pixel replace）、非均匀校正（NUC）等预处理，其中盲元替换模块用拟合后的曲面值作为比较基准，运用$3\sigma $原则^[8]进行盲元检测，提高盲元检测的准确性和有效性；NUC模块是为了补偿探测器的响应不一致，去除低频固定模式噪声。经过预处理后的视频流通过IO口输入到FPGA₂进行增强处理。

Figure 6.  Design diagram of FPGA₁ processing circuit program module

图7为FPGA₂增强板程序设计框图，FPGA₂主要接收14位预处理数据后，对红外数据进行降噪（denoising）、细节增强（DDE）、动态范围压缩（Dynamic image compression）、局部增强（CLAHE）图像处理模块，最后进行格式转换，输出Cameralink格式视频以及SDI视频信号。

降噪模块主要降低探测器材料及工艺引入的闪烁噪声、读出电路引入的列条纹噪声和成像电路引入的暗电流噪声和电源噪声，降低这些噪声对图像的影响；DDE模块主要通过滤波技术，将数字化图像信号进行高低频分频处理，将细节和背景进行分别处理，文中设计了一种自适应增益控制技术对细节层进行增强，自动识别边缘和背景信息，在最大程度保留细节层的同时，有效抑制背景噪声；传统的红外处理一般都是经过DDE后的图像直接输出，文中系统为了更好地展示大面阵图像的细节，采用了CLAHE的方式，分别对图像各个局部模块进行统计和对比度重映射，最后对不同块进行融合处理，文中所设计的自适应局部增强算法能够有效的抑制了局部增强模块在不同场景变换中带来的“块”闪烁现象。

Figure 7.  Design diagram of FPGA₂ enhancement board program module

红外图像处理中，非均匀校正和图像增强模块是整个红外成像质量的关键，非均匀校正技术保证了红外输出图像的“干净”程度，图像增强部分则是如何将信噪比进行拉伸和重映射，将信号部分尽可能强的显示。因此非均匀校正算法直接影响图像增强部分。

非均匀性校是为了补偿探测器的响应不一致，去除低频固定模式噪声^[9-10]，多点定标法校正精度较高，但需要选择合理的标定点才能达到理论的校正效果。文中设计的一种非均匀校正的标定系统，基于定标的自适应多点校正法^[11]。提出了一种合理的选取标定温度点的方法，使算法在全局上保持良好的校正效果。

如图8所示，将起点温度${T_1}$、终点温度${T_{{n}}}$设置为端点，根据响应曲线${V_{\rm real}}$，系统将计算响应$V_{\rm line}^0$：

Figure 8.  Multi-point correction temperature point selection diagram

式中：${V_1}$、${V_{{n}}}$为温度为${T_1}$和${T_{{n}}}$时对应的灰度值。将实际响应曲线${V_{\rm real}}$与计算响应$V_{\rm line}^0$相减，得到各点残差${\Delta ^0}(T)$，即：

选取${\Delta ^0}(T)$最大的温度点$T_m^1$，作为新的端点；

系统将计算计算响应$V_{\rm line}^1$：

得到新的$\Delta (T)$，找到残差最大的温度点${T_{m2}}$；得到响应曲线$V_{\rm line}^2$；根据设置的温度点个数n；直至得到温度点${T_{n - 2}}$。

利用红外焦平面参数测试方法GB/17444—2013^[12]相应率不均匀性（responsivity non-uniformity, UR）：

式中：$\overline R$为平均响应率；M、N为像元行列数；d为死像元；h为过热像元；$R(i,j)$为像元响应率。

校正效果如图9所示，原始图像的UR为6.81%其中平均分段后UR为0.45%，自适应分段后UR为0.31%，多点定标非均匀校正选取的温度点更贴近响应曲线，响应率不均匀性减少。

Figure 9.  Multi-point calibration temperature selection. (a) Average segmentation; (b) Adaptive segmentation

传统的CLAHE^[13]作为一种局部灰度映射算法的红外图像增强方法，对于待处理的红外图像输入，首先进行高动态范围到低动态范围的压缩，高动态范围图像的灰度直方图为：

根据自适应阈值$ClipLimit$裁剪分块的直方图，裁剪超出平台阈值的部分，$H{'_k}$为裁剪后的直方图。

获得相应的灰度直方图累积分布函数$cd{f_k}$，再将其映射到指定的灰度空间：

式中：${G_k}$为灰度映射函数；$cd{f_{\max }}$为累积直方图分布的最大值；$L$为低动态图像的图像位数。

双线性插值运算，根据灰度映射函数将高动态范围图像映射到低动态范围的图像$O\left( {i,j} \right)$：

在裁剪过程中，首先将红外将图像分成若干个大小相同的区域，然后统计每块区域的灰度直方图，设置初始固定的裁剪阈值$ClipLimit$，对每块区域的直方图进行裁剪。统计每块区域裁剪掉的像素个数$Num$：

为各区块设置新的裁剪阈值$newClip$：

式中：$Nu{m_{\min }}$、$Nu{m_{\max }}$表示所有区域裁剪掉的像素个数中的最小值和最大值。

图10为研制出的中波15 μm 1280×1024制冷红外成像组件样机。为了更好的验证所设计的红外成像组件结果，对样机进行了低噪声电路测试、NETD测试、高低温测试以及红外成像测试实验。

Figure 10.  15 μm 1280 × 1024 cooled infrared imaging components

采用KEYSIGHT公司的示波器对偏置电源的噪声进行采集，源输入端接地，采样率为125 Hz，每帧数据采集时间为20 s。经过增益为100 （40 dB）噪声测量电路的测量，模块电路的本底噪声RMS为109.5 μV，如图11所示。经过电压基准分压、滤波、缓冲输出后的电压V₄的RMS噪声为350 μV，如图12所示。

Figure 11.  RMS value of the noise floor of the measurement circuit

Figure 12.  Noise spectrum curve of output voltage V₄

因此差分运放的偏置和共模电压经过AD转换后所产生的采用误差为2.87个LSB，满足低噪声图像采集的需求。

图13为NETD测试图，采用OPTIKOS的测试系统靶盘上安装四杆靶、圆孔靶，将红外组件接驳50 mm聚焦镜头安装到旋转工作台上，对平型光管产生的目标靶标调焦到清晰状态。将红外组件整机的视频信号接入性能测试系统，按照GB/T 17444—2013测得NETD为23 mK。

Figure 13.  NETD test picture

采用广州五所环境仪器有限公司制造的高低温箱进行高低温实验，将探测器置于高低温腔内，调焦，对准外部人像进行拍摄。在高温60 ℃、低温−40 ℃的条件下断电保温2 h，继而上电连续工作1 h。图14(a)为低温−40 ℃图像，图14(b)为高温60 ℃低图像，在−40~60 ℃图像质量稳定且清晰。

Figure 14.  High and low temperature imaging images. (a) −40 ℃; (b) 60 ℃

探测器组件的数字图像接口接入计算机CameraLink采集卡，通电开机，探测器积分时间为12 ms，图像分辨率为1280×1024，探测器成像组件实现了数据采集、传输、以及图像处理功能。使用FrameLink Express采集卡采集数字图像，有效信号频率50 Hz。

实时视频增强技术不同于图像增强，除了着眼于单帧图像的增强效果之外，还要考虑场景切换过程中视频流明暗变化的舒适性。尤其是一些特殊场景中的应用，例如天地模式、海天模式、高低温目标闯入等，背景空阔，目标稀少，场景切换时很容易造成明暗变化剧烈等不良观感。局部增强处理后不可避免地给图像带来了块闪烁效应，即视频画面前后之间出现分块明显的灰度闪烁现象。文中的自适应增强技术，能够有效的抑制此现象。如图15(a)所示，冰袋周围灰度值偏大，出现了低温物体“发光”的现象，与实际不符，图15(b)采用自适应的CLAHE算法，有效抑制了视频画面闪烁现象，缓解了场景变换过程中的明暗变化，增加观测的舒适度。

Figure 15.  Block inhibition implementation effect diagram. (a) Before processing; (b) After processing

改进后的增强算法除了帧间动态比对之外，对单帧图像噪声抑制和增强效果也有明显提升。如图16所示，图16（a）为传统的CLAHE，传统的CLAHE用固定的裁剪阈值$ClipLimit$，图16（b）为文中设计的自适应CLAHE方法，自适应的设置每块区域的阈值 ClipLimit 。其中红色方框的放大图在其下方，当分块区域内的场景较平滑时，当设置统一的裁剪阈值时，平滑区域的直方图会被裁剪掉更多的像素数，此时，适当降低平滑区域的裁剪阈值，并将像素个数均匀分配到灰度空间上后，有效压缩了分块区域内的噪声空间，可解决现有红外图像增强算法的局部噪声放大问题。

Figure 16.  CLAHE implementation effect diagram. (a) Traditional CLAHE; (b) Optimized CLAHE

文中采用图像全局MSE1均方根体现图像细节与整体对比度。MSE2越大，说明图像细节越多，对比度越好。采用局部平坦区域计算MSE1，表示噪声信息。区域MSE1越大说明噪声越明显。如表3所示。

相比于传统方法、CLAHE，文中优化的CLAHE的全局MSE2更高，则图像细节越多，对比度越好。采用局部平坦区域计算MSE1，传统方法的MSE1最低，噪声也最低，但是细节和对比度相对较差，CLAHE后图像的视觉效果更好，但是噪声较大，而优化的CLAHE既能够保证了好的图像细节和高的对比度，也有效的降低了图像噪声。

图17给出了研制的数字探测器在双FPGA构架下整体的成像效果图，其中图17(a)为传统的成像效果和文中的方法的对比图。文中红外探测器组件所采用的改进处理算法，图像质量得到明显提升。

Figure 17.  Digital detector imaging picture. (a) Traditional; (b) Optimized

文中主要基于国产的15 μm 1280×1024中波HgCdTe探测器，研制出高质量、低噪声、小体积的制冷型红外机芯组件。设计的结构与组件围绕探测器的尺寸包络进行设计，突破小体积、轻量化、一体化设计；根据信号的带宽与压摆率，选择合适的低噪声高速运放与高速ADC，实现了低噪声采集电路设计。以双FPGA架构为主处理平台实现了大面阵的信息采集、处理，并在该平台上开发了机芯组件所采用的红外图像关键算法，优化了非均匀性校正的问题，提出了优化CLHAE算法，解决现有红外图像增强算法的局部噪声放大问题，并能够有效抑制块效应。针对工程应用，测试了环境适应性和关键指标性能，满足目前工程应用要求。