-
中波红外1280×1024 HgCdTe探测器主要用于实现目标红外信号与电信号的转换。某国产探测器由HgCdTe列阵探测器芯片、CMOS读出电路芯片、金属杜瓦和SCI08R型集成整体式斯特林制冷机组成。其性能如表1所示,探测器像元中心间距为15 μm,光谱响应范围(3.7±0.2)~(4.8±0.2) μm,工作温度80 K,探测器采用离子注入成结技术在p-HgCdTe上制成光伏1280×1024个(PV)探测器列阵,与读出电路通过倒装互连实现电极互连,构成混合式红外焦平面探测器芯片组。其中读出电路采用1280×1024高性能的快照模式读出集成电路,读出电路完成光伏二极管瞬时信号的(直接注入)积分、存储、行选通、单元选通以及信号电压的驱动输出。具有1280×1024窗口格式及开窗模式,4或8路模拟输出可选。
表 1 探测器性能指标
Table 1. Performance index of detector
Parameter Specification Image resolution 1280×1024 Pixel picth/μm2 15×15 Spectral response/μm 3.7-4.8 Work mode ITR/IWR Signal output 4 or 8 Work temperature/℃ −40-60 Frame rate/Hz ≤50 Average NETD/mK ≤ 25 根据探测器性能和实时输出的需求,文中采用XILINX公司的SPARTAN6为主处理芯片,完成50 Hz的成像帧频,电路成像部分则需要完成盲元替换、非均匀校正和图像增强等功能,根据成像软件要求,设计算出主时钟MC为17.5 MHz,像素时钟70 MHz,可以满足帧频50 Hz的大面阵红外图像采集、处理以及显示。这样算法处理占用的DDR3带宽需求为14.6 Gbps,考虑到每块SPARTAN6的FPGA的DDR3带宽最高支持10 Gbps,文中选用双FPGA架构来满足系统对DDR3带宽的需求,除此之外,双FPGA架构能减轻FPGA布局布线的压力,提高程序的可靠性,也可以留有资源支持后续更高帧频设计以及图像处理算法的升级。具体需求带宽如表2所示。
表 2 算法所需DDR3带宽
Table 2. DDR3 bandwidth occupied by the algorithm
Algorithm DDR3 bandwidth occupied/Gbps NUC inter-frame cache 7.5 Noise reduction inter-frame cache 2.1 CLAHE inter-frame cache 1.6 SDI display inter-frame cache 3.4 由于目前红外系统的发展均考虑到各种需求对系统提出了小型化、轻量化的需求,因此文中设计理念是围绕探测器外包络尺寸154 mm×78 mm×57 mm进行组件设计,从而降低组件尺寸。如图1所示:整个组件以探测器为中心设计了轻量化骨架,用于安装组件系统电路。系统电路由采集电路、探测器驱动电路板、FPGA1主处理板、FPGA2增强处理板、电源电路板、制冷机接口电路、对外接口电路组成。制冷机接口板为制冷机提供电源滤波电路,在制冷机制冷到制冷温度80 K后;红外焦平面探测器进行正常工作开始光电信号转换;双FPGA图像处理电路对探测器进行驱动控制,从而进行图像采集、处理并最终将处理后的红外成像信号输出;电源板主要完成整个电路系统和探测器的供电;主处理板设计了散热板,用于组件散热和主电路板的固定。组件结构拆解如图1(b)所示,其整体尺寸为155 mm×95 mm×95 mm,略大于探测器外包络,质量约为1400 g。
-
在当前红外探测器材料、制造工艺、红外成像硬件系统趋于完善的条件下,对于红外图像存在噪声大、对比度低、非均匀性大等缺陷[6],为克服这些缺陷,红外图像处理软件设计能够有效地提高红外成像系统的性能和应用效果[7],文中针对大面阵红外图像处理需求,设计了基于双FPGA的红外成像处理平台,并且在平台中实现了红外图像预处理与图像增强程序。
-
系统所有软件算法均通过FPGA平台进行硬件实现,如图6所示,为数据流走向进行流水线开发流程。其中FPGA1主处理板提供探测器驱动时序,获取4或8路探测器输出信号,形成红外14位原始视频流,完成盲元替换(Blind pixel replace)、非均匀校正(NUC)等预处理,其中盲元替换模块用拟合后的曲面值作为比较基准,运用
$3\sigma $ 原则[8]进行盲元检测,提高盲元检测的准确性和有效性;NUC模块是为了补偿探测器的响应不一致,去除低频固定模式噪声。经过预处理后的视频流通过IO口输入到FPGA2进行增强处理。图7为FPGA2增强板程序设计框图,FPGA2主要接收14位预处理数据后,对红外数据进行降噪(denoising)、细节增强(DDE)、动态范围压缩(Dynamic image compression)、局部增强(CLAHE)图像处理模块,最后进行格式转换,输出Cameralink格式视频以及SDI视频信号。
降噪模块主要降低探测器材料及工艺引入的闪烁噪声、读出电路引入的列条纹噪声和成像电路引入的暗电流噪声和电源噪声,降低这些噪声对图像的影响;DDE模块主要通过滤波技术,将数字化图像信号进行高低频分频处理,将细节和背景进行分别处理,文中设计了一种自适应增益控制技术对细节层进行增强,自动识别边缘和背景信息,在最大程度保留细节层的同时,有效抑制背景噪声;传统的红外处理一般都是经过DDE后的图像直接输出,文中系统为了更好地展示大面阵图像的细节,采用了CLAHE的方式,分别对图像各个局部模块进行统计和对比度重映射,最后对不同块进行融合处理,文中所设计的自适应局部增强算法能够有效的抑制了局部增强模块在不同场景变换中带来的“块”闪烁现象。
-
红外图像处理中,非均匀校正和图像增强模块是整个红外成像质量的关键,非均匀校正技术保证了红外输出图像的“干净”程度,图像增强部分则是如何将信噪比进行拉伸和重映射,将信号部分尽可能强的显示。因此非均匀校正算法直接影响图像增强部分。
-
非均匀性校是为了补偿探测器的响应不一致,去除低频固定模式噪声[9-10],多点定标法校正精度较高,但需要选择合理的标定点才能达到理论的校正效果。文中设计的一种非均匀校正的标定系统,基于定标的自适应多点校正法[11]。提出了一种合理的选取标定温度点的方法,使算法在全局上保持良好的校正效果。
如图8所示,将起点温度
${T_1}$ 、终点温度${T_{{n}}}$ 设置为端点,根据响应曲线${V_{\rm real}}$ ,系统将计算响应$V_{\rm line}^0$ :$$V_{\rm line}^0 = \frac{{{V_n} - {V_1}}}{{{T_n} - {T_1}}}T + \frac{{{V_1}{T_n} - {V_n}{T_1}}}{{{T_n} - {T_1}}}$$ (1) 式中:
${V_1}$ 、${V_{{n}}}$ 为温度为${T_1}$ 和${T_{{n}}}$ 时对应的灰度值。将实际响应曲线${V_{\rm real}}$ 与计算响应$V_{\rm line}^0$ 相减,得到各点残差${\Delta ^0}(T)$ ,即:$${\Delta ^0}(T) = \left| {{V_{\rm real}}(T) - V_{\rm line}^0(T)} \right|$$ (2) 选取
${\Delta ^0}(T)$ 最大的温度点$T_m^1$ ,作为新的端点;$$\max \left\{ {{\Delta ^0}(T)} \right\} = {\Delta ^0}(m1)\;(T = 1,2,\cdots,n)$$ (3) 系统将计算计算响应
$V_{\rm line}^1$ :$$V_{line}^1 = \left\{ \begin{array}{l} \dfrac{{{V_{m1}} - {V_1}}}{{{T_{m1}} - {T_1}}}T + \dfrac{{{V_1}{T_{m1}} - {V_{m1}}{T_1}}}{{{T_{m1}} - {T_1}}}(1 \leqslant T \leqslant m{\rm{1}}) \\ \dfrac{{{V_n} - {V_{m1}}}}{{{T_n} - {T_{m1}}}}T + \dfrac{{{V_{m1}}{T_n} - {V_n}{T_{m1}}}}{{{T_n} - {T_{m1}}}}(m1 < T \leqslant n) \end{array} \right.$$ (4) 得到新的
$\Delta (T)$ ,找到残差最大的温度点${T_{m2}}$ ;得到响应曲线$V_{\rm line}^2$ ;根据设置的温度点个数n;直至得到温度点${T_{n - 2}}$ 。利用红外焦平面参数测试方法GB/17444—2013[12]相应率不均匀性(responsivity non-uniformity, UR):
$$UR = \frac{1}{R}\sqrt {\frac{1}{{M \times N - (d + h)}}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {[R(i,j) - \overline R ]} } } ) \times 100 {\text{%}} $$ (5) 式中:
$\overline R$ 为平均响应率;M、N为像元行列数;d为死像元;h为过热像元;$R(i,j)$ 为像元响应率。校正效果如图9所示,原始图像的UR为6.81%其中平均分段后UR为0.45%,自适应分段后UR为0.31%,多点定标非均匀校正选取的温度点更贴近响应曲线,响应率不均匀性减少。
-
传统的CLAHE[13]作为一种局部灰度映射算法的红外图像增强方法,对于待处理的红外图像输入,首先进行高动态范围到低动态范围的压缩,高动态范围图像的灰度直方图为:
$${H_k} = \sum\limits_{i,j} {{h_k}\left( {i,j} \right)} $$ (6) $${h_k}\left( {i,j} \right) = \left\{ {\begin{array}{*{20}{c}} 1&{I\left( {i,j} \right) = k} \\ 0&{\rm others} \end{array}} \right.,k \in \left[ {0,{2^M} - 1} \right]$$ (7) 根据自适应阈值
$ClipLimit$ 裁剪分块的直方图,裁剪超出平台阈值的部分,$H{'_k}$ 为裁剪后的直方图。$${{H}}_{{k}}^{{'}}{{ = }}\left\{ \begin{array}{l} {{ClipLimit }}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{{{H}}_K} > {{ClipLimit}}\\ H_k\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; {{\rm others}} \end{array} \right.$$ (8) 获得相应的灰度直方图累积分布函数
$cd{f_k}$ ,再将其映射到指定的灰度空间:$$cd{f_k} = \sum\limits_{n = 0}^k {H{'_n}} $$ (9) $${G_k} = \frac{{cd{f_k}}}{{cd{f_{\max }}}} \cdot \left( {{2^L} - 1} \right)$$ (10) 式中:
${G_k}$ 为灰度映射函数;$cd{f_{\max }}$ 为累积直方图分布的最大值;$L$ 为低动态图像的图像位数。双线性插值运算,根据灰度映射函数将高动态范围图像映射到低动态范围的图像
$O\left( {i,j} \right)$ :$$O\left( {i,j} \right) = {G_{I\left( {i,j} \right) + 1}}$$ (11) 在裁剪过程中,首先将红外将图像分成若干个大小相同的区域,然后统计每块区域的灰度直方图,设置初始固定的裁剪阈值
$ClipLimit$ ,对每块区域的直方图进行裁剪。统计每块区域裁剪掉的像素个数$Num$ :$$Num = \sum {{H_k}} - \sum {H{'_k}} $$ (12) 为各区块设置新的裁剪阈值
$newClip$ :$$newClip = ClipLmit - {q^\gamma } \cdot \left( {ClipLmit - \frac{{ClipLmit}}{8}} \right)$$ (13) $$q = \left( {\frac{{Nu{m_l} - Nu{m_{\min }}}}{{Nu{m_{\max }} - Nu{m_{\min }}}}} \right)$$ (14) 式中:
$Nu{m_{\min }}$ 、$Nu{m_{\max }}$ 表示所有区域裁剪掉的像素个数中的最小值和最大值。 -
图10为研制出的中波15 μm 1280×1024制冷红外成像组件样机。为了更好的验证所设计的红外成像组件结果,对样机进行了低噪声电路测试、NETD测试、高低温测试以及红外成像测试实验。
-
采用KEYSIGHT公司的示波器对偏置电源的噪声进行采集,源输入端接地,采样率为125 Hz,每帧数据采集时间为20 s。经过增益为100 (40 dB)噪声测量电路的测量,模块电路的本底噪声RMS为109.5 μV,如图11所示。经过电压基准分压、滤波、缓冲输出后的电压V4的RMS噪声为350 μV,如图12所示。
因此差分运放的偏置和共模电压经过AD转换后所产生的采用误差为2.87个LSB,满足低噪声图像采集的需求。
-
图13为NETD测试图,采用OPTIKOS的测试系统靶盘上安装四杆靶、圆孔靶,将红外组件接驳50 mm聚焦镜头安装到旋转工作台上,对平型光管产生的目标靶标调焦到清晰状态。将红外组件整机的视频信号接入性能测试系统,按照GB/T 17444—2013测得NETD为23 mK。
-
采用广州五所环境仪器有限公司制造的高低温箱进行高低温实验,将探测器置于高低温腔内,调焦,对准外部人像进行拍摄。在高温60 ℃、低温−40 ℃的条件下断电保温2 h,继而上电连续工作1 h。图14(a)为低温−40 ℃图像,图14(b)为高温60 ℃低图像,在−40~60 ℃图像质量稳定且清晰。
-
探测器组件的数字图像接口接入计算机CameraLink采集卡,通电开机,探测器积分时间为12 ms,图像分辨率为1280×1024,探测器成像组件实现了数据采集、传输、以及图像处理功能。使用FrameLink Express采集卡采集数字图像,有效信号频率50 Hz。
-
实时视频增强技术不同于图像增强,除了着眼于单帧图像的增强效果之外,还要考虑场景切换过程中视频流明暗变化的舒适性。尤其是一些特殊场景中的应用,例如天地模式、海天模式、高低温目标闯入等,背景空阔,目标稀少,场景切换时很容易造成明暗变化剧烈等不良观感。局部增强处理后不可避免地给图像带来了块闪烁效应,即视频画面前后之间出现分块明显的灰度闪烁现象。文中的自适应增强技术,能够有效的抑制此现象。如图15(a)所示,冰袋周围灰度值偏大,出现了低温物体“发光”的现象,与实际不符,图15(b)采用自适应的CLAHE算法,有效抑制了视频画面闪烁现象,缓解了场景变换过程中的明暗变化,增加观测的舒适度。
图 15 块效应抑制现象效果图。(a)处理前;(b)处理后
Figure 15. Block inhibition implementation effect diagram. (a) Before processing; (b) After processing
改进后的增强算法除了帧间动态比对之外,对单帧图像噪声抑制和增强效果也有明显提升。如图16所示,图16(a)为传统的CLAHE,传统的CLAHE用固定的裁剪阈值
$ClipLimit$ ,图16(b)为文中设计的自适应CLAHE方法,自适应的设置每块区域的阈值 ClipLimit 。其中红色方框的放大图在其下方,当分块区域内的场景较平滑时,当设置统一的裁剪阈值时,平滑区域的直方图会被裁剪掉更多的像素数,此时,适当降低平滑区域的裁剪阈值,并将像素个数均匀分配到灰度空间上后,有效压缩了分块区域内的噪声空间,可解决现有红外图像增强算法的局部噪声放大问题。图 16 CLAHE实现效果图。(a)传统CLAHE; (b)优化的CLAHE
Figure 16. CLAHE implementation effect diagram. (a) Traditional CLAHE; (b) Optimized CLAHE
文中采用图像全局MSE1均方根体现图像细节与整体对比度。MSE2越大,说明图像细节越多,对比度越好。采用局部平坦区域计算MSE1,表示噪声信息。区域MSE1越大说明噪声越明显。如表3所示。
表 3 MSE对比
Table 3. MSE Comparison
Algorithm
MSETraditional CLAHE Optimized CLAHE Interested area (MSE1) 5.46 110.91 37.36 Total image (MSE2) 2709.55 2716.88 2782.73 相比于传统方法、CLAHE,文中优化的CLAHE的全局MSE2更高,则图像细节越多,对比度越好。采用局部平坦区域计算MSE1,传统方法的MSE1最低,噪声也最低,但是细节和对比度相对较差,CLAHE后图像的视觉效果更好,但是噪声较大,而优化的CLAHE既能够保证了好的图像细节和高的对比度,也有效的降低了图像噪声。
-
图17给出了研制的数字探测器在双FPGA构架下整体的成像效果图,其中图17(a)为传统的成像效果和文中的方法的对比图。文中红外探测器组件所采用的改进处理算法,图像质量得到明显提升。
Design of mid-wave 1 280×1 024 infrared imaging components (Invited)
-
摘要: 随着红外器件和成像技术的不断发展,各种夜视系统对百万像素的中波红外成像组件的需求越来越多。基于国产15 μm 1280×1024中波HgCdTe探测器,以探测器和杜瓦自身包络为基准,突破小体积、轻量化、一体化设计,研制出了紧凑型双FPGA处理平台的百万像素中波红外成像机芯组件,组件尺寸155 mm×95 mm×95 mm,质量为1400 g,支持SDI、Cameralink接口输出;在该平台上实现盲元替换、非均匀校正、降噪、细节增强、动态范围压缩、局部增强等实时图像处理算法,针对传统的红外成像算法提出了基于残差的非均匀校正算法与自适应局部增强算法,提升组件的成像性能。测试试验表明:组件实时输出分辨率为1280×1024像素的高质量低噪声的红外图像,噪声等效温差(NETD)<30 mK,组件满足高温60 ℃,低温−40 ℃工作要求,组件所采用的改进处理算法,最终输出图像提升明显。Abstract: As infrared devices and technologies develops, the demand for megapixel mid-wave infrared imaging components of various night vision systems is rising. The megapixel mid-wave infrared imaging component based on the domestic 1280×1024 medium wave (15 μm) infrared HgCdTe detector was developed, which took the detector and the Dewar's own envelope as the benchmark and made a breakthrough in small form-factor and lightweight integrated design. The component with the size of 155 mm×95 mm×95 mm and the weight of 1400 g were considered to collect and process the information from the large area of Infrared Focal Plane Arrays (IRFPA). Thus, a low-noise image acquisition and processing hardware platform based on dual FPGA architecture was brought up, which supported SDI/Cameralink interface output. In the section of algorithm, the optimized non-uniformity correction (NUC) algorithm of the focal plane pixel response and the acquisition circuit, as well as the contrast limited adaptive histogram equalization (CLAHE) method compared with traditional image enhancement technologies were proposed. In addition, blind pixel replacement, denoising, latitude reduction and further procedures were implemented to make the image quality improving. Test results show that the noise equivalent temperature difference (NETD) of the component is lower than 30 mK, and the detector performs stably at the temperature from −40 ℃ to 60 ℃. The proposed improved algorithm is fruitful in raising the quality of both thermal imaging and infrared system performance.
-
Key words:
- infrared imaging /
- cooled infrared /
- FPGA /
- detector components /
- mid-wave infrared
-
表 1 探测器性能指标
Table 1. Performance index of detector
Parameter Specification Image resolution 1280×1024 Pixel picth/μm2 15×15 Spectral response/μm 3.7-4.8 Work mode ITR/IWR Signal output 4 or 8 Work temperature/℃ −40-60 Frame rate/Hz ≤50 Average NETD/mK ≤ 25 表 2 算法所需DDR3带宽
Table 2. DDR3 bandwidth occupied by the algorithm
Algorithm DDR3 bandwidth occupied/Gbps NUC inter-frame cache 7.5 Noise reduction inter-frame cache 2.1 CLAHE inter-frame cache 1.6 SDI display inter-frame cache 3.4 表 3 MSE对比
Table 3. MSE Comparison
Algorithm
MSETraditional CLAHE Optimized CLAHE Interested area (MSE1) 5.46 110.91 37.36 Total image (MSE2) 2709.55 2716.88 2782.73 -
[1] Fan Jinxiang, Yue Yanjun. Development in new concepts and new schemes for military infrared imaging systems [J]. Infrared and Laser Engineering, 2011, 40(1): 1-6. (in Chinese) doi: 10.3969/j.issn.1007-2276.2011.01.001 [2] Yao Libin, Chen Nan. High-performance low noise digital readout circuit [J]. Infrared and Laser Engineering, 2020, 49(1): 0103009. (in Chinese) doi: 10.3788/IRLA202049.0103009 [3] Lei W, Antoszewski J, Faraone L. Progress, challenges, and opportunities for HgCdTe infrared materials and detectors [J]. Applied Physics Reviews, 2015, 2(4): 041303. doi: 10.1063/1.4936577 [4] Bhan R K, Dhar V. Recent infrared detector technologies, applications, trends and development of HgCdTe based cooled infrared focal plane arrays and their characterization-ScienceDirect [J]. Opto-Electronics Review, 2019, 27(2): 174-193. doi: 10.1016/j.opelre.2019.04.004 [5] Xu Chao, He Limin, Wang Xia, et al. Design of high speed processing module for infrared polarization imaging system [J]. Infrared and Laser Engineering, 2017, 46(2): 0204002. (in Chinese) doi: 10.3788/IRLA201746.0204002 [6] Wang Yang, Pan Zhibin. Review of De-noise and enhancement technology for infrared image [J]. Radio Engineering, 2016, 46(10): 1-7. (in Chinese) doi: 10.3969/j.issn.1003-3106.2016.10.01 [7] Chen Qian. The status and development trend of infrared image processing technology [J]. Infrared Technology, 2013, 35(6): 311-318. (in Chinese) [8] Zhang Tong, Lin Chun, Chen Honglei, et al. A method of improving IRFPA imaging bad pixel detection accuracy based on multi-direction wavelet [J]. Infrared and Laser Engineering, 2018, 47(2): 0204001. (in Chinese) doi: 10.3788/IRLA201847.0204001 [9] Wang Mingchang, Fan Yangyu, Chen Baoguo, et al. Realization of adaptive non-uniformity correction of infrared image based on SOPC [J]. Infrared and Laser Engineering, 2017, 46(6): 0628001. (in Chinese) doi: 10.3788/IRLA201746.0628001 [10] Lv Lei, Zhang Xuefeng. Real-time infrared image nonuniformity correction base on FPGA [J]. Infrared and Laser Engineering, 2011, 40(6): 641-643. (in Chinese) doi: 10.3969/j.issn.1001-5078.2011.06.009 [11] Huang Yu, Zhang Baohui, Wu Jie, et al. Adaptive multipoint calibration non-uniformity correction algorithm [J]. Infrared Technology, 2020, 42(7): 637-643. (in Chinese) doi: 10.3724/SP.J.7102345123 [12] 中华人民共和国工业和信息化部. 红外焦平面阵列参数测试方法: GB/T 17444—2013[S]. 北京, 2014. Ministry of Industry and Information Technology of the People's Republic of China. Measuring methods for parameters of infrared focal plane arrays: GB/T 17444—2013[S]. Beijing: Standards Press of China, 2014. (in Chinese) [13] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations [J]. Computer Vision Graphics & Image Processing, 1987, 39(3): 355-368.