Infrared image clarifying and FPGA implementation based on dark channel prior

由于红外探测器普遍具有的非均匀性和外界环境温度的影响，导致红外成像存在对比度低、边缘模糊、细节信息较差等问题。因此，对红外图像进行细节增强、增加目标与背景间的对比度，使其更加适应于人眼视觉是十分必要的。

传统的红外图像增强算法分为空间域增强和频域增强，频域增强的算法有基于傅里叶变换、小波变换等^[1-2]，这类算法采用非线性变换函数对系数进行变换，增强图像的细节高频信息，同时抑制噪声的放大，可以取得较好的增强效果，但通常计算量较大，不利于硬件实现。空间域增强的方法由于直接对图像灰度值进行处理，便于硬件语言实现，因此应用广泛。早期的空间域增强算法有空域滤波、直方图均衡化及其改进的算法等^[3-4]。Wan等提出的自适应平台直方图均衡化算法为提升图像细节信息留出了一定灰度空间，图像增强效果有一定的改善。参考文献[5]提出了一种双边滤波和平台直方图均衡的红外图像增强算法的FPGA实现方法，丰富了图像细节信息的同时噪声也有所增强。这些方法只是简单的平衡了红外图像的灰度信息，当处理大动态范围的灰度图像时，处理后的图像细节损失较大，造成图像模糊。

受红外成像原理及外部环境的影响，红外图像相邻像素点灰度值接近，造成细节模糊，与可见光雾图相似。因此，近年来基于大气散射模型的空间域增强算法得到充足的发展，该类算法通过统计图像的先验规律，估计相关参数进行增强，能够得到清晰自然的图像^[6]。He等^[7]提出的暗通道去雾算法是目前最好的图像去雾方法，但是在处理天空等高亮区域时偏色严重，而且在图像的边缘处容易产生块效应。因此，He采用软抠图方法估计透射率有效改善了块效应，由于所提方法涉及大量的矩阵运算，不利于硬件实现。参考文献[8]提出了一种基于补偿透射率和自适应雾浓度系数的图像复原算法，利用高斯函数修正透射率，有效改善了块效应，但该算法计算复杂度较高，无法满足图像的实时处理需求。Tsai等^[9]将天空区域分割，通过时间相关性估计大气光值，避免了天空区域的颜色失真，但在近景区域有一定程度偏色现象。上述基于暗通道先验的改进算法均为对彩色图像处理，当图像中有足够的阴影区域时，暗通道去雾算法也适用于灰度图像。参考文献[10]将红外图像灰度值进行反转操作，视反转所得图像为有雾图像，在此基础上采用四叉树分解技术分别估计子块的透射率，该方法计算复杂度高，容易造成局部过度增强。参考文献[11]提出一种基于暗通道先验模型的红外图像增强方法，采用均值滤波估计透射率的值，并通过调节系数进一步优化透射率，减少了块效应的影响，但是处理后的图像整体偏暗，并且达不到实时处理视频图像的要求。

文中提出了一种基于改进暗通道并且能够在FPGA上实现视频图像实时处理的红外图像清晰化算法。首先对输入原始图像数据进行非线性滤波得到一种新的暗通道图像，然后修正透射率生成透射率查找表，结合暗通道像素值在查找表中定位获得优化后的精准透射率值以解决图像边缘处产生块效应和天空等高亮区域颜色失真的问题，最后辅助大气光散射模型得到处理后图像。对提出算法进行了硬件系统设计，将软件算法生成的透射率查找表添加至硬件语言中使得硬件算法能够直接获取优化后的透射率值，这就大大降低了硬件算法的计算复杂度，节约了硬件资源。实验结果表明，经硬件系统实时处理后的视频图像对比度高，目标景物的轮廓和细节特征突出。

暗通道先验理论是在大气散射模型的基础上提出的。在计算机视觉领域，用于描述大气光散射的物理模型^[12]为：

式中：$I(x)$为输入有雾图像；$J(x)$为输出无雾图像；$t(x)$为透射率；$A$为全局大气光值，在同一幅图像中$A$通常是一个常量。

He等提出的暗通道先验理论认为，对于绝大多数无雾图像的非高亮区域，在$\{ r,g,b\} $颜色通道内，至少有一个通道的像素值是趋于0。则有：

式中：${J^{dark}}(x)$为暗通道图像；${J^c}(y)$为无雾图像中某个颜色分量；$\Omega (x)$是以像素点$x$为中心的邻域。

在公式(1)等号左右两边均取最小值滤波，得到：

将公式(2)代入公式(3)得到透射率$t(x)$的计算公式为：

式中：${I^{dark}}(x) = \mathop {\min }\limits_{y \in \Omega (x)} (\mathop {\min }\limits_{c \in \{ r,g,b\} } {I^c}(y))$；$\omega $为自适应常数（$0 < $$ \omega \leqslant 1$）。结合公式(1)得到重建后的图像：

由公式(5)可知，透射率$t(x)$的取值是影响重建后图像$J(x)$的关键。

传统的暗通道去雾算法是基于无雾图像的统计规律计算$t(x)$值，会产生以下2个问题：当图像中出现诸如天空等高亮区域时，由于高亮区域不符合暗通道先验的假设条件，会导致处理后图像在天空区域产生失真^[13]；当图像数据中出现跳变的区域时，对跳变区域进行最小值滤波，会导致图像部分细节信息缺失，从而形成块效应。

由于暗通道去雾算法常用于有RGB三颜色通道的彩色图像去雾，而红外图像是只有灰度信息的单通道图像，为了能够使用暗通道理论进行红外图像清晰化，对暗通道先验的假设条件进行了修正，将公式(2)改写为：

此时对公式(1)等号左右两边最小化得到：

为了减少或消除暗通道先验理论产生的块效应以及高亮区域的颜色失真，首先将公式(7)修正如下：

式中：$f(x) = \mathop g\limits_{y \in \Omega (x)} (I(y))$，即采用输入的原始红外图像数据和其邻域数据进行非线性滤波，代替暗通道图像数据，避免在图像高亮区域所获的暗通道值过低。在公式(6)和(8)的基础上可以获得透射率$t(x)$的值为：

为了能够直观的看出所提算法的合理性，将所提算法获取的暗通道图像与He算法相比较，如图1所示。可以看出，He算法由于最小值滤波的影响在图像边缘处丢失了部分细节信息，如图1(b)方框所示。而所提算法在和邻域数据进行非线性滤波后，相比He算法有更加自然的灰度分布和更丰富的特征信息，如图1(c)方框所示。

Figure 1.  Comparison diagram of dark channel

由于天空等高亮区域不符合暗通道先验的假设条件，导致在这些区域计算的透射率值偏小，造成了颜色失真。根据公式(5)，假设$t(x) = t(x + 1)$，则有：

由公式(10)可知处理后图像相邻像素值之差相比原始像素差值放大了$1/t(x)$倍，当$I(x)$较大、$t(x)$较小时，图像数据相邻像素点即使相差很小，重建后的灰度值也会被放大。这就导致在图像数据发生跳变的时候，形成块效应，影响图像视觉效果。

因此采用非线性函数$h(x)$对$t(x)$的值进行修正得到修正后的透射率${t_1}(x)$，达到改善块效应的目的：

图2为修正前透射率与灰度级之间的关系，图3为修正后透射率与灰度级之间的关系。可以看出在灰度值较高的范围内，图3对$t(x)$值做了约束，使其不再趋于0，而是一个逐渐增大的值，以减少或消除图像高亮区域对透射率的影响。

Figure 2.  Transmission before estimation

Figure 3.  Transmission after estimation

在输入灰度级为0~255范围内，将透射率修正后的值放入16×16的查找表中，一方面可以得到优化后的精准透射率值，另一方面可以将查找表数据添加至硬件语言中，使得硬件算法能够直接获得优化后透射率值，从而降低硬件算法的运算量，更加有利于算法的硬件实现。

在充分考虑硬件资源的配置，取暗通道像素值为原始红外图像数据3*3窗口内滤波数据的平均值，取全局大气光值为当前灰度图像的最大值。改进算法的流程如下：

步骤1 对输入灰度图像数据取3×3窗口滤波数据的平均值作为暗通道像素值$f(x)$。

步骤2 在输入灰度级为0~255范围内，结合公式(9)和(11)对应灰度级计算出256个修正后${1 / {t(x)}}$的值(存${1 / {t(x)}}$值是为了避免在硬件语言中使用除法器，以提高FPGA的运算速度)，由此生成一个16×16的透射率查找表Tx_table。

步骤3 利用暗通道图像数据的每一个像素值定位找出查找表中相应的透射率值${{\rm{1}} / {t(x)}}$ = Tx_table[f(x)]。

步骤4 取$\omega $系数值为0.95，根据公式(5)计算出重建后灰度图像数据输出。

选取有天空等高亮区域的图像验证所提算法的处理效果，结果如图4所示。在图4(b)中，由于暗通道像素取值过低以及透射率$t(x)$采用定值的影响，He算法容易造成天空区域失真以及在图像边缘处产生块效应。图4(c)是在加入软抠图后，块效应得到改善，天空区域仍偏色严重。所提算法采用输入图像的滤波数据代替暗通道图像数据，并且在灰度级为0~255范围内对透射率值进行修正，解决了天空区域颜色失真的问题，处理后的图像过渡平滑、自然清晰。

Figure 4.  Comparison image after estimate $t(x)$

红外图像清晰化硬件系统采用国产640×480分辨率的长波非制冷红外相机，以及XILINX公司ARTIX-7系列的FPGA芯片作为核心处理器。红外相机端输出遵循Camera Link协议，输出信号包括8比特图像数据、帧有效、行有效及数据有效信号和时钟信号，配置电平转换芯片DS90CR286将相机输出的这些低压差分信号（LVDS, Low Voltage Differential Signaling）转换为TTL/CMOS信号作为FPGA的输入。FPGA内部运行的时钟与相机的工作时钟保持同步，均为27 MHz。电平转换芯片DS90CR285将FPGA处理后的图像信号转换为LVDS信号作为图像采集卡端的输入，显示设备实时地显示处理后的红外图像。

在XILINX公司ISE14.7平台上，使用VHDL语言描述硬件算法。依据上述理论分析，算法的硬件语言实现采取以下几个步骤进行：

步骤1 将红外相机端采集的图像数据按照Camera Link协议输入；

步骤2 对输入数据进行3×3窗口内的平均值滤波，得到暗通道图像数据；

步骤3 通过暗通道图像的像素值在透射率查找表Tx_table中定位找出优化后的透射率值；

步骤4 结合大气光散射模型重建红外图像的灰度值，处理过后的红外图像输出仍符合Camera Link协议。

红外图像清晰化硬件系统使用的红外相机输出符合Camera Link协议，因此，硬件实现的时候需设计符合Camera Link时序的输入输出接口。图5为Camera Link数据控制信号的时序示意图。

Figure 5.  Timing diagram of Camera Link control signal

图中，clock为时钟信号；fram_valid为帧有效信号，用来控制每一帧图像数据的输入输出，帧与帧之间间隔一个时钟；line_valid为行有效信号，用来控制一幅图像中每一行数据的输入输出，行与行之间间隔一个时钟；data_valid为数据有效信号，该信号有效时，开始输入输出红外图像数据，data_valid信号晚line_valid信号一个时钟，只有当fram_valid和line_valid信号均有效时，data_valid信号有效。在硬件实现的过程中，利用状态机的跳转完成对上述控制信号的定义，进而实现对图像数据的实时处理。

采用3×3的窗口计算暗通道图像数据，需要在FPGA内部建立两个FIFO用于缓存两行数据，FIFO输出数据为dout1和dout2，再加上当前行数据datain，形成3×3的矩阵，如图6所示：

Figure 6.  Data caching diagram

假设当前时钟有效时，3行数据分别为G2、G5和G8，首先计算3行数据的和为sum1，对sum1延时，延时后的信号分别用sum2和sum3表示。将sum1、sum2和sum3相加得到最后的sum值为9位滤波数据的和，除以9之后得到滤波数据的平均值avg即为暗通道像素值。开始输入两行原始图像数据时，为了避免FPGA做更多的延时，可以对datain奇扩展形成3行数据完成求平均值运算，同理在一幅图像数据的结尾对dout2奇扩展计算均值。

为了节约系统硬件资源，提高FPGA运算速度，将C语言生成的修正后的透射率查找表Tx_table直接添加至硬件语言中。利用之前计算得到的暗通道像素值avg在查找表中定位获取优化后的精准透射率值Tx_table[conv_integer (avg)]。调用一个乘法器IP，其中一个乘数为输入原始红外图像像素和$A$的差值，另一个乘数为Tx_table[conv_integer (avg)]。得到的乘积和$A$求和则计算出重建后红外图像的灰度值。

对算法进行验证时，选取型号为XC7A100T的Xilinx ARTIX-7系列的FPGA芯片。在ISE14.7平台上，采用Synplify工具综合后，最高工作频率为188 MHz (如表1所示)，远远超过了红外相机的工作频率27 MHz，因此所设计的红外图像清晰化硬件系统满足实时处理视频图像的需求。从表2可以看出所提算法综合后FPGA的资源占用情况，其中Block RAMs占用率为6%，Slice Registers占用率为1%，LUT占用率为4%，硬件资源利用率较少，这就大大降低了设计成本。

将所提算法的硬件实现方案在逻辑资源占用、时钟周期等方面与其他方案做了对比分析，如表2所示。参考文献[14]通过对红外图像灰度值乘以一个比例因子达到图像增强的目的，所处理的数据量较少，占用了较少的LUT和寄存器资源。参考文献[15]提出使用导向滤波器进行红外图像增强方案需要计算多幅图像的均值和方差，因此LUT和内存资源消耗过多。所提算法将软件算法生成的透射率查找表添加至硬件语言中，使得硬件系统避免了复杂的求取透射率值的计算，占用了最少的RAM和I/O资源和较少的LUT资源。并且，所提算法在硬件测试时使用了最短的时间，更加适合实时的处理视频图像。

软件算法实验平台为Intel Core(TM) i7-7700, 3.6 GHz CPU, 内存8 GB，软件平台为Dev-C++5.11。软件算法所使用的图片由红外相机拍摄之后经图像采集卡捕获得到。

为验证所提算法在红外图像清晰化方面的有效性和可行性，将所得结果(包括软、硬件算法结果)与参考文献[3]中的自适应平台直方图均衡化算法、He算法进行对比分析。并从主客观角度对图像质量进行评价。

图7是一组具有丰富细节信息的近景图像，其中图7(a)为非制冷长波红外相机采集的原始红外图像，可以看出图中目标和背景的差别较小，边缘特征模糊。He算法处理后的图像存在块效应，在加入软抠图后，块效应得到改善，但仍存在图像整体偏暗的情况，分别如图7(b)和7(d)所示。Wan算法利用自适应平台直方图均衡化来进行增强，平衡了图像整体的灰度，但是没有突出更多的细节特征。图7(e)和7(f)分别为改进算法软、硬件处理后的红外图像，可以看出算法突出了目标景物的细节信息，如近处树叶的纹理特征、远处墙体的轮廓特征都得到增强，图像整体对比度提高。

Figure 7.  Comparison image1

图8是一组包含天空区域图像，可以看出所提算法在天空区域有较好的处理效果，这是因为对暗通道图像数据进行了非线性滤波以及修正透射率后的结果，而且硬件算法处理后的图像效果逼近软件算法。He算法在加入软抠图后，整体处理效果较优，但是在天空区域存在偏暗的情况。Wan算法在处理此类图像时，由于自适应参数选取较简单，导致图像处理效果不明显。

Figure 8.  Comparison image2

为了更加全面的判断图像质量，采用常见的客观评价指标进行验证。可见边对比度能够体现处理前后图像细节的清晰化程度^[16]，新增的可见边之比可以表示为：

式中：${n_o}$为处理前图像中可见边的数目；${n_r}$为清晰化后图像中可见边的数目。$e$值越大，表明处理后图像有更多的边缘可见，则图像更清晰。峰值信噪比(Peak Signal to Noise Ratio, PSNR)是衡量图像是否失真的指标，其定义为：

式中：MSE为图像的均方误差。一幅图像的PSNR值越高，表明图像的质量越好^[17]。调用Matlab2019自带的PSNR函数，并添加一幅加噪图像测试改进算法处理后图像效果。从表3可以看出，所提算法处理后的图像相比其他的算法有更高的PSNR的值，$e$值也不弱于其他算法，并且硬件算法处理后图像的PSNR和$e$的值均接近软件算法。因此，所提算法在丰富图像细节信息方面更具优势。

文中提出了一种基于改进暗通道先验理论的红外图像清晰化算法，并在FPGA平台进行了设计实现。首先对输入图像当前像素和邻域的数据进行非线性滤波得到暗通道图像数据，然后对透射率进行了修正，生成透射率查找表，通过暗通道像素值在查找表中定位获取优化后的透射率值，有效解决了传统暗通道算法产生的块效应或在天空等高亮区域颜色失真问题。最后辅助大气光散射模型重建红外图像数据输出。处理后的图像边缘特征清晰，整体对比度得到提升。在硬件算法实现时，将软件算法生成的透射率查找表添加至硬件语言中，使得硬件算法能够直接获取优化后的透射率值，有效降低了硬件计算复杂度。同时通过状态机的跳转实现图像数据的有效控制，充分利用FPGA的FIFO资源以及时序的配合完成图像清晰化运算。在硬件测试时，所提算法耗时仅为0.1185 ms，满足实时处理视频图像的需求。