SR reconstruction algorithm of regularization based on improve of sparse representation

在基于视觉的自主导航过程中，无人机获取航拍图像的空间分辨率高低，直接决定了后续对其识别的精度。然而，无人机携带成像设备易受天气、拍摄角度以及成像过程等因素的影响，常造成获取的航拍图像边缘轮廓不清晰、对比度不高，进而难以提供足够的可供识别的特征细节信息，从而直接影响了导航精度。要提高航拍图像的空间分辨率，可以通过保持光学传感器阵列面积不变的同时减少图像元尺寸，从而提高图像传感器的感光器密度^[1-2]。但是，这种方法不仅增加了经济成本，而且会造成图像信噪比下降，往往难以应用于现有的成像系统中。在不改变现有硬件条件下，基于信息融合的超分辨重建技术可以有效的提高图像的分辨率，该技术利用软件的方式，通过融合同一场景的多帧低分辨率图像的相似信息来重建出一幅高分辨率图像^[3-5]。

由于SR重建是利用图像处理算法从降质的LR图像恢复出原始HR图像。因此在数学角度上，SR重建是一个典型的病态逆问题^[6]。要更好的求解这类问题，可以利用正则化的方法来解决，通过添加相关的附加信息来约束求解过程，将病态求逆过程转化为收敛稳定的适定过程，这样不仅能够抑制噪声对重建过程的影响，也可以较好的保留图像的边缘信息，从而提高重建后图像的空间分辨率^[7-9]。目前，正则化的SR重建算法主要分为基于频域的方法和基于空域的方法^[10]。其中，基于频域的方法因没有考虑图像退化因素和图像的先验信息，因此重建效果并不理想。相比于频域正则化的方法，基于空域的方法不仅充分的考虑图像的退化因素，并且利用图像的先验约束能够更好的从LR图像中重建出 HR图像。因此，基于空域的正则化SR算法是国内外研究学者主要关注的焦点。Lee等通过拉普拉斯（Laplace）正则化算法重建图像，该算法通过在重建中引入平滑度约束，进而有效的简化目标函数的求解过程^[11]。韩玉兵等将$l_2$范数的吉洪诺夫（Tikhonov）正则化算法用于LR图像重建，该算法虽然增加了重建图像的平滑度，但是重建后的HR图像存在边缘模糊，很多高频细节信息丢失的现象^[12]。为了平衡图像的平滑度和边缘细节，Marquina 等提出总变分（Total Variation，TV）正则化算法，该算法对图像结构分段约束，可以很好地平滑图像的同时，保留图像边缘^[13]。在此基础上，Omer 等提出双边总变分（Bilateral TV，BTV）正则化算法^[14]。Oliveira 等提出自适应全变分（Adaptive TV，ATV）正则化的 SR 重建算法。随着稀疏表示理论的发展，基于过完备字典的重建算法可以自适应的对图像进行稀疏表示^[15]。Donoho 等在小波去噪算法的基础上，将小波系数的稀疏性作为良好的正则化约束^[16]。Emmanuel 等提出重新迭代加权$l_1$范数的稀疏正则化项的算法，该算法取得较好的提高图像重建的质量^[17]。Jia等提出基于图像梯度先验的稀疏正则化先验算法^[18]。Dong等人基于稀疏正则化模型，提出自回归和非局部自相似正则化算法^[19]，由于该算法不仅考虑了图像的局部结构，而且还考虑了非局部结构，因此重建后图像的边缘保持能力有所增强。

虽然基于稀疏表示正则化的SR重建算法可以最大限度地保持图像的边缘，并且能够避免求解过程中出现奇异解，同时还能为重建HR图像提供额外的图像先验信息，但是由于该重建模型中使用的正则化参数往往是根据经验所选取的固定值，并没有考虑根据图像的不同区域结构，因此不能自适应的选择合适的正则化参数来调节数据保真项和正则化项之间的权重，从而严重影响了重建后HR图像的质量，导致过平滑现象，细节和边缘严重。

针对正则化参数缺乏科学合理的选取而造成重建后的航拍HR图像空间分辨率不高，文中提出了一种改进稀疏表示正则化的SR重建算法。该算法首先基于稀疏表示正则化框架，利用自回归和非局部相似约束构建目标函数的正则化项，然后，根据图像局部方差能到有效区分图像的边缘区域和平滑区域这一特性，自适应地选取正则化参数得到超分辨率重建模型中的目标函数，最后使用MM (Majorization-Minorization) 算法求解目标函数的凸优化问题，得到重建后的HR图像。

根据信号稀疏表示理论，人们将信号比作一个矩阵，这个矩阵的每一行和每一列都存在大量以不规则形式出现的零元素，将信号的这一特性称为稀疏性^[20]。利用信号的稀疏表示特性，可以在保证信息不损失的前提下，用很小的采样速率就能够采集并恢复原始信号，同时利用信号的稀疏性能够有效地表示信号的本质特征。变换域$\psi $下的稀疏疏表示模型见图1。

Figure 1.  Sparse representation model in the transform domain ψ

假设，信号$y \in {R^N}$为一维有限离散信号，可以将其看作$N \times 1$维列向量。则${R^N}$空间的任意向量都可以表示为$N \times 1$维基向量$\{ {\psi _i}\} _{i = 1}^N$的线性组合。假定这些基都是正交的，$N$个列向量$\{ {\psi _i}\} _{i = 1}^N$可以组成$N \times N$的矩阵$\psi $，其中$\psi = [{\psi _1},{\psi _2}, \cdots {\psi _N}]$为基矩阵。因此，一维离散信号$x$可以表示为：

式中：${a_i}$为系数。公式（1）可以简写为：

式中：$\alpha $为投影系数$\alpha = [{\alpha _i}]$所构成的$N \times 1$的列向量，它包含$K$个非零数值或重要元素。

使用测量矩阵$\varPhi $对信号$x$进行测量，则测量信号可以表示为两者的内积，可表示为：

式中：$y$为$M$维观测向量；$\varPhi$为$M \times N$维测量矩阵；$\varTheta = \varPhi \psi$为$M \times N$矩阵。该过程为非自适应的，换句话说，$\varPhi$是固定矩阵，并不依赖于不同信号$x$。

从公式（3）中可以看出，测量值是信号从高维空间到低维空间的投影值，它可以看作是每个样本信号的组合函数，也就是说所有样本信号的少量特征可由一个测量值来表示。因此为了精确地恢复原始信号，必须选取适合的基函数以确保信号的稀疏程度。然而，在实际图像处理过程中，由于很多复杂的图像难以被基函数稀疏表示，而在字典学习算法中，使用的超完备的冗余函数代替基函数可以更好的对图像进行稀疏表示，其模型如图2所示。

Figure 2.  Sparse representation model under the dictionary

图2中，图像可由冗余字典中的 K 个原子的线性组合来稀疏表示，而且通常需要选取合适的冗余字典用于稀疏表示图像，图像的稀疏表示程度越高，重建原始图像的准确度也就越高。

文中提出算法主要包含3个部分：稀疏表示正则化项构建、自适应正则化参数选取、稀疏表示正则化模型求解。算法整体框架如图3所示，文中算法先将自回归和非局部相似约束引入到稀疏表示正则化模型框架中，构建稀疏表示正则化项，再利用局部方差对图像进行划分，针对不同区域结构自适应地选取正则化参数，得到用于重建的稀疏表示正则化模型，最后用MM算法求解稀疏表示正则化目标函数，并用得到的稀疏表示最优解重建HR图像。

Figure 3.  Algorithm design framework

基于稀疏表示正则化重建算法，首先将训练集中的图像划分为多个图像块，并对相似的图像块进行聚类，确保每个聚类中的图像块都具有相似特征。然后，对每个聚类进行训练，学习得到一个子字典。最后，对子字典进行稀疏编码提取图像先验信息重建HR图像。基于稀疏表示正则化的 SR 重建模型为：

式中：$\hat x$表示重建后的HR图像；$x$表示输入的LR图像；$\varphi $表示子字典；$\lambda $为正则化参数。

为了更好的对图像进行局部稀疏表示，将公式（4）的${l_1}$范数稀疏项变为：

式中：${x_{i,j}}$为第$j$个子字典的第$i$个稀疏系数。

然后，将自回归正则化模型引入到在航拍图像的局部区域中，该模型首先从聚类的航拍图像块训练集中学习自回归模型，然后选择一个合适的自回归正则化的输入图像块。

假设，图像块将${a_i}$的估计定义为${\hat a_i}$，$\hat a_i^h$是该图像块对应的高通高斯滤波器的输出，$\;{\mu _k}$是每个聚类的质心，${\varphi _c}$是由特征向量组成的投影矩阵，那么在子空间中，由${\varphi _c}$共轭$\hat a_i^h$和${\mu _k}$之间的距离可表示为：

加入自回归正则化模型，则公式（6）可变为：

式中：${A_i}$表示图像块${a_i}$的中心像素。将公式（7）的自回归正则化项简写为：

将公式（9）代入公式（7）中可得：

虽然自回归正则化模型可以利用每个图像块的局部特征，但是由于图像中可能会存在很多重复结构，这些图像的非局部冗余信息可以用来来提高重建图像的质量，因此在SR重建模型中再引入非局部自相似性正则化模型。假设图像块${a_i}$的相似图像块定义为$a_i^l$，则${\hat a_i}$和$\hat a_i^l$分别为${a_i}$和$a_i^l$的相似估计，两者的估计误差${\rm{e}}_i^t = {\rm{||}}{{{\hat a}}_{{i}}}{{ - \hat a}}_{{i}}^{{t}}{\rm{||}}_{\rm{2}}^{\rm{2}}$，将${a_i}$和$a_i^l$的中心像素定义成${A_i}$和$A_i^l$，则$A_i^l$的加权平均估计为：

公式（11）中的权重可表示为：

其中，公式（11）中${c_i}$为归一化因子，可表示为：

式中：$h$为控制因子。

假设，${b_i}$和${\;\beta _i}$为$A_i^l$和$b_i^l$的列向量，在稀疏表示的正则化模型中加入非局部相似正则项，可表示为：

式中：$\eta $为正则化参数。将公式（14）中的非局部相似正则化项简化为：

其中

则公式（14）可改写为：

将公式（7）、（17）代入公式（5），则于航拍图像SR重建的稀疏表示正则化模型的目标函数表示为：

令$y = \left[ \begin{gathered} y \\ 0 \\ 0 \\ \end{gathered} \right]$，$K = \left[ \begin{gathered} DH \\ r(I - A) \\ \eta (I - B) \\ \end{gathered} \right]$，公式（18）可改写为：

在稀疏表示正则化框架中，虽然自回归模型和非局部相似正则化约束可以有效的提高图像重建的质量，使得重建后HR图像的平滑度有较大的改善，但是由于正则化参数是根据经验选取的，因此容易丢失图像边缘高频信息，进而造成图像的边缘产生锯齿现象。针对这一问题，文中提出了一种自适应正则化参数选取的方法，该方法利用图像局部方差能到有效区分图像的边缘区域和平滑区域这一特性将图像划分为边缘区域和平滑区域，然后根据不同区域信息选择不同的正则化参数来调节正则项的平滑约束强度，即在图像的非平滑区域（边缘区域）采用较小的正则化参数来保留图像的边缘和纹理等细节信息。反之，在图像中的平滑区域采用较大的正则化参数来抑制噪声。自适应正则化参数构建的过程如下：

（1）将输入的LR图像$y$放大到与原始图像$x$相同的大小，并将其定义为$\hat y$，则该放大后的图像可被划分成大小为$2a \times 2b$的图像块，图像块的方差可表示为：

（2）分别将图像块的最大方差和阈值定义为$\sigma _{\max }^2$，$\omega \sigma _{\max }^2$，并利用公式（20）计算各个图像块的方差。其中，$\omega $是一个接近零的调节参数。

（3）将计算得到的每个图像块的方差值进行比较，如果${\sigma ^2} > \omega \sigma _{\max }^2$，则该图像块划被分为平滑区域；反之，则该图像块被划分为非平滑区域。自适应正则化参数选取的表达式为：

式中：$k,\varepsilon $为控制权重参数强度的常数。

由公式（21）可以看出，正则化参数${\lambda _a}$能够根据图像中的区域结构进行自适应的调节全变分正则项的约束强度。对于图像中平滑区域的像素${\lambda _a}$的值较大，从而加强全变分正则项对平滑区域的约束强度，使得该区域的噪声可以得到很好的抑制，同时也避免了该区域阶梯效应的产生。相反，在图像中纹理和边缘比较丰富的边缘区域，${\lambda _a}$值较小，则全变分正则项对该区域的约束作用变弱，从而有效的保留了图像的纹理和边缘等细节信息。

令$L(x) = \left\| {\hat y - K\varphi x} \right\|_2^2 + \displaystyle\sum\limits_{i = 1}^N {\displaystyle\sum\limits_{j = 1}^n {{\lambda _a}\left| {{a_{i,j}}} \right|} } $，将自适应正则化参数代入公式（19）中，可得SR重建的稀疏表示正则化目标函数，如公式（22）所示：

通过前面的稀疏表示正则化模型构建可以将SR重建由一个病态不适定性的问题转换为适定性问题。接下需要利用优化算法对目标函数进行近似迭代求解，得到稀疏表示的最优解来重建出HR图像。

由于公式（22）并不是严格的凸函数，并且具有二次非线性。因此，直接使用典型的线性优化算法对其进行迭代求解会导致计算过于复杂，且容易陷入局部最优，往往难以获取最优解，进而影响重建后HR图像的质量。MM算法^[21-22]是求解正则先验约束优化问题的有效方法之一，其核心思想是把复杂的函数最小化问题转变成简单的二次函数优化问题。首先，利用二次可微上界函数代替不可微的非二次目标函数。然后，通过对二次上界函数最小化来实现对目标函数的优化求解。因此，文中利用MM算法来求解稀疏表示正则化目标函数的最优化问题$ ，$ 获取最终的HR图像。

令${x^m}$表示参数$x$的一个固定数值，函数$G(x|{x^m})$为目标函数$L(x)$在${x^m}$处的二次上界优化函数，并满足以下条件：

式中：$G(x|{x^m})$为目标函数$L(x)$的上界函数，且在点$x = {x^{\left( m \right)}}$处相接触。

如果函数$G(x|{x^m})$在$x = {x^{m + 1}}$处取得最小值，那么$G(x|{x^m})$就是对稀疏表示正则化的目标函数$L(x)$最小值的一次逼近，如公式（25）所示：

则$G(x|{x^{(m)}})$与$L(x)$满足公式（26）的关系：

由上式可知，通过迭代求出二次函数$G(x|{x^m})$的最小值来逐渐逼近目标函数$L(x)$的最小值时，在每次迭代求解不需要求出精确的最小值，只需要二次上界函数的最小值逐渐减小即可。使用二次函数逐步逼近优化问题的示意图如图4所示。

Figure 4.  Schematic diagram of quadratic function is used to gradually approximate the optimized problem

为了验证文中提出算法的有效性及准确性,借助仿真实验与实际实验相结合的方法分别对文中提出算法与其他正则化算法的SR重建性能进行比较。

为了验证在仿真条件下，文中所提重建算法的有效性，将算法在标准数据库上进行仿真实验，并选取该数据库中1000幅图像作为训练集，选择数据库中的Tower等4幅HR图像作为实验测试对象，测试数据集如图5所示。

Figure 5.  Four HR test images

如图5所示，高分辨图像大小为$112 \times 96$ pixel，低分辨率图像在进行模糊后下采样$2$倍获得，大小为$28 \times 24$ pixel，采用的模糊算子大小为$5 \times 5$。在退化模型中，降采样因子为$3$，高斯核的大小为 7×7，其标准差为1.6。在图像区域划分阶段，参数设置为$a = $$ b = 4$，$\varepsilon = 0.3$ $k = 0.02$。自回归正则化参数$r = 0.09$，非局部相似正则化参数$\eta = 0.21$。

然后，借助于峰值信噪比（PSNR）测量标准将文中所提重建算法与自回归正则化重建算法、稀疏表示正则化重建算法及非局部相似性正则化重建算法进行对比，来进一步验证文中所提算法的有效性及准确性。图像的PSNR如公式（27）所示：

式中：$x(i,j)$为原始高分辨率图像；$\hat x(i,j)$为SR重建的高分辨率图像，图像的大小为$M \times N$。

PSNR反映了信号的能量和噪声的能量之间的比值，假如原始参考图像是完全不失真的图像，从理论上讲，PSNR越大，重建后的图像的质量就越高。对4幅图像使用不同的正则化 SR 重建算法得到的 PSNR 结果如表1所示。

表1列出了采用稀疏表示正则化SR算法、自回归正则化SR重建算法、非局部自相似SR重建算法和文中重建算法的实验结果。从表1中可以看出，相比稀疏表示正则化算法，文中算法的 PSNR 结果平均提高0.79 dB，相比自回归正则化算法提高了0.67 dB，相比非局部自相似正则化算法提高了0.55 dB。

为了从主观视觉上对比各个重建算法的性能，选取了House图像进行SR重建。各个重建算法的结果如图6所示。

Figure 6.  Results of each SR reconstruction algorithm in the simulation experiment

图6给出了文中重建算法和三种比较算法对于House图像的SR重建结果的视觉对比图。由此可以看出，基于稀疏表示正则化算法重建后的图像比较模糊，高频细节信息损失较为严重，重建后的图像分辨率不高；自回归正则化算法重建后的图像质量有所改善，模糊有所减少，但是重建后图像的边缘和细节不够清晰；非局部相似正则化算法重建后的图像，高频细节明显增多，但存在着边缘块效应。相比于稀疏表示正则化算法、自回归正则化算法及非局部相似性正则化算法，文中算法重建后的图像的平滑现象有了明显的改善，能够较好的重构出图像的纹理结构，空间分辨率有了很大地提高。

为了验证在实际复杂环境下，文中算法对航路点图像SR重建的效果，文中分别使用无人机到达航路点识别距离后，机载图像传感器获取的LR航路点图像进行实验验证，其大小为$28 \times 24$，放大倍数为2倍，参数设置与仿真实验相同。航拍LR航路点图像如图7所示。各个重建算法的视觉对比图如图8所示。

Figure 7.  LR waypoint image

Figure 8.  The results of each SR reconstruction algorithm in the actual test experiment

图8（a）稀疏表示正则化算法的重建结果，图8（b）是自回归正则化算法的重建结果，图8（c）是非局部相似正则化算法的重建结果，图8（d）是文中算法的重建结果，从各个算法重建的对比图中可以看出，文中算法重建后的HR图像包含了更多纹理和边缘细节，目标图像的整体轮廓清晰，平滑现象得到很好抑制的同时，清晰度提高较为明显。这是由于文中算法结合自回归和非局部相似约束正则化的优点，构建稀疏表示正则化项能够更好的利用图像的先验信息。另外，局部方差可以有效的区分图像中的平滑区域和边缘区域，并能够根据图像中不同的区域结构自适应调整全变分正则项的约束强度，使得在重建过程中图像噪声能够很好的抑制的同时，最大程度的保留了图像的特征信息，从而有效的提高了重建后图像的清晰度和辨识度。

为了定量的分析文中重建算法与稀疏表示正则化重建算法、自回归正则化重建算法及非局部相似性重建算法的重建效果，文中采用无参考的信噪比（SNR）、信息熵（IE）两个评价指标来对各个算法的重建效果进行对比。其中，无参考信噪比SNR代表图像灰度均值与局部方差最大值的比值，对于无参考图像来说，它是评价SR重建结果的重要指标，计算公式为：

式中：$M$表示输入图像的均值；$ST{D_{\max }}$表示局部方差的最大值。

信息熵IE表示空间中任何一种能量的均匀分布程度，可以用它来平均图像的模糊程度，熵值越大，表示重建后图像间能量分布越均匀，包含的信息越丰富，重建图像质量越好，计算公式为：

式中：$L$表示图像灰度值的范围；${P_i}$表示像素值$i$在图像中出现的概率。

使用稀疏表示正则化算法、自回归正则化算法、非局部相似正则化算法及文中算法的获得HR图像的信噪比和信息熵的对比值如表2所示。

由表2可以看出，使用文中重建算法得到的HR图像的信SNR和IE均高于使用稀疏表示正则化算法，自回归正则化算法，非局部相似正则化算法。这充分说明了使用文中重建算法可以起到有效抑制图像噪声和保持图像的边缘细节信息的作用，进而使得重建后的航拍图像的细节更加丰富、边缘更加锐利，空间分辨率得到了明显提高。

针对基于视觉的无人机自主导航中，机载图像传感器获取的航路点图像分辨率低，进而直接影响了对其识别的准确性问题，文中提出一种改进稀疏表示正则化的图像超分辨率重建算法。算法首先基于稀疏表示正则化框架，利用自回归和非局部相似约束构建目标函数的正则化项，然后，根据图像局部方差能到有效区分图像的边缘区域和平滑区域这一特性，自适应地选取正则化参数得到超分辨率重建模型中的目标函数，最后使用MM 算法求解目标函数的凸优化问题，得到重建后的高分辨率图像。通过仿真实验及实测实验验证了文中算法的有效性及准确性。