图像超分辨率重建算法综述

【摘 要】超分辨率图像重建是指由同一场景的低分辨率退化图像（或图像序列）重建出一幅（或多幅）清晰的高分辨率图像。该技术已经成为图像处理领域的研究热点，然而传统的方法已很难获得突破，今年来过完备稀疏表示为超分辨重建提供了一种新的思路，也成为了目前的热点。本文通过分析超分辨率技术的三个方面的算法，分析了其以往和最新的研究进展，并对未来超分辨率技术的发展重点作了一点展望。

【关键词】超分辨率；图像重建；过完备稀疏表示

0 引言

超分辨率图像重建[1]是指由同一场景的低分辨率退化图像重建出一幅清晰的高分辨率图像。它借助信号估计理论，很好地解决了固有的传感器阵列排列密度限制引起的图像分辨率低的问题，弥补了传感器硬件方面的不足。同时，超分辨率重建可以有效地克服图像获取过程中的模糊、噪声等退化因素的影响，在工业控制、医学成像、遥感、安全监控、视频信号传输等领域具有广阔的应用前景。超分辨率重建技术具有重要的理论意义和应用价值，成为图像处理、计算机视觉和应用数学等领域研究的国际热点问题。经过近 30年的研究与发展，出现了大量关于图像超分辨率技术的研究成果。一般说来，图像超分辨技术主要分为三种类型：基于插值的方法、基于重构的方法和基于学习的方法。

1 基于插值的超分辨率方法

基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息，获得高分辨率图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到高分辨率图像栅格上的像素值， 最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括： Rajan和 Chaudhuri[2]通过分解、插值和融合3个步骤实现的通用插值方法；Taohj等[3]提出的小波域的双线性插值；Lertrat-tanapanich和 Bose[4]提出的使用基于光滑性约束的Delaunay三角化插值算法等。

插值法虽能实现快速重构、有效地保持图像边缘，但通常实际图像的降质信息不可能准确已知，从而设定的先验模型是不稳定的，所以实际的超分辨水平并不理想。总体来看，插值法重构的优点是算法简单从而易实时处理，缺点是重构的图像边缘模糊、超分辨能力有限。

2 基于重建的超分辨率方法

基于重建的方法是得到最广泛研究的方法，主要分为频域法和空域法两类。频域法通过在频率域消除频谱混叠来改善图像的空间分辨率。Tsai 和 Huang 于 1984[1]年提出在傅里叶变换域内由多帧图像恢复出额外高频信息的超分辨重构，由此拉开多帧图像 SRR 的序幕。Irani 和Peleg 提出了迭代反向投影 （Iterative back projection） 算法[5]，这就是空域法的一种，即投影初始估计得到 LR 模拟图像，计算与低分辨率观测图像的误差并反向投影，迭代地更新输出估计。凸集投影法采用集合论把超分辨图像解空间投影在各约束凸集的交集中，迭代地收缩可行解空间，最终获得估计的 HR 图像。概率论法以 MAP 准则建立由高分辨率到低分辨率的条件概率方程，图像先验和噪声统计分别作为先验知识和条件概率项，通过最优化得到重构边缘较好的超分辨图像。正则参数平衡最优问题中的逼近项与正则项的基于正则化技术的超分辨是一子类优秀的方法。吸收不同算法优势的 MAP/POCS 等混合法是目前重建法中超分辨效果最佳的一类[6]。

3 基于学习的超分辨率方法

基于学习的超分辨率方法是近年来超分辨率研究的热点，它采用机器学习技术，通过事先给定的范例学习得到低分辨率和高分辨率图像块间的映射先验。超分辨率重建中图像的建模与表示是图像处理领域一个根本性的问题，模型的选取直接影响到后续图像处理的开展，过完备图像稀疏表示是一种新兴的图像表示模型，过完备稀疏表示理论认为在合适的冗余字典的条件下，图像存在最为稀疏的表示，即能够用很少量的大系数捕获图像中的重要信息。

3.1 最近邻搜索

3.2 K-NN 算法

为提高 NN 算法的鲁棒性，Freeman 等[7]提出一种马尔可夫网络 （Markov Network） 模型，采用马尔可夫网络学习样本库中低分辨率图像块与高分辨图像块的对应关系，再利用学习到的关系估计图像的细节信息，该方法开创了基于学习的超分辨率重建研究的先河。该算法将图像块作为马尔可夫网络上的一个节点，并假定节点间在统计量上相互独立，生成训练库，最终应用传播算法求解马尔可夫网络问题，这种模型相当于最大后验概率问题，在公式

（1）基础上加入先验约束，加强相邻图像块间匹配约束，其目标函数为：

Datsenko 等[8]提出基于 MAP 的框架，将 K-NN 方法提取的高、低分辨率样本图像块作为先验信息，融入到全局 MAP 的惩罚函数中，有利于剔除不相干的样本，进一步提高了超分辨率重建质量。 这类 K-NN 方法相对 NN 算法质量有一定提高，但有限；如果采用不适当的样本，超分辨率重建效果可能会更差。

3.3 流形学习方法

Chan 等[10]考虑样本图像对超分辨率重建算法的影响，对上述模型进行改进，他们考虑到不同类型的图像直方图也不同，利用直方图来筛选样本图像，之后再通过上述 LLE 模型进行超分辨率重建。Sung 等[11]将流形学习理论中的局部保持投影方法用于人脸虚幻，更有效地学习输入图像与样本图像间的对应关系。

3.4 稀疏表示法

2008年，Yang等[12]人提出了使用图像块的稀疏表示来实现超分辨率重建。这种方法是通过随机选取图像块的方式组成一个超完备字典，然后对于每一个测试块，通过线性规划的方法求得该测试块在这个过完备字典下的稀疏表示，最后以这组系数加权重构出高分辨率的图像。这种方法克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基的个数将同时通过线性规划求解得到。然而，该方法的缺陷在于如何随机选择通用图像超分辨率效果较好的过完备字典。Yu 等[13]在方向插值方法中引入稀疏先验约束，提出空间匹配追踪的稀疏超分辨率方法。Mallat 等[14]利用图像的多种先验信息，融合多个线性反演估计方法，并采用稀疏优化方法估计系数，提出了一个自适应的超分辨率重建框架。Wang等[15]将中频和高频图像块进行稀疏编码，对图像损失的高频信息进行估计。朱胜火等[16]人提出了一种迭代学习冗余字典的方法，提高了超分辨率重建的效率。在超分辨率重建快速算法方面，孙玉宝等[17]人提出了基于前向后向算子分裂法和两步迭代算法的超分辨率重建，Elad等[18]人提出了基于收缩学习方法的超分辨率重建。为了更好地保留图像的几何和纹理结构，孙玉宝等[19]人提出了多形态稀疏性正则化的图像超分辨率算法。 4 总结与展望

本文综述了各类超分辨率重建算法，并对其进行比较。三大类超分辨率重建算法各有其优缺点：基于插值的算法简单、快速，但容易产生模糊，效果最差。基于重建的方法针对图像的空间信息比较多，在一定情况下能够取得不错的效果。但是随着图像分辨率的提高，其重建方法的性能也急剧下降，出现细节丢失、边缘模糊等问题。基于稀疏表示的超分辨率重建方法是目前研究的热点和重点，这种方法是从大量的训练样本集中获取先验知识来进行字典训练，因为加上了先验知识，它的效果是最好的，但训练样本的选择非常重要。虽然图像超分辨率重建算法近年来越来越多，但是仍然还有许多具有挑战性的问题存在，亦值得研究。例如图像的配准和运动估计，这两者是基于重建的前提和基础，对重建的成功具有直接的影响；图像去噪研究，图像处理不管用何种算法及仪器去处理总会产生噪声，一个良好的噪声模型对于超分辨的求解也是有着非常关键的作用的；还有就是重建的效率及鲁棒性方面。这些都是比较典型，同时也是比较有难度的问题，对于重建效果也是有很大影响的，因此也值得我们研究。

【参考文献】

[2]D. Rajan ， S. Chaudhuri. Generalized interpolation and its application in super-resolution imaging[J]. Image and Vision Computing， 2001， 19

（13）：957-969.

[3]Tao H. J， Tan G. X， Liu. J. Super resolution remote sensing image processing algorithm based on wavelet transform and interpolation[C]//Proceedings of SPIE. Hangzhou， China： Society of Photo - Optical Instrumentation Engineers， 2003：259-263.

[6]R. R. Schultz， R. L. Stevenson. Extraction of high-resolution frames form video sequences[J]. IEEE Transactions on Image Processing， 1996，5

（6）： 996-1011.

[8]T. Chan， J. Zhang. An improved super-resolution with manifold Learning and Histogram Matching[C]//Proceedings of IAPR International Conference on Biometric： Springer Verlag， 2006：756-762.

[9]S. W. Park， M. Savvides. Breaking the limitation of manifold analysis for super-resolution of facial images[C]//IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. Washington， DC USA： IEEE Computer Society， 2007

（1）：573-576.