视频图像增强技术让视觉更完美

文/本刊记者 沈文文

为了提高图像的清晰度，改善人眼的视觉效果，同时便于后续的其他技术处理，对这类“模糊”或对比度低的图像进行增强处理成为了必要。而且，图像增强通常也是各种图像分析和处理的预处理过程。

近年来，随着数字视频技术、网络技术和无线通信技术的迅速发展，各种视频应用层出不穷，并且具有继续增长的发展趋势。图像，作为视频应用中的关键元素，其呈现效果直接影响着视频沟通的效率和品质。然而，在视频会议、视频监控等视频应用过程中，图像的呈现效果往往会受到设备、光照条件、视频压缩技术等众多因素的制约，从而出现画面对比度低、细节不清晰等问题，严重影响人眼对画面的视觉感受和视频内容的展示效果。

不仅如此，长期观看品质低下的视频可能会加重人们眼睛的负担，容易产生视觉疲劳，甚至会头晕目眩。

为了提高图像的清晰度，改善人眼的视觉效果，同时便于后续的其他技术处理，对这类“模糊”或对比度低的图像进行增强处理成为了必要。而且，图像增强通常也是各种图像分析和处理的预处理过程。

分辨率增强方法分类

据了解，提高图像分辨率的较为直接的方法是改进传感器制作工艺，减少像素的大小，从而实现空间分辨率的增强(即增加每单位面积内的像素个数)，但由于减少了有效采光的能力而容易产生散粒效应从而严重地降低图像质量。此外，传感器的制造工艺已经几乎达到了极限，例如在0.35μm的CMOS水平下，一个像素的面积为40μm2，已经难以进一步减小。最后，以硬件升级方式提高图像空间分辨率的做法其技术成本十分昂贵，极大地限制了该方法在实际情况中的应用。

因此，基于信号处理的软件技术来提高图像空间分辨率的技术得到了广泛地研究。这种技术被称作是分辨率增强（Resolution enhancement, RE）或超分辨率图像重建（Super resolution reconstruction, SRR）。图像分辨率增强是目前信号处理领域中最为活跃的研究方向之一。它通过将输入的低分辨率图像中的高频细节复原，产生一幅接近退化前的理想高分辨率图像，从而达到提高图像分辨率的目标。这种方法的优点是不涉及硬件，成本相对较低，并且可以在诸多应用中重复再利用已有成像系统，因此是一种较为经济的过渡方案。

分辨率增强是一种将输入的低分辨率图像（或图像序列）进行处理，已获得具有更高分辨率大小的图像输出的软件技术。由于输入的低分辨率图像（图像序列）中已经丢失了所要恢复的高分辨率图像中的大部分高频信息，因此为了进行分辨率增强处理，需要对丢失的高频细节信息进行合理的建模和预测。

预测高频细节的信息来源主要包括三个方面，分别是高分辨率图像特征的先验知识、具有互补信息的低分辨率图像序列以及通过大量样本学习得到的具有高-低分辨率图像特征间对应关系的数据库。根据这三个方面的信息来源，可以将图像分辨率增强方法大致分为三类，分别为基于插值的方法、基于多帧图像融合的方法和基于学习的方法。

基于插值的分辨率增强

基于插值的分辨率增强方法通常在无法获得更多关于高分辨率图像高频细节信息的情况下，利用已知的图像先验知识（如图像平滑性、边缘方向连续性等）对高分辨率图像中未知像素点进行估计重建。基于插值的方法在进行分辨率增强的过程中，由于所能获取的信息或者计算复杂度要求所限，仅能够依靠一些高分辨率图像通用先验模型来引导插值过程完成分辨率的转换，因此在恢复图像的高频细节的性能表现方面，往往不能取得较为满意的效果，尤其是当图像放大倍数较大（例如四倍放大）时容易产生过于模糊和平滑的现象。

基于多帧图像融合的分辨率增强

基于多帧图像融合的方法的技术思路是将输入低分辨率图像序列所包含的互补信息进行融合，从而恢复得到高分辨率图像中所应包含的高频细节信息。基于多帧图像融合的方法能够成功的一个基本前提是可以获得关于相同场景的不同角度或不同时刻的序列图像。这些低分辨率图像间具有亚像素尺度的偏移，从而为实现分辨率增强(高频信息预测)提供了可能。

基于学习的分辨率增强

近年来，基于模式匹配和机器学习的图像分辨率增强方法逐渐兴起，得到较为广泛地关注。基于学习的方法的提出主要是针对输入信息十分有限的情况下（甚至仅有一张低分辨率图像作为输入）来获得较为理想的高分辨率图像，取得分辨率增强的效果。在这种情况下，上述基于多帧图像融合的方法的性能迅速下降，尤其是在图像放大倍数较大的情况下。而基于学习的方法则充分利用了自然图像中包含着大量的重复和冗余结构这一重要的特性，利用学习的手段来捕获不同分辨率间的特征对应关系，从而能够根据输入的中低频信息通过模式匹配搜索的方式来寻找到最佳的高频信息预测。

总体来讲，基于学习的方法的优势主要在于计算速度较快，但也有其自身的缺点，例如图像放大倍数与图像数据库的训练过程相对应，无法自适应地改变。此外, 基于学习的方法十分依赖样本库的选择, 目前还没有相关理论来进行指导。

视频增强算法（Retinex算法）

Retinex（视网膜”Retina”和大脑皮层”Cortex”的缩写）理论是一种建立在科学实验和科学分析基础上的基于人类视觉系统（Human Visual System）的图像增强理论。该算法的基本原理模型最早是由EdwinLand（埃德温·兰德）于1971年提出的一种被称为的色彩的理论，并在颜色恒常性的基础上提出的一种基于理论的图像增强方法。Retinex理论的基本内容是物体的颜色是由物体对长波（红）、中波（绿）和短波（蓝）光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性，即Retinex理论是以色感一致性（颜色恒常性）为基础的。

不同于传统的图像增强算法，如线性、非线性变换、图像锐化等只能增强图像的某一类特征，如压缩图像的动态范围，或增强图像的边缘等，Retinex可以在动态范围压缩、边缘增强和颜色恒常三方面达到平衡，因此可以对各种不同类型的图像进行自适应性地增强。据Retinex理论，物体的颜色是由物体对光线的反射能力决定的，而物体对光线的反射能力是物体本身固有的属性，与光源强度的绝对值没有依赖关系。因此通过计算各个像素间的相对明暗关系，可以对图像中的每个像素点做校正，从而确定该像素点的颜色。正因为Retinex诸多良好的特性，使Retinex算法在很多方面得到了广泛的应用。

未来

图像分辨率增强技术提供了一种从低分辨率图像源到高分辨率输出的转换方案。目前，图像分辨率增强技术的应用十分广泛，在视频监控领域中发挥着十分重要的作用。而在新一代的视频编码标准研究中，分辨率增强技术已经开始成为编码器中重要的一个部分。同时，图像分辨率增强技术仍存在着许多需要解决的问题，对图像分辨率增强技术的进一步研究必将导致这一理论和技术扩宽到更多的新的应用领域，为图像分辨率增强技术研究带来新的活力与挑战。