基于边缘结构的Criminisi图像修复

李 尊，吴 谨，刘 劲

（武汉科技大学 信息科学与工程学院，湖北 武汉 430081）

1 引 言

图像修复［1］是指对受到损坏导致信息不完整的图像进行修复重建或者去除图像中多余的目标。图像修复是图像复原［2］的重要内容，是数字图像处理与计算机视觉的一个研究热点，广泛地应用到了残缺照片的修复、去除文字、去除干扰目标等方面。

目前图像修复算法主要分为两大类：基于偏微分方程的图像修复法和基于纹理的图像修复法。

基于偏微分方程的图像修复法是针对图像中的像素点进行修复，其利用物理学中的热扩散方程原理来建立图像的偏微分方程，从而使图像中破损区域的周边信息扩散到破损区域的内部，达到图像修复的目的，代表的方法有BSCB模型算法［3］和TV模型算法［4］等。此修复方法适用于小区域信息缺失的图像修复。

基于纹理的图像修复法是针对图像中的像素块进行修复，其以受损边缘上的一个像素点为中心，用图像中现存的像素块进行匹配，来填充信息受损的区域，达到图像修复的目的，代表的方法有Criminisi算法［5］等。此修复算法适用于大区域信息缺失的图像修复。

近几年，对于Criminisi算法的改进有很多。文献［6］的改进主要根据修复边缘的复杂性，动态的选择匹配块搜索的区域，侧重于减少系统开销；文献［7］的改进主要是引入曲率到优先权中，提高了优先权的信度；文献［8］的改进主要是动态因子和新的匹配原则的引入，目的在于匹配模块的合理选取。文献［9］采用区域分割的变尺寸样本块高效图像修复算法，降低了时耗且改进修复质量。本文优化Criminisi算法重点在边缘结构信息修复，且利用图像融合技术［10］中的 FDIM（finite difference iterative mosa）算法［11］对修复后图像进行边缘无痕处理，使得图像在视觉效果上达到自然完整统一。

2 Criminisi算法

Criminisi算法是基于样本块纹理合成图像修补算法，此算法由Criminisi等人于2004年提出，其核心就是优先权的计算、匹配块的搜索、填充、更新置信度和提取新的边缘信息。假设修补前的图像如图1所示。

图1 符号说明图Fig.1 Figure of symbol

其中φ表示的区域是未标记的区域，即完好区域；Ω表示的区域是标记的区域，即修补区域；δΩ表示待修补区域的边界。

Criminisi算法优先权共有2项所决定。其中一项是置信度C（p），C（p）表示的是以P为中心的待修补块ψP中原图的像素所占的比重，C（p）的数值越大优先级越高，反映了含有的原图区域的信息多，应给予优先修补；另一项是数据项D（p），D（p）表示的是边界ψP在P处的梯度法向量np与完好区域中边缘梯度向量的乘积，D（p）数值越大越好，表示修补区域边界与原图中明显边界的交汇处，反映了进化表面线性结构强度高，应给予优先修补。Criminisi算法提出的P点优先权计算如式（1）所示，C（p）、D（p）如式（2）、（3）所示。

其中：α是归一化算子，在灰度图中我们取α为255。

3 优化的修复方法

本文修复方法由优化的Criminisi算法和FDIM算法共同构成，旨在提高图像的修复质量，特别是修复区域的边缘。

3.1 Criminisi算法分析

在Criminisi算法中，图像修复质量由两个关键因素所决定：填充顺序和匹配原则，其中填充顺序在两者中更为重要。若填充顺序不合理，随之的所有操作都将在不合理的基础上进行，进而导致不断地错误累加，出现图像修复不协调的现象，无法满足人的视觉需求。本文主要针对Criminisi算法的优先权进行改进。

Criminisi算法存在不足，主要有以下两个原因：

（1）置信度C（p）会随着修补次数的增加使得C（p）中原图的信息会减少，会有数量级的差别出现。这样的情况下，式（1）的优先权计算基本完全是由C（p）所控制。

3.2 优化Criminisi算法

从数学的角度来看，当输出正比于输入时能够很好地抵抗噪声及外部的干扰。所以为了增强修复边缘结构过程的鲁棒性，本文引用正规化函数平滑数据项D（p）曲线。

因此得出的新数据项如式（4）所示：

新数据项的引入，保证其取值的范围在ω～1，置信度的曲线被平滑了，且其曲线的形状得以保留。通常选取ω＝0.7。

为了降低C（p）的误差累积对优先权的影响，本文把优先权转换成两项相加形式，来保证优先权准确度的稳定。优化的优先权计算公式为：

其中：α＋β＝1，0.35≤α，β≤0.65。

把优先权的式子换成置信度C（p）与数据项RD（p）相加的形式，可以增加其修复的鲁棒性。α，β的选取对图像修复的影响是很大，一般来说选取α＝β＝0.5，当修复效果达不到预期的效果时，我们可以微调α，β进行图像修复。且本文实验要求α＋β＝1，0.35≤α，β≤0.65保证优先权的计算兼顾到结构和纹理信息。

3.3 FDIM算法无缝处理

Criminisi算法是针对图像像素块进行修复的，在修复区域边缘极易出现与原区域结构“脱节”，导致视觉上不自然，不协调。针对这种情况，本文对图像修复的边缘进行无缝处理。

优化的Criminisi算法修复的图像可看作两幅图像不含重叠区域的融合，即图像镶嵌。FDIM（finite difference iterative mosa）算法是基于向导矢量场的图像镶嵌的算法，可以用于任意形状的修复边缘的拼缝的消除。其迭代公式如下所示：

其中：t表示迭代次数。

经过本文改进的Criminisi算法修复的图像，利用图像融合的FDIM算法对修复区域边界进行无缝处理，能够使图像的整体的视觉效果得以提升，达到灰度和谐、修复边缘光滑过渡的效果。

4 仿真实验结果与分析

本文图像修复方法的仿真实验所用的软件是MATLAB7.0和VC＋＋6.0，仿真结果如图2～图4所示。图中（a）表示原始图像，（b）表示待修复图像，（c）表示Criminisi算法修复的图像结果，（d）表示文献［8］的优先权修复的图像结果，（e）表示本文方法修复的图像结果。

图2 人群移除图像修复结果Fig.2 Image inpainting of crowd removal

图3 垃圾桶移除图像修复结果Fig.3 Image inpainting of trash removal

由图2可以看出，仿真实验是为了移除背景中多余的人群，得到所需的前景图像。经对比可以看出：（c）中的边缘结构信息处理效果不够好，墙壁的信息延伸到了楼梯中；（d）中能够处理好边缘结构信息，但是在楼梯处出现错误信息的修复；（e）中边缘结构信息处理较好，且错误信息的累积较少，基本满足了人的视觉需求。

图4 荷花信息缺失图像修复结果Fig.4 Image inpainting of lotus’s missing information

由图3可以看出，仿真实验是为了移除垃圾桶，得到视野更为宽阔的十字路口图像。经对比可以看出：（c）出现了大面积错误的结构纹理修复信息，把远处的房子灰度信息修复到了马路上并且修复的区域出现了块状的结构；（d）出现了错误的结构纹理修复信息，把树木的信息修复到了马路上，与（c）相比，修复的错误信息像素数减少，但是仍然无法满足人的视觉需求并且同样出现了块状修复的结构；（e）同样也出现了错误的修复信息，把马路上的台阶处的信息修复到了马路上，但视觉需求基本满足且修复区域的块状结构减少，修复区域的信息和周围能够协调。

由图4可以看出，仿真实验是为了修复荷叶与荷花茎部缺失的大面积图像信息。经对比可以看出：（c）、（d）、（e）均能够较好地完成图像的修复，没有大面积错误信息累积，视觉上基本上满足了人的需求。但是，就细节上而言，（e）的修复结果在边缘结构的处理效果上更好一点，使得叶子和后面的背景分离且错误信息修复降低。

5 结 论

本文修复方法的优先权的整体鲁棒性提高，能够有效地将图像中原有的信息延伸到待修复区域，并且经过FDIM算法的无缝处理使得图像的修复结果特别是边缘结构信息的修复更能满足人的视觉需求。今后需要更进一步研究目标的合理标记、图像修复块的合理有效的寻找等问题。

［1］Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting［C］.Proceedings of International Conference on Conputer Graphics and Interactive Techniques ，USA：John Seely Brown，2000：417－424.

［2］沈峘，李舜酩，毛建国，等.数字图像复原技术综述［J］.中国图象图形学报，2009，14（9）：1764－1775.Shen H，Li S M，Mao J G，et al.Digital image restoration techniques a review ［J］.Journal of Image and Graphics，2009，14（9）：1764－1775.（in Chinese）

［3］Ballester C，Bertalmio M ，Caselles V，et al.Filling－in by joint interpolation of vector field and gray levels［J］.IEEE Trans.Image Process，2001，10（8）：1200－1211.

［4］Chan T，Shen F.Mathematical models for local non－texture inpaintings［J］.SIAM Journal on Applied Mathematics，2002，62（3）：1019－1043.

［5］Criminisi A，Perez P，Toyama K.Region filling and object removal by exemplar based inpainting［J］.IEEE Trans.Image Process，2004，13（9）：1200－1212.

［6］赵伦.一种基于样本纹理的图像修复算法研究［J］.电脑知识与技术，2013，9（19）：4509－4528.Zhao L.An image restoration algorithm based on the sample texture［J］.Computer Knowledge And Technology，2013，9（19）：4509－4528.（in Chinese）

［7］常晨，尹立新，方宝龙.一种改进的Criminisi图像修复算法［J］.计算机应用与软件，2012，29（9）：238－267.Chang C，Yin L X，Fang B L.An improved criminisi algorithm for image inpainting ［J］.Computer Applications and Software，2012，29（9）：238－267.（in Chinese）

［8］张斐.大区域图像修复算法研究［D］.南京：南京邮电大学，2013.Zhang F.Research on large area image inpainting［D］.Nanjing：Nanjing University of Posts and Telecommunications，2013.（in Chinese）

［9］刘洋，王昊京，田小建，等.采用区域分割的变尺寸样本块高效图像修复［J］.光学精密工程，2010，18（12）：2657－2664.Liu Y，Wang H J，Tian X J，et al.Efficient image inpainting based on region segmentation and varying exemplar［J］.Optics and Precision Engineering，2010，18（12）：2657－2664.（in Chinese）

［10］邵明省，杜广朝.基于量子克隆多宇宙算法的图像融合研究［J］.液晶与显示，2012，27（6）；837－841.Shao M S，Du G C.Image fusion processing based on multi－universe quantum cloning algorithm ［J］.Chinese Journal of Liquid Crystals and Diaplays，2012，27（6）；837－841.（in Chinese）

［11］张焕龙.图像无缝拼接技术的研究［D］.开封：河南大学，2007.Zhang H L.Research on seamless image mosaic technology［D］.Kaifeng：Henan University，2007.（in Chinese）