基于特征点的图像拼接技术在动漫中的应用

黄梅++唐琨++肖建新

摘 要 以制作全景图为例将图像拼接技术应用到制作动漫贴图上，简化动漫贴图的制作.使用手持相机采集一定重叠区域的图像，柱面投影后采用基于尺度空间的Harris算法检测图像特征点，双向归一化互相关算法匹配特征点，迭代提取阈值T的算法去除误匹配.通过改进的RANSAC算法快速估算出变换参数模型，对拼接图像进行投影变换.Szeliski灰度融合方法，直接计算匹配点灰度平均值融合图像，最后采用最佳缝合线的方法消除图像拼接处的重影.基于Matlab的数据实验表明，提出的图像拼接技术具有效率高，拼接图像清晰等优点，实现了较满意的全景图视觉效果.

关键词 动漫贴图；虚拟漫游；图像拼接技术

中图分类号 TN91173 文献标识码 A 文章编号 10002537（2016）01004906

Application of Image Mosaic Based on Feature Point in the Animation

HUANG Mei， TANG Kun， XIAO Jianxin*

（Educational Technology Center， Changsha Normal College， Changsha 410100， China）

Abstract To simplify the steps of the animation production，the image mosaic technology is applied to the animation production with panorama as an example， and some images of the overlapping area with the cemera were collected. After the cylindrical projection， the Harris algorithm was used to detect the feature points of the images in the scale space. And the double direction of normalized cross correlation in featurepoint matching was adopted. The threshold T was extracted repeatly to remove the mismatch feature points. And the project model was estimated with the improved RANSAC algorithm. A method of gray adusting to image fusion， and the beat seamline is introduced to eliminate image ghosting. The data experiments based on Matlab showed that the image mosaic technology could effectively mosaic image and achieve a satisfactory visual panorama.

Key words animation map； virtual touring； image mosaic technology

图像拼接技术是虚拟现实、计算机图形学和图像处理等领域的重要研究课题.在动画领域，用于制作动画模型贴图，节省成本，提高制作模型贴图的速度和精度[1].在TIP（tour into the picture画中游）领域，生成全景图像，为二维的静止图像中产生动态三维图像提供重要基础[2].

图像拼接技术是将数张相邻有重叠区域的图像或照片经过配准、图像融合后拼接形成一张360度视角或宽视角的全景图像.图拼接算法主要集中在基于区域相关和基于特征的方法，基于区域相关的方法通过图像的相似程度确定方差函数，通过函数确定图像间的变换关系，该方法要求图像间的变换幅度小，且该方法容易受到关照条件等的影响，计算机量大；基于特征的方法是通过提取图像特征，确定特征对应关系，从而找到图像间的变换关系，这种方法相对稳定，速度较快，适应范围广.本文通过图像拼接技术制作宽视角全景图应用到动漫贴图中.

1 全景图像主要步骤

基于特征点的全景图制作，首先要采集有一定重叠区域的图像，然后对图像进行预处理，根据本文拼接的方法，是将图像进行柱面投影.再提取特征点、匹配特征点、图像变换，最后经过图像融合生成全景图.

1.1 图像采集

图像采集分为三种方法：相机置于滑轮上平行拍摄，相机置于三脚上固定旋转拍摄，手持相机拍摄.本文采用的是最常见且拍摄灵活的手持相机拍摄法，这种方法应用普遍，具有实际的研究意义.手持相机采集的图像拼接起来较困难，因为拍摄过程中相机移动较复杂，存在水平和垂直方向的偏移，相邻图像之间可能存在一定的曝光差异和小范围内的物体移动，甚至存在一定角度的旋转和小尺度（尺度即物体或特征的大小）的缩放.采集图像的各种物体或特征要在一个特定尺度范围内研究才有意义.

1.2 图像投影处理

全景图是对离散图像处理成一个连续图像的表示，为了不破坏图像中各个对象之间的视觉一致性，维持实际场景中的空间约束关系，需要将采集的离散图像投影到标准的坐标上.全景图依据其投影面的形式可分为球面、立方体面和柱面三种.因柱面投影图像容易获得，且图像质量均匀，细节真实程度高而被广泛应用.本文是采用柱面作为投影表面的图像拼接算法.

柱面投影变换将原始图像转化柱面投影图像，以保持拼接后视觉的一致[3].图像柱面变换结果如图1 所示.

Fig.1 The original （a）， and the cylindrical projection image （b）

1.3 图像特征点提取

图像进行柱面投影后，需要进行图像匹配操作，即将相邻的重叠区域的图像进行拼接融合.基于特征点的拼接方法通过描述特性，提取图像特征位置.本文采用了一种带尺度空间信息的Harris角点检测特征点算法[45].

Harris算法主要是利用一阶偏导来描述灰度的变化，采用在单尺度下基于图像的二阶矩阵M，矩阵特征值是自相关函数的一阶曲率，当图像中某个点的M矩阵的特征值都为正值，且是这个点的评价函数R，是以这个点为中心的区域内的最大值时，这个点作为特征点提取出来.原始的Harris算法是对单尺度下的二阶矩阵进行计算，因此相同的曲线经过缩放后，角点检测的位置会不同.对Harris算法中的二阶矩阵M加入尺度信息，使得二阶矩阵不受图像缩放和分辨率变化的影响.加入尺度信息的评价函数R为[6]：

其中，Ix和Iy分别表示的是图像灰度I（x，y）在点（x，y）处的梯度值； Iε表示对图像灰度I进行高斯平滑滤波；Ix=I（x，y）Fx，Fx 为x方向梯度算子；Iy=I（x，y）Fy，Fy为y方向梯度算子，表示卷积运算；δI为积分尺度；δD为微分尺度；Ix（x，y，δD）和Iy（x，y，δD）是以尺度为δD的高斯核函数.设定δI=s*δD，s为常数，通过改变微分尺度得到图像在尺度空间中的Harris角点值，而角点值在尺度空间的极大值点定义了Harris角点的尺度不变性.即当公式（1）计算出点（x，y）的评价函数R大于某一个阈值T时，这个点就是特征点.通常来说k=0.04～0.06，T=0.01*max（R）.

Harris算法具有光照和旋转不变性特点，加入尺度信息后，算法能在尺度空间内较稳定的提取出特征点，使得特征点不受图像旋转、灰度变化、尺度缩放和分辨率等复杂空间变化的影响.提取特征点的区域为参考图像右侧与目标图像左侧区域，提取结果如图2所示.

其中，w为以特征点为中心的窗口区域，Il（x，y）是参考图像特征点像素，Ir（x，y）是目标图像中特征点像素，c为相关系数，越大表示这两个相关窗口越相似，即表示相关窗口中的特征点越相似[6].对于参考图像Il中的每个特征点，寻找目标图像Ir中相对应的窗口区域内与之相关系数C最大的特征点，得到参考图像Il中的特征点匹配点集Sl.同理得到目标图像匹配点集Sr.最后在匹配点集Sl和组匹配点集Sr中寻找互相匹配的特征点对，完成对特征点的初始匹配.经过了双向匹配和迭代阈值T之后，大部分的误匹配剔除掉了，为下一步计算变换矩阵提供了更精确的匹配点集.初匹配的特征点对为图3，经过剔除误匹配的方法后，特征点匹配图为图4.

1.5 变换矩阵

变换矩阵计算是根据特征点匹配点集计算出两幅待拼接图像的空间几何变换，本文采用的变换矩阵模型为八参数的投影变换模型[7]，模型描述了图像的平移、旋转、缩放和规则性的拉伸，还包含了不规则的拉伸，即平行线在变换之后不能保持平行，变换公式为：

13和h23为平移因子，h31和h32为仿射因子[8].投影变换模型包含了复杂空间的图像运动，具有更广泛的适应性.符合平面目标在不同视点、视角拍摄图像之间的变换关系.确定了变换矩阵后，采用RANSAC算法与特征点匹配点集估算投影变换模型的参数，其中（x，y）为目标图像特征点坐标，（x′，y′）为参考图像特征点坐标，最后根据RANSAC算法估算出的变换模型对图像进行投影变换处理.

RANSAC（random sampling consensus）算法[9]是一种参数估算方法，基本思想：针对不同问题，设计不同目标函数，在原始数据集中随机抽取M组抽样，每一组抽样的数据量根据目标函数而定.用M组抽样分别估算目标函数参数初始值，再计算每一组的参数初始值所对应的内点（满足这一组参数初始值的数据点）和外点（不满足这一组参数初始值的数据点）.统计每一组参数初始值的内点数，内点数目越大，模型参数越好，最后根据一定的评选标准，找出最优目标函数的参数初始值.本文采用改进的RANSAC算法[1011]，在特征点匹配过程中，将匹配点对按匹配点集的距离对值按顺序排序，使可信度高的匹配点对排在前面，即对原始数据集进行了排序，再从质量高的数据开始抽取，减少抽样次数.

1.6 图像融合

在图像投影变换后，需要对图像进行融合处理，即将参考图像和目标图像的坐标融合一个坐标中，直接拼接的图像往往会存在灰度差异、鬼影等问题，这就需要对拼接后的图像进行灰度调整以及消除鬼影操作.

灰度差异主要是因相机曝光时间等拍摄参数不同，使参考图像和目标图像存在较大灰度差异.针对存在的一定曝光差异的问题，本文采用直接平均灰度调整的方法[1213]，计算两幅图像匹配点的灰度平均值，实现过程如下：

（1）计算两幅待拼接图像Il和Ir的计算匹配的特征点之间的灰度差平均值.

avg_gray=1n∑ni=1（qi-pi） （6）

其中qi和pi分别为图像Il，图Ir上的第i个匹配点的灰度值，n为匹配点的数量.

（2）对图像Il（或图Ir）的灰度进行修正，使两图灰度基本一致.

new_gray=f1_origin_gray+avg_gray（7）

其中new_gray为图像Il调整后的灰度值，f1_origin_gray为调整前灰度值.

鬼影是图像重叠处因物体产生位移造成的模糊图像，通过在重叠处建立最佳缝合路线可以很好的消除图像拼接中产生的鬼影.建立最佳缝合路线，采用Sobel算子对图像重叠区域的像素点，进行梯度计算[14].利用动态规划的思想建立n条（n为重叠区域像数点列的数量）缝合路线，从中选择强度值最小的一条缝合路线作为最佳路线，缝合线周围的十个像素点再采用Szeliski融合方法平滑过渡，公式如下：

其中E（x，y）为像素点的强度值，Egray（x，y）为重叠区域像素点的颜色之差，Egrad（x，y）为图Il和图Ir在x，y方向的梯度之差的乘积[15].

通过实验可以看出，融合后的图像无灰度差异且平滑无缝[1617].

2 实验结果

实验采用的图像是手持手机在室外光照下定点旋转、平移等条件下采集的图像，所采集的图像重叠率20%左右.图像采集后，先对图像进行柱面投影，利用尺度空间不变的Harris算法提取图像特征点，通过双向归一化互相关法进行匹配，迭代提取特征点除去误匹配，利用RANSAC算法估算投影模型，最后采用Szeliski灰度融合方法.匹配点直接灰度平均以及最佳缝合线的方法完成全景图的拼接处理.图5为最终的拼接效果图，拼接图像质量能达到TIP背景图以及动漫模型贴图要求.

图5 长沙师范学院北校区拼接图

Fig.5 The mosaic image of north campus of Changsha Normal University

3 结论

由实验结果可见，图像拼接技术制作的全景图可以满足动漫模型贴图以及漫游背景图的质量要求，并且图像拼接算法具有灵活性，可根据不通的拍摄条件处理，选择最佳成像效果.图像中的曝光差异以及物体运动等情况处理效果自然，为实时漫游和复杂动画提供了更真实清晰的图像.

参考文献：

[1] 倪 奎.人脸器官拼接融合及其在人脸动画中的应用[D].合肥：中国科学技术大学， 2009.

[2] 邹琼兵.基于图像的虚拟场景漫游技术研究[D].长沙：国防科学技术大学， 2004.

[3] 李忠新，张登峰，茅耀斌，等.基于相位相关法的柱面全景图拼接技术[J].南京理工大学学报， 2002，29（129）：4346.

[4] 黄 帅.基于Harris尺度不变特征的图像匹配算法研究[D].合肥：合肥工业大学， 2010.

[5] DAVID G L. Disctinctive image features form scaleinvariant keypoints[J]. Computer Vison， 2004，60（2）：91110.

[6] 仵建宁，郭宝龙，冯宗哲.一种基于兴趣点匹配的图像拼接方法[J].计算机应用， 2006，26（3）：610612.

[7] 曹红杏，柳稼航，阮 萍.基于角点变换矩阵的图像拼接[J].科学技术与工程， 2008，8（16）：45364539.

[8] RICHARD S. Video mosaics for virtual environment [J].IEEE Comput Graph Appl，1996，16（2）：2230.

[9] 周剑军，欧阳宁，张 彤.基于RANSAC的图像拼接方法[J].计算机工程与设计， 2009，30（24）：56925694.

[10] 刘湘滨，邹北骥.一种基于RANSAC的柱面图像配准中的应用[J].湖南大学学报：自然科学版， 2010，27（8）：7579.

[11] 曲天伟，安 波.改进的RANSAC算法在图像配准中的应用[J].计算机应用， 2010，30（7）：18501852.

[12] BARBARA Z， JAN F. Image registration methods： a survey[J]. Image and Vision Comput， 2003，21（11）：9771000.

[13] ANAT L， ASSAF Z. Seamless image stitching in the gradient domain[J]. Lecture Notes Comput Sci， 2004，30（4）：377389.

[14] 方贤勇.图像拼接技术研究[D].宁波：浙江大学， 2005.

[15] 赵 辉，陈 辉.一种改进的全景图自动拼接算法[J].中国图像图形学报， 2007，12（2）：336334.

[16] 朱云芳.基于图像拼接的视频编辑[D].宁波：浙江大学， 2006.

[17] 王宇琛.基于点特征的图像配准研究与系统设计实现[D].重庆：重庆大学， 2009.

（编辑 CXM）