基于图像拼接的尺寸精密检测算法研究*

刘凌云 罗 敏 方 凯

（湖北汽车工业学院电气与信息工程学院，湖北十堰 442002）

目前视觉检测技术在工业的各个领域都有着广泛的应用，基于机器视觉的测量手段和方法也得到了快速的发展［1］，但对几何尺寸的视觉测量研究主要集中在对微小尺寸的检测和测量，如机械零件的自动识别及几何尺寸测量、表面粗糙度和表面缺陷检测［2］。对于微小物体进行图像测量时，由于视场较小，可相应提高图像测量的分辨力来提高测量精度。而对于较大或细长类零件几何尺寸的综合检测，则很少采用机器视觉，这是因为用CCD一次成像获取较大尺寸物体全景图时，由于分辨率不高从而导致局部尺寸的检测精度不高。要高分辨率地拍摄到较大面积的物体，需要采用极高像素的摄像机，目前市场上的CCD尚满足不了要求［3］。面对上述情况，赵辉等提出了一种分段式图像测量系统实现大尺寸弧长的精密在线测量［4］，而在某些应用场合，例如发动机曲轴、凸轮轴等较大长径比类零件，分段式图像测量不能适用于同轴度、径向跳动等位置误差的综合检测。根据这一类应用场合，本文提出了使用已标定的摄像机精确变换位姿采像，通过建立采样图像的投影数学模型，并利用坐标变换完成数字图像的准确配准。文中还采用基于最佳阈值灰度调整的图像融合算法，消除图像拼接接缝以便于后续拼接图像中特征值的提取。

1 基于坐标变换的图像拼接算法

目前，图像拼接在场景拼接中研究广泛，而在几何尺寸测量领域中的研究较少。对场景的拼接只需满足视觉要求即可，对拼接精度要求不高;而对尺寸测量来说，精度是测量的目的，因此必须建立精准的数学模型和图像配准算法，才能满足尺寸测量精度要求。

1.1 图像无畸变焦平面投影的数学模型

图像拼接使用的投影模型一般可分为平面投影、球面投影、立方体投影和柱面投影［5］，为便于几何尺寸的测量，本文采用与测量平面（Zw=0）平行的焦平面（即无畸变虚拟摄像机的成像平面）作为投影平面，将实际成像平面上的图像映射到投影平面上，如图1所示。

其中，{C}为实际成像时摄像机坐标系，{C'}为无畸变虚拟摄像机坐标系，其Xc'、Yc'轴分别与世界坐标系{W}的对应轴同方位。则由考虑到镜头径向畸变的针孔摄像机模型［6］可知:测量平面上任意一点P的世界坐标{XW，YW，0}T与成像平面上对应点的图像坐标{u，v}T满足关系式（1）:

M1为摄像机的内参矩阵，其中f为摄像机焦距;Sx、Sy为CCD单元沿水平和垂直方向的物理尺寸;u0、v0为光心在图像坐标系中的坐标;k为径向畸变系数。M2为摄像机的外参矩阵，即世界坐标系相对于摄像机坐标系的位姿描述。M=M1﹡M2为3×4的矩阵，当摄像机标定后矩阵M1、M2及M均为已知。令M=

同理，测量平面上同一点P{Xw，Yw，0}T与投影平面上对应点的图像坐标（u'，v'）T之间由线性小孔成像模型可知满足关系式（3）:

线性模型内参矩阵中参数f、Sx、Sy与M1中相同，u'0、v'0为光心在图像坐标系中的坐标，ZC'为虚拟摄像机坐标原点到测量平面的距离。

由式（1）、（2）、（3）可得投影坐标（u'，v'）T与实际成像坐标（u，v）T满足关系式（4）:

即通过焦平面投影变换，将摄像机成像进行畸变校正，并映射到平行于测量平面（Zw=0）的虚拟摄像机焦平面上。其中ZC'由投影平面上所设定的图像分辨率δΔ（沿行或列方向单个像素所代表的尺寸）确定，由图1中相似三角形可知:

1.2 基于位姿变换的图像配准算法

为了保证两次采像的投影图拼接时能无缝对接，两次采像之间必须有一定的重叠度，如图2所示。设投影图的像素分辨率为λCol×Col（单位:像素），λ为比例系数，在第一次实际成像图中重叠区域内任选一点a（u，v）代入式（1）求出测量平面上对应点A坐标（XAw，YAw，0），则投影图 1、投影图 2 中光心坐标满足关系:

分辨率δΔ的选取以实际成像中光心处的平均分辨率为宜，若选取过大则导致像素灰度插值误差明显增大;过小则会降低检测精度。

2 图像融合及曝光差异矫正

在变换摄像机位姿采像时，由于采像时间上的差异，得到的图像序列在亮度上会有所不同，对此类图像进行拼接后，很可能在拼接图像中产生亮度明显不同的情况，边界处也易形成明显的拼接拼缝。为了改善拼接后图像的视觉效果，便于拼接图像的后续处理，本文提出了基于图像二值化最佳阈值的灰度动态范围调整算法对图像曝光差异进行矫正。

由于对物体进行视觉检测时，前景与背景灰度值相差较大，投影图像序列的灰度直方图均具有典型的双峰特性，因此可利用Kittler等人提出的最佳阈值选取法［7］对投影图像序列中每幅图像的二值化阈值进行提取。该方法是一种基于简单图像像素灰度梯度值与图像灰度统计相结合的阈值选取方法。其使用的公式为:

其中:e（i，j）=max{|ei|，|ej|}，ei=f（i－1，j）－f（i+1，j），ej=f（i，j－1）－f（i，j+1），m、n分别为图像的宽度和高度，f（i，j）为坐标（i，j）上像素点的灰度值。当计算机使用这种方法计算阈值时，阈值可以直接一次计算得到，从而避免了多次迭代分析图像灰度直方图的麻烦。以投影图2的二值化最佳阈值和投影图1的二值化最佳阈值的差值ΔTi=Ti－T1作为投影图2灰度值调整的偏移量，从而有效实现曝光差异的矫正，为拼接后整体图像的特征值提取提供了极大的便捷。

3 实验验证与误差分析

为了验证该算法的有效性，对游标卡尺的主尺刻度进行图像拼接、刻度线尺寸检测实验。实验中，摄像机由变位机驱动实现位姿精确变换。摄像机分辨率为640×480（单位:像素），摄像机经张氏标定算法标定后可得到式（1）中矩阵M1的值（其中f=16.19 mm，k= －734.789，Sx=Sy=7.4 ×10－3mm，u0=324.911，v0=256.894）。外参矩阵:

图3为摄像机在不同位姿下对卡尺局部成像，摄像机坐标变换矩阵为

对上述两幅图像求得二值化最佳阈值分别为100和114。

采用上述基于坐标变换的图像拼接算法对图3a、b进行拼接，拼接结果如图4所示，拼接图像大小为680×1 600，取分辨率δΔ=0.1 mm。由图4b可见，采用基于图像二值化最佳阈值的灰度动态范围调整算法对曝光差异矫正可显著地改善图像的视觉效果。

对图4b所示拼接图像进行Canny算子、形态学分析可确定卡尺刻度线的方向矢量及刻度线区域（ROI），在ROI内沿刻度线方向用一维高斯滤波计算灰度值平均值，并对ROI剖面（垂直于刻度线方向）的灰度平均值曲线求一阶导数如图5所示。由一阶导数曲线的任意波谷到第一波谷的距离即为相应刻度线相对于第一刻度线的计算距离，在测量范围内其测量误差曲线如图6中所示，测量误差均在±0.006 mm以内，多次重复上述测量实验，得到重复定位精度≤0.004 mm。

产生测量误差的主要原因有:（1）焦平面投影误差，是指对实际成像进行投影变换时，由计算机处理产生的误差。主要包括投影数学模型计算舍入误差、像素灰度插值运算误差等方面;（2）摄像机标定误差;（3）拼接图像中刻度线特征值提取计算误差，其中主要包括图像预处理误差、刻度线特征值计算数学模型误差等几方面;（4）变位机的位移误差及标准检测模板的刻度误差。在后续的研究过程中，重点将从摄像机标定算法、图像特征值提取、像素灰度插值算法等方面寻优来提高测量精度。

4 结语

本文提出了一种基于图像拼接技术的尺寸检测算法以满足较大长径比类零件尺寸的精密综合检测，其创新之处在于:（1）以平行于检测平面的焦平面作为投影平面构建无畸变投影数学模型，算法简便，且投影图像上特征值与检测对象的对应项满足线性关系，给后续尺寸检测过程带来极大的便捷。（2）采用基于位姿变换的图像配准算法实现图像之间的精准对接，以获得较大零件高分辨率的完整图像。（3）提出了基于图像二值化最佳阈值的灰度动态范围调整算法以矫正图像曝光差异，极大方便了拼接后整体图像的后续处理。实验证明本文提出的算法是有效的、可行的。

［1］汤小娇，雷振山，蒙丽，等.基于机器视觉的齿轮测量虚拟仪器［J］.计算机应用研究，2005（6）.

［2］黄志辉，龙赛琼，张利，等.基于图像处理技术的机械零件小孔径尺寸测量方法［J］.计算机测量与控制，2006，14（5）:592 －594.

［3］王元庆.新型传感器原理及应用［M］.北京:机械工业出版社，2002.

［4］赵辉，浦昭邦，刘国栋，等.大尺寸弧长非接触精密测量系统的研究［J］.仪器仪表学报，2001，22（3）:300 －302.

［5］邵向鑫.数字图像拼接核心算法研究［D］.长春:吉林大学，2010.

［6］Lenz R，Fritsch D.Accuracy of videometry with CCD sensors［J］.ISPES Journal of Photogrammetry and Remote sensing，1990，45（2）:99－110.

［7］陈杰，王振华，窦丽华.一种尺度自适应Canny边缘检测方法［J］.光电工程，2008，35（2）:79 －84.

［8］王庆有，蔡锐，马愈昭，等.采用面阵CCD对大尺寸轴径进行高精度测量的研究［J］.光电工程，2003，30（6）:36 －38.

［9］Zhu Shiping，Xia Xi，Zhang Qingrong，et al.An image segmentation algorithm in image processing based on threshold segmentation［C］.3rd IEEE International Conference on Signal Image Technologies and Internet Based Systems.Washington，DC，USA:IEEE Computer Society，2007:673－678.

［10］赵向阳，杜利民.一种全自动稳健的图像拼接融合算法［J］.中国图象图形学报，2004，9（4）:417 －422.