基于激光斑标定的圆柱面上缺陷尺寸测量

张　钧　卢莉莎　田金文

(华中科技大学自动化学院　武汉　430074)

基于激光斑标定的圆柱面上缺陷尺寸测量

张钧卢莉莎田金文

(华中科技大学自动化学院武汉430074)

摘要在视频测量检查的实际运用中,通常被检测缺陷位于圆柱面上而非平面。为满足测量缺陷的精度要求,论文根据在视频检测设备上安装的激光枪打在缺陷检查面上的图像信息和其实际的安装位置,构建了相机标定模型。并沿过圆柱体中心线的平面剖开圆柱面,将对缺陷的测量由三维空间转化到二维空间,从而在平面上求解出缺陷的最小矩形包络。文章还针对带缺陷的测量试板对该模型进行结果验证,实验表明利用文中所构建的模型所测量缺陷的结果满足规定范围的精度要求。

关键词视频测量; 圆柱面; 激光枪; 相机标定; 测量缺陷

Class NumberTP391

1引言

在视频测量检查的实际应用中,传统的视频检查设备和技术只能够清晰检查出设备的缺陷,但对于缺陷的尺寸却无法精确测量。为此,在视频检查设备上安装激光枪,根据拍摄的激光枪打在缺陷检查面上的图像信息[1]和其实际安装位置可以构建相机标定[2～5]模型;再通过一些常用的边缘提取方法,如:Canny[6],LiveWire[7～8]等在图像上提取缺陷轮廓;利用构建的相机标定模型可以解算出图像上缺陷的实际大小。然而在很多实际情况下,要测量的缺陷位于圆柱面上,如大型压力容器罐壁,而不是平面。若将大型压力容器罐壁近似简化为平面来完成这一测量过程,往往满足不了对测量精度的要求。故本文提出了一种基于激光斑标定的圆柱面上缺陷尺寸测量的方法,直接根据实际的被检测圆柱面构建相机定标模型,再沿过圆柱体中心线所在的平面剖开圆柱面构建测量模型,从而实现对圆柱面上缺陷的测量。

2相机标定

相机标定[2～5]的实质是构建世界坐标系和像平面坐标系之间的关系模型,其中涉及到三维空间中的场景在二维相机图像平面上的成像过程。下面以实际视频测量应用中的空间模型介绍一下像平面坐标系,像空坐标系和世界坐标系之间的关系。

2.1像平面坐标系与像空坐标系

以图像中的第0行第0列的像素所在的位置为原点O1,图像中列增加的方向为U轴正向,图像中行增加的方向为V轴正向可构建如图1所示的以像素为单位的像平面坐标系O1-UV,且设相机光轴和成像面的交点(图像的主点)在该坐标系中的像素坐标为(u0,v0);以图像的主点为原点O,图像中列增加的方向为X轴正向,图像中行增加的方向为Y轴正向可构建如图1所示的以毫米为单位的像平面坐标系O-XY。

对像平面坐标系O-XY中的任意一点P的坐标为(x,y),其对应在像平面坐标系O1-UV中的坐标为(u,v),则

x=(u-u0)gu

y=(v-v0)gv

(1)

其中,gu和gv分别表示相机的水平格网间距和竖直格网间距(格网间距表示图像上1个像素所对应的物理距离,即单位为毫米/像素)

以相机光心为原点Oc,图像中列增加的方向为Xc轴正向,图像中行增加的方向为Yc轴正向,相机光轴上由原点指向被检面的方向为Zc轴正向可构建如图2所示的以毫米为单位像空坐标系Oc-XcYcZc。

图1　像平面坐标系

图2　像空坐标系

假设图像上的点P在像空坐标系中的坐标为(xc,yc,zc)T,因在实际应用中都采用针孔成像模型作为相机成像模型,则

(2)

其中,f为相机焦距。

由式(1),式(2)可得

(3)

式(3)给出了物点P在像空坐标系中的坐标和物点P所对应像点的像素坐标之间的变换公式。

2.2像平面坐标系与世界坐标系

在拍摄图像的过程中可以调整相机的姿态,为简化模型,调整相机姿态,使相机光轴与被检测圆柱面切平面的法向量平行。故可建立与像空坐标系重合的以毫米为单位世界坐标系Ow-XwYwZw。

· 当相机位于圆柱体内,圆柱面在物理坐标系Ow-XwYwZw中的方程为

[Zw-(d-r)]2+Xw2=r2

(4)

此时

(5)

其中,r为待检测圆柱体的半径,d为被检弧面到相机光心的距离。

· 当相机位于圆柱体外,圆柱面在物理坐标系Ow-XwYwZw中的方程为

[Zw-(d+r)]2+Xw2=r2

(6)

此时

(7)

其中,r为待检测圆柱体的半径,d为被检弧面到相机光心的距离。

下面仅以被检面为圆柱面内侧进行讨论,设图像上的被检面上的点P在世界坐标系中的坐标为(xw,yw,zw)T,因世界坐标系与像空坐标系重合,则由式(3)和式(5)可得

(8)

(9)

式(8)和式(9)分别给出了物点P在世界坐标系中的坐标和物点P所对应像点的像素坐标之间的相互变换公式。

3缺陷测量

3.1像平面坐标系与测量坐标系

由式(9)可将图像上提取缺陷的像素坐标转化为其在物理空间中的实际位置,而由于这些缺陷位于圆柱面上,可将对缺陷的测量转换到圆柱体的测量坐标系Om-XmYmZm中,为方便测量坐标系和世界坐标系中的坐标转换按如图3所示方式构建测量坐标系。

图3　圆柱面测量坐标系示意图

其中,Om为相机光轴与圆柱中心轴的交点,Xm轴正向,Ym轴正向,Zm轴正向分别与世界坐标系Ow-XwYwZw中Xw轴正向,Yw轴正向,Zw轴正向相同。

则

(10)

由式(9)和式(10)可以得到物点在测量坐标系中的坐标和物点所对应像点的像素坐标之间的如下变换公式:

(11)

3.2测量坐标系三维到二维的转换

在实际应用中,往往需要测量缺陷的最小矩形包络,而在圆柱面上完成这一测量过程比较困难。可通过将圆柱面沿过其中心线的平面剖开,将对缺陷的测量由三维空间转化为二维空间。

图4　坐标系XtOtYt示意图

假设圆柱面上任意一点的坐标为(xm1,ym1,zm1)T,将该圆柱面沿平面YmOmZm剖开会得到一平面,针对该平面创建如图4所示的坐标系XtOtYt。

假设圆柱面上的点在创建的平面坐标系XtOtYt中的坐标为(xt1,yt1),则有如下的坐标转换关系:

yt1=ym1

(12)

3.3缺陷测量步骤

由上面的公式推导可得如下缺陷测量的步骤:

1) 已知参数d,r;

2) 已知第i个激光枪的物理安装位置(xwi,ywi,0)T;

3) 利用单个闭环反馈方法提取第i个激光光斑中心所对应的像点的像素坐标(ui,vi);

4) 根据激光枪的物理安装位置(xwi,ywi,0)T计算第i个激光光斑在圆柱面上的物理坐标(xwi,ywi,zwi)T;

5) 根据(ui,vi)和(xwi,ywi,zwi)T,结合式(8)求解参数f/gu,f/gv;

6) 利用Canny算法提取图像中的缺陷边缘,再结合式(11)将缺陷边缘在像平面坐标系中的像素坐标转化为其在测量坐标系中的坐标。

7) 利用式(12)将被检圆柱面上缺陷区域的外轮廓点上的物理坐标信息转换为平面坐标系XtOtYt中的信息来获得缺陷区域的二维物理尺度测量。

4实验结果

利用安装有四个激光枪的相机对如图5所示的外径为497.5mm的测量试板上的缺陷进行测量。

图5　测量试板缺陷示意图

图6　激光枪安装示意图

其中缺陷1和缺陷2的尺寸分别为28.5*1.3,1.2*28.5(单位:mm)。

四个激光枪的安装位置如图6所示。

按照缺陷测量的步骤对测试试板上的缺陷进行测量,下面以当相机与测试试板之间的距离为300mm时的情况为例进行说明。

1) 获取含缺陷的图像信息如图7;

图7　含缺陷的图像

2) 提取图像上的激光光斑如图8,并计算其像素坐标见图9;

图8　提取激光光斑后的结果图像

图9　提取激光光斑的像素坐标

3) 根据激光光斑的像素坐标及激光枪安装的位置坐标确定相机标定模型参数;

4) 利用Canny或LiveWire算法提取测量试板上的缺陷轮廓见图10;

图10　提取缺陷轮廓后的结果图像

5) 利用测量模型分别计算出缺陷1,缺陷2的最小矩形包络。

图11　缺陷的最小矩形包络

调整相机与测量试板之间的距离,使其分别为400mm,500mm,按照如上的测量步骤对测量试板上的缺陷进行测量,测量结果如表1所示。

表1　缺陷测量结果(单位:mm)

因缺陷1和缺陷2的实际尺寸分别为28.5*1.3,1.2*28.5(单位:mm),由表1可得如表2所示的测量结果误差表。

表2　缺陷测量误差(单位:mm)

5结语

为了满足在视频测量检查的实际应用中,对压力容器罐壁上缺陷测量的精度要求,本文提出了一种基于激光光斑标定的圆柱面上缺陷尺寸测量的方法。首先利用安装激光枪的相机获取含缺陷的图像,再提取激光枪打在待检测圆柱面上激光光斑在图像中的像素坐标,由此可以根据拍摄的激光枪打在缺陷检查面上的图像信息和其实际安装位置构建相机标定模型;然后通过一些常用的边缘提取方法在图像上提取缺陷轮廓,再利用所构建的相机标定模型和测量模型测量出缺陷的最小矩形包络;最后通过测量测量试板上的缺陷尺寸对本文提出方法的正确性进行了验证,实验结果表明采用文中提出的方法,当缺陷尺寸小于1.5mm时,测量精度为0.2mm;当缺陷尺寸大于25mm时,测量精度为1.0mm。

参 考 文 献

[1] Jun Zhang, Dandan Tian, Xiaomao Liu, et al. Laser beam based calibration[C]//Proc. SPIE 8004, MIPPR 2011: Pattern Recognition and Computer Vision, 80040T (December 02, 2011).

[2] 马颂德,张正友.计算机视觉[M].北京:科学出版社,1997:46-49.

MA Songde, ZHANG Zhengyou. Computer Vision[M]. Beijing: Science Press,1997:46-49.

[3] 张广军.机器视觉[M].北京:科学出版社,2006:103-104.

ZHANG Guangjun. Machine Vision[M]. Beijing: Science Press,2006:103-104.

[4] 胡国元,何平安,等.视觉测量中的相机标定问题[J].光学与光电技术,2004(3):9-12.

HU Guoyuan, HE Pingan, et al. Camera calibration problem in visual measurement[J]. Optics and Optoelectronic Technology,2004(3):9-12.

[5] 吴文琪,孙增圻.机器视觉中的摄像机定标方法综述[J].计算机应用研究,2004(2):4-6.

WU Wenqi, SUN Zengqi. A survey of camera calibration methods in machine vision[J]. Computer Application Research,2004(2):4-6.

[6] Canny J. A computational approach to edge detection[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.

[7] Jianwu Dang, Fang Zhang. Research and improvement of Live-Wire interactive algorithm for medical image segmentation[J]. Application Reasearch of Computers,2008,25(8):915-917.

[8] Jun Zhang, Rong Yang, Xiaomao Liu, et al. Livewire based single still image Segmentation[C]//Proc. SPIE. 8002, MIPPR 2011: Multispectral Image Acquisition, Processing, and Analysis, 80021M. (November 20, 2011).

Defect Measurement on Cylinder Based on Laser Beam Calibration

ZHANG JunLU LishaTIAN Jinwen

(School of Automation, Huazhong University of Science and Technology, Wuhan430074)

AbstractIn practical application of the video measurement, the defect is usually located on the cylinder instead of the plane. To satisfy accuracy requirements, camera calibration model is constructed, using image, with laser spots in defect inspection surface, and installation positions of laser guns. Then, cylindrical surface along its center line is spilted, transforming defect measurement from three-dimensional space to two-dimensional space, and defects’ smallest rectangle envelopes in the place is solved. In addition, using test plate with defects verified model. The result indicates that defect measurement can meet accuracy requirements through this method.

Key Wordsvideo measurement, cylinder, laser, camera calibration, defect measurement

收稿日期:2015年12月12日,修回日期:2016年1月24日

作者简介:张钧,男,博士,副教授,研究方向:机器视觉与机器学习。卢莉莎,女,硕士,研究方向:计算机视觉与模式识别。田金文,男,博士,教授,研究方向:遥感图像信息处理。

中图分类号TP391

DOI:10.3969/j.issn.1672-9722.2016.06.037