基于旋转不变HOG特征的焊缝缺陷类型识别算法①

王 璐,王新房

(西安理工大学 自动化与信息工程学院,西安 710048)

X射线焊缝图像缺陷检测和识别在无损检测领域十分重要.实验前期对焊缝以及焊接技术进行大量研究发现,国内很多学者使用的方法是单个逐次提取样本特征,被使用频次较多的是缺陷的灰度特征和形态特征,如杨川与罗来齐使用的识别方法,二者不同点在于构建特征参数的计算公式.采用样本形态和灰度特征的好处在于,可以根据所研究对象的特点,构建出与缺陷特点相对应的特征参数[1,2],但是这种方法能提取到的特征参数数量有限,因此其适用范围有一定的局限性.

HOG特征即方向梯度直方图特征,大量地被使用做物体检测的特征描述子,其主要思想是一幅图像中的局部目标可以很好地被梯度分布描述.HOG特征提取结合支持向量机SVM的分类思想,近些年被广泛的应用在行人检测和车辆识别等领域,尤其是在行人检测领域,取得了很大的进步.该方法最大的优点在于,识别结果对光照所产生的环境变化,敏感程度很低,目标图像发生小幅度的旋转时,识别结果也较为稳定.然而当目标图像旋转幅度很大或发生尺度变化时,HOG特征将不再适用.这也是HOG特征在焊接领域未被大量应用的原因.本文将根据HOG的局限性和X射线焊缝图像采集系统的成像特点,提出一种具有旋转不变性的HOG特征提取方法.

1 图像采集

1.1 采集系统

本文的实验对象来源于某钢管厂实际生产过程中采集的焊缝缺陷图像.该厂使用的硬件图像采集设备是以X射线[3,4]为基础的DR成像系统(见图1),软件设备为DR成像与缺陷检测软件系统.工业探伤过程中,焊接工件缺陷处与正常区域处的厚度、密度不同,利用X射线对焊接工件进行扫描,射线透射工件后的能量变化也不同,所以可根据生成图像各点灰度值的不同来判断工件中是否有缺陷以及估计缺陷区域的厚度.DR成像系统的工作原理是X射线透射过焊接工件后,与DR面板上的荧光介质相互作用产生光信号,再经光电反应转换为电信号,并通过A/D转换后得到数字图像,传送至DR成像与缺陷检测软件系统中显示后,可做分析和处理.DR成像系统分辨率高,环境适应性好.

图1 DR成像系统

本文以DR成像缺陷检测系统为基础采集实验数据集,利用微软公司提供的基础类库MFC、消息机制、多线程等相关技术,以及C++面向对象及模块化的思想,设计并实现了DR成像与缺陷检测软件系统的缺陷类型识别功能.

1.2 ROI区域的截取

DR系统采集到的焊缝图像大小为1024*1024,ROI区域即实验对象,是焊缝图像的一部分,是通过DR成像缺陷检测系统截取出来的缺陷区域.

以图2标准测试管中的缺陷为例,一张焊缝图片上出现两个气孔类型缺陷,即两个ROI区域,则需要将其依次截取出来作为实验对象.从大量的焊缝图像中截取多个ROI缺陷区域构成实验数据集.对于不同的缺陷,其形状、亮度、区域大小不完全相同.

图2 ROI截取过程示意图

2 实验对象分析

参照国家标准文献GB 6417-86金属熔化焊焊缝缺陷分类及说明,生产过程中共定义出六种缺陷如图.

图3 各种缺陷类型原图像

下面就已经掌握的焊缝缺陷类型来说明使用传统HOG特征在本次研究中的优势和弊端.

通过对缺陷图像的观察发现,X射线采集系统所采集到的图片光照强度有所差异,HOG特征对图像几何的和光学的形变都能保持很好的不变性,这一优点可以解决实验过程中由于光照不同而引起的特征差异问题.

对于本次实验的操作对象,传统HOG也有其不足之处.HOG在行人检测领域得到广泛应用的原因是,行人运动时,始终与地面保持垂直姿态,也就是说,目标在一定范围内的旋转幅度很小.而本文中提到的操作对象,自身角度差异很大,如图4所示,同一类型的缺陷可能以不同旋转姿态出现,同时在实际检测过程中,焊缝或焊道本身也具有很大的方向差异,如图5所示.

图4 同类型不同方向缺陷

图5 不同方向焊缝

小范围的角度差异对HOG特征的影响较小,但是焊缝缺陷的角度差异是很大的.本次研究的目的是通过对HOG特征提取方法的改进,来得到一种对目标旋转角度不敏感的HOG特征.可同时保证HOG特征的几何、光照、旋转不变性.

3 旋转不变HOG特征提取

HOG特征本身不具有尺度不变性和旋转不变性,为解决其尺度不变性的局限,我们将得到的目标图像统一尺度变换为32*32像素大小.

针对HOG旋转不变性的局限,有学者提出过相关的改进算法.罗滨[5]提出基于主方向旋转不变的HOG特征,通过算法,找到能够描述被识别对象的主方向,然后将目标沿主方向旋转.这种方法在被识别对象有规律性且层次丰富时,有很好的识别效果,但对于焊缝缺陷的识别效果并不显著.汤彪[6]通过改变HOG特征细胞划分方法,使得当物体发生旋转时,每个细胞所包含的像素点不变,重新构建梯度矩阵和梯度方向,从而使HOG具有旋转不变性.本次研究的基本思想以此为基础,并加以深度研究和改进.

3.1 图像的划分

传统HOG特征使用的是方形模板划分方式,划分方向从左到右,从上到下,本文采用圆形划分方式,由内而外地划分目标图像.

以图像中心点为圆心,w为圆环宽度,向外划分出一系列同心圆环区域.这里的每一个圆环为一个细胞cell,第一个cell为圆,其余cell为环形区域.相邻的两个圆环构成一个block块,如图6阴影部分为一个block.扫描方向由内向外.

图6 目标图像的划分方法

经过圆形区域划分之后,被识别目标发生旋转时,每一个圆环区域内包含的像素点是不变的.

3.2 梯度与梯度方向计算

传统的HOG特征计算是基于像素点固定的水平和垂直方向位置灰度值的计算,如式(1),其中gradient X,gradient Y分别表示像素点在水平和垂直方向上的梯度,V表示梯度幅值,a为梯度方向角度.

若目标旋转,则对应每个像素点水平和垂直方向的邻点便会发生改变.为了获得旋转不变的梯度,对梯度进行近似RGT变换.

图7 近似RGT变换示意图

向量g,r,t分别表示像素p的梯度向量,径向方向单位向量和切向方向单位向量.为提高运算效率和计算过程的简便性,不用对每一点像素求r,t.以45度为分割节点,将目标图像划分为八个区域,region1～region8,region i的像素点使用r[i],t[i]方向分别作为该像素点的径向和切向单位方向向量.

表1 各向量的表示

经过对梯度的重新定义,像素点RGT梯度幅值和角度的计算公式如下.

3.3 旋转不变HOG特征提取

旋转不变HOG特征的提取过程与传统方法类似,分为以下几步:

Step1.图像通过尺度变换,得到32*32大小的目标图像;

Step2.将目标图像进行圆形划分;

Step3.计算经过RGT变换后的各像素点的梯度幅值和方向;

Step4.相邻两个圆环的HOG特征连接为一个block特征,并对其进行归一化;

Step5.所有block特征连接,构成缺陷图像的HOG特征.

在汤彪[6]的研究中,作者使用的目标图像大小为100*100,影响HOG特征维数的参数有三个:binNum角度的等级划分数、Angel角度范围、width环宽.作者令binNum为9,Angel为180度,width为10,经过这样的定义,一幅实验目标图可划分为10个cell区域,从而可得到一个90维的HOG特征向量.这样划分的缺点在于,图像固定区域划分,各个block之间并无重叠,也就是说,一个像素点的梯度只影响一个block的HOG特征组成.在此,本文定义了一个全新的能反映block重叠程度的参数P,以便在统计结果时更直观地观察到block重叠对正确率的影响.

P值越大,则表明各相邻block之间的重叠面积越大.

block有重叠,意味着同一像素点会出现在不同block的特征描述子中,所反映的信息量便会更多.

引入另外一个参数skipStep扫描步长,可以很好地控制各个block重叠范围的大小.环宽width越大,扫描步数skipStep越小,block之间的重叠区域越大,得到的HOG特征维数就越多.维数计算公式为式(4),其中height表示目标图像宽度,本次实验中height为32个像素大小.

本文提取的HOG特征维数与四个参数的选择有关,梯度方向等级划分数binNum、角度范围Angel、环宽width、扫描步长skipStep.本次实验选择binNum=9,Angel=180,得到的各方向梯度幅值图像如图8至图12所示.

图8 尺度变换后32*32的图像

图9 水平方向梯度图像

图10 垂直方向梯度图像

图11 径向方向梯度图像

图12 切向方向梯度图像

4 PCA降维

为剔除冗余信息并提高运算效率,在使用支持向量机进行分类之前,需要对提取到的HOG特征进行PCA降维,PCA降维即主成分分析法[7].这里需要注意的是,PCA降维是对所有类型样本统一进行降维,包括各类训练样本和测试样本.PCA降维过程分为以下几步:

Step1.计算HOG矩阵不同维度的协方差矩阵;

Step2.计算协方差矩阵的特征向量和特征值,并将特征值按照从大到小的顺序排列;

Step3.选择前n维特征,使其贡献率刚好高于或等于95%.

当binNum=9,Angel=180时,多次改变扫描步数和环宽的大小,PCA降维后的HOG特征维数如表2所示.

5 LSSVM缺陷类型识别

选取各类样本的3/5作为训练样本,2/5作为测试样本,采用LSSVM模型进行识别.

表2 PCA降维后的维数

为说明HOG特征的相对性优点,我们将基于形态特征和灰度特征的识别结果与本次实验结果做对比.

5.1 基于形态特征和灰度特征的识别结果

提取所有样本的六维形态和灰度特征,计算公式如表3所示.

表3 样本形态与灰度特征提取

实验样本数目分配、输出编码方式以及实验结果如下表所示.

表4 样本分配与实验结果

根据实验结果,未熔合,烧穿的识别正确率最高.误识别率较高的情况有,夹渣和气孔混淆识别,气孔和咬边混淆识别.虽然实验结果较好,但是随着数据集的扩大,样本差异性的减小,在实际使用过程中的识别率相比较实验结果会更小.

5.2 基于旋转不变HOG特征的识别结果

将经过PCA降维后的样本使用LSSVM模型进行识别.选取binNum=9,Angel=180变化扫描步数和环宽,所对应的识别结果如表5所示.

表5 基于旋转不变HOG特征的实验结果统计

由实验结果可知,在一定范围内,block重叠范围越大,整体识别正确率越高,当block重叠率达到75%时,所提取到的HOG特征所包含的信息量足够丰富,整体识别的正确率较高.继续升高重叠率会导致信息冗余过大,正确率下降.因此,整体而言,本文所提到的方法相比较传统的提取缺陷灰度和形态特征的识别方法更具有优势.

6 结论

通过改变细胞划分方式在传统HOG特征的基础上提出一种改进的特征提取方法,使其具有旋转不变性特征,并在此理论的基础上使用LSSVM模型对缺陷进行识别.通过与灰度和形态特征识别方法的对比,以及对该方法参数变化与识别正确率关系的分析,得到以下结论.

(1)相比较基于缺陷灰度和形态特征的缺陷识别方法,本文提出的算法可根据各参数的设置来提高其适用范围.

(2)尺度归一化方法,和圆形细胞的划分方式,打破了传统HOG特征不具有尺度不变性和旋转不变性的局限.

(3)在对旋转不变HOG特征的研究过程中发现,在一定范围内,block快重叠范围P越大,正确率小幅度上升,当块重叠率达到75%时,识别率最高.

在今后的实际使用过程中,可通过调节各个参数来达到缺陷类型识别的目的.

1杨川.焊缝缺陷图像特征提取研究[硕士学位论文].武汉:武汉理工大学,2010.

2罗来齐.管道缺陷检测与识别方法研究与实现[硕士学位论文].镇江:江苏大学,2016.

3Cui WC,Chen S,Yu TS,et al.Feature extraction of X-ray chest image based on KPCA.Proceedings of the 2nd International Conference on Computer Science and Network Technology (ICCSNT).Changchun,China.2012.1263-1266.

4Daum W,Rose P,Heidt H,et al.Automatic recognition of weld defects in X-ray inspection.British Journal of Nondestructive Testing,1987,29(2):79-81.

5罗滨,朱长仁,任云,等.基于主方向的旋转不变HOG特征.现代电子技术,2015,38(22):84-87,90.

6汤彪,左峥嵘,李明.基于旋转不变HOG特征的图像匹配算法.中国科技论文在线,http://www.paper.edu.cn/releasepaper/content/201301-1025.

7Ashour MW,Khalid F,Halin AA,et al.Machining process classification using PCA reduced histogram features and the support vector machine.Proceedings of 2015 IEEE International Conference on Signal and Image Processing Applications (ICSIPA).Kuala Lumpur,Malaysia.2015.414-418.