采用非经典感受野交互的钢轨紧固件螺母中心多特征分级定位算法

彭智勇,马子骥,王超,刘宏立

(湖南大学电气与信息工程学院,410082,长沙)

钢轨紧固件对于保证铁路安全来说至关重要,传统的更换和检修紧固件的方法是通过人工方式。通过人工方式对钢轨进行检修效率低且危险系数高。随着机器视觉的发展,人们提出了一些通过视觉的方法自动检测紧固件缺失和失效的方法。Marino等提出了一套实时六角螺母检测系统,采用离散小波变换和多层感知机分类器[1];Yang等提出了一种基于方向场的模板匹配紧固件缺失检测方法[2];Xia等采用Adaboost算法来检测紧固件损坏情况[3];Fang等提出了直线局部二值模式LLBP算法,利用二值化图像特征检测紧固件是否缺失[4];Gibert等利用紧固件图像的梯度直方图HOG特征,采用SVM算法进行紧固件状态分类[5];Aytekin等采用高速3D相机来实现六角螺母实时检测[6];Mazzeo等利用小波变换和主成分分析法对紧固件图像进行预处理,然后通过分类判断六角螺母是否缺失[7];Singh等引入自动视频分析技术,结合图像处理和分析方法实现扣件状态检测[8]。然而,这些算法的目的都在于判定紧固件是否缺失或者损坏。为了搭建一套能够自动更换磨损和失效紧固件的系统,有必要对紧固件中的六角螺母中心位置进行精确定位。对于紧固件整体的定位,谢凤英等提出一种利用互信息的模板匹配紧固件定位法[9];刘甲甲等利用钢轨和轨枕位置信息,采用交叉定位方法分割出紧固件子图像[10]。通过紧固件的整体定位获取紧固件子图像,在子图像上对紧固件六角螺母的中心进行定位,可以减少原始图片大小,提高算法时间效率。

Li等提出了一种基于Canny算子和霍夫变换的六角螺母定位方法[11],该方法的应用背景不同于钢轨紧固件环境,该方法中检测的是用于电力系统的六角螺母,可以获得较为清晰的原始图片,而在铁路系统中,紧固件受阴影、污渍、铁锈以及碎石的影响,难以获得干净完整的图像。实验结果表明,简单地使用Canny算子和霍夫变换来定位紧固件,定位结果准确率低,不能满足要求。图1给出了一幅钢轨紧固件的现场照片和Canny算子处理结果。原始图片中的紧固件受油渍和其他杂物的影响,从Canny算子处理结果可以看出,大部分有效轮廓都被淹没在背景噪声中。

本文提出了一种基于轮廓特征的定位方法,需要正确提取出六角螺母的边和垫片的圆轮廓。Grigorescu等提出了一种生物视觉启发轮廓检测模型,即非经典感受野(NCRF)模型[12]。NCRF模型能够有效抑制纹理和噪声并保留物体真实轮廓。本文首先针对紧固件的特征对NCRF模型进行改进,提出适用于紧固件结构的R-NCRF模型,能够有效地抑制紧固件轮廓检测中的噪声,接着使用霍夫变换检测垫片的圆轮廓和六角螺母的六角边,最后结合圆轮廓和六角边轮廓来精确定位六角螺母中心。

(a)现场照片 (b)Canny算子处理结果图1 钢轨紧固件照片及Canny算子轮廓检测结果

1 六角螺母中心定位算法

1.1 R-NCRF模型

NCRF模型是一种模拟生物视觉系统的轮廓检测算法,旨在抑制纹理并保留物体轮廓。Grigorescu等提出了各向同性抑制和各向异性抑制两种非经典感受野抑制模型[12]。Tang等在此基础上提出了一种蝶形NCRF模型[13],加入端区刺激效应。其他改进模型也被相继提出[14-17]。许庆功提出了一种结合人眼视觉特性的Roberts自适应边缘检测算法[18],该算法提高了抗噪能力,然而,由于Roberts算子是一种局部梯度算子,提取轮廓的能力有限。

蝶形NCRF模型由位于中心的经典感受野(RF)区域和周边的NCRF区域组成。经典感受野区域包含一个特定方向的Gabor滤波器,非经典感受野包括侧抑制区和端刺激区。图2给出了蝶形NCRF模型示意图。

图2 蝶形NCRF模型

刺激响应能够促进轮廓聚集,在蝶形NCRF模型中位于端刺激区中的所有点都会对中心点产生刺激效果,距离和方向对比度越小,对中心点的刺激作用越强烈。然而,针对紧固件轮廓检测任务,需要提取的轮廓特征是已知的,即六角形和圆。因此,本文对一般的蝶形NCRF模型进行改进,使之更好地适应紧固件检测的需求。

具体来说,对于六角边轮廓,只有与中心共线的点才对中心产生刺激作用。共线点的刺激作用使得处于同一直线上的点相互加强,突出了直线轮廓。对于圆来说,与中心点处于同一圆弧的点对中心产生刺激作用,使得位于同一圆轮廓上的点相互加强,突出圆形轮廓。在系统中,相机高度固定,因此图像中圆的半径固定。在已知圆半径和点的方向后,点所在的圆弧可以通过几何关系确定。图3给出了点所在的圆弧路径。其中,θ是Gabor能量方向,R1、R2和R3是刺激路径,由两段圆弧和一条直线段组成,在此路径上的点对点M有刺激作用,刺激大小取决于路径上的点与M点之间的距离和Gabor能量方向对比度。

图3 半径和方向信息确定点所在的圆弧

同时检测六角边特征和圆特征,总的刺激能量表示如下

ioc(x,y;θ)]

(1)

式中:WDOG(x,y)是归一化的高斯差分函数,用于调节距离对中心的影响权重;E(x,y;θ)是Gabor能量;ioc(x,y;θ)是方向对比度;R是刺激路径,包括R1、R2和R3,只有在此路径上的点才会对中心有刺激效果。

在非经典感受野区域中,除了刺激路径以外的其他区域都作为抑制区。刺激路径在整个非经典感受野区域中所占比例很小,为了简单起见,把所有非经典感受野区域都视为抑制区,等效于各向同性抑制。抑制能量表示如下

(2)

总的能量响应为

Er(x,y;θ)=E(x,y,θ)+

β1Ee(x,y,θ)+β2Ei(x,y,θ)

(3)

其中β1、β2分别是刺激能量和抑制能量系数,用于控制其对中心点的影响程度。计算出所有点的能量响应后,使用Canny算子中的非极大值抑制和滞后门限处理流程得到轮廓二值图像。路经非经典感受野(R-NCRF)模型如图4所示。

图4 R-NCRF模型

对于图像中位于噪声区域中的点,周边噪声的分布无规律性,刺激路径上的刺激总能量较小,如图5a中的A点。当点位于刺激路径上时(如图5a中的B点位于直线轮廓上),中心点从刺激路径上获得的总的刺激能量较大,加强这些位于给定形状路径上的能量响应,可从背景噪声中突出紧固件中垫片的圆形轮廓和六角螺母的边轮廓。

1.2 多特征分级定位(MHL)算法

利用R-NCRF模型得出图像轮廓结果作为中心定位的输入图像,图6给出了一幅应用R-NCRF模型得出的轮廓检测二值结果。通过轮廓检测算法得出的轮廓一般是不完整的,例如图6只保留了部分轮廓特征,圆轮廓和六角边轮廓有缺失。

中心定位的下一步是从这些不完整的轮廓中准确定位出六角中心,利用的特征越多,定位的鲁棒性和准确性越好。多特征分级定位算法结合垫片的圆轮廓特征和六角螺母的六角边特征来定位螺母中心。

(a)位于不同区域的两点

(b)周边能量总和

(c)总的能量响应图5 R-NCRF模型原理示意图

(a)现场照片 (b)R-NCRF处理结果图6 钢轨紧固件照片及R-NCRF轮廓检测结果

研究发现,圆轮廓特征通常比较稳定,因此首先选取圆轮廓来进行初步定位。应用霍夫圆变换检测出垫片的圆轮廓,然后利用霍夫概率直线检测算法[19]检测位于圆内的所有线段,这些线段是六角边的候选边。六角形的各条边之间存在约束关系,称之为角度约束,即任意两条边之间的夹角满足0°、60°、120°中的一种。候选边中的每条边都和其他所有边有交点,当交角满足角度约束关系且交点落在圆内时,交点被选为候选顶点。

六角形的顶点之间也存在约束关系,称之为距离约束,即任意两顶点之间的距离满足一定条件。以图7为例,任意两点间的距离满足AB、AC、AD中的一种。相机高度固定时,3种距离值也随之确定。利用距离约束,可以从候选顶点中选出正确的六角顶点。

图7 角度约束和距离约束

采用投票法从候选点中选出正确顶点。每一个候选顶点给其他候选顶点(例如点B)投票,当点B到此顶点之间的距离不满足距离约束时,点B将会获得一票。错误的候选点和其他所有顶点之间的距离一般不满足距离约束条件,因此将会获得其余所有点的投票。正确候选点之间满足距离约束关系,因此正确的候选点不会获得来自其他正确候选点的投票,所获得的总票数更少。

已知六角形的两个顶点即可通过几何关系求出六角中心,已知3个顶点可求出3个六角中心。对多个六角中心取均值可减小误差,提高鲁棒性。多特征分级定位算法综合利用多种特征,由粗到精逐级提高定位精度。首先选出两个得票最少的点,求出六角中心O1。若O1与圆心O之间的距离d1小于给定阈值,即d1=O1O<ε时,认为O1定位正确,O1作为六角中心定位位置,否则以圆心作为六角中心定位位置。若O1定位正确,选出第3个得票最少的顶点,与前面两个点组成一个点三元组。三元组中的点两两连成一条线段,作线段的中垂线。三条中垂线交于三点,取三点的均值坐标作为中点O2,计算O2与O1之间的距离d2,若满足d2=O2O1<ε,认为O2定位正确,把O2作为新的六角中心点。为了叙述方便,本文中把定位到圆心的精度水平称为C0级,通过两点定位到的中心精度水平称为C1级,通过3个点定位到的中心精度水平称为C2级。一般情况下,定位精度C2>C1>C0。

2 六角螺母中心定位实验

2.1 仿真噪声图实验

R-NCRF模型能够有效地抑制背景噪声并加强紧固件轮廓。首先使用合成的椒盐噪声图片来模拟紧固件杂乱的工作环境和各种干扰。分别使用Canny算子、蝶形NCRF模型和R-NCRF模型对噪声图片进行轮廓检测,然后使用霍夫变换算法检测圆。图8给出了信噪比为0.4时3种算法的噪声图轮廓检测结果。

(a)S为0.4时的加噪图像 (b)Canny算子

(c)NCRF模型

(d)R-NCRF模型

从图8可以看出,与蝶形NCRF模型相比,R-NCRF模型加强了圆轮廓和直线轮廓,R-NCRF模型的刺激区由扇形缩小为3条刺激路径,扩大了抑制区范围,对轮廓的形状更有针对性。

2.2 不同条件下的圆轮廓检测

真实工作环境下的紧固件主要受阴影、背景杂物、表面污渍和铁锈的影响,下雨天气导致的紧固件表面积水也会影响轮廓检测。本实验对各种情况分别采集了100幅图片,比较Canny算子、蝶形NCRF和R-NCRF3种模型的圆检测准确率。圆检测准确率是正确检测出垫片圆轮廓的图片和总图片数量的比值。如果用T表示正确检测到圆轮廓的图像数,N表示圆轮廓检测错误的图像数,则圆检测准确率为

P=T/(T+N)

图9给出了不同状态下的紧固件图片和不同算法的圆检测结果。表1给出了不同状态下3种算法的样本圆检测准确率。从表1中可以看出,同Canny算子相比,蝶形NCRF和R-NCRF的圆检测准确率有较大提升。检测结果受污渍影响最大,其次是阴影影响。表面污渍容易引起大尺度上的轮廓中断或改变轮廓的方向,在这些轮廓中断和方向改变的地方,刺激路径上的刺激能量减弱,降低R-NCRF模型的性能。相比之下,阴影情况下,轮廓虽然强度有所减弱,但是轮廓依然是连续的,刺激路径可以从连续的周边轮廓中获得刺激能量,加强这些受阴影影响的弱响应轮廓。

(a)无干扰情况 (b)受阴影影响 (c)受杂乱背景影响

(d)受表面污渍影响 (e)受表面水渍影响

图9 各种不同状态下的紧固件图片及圆检测结果

2.3 螺母中心定位

当定位出圆后,就得到了六角中心的C0级定位精度,接下来利用六角边提高定位的精度和鲁棒性。为了验证提出的六角螺母定位算法的有效性,首先选取一幅典型工作环境下的紧固件照片,观察多特征分级定位算法每一步的输出结果。为了叙述简洁,这里跳过两个点的C1级定位,直接选出3个顶点进行C2级定位。图10给出了紧固件螺母中心的多特征分级定位算法总体流程。图10a中原始图片中的紧固件受油渍、阴影、杂物和背景碎石的影响,选出的图片具有代表性。与图1中Canny算子的结果相比,采用R-NCRF模型的轮廓检测二值结果,大幅度抑制了噪声轮廓,而且保留了更多的有效轮廓特征。应用霍夫变换检测圆成功地定位到了垫片的圆轮廓;对圆内轮廓应用霍夫概率直线检测检出直线。利用六角边之间的角度约束选出候选边,候选边相交形成候选顶点。从图10e中可以看出,候选点中包含一个错误的顶点,利用六角形顶点之间的距离约束,选出3个正确的顶点。最后,利用3个顶点准确定位出六角螺母中心。

(a)原始图片 (b)轮廓二值结果 (c)霍夫圆检测

(d) 确定候选边 (e) 确定候选 (f) 通过投票法选 顶点 出正确顶点

(g)三顶点定位中心 (h)最终定位结果图10 螺母中心多特征分级定位算法总体流程

2.4 误差评估

针对中心定位精度达到C1级或C2级的图片,本文提出了一种误差评估的方法。由于工艺误差的存在,六角螺母并不是标准的正六边形,因此无法测量其真正的六角中心,这给误差评估带来了一定的困难。一般情况下,垫片中心和六角螺母中心重合。相机成像平面平行于垫片平面和六角螺母上表面,因此图像中的圆轮廓中心也应重合于六角形中心。实际情况下,由于误差的存在使得两个中心并不重合,这两个中心之间的距离可以用来衡量误差大小。假设圆心和六角中心之间的距离为d0,六角形对角线长度为L,则六角螺母中心定位的相对误差er=d0/L。

由于除了算法误差之外的其他误差存在,如垫片和六角螺母的加工误差、相机抖动导致成像平面与螺母表面不平行等,给出的相对误差评估方法只能作为误差数量级的一个参考。

从能够正确检测到圆轮廓的图像中选取100幅进行定位等级评估和误差评估,结果见表2。

表2 定位等级和误差评估结果

3 结 论

本文提出了一种基于图像的钢轨紧固件中心定位算法,该算法利用路径非经典感受野交互模型对图像进行纹理和噪声抑制,与蝶形非经典感受野模型相比,本文模型更好地保留了紧固件特征轮廓,正常条件下和光照影响条件下的圆检测准确率分别提高了3%和24%。多特征分级定位MHL算法结合紧固件的圆轮廓和六角轮廓的约束条件,从不完整轮廓中精确定位出了紧固件中心。对不同干扰情况下的图像定位结果进行分析比较,得出如下结论:

(1)针对钢轨紧固件特性设计的路径非经典感受野(R-NCRF)模型能够有效地抑制图像中的各种干扰噪声,加强紧固件中的圆轮廓和直线轮廓。尤其是在图像受光照不均影响时,该模型显著增强了阴影部分轮廓。

(2)通过紧固件圆轮廓和六角边轮廓之间以及六角形各边之间的约束关系,可以从不完全的轮廓中精确定位出紧固件中心。

利用本文提出的紧固件中心定位算法得到的紧固件中心位置信息可用于紧固件自动装卸系统,实现紧固件装卸的自动化。