一种钢坯表面喷印字符图像分割算法

黄春晖, 赵其杰,2, 柯震南

(1.上海大学机电工程与自动化学院,上海200444;2.上海市智能制造及机器人重点实验室,上海200072)

在钢坯表面喷印、刻印标识字符,通过对标识字符的跟踪识别实现生产和物流的自动化已经得到了钢铁企业的广泛关注[1].由于钢坯生产环境存在高温、危险等不便于人工作业的情况,通过摄像机采集图像来检测识别钢坯表面的喷印字符具有一定的应用前景[2-3].喷印在钢坯表面的字符不同于印刷字符.喷印字符往往存在黏连、断裂等问题,因而从图像中正确分割出字符区域及单个字符图像对于提高字符识别率有重要的意义.

针对喷印在钢坯表面的字符图像分割问题,已经开展了相关研究.Choi等[4]构造了一种基于边缘检测及特征提取的方法,定位并分割喷印字符.洪汉玉等[5]提出了一种基于投影不变量特征的字符定位方法,在复杂光照下能有效实现钢坯喷印字符的检测.李潘等[6]提出了一种基于先验指导的投影分割方法,解决了钢坯喷印字符分割的问题.Nov´ak等[7]用模糊逻辑方法分析了冷热态钢坯的字符缺损.Zhao等[7]基于颜色信息定位了钢坯喷印字符串图像区域,并对已定位的字符串图像进行了倾斜校正,进而实现了对喷印字符的图像分割.以上研究工作为钢坯表面喷印字符的分割打下了基础,但受钢坯生产和字符喷印复杂工况的影响,钢坯表面喷印字符的黏连、断裂及细线噪声干扰等仍然是影响字符分割,造成误识别的主要原因[8-11].

在前期工作的基础上,本工作重点研究了在钢坯表面喷印字符图像存在多种缺陷情况下的分割方法.基于字符图像特征,本工作设计了图像增强和滤波算法,构造了掩膜和二次分割算法改进钢坯表面喷印字符在黏连、断裂、细线噪声干扰等情况下的分割效果,为后续提高钢坯表面喷印字符的在线识别创造条件.

1 实验方法

为了从图像中分割出钢坯表面喷印字符,获得有序单字符区域集合用于字符识别,本工作提出的图像分割算法如图1所示,包括图像预处理、字符串定位、单字符分割、字符修复等由粗到精的逐步分割步骤.在图像预处理阶段,构造了基于灰度值变换的自适应图像增强算法,其中灰度化包含字符的图像,去除了冗余信息,解决了因图像对比度差造成的分割问题,并利用中值滤波平滑字符信息来滤除随机噪声的干扰.在字符串定位阶段,设计了对光照不敏感的自适应阈值算法,初步定位了字符区域,解决了工业现场字符图像光照不均造成的分割问题.

本工作通过连通域分析算法初步分割了单字符图像,并构造了基于形态学处理、连通域分析及二次分割的综合处理算法,解决了因黏连、断裂造成的错误分割问题,其中二次分割主要依据字符图像的宽度信息实现.此外,本工作还构造了一种掩膜保护字符的滤波算法,解决了细线噪声干扰的分割问题,以达到修复字符的目的,实现对字符的正确分割.

图1 喷印字符图像分割算法Fig.1 Image segmentation algorithm for painting characters

本工作通过构造基于灰度值变换的局部自适应增强算法(见式(1)),放大了某像素点灰度值与以该像素点为中心的wm×hm区域局部像素点集灰度值均值的差值,增强了图像中的高频区域,锐化了图像,解决了对比度差的问题.

式中:(r,c)为第r行,第c列像素点的坐标值;gresult为经过局部自适应增强算法处理后的灰度值;g为处理前的灰度值;gmean为以该像素点为中心的wm×hm区域局部像素点集灰度值的均值;wm,hm取值由字符线宽确定;f为增强因子,用于调节图像中字符与背景的对比度.

本工作设计了基于图像差分的自适应阈值算法定位字符串(见式(2)),利用图像前景与背景的灰度值差值,确定前景区域,即字符区域.以原始像素值与背景均值的差值作为区分前景的特征值,将差值大于阈值的所有像素点的集合作为字符区域R,初步确定字符串位置,其背景通过均值滤波提取.滤波器的尺寸决定了能被分割出来的物体的尺寸,因此需要根据字符大小设计滤波器.

式中,R表示最终提取的字符串区域,gback表示背景灰度值,threshold表示灰度阈值.

2 分割算法

针对字符串定位提取的字符区域R如图2所示.本工作基于如式(3)所示的形态学处理设计了单字符分割算法.图3为包含断裂情形的图像分割处理过程,图4为包含黏连情形的图像分割处理过程.首先,利用矩形结构元素(structure element,SE)模型执行二值形态学的开运算,处理字符区域R存在的轮廓粗糙问题.其次,设计了矩形结构元素及倾斜的矩形结构元素模型执行二值形态学的闭运算,处理字符在各个方向的轻微断裂及轻微缺损问题,获得字符串Rstring.再次,对Rstring使用高度为字符高度,宽度为0的矩形结构元素进行处理,处理断裂缺损较严重的情况.之后,提取连通域,初步分割单字符区域,获得单字符区域集Rchars1[],再通过二次分割,解决黏连问题.最后,与经过开运算处理的Rstring取交集,恢复被破坏了的字符结构,得到单字符区域集Rchars2[].最终的分割处理算法如式(4)所示.

式中:Rect(w,h,θ)为宽为 w,高为 h,倾斜角为 θ◦的矩形结构元素模型;ROpen(S),RClose(S)分别表示使用结构元素S对区域R执行开运算或闭运算操作,得到的结果仍然是区域;RConnect()表示连通域运算,提取相互连通的区域,得到区域集合;RPartition()表示对区域集合R进行二次分割.

图2 字符区域RFig.2 Region of the characters R

图3 字符断裂图像的分割过程Fig.3 Segmentation process of the disconnected character image

图4 字符黏连图像的分割过程Fig.4 Segmentation process of the adhering character image

图5 含有细线噪声的字符图像处理Fig.5 Procedure of character image segmentation including thin line noises

本工作构造的二次分割算法实现如下:根据字符串图像的宽度wRstring和字符的个数nchars,计算出单个字符的平均宽度wm=wRstring/nchars;通过特征提取,统计单字符区域集Rchars1[]中各个区域的宽度w[];计算字符宽度w[i]与平均宽度wm的商,并以四舍五入的方式取整为n,n=round(w[i]/wm),若n>1,则认为字符黏连;在n−1个n分点位置左右移动0.2倍平均宽度范围的2k+1列区域,其中k=round(wm×0.2),进行竖直方向的投影,即沿竖直方向对该列的特征函数进行积分,得到如式(5)所示的积分结果f(t).

式中,I表示图像,(r,c)∈I表示像素点(r,c)在图像上,Ct表示图像第t列像素点的纵坐标,h为图像高度,χ(r,c)为特征函数,取值{1,0},1表示像素点(r,c)在区域上.通过式(6)确定投影的波谷位置l,即令f(t)取得最小值的位置为分割线.

本工作提出了一种掩膜保护字符的滤波算法来解决细线噪声干扰问题,具体流程如图5所示.首先,将黏连断裂处理算法最终获得的单字符区域集Rchars2[]执行区域合并,用RUnion()表示,并使用足够宽的矩形结构元素执行二值形态学的闭运算,将字符串区域整合成一个封闭整体,从而使字符串与细线噪声区别显著.其次,使用足够宽的矩形结构元素执行二值形态学的开运算,进而通过滤波滤除细线.最后,Rchars2[]与滤除细线后的区域取交集,恢复字符结构,获得滤除细线噪声干扰后的单字符区域集Rchars3[].算法描述如式(7)所示.

3 实验验证

为了验证所提出算法的有效性,在上海某钢厂生产现场搭建了实验平台(见图6),在线采集喷印在连铸钢坯表面的字符图像.实验设备包括多喷头金属喷印机、SQ-S20C-H30彩色摄像机、接近日光色并具有防水、防尘、耐高温的金属卤素灯、MIDOPT FS100滤光片和个人计算机.采集的图像分辨率为400×130,包含需识别的8位数字字符,字符串所处位置具有235×50的分辨率.图7为实验采集到的钢坯表面喷印字符图像实例.由于复杂的生产环境,采集的图像普遍存在对比度低、黏连、断裂、细线噪声干扰等问题.

图6 实验环境Fig.6 Experimental environment

图7 采集的样本图像实例Fig.7 Captured experimental samples

利用本算法设计了图像分割软件.软件具有图像显示区域,可选取各个中间过程的结果进行显示,实现处理单张样本、批处理所有样本并存储结果到数据库,中间过程以图片格式保存到计算机.本实验处理的总样本数为1 425个,主要包含黏连、断裂、细线噪声干扰等问题,并分别记录了相应的处理结果.图像增强结果如图8所示,其他各类问题图像的处理效果如图9∼11所示,其中分割出的每个字符用不同的颜色标出.直接根据连通域进行图像分割是比较简洁高效的算法.为比较分割效果,本实验中对同一对象分别采用连通域分割和本算法处理的结果进行了对比,部分结果如图12所示.最后对分割的结果进行了统计,其中表1记录了分割正确率统计结果,表2就本算法与其他算法的分割正确率进行了对比.

图8 字符图像增强处理效果Fig.8 Processing results of the character image enhancement

图9 断裂类字符分割结果Fig.9 Segmentation results of the disconnected character images

图10 黏连类字符分割结果Fig.10 Segmentation results of the adhering character images

图11 细线噪声干扰字符分割结果Fig.11 Segmentation results of the character images with thin line noises

表1 分割结果统计Table 1 Statistical results of the segmentation

表2 本算法与同类算法的比较结果Table 2 Comparative results of the algorithm and other similar algorithms

从图9可以看出,由于字符喷印质量问题,图9(a)中第三个字符存在明显的断裂现象,二值分割结果(见图9(b))中字符“7”,“5”,“4”断裂信息明显,经过处理后得到了正确的分割结果(见图9(c)).从图10和11针对黏连、细线噪声干扰问题的处理结果可以看到,原图经过二值分割处理后可以定位出字符串,但字符黏连和细线噪声干扰也很明显.利用本算法进行分割后,黏连和细线噪声干扰对分割结果造成的影响较小,不同的字符均得到了正确的分割,并以不同颜色标出(见图10(c)和图11(c)).从图12可以看出,对比直接使用连通域分割单字符,本算法对于钢坯表面字符的处理具有良好的效果,减少了对不完整字符的错误分割情况.根据表1的数据分析,本算法在断裂、黏连和细线噪声干扰情况下分割的正确率较高,分别达到了98.3%,99.6%,97.9%,分割结果的平均正确率为98.9%.另外,从表2的对比分析结果可见,与本领域其他分割算法比较,虽然在分割正确率方面差异较小,但本算法重点解决了热态喷印字符图像中常见的黏连、断裂、细线噪声干扰问题.这些结果均表明,本算法在解决钢坯表面喷印字符的分割方面有较大的意义.

4 结束语

钢铁企业的制造过程工艺复杂、生产周期长,提高信息化管控可以提高生产效率、降低成本,对提高企业的市场竞争力具有重要意义.本工作针对钢铁企业信息化系统运行过程中物料编码的信息提取进行了研究.钢铁企业的工作环境往往存在高温、危险,无法近距离作业等干扰因素,因此需要通过机器视觉远距离采集钢铁材料表面的编码信息.本工作主要研究了字符图像的预处理及分割方法.首先,结合喷印字符特点,构造了局部自适应增强算法,并结合滤波进行图像预处理.其次,通过背景提取及图像差分构造对光照不敏感的局部自适应阈值算法定位字符串.针对字符常见的黏连、断裂、细线噪声干扰等问题,通过连通域分析改进了形态学方法,并结合投影法构造了黏连断裂处理算法及掩膜保护的细线噪声处理算法,实现了由粗到精的分割,改善了字符分割效果.通过对钢厂现场采集的图像进行实验,验证了本算法对于钢坯表面喷印字符分割较强的适用性.