基于数字图像处理技术的热障涂层形貌特征识别方法

刘宇虹韩越兴汪语嫣曾毅

(1.上海大学计算机工程与科学学院,上海200444;2.之江实验室,浙江杭州311100;3.中国科学院上海硅酸盐研究所高性能陶瓷与超微结构国家重点实验室,上海200050)

在热障涂层技术研究中,国内外大多数研究集中在工艺参数对热障涂层热导率的定性影响上[1].为了制备高性能热障涂层,需要创建热障涂层中片层铺展率、微裂纹长度等微观结构信息和工艺参数之间的定量关系,因此分析热障涂层形态是很重要的一环.

传统的热障涂层形貌特征检测由人工完成,效率低下.为了克服人工检测热障涂层形态的一系列缺陷,急需可靠的检测手段来自动化识别涂层中的片层及裂纹,并提取其中的几何信息.数字图像处理技术具有精度高、不影响图像品质、再现性强以及灵活性高等优势,可以应用在对图像中片层和裂纹的识别中[2-4].因此,本工作基于图像处理技术,提出合适的方法实现对热障涂层形貌特征的检测及几何信息提取.

在热障涂层图像处理中,存在很多难点.首先,由于涂层中同时存在裂纹和孔隙,需要先识别出孔隙,然后识别裂纹.在识别孔隙时,由于孔隙的边缘不规则,且不是完整的连通曲线,因此较难提取其轮廓;其次是干扰噪声较多并且杂乱,在去除噪声的过程中可能会影响孔隙的完整性;再者是部分孔隙内部有空缺,提取轮廓时需要确保不提取出内轮廓.在识别裂纹时,由于图像中干扰噪声多且杂乱,需要确保去除噪声过程中不会影响裂纹的完整性,这是需要解决的任务之一;其次,由于部分裂纹中存在少数像素点的缺失,并不是完整的连通曲线,计算机会将像素点缺失的裂纹曲线识别为多条断线,因此如何对这些断线进行连接修补,并将其识别为完整的一条裂纹,也是需要解决的一大难题;再者,裂纹的形状不规则,既有曲线也有较平缓的直线段,因此采取仅能识别直线段的方法并不可取,需要设计一种能检测各种形态裂纹的新方法.本工作旨在解决这些难点,实现对热障涂层形貌特征的自动化识别与分析,推动热障涂层领域的进步与发展.本工作的主要贡献如下:

(1)提出一种全自动、无需人工输入参数的热障涂层图像的片层分割算法,实验结果表明算法在处理热障涂层图像时分割效果良好;

(2)使用基于边缘跟踪的边缘提取算法,提取出每一个片层完整准确的轮廓,并对这些片层轮廓进行拓扑结构和形貌参数的分析计算;

(3)使用闭运算完成对涂层图像上断裂裂纹的修补,采用骨骼化算法对连接后的裂纹线条骨架进行提取,从而自动识别出涂层中的裂纹,并完成每一条裂纹的标注与长度计算.

1 相关工作

目前,有关热障涂层片层形貌特征的自动化识别与参数计算的研究较少,大多数研究集中在形貌参数的分析.为了计算热障涂层的孔隙率,最常用的加工技术是将喷涂完全的热障涂层垂直切成两半,取截面进行观察.基于图像处理的方法是可靠的热喷涂微观结构表征描述手段,是一种简单、通用、可靠和廉价的孔隙率表征方法.Deshpande等[5]利用扫描电镜获取图像上的不同阈值来确定热障涂层的孔隙率.Cook等[6]使用灰度阈值方法确定热障涂层测试图像上的孔隙率,精确度在0.5%以内.Caldas等[7]和Portinha等[8]不仅测试了涂层的孔隙率,还模拟了孔隙率沿涂层横截面演变的方式,在此基础上证明了小裂纹和片层间缺陷对总孔隙率的贡献相当小.Antou等[9]发现尽管计算涂层的总孔隙率水平很重要,对热障涂层性能也起着决定性作用,但只有这一个特征参数是不够的,裂纹的几何形状和连通性也必须进行量化表征,所以还需要对气孔裂纹的其他几何信息进行提取分析.尽管目前国内外学者通过不同图像处理方法对热障涂层的形貌特征进行了分析研究,但利用图像处理方法自动化分析形貌特征的研究仍然较少.

图像处理技术包括对图像进行分割、增强、除噪、压缩、编码、复原、提取特征等操作[10],在节约人力物力的同时,极大地提高了处理图像的效率,且处理精度高、实时速度快.在图像处理中,由于图像中的噪声会对后续工作造成不良影响,因此图像去噪不可或缺.图像去噪方法多种多样,并不统一,常用的方法有数学形态学方法[11]和滤波算法[12]等.边缘检测方法在图像处理中发展较为成熟,传统算法如Canny[13]、LoG[14]、DoG[15]已经能够很好地提取图像边缘.图像分割作为图像处理的一个重要分支已广泛应用于各领域.除了使用传统的阈值法、聚类法、分水岭算法等分割图像,随着近几年深度学习的快速发展,很多学者使用全卷积神经网络(fully convolutional networks,FCN)、U-NET等算法对各领域的图像进行高效分割[16-18].

在热障涂层的形貌识别研究中,图像去噪、图像分割、边缘检测均是必不可少的步骤.由于对热障涂层图像的分析是特定领域的任务需求,所以没有通用方法对图像进行处理.而本工作提出的基于图像处理的热障涂层形貌特征识别方法,可以对特定图像进行分析,不仅能高效完成对热障涂层微观结构的识别,也能精确计算出微观结构的形貌参数.本工作提出的方法取代人工检测热障涂层图像,克服了传统人工检测存在的工作量大、误差大、费时费力等缺点.同时,实验结果表明,本方法可以准确识别出涂层中片层的外轮廓和裂纹线条,且具有很强的抗噪声干扰能力.

2 热障涂层形貌特征的识别与形貌参数计算

2.1 热障涂层形貌分析

对热障涂层形貌特征的识别与形貌参数计算主要分为两个步骤:一是识别出涂层中的片层并绘制轮廓,同时计算形貌参数;二是检测出涂层中的裂纹并计算形貌参数.

图1是两张由扫描电镜拍摄的热障涂层图像及图像中孔隙和裂纹的局部放大.由图1(a)和图1(c)可以看出,片层的轮廓非常不规则,单个片层的外轮廓通常不相连;其次,在喷涂热障涂层时,四处飞溅的涂层粒子落在材料表面形成了许多杂乱无章的痕迹,这些痕迹在处理时都属于干扰噪声,需要在保证片层结构完整的前提下将这些噪声去除.同时,片层内部并不完全实心,而是存在一些孔隙,因此在识别时要避免识别出内轮廓.由图1(b)和图1(c)可以看出,除了存在黑色的不规则孔隙外,还存在大量裂纹,为方便后续裂纹检测,需要先去除孔隙;其次,还存在很多黑色的噪声点,这些噪声点会干扰裂纹的提取,因此要在保证裂纹完整的情况下去除这些噪声.同时,由于裂纹存在像素点的缺失,计算机会将一个裂纹线条识别为多条断线,因此需要对这些断掉的裂纹进行连接修补,并将其识别为正确的整条裂纹.

图1 热障涂层微观结构Fig.1 Microstructure of thermal barrier coating

2.2 片层轮廓的识别与形貌参数计算

片层轮廓自动识别和形貌参数计算的大体流程如下:首先,对图像进行预处理,将其转化为灰度图像;然后,使用Otsu阈值分割法[19]将图片二值化,并利用数学形态学技术进行图像分割;接着,采用基于边缘跟踪的边缘提取算法[20]提取出单个片层轮廓,此时需要根据轮廓信息提取出片层的最小外接圆;最后,根据每个片层的轮廓信息及最小外接圆信息计算并输出形貌参数.整体流程如图2所示.

图2 片层识别和形貌参数计算流程图Fig.2 Flow chart of splat identification and shape parameter calculation

2.2.1 图像预处理

由于对热障涂层图像的处理需要在灰度图的基础上进行,因此需要将原图转化为灰度图.使用颜色通道转换函数将原三通道三色RGB图像线性转化为单通道8位灰度图像.由示例图像(见图3(a))转化为灰度图像的结果如图3(b)所示.

图3 示例图像及其灰度图Fig.3 Sample image and grayscale histogram

2.2.2 图像分割

在分割热障涂层图像中片层的过程中,为了突显出热障涂层图像中待检测片层的轮廓,并且减少图像处理过程中的数据量,需要二值化待处理的图片.因为待处理图片的灰度直方图呈现明显单峰或一处峰刺,因此使用Otsu阈值分割法将灰度图转化为二值化黑白图.

Otsu阈值分割法是经典的最大类间方差法,是一种无参数无监督的阈值分割方法.Otsu阈值的计算流程简化描述如下:首先,计算影像的直方图,将0～255依次作为阈值,把直方图强度大于阈值的像素分为一组,把小于阈值的像素分为另一组;然后,分別计算这两组的组内方差,并把两个组内方差相加;接着,比较每个阈值下的组内方差和,总和最大的就是结果阈值;最后,以结果阈值为标准进行图像二值化操作,将灰度值大于此阈值的像素点赋为255,将灰度值小于此阈值的像素点赋为0.由于Otsu阈值算法建立在图像的灰度直方图基础上,并依据类间距离极大准则来确定区域分割阈值,因此能在最大限度内降低误分割概率.

由于图像中存在大量噪声,因此先使用基本的数学形态学方法去除大部分噪声.去除图像噪声必须建立在不破坏片层完整性的基础上,若直接对图片进行腐蚀操作,那么一部分片层结构也会被腐蚀,由于形态学基本操作都是非线性的,所以后期很难完整恢复片层轮廓.因此,为了防止后续腐蚀操作使目标片层出现断裂,要对图片进行形态学膨胀操作后再进行腐蚀,去除其中的干扰噪声,然后再次使用膨胀操作恢复去除噪声后的片层大致形态.

经过数学形态学操作后,虽然噪声大部分被去除,片层结构也被保留,但却丢失了部分片层的轮廓细节,因此需要将经过数学形态学操作后的结果图与原图的二值图进行逻辑与运算,从而在去除干扰噪声后的图片中重新引入片层的边缘信息.图像的逻辑与运算是将两幅二值图像的对应像素进行逻辑与,即

式中:C为目标图像;A和B为进行“与”操作的二值图像.此时还需再次进行膨胀操作,以填补片层内部的空白,便于在后续轮廓提取时外轮廓更容易被找到,且不会提取出内轮廓.经过上述步骤后,图像中仍然存在一些较小的孤立噪声,为了在保留片层边缘的前提下去除这些冲击噪声并且使片层边缘变得光滑,需要使用中值滤波.中值滤波法是一种基于排序理论的非线性平滑技术.对图像序列进行中值滤波,就是从输入序列中相继取出m(m为奇数)个数,然后将这m个数大小排序,取序号为中心点的那个数作为滤波输出.下面给出对一维输入序列{f1,f2,···,fi,fi+1,···,fN}进行中值滤波的计算方法,

中值滤波的运算过程简单且速度较快,使用该操作可以实现去除冲击噪声的目的.至此,图像分割步骤全部完成.

2.2.3 边缘提取

识别热障涂层图像中的片层轮廓需要精确定位到单个片层,提取每一个片层完整准确的轮廓,并分别对这些轮廓进行拓扑结构分析.针对涂层中的片层,除了要标记出片层轮廓上的像素点,还需要判定这些像素点属于哪一个片层轮廓,并将属于同一个片层轮廓的像素点连接起来形成完整的轮廓曲线,因此本工作使用基于边缘跟踪的轮廓提取算法提取片层的不规则轮廓.具体实现算法是Suzuki等[21]于1985年提出的用于分析二值化数字图像拓扑结构的轮廓跟踪算法,该算法实现简单且提取轮廓效果较好.由于在后续计算形貌参数时需要确定每个片层的外轮廓以获得面积、周长等参数,因此只需提取片层的最外层轮廓而无需提取内轮廓.

2.2.4 片层形貌参数计算

建立热障涂层微观结构信息和工艺参数之间的定量关系中必不可少的一步是计算涂层微观形貌参数.本工作主要计算的形貌参数是实度,实度即喷射粒子实占面积与其所占区域外接圆的比例,是影响热障涂层热导率的重要因素.通过片层的实度可以判断喷射粒子是属于泡泡形、花朵形还是圆盘形.因此,片层形貌参数的计算主要是实度的计算,即

式中:S代表片层实度;Ao代表片层的实际面积;Ab代表片层外轮廓的最小外接圆面积.由式(3)可以看出,计算片层实度的问题可以转化为计算片层的实际面积和片层外轮廓最小外接圆面积.

片层的实际面积Ao即片层外轮廓线内片层粒子喷溅实际所占面积.为了计算Ao,首先,生成一块与图像相同大小的纯黑画布,提取外轮廓列表中的一个片层外轮廓,标记外轮廓在原图片的位置,在纯黑画布中的相同位置绘制出该外轮廓并将内部填充为白色;然后,将所得图像与片层分割过程中逻辑与运算得到的结果图再次进行逻辑与运算,以保留完整的片层内部结构;最后,计算最终图像中白色像素点的数量,即为片层的实际面积.

为了计算片层外轮廓的外接圆面积Ab,首先需要找到片层外轮廓的最小外接圆.使用迭代算法查找给定轮廓的最小外接圆,首先,遍历所有点,找出最左、最右、最上、最下的4个点;然后,求出包围这4个点的最小圆的圆心和半径;接着,进行迭代,通过遍历所有点,检查是否存在出界点,如果没有出界点,则求出的圆就是最终所求;最后,找到轮廓的最小外接圆后,获取该外接圆的圆心坐标(x,y)和半径长度R,计算最小外接圆面积,

依次提取出轮廓列表中的每一个片层轮廓,按照列表索引为这些轮廓编号,根据上述方法分别计算每一个片层外轮廓对应的实际面积以及最小外接圆面积,将两个面积代入式(3)即可计算出对应片层实度.

2.3 裂纹的检测与形貌参数计算

热障涂层图像中裂纹自动识别和形貌参数计算的大体流程如下:首先,进行图像预处理,包括颜色通道转换、图像二值化;然后,采用数学形态学操作和平滑处理进行图像分割,提取出图像中的片层并去除,得到仅有裂纹的目标图像;接着,利用闭运算将目标图像中像素点缺失的裂纹断线进行连接,并去除部分噪声;之后,对连接后的裂纹线条进行骨架提取;最后,遍历搜索上一步结果图中的裂纹像素点,对裂纹进行检测,同时对检测到的裂纹标注序号,并计算裂纹长度.

2.3.1 图像预处理及孔隙去除

对待检测的热障涂层截面图像进行预处理,包括将RGB图像转化为灰度图像以及图像二值化.这里采用反二值化阈值处理和Otsu算法来进行二值化处理.采用数学形态学操作和平滑处理对预处理后的片层图像进行分割,提取出片层中的孔隙,确保目标片层的完整并消除干扰噪声.经过一系列膨胀、腐蚀、逻辑与运算后,再对图像进行中值滤波,得到只有孔隙的图像.将二值化后的图像与图像分割后的结果作差,得到仅有裂纹的目标图像.

2.3.2 裂纹断线连接

由于有些裂纹中存在少数像素点的缺失,并不是完整的连通曲线或线段,计算机会将一个裂纹线条识别为多条断线,因此需要使用数学形态学中的闭运算对这些断线进行连接修补,并去除片层图像上部分噪声黑点.在数学形态学中,闭运算被定义为先膨胀后腐蚀.闭运算通过填充图像的凹角来滤波图像,能够填平小孔,弥合小裂缝,而总的位置和形状不变.

2.3.3 骨骼化

采用骨骼化算法对连接后的裂纹线条骨架进行提取,即图像细化.细化是将图像的线条从多像素宽度减少到单像素宽度的过程.对裂纹进行骨架提取可方便后续的识别及长度计算.

2.3.4 裂纹检测及长度计算

根据已得到的裂纹骨架,遍历搜索片层图像中的裂纹像素点,对裂纹进行检测.首先,遍历寻找细化后片层图像中第一个裂纹像素点;然后,搜索相邻像素点,搜索时遵循前一个点到此点的方向,沿该方向搜索与此点相邻的下一个点,若没有这样的相邻点,则向两侧搜索;接着,重复搜索相邻像素点,延伸寻找裂纹曲线或线段,直至搜索到没有相邻点的像素点,则表示裂纹线条一端搜索完成;最后,根据检测到的裂纹线条对裂纹进行识别描绘,从而完成对每一条裂纹的标注与长度计算.裂纹标注与长度计算的详细步骤如下:首先,对检测到的每条裂纹随机上色、标注序号;然后,按照序号依次计算每条裂纹的长度,对小于设定长度阈值的无意义线段不予显示,其中裂纹长度由单像素裂纹线条的像素点求和计算得到,且长度阈值可根据需要灵活设定.至此,完成了对热障涂层中裂纹的几何信息提取,即对裂纹进行识别描绘、统计及长度计算.

3 实验结果

下面将在2类差别较大的热障涂层图像上测试本工作提出的方法.一类图像含片层较多,如图4所示;而另一类图像含裂纹较多,如图5所示.

本工作通过两个实验来验证所提方法的可行性和高效性.下面分别以图4(a)和图5(a)为实验对象,采用本工作提出的方法识别孔隙和裂纹,并计算形貌参数.

图4 含片层较多的图像Fig.4 Image with more splats

图5 含裂纹较多的图像Fig.5 Image with more cracks

3.1 实验一

图6是以图4(a)为原图进行实验的过程及结果图像.对原图进行二值化处理后,紧接着进行数学形态学操作,经过膨胀、腐蚀、再膨胀操作后,虽然大部分噪声被去除,但片层的轮廓细节也丢失了.然而,片层的轮廓细节被保留在了图6(b)的二值图中,因此将经过数学形态学操作后的图片与原图的二值图像进行逻辑与运算,可以在去除干扰噪声后的图片中重新引入片层的边缘信息.逻辑与运算的结果如图6(e)所示,可以看出片层的轮廓信息已被完整地保留下来.接下来进行第三次膨胀操作,目的是填补片层内部的空白,保证后续对外轮廓的提取不受内轮廓的干扰.第三次膨胀操作结果如图6(f)所示.为了去除图6(f)中仍然存在的孤立噪声,对第三次膨胀结果图使用滤波窗口为5×5的标准中值滤波,所得结果如图6(g)所示.至此,可以得到清晰完整的片层分割结果图像.

孔隙轮廓提取使用的是基于边缘跟踪的轮廓提取算法.可视化片层外轮廓的提取结果如图6(h)所示.可以看出,本工作提出的图像处理算法很好地将单个片层从热障涂层图像中提取出来,保留了片层边缘的细节信息、定位精度,而且具有很强的抗干扰噪声能力.

依照前述实度计算方法可以得到测试图片中的片层实度.实验的最终效果图如图6(i)所示,显示出外轮廓的最小外接圆以及片层轮廓编号.最后,按照片层编号输出对应的片层实占面积、最小外接圆面积和实度计算结果,部分计算结果如表1所示.

表1 片层形貌参数计算结果Table 1 Calculation results of splat morphology parameters

图6 片层识别过程Fig.6 Process of identifying splats

3.2 实验二

图7是以图5(a)为原图进行实验的部分关键过程及结果图像.首先,对图像进行二值化处理,按照前述提取片层的方法提取出孔隙后,将二值化后的图像与孔隙分割结果图作差,得到仅有裂纹的目标图像;然后,利用闭运算将像素点缺失的裂纹断线进行连接,并去除图像上部分噪声黑点,其中闭运算选择合适的核函数kernel,能够让裂纹断线连接得到最优效果,从而使后续的裂纹骨架提取和裂纹识别更加精确;最后,采用骨骼化算法对连接后的裂纹进行骨架提取,将裂纹细化成单像素宽度,方便后续通过计算像素点个数来计算裂纹长度.骨骼化后的结果如图7(b)所示,可以看出图像中只有裂纹的骨架,孔隙及部分噪声点已经去除.

对于细化后的裂纹图像,使用前述遍历搜索像素点方法检测每一个裂纹线条.图7(c)是裂纹识别标注结果,即对图像中大于等于设定阈值的裂纹进行标注和长度计算.裂纹长度阈值不同,显示的裂纹数量也不同,长度阈值可灵活设定.每条裂纹的长度由单像素裂纹线条的像素点求和计算得到.部分裂纹长度计算结果如表2所示.

图7 裂纹识别过程Fig.7 Crack identification process

表2 裂纹长度计算结果Table 2 Calculation results of crack length

4 结束语

本工作基于数字图像处理技术,以热障涂层实际研究图像为载体,提出一种热障涂层形貌特征识别方法.实验结果表明,本方法可精确识别片层及裂纹,具有很强的抗噪声干扰能力.

目前,很多目标识别方法都是针对特定任务来设计的特定处理方案,本工作所提出的热障涂层图像处理方法仅能检测固定光源、相机位置的同一类图像.鉴于现有实验数据,本方法仍存在较大提升空间.今后的工作重点是针对各类热障涂层图像数据,寻找一种较为通用的方案.同时,充分利用图像处理提取出的信息,构建形貌特征参数与涂层热导率之间的定量关系.