煤岩裂隙图像识别方法研究

郝天轩， 徐新革， 赵立桢

（1. 河南理工大学 安全科学与工程学院，河南 焦作 454000；2. 河南省瓦斯地质与瓦斯治理重点实验室—省部共建国家重点实验室培育基地，河南 焦作 454000；3. 煤炭安全生产河南省协同创新中心，河南 焦作 454000）

0 引言

煤岩内部裂隙结构的演化关系到煤炭资源安全开采和高效利用。煤层裂隙在成因上分为内生裂隙（也称割理）和外生裂隙（也称节理），在规模上分为宏观裂隙和微观裂隙[1]。煤层中裂隙分布会导致煤层渗透性各向异性，裂隙发育特征影响煤层瓦斯渗流优势，并影响瓦斯抽采和煤层气井的生产效率[2-3]。此外，煤岩裂隙发育会导致煤岩体自身的承重能力下降，致使煤岩体稳定性降低，引发煤矿安全事故。因此，研究煤岩体中复杂的裂隙系统对于巷道支护和瓦斯抽采有重要意义。

近年来，随着数字图像处理技术快速发展，国内外许多学者在图像裂纹识别方面进行了大量研究。H. Majidifard等[4]采用深度学习预测沥青路面破损状况，通过深度学习框架和谷歌街景图像自动检测、分类和分割9种类型的路面破损。Ju Huyan等[5]提出了一种路面裂缝深度检测网络架构，可检测具有复杂道路背景的多种裂缝，并对CrackDN、Faster-RCNN和SSD300这3种算法的性能进行了对比。刘勇等[6]通过分析裂隙形态特征定义了煤层裂隙判定系数，并给出了一种基于裂隙形态特征的识别方法，通过遍历不同的灰度阈值对煤层二值化图像进行裂隙识别。孙月龙等[7]采用数字图像处理技术批量处理煤壁裂隙图像，提取裂隙参数，得到煤壁上裂隙的倾角；根据采煤工作面、运输巷和回风巷之间的空间关系建立几何模型，以求出裂隙的产状，为煤层裂隙系统的快速统计提供了一种新方法。覃木广[8]基于Matlab图像识别技术，对王庄矿91-105工作面煤层裂隙进行了统计与分析，并利用数码相机拍摄煤层图像，分析图像特点，采取不同阈值范围进行二值化，识别出不同地质单元的裂隙参数，绘制玫瑰花图确定裂隙的优势方位。谢配红等[9]以贵州省余庆县大乌江镇郑家屋基崩塌地质灾害点为例，在高位灾害隐患点调研的基础上，运用Matlab图像识别技术，对危岩体裂隙分布规律进行半定性半定量的统计分析。张庆贺等[10]在研究复杂裂隙岩石变形破坏规律和裂隙扩展特征时，基于 YOLOv5模型，结合DIC（Digital Image Correlation，数字图像相关）云图，提出了一种智能精准识别动态裂隙的算法。

煤岩图像中灰度信息居多，裂隙区域与邻近背景区域区别不显著，且裂隙类别相对复杂，大小形态各异，因此煤岩裂隙识别难度较大。现有的图像裂隙识别方法未能综合考虑煤岩图像裂隙数量、位置、形态和类别等特点，难以获取裂隙有效信息。笔者在前人研究基础上，通过分析煤岩图像裂隙特征，对煤岩裂隙图像进行预处理，提出了一种基于U-Net网络对煤岩图像裂隙及类别实现像素级智能识别的方法。

1 煤岩裂隙图像预处理

采集鹤壁煤电股份有限公司第八煤矿掘进工作面煤层原始图像，可观察到图像中有多种不同的裂隙类型。为排除图像中无关信息对煤岩裂隙提取的干扰，选取图像中含有裂隙的部分作为ROI（Region of Interest，感兴趣区域），舍弃图像中顶板铺网、工作设备及无裂隙部分。

依次扫描煤岩裂隙图像的每一个像素，计算出图像的灰度直方图。因采集的煤岩裂隙原始图像相对较暗，其直方图分布集中在灰度级的低端，图像中裂隙与邻近区域的灰度级相近，不易区分。对此，将煤岩裂隙图像的直方图分布通过累积分布函数转换为近似均匀分布[11]，从而增强图像对比度，实现图像均衡化处理。

煤岩图像中除需要提取的裂隙特征外，其表面也具有一定的纹理特征。煤岩灰度图像中裂隙特征与纹理特征不易区分，需通过图像噪声处理提高图像质量，改善显示效果。经试验发现，高斯双边滤波方法对煤岩图像纹理噪声的处理效果较好[12]。但高斯双边滤波在滤除纹理噪声的同时，会弱化裂隙边缘信息，因此需通过图像锐化处理恢复或实现边缘信息增强。试验显示，采用拉普拉斯算子进行煤岩裂隙的边缘增强效果最好。数字图像函数的拉普拉斯算子借助各种模板卷积实现，基于二阶差分运算得到具有各向同性的双像素宽的边缘，一般不会出现伪边缘[13]，增强了裂隙图像的边缘信息，有利于进一步的裂隙识别处理。

煤岩裂隙图像预处理主要通过调用OpenCV库来实现，预处理结果如图1所示。

图1 煤岩裂隙图像预处理结果Fig. 1 Coal rock fracture image preprocessing results

2 煤岩裂隙数据集建立

井下光线不足，煤体自身颜色偏暗，煤岩体裂隙类别复杂且形态各异，准确识别裂隙类别需要一定专业知识，导致煤岩裂隙识别模型不能很好地通过图像分析进行裂隙特征区分，造成识别准确率不高。另外，图像中裂隙形态、产状、纹理特征等不够完整。基于上述情况，通过实地观测，记录采集图像的裂隙特征并分类，从成因和形态两方面入手[14-15]，构建煤岩裂隙数据集。该数据集共包含17种不同形态和组合关系的裂隙，经合并处理分为7类，每个数据都是经人工筛选出的具有相关裂隙种类的图像，具体见表1。

表1 煤岩裂隙数据集Table 1 Data set of coal rock fracture

经过图像筛选和预处理后，确定300张具有典型特征的图像。由于采集的图像样本有限，而深度学习模型训练需要大量样本[16-18]，所以需对数据集进行扩增。常用的数据集扩增方法包括旋转、缩放、裁剪、调整对比度、加入噪声等[19]。考虑煤岩裂隙图像的特点，为了有效保留图像裂隙特征，采用图像旋转方法进行扩增，如图2所示。最终确定1 200张图像构成煤岩裂隙数据集，将数据集按照8∶2随机划分为训练集和测试集，即960张图像构成训练集，240张图像构成测试集。

图2 煤岩裂隙数据集扩增Fig. 2 Data set amplification of coal rock fracture

采用Labelme软件对不规则形状的煤岩裂隙区域进行逐点分类标注，生成1 200张标注图像。部分分类标注后的可视化训练样本如图3所示。

图3 部分可视化训练样本Fig. 3 Part of visual training samples

3 煤岩裂隙识别模型设计

CNN（Convolutional Neural Network，卷积神经网络）是一种具有局部连接、权值共享特点的前馈神经网络[20]，其实质是搭建特征提取层和特征映射层，对数据进行卷积和池化操作，不断提取隐藏在数据集中的特征信息。CNN主要由输入层、卷积层、激活函数层、池化层、全连接层叠加而成。不同的 CNN结构对于不同问题、不同数据集具有不同的效果[21]。

为选择合适的CNN网络建立煤岩裂隙识别模型，选用主流的SegNet，DeepLab v3+，PspNet，U-Net模型对建立的煤岩裂隙数据集进行分类识别，结果见表2。可看出U-Net模型对训练集和测试集的识别准确率均最高。考虑U-Net模型结构简单，对于语义较为简单的多模态图像中高级语义信息和低级特征更加敏感，且对数量较少的数据集进行训练即可达到较好的识别效果[22]，本文选择以U-Net模型为架构建立煤岩裂隙识别模型。

表2 不同模型的煤岩裂隙识别准确率Table 2 Accuracy rate of coal rock fracture identification by different models

煤岩裂隙识别模型包括主干特征提取、加强特征提取、预测3个部分，如图4所示，网络参数见表3。

表3 煤岩裂隙识别模型网络参数Table 3 Network parameters of coal rock fracture identification model

图4 煤岩裂隙识别模型网络结构Fig. 4 Network structure of coal rock fracture identification model

1） 主干特征提取部分。大小为512×512的煤岩裂隙图像经输入层转换为矩阵，输入主干特征提取部分进行初步特征提取。该部分为卷积层和最大池化层的堆叠，通过卷积层_1（2层卷积）+池化层_1、卷积层_2（2层卷积）+池化层_2、卷积层_3（3层卷积）完成特征提取。

2） 加强特征提取部分。卷积层_3提取的特征图像经上采样_4进行2倍上采样，与卷积层_2+池化层_2提取的特征图像进行拼接。拼接图像经卷积层_5进行2层卷积，之后经上采样_6进行2倍上采样，与卷积层_1+池化层_1提取的特征图像进行拼接。拼接图像经卷积层_7进行2层卷积，最终得到与输入图像尺寸相同的特征图像。

3） 预测部分。选用1×1的卷积层_8进行通道调整，将特征图像通道数调整为煤岩裂隙标注类别数，利用Softmax函数对原始图像的各像素点进行分类，通过对比分类结果中每个像素点属于每个类别的概率与标签，完成网络训练。

由于煤岩裂隙图像数据集分类较多，为保证模型对每一类裂隙识别的准确性，同时考虑U-Net网络特征提取的特点，为减小模型训练耗时，采用迁移学习方式对数据进行迁移训练。

在煤岩裂隙识别模型训练过程中，采用随机梯度下降法和迭代优化策略，衰减率为0.96，学习率初始值为0.01，批量大小初始值为2。每次迭代时，采用早停法连续迭代10次，若识别准确率未增长，则结束迭代进程，将学习率乘以0.1，从而提高模型对图像中更细微特征的敏感性。批量大小会影响模型训练速度和效果，选择批量大小为2，4，6，8，10分别进行训练。在不同学习率和批量大小条件下重复训练10次，取识别准确率均值，结果见表4。根据训练结果，最终选用批量大小为6，学习率为0.000 1。

表4 煤岩裂隙识别模型训练结果Table 4 Training results of coal rock fracture identification model

选用精确率、召回率、平均交并比、类别平均像素准确率作为衡量模型性能优劣的指标。其中平均交并比和类别平均像素准确率均依赖于混淆矩阵、精确率和召回率。识别模型训练所得的混淆矩阵如图5所示，序号0—7分别表示背景、内生裂隙、张性外生裂隙、剪性外生裂隙、张剪性外生裂隙、压剪性外生裂隙、劈理、采动裂隙。

图5 煤岩裂隙识别模型混淆矩阵Fig. 5 Confusion matrix of rock fracture identification model

煤岩裂隙识别模型的评价指标如图6所示。可看出随着迭代次数增加，精确率和召回率逐渐增大，当迭代次数达到300以上时，精确率和召回率基本稳定，精确率均值为87%，召回率均值为92%，平均交并比大于85%且最高达90%，类别平均像素准确率大于80%且最高达90%，表明模型具有较强的边界拟合能力和较高的识别精度。

图6 煤岩裂隙识别模型的评价指标Fig. 6 Evaluation indexes of coal rock fracture identification model

4 煤岩裂隙识别及结果分析

采集井下开采现场的煤岩裂隙图像（采动裂隙）和实验室加载实验裂纹扩展图像（张性外生裂隙），对煤岩裂隙识别模型进行测试。图像经预处理后，输入训练后的煤岩裂隙识别模型，识别结果如图7所示（自左至右依次为原图像、识别图像、原图像与识别图像的叠加图像）。可看出煤岩裂隙识别模型可有效提取目标特征信息，并将其与背景特征信息区分；对于单一裂隙，能够准确确定较宽裂隙的形状和位置，但对小微裂隙和裂隙边缘及两端识别效果欠佳。综合来看，设计的煤岩裂隙图像识别模型具有一定的可行性。

图7 煤岩裂隙识别结果Fig. 7 Coal rock fracture identification model

5 结论

1） 采集的井下煤岩裂隙图像受一定条件的限制而呈现效果不佳，影响裂隙识别效果。采用直方图均衡化、高斯双边滤波、拉普拉斯算子等，对煤岩裂隙图像进行预处理，提高图像质量和后续裂隙特征提取及识别的准确率。

2） 对预处理后的煤岩裂隙图像进行裂隙分类，采用Labelme软件对图像进行像素级标注，建立煤岩裂隙数据集。

3） 通过实验，选用U-Net模型建立煤岩裂隙识别模型，采用煤岩裂隙数据集训练得出合适的批量大小和学习率参数。实验结果表明：当迭代次数达到300以上时，煤岩裂隙识别模型的识别精确率均值为87%，召回率均值为92%，平均交并比大于85%，类别平均像素准确率大于80%。该模型具有较强的边界拟合能力和较高的识别精度。

4） 采集井下煤岩采动裂隙和实验室张性外生裂隙，对煤岩裂隙识别模型进行验证。结果表明，该模型可有效提取目标特征信息并与背景特征信息区分，能够较准确地定位、识别单一裂隙。

5） 为提高煤岩裂隙识别模型对小微裂隙和裂隙边缘及两端的识别准确率，未来将改进煤岩裂隙图像采集方式，采取更加有效的图像处理方法来提高图像质量，尤其是增强小微裂隙和裂隙边缘及两端的清晰度；增加数据样本数量，以提高模型识别准确率。