基于机器视觉的煤矸识别实验教学平台研发

姜海燕，宋庆辉，宋庆军，刘治江，郝文超

（1.山东科技大学智能装备学院，山东泰安 271000；2.日照港集装箱发展有限公司，山东日照 276800）

0 引言

在煤矿开采中，降低原煤含矸率是实现煤炭高效绿色发展的必要条件，它不仅能增加煤的发热量，提升煤炭利用效率，还能减少对环境的污染［1］。在综放工作面，实现顶煤下放过程的煤矸识别是降低原煤含矸率、提高煤炭质量的根本途径。经过近几十年的发展，煤矸识别方法高达30 多种，涵盖了γ射线、雷达探测、振动信号、声波信号和图像识别等方法［2-3］。煤矸图像识别是近几年比较流行的研究方法，刘富强［4］利用图像处理技术对煤矸界面识别方法进行了深入的探讨，并在此基础上提出图像处理方法的煤矸识别方法。文献［5-6］中对煤矸图像信息进行采集，利用去噪、多尺度分解、灰度共生矩阵分析的方式进行特征提取，提出一种基于小波、小波包和支持向量机的煤矸图像识别方法。王家臣等［7］提出图像识别智能放煤技术，建立轻量级的放顶煤工作面矸石识别及边界测量模型，实现混矸率的精准快速识别。刘军锋等［8］提出一种记忆放煤和融合视觉监控采放协调控制技术，实现放顶煤工作面放煤的煤矸识别和自动化放煤。于斌等［9］提出一种特厚煤层智能化综放开采技术架构和融合振动与高光谱的煤矸识别研究思路。Jiang 等［10］在声波、模式识别的基础上，提出基于MFCC和多分支卷积神经网络的煤矸识别方法。

煤矸识别是国际前沿课题，也是工科院校，特别是煤炭院校热门的研究课题，不仅对煤矿生产的实际指导意义重大，且有助于大学生、研究生实践和创新能力的培养。基于此，本文研发了一套模拟综放工作面智能化放煤的教学和科研综合实验平台，为相关专业的学生和科研人员开展煤矸识别的基础和关键技术研究提供了硬件支撑。

1 实验平台设计

1.1 实验平台总体设计

煤矸识别实验平台主要由落煤装置、计算机系统、工业相机、光源和煤矸石等部分组成，如图1 所示。落煤装置主要实现顶煤下放，计算机系统实现煤炭、矸石图像的采集、图像信号处理及煤矸识别。

图1 实验平台总体设计方案

1.2 落煤装置

落煤装置主要由液压支架、储煤仓、插板以及控制插板开闭的直线推杆组成。实验台支架将各部分固定在相应位置。储煤仓是边长500 mm 的正方体空箱，在储煤仓底部安装有插板控制储煤仓内的煤矸下落，插板由直线推杆驱动，用以模拟放煤口开闭。储煤仓前表面装有透明钢化玻璃，可观察煤或矸石在里面储存状态。插板由直线推杆电动机推动，推杆最大行程为300 mm，速度为7 mm／s，推杆电动机控制器选用Liyixun推杆电动机控制器。

1.3 图像采集系统

实验平台选取MV-CS200-10GC 彩色面阵的CMOS工业相机，分辨率为5472 ×3648，最大帧率为5.9F／s＠5472 ×3648，曝光时间为46 μs～2.5 s。

为避免其他光源的影响，实验验证需要在暗室中进行，在此使用EFIII-200 型LED 可调节光源作为实验光源，如图2（a）所示。为验证不同波段光源对煤矸识别准确率的影响，分别采用红、黄和蓝色滤色片（见图2（b））对光源进行滤色，收集红（波长625～740 nm）、黄（波长565～590 nm）、蓝（波长485～500 nm）光源下的煤矸样本图像。此外，实验配套使用55°标准反光罩加挡光板使光线反射均匀。

所搭建的实验平台如图3 所示。

煤矸识别教学科研实验平台服务于自动化、智能控制和模式识别等专业的本科（研究）生与该领域的科研人员。利用该平台学生能开展放煤规律、信号采集、信号处理与分析、煤矸识别与智能控制等教学综合性实验和科研探索与验证实验，有助于激发学生乐于探索和敢于动手的科研兴趣，培养学生理论和实践相结合的研究能力。该实验装置为科研人员提供煤炭开采关键技术的研究与开发提供了理论验证平台。

2 煤矸图像预处理及特征提取

煤矸图像经预处理和特征提取之后，获得有效的煤矸图像的颜色、边缘、纹理等特征，构成了特征维数为18 的煤矸数据集，其处理过程如图4 所示。

图4 图像预处理及特征提取流程

2.1 图像预处理

由于强光照产生的高斯噪声、图像传感器产生的泊松噪声和由解码误差造成的椒盐噪声［11］，在进行图像特征提取之前需对图像进行滤波和增强处理。常用的图像降噪处理方法有高斯滤波、均值滤波和中值滤波。

滤波后的图像通常需图像增强来提高图像成分的清晰度，有利于计算机处理。

利用Retinex理论可将其分解为反射图像R（x，y）和光照图像L（x，y）［12］，通过相机所获得的图像为

利用对数函数可获得对数域反射图像为

式中，g（x，y）为中心环绕函数，通常采用高斯函数。本文提出使用双边滤波代替高斯滤波对输入图像进行光照估计，在不增大图像噪声的基础上，得到更多细节信息的图像。

为便于计算像素权重，设置空间邻近度因子Ws和亮度相似因子Wr来构造双边滤波函数：

式中：δs为空间域标准差；δr为值域标准差。δs和δr分别控制着空间邻近度因子和颜色空间内的亮度相似度因子的衰减程度。

设（i，j）为当前像素点的位置，（k，l）为中心点的位置，且此中心像素领域范围Si，j，则双边滤波函数

2.2 特征提取

灰度、纹理和颜色能表征煤与矸石表面特性差异，本文利用这3 种特征来分析煤与矸石在不同波长光源照射下的差异。灰度属性用灰度直方图［13］来表征；灰度的纹理特性用灰度共生矩阵（Gray level cooccurrence matrix，GLCM）来表征，包含能量、熵、对比度和相关性［14］；Tamura 纹理是在对人类视觉感知的心理学研究的基础上通过粗糙度、对比度、方向度、线性度、规则度和粗略度6 种视觉纹理特征表示煤炭与矸石图像样本纹理特征［15］。颜色属性用RGB 各通道的一阶矩、二阶矩来表示。一阶矩μi用来表示图像的颜色信息；二阶矩σi表示图像中的颜色分布，即：

式中：pi，j为煤和矸石图像颜色分量i中灰度值为的概率；N为煤和矸石图像样本的像素点的数量。

通过对比分析，在不同光源，3 种波长光源下的特征属性具有不同的煤矸识别区分度，按照区分度值的大小排列，依次为灰度特征中的灰度均值，灰度方差纹理特征中的粗糙度、对比度、线性度、粗略度，颜色特征中的一阶矩、二阶矩。

3 实验测试与分析

实验测试任务为煤矸图像的数据采集、信号处理、特征提取、煤矸识别实验。测试的实验平台为本文所研发的煤矸识别实验教学平台。

3.1 数据采集实验

利用LabVIEW完成煤矸图像采集系统的设计，采集长波（红色）、中波（黄色）、短波（蓝色）3 种光源下的煤矸图像样本，前面板如图5 所示，图像采集程序如图6 所示。

图5 图像采集系统的操作界面

图6 图像采集程序

通过视觉硬件平台，培养学生运用LabVIEW解决一些实际工程应用问题的能力。在液压支架安装声音和振动传感器，获得顶煤下放过程中不同煤矸比的声音和振动信号［16］。可根据实验需求灵活调整传感器类型和数量，为多传感器信息融合提供了大量的数据集。

3.2 信号处理实验

利用不同波长光源下的图像样本，自主研发图像信号滤波处理子系统，验证不同滤波算法的优缺点。图7 显示了蓝色光源下煤矸滤波效果，表1 为不同光源的降噪峰值信噪比（Peak Signal to Noise Ratio，PSNR）。

表1 不同光源下煤炭矸石样本图像滤波后的PSNR值dB

图7 蓝色光源下煤矸图像滤波结果

由实验结果分析发现，均值滤波可通过煤矸图像噪声附近的像素值来修复噪声像素，对椒盐噪声过滤效果较好，但无法对图像的细节起到良好的保护作用，导致图像模糊；从图7 很难判断出高斯滤波和中值滤波的滤波效果，但中值滤波的PSNR 值高于高斯滤波和均值滤波。说明中值滤波对于煤矸图像样本的降噪能力优于高斯滤波和均值滤波。

3.3 特征提取实验

特征提取实验运行在Windows7 系统上，可利用Matlab、LabVIEW软件平台或Python、C＃等编程语言，结合采集不同波长光源的图像，按照第2 节的方法自主编写特征提取程序。图8、9 分别显示了部分灰度特征和GLCM纹理特征。

图8 不同光源下煤矸样本灰度特征散点图

图9 不同光源下煤矸GLCM纹理特征散点图

3.4 煤矸识别实验

为分析不同波长光源照射下煤炭与矸石的识别差异，采用支持向量机（Support Vector Machine，SVM）实现煤矸识别的测试。开展单类特征和多类特征联合实验，实验结果分别如图10、11 所示。

图10 单类特征的识别准确率

图11 不同特征联合下的识别准确率

由图10、11 可见，分析出光源波长和图像特征对煤矸识别的影响：

（1）短波蓝光的识别精度最高，其次是长波红光，最后是中波黄光。

（2）从单类特征上看，蓝光下颜色特征识别精度最高，其次是灰度特征，最后是纹理特征。

（3）从联合特征上看，蓝光下灰度和颜色特征联合识别精度最高，而灰度＋纹理＋颜色3 类特征联合的识别精度却不是最优。

可见，光源波长和特征组合影响了煤矸识别精度，基于机器视觉的煤矸识别需要通过实验选择光源和特征的最优组合。

3.5 煤矸实验平台特点

该平台面向实际工程应用，可支撑不同综放工作面的煤矸识别和智能化放煤等教学与科研关键技术的研究与开发。培养学生从工程的角度思考问题、解决问题。

该平台具有良好的通用性，可满足不同专业的教学和科研的需求，例如：放煤规律的研究、液压支架的有限元及动力学分析、放煤智能化控制、模式识别、多传感器信息融合等。

该平台灵活性好，可提供振动、声音和图像等多种数据集，可模拟各种顶煤下放的场景，提供关键技术的验证条件。

该平台可培养学生能利用LabVIEW、Matlab 软件和Python、C＃等编程语言实现工程关键技术的研究。

4 结语

本文设计了一套综放工作面顶煤下放教学和科研综合实验平台，可模拟不同放煤工作面运行情况，为多传感器信息融合、智能控制和模式识别等领域提供大量实测数据。针对机器视觉煤矸识别研究课题，利用该平台研究了图像的预处理、特征提取和不同波长的光源对煤矸识别精度的影响，验证了煤炭和矸石在实验条件下采用机器视觉进行识别的可行性与先进性。借助该综合实验平台的开发与运行经验，相关的关键技术已成功推广到多个科研机构和智能放煤工程项目，有助促进学生理论和实践相结合，提升学生的科研创新和动手实践能力，完善产学研学生培养体系，为时代发展培养具有解决实际问题能力的人才。

教育是民族振兴、社会进步的基石，是提高国民素质、促进人的全面发展的根本途径。强国必先强教。优先发展教育、提高教育现代化水平，对全面实现小康社会目标、建设富强民主文明和谐的社会主义现代化国家具有决定性意义。

摘自《国家中长期教育改革和发展规划纲要》