基于大数据的煤矿机电设备管理系统设计

罗 强

（河南大有能源股份有限公司新安煤矿，河南 洛阳 471800）

煤矿机电系统由多种机械设备构成，其系统运行管理是一项复杂的工程。煤矿机电设备运行状态直接关系到煤矿企业的生产效率及生产安全性、稳定性，因此管理和控制煤矿机电设备的运行工作至关重要。随着科学技术及现代工业的发展，煤矿机电设备的性能得到显著提升，其自动化程度也不断提高，推动着生存量的增加，从而提高了企业经济效益。然而，制造技术及先进机电装备的应用、电子商务的发展等，使增加效益和节能减耗成为煤矿企业面临的重要任务。煤矿机电设备运行过程中会产生多种数据，数据管理的标准及格式存在一定差异，加之机电设备管理系统的独立性，在数据管理中极易存在信息孤岛问题，导致数据难以高效合理地利用[1]。但是智能技术、大数据技术的发展，为机电设备数据管理的自动化和智能化提供了重要的技术支撑，此技术通过对巨量的煤矿机电设备运行数据的处理分析，对煤矿机电设备运行进行了有效管理。鉴于此，文章依据煤矿检点设备数据管理状况，设计了煤矿机电设备管理系统平台，此平台实现了数据转换、数据采集、存储、数据处理分析及挖掘等的一体化，能够及时存储、挖掘和分析数据规律，并对数据进行有效利用，以确保煤矿机电运行的稳定性和安全性。

1 煤矿机电管理系统平台框架设计

（1）总体框架。煤矿机电设备运行中产生的数据量较多，数据复杂且具有异构性，文章结合用户需求将煤矿机电设备管理体系设计为资源层、数据层、应用层和服务层等架构。①资源层主要包括物资管理、资源计划、设备生命周期管理等子系统，以及相应的硬件设备。②数据层包括数据存储和数据处理两个子系统，其中数据存储系统主要由PLM和MMS数据库、中间数据集库和ERP数据库、分布式数据库、历史数据库和云数据库构成，而数据处理系统主要由数据采集、预处理、分布式存储及数据挖掘和数据可视化等构成[2]。数据层主要是采集和处理、分析数据信息，并对其进行一体化显示，能够更好地依据煤矿机电设备大型部件的复杂性及设备多样性的特征构建完善的数据采集和分类体系，使其采集及信息分类更加规范。预处理系统主要是对物联网智慧终端所采集的数据进行清洗降噪，数据分析主要是对设备运行状态及历史数据等进行深度分析，挖掘出其运行规律及其高价值内容。实际显示主要是将机电设备运行状态以动态化的方式进行呈现，实现对运行状态的动态监测。③应用层主要由运行状态监控系统、井下设备动态监控系统、设备数量在线监测系统、设备地理位置的监控、维修记录系统、故障模式识别系统、故障自动诊断及设备健康预测系统、运行环境可视化、运行状态评估体系、设备生产周期管理系统及设备维护决策优化等子系统构成[3]。该层主要是依据用户需求确保机电设备运行的优化、互联和高效运维，利用设备实时监控、在线数量监测等将各机电设备统一构成设备群，实现其运行管理的整体性和系统化。④服务层主要由设备监测、大数据分析及运维优化等子系统构成。主要是按照用户的实际需求定制应用模块，减少不必要应用的资源占用，实现系统运行服务的透明化、模块化和标准化。同时，在服务层服务器中接入移动装置，实现PC端与移动端数据交互，不但能提高机电设备的管理效率，也使管理更加便捷有效。

（2）系统功能设计。此煤矿机电设备管理体系选用结构化手段设计系统功能，系统功能主要为预处理、采集、分布式存储、数据可视化及数据挖掘等模块，各模块又包括相应的子模块。数据采集模块包括业务系统数据、职工信息数据、设备实时监控数据、历史监控数据等数据的采集模块，预处理模块主要包括多元技术融合、数据转换、提取元数据、监控数据的降噪处理等模块，数据挖掘模块主要包括设备健康监测、学习算法库、传感器建模、大数据专用模型，可视化模块主要为运营状态的可视化、企业运营状况的可视化、设备健康状况的展示等功能模块。

2 关键技术构成

该系统中主要应用了数据管理技术、多元数据融合及数据并行处理等大数据技术。

（1）数据管理技术。该系统中数据管理技术采用的是高通量技术。按照煤矿机电设备种类多、数量量大且复杂的特征，文章所用文件系统为分布式存储系统，应用了LZW及霍夫曼算法的高效编码压缩法，对海量数据进行非结构化和结构化的写入。在资源分析及描述基础上，采用了分布式资源描述框架（RDF）的存储模式，以确保设备运行数据的共享及利用，同时按照此数据描述方法构建了机电设备运行数据的元数据模型。选用分布式存储方式进行存储，不但能够减少存储开销，还能提高查询效率，应用可扩展性及列存储的特征满足巨量RDF数据存储的需求，以向用户提供索引及查询服务，确保查询服务的高效。

（2）多元数据融合技术。煤矿机电设备多种多样，其产生的数据也较为复杂多样，数据源形式复杂。为便于分析和处理机电设备的相关数据，文章采用了多元数据融合技术，将企业资源计划作为信息融合的关系型数据，融合过程中需要利用数据库所对应的接口表，数据并不会直接导入资源计划系统，而是从运行环境、层次化物料表等对此大数据语义实行一体化的融合，实现了半结构化与非结构化数据同BOM所定义的语义结构的节点融合，继而实现了煤矿企业数据信息的融合统一。为详细描述煤矿企业数据资源，按照煤矿机电设备运行大数据的功能、类别及特性等进行详细分析，在此基础上定义了煤矿机电设备大数据词集。该词集具有较强的通用性，其内容主要为数据所属设备、数据资源名称、数据资源标识、数据位置、数据所属企业及数据形成时间、数据状态、数据约束及数据的基本描述。以定义元数据的方式对实体数据内容进行统一，利用接口标准实现数据交换并确保其规范性，进而形成数据池，实现数据专业性及标准化模型的构建。

（3）数据并行处理技术。煤矿企业机电设备的数据量较大，可用性不高，质量不高。鉴于此，文章选用机器学习算法来构建数据预警分析及清洗模型，机电设备运行大数据的清洗模型依靠时间序列来分析，对机电设备运行大数据的异常值分类，根据所分类型对建模的不同影响，选用迭代检验法检测且修复此异常值。数据清洗效率的提高需要利用时间序列环境下的数据清洗同Mapreduce技术的集合，共同构建设备运行大数据的清洗模型。按照处理算法与非线性的时间序列特征提取、BOM复杂结构的离散装备分析建模，对设备故障及其同认知见的关系进行解析，以实时监测煤矿机电设备运行的健康程度，并实现故障预警和跟踪劣化趋势。同时，还应用了时空数据、时间序列和深度学习算法等技术，以完善数据分析处理系统。

（4）可视化技术。对职工信息及设备信息进行解析和表达离不开大数据技术中的可视化技术，对机电设备故障和特征的关系进行研究，能够向用户多角度多层次地展示机电设备的运行状况，以更加突出数据的说服力及客观性。所用的可视化技术主要为ECharts工具、前端技术Ajax技术和多维数据的可视化技术等。

文章综合应用了上述大数据技术，以确保能够实现数据加载的动态化。

3 煤矿机电设备管理系统平台的软硬件建设

（1）硬件设施建设。该服务器内存为512G，CPU为NVIDIAK80，固态硬盘为960G，磁盘存储空间为10T，能够高效存储和处理巨量数据。主节点硬盘容量达100G，从节点均为80G；主节点和从节点内容均为8G，处理器均为4核，主频均为3.6GHz，操作系统均为16.04LTS。服务器上共设虚拟机3台，其中主节点虚拟机1台，从节点虚拟机2台。

（2）系统软件设施建设。常见的系统组网主要有虚拟专网和物理专网的方式，其中物理专网中均采用裸光纤，此组网方式能够为数据提供最低传输延时和最高传输的安全性，但此组网成本相对较高，较适宜用于对成本不敏感、低时延和保密性要求高的应用环境。虚拟专网则是通过现代传输网络技术构建独立虚拟化网络，这种组网能够为数据提供最低传输延时和最高传输的安全性，适用于时延及保密要求都较高且不关注成本的环境。同时，互联网数据传输具有成本低的特征，但其数据传输的可靠性及安全性无法更好地保障，且延时较长，但能够通过技术手段进行完善。为此，文章采用了虚拟网络+互联网的方式进行组网，在提高传输效率的同时，也减少了使用成本，保证了其安全性。在此运行环境中，该系统所用服务器的3台虚拟机IP地址分别为192.168.88.130、192.168.88.135、192.168.88.131，均安装有ssh和jdk系统，均采用Hadoop2.6版本和HBase1.2.6版本，能够有效控制和管理相应节点，并做好存储及计算。

4 系统应用实践

该系统实施后，系统能够有效清洗出系统平台中机电设备运行状态的巨量数据，修复存在的缺失值及噪声点。当数据量比较少时，处于初始化、生产中间文件和传递数据的状态时需要耗费较多的时间，所以利用时间序列清洗模型能够取得较佳的清洗处理效果。数据量的持续增多，系统生成中间文件及初始化、传递文件等所耗费的时间同数据清洗时间相比都在持续减少，可见此机电设备运行大数据清洗系统具有一定的优势。系统运行过程中，数据存储的性能也非常突出，尤其是面对大数据量时，系统存储、处理及管理的计算耗费及网络资源都非常少，数据加载的效率得到了有效提高。在此系统设计中，通过利用大数据技术中的可视化技术、数据并行处理技术、多元数据融合技术及数量高通量管理技术等，能够对大量机电设备的数据机芯融合和汇聚，且可对此数据进行深度分析及挖掘，其预测分析、可视化分析、数据处理及统计分析等，都能以数据的方式呈现机电设备运行的实时动态，强化了多种数据的增值服务，都能为机电设备的动态调拨、后期运维、质量评估及采购指导等提供良好的数据支持。

5 结束语

总之，大数据技术应用在煤矿机电设备管理中，利用其数据挖掘和深度分析、分布式存储、多元数据融合及高通量管理技术等，构建数据管理及分析模型，能够有效提高对煤矿机电设备运行数据的管理能力，为机电设备的运维提供可靠的技术支撑。