闫燕 张洪涛 李伟波 丁建群 刘书艳
(中国石油集团东方地球物理公司 河北省涿州市 072751)
近年来,随着超高效地震勘探混叠采集技术的发展,野外采集的日产量从原来的一万多炮增加到现在的三万多炮,单日及总体采集数据量成倍增加,其对地震数据的存储及质控等提出了更高的要求和挑战。采集地震数据在海量数据条件下面临的主要问题:
(1)传统的磁带存储数据的方式,使得数据的查找费时费力。
(2)对海量数据进行质控,单纯依靠仪器或者操作员自己编写的一些针对某个功能的小程序等不能及时进行系统高效的统计并查找问题。
(3)对海量数据的分析,不具有针对性和全面性,没有全面深入进行数据挖掘的软件。
基于网络的B/S 架构的软件开发技术已经在各个行业得到迅速推广应用,东方公司的生产指挥系统做了对生产过程的实时监控,得到很好的应用效果,但对于小队内部的质控和生产数据分析等方面的内容没有涉及。
本文主要针对野外返回的生产数据管理、质控及数据分析方面,结合小队的生产实际,有针对性的进行了相关研究,总结出了一套适用于混采的室内质控流程并结合信息化手段,实现了海量数据的智能化管理,减少了人工处理带来的风险。本系统在实际生产数据的管理、分析的应用,初步取得了较好的效果。
如图1 所示,本系统由数据层、业务层和应用层三部分组成。
数据层:数据库的访问即对非原始数据的操作,为业务层和应用层提供数据服务。资源访问控制实现对具体原始数据的分类管理与调用。
业务层:包括系统的主要功能模块,实现系统的统计、计算、分析等逻辑处理。
应用层:通过Web 界面,跟用户进行交互,实现质量分析与监控的可视化。通过Web API 接口,可接外部应用程序,实现数据的传输与相关应用。
性能监控、日志:对系统运行情况进行整体监视,并进行汇总,实时生成结果报表,供系统管理人员进行参考、分析。
本系统采用了Pivotal 团队的Spring Boot。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置,能够大幅度提高Spring 应用的开发效率。
持久化层采用了一个半自动化的持久层框架MyBatis,它通过直接将SQL 语句写在映射配置文件中来操作数据并支持动态SQL,更加灵活可控,简单易用,SQL 调优也更加容易。
关系型数据库管理系统MySQL 所使用的SQL 语言是用于访问数据库的常用标准化语言,体积小、速度快,开源成本低,虽然与其他大型数据库如Oracle、SQL Server 等相比,有其不足之处,但考虑到目前的业务需求已经能得到满足,因此本系统采用了MySQL 作为本地数据库。
图1:系统架构
图2:系统功能图
图3:数据表
针对数据存储的问题,本文设计了数据自动读取功能和数据整理上交功能,针对海量数据存取速度和安全性的考虑,本系统采用了redis 集群部署的分布式数据库系统实现;针对海量数据质控高效、全面的问题,本系统将数据智能分析功能、数据动态管理和节点工作状态功能,整合到一个系统,将需要进行监控的参数以及对比结果进行了统计并输出。如图2 所示。
本系统设计了以下几个功能模块:
2.3.1 数据自动读取
图4:节点电量展示
数据自动读取功能包含:
数据上传:通过网络将生产数据文件传输到盘阵指定目录;
数据入库:系统按数据类型分别自动读取指定目录采集数据文件,对异常文件进行识别与过滤,实时显示数据上传进度,剔除重复数据信息,建立生产管理数据库;
数据查看:查看存储目录下的数据文件,提供界面让用户存储目录中根据文件内部时间查找对应的存储文件夹;
信息提取:用户可以自定义选择提取显示和导出数据库中的信息。
2.3.2 数据动态管理
数据动态管理的功能包括:
文件检查:
(1)匹配力文件和扩展QC 文件的数量,做出丢失统计并图形化展示;
(2)匹配力文件和VP Report 文件,做出丢失统计并图形化展示;
(3)检查力信号文件和扩展QC 文件的返回率,以及最大连续丢失的个数。
震源状态监控包括:震源属性分析(平均相位、峰值相位、平均畸变、峰值畸变、平均出力、峰值出力)、刚性和粘度、震源状态码、过载、警告信息、HDOP、其它信息检查、力信号检查。
采集进度监控:监控炮点的施工顺序和施工位置,动态回放震源施工路线;线束完整性检查:应用配置文件,将当天的炮点按照线束号进行划分,统计产量与重复的炮点,计算出实际产量。
炮点偏移距质控:统计分析炮点的偏移情况。
TD 规则检查:统计不符合设置中设定的TD 规则的炮点。
空点检查:检查所有线束中的炮点是否放完。
2.3.3 节点工作状态
展示节点最近的一次状态信息,根据不同的状态,使用不同的颜色在图上给出不同的标识,状态有:倾斜度、噪音、阻值、GPS状态、电量、剩余存储空间、24 小时未返回、节点收放图、节点收放列表。
2.3.4 数据智能分析
数据智能分析包括:风速和温度统计、停炮时间统计、震源工作效率统计、施工地形统计、废文件统计、震源施工台数统计、震源搬点时间统计、Pad Down 时间统计、Wait to shoot 时间统计等功能。智能分析功能主要是将仪器返回的数据和班报数据等经过一系列的统计分析,用图表或表格的形式更清晰明了的展示出来,利于发现施工中存在的问题以及时调整施工。
2.3.5 数据整理上交
读取数据库内部的信息,系统根据甲方给定的格式自动整理出SPS 文件。
归档上交资料:将GF、ExtendQC、Windlog、SPS 等文件提交保存。
根据功能模块设计对应需求的数据表,设计了如图3 的数据库表。
为了验证本系统的有效性,本文采用了阿曼的地震施工数据作为测试数据,包括groundforce、vpreport、fleetreport、windLog、timeLog、地形文件、节点野外状态、spsConfig、RlineCofig、日报等数据文件。
通过散点图,很清楚的能看到具体某台震源的异常值的范围。
图4 展示了节点的电量情况,绿色为电量充足,蓝色为电量为50%-79%;黄色电量为20%-49%;红色为电量小于20%报警。
通过折线图的形式将2020-04-24 00:00:00 到2020-04-24 23:59:59 时间段的风速和温度展示出来,能够直观的判断风速和温度的值是否异常。
以柱状图的形式展示了2020-04-24 每小时每台震源的总炮数,同时可以选择要查看的震源。
以柱状图的形式展示了2020-04-24 每台震源每种地形的施工总炮数,可以选择要查看的震源,同时以表格的形式统计出了每种地形的总炮数。
实际数据的测试显示,文中根据混采的室内质控流程实现的生产数据管理系统,能够满足野外生产对数据管理的需要,方便了数据管理,提高了质控的精度和效率,减少了人为的干预和主观因素的影响,非常适合海量数据下的生产数据管理。该系统充分利用了物探生产与信息化手段的紧密结合,为大规模的应用到生产数据管理中提供了可能性。目前该系统的功能尚不完善,需要结合野外生产需要,进一步完善并开发新的应用,另外正在转型采用微服务的形式来继续后续的开发工作。