国有企业大数据工程应用实践案例研究——以AK公司为例

郎书旭 张孝临 毕宏刚 姜山红 彭观伟

（1.辽宁科技大学计算机与软件工程学院，辽宁 鞍山 114051；2.鞍钢集团矿业有限公司，辽宁 鞍山 114000）

一、案例背景

AK公司（以下简称“公司”）是某国有大型钢铁集团的全资子公司，是我国掌控铁矿石资源多、产量规模大、具有先进工艺技术、具有完整产业链的冶金矿山龙头企业之一。近几年来，该公司展开了大数据工程应用及相应改革措施。

AK公司经过多年的信息化建设，数据成爆炸式的增长，各种数据服务需求不断涌现。虽然传统信息系统在飞速建设，但公司内各系统和数据库大多是独立采购或者独立建设的，新旧 IT 系统中沉淀的数据之间难以打通，导致公司内形成“数据孤岛”“数据烟囱”式系统高达200余个，系统分散割裂且不易形成可共享的数据服务，在一定程度上已成为公司在数据化转型过程中的一个制约。公司通过对以前采集的大量数据分析诊断，发现在数据生成、处理加工、运行维护和利用过程中存在不少问题。随着公司的数据平台及数据日益庞大复杂，数据环境对数据系统运行维护、数据开发带来新的挑战。

二、AK公司大数据工程的应用实践

1.大数据工程的内容

数据治理包括由企业数字化转型创新方式指导并且由企业数据治理部门发起并推行关于如何制定、实施和完善针对整个企业内部数据的商业应用和数据技术创新的一整套政策措施。公司制定了相应的数据治理发展战略，发展战略分为数据应用管理、数据管理、数据管控，步骤缺一不可。图1为AK公司大数据工程的发展战略图。

图1 AK公司大数据工程发展战略图

2.充分利用大数据开发管控平台

大数据开发管控平台是构建一站式的数据集成、数据开发、数据调度、数据运维的平台，满足大数据集中管理、隔离开发的要求，为数据开发提供丰富多样的工具和工具可视化的能力，助力企业需求进行快速更新和迭代，提升开发效率，推进企业应用数据驱动业务增长进程。企业大数据工程建设的过程离不开软件平台的支持，对此，公司应用了STQ软件系统。

STQ软件系统具有强大的数据整合能力。STQ软件系统具备多集群任务开发、统一调度、分布式运行的能力。STQ软件平台可以对接多个集群，进行任务开发、统一调度、分布式运行。由于公司“数据孤岛”“数据烟囱”式系统高达200余个，开发STQ软件系统需要将之前的数据标准化。在算法创新方面，应用图计算算法，以图表达、图存储和图分析的方式，在用户触达领域优化了目录式的数据资产管理方法，带来语义化、关联化、实时化和智能化多方面的优势。

3.大数据工程的重点流程

（1）“盘”

“盘”——有什么数据，在哪里，有什么问题。在这个阶段公司通过数据资产整合和盘点，构建电子数据资产目录，为数据服务使用建立良好基础。

公司开发出提供数据资产扫描嗅探技术，智能化识别关系型数据库、大数据等数据资产信息。提供数据资产维护管理和公司数据资产目录能力，配合数据资产查询检索、数据资产展示功能。该技术支持常见关系型数据库、MPP数据库，分布式数据平台的元数据采集。由于需要采集的数据过于庞大，所以采用元数据（Metadata）作为本系统的数据基础，元数据也是数据治理的重要采集和管理对象。

公司定期采集数据资产分布、数据存储情况、数据总容量、数据资产数目等信息，提供以图表形式呈现数据资产的分布覆盖范围，从数据存储位置、数据总容量、数据资产数目、变化趋势角度进行呈现，方便数据管理人员了解数据存储情况以及变化趋势，为数据资产运营提供支撑和辅助。

（2）“规”

“规”——确定数据标准规则以及目标。数据标准化的过程是为了规范系统建设的过程中，本公司人员对业务的统一理解，增强业务部门、技术部门等对数据的定义的标准化和使用数据的一致性标准化，进而增强数据的易懂性和可传递性。

（3）“用”

“用”——基于数据价值，提供场景化应用支撑。为了提升数据的价值和场景化的考虑STQ软件系统是基于区块链开发，系统具有数据安全服务机制，数据供需求双方依托区块链技术，凭借数据监管方颁发的可信证书完成数据交互任务。系统加入了数据共享与交易网络，更加提升了系统的安全性。数据消费方需要从区块链中获取数据提供方发布的数据资产信息，数据消费方需要选择需要获取的数据信息发起数据授权请求，等待批复结果。数据消费方拿到批复结果，发起数据访问，数据访问经代理发送到数据提供方的访问代理，请求认证通过，则可以访问大数据中心数据。基于区块链无痕水印实现数据溯源。数据生产加工和消费使用过程中，接触的人员多，不乏有人利用职务之便或者保管不善，有意无意将数据泄露，公司通过区块链无痕水印技术，实现泄露数据的反向追溯，发现泄露人员及泄露点，及时进行补救。

（4）“治”

“治”——找到差距，针对性进行治理。公司关注数据质量，确保数据价值。“治”的具体过程是STQ软件系统提供数据治理管理能力，STQ软件系统支持稽核规则管理、数据治理稽核调度、稽核预警及数据治理报告。稽核提供服务能力，方便和现有ETL平台进行整合；支持数据一致性、完整性、及时性、波动性等检查。STQ软件系统提供数据血缘自动化采集能力，支持通过数据库运行日志、数据库执行脚本、ETL工具进行数据血缘影响自动化采集，系统具备自动识别分表的逻辑的功能，提升元数据血缘影响关系采集的自动化程度，降低数据治理难度。支持数据加工血缘影响关系、任务依赖关系、任务模型依赖关系的采集；提供可视化分析能力，方便运维人员进行问题分析和故障定位。

系统构建公司数据资产知识库，提供数据资产检索能力，提供按照关键字、分类查询检索能力，支持模型、指标、维度、任务资产的综合展示，方便数据运维管理人员、数据消费人员进行数据资产的探索为了方便价值评估。STQ软件系统可以自动化采集数据库执行日志、业务系统数据访问日志、元数据访问情况、数据授权情况、数据关联数据，对以上数据进行综合评估，形成公司数据资产价值，提供数据价值综合分析能力，为数据运维、数据下线提供支撑。

三、大数据工程的实施效果

公司通过大数据应用实践与数据化转型，现阶段公司能及时诊断发现数据生产、产品处理加工、系统的运维和数据利用过程中存在的问题，针对问题及时分析因地制宜地提供合理的解决方法、手段以及工具。公司合理的使用大数据，已经能够解决数生产使用过程中普遍存在数据质量、数据一致性和数据性能等问题，实现数据存储合理，解决数据生产过程受控的问题，提升产品质量。公司根据企业发展需要，积极适应大数据时代要求，公司的数据化转型取得了初步成效。