基于生产全链条管理的大数据治理体系建设

王志荣

摘 要：上海城投水务集团利用基于生产全链条管理的大数据治理体系建设，通过业务建模、算法优化、模拟仿真，促进了集团业务管理创新和节源增效，增强了全产业链上生产管理、运行状况的态势感知能力，提高了智慧化生产调度能力、辅助决策能力，支持生产管理更加全息化、精细化、数字化、智能化。这既增加了企业盈利能力，又监护了水生态环境、保障了上海城市生活用水更安全。

关键词：生产全链条 数据资产 大数据 数据治理 主数据 元数据

一、背景

上海城投水务（集团）有限公司（简称水务集团）是专业从事原水供应，自来水制水、输配和销售服务，雨水防汛、干线输送、污水输送和处理、污泥处理，供排水工程投资，供排水专业技术领域内的技术开发、技术咨询等城市水务产业的国有大型企业集团。集团核心的产业链分别由原、制、供、排、污五大分子公司管理运营，上下游企业生产运行彼此依赖，生产全链条管理对集团经营管理至关重要。在当今大数据的时代，数据已被当作企业的重要资产来进行管理，数据就像“情报”成为决策者们的重要参考依据，然而数据并非天然成为资产，必须经过数据质量保障、有序的管理后，才能像人财物一样成为企业资产。数据的资源经过数据治理才能成为数据资产，数据资产通过数据服务和共享发布才能焕发数据的价值。

二、建设内容

（一）体系结构与分类

1.数据标准化体系

水务集团数据标准化体系是在集团业务、数据的基础上，结合数据治理历史经验的总结，并非凭空创造。数据标准也难以一蹴而就，是一个“制订标准、执行标准、修订标准”的持续优化过程。信息化建设的不同阶段，数据标准关注的对象和目标各不相同。数据标准的管理、维护与优化是生产大数据管理与数据治理不可或缺的工作。

2. 數据资源分布

水务集团生产管理数据涉及业务范围包括原水公司、制水公司、供水公司、排水公司和污水公司所属水库、水厂、泵站、管网等基础设施的生产状态、生产调度和水位＼液位、水质、水压、水量、安监、计量和药耗、电耗等生产监控和调度管理。数据资源类别包括生产工控实时数据、远传数据（含水质、水压、流量等监控计量梳理）和调度管理数据。数据存储类型包括Historian工业实时数据库、传统结构化数据库（Oracle、SQL Server等）和各类安监视频、Excel报表、文档文件等。

（二）技术路线

为了实现生产全链条管理的目标，水务集团在数据源、数据时效性、数据质量、数据全生命周期和数据应用等方面做了深化拓展，持续开展数据治理和平台建设，建设技术内容包括以下几个主要方面。

1.基于云计算的数据采集

水务集团所属各基层单位建设时期跨度较大，部分设备历史久远，生产设备品牌、技术参数、工艺标准、通讯方式、接口协议等存在较大的差异性，数据互联对接难度较大，数据流向管理困难。为此，水务集团先期通过公有云验证各“游离”数据对接的技术可行性和数据中断、数据延迟等数据时效性、可用性问题，再搭建混合云实施统一的数据集中采集与数据预处理，同时充分利用边缘计算能力，减少数据集中过程中的网络通信压力。

2.主数据管理系统

主数据作为企业最核心、最权威的业务数据，也是跨系统互联打通业务流程的关键数据。随着数据治理项目的开展与历史遗留系统的改造，水务集团已建设主数据管理系统，管理维护了客户档案、客户服务、生产计划、水质检测、调度监控、新装业务、现维工单、管网设备、生产工艺、表卡计量等19类主题域。

3.元数据管理系统

集团元数据管理系统是水务集团信息资产管理的关键。它帮助用户可以快速找到数据并了解其上下游数据关系及其所处数据环境。通过业务、技术等方面的元数据逐步实现统一描述，可以降低乃至消除业务部门之间、业务与IT部门之间的沟通障碍。元数据管理系统是知识管理的系统，是数据源梳理、数据加工过程等数据治理成果的固化系统。从长期来看，系统的应用会降低数据的发现、使用的成本。

水务集团通过主数据管理、元数据管理系统等相关应用平台建设，提高了生产数据质量和数据流通共享的效率。

4.基于Hadoop的生产大数据平台

水厂、泵站工业自动化生产过程中，各种种类的生产设备会产生大量的实时数据，部分数据频率为秒级甚至毫秒级，其数据存量和新增数据的规模极为庞大;在业务管理过程中，积累了生产运营计划、调度指令执行、安全监控、运维审计日志等各种种类的数据，这些数据在编码方式、数据格式、应用特征等多个方面存在巨大差异性，多信息源并发形成大量的异构数据。从数据量、数据类型、增长速度、数据价值和数据真实性等5V视角来看，明显符合大数据特征。

（1）数据量的巨大，包括数据采集、传输、存储和计算的量都非常大。这些数据涵盖的业务包括生产工控、调度、水位、水量、水压、水质、流量、计量、考核、安监、热线、人事、财务、物资、设备、客户服务、物资库存等。

（2）数据种类和来源的多样化，包括结构化数据、半结构化数据和非结构化数据。结构化数据主要以已经上线的应用程式关系型数据库为主，还包括一部分工业实时数据;非结构化、半结构化数据具体表现为办公审批文件、运维现场工单文档、生产日志、安监视频、运维图片、GIS管网地理位置信息等大量文档、图片、视频。多样化的数据类型对数据的处理能力提出了挑战。

（3）数据量的高增长性，数据处理的高时效性。比如管网爆管、防汛排涝、应急指挥，都需要最快的信息处理能力。个性化算法的推荐尽可能要求快速实时完成。这是大数据和传统数据挖掘之间最为显著的特征区别。

（4）数据的质量保障，即数据的准确性和可信赖度。制订数据标准化管理体系，通过数据治理，确保数据质量可靠、可用、易用。

基于以上考量和未来平台扩展的需要，水务集团基于Hadoop企业版软件搭建了集团生产大数据存储与分析平台。通过大数据平台分析、优化集团生产管理的各类仿真模型，从而能进一步挖掘出数据的潜在价值。

三、结语

基于生产全链条管理的大数据治理体系建设，首先，要搭建数据治理框架，通过组织结构调整，将原本分专业、划区域的旧企业改变为集团化、市场化、专业化运作的大型城市供排水整体解决方案提供商。同时调整了信息化管理组织结构，从制订数据治理的相关制度及数据质量保障入手，强化数据标准和服务的管控，规范数据使用和管理流程，形成全面和可操作的数据治理框架。

其次，是共享数据的三中心架构，在建设过程中，水务集团创新地提出建设在共享数据平台上的管控中心、运营中心和服务中心，以三个中心为业务实体共享集团大数据平台提供的所有数据。三个中心可根据自己的分工，分别关注生产、运营和服务，使得各业务部门使用的不再是经过“人工加工”的数据，而是可以使用经过数据治理的集团数据资源，充分发挥数据的价值。

参考文献

[1]杨琳，高洪美，宋俊典，张绍华.大数据环境下的数据治理框架研究及应用[J].计算机应用于软件，2017（04）.

[2]郑建明.大数据环境下的数字文化治理路径创新与思考[J].晋图学刊，2016（06）.

[3]钟继刚.大数据环境下计算机软件技术分析[J].信息记录材料，2020（01）.

[4]索瑞斯.大数据治理[M].清华大学出版社，2014.

[5]何赛群，赵林海，于慧，方坚.主数据管理体系构建[J].中国科技信息，2018（17）.

[6]张玉爽.企业主数据管理方法研究及实践[J].现代信息科技，2019（05）.