过江隧道运营数据中心建设研究

2021-12-04 03:04潘红兵
运输经理世界 2021年13期
关键词:隧道数据库资源

潘红兵

(南京交通运营管理集团有限公司,江苏 南京 210000)

0 引言

数据资源中心是以全局视角、运用顶层设计的思想,基于对过江隧道运营业务应用的全面、稳定支撑而开展的统一的数据资源框架体系建设。通过本项目设立,让数据资源标准统一规范化并实施集中规划,令数据质量管控机制更加完善,让数据获取更具有时效性、及时性与连贯化,令数据资源可以得到充分的共享,为业务应用提供数据支撑。

1 核心需求分析

数据资源中心是以全局视角、运用顶层设计的思想,基于对隧道业务应用的全面、稳定支撑而开展的统一的数据资源框架体系建设。通过本项目建立,令数据资源集中规划的同时更为完善化并强化数据质量管控框架,使得获取的数据途径唯一化、及时化,数据保障完整性与准确性,也使得上述数据资源可以得到完整共享,为重要业务应用提供数据支撑。本工程数据资源建设是一个框架性工程,旨在搭建隧道数据资源框架,促进隧道数据的整合化和采集部分能按部就班开展。数据资源中心建设包括数据资源域、数据梳理域和数据应用域三部分。

1.1 数据资源与整合

数据资源域建设任务主要是对数据底层接入的整合工作。整合的数据内容分为两个部分,第一部分是将现有过江隧道运营业务产生数据按统一规划接入整合到同一个数据仓库中。第二个部分是对新增的数据接入规范化处理,且使用数据交换平台,实现数据共享,以达到优化现有数据接入方式的目的。

根据数据架构设计,分析出隧道数据模型,即隧道产生和需要管理的数据,根据数据业务特点和应用特点的不同,将其归类为行业基础数据库、业务数据库、主题数据库和共享数据库。

基础数据是支撑业务管理的基础性、战略性数据。一般情况下,在业务管理过程中,是不随管理对象时间和空间变化而变化的、相对静态的数据。

业务数据是在业务管理过程中,随着管理对象时间、空间变化而逐步衍生的管理过程数据,是相对动态的数据。

主题数据是以基础数据、业务数据为基础,面向某个业务主题,通过抽取、转换、加载,整合相关业务信息资源,形成多维断面统计数据集,以支撑综合分析应用。主题数据是基础数据和业务数据随时间和空间移动而形成的指标统计数据,用于支撑综合运行分析。

共享数据是满足各层面跨部门信息共享或业务协同的数据。

对本项目进行分析,可以发现其数据采集方法由下列方式构成:数据对接平台、数据导入、人工录入、直接使用、外部数据加载五种方式获得。根据隧道已有的各种数据资源采集状况,并结合各类型数据源特性对要求实施更新,对网络条件进行统合考虑,可以得出结论:当数据类型不一致时,应当采用区分化的数据采集方法[1]。

1.2 数据梳理与建设

数据梳理域是通过对隧道数据资源实施综合管理,让数据的完整性得到保障的同时,保证数据的准确性和一致性。数据梳理域是为了规范数据标准、提高数据质量和保证数据安全而建立的组织、流程、工具和考评体系。隧道数据梳理域总体框架如图1所示。

图1 隧道数据梳理域总体框架

1.2.1 元数据管理与服务

针对接入到隧道数据中心的全部信息资源进行分析,包括数据资源和配套的应用系统,它们提供的对应应用服务,均使用对应元数据实施描述。将上述元数据作为核心可以完成信息资源管理体系的建设,实施元数据管理组件过程中需要借鉴《政务信息资源目录体系建设总则与技术框架》规范。数据管理与服务组件应实现元数据采集、注册、审核、发布、等服务。

1.2.2 数据质量管理

数据资源质量管理系统是根据定制的数据质量校验规则对数据资源进行检查,形成质量问题数据记录;同时,提供数据质量问题发现登记、发布、修正反馈、统计分析、质量信息查询等功能。数据资源质量管理系统包括检测任务管理、数据质量检测、查询结果报告三项主要功能。

1.2.3 数据标准管理

数据标准管理是对信息化建设项目中业务应用系统的数据字典、数据库表结构、数据库内容等与标准的符合程度进行检测,审核数据资源是否遵循国家、交通运输部、地方相关标准的检测工具,是提高信息数据的标准化程度,促进信息系统的互联互通和数据共享的有效手段。

数据标准管理系统主要功能流程如图2所示,主要包括数据名称符合性检测、数据定义标准符合性检测、数据内容标准符合性检测、数据标准符合性统计和系统评价等功能。

图2 数据标准管理系统主要功能流程图

1.3 数据应用域建设

数据应用域建设要求包括两个部分,一是通过前面数据资源体系的建设为隧道运营指挥调度提供各类数据应用支撑。同时与数据分析子系统结合,对数据分析专题进一步分析挖掘。

通过数据中心积累的数据资源,将数据资源按照不同的管理要求进行重构,把现有的应用作为服务进行封装,形成基于不同主题的应用服务,从而实现业务的松耦合关系,达到跨操作系统、应用软件、系统软件和应用基础结构的数据应用,保护现有的信息化基础建设投资。

本工程对数据服务中心建设,即建设统一服务集成平台。统一服务集成平台旨在提供统一的门户系统,破除各个平台之间的业务系统应用堡垒并令各个业务之间协同联合发展,并能根据用户需求,灵活方便定制各类服务。以系统集成角度出发可以把应用集成体系按四个层面进行分类:界面集成、数据集成、功能集成和流程集成。

界面集成:将长江隧道公司各个业务所使用的操作界面放到统一的集成页面当中以让用户可以方便使用,达到提高操作效率的目的。

数据集成:令数据层面共享化和同步化高度集成,确保实时数据和非实时数据联合共享。

功能集成:根据各业务系统的功能封装,实现功能灵活重构,从而快速形成新的业务应用。

流程集成:此流程在数据和应用集成的基础上建立,并使用流程集成模块完成编排,让各个应用当中的功能服务均实现集成化[2]。

2 数据中心建设方案

2.1 总体建设思路

本工程数据资源建设是一个框架性工程,旨在按照南京交通运营管理集团有限公司的架构搭建数据资源框架,促进过江隧道运营数据采集、整合有序开展。数据工程建设思路主要是从数据源分析到数据应用服务的全过程建设和管理,提供了对数据的全生命周期的监控和预警功能。数据中心建设思路如图3所示。

图3 系统数据中心建设思路

2.2 数据库设计

2.2.1 数据架构设计

数据架构设计是站在过江隧道运营业务管理和对外服务的高度,统领规划行业业务,开展全域数据模型分析,分析各业务线业务管理流程及业务管理过程中需要及产生的数据资源、分析各条业务线在哪些节点,与哪些其他业务之间有相互关联关系,需要获取其他业务线或向其他业务线提供哪些数据。此外,全域数据模型分析还需结合当前业务未来变革趋势,梳理支撑变革后的业务需要哪些数据资源。全域数据模型设计是按照交通运输信息化建设“一数一源、一源多用”的总体要求,对过江隧道运营业务进行统筹资源规划,形成过江隧道运营数据模型,包括基础数据库、业务数据库、主题数据库和共享数据库。

2.2.2 数据资源整合

数据资源管理体系建设是过江隧道运营管理进行数据治理、挖掘和应用分析的重要基础。它包括元数据管理、数据资源注册管理、数据监测、权限管理、服务发布、日志管理等功能模块。

2.2.3 数据应用服务

数据服务中心是利用运营数据中心汇聚的各类数据资源,按照特定的数据规则进行“组合”形成的各类数据服务,服务方式可以分为三种,第一种通过系统提供查询、分析服务,在系统里面开发查询、分析的统计报表、图表功能模块,用户可以直接访问对应功能模块获得服务。第二种通过数据服务接口的方式提供服务,制定统一的接口设计规范,将接口部署在接口服务总线上,统一对外提供接口服务。第三种通过数据库之间的数据交换方式提供数据服务,将数据实时或定时通过数据交换工具推送到用户的前置机数据库中,用户通过前置机获得数据服务。

通过数据服务中心发挥数据中心数据资源的价值,包括数据分析服务、数据查询服务、数据共享服务。

2.3 数据标准建设

2.3.1 数据标准建设及适用范围

编写《过江隧道信息化数据库建设规范》,本规范定义系统数据库在规划、设计、对象命名、数据字典文档编写格式等方面需遵循的基本要求。本规范可作为过江隧道信息化系统开发单位的数据库设计的参考依据。

2.3.2 数据库设计要求

数据库设计通常是作为应用系统开发的一部分进行的,但在应用系统开发中数据库设计具有特殊的重要性和相对独立性,因此在本次建设规范中专门进行规定。

为最终能设计出高性能、易扩展、易维护、少冗余、高安全性、高可靠性、一致性和完整性好的数据库,根据相关标准和规范,结合隧道实际,系统数据库设计环节应当按照下列步骤进行分类,包括逻辑结构设计和物理设计、数据库实施、数据库运行与维护等六个步骤完成,这六个步骤主要工作任务各有不同。逻辑结构设计和物理设计主要的功能是提出具体问题并面向用户的应用要求,中间的阶段主要是同数据库应用相关的,最终阶段是面向具体的方法,主要目标是实现。以上的步骤可以划分为分析设计阶段与实现运行阶段。项目实施人员在每次做完一个阶段后均需要完成设计分析步骤,对关键设计指标进行评价,用最佳评审方法处理设计阶段文档,并同用户实时沟通。若设计完成的数据库与要求不相符,就需要实施修改,上述沟通和修改过程可能需要多方面完成,以使最终完成的数据库可以准确地反映用户的需求。

2.3.3 历史数据采集入库

历史数据包括从隧道运营产生的所有运营数据和现有系统产生的历史数据,主要分为结构化和非结构化的数据。结构化数据主要是分散在各个系统数据库中的设备运行状态数据、事故监测数据、车辆的定位数据、车流量数据等。非结构化数据主要是运营管理部指挥调度中心、应急处置中心的各岗位历史运营数据,包括文本、图片、各类报表等。

将南京交通运营管理集团运营管理部这些年日常运营的日报、周报、月报、事故处置报告、指挥中心工作日志、应急处置中心工作日志以及车流量统计表、运营情况统计表等电子化的报表进行结构化入库,将分散在各个系统数据库中的设备运行状态数据、事故监测数据、车辆的定位数据、车流量数据等数据进行采集入库,并提供多维度报表查询功能。另外,将已有的车辆识别数据进行重新梳理,按照数据分析的设计要求进行重新入库。

3 结语

过江隧道运营数据中心的建设,将隧道运营指挥调度相关系统以及历史运营数据进行采集、整合和存储,为过江隧道的运营和管理工作提供完整、准确、及时的数据支撑,通过创新过江隧道大数据应用和发展模式,促进过江隧道行业可视化监控和指挥调度应用的服务能力的提高,为打造全市“互联网+”隧道管理生态体系提供基础应用支撑平台。

猜你喜欢
隧道数据库资源
基础教育资源展示
云南:弥蒙高铁隧道全部实现贯通 弥蒙高铁最后一座隧道大庄隧道贯通
我给资源分分类
预见2019:隧道的微光
资源回收
做好绿色资源保护和开发
隧道横向贯通误差估算与应用
隧道横向贯通误差估算与应用
数据库
黑乎乎的隧道好可怕