银行信息科技的配置管理新思路

2021-11-15 09:12单玮玮
科技信息·学术版 2021年24期
关键词:数据中心自动化

摘要:论文主要探索图技术在银行数据中心的配置管理中的应用新思路。通过可视化建模、自动化采集、关系解析、图数据库存储等技术手段实现了银行数据中心双模的运维对象配置管理,为数据中心的业务连续性提供了支撑,为数据中心的标准化管理提供了思路。

关键词:数据中心;配置管理;图技术;自动化

1、背景及意义

在互联网时代,银行数据中心所有的资源都呈现服务化的趋势,如何实时反应线上服务状态变化变得尤为重要,同样配置管理(下文统称CMDB)所记录的信息状态更需要实时同步。数据中心的服务主要分为两种:

1、分层服务支撑。把基础设施、基础硬件、基础软件、基础平台变成服务,从服务构建到服务运行再到服务运营平台,针对的是不同的领域,提供的是不同层面的资源支撑。

2、体系服务交互。包含两种形态,一种是传统的应用架构模式,一种是关于运维体系比如自动化体系、监控体系、流程体系。

CMDB在ITIL时代是元数据平台,传统的CMDB所服务的IT服务过程是一种离线服务过程,不能够实时地访问线上变化。所以传统CMDB起到的作用相对较小,这就直接导致在数据中心运维过程中并未对CMDB的数据进行消费,流程和流转在大多数情况下可以脱离CMDB来做。过去元数据平台的定位运营不起来主要是对于它的依赖度太低,根本原因是非实时数据。

传统CMDB除了实时性要求不高,还存在信息关注点偏移和范围严重扩散的问题:传统CMDB更侧重于资产管理,而非资源管理,这就导致传统的CMDB不能够被真正的一线运维人员所使用,基本上都变成台账资产管理系统;由于ITIL的一些传统理念需要将所有的配置信息进行收集,这就导致配置信息管理边界过于扩散,大量的无用配置信息也干扰了配置信息的消费。

金融科技发展迅速,新的服务理念需要更加高效完备的服务能力,分层服务支撑和运维体系服务交互对数据消费的实时性要求越来越高,所以以服务为导向的强实时的CMDB变得尤为重要;另一方面CMDB的建设不能再以单独的形式进行,配置信息的有效性一定是与消费场景相关,没有需求就没有供给,所以以场景为导向的配置信息管理建设是重要原则,场景可以明确配置信息的范围,避免了过多无用信息。

2、关键技术分析

2.1、自动化采集

配置信息主要分为环控、基础软硬件、应用系统、业务系统四个部分,其中环控的部分信息可以通过物联网的RFID技术来实现自动化采集;基础软硬件部分的配置信息接口比较成熟,可以通过API、脚本编写、AGENT等实现足够高的自动化采集;应用系统的配置信息需要通过梳理才能确定自动化采集的程度;业务系统的配置信息采集需要通过流程输入。

2.2  关系解析

配置信息的关联关系分析是实现的关键,这部分技术含量最高。首先需要能够对数据中心的整体架构深入了解,包括环控、基础软硬件、应用、业务各个方面以及几个层面之间的关联方式。这个模块是成败的关键。配置信息可以通过收集来汇总,但是配置信息的关联关系一定是需要多方讨论、统一建模、约定规范、自动解析几个步骤才能提取出来。

2.3  图数据库

2.3.1 图数据库性能评估

图数据库能够提供百万级实体、千级关系的数据存储及每日十万级的数据更新(CMDB的规模在10*1万级实体、100万级关系);能够提供全系统联机服务在50并发(参考数据中心运维人员数量)下,2度查询耗时在1秒以内;百万级实体、千万级关系的数据导入耗时在半小时以内(包括索引建立);单条级数据更新耗时在毫秒级(包括索引建立);支持在实体、关系的属性上的索引建立以提供高效的查询,任意属性查询耗时在毫秒级;支持全文检索功能。

2.3.2 图数据库容量评估

银行中等数据中心的配置管理的规模:节点数量十万级、关系数量百万级、节点属性20个、关系属性5个、历史记录5个。整体容量在5GB。

2.3.3 图数据库高可用机制

图数据库需要实现生产级的高可用机制,节点数量至少3个,满足宕机恢复时间在秒级。

2.3.4 图数据库接口

图数据库需支持数据规模的存储、查询、路径发现、关系遍历,查询、路径发现、遍历的条件应支持包括但不限于实体属性、边属性、边方向、遍历度数的组合;组合方式应支持基本关系运算;图数据库需支持多类型实体,有向边;需支持两实体间多种类型的关系;需支持两实体间同类型关系建立多条边;需支持列表、字典、集合等复杂属性类型;图数据库提供的操作方式、查询方式需保证通用性以支持应用的可移植性;需提供图数据建模功能,并提供相应工具,支持 csv 文件导入数据,支持从数据库中提取实体,构建關系;图数据库需提供数据批量导出功能(csv)。

2.3.5 图算法

图数据库需要预置若干常用图算法(如连通图、强连通图、最短路径、数三角形、标签传播、社群分析、PageRank、频繁子图等),并提供这些算法的参数调整接口或配置;图数据库需要提供自定义图算法的集成接口,规范好输入和输出,第三方根据接口开发出相应的算法,可以简单地集成到平台中,就可以对图谱进行算法的挖掘。

2.4  可视化建模工具

图数据库需要具有良好的可视化建模工具,辅助建立节点和关系的要素,从而为后期的数据存储提供元信息架构。

3、思路解析

3.1  高度自动化

分布式架构的软硬件架构直接导致数据中心维护对象的爆发式增长,只有高度自动化才能缓解人员不足、技能不够的情况。经过调研:现有的基础软硬件都能够提供各种接口以获取配置信息、状态信息。实时性要求配置信息采集自动化,基础软硬件部分的信息可以实现完全自动化;现有应用层面需要进行一定的梳理工作后实现配置信息采集的标准化;关联关系的定义需要分阶段进行,首先要把数据中心的节点梳理,并将所有的关系进行统计和定义,然后根据节点的属性信息自动生成节点关联关系。

3.2  全图存储

传统集中式计算架构已经逐步被分布式架构替换,数据中心的各种服务之间的关系越来越复杂。传统的数据库种类对于关系的存储方式不够理想直接导致开发周期过长、数据设计过于复杂。在分布式大大环境下,传统的数据库种类已经无法满足运维服务交互的需求,服务之间的关系需要新型的基础性变革梳理。

图数据库作为近两年的新生数据库却受到市场大量热捧,其原因就是图数据库对于关系的处理技术是革命性的改变。数据中心数以百万计的节点之间有无数的关系,因为传统数据库无法快速地处理关系,所以大量的信息无法展示和挖掘出来,这大大地影响了数据中心的运维效率。数据中心的配置信息全图数据库存储可以将数据中心的提供服务的各种对象和关系原生地存储在图数据库中,进而更加直观地展示出来,而对全数据中心体系架构进行图算法挖掘信息也变得更加敏捷。

3.3  场景驱动

传统CMDB一般都会以大而全作为建设目标,往往出现数据失效、数据过剩的现象,最终导致CMDB的数据无法消费。场景驱动的模型设计一方面可以提高建设效率,特别是为后期扩展提供坚实基础,另一方面可以通过场景来直接消费配置信息,形成配置信息收集、存储、消费的闭环。只有通过消费的认可,收集的配置信息才是最准确的、最有效的。

3.4  面向DEVOPS

DEVOPS中的部署交付流水线、持续反馈和度量分析都需要强配置管理系统。新一代的配置信息管理系统不能仅仅满足传统ITIL的理念,需要面向DEVOPS。DEVOPS中的开发环境、测试环境、生产环境都需要很多配置管理的消费,包括持续集成、测试、发布、部署、监控、操作。DEVOPS深度融合自动化的理念,所以更加需要高度自动化的强配置管理平台。

4、思路实现:

由于没有高度自动化的配置管理平台与图数据库结合的案例,在建设过程会遇到一些未知情况,所以建议采用原型开发模式,通过对典型场景的建模、开发为后期的大规模扩展提供宝贵经验。

主要按照四条主线进行:消费场景梳理与开发;基础资源架构梳理;应用资源梳理;配置管理与图数据库标准化。

4.1  逻辑架构

4.2  典型场景开发

选择部分典型场景进行重点梳理和模型设计(如互联网业务);实现典型场景的数据自动化采集;实现典型场景的数据解析,特别是服务资源之间的关联关系的自动化发现;实现典型场景的数据入图数据库和基于图数据库的场景分析故障场景的影响性分析、应用系统的重要性分析、业务的关联性分析)。

4.3  基础架构映射

数据中心的基础资源(服务器、网络、存储、计算平台、数据库、中间件、大数据平台)可以配置信息的自动化采集,基础资源之间的关系相对固定,在技术上比较容易实现快速的建模与开发。

4.4  应用资源梳理

数据中心的应用资源因为应用系统的种类较多,应用系统开发公司的标准化水平参差不齐,所以应用资源的配置信息采集与解析需要进行详细的梳理。在前期典型场景的梳理和应用资源详细梳理之后,再将应用资源配置信息统一采集入库。

4.5  平台标准化

根据前期的典型场景的梳理初步配置信息的标准,在建设不断推进的情况下,制定配置管理和图数据库平台标准化管理规范,为后期实现平台化、可配置化打好基础。

4.6  消费场景扩展

实现灾备切换的双机房服务资源架构图的状态信息丰富、云平台的租户服务内容抽取展示。

5、风险分析

5.1 技术风险分析

配置管理的新思路技术要求高,特别是关系解析和图数据库两部分,需要丰富的一线运维经验和对图技术的深刻理解。需要对数据中心复杂基础软硬件的配置信息全图化管理,没有案例,更没有成功案例,具有重大创新意义的同时存在较大技术风险。

5.2 流程风险分析

当前的流程基于ITIL开发,存在流程电子化程度不高、信息多余等情况。在配置信息管理中部分需要快捷的流程支持,因此,流程優化也会影响配置管理平台的成功实施。

5.3 组织风险分析

配置信息涉及多个技术条线的自动化采集信息和部分流程优化,工作量的分配和团队之间的协作也会大大影响建设的正常开展。

6.总结

随着互联网业务和分布式架构的不断演进,银行数据中心管理对象的数量和种类不断增多,在新的技术架构体系下,将新型的图技术运用到运维管理中去,大大提高了运维效率,规范了运营标准,减轻了运维工作。图技术为银行数据中心的配置管理提供了清晰的新思路,也为银行的IT架构转型提供了一部分有利支撑。

参考文献:

[1]连城,浅析CMDB在云环境中软件系统的应用方式[J].科学技术创新,2018,(2):86-87。

[2]张帜,庞国明,胡佳辉,苏亮,Neo4J权威指南[M].北京:清华大学出版社,2017。

[3]李全鑫,银行数据中心运维自动化应用场景探讨[J].计算机产品与流通,2019,(3):112。

[4]张凤军.基于Neo4j图数据库的社交网络数据的研究与应用[D].湖南大学,2016.

作者简介:单玮玮(1986-),男,江苏盐城人,江苏省农村信用社联合社信息科技部经理助理,硕士研究生。

猜你喜欢
数据中心自动化
关于间接蒸发冷机组在数据中心中应用的节能分析
2018年数据中心支出创新高
北京科创新型云数据中心
2017第十届中国数据中心大会榜单
AGV小车在白酒行业自动化立体仓库中的应用
配电室无人职守集控站在京博石化的运用
配电线路运行资料管理自动化的探讨
新一代数据中心建设有“书”可循