基于电信行业MSS专业的大数据计算能力开放平台研究

文洋 池永波 袁娜

摘要

为解决中国电信集中MSS系统诸多业务子系统跨节点、跨专业大数据汇聚计算和能力开放问题，提出基于SAP-HANA建立核心数据仓库，打造大数据计算能力，并通过数据能力开放平台将计算能力输出给外部系统，为实现企业智慧运营提供技术保障。

【关键词】HANA 大数据计算 能力开放 接口API

1 引言

中国电信全国MSS系统集中以后，随着系统数据量的不断增长，跨专业、跨节点、跨系统的大数据分析逐步成为主要业务诉求。例如：财务系统是以省为节点进行的应用系统部署，很难实现针对全国数据的综合汇总分析;采购全流程分析需要从财务、采购、工程管理等多个专业系统数据库采集数据并进行聚类分析，但原单一系统库无法承载和汇总计算其他专业的大量明细数据。因此，建立一套能够汇聚全网数据、海量计算能力、具备灵活对外数據服务接口的系统迫在眉睫。

通过研究，中国电信以SAP-HANA软件为核心，通过二次开发实现从财务、采购、工程管理、人力等多个专业系统数据库的实时数据采集能力，形成1：1的集中式数据仓库，并利用内存计算和自定义数据算法模型，实现跨专业、跨节点、跨系统的大数据计算能力。同时，为解决全集团及省分公司的大数据计算能力的输出，基于JAVA语言开发出独立的数据能力开放平台，标准化的数据接口能够满足快速的接口配置，将RANA大数据计算模型、数据宽表、计算指标灵活、定制化的开放给外部系统，使HANA计算能力得到最大化的利用和共享。

2 系统建设目标

2.1 建立mss数据能力开放平台，实现标准化数据能力接口

基于JAVA语言自主研发大数据能力开放平台，并建立标准化接口规范，实现数据接口的自动化配置。通过配置参数的调整，即可完成接口传输功能，减少对外数据提供接口的开发频次和工作量，降低开发成本。所有与RANA进行数据交互的接口均纳入MSS大数据能力开放平台进行管理，接口调用频率、触发时间、启动、取消等内容在平台上直接配置。

2.2 实现各接口的实时监控和接口状态查询

平台具备接口监控功能，可针对各类数据调用接口的运行状态、运行效率、报文信息进行实时监控，当出现接口异常时监控平台进行系统告警。

2.3 对各业务系统接口需求进行统一管理

通过统一的标准接口平台，对各业务系统接口需求进行统一管理，避免因接口标准的不统一导致后期系统维护难和数据安全性等问题。

3 系统解决方案设计

3.1 系统总体架构

如图1所示，mss大数据能力开放平台分为数据输出接口配置、接口状态监控和平台配置管理三大部分功能。其中：

（1）数据输出接口配置功能包括接口配置、接口模拟测试、接口总览视图、接口调用明细查询、接口调度、接口IP限制、下发日志查询、接口调用频率查询、调度启用/停止控制等功能。

（2）接口状态监控功能包括：接口调用消耗时长、调用次数、调用连接数、并发数查询、接口状态等功能。

（3）平台配置管理功能包括：接口连接权限控制、能力开放注册、连接账号管理等功能。

3.2 接口描述

3.2.1 接口描述

（1）发出报文：

第一层IF+源系统简称+2+目标系统简称+_Service如：IF_OABat2Cpmis_Service，第一层节点也可以根据实际情况进行调整。

第二层：I_REQUEST

第三层：BASEINFO

第三层：MESSAGE：用户报文信息

（2）接收报文：

第一层：IF_+源系统简称+2+目标系统简称+_Service如：IF_OABat2CpmisService，第一层可以根据实际报文内容进行调整。

第二层：E_RESPONSE

第三层：BASEINFO

第三层：MESSAGE：用户报文信息

第四层：TYPE返回报文成功与否标识

第四层：REMARK报文返回信息

第四层：DATA返回数据

第五层：ROW记录

3.3 基于大数据的能力平台技术方案设计

3.3.1 能力开放平台以HANA内存数据仓库做为底层数据支撑

目前主流数据库例如ORACLE、DB2均以磁盘为主要存储介质，内存作为缓存。RANA系统是以内存为主要存储介质，磁盘用于针对冷数据进行持久性存储。由于大量的热数据存储在内存中，且HANA计算方式采用的是列式计算矩阵，可大幅缓解计算过程中I/O调用问题。

技术优势：

（1）海量数据存储，横向集成，纵向贯通。通过跨专业流程衔接，实现集团M域人、财、物各业务流程横向集成，通过集团对省、市、区、县业务流程和数据贯通，实现集团集约管理水平，并在数据的横向和纵向完整性、一致性方面，为集团多维度分析提供完整的数据保障。如图2所示。

（2）复杂计算逻辑由应用层转移到数据库层。能力开放平台选择HANA数据仓库做为底层数据库，内存列式计算模式保证了HANA跨专业、跨系统的综合分析能力。通过把应用逻辑和计算转移到数据层，在数据清洗转换和汇聚阶段大幅提升了复杂逻辑计算的速度。如图3所示。

3.3.2 应用服务器集群分布式部署

MSS大数据能力开放平台采用apachetomcat应用服务器，单一服务器部署应用随着接口调用频率的增长及后续加载数据量的增大将迅速达到性能峰值，服务器会出现卡顿、崩溃等情况，所以在不改变应用架构的情况下，通过使用apache（Apache HTTP Server（“httpd”））作为前置负载均衡，后端使用tomcat（Apache Tomcat）集群进行服务横向扩展（水平扩展）来提高服务效率，水平扩展的优势在于随着数据量及接口数量增大，调用频率增加造成服务器超负荷时，可随时进行服务自动横向扩充。

负载均衡：将后端tomcat集群使用apache反向代理且设置权重以达到向tomcat集群进行请求分发能力开放平台采用集群式部署，高并发的接口传输能更持续，快速同时对多业务平台提供复杂数据能力开放。如图4所示。

4 MSS能力开放平台实施成效

针对集团提出的HANA能力共享方案，项目团队经过一年的努力，于2018年顺利实现mss大数据能力开放平台的上线。现阶段该平台运行平稳，并己完成中国电信全网财务、采购、工程管理、人力、审计、法律、合同七大专业数据的能力开放，为外部各业务系统提供接口多达600个，按单个专业数据接口开发15人天计算，共减少人天9000人天、减少成本约810万元，有效支撑了中国电信采购全流程、工程全流程、财务工作台等多个注智场景的综合流程分析，为实现中国电信智慧化运营提供了强有力的技术支撑。