运营商大数据平台建设方案研究

辛笛

（中国通信建设集团设计院有限公司第四分公司，郑州 450052）

电信业历经多年IT建设，已经具备大量数据和应用的成果与经验。随着企业级数据整合，海量数据处理和大数据应用建设等的需求不断增加，造成当前计算资源管理、任务调度、运营监控和元数据管理等能力不能满足要求，传统数据运营管理体系向大数据运营体系演进势在必行。

大数据平台的演进应按照“搭平台、做应用”的思路进行，分能力建设阶段、完善提升阶段、深化扩展阶段3个阶段进行，大数据平台分阶段建设内容如表1所示。

在能力建设阶段，主要构建基础能力，同时针对性搭建应用；在完善提升阶段，则需要完善平台能力，提升应用价值；在深化扩展阶段，主要开展创新与合作，完善大数据产业链。

电信运营商应聚焦自身大数据资产，以客户为中心，形成大数据汇聚合力，支撑技术创新的市场客户产品类、网络资源运维类、业务开放创新三大类应用，提升用户体验。

表1 大数据平台分阶段建设内容

1 大数据平台建设方案

大数据平台总体建设应以用户需求为中心，以业务运营为导向，深度分析挖掘用户的通信和互联网行为，依据行为结果建设基础平台集成和数据模型，将行为结果转化为营销商机数据，通过多渠道协同，推进智慧在线运营，打造企业差异化竞争能力。

1.1 体系结构

大数据系统体系架构采用云化混搭架构建设开放、可靠、易维护的大数据平台；以数据为基础，需求为导向，通过持续的模型、业务研究，构建对内、对外应用，支撑大数据战略的实现。

整个大数据平台包括采集调度中心、存储计算中心、平台资源管控中心、数据管控中心、服务开放中心5个部分，总体架构如图1所示，具体功能如下。

(1)采集调度中心：采用数据不落地传输、分布式内存数据计算、实时流数据处理等技术实现对系统源数据的处理与交换。

(2)存储计算中心：以Hadoop、MPP、流处理等技术建立数据处理中心，提供离线计算服务和在线计算服务，实现海量数据批处理和实时处理。

(3)平台资源管控中心：面向多租户的安全管控，资源分配/隔离等，支持多厂家、多应用安全高效的开发和运行。

(4)数据管控中心：统一封装的函数库，屏蔽底层差异性，通过类SQL编写或函数调度，实现跨平台统一开发。

(5)服务开放中心：通过PAAS、DAAS、SAAS 3种不同层次的开放，对围绕数据的各种角色提供支撑。

1.2 数据分析思路

大数据平台担负着向各平台应用提供数据支撑的责任。原始数据的杂乱无章难以支撑应用的多元化需求，这就需要平台对其进行梳理分析，得到满足如下条件的分析数据。

(1）数据分域分层，结构清晰，便于取用。

(2）数据组合灵活，能应对多元化应用需求。

(3）数据内容丰富，不过于依赖接口历史数据。

根据对数据支撑应用的要求，平台将数据纵向分为3层： 接口层(原始数据)，整合层(关联后数据)，汇总层(对外提供数据)。

其中整合层将数据横向分为4域： 基础域(三户基础信息、订购信息等)，消费域(涉及用户所有的消费数据) ，行为域(用户各类行为数据，频值、币值、趋势)，偏好域(计算获得的用户各类偏好，时间、内容等)。

汇总层将数据横向分为3域： 营销域(支撑营销类事件) ，分析域(支撑分析与决策) ，服务域(支撑客服类、维系类、关怀类事件)。如上文所述，数据的分层分域图如图2所示。

另一方面，搭建大数据平台的物理层网络拓扑图如图3所示。

关于大数据平台物理层的网络拓扑图，作如下说明。

（1）网络架构：所有集群主机通过高速交换机进行网络连接，实现系统的高可靠性。

图1 大数据平台总体架构图

图2 数据的分层分域图

图3 大数据平台物理层网络拓扑图

(2）NameNode：NameNode节点是Hadoop集群的管理节点，采用双机热备的形式实现了高可用性。

(3）DataNode：DataNode节点是Hadoop集群的数据存储和计算节点，采用多机冗余和数据冗余的方式实现了高可用性。

(4）接口机（与ETL共用）：接口机用于接收和暂存数据源系统向外传送的数据文件，双机配置可以用于接口压力的分担，也可以在单机故障时互为备份用机。

(5）系统管理（ETL）：系统管理部署集群管理软件，实现对集群的管理和任务调度，采用双机热备的方式实现了高可用性。

1.3 大数据平台硬件配置

如表2所示，根据业务需要和数据平台架构特点，规划大数据平台硬件配置，保证系统的处理能力、高可靠性，并保证系统的高可扩展能力。所有服务器硬件设备采用相同的配置，目的是当集群中关键节点（如NameNode节点）出现故障时，可以将集群中的冗余服务器临时替代关键节点主机，实现备品替换。对于用作DataNode节点的PC服务器，应根据平台规划来确定数量，并随着业务发展逐步增加台数。

2 大数据应用探讨

基于大数据平台的应用，可分为企业内部应用和企业外部应用两大类。

2.1 企业内部应用

对于运营商内部应用，可以通过构建如下三大体系实现对运营商服务、经营及运营的有力支撑。

（1）基于大数据超细分的营销服务体系： 通过用户细分，研究各细分用户群行为规律及营销特征。

(2）以大数据分析为引领的经营支撑体系：通过超细分研究，对市场发展、行业竞争、产品推广进行分析。

(3）依托大数据能力的集约化实时运营体系：通过大数据采集系统，实时掌握市场发展动态；通过智能化营销决策系统，动态进行营销实时预警、管理。

2.2 企业外部应用

相比较于企业内部应用，大数据外部应用则可实现如下功能。

（1）精准广告：建立RTB-DMP平台， 开展大数据精准/展示广告业务。

（2）行业资讯：建立大数据对外合作模式，形成行业分析报告。

表2 大数据平台硬件配置

（3）区域洞察：重点针对零售等行业企业，开展大数据应用，为商业活动提供决策依据。

(4）数据交易：研究大数据交易开放、安全机制，构建面向互联网的数据共享和交易平台。

3 结束语

大数据正在以不可阻挡的趋势走进各行各业，电信运营商拥有庞大的用户数据和网络数据等数据源，在大数据时代具备天然的优势。建设适合运营商自身的大数据平台是发挥数据资源优势，挖掘运营商大数据价值的必由之路。

今后，电信企业应不断提升数据共享能力，将大数据平台形成的数据能力共享给其它系统，发挥数据价值，提升数据对生产运营的支撑作用。最终实现大数据融合、打造大数据服务、盘活大数据价值，创建一个全面数据管理、容纳多种合作模式、提供丰富产品内涵的完善生态体系。

[1] 田雯, 刘倩, 孙红恩. MPP数据库在中国移动大数据应用中的前景分析[J]. 电信工程技术与标准化, 2017(3).

[2] 覃雄派, 王会举, 杜小勇, 等. 大数据分析——RDBMS与MapReduce的竞争与共生[J]. 软件学报，2012(01).

[3] 孙红恩. 电信运营商省级大数据平台建设方案[J]. 电信工程技术与标准化, 2016(2).

[4] 于富东. 大数据平台的关键技术及组网方案[J]. 电信科学,2015,31(07):164-169.

[5] 徐计, 王国胤, 于洪. 基于粒计算的大数据处理[J/OL].计算机学报, 2015,38(08):1497-1517. (2014-11-28)[2017-08-20]. http://kns.cnki.net/kcms/detail/11.1826.tp.20141205.1510.013.html

[6] 潘文宇, 蔡鑫, 阮宜龙, 等. 运营商大数据平台的敏感信息保护研究[J]. 电信科学, 2014,30(11):125-130.

[7] 任建新. 基于Hadoop平台的大数据应用系统架构的研究与实现[D].北京：北京邮电大学, 2014.

[8] 陈云海, 黄兰秋. 大数据处理对电子商务的影响研究[J]. 电信科学, 2013,29(03):17-21.

[9] 沙乐天, 肖甫, 陈伟, 等. 基于多属性决策及污点跟踪的大数据平台敏感信息泄露感知方法[J]. 通信学报, 2017,38(07):56-69.

[10] 周亮. 面向大数据的网络安全分析方法[D]. 南京邮电大学,2016.

[11] 张超. 云环境下的新型大数据处理平台研究[D]. 华南理工大学, 2016.

[12] 王强, 李俊杰, 陈小军, 等. 大数据分析平台建设与应用综述[J]. 集成技术, 2016,5(02):2-18.

[13] 喜艺. Hadoop大数据平台与传统数据仓库的协作探究[J]. 通讯世界, 2015,(17):8-9.

[14] 王洪春. 大数据平台在大型国企效能建设中的应用研究[J].通讯世界, 2015,(13):145-146.

[15] 赵晶. 针对运营商的大数据建设方案研究[J]. 电信工程技术与标准化，2015(3).