运营商大数据服务平台与典型应用模式研究

【摘 要】在互联网时代，随着大数据相关新技术和新应用的迅猛发展，给电信运营商带来流量收益的同时也带来了新的机遇和挑战。通过结合大数据的技术现状以及电信运营商的数据特点，提出一种弹性开放的运营商大数据服务平台体系架构，并对运营商大数据的典型应用模式进行了研究。

【关键词】运营商 大数据 服务平台 体系架构 应用模式

doi：10.3969/j.issn.1006-1010.2016.04.018 中图分类号：TP399 文献标识码：A 文章编号：1006-1010（2016）04-0092-05

引用格式：沙甲戊. 运营商大数据服务平台与典型应用模式研究[J]. 移动通信， 2016，40（4）： 92-96.

1 引言

随着互联网以及物联网等信息技术的飞速发展，相应产生的信息数据量也呈现爆发式增长。电信运营商拥有大规模运营网络和庞大的IDC（Internet Data Center，互联网数据中心）集群，具备优质的管道优势和数据资源优势。面对海量的数据资源，如何挖掘和利用其价值成为了电信运营商面临的关键课题。

2013年Informa Telecoms & Media公司对全球范围内的120家运营商进行了调查，调查报告显示，其中约有48%的运营商已经部署了大数据相关业务。另外，国内一些大的互联网公司也都已经构建了相关的大数据平台，如阿里巴巴集团建立基于Hadoop技术的大数据平台“云梯”；百度公司也整合自身业务的所有相关数据，建立大数据平台实现数据的集中存储和处理。

运营商大数据服务开放平台是有效利用大数据的重要基础。运营商大数据服务平台应该具备弹性可伸缩的资源分配能力，能够根据上层业务的需求动态地增加或减少基础资源。运营商大数据处理任务通常既是数据密集型的，又是计算密集型的，因此高效的分布式计算框架是保障大数据服务执行效率的重要支撑手段。大数据业务模式种类繁多，既有针对电信运营商的业务，也有针对第三方需求的业务，而且新的业务模式层出不穷，因此大数据服务平台需要提供灵活业务部署能力。运营商大数据服务的目标是要形成一系列大数据服务应用，一方面可以提升运营商自身的管理和运营能力，另一方面能够创造新的价值增长点。本文首先提出一种弹性开放的运营商大数据服务平台体系架构，然后对运营商大数据的典型应用模式进行探讨。

2 运营商大数据服务平台

2.1 大数据服务平台体系架构模型

运营商大数据服务平台的总体目标是构建统一开放的数据采集、存储、处理与应用的软硬件环境。平台能够从海量异构数据源获取数据，包括运营商内部数据以及外部第三方数据，并能够保证海量数据的存储与计算性能，面向不同的运营部门以及第三方用户提供多种大数据服务。运营商大数据服务开放平台的功能体系架构如图1所示，包括数据源层、数据采集层、数据存储层、数据分析及处理层、数据汇聚层、数据服务层、用户应用层以及平台管理系统。

（1）数据源层。电信运营商自身所拥有的数据非常丰富，这些数据涉及的范围广、维度丰富、信息量大，可以为大数据服务平台提供充分的数据支撑。其数据主要包括：固定网络的信令数据和用户的全量信息、移动网络的信令数据和用户的全量信息、运营商的BSS（Business Support System，业务支撑系统）/OSS（Operation Support System，运营支撑系统）/MSS（Management Support System，管理支撑系统）/CRM（Customer Relationship Management，客户关系管理系统）/OCS（Online Charging System，在线计费系统）等信息系统的业务数据以及通过多种途径获得的第三方数据资源。

（2）数据采集层。通过业务数据库标准接口、FTP（File Transfer Protocol，文件传输协议）、爬虫等方式集中采集固网/移动的DPI（Deep Packet Inspection，深度包检测）信息、BSS/OSS/MSS等电信业务系统数据以及第三方数据等，通过ETL集群将数据进行抽取、转换、加载至大数据平台的存储层中，支持对结构化、半结构化、非结构化等多格式数据源的采集，同时满足周期性/实时/定时等采集方式的要求。

（3）数据存储层。实现对采集来的多种类型大数据的分布式存储。面对数据结构的多样性以及数据存储需求的变化，传统的以结构化为主的单一数据库已经不能满足要求，这就需要OldSQL（传统数据库）+NewSQL（新型数据库）+NoSQL+其他（内存数据库、缓存）为大数据平台共同提供数据存储服务。同时，数据存储层还应该有效地支撑海量数据的分析。基于Shared Nothing架构的面向结构化数据分析的MPP（Massively Parallel Processing，大规模并行处理系统）数据库可以有效地支撑PB级别的结构化数据分析；采用Hadoop技术实现半结构化和非结构化数据的分布式存储及处理；分布式内存数据库和缓存技术能够提供高效的访问速度及并发访问能力，可以快速地响应实时流计算；基于行列式的混合存储能够有效地支持存储能力的动态线性扩展，提供数据的容错机制和安全管理，为大数据分析处理提供支撑。

（4）数据分析及处理层。该层主要进行大数据的计算处理，完成对大数据的挖掘分析等功能。为了满足针对海量数据的高效处理，平台需要同时具备分布式离线批处理和分布式实时流处理等计算能力。针对离线批处理任务，采用MapReduce或Spark计算框架做离线的批量处理，可以对计算任务进行灵活调度；而面对海量数据的实时处理请求，可采用Storm计算框架对连续的实时数据流进行分布式并行计算。随着数据规模的扩大，数据之间的模式和规则不一定是直观的，需要对数据进行数据挖掘、OLAP（On-Line Analytical Processing，联机分析处理）分析等处理，发掘海量数据中存在的规律，发挥其潜在的巨大价值。

（5）数据汇聚层。平台可以采用传统的关系数据库存储分析处理完的数据，供后续查询使用。对于数据量庞大的信息或非结构化分析数据，可以采用HBase等分布式数据库存储和查询，目标是要支持上层服务对数据的透明访问和实时操作需求。

（6）数据服务层。运营商的大数据既可以为企业内部部门提供业务和管理方面的决策支持，也能够为第三方用户提供多种大数据服务，如大数据查询、大数据分析以及大数据可视化等。大数据查询服务通过数据加密等隐私保密机制，为企业、政府等第三方提供用户的个人信息、位置和上网行为等原始数据或特定的数据分析结果；大数据分析服务包括用户行为分析、业务经营分析等；可视化服务可以将用户的请求和数据分析结果以可视化的方式反馈给用户，使结果更具直观性，从而提高用户体验。

（7）用户应用层。运营商大数据平台可以提供内容搜索、内容推送、服务推荐、日志查询等一系列的功能，或者可以对外提供经过处理的分析结果。

（8）平台管理系统。管理系统的功能主要包括管理门户、用户管理、系统管理、安全管理、日志管理等；另外，还提供数据管理功能，主要包括元数据管理、数据生命周期管理、数据质量管理和数据安全管理等。

2.2 大数据平台关键技术

（1）基础资源弹性伸缩

运营商大数据服务平台需要基于云计算技术实现数据中心的基础资源的统一管理能力，如VMware、OpenStack等。通过搭建大数据平台虚拟基础资源池，能够根据用户的业务需求和策略，自动地调整其弹性计算资源的数量和使用时间，在业务需求增长时自动增加平台资源，并在业务需求下降时自动减少平台资源，从而使各种大数据业务能够共享资源池，提高资源利用率，降低大数据平台的IT成本。

（2）计算任务自适应调度

大数据平台需要承载各种类型的计算任务，如离线挖掘历史数据的各种关联模式、在线实时处理各类查询和推荐用户感兴趣的产品。然而不同类型的计算任务有不同的任务调度特点，在大规模数据的场景下需要一种高效的混合分布式计算架构，以自适应地调度各类计算任务。大数据平台建议结合MapReduce、Spark以及Storm等技术构建分布式计算平台，能够让用户方便高效地利用运算资源和处理海量数据。

（3）业务能力自动装配

高速发展的运营商业务平台面临用户需求频繁变化和用户规模快速增长的问题，大数据服务平台需要具备快速业务部署、可靠运行和弹性扩展的能力。随着运营商大数据服务平台的发展趋于技术多样化、架构复杂化和集群规模化，其业务部署管理也变得越来越困难。为解决上述问题，轻量级容器部署平台Docker提供了简单、灵活、高效、全流程的大数据业务平台部署方案。

3 运营商大数据典型应用模式

电信运营商的系统每天承载着海量信息，其本质是为用户与用户、用户与设备、设备与设备之间提供通信管道。电信运营商自身拥有的数据大体上包括：一是电信网络设备运行状态相关的信道层面的数据，这类网络运维数据对保证电信网络的正常运行和优化极其重要；二是电信用户相关的内容层面的数据，该类数据又可分为两部分，一部分是相对静态的用户账号数据，记录用户的身份信息等，另一部分是实时动态的用户通信行为数据，记录用户的通话行为和上网行为等，这类用户数据对电信业务的经营分析极为重要；三是电信增值服务类数据，包括网页数据、视频监控数据等。

全球电信运营商在大数据应用方面已开展了很多实践，如提升用户粘合度、优化网络管理、降低网络运营成本、向第三方开放数据或提供大数据服务等。总的来说，电信运营商的大数据应用可归结为：一是基于大数据分析的对内应用模式；二是基于大数据开放和分析的对外服务模式。具体如图2所示。

3.1 对内应用模式

当前，电信运营商的业务经营模式从增量经营体系向新型存量经营体系转变。因此，如何提升在网用户的使用体验、刺激在网用户消费、降低网络运营成本成为提升运营商营业收入的关键。

（1）提升用户粘合度

提高用户体验，降低用户投诉率。在大数据平台上建立用户投诉数据库，对用户属性（如投诉原因、各种接入指标、用户信息）进行量化处理，通过量化后的多维属性数据建立大数据预测模型，对在网用户进行预测，预测出可能要投诉的用户并及时处理，以降低用户投诉率。

改变产品研发方式。传统电信产品研发过程是先了解用户需求再设计开发产品，而利用大数据服务平台，通过分析大量用户行为数据来发现潜在的用户需求。基于大数据分析的结果开发的产品可能比用户自己更了解自身需求，从而实现产品研发的多样化、个性化、快捷化，提升对用户的粘着性。

为用户提供个性化服务。当前，运营商通常只针对某个群体推出个性化套餐，然而随着移动互联网的发展，为个人用户定制个性化服务必将成为趋势，也是运营商提升自身竞争力的重要方案。基于大数据平台对每个用户的消费行为进行综合分析，将用户很少使用的功能去除后，向用户推送新的个性化定制套餐信息，有助于增加用户购买套餐的可能性。

（2）网络管理与优化

基础设施建设优化。可以利用电信网络的通信数据建立通信能效评估模型，对网络中基站的使用效率和建设成本进行综合评估，避免出现基站建设的资源浪费问题，以降低网络建设成本。另外，运营商通过分析在网用户的通话位置信息，还原用户活动轨迹，在用户密集区域增加基站，以提升用户使用体验。对通信大数据进行分析和挖掘，能够为通信基站的选址提供可靠依据，并可以改进通信资源的分配情况，同时可通过分析话单和信令中用户的流量在时间维度及空间维度方面的分布，在高用户流量的热点区域增加4G基站或Wi-Fi接入点，从而改善通信质量。

网络运营管理及优化。在网络运行过程中，运营商可以实时地获取网络信令、网络日志等数据，通过大数据技术对这些数据进行分析，进而更精准地优化网络运行，提高网络通信质量和网络资源利用率，实现网络、用户和业务的智能匹配。例如，不同通信小区中的用户群的收入和消费行为的不同，导致了不同小区的盈利能力不同，而通过对通信小区的数据进行综合分析和挖掘，能够得到小区用户情况、通信行为和小区盈利能力的关联模型，再和网络质量分析结合起来，提升某些盈利能力高的小区的网络覆盖，并对其网络进行优化，从而提高电信网络的投资效率。

（3）精准营销和实时营销

运营商可以基于用户个人信息、通话信息、位置信息、上网记录等数据，为每个用户打上其特征属性标签，如用户的通话和上网的时空特征、网络购物偏好特征等，并借助大数据分析技术进行客户分群，帮助运营商深入地了解用户潜在的消费需求特征，然后对用户与通信服务套餐进行精准的匹配，并在合适的时机通过合适的渠道把用户感兴趣的服务套餐推荐给用户，从而实现精准营销，提升用户体验并刺激用户消费，扩大营收。

3.2 对外应用模式

电信运营商积累了大量的用户数据，如用户的个人基本信息、位置信息、消费情况、上网记录等信息。通过大数据技术去除掉个人用户敏感信息，进而对这些信息进行综合分析，能够还原出不同消费人群的活动轨迹、行为特征、感兴趣的内容等多种有价值的信息。运营商可以在不泄露用户个人隐私的前提下向第三方公司出售这些数据和数据分析的结果，如通过移动信令数据分析特定时间段市区各主要道路的人员密集情况以及轨迹信息，能够帮助交通部门对车辆进行合理导流，减缓拥堵地区的交通压力。

另外，运营商还可以对外部提供咨询服务，如在英国、巴西推出了智慧足迹（Smart Steps）的服务，能够基于移动网络大数据的分析结果向政企客户提供客流分析和零售店选址服务。

4 结束语

随着大数据相关技术及产业的成熟，越来越多的企业尝试接纳甚至拥抱大数据服务。大数据对电信运营商既是机遇，也是挑战。当前，虽然电信运营商已经开始尝试使用大数据技术并取得了初步效益，但是大数据技术的发展日新月异，关键技术不断更新演进，新的应用模式层出不穷，电信运营商也应该在大数据的浪潮中抓住机遇，拓展新的空间。基于此，本文提出了一种弹性开放的运营商大数据服务平台体系架构，并探讨了运营商大数据的典型应用模式。

参考文献：

[1] Zhao Xiaomeng， Ma Huadong， Zhang Haitao， et al. HVPI： Extending Hadoop to Support Video Analytic Applications[A]. Proceedings of IEEE 8th International Conference on Cloud Computing （IEEE Cloud 2015）[C]. 2015.

[2] Yang Xianda， Zhang Haitao， Ma Huadong， et al. Multi-Resource Allocation for Virtual Machine Placement in Video Surveillance Cloud[A]. Proceedings of International Conference on Human Centered Computing （HCC 2016）[C]. 2016.

[3] Zhao Xiaomeng， Ma Huadong， Zhang Haitao， et al. Metadata Extraction and Correction for Large-Scale Traffic Surveillance Videos[A]. Proceedings of the 2014 IEEE International Conference on Big Data （IEEE BigData 2014）[C]. 2014.

[4] 刘春，邹海锋，向勇. 大数据环境下电信数据服务能力开放研究[J]. 电信科学， 2014（3）： 156-161.

[5] 韩晶，张智江，王健全，等. 面向统一运营的电信运营商大数据战略[J]. 电信科学， 2014（11）： 154-158.

[6] 彭庆. 基于大数据技术的数据共享平台方案研究[J]. 电信技术， 2014（10）： 22-25.

[7] 魏进武，张云勇. 电信运营商的大数据价值创造[J]. 信息通信技术， 2013（6）： 10-14.

[8] 李秋静，叶云. 电信大数据解决方案及实践[J]. 中兴通讯技术， 2013（4）： 39-41.

[9] 黄勇军，冯明，丁圣勇，等. 电信运营商大数据发展策略探讨[J]. 电信科学， 2013（3）： 7-11.

[10] 童晓渝，张云勇，房秉毅，等. 大数据时代电信运营商的机遇[J]. 信息通信技术， 2013（1）： 5-9.