运营商网络运营大数据应用实践研究

宫云平 向勇 严宇

【摘 要】基于电信运营商的大数据资源，提出了网络运营大数据平台汇聚的数据范围、系统定位及功能架构，并结合4G网络的建设推广，阐述了如何利用网络运营大数据平台的海量数据资源来全面评估移动互联网业务感知，挖掘网络运营大数据平台在网络精细化运营方面的价值，为运营数据资源的内部应用提供参考。

大数据 网络运营 用户感知 关键质量指标 关键绩效指标

【关键词】doi：10.3969/j.issn.1006-1010.2016.04.017 中图分类号：TN91 文献标识码：A 文章编号：1006-1010（2016）04-0087-05

引用格式：宫云平，向勇，严宇. 运营商网络运营大数据应用实践研究[J]. 移动通信， 2016，40（4）： 87-91.

1 网络运营大数据概述

“大数据是金矿，蕴藏着巨大的价值”。毋庸置疑，电信运营商拥有大数据，那么电信运营商的大数据有哪些呢？主要包括如下：

（1）客户信息：包括客户真实的注册信息、业务订购情况、消费情况、缴费情况、投诉情况等静态信息，这部分信息主要存在于CRM（Customer Relationship Management，客户关系管理）、客服系统中，信息围绕“客户/人”这个“主KEY”来关联聚集，反映一个用户在使用电信业务的基本情况。

（2）用户实时业务信息：包括用户的实时位置信息、正在使用的业务类型、业务内容、APP名称、终端型号版本、业务使用感知（时延、成功率、速率）等，主要是刻画用户行为，反映用户使用业务时实时体验的动态信息，一般运营商采用部署探针、镜像抓包等方式捕获存储后再进行分析。

（3）网络/设备运行信息：包括反映各设备/各端口/各链路的速率、带宽、抖动、延时等硬件运行情况的信息以及反映网络情况的业务统计信息（如无线信号强度/覆盖/干扰等一系列指标、各端口消息收发成功率及处理时延、各协议定义的计数器情况、性能指标等）等，这类信息一般通过网管系统监控和采集。

其中，用户实时业务信息和网络/设备运行信息都是由现网实时产生、实时采集的动态信息，这类信息除了包含用户使用电信业务及互联网业务的行为特征外，更重要的是反映了用户使用业务时的网络实时情况，对运营商提高网络质量和用户使用业务时的感知具有非常重要的意义。本文即围绕阐述网络/设备运行信息，辅以用户实时业务信息，探索网络运营大数据在内部精细化运营方面应用实践。

2 网络运营大数据平台架构

与其他海量数据相比，网络运营大数据具备以下特点：

（1）实时性

通信网络无时无刻不在处理各类业务，网络的运行情况也是实时变化的，网络精细化运营要求根据网络实时情况，及时获得用户的实时业务感知，动态调配资源，提高资源的利用率，以保障用户良好的实时业务体验。

（2）关联性

用户使用一次业务会有多次交互过程，涉及到运营商网络的多个专业、多个设备，如何将分散在各设备上的海量实时的业务信息关联起来，还原用户使用业务时的真实场景一直都是网络运营中的一个难题。

（3）清单数据快捷查询

网络运营数据的另外一个应用场景就是要处理用户的网络投诉，找出故障点及时修复，故需要对各类信令/消息/日志等原始清单数据进行查询，以便定位用户故障发生的具体原因。因此，网络运营大数据在利用海量信息分析趋势、整体规律等的同时，要能够满足对清单数据的直接获取使用。

根据网络运营数据的特点，网络运营大数据处理平台应满足实时业务流处理、海量数据多维关联、清单数据快捷查询的需要，因此运营商网络运营大数据处理平台系统架构（见图1）和功能架构（见图2）设计如下：

如图1所示，网络运营大数据处理平台系统架构包括各专业数据源、数据汇聚层、数据清洗框架、数据共享平台、数据探索平台、各应用平台。其中，各专业数据源包括目前各专业网管/支撑系统、信令监测采集系统、自动测试系统、电子运维系统、资源系统、企业GIS（Geographic Information System，地理信息系统）系统等，网络运营大数据处理平台将分散在各专业的运营数据统一汇聚，实现数据的集约统一，为后续的关联挖掘分析提供了基础。数据清洗框架主要是对原始数据进行脱敏加密、剔除异常数据、输出数据源的统计信息等，数据清洗规则可以根据需求和数据源的情况灵活配置输入。经过清洗后的数据进入网络运营数据共享平台，数据共享平台为基于运营商运营数据的各应用实践提供数据资源，同时与数据探索平台互联。数据探索平台主要是针对大数据进行挖掘分析和模型开发，找出数据价值和应用方向。

图1 网络运营大数据处理平台系统架构

如图2所示，网络运营大数据处理平台功能架构从下向上分为数据采集层、平台能力层、服务接入层。其中，平台能力层作为核心能力层，包括计算框架、算法服务、数据加速、能力提供等功能模块，且系统还提供基础服务、数据管理、运营管理等通用功能。基于此功能框架，网络运营大数据处理平台可以支持离线大数据挖掘计算和实时数据流的处理分析，实现在线数据探索、即席查询/智能取数、过程可视化、模型和标签管理、数据血缘分析等数据处理能力，以及海量数据汇聚和双向迁移、大规模作业调度、一站式集中监控和集中配置等平台运营能力。

图2 网络运营大数据处理平台功能架构

网络运营大数据处理平台将运营商现网运营中实时产生的各类生产数据统一汇聚起来，进行基础的清洗去噪、脱敏加密、跨专业业务流关联和安全隔离等处理后，供各类数据应用实践进行挖掘、分析、探索和呈现。

3 基于网络运营大数据的应用实践

网络运营大数据蕴含着大量的用户使用业务时的感知体验信息以及运营商各设备的实时运行信息，有多种应用方向可以挖掘实践。2015年是中国电信的4G用户的爆发之年，将4G网络下移动互联网业务感知评估及优化这一课题作为电信网络运营大数据应用实践的切入点，可全面评估在4G网络快速推进建设时用户感知的变化情况，以便及时调整资源布放，不断提升4G网络下的数据业务感知，支撑中国电信4G品牌运营。

3.1 移动互联网业务感知评估方法

移动互联网业务属于典型的“20/80效应”，典型的业务场景覆盖了大部分用户：统计分析表明，用户使用新闻/门户网页浏览、视频、即时通信等应用的流量和时长占比超过80%；而每种类型的业务也呈现较明显的拖尾效应，采用TOP n的方式能够涵盖大部分情形。因此，可以通过分析用户在网页浏览、视频、即时通信这3种典型业务场景下用户感知的影响因素，来代表移动互联网业务感知的总体情况。具体分析如下：

（1）新闻/门户网页浏览类

DNS（Domain Name System，域名系统）延时：用户不易感知。

TCP（Transmission Control Protocol，传输控制协议）延时：用户不易感知。

页面访问成功率：用户比较容易感知，但用户能够愿意等待的时间也是有限的，如果等待时间超长，即使网页能够打开，时间上用户可能提前关闭。

首包延时：用户能够在浏览器中看到有响应，用户容易感知。

页面打开延时：从访问页面开始到页面打开所需要的等待时间，用户最容易感知。

（2）视频类

播放延时：用户容易感知，与下载速率、播放软件缓冲大小等有关系。在终端的客户端上容易检测，同下载速率有很大关系。

视频卡顿：用户容易感知，与下载速率、播放软件缓冲大小、视频节目源码流速率等有关。

视频下载速率：容易测量，能够很大程度上反映视频播放的感知情况。

（3）即时通信类

消息发送/接收延时：用户容易感知，但即时通信类应用定位的准实时特性决定了用户对消息发送/接收的延时不敏感。

消息上传/下载速率：用户不易感知，即时通信以小流量应用为主，对速率不是非常敏感。

消息发送/接收成功率：用户容易感知，体现核心需求。

综上所述，对于网页浏览类可以使用首包延时和页面打开延时，视频类可以使用视频下载速率，即时通信类可以使用消息发送/接收成功率作为移动互联网业务感知的KQI（Key Quality Indicator，关键质量指标），根据不同用户使用这3类业务的时长占比，通过一定的加权算法来综合评估4G网络下移动互联网用户使用业务时的感知情况。

3.2 移动互联网业务感知指标采集及建模分析

为了获取3类典型移动互联网业务（网页、视频、即时通信）的4个KQI，采用在4G核心网的SGW侧部署DPI（Deep Packet Inspection，深度包检测）监测系统，抓取全网移动用户使用业务时的KQI，实时掌握全网用户的感知体验情况，建立全网用户业务感知综合评估模型。同时，采集安装在终端上的APP测试数据，获取友好测试用户的端到端KQI指标，通过友好用户端到端的KQI指标进一步回归验证全网用户业务感知综合评估模型，从而获得移动互联网业务感知的稳定、客观的评估模型。

以网页浏览业务为例，KQI指标的采集示意图如图3所示。

如图3所示，APP测量点部署在用户终端上，可以采集到最能反映真实用户感知的KQI指标，但由于数量有限，属于少量抽样数据；DPI检测点部署在网络侧，能够采集到全网用户使用所有业务时的KQI指标，通过两者结合搭建全网用户业务感知综合评估模型。

3.3 移动互联网业务感知评估实施及

效果评估

根据全网用户业务感知综合评估模型的计算分析，可以随时掌握全网用户感知。对于用户感知差的区域及时间段进行端到端关联、逐层钻取分析，找出导致用户感知差的因素，有针对性地开展优化整改工作。

根据组网拓扑和业务流程，将KQI逐层映射分解到网络设备的运行指标：无线网KPI（Key Performance Indicator，关键绩效指标）指标、信令监测计算生成的KQI/KPI指标、承载网的KPI指标、EPC（核心网）网管KPI指标以及DPI系统计算生成的KQI/KPI指标等，如图4所示。

如图4所示，将KQI指标最终映射成各网络上的运行指标KPI，从而达到监测网络和优化网络运行指标来提升移动互联网业务感知的目的。该映射模型通过“指标采集→KQI评估→KPI指标优化→再采集评估”闭环流程的不断反馈优化，最终完成从用户感知到网络运行指标的建模关联，将用户感知的提升落实到日常的网络运行维护工作上，使得网络维护和优化工作有的放矢，资源投放和利用更加高效。

移动互联网业务感知评估应用从用户感知指标的采集提取建模到KQI指标向KPI指标的映射分析，充分利用了网络运营大数据平台的跨专业海量数据，并采用Hadoop架构下的Hive、Spark等组件进行海量数据的存储、处理和建模分析，验证了网络运营大数据平台对各数据应用的支撑能力。

4 结束语

大数据技术研究及应用是近年来业界热炒的概念，无论是传统行业还是新型行业，都希望通过海量数据分析挖掘数据价值，从而发现应用商机，产生新的盈利点。本文在研究分析电信运营商网络运营大数据的基础上，提出了网络运营大数据的系统架构及构建建议，并进行了基于现网实时运行数据的内部应用实践探索，为运营商内部精细化运营提供参考。

参考文献：

[1] 孟小峰，慈祥. 大数据管理：概念、技术与挑战[J]. 计算机研究与发展， 2013（1）： 146-169.

[2] 李建中，刘显敏. 大数据的一个重要方面：数据可用性[J]. 计算机研究与发展， 2013（6）： 1147-1162.

[3] 王元卓，靳小龙，程学旗. 网络大数据：现状与展望[J]. 计算机学报， 2013（6）： 1125-1138.

[4] 韩晶. 大数据服务若干关键技术研究[D]. 北京： 北京邮电大学， 2013.

[5] 李学龙，龚海刚. 大数据系统综述[J]. 中国科学： 信息科学， 2015（1）： 1-44.

[6] 李文莲，夏健明. 基于“大数据”的商业模式创新[J]. 中国工业经济， 2013（5）： 83-95.

[7] 冯登国，张敏，李昊. 大数据安全与隐私保护[J]. 计算机学报， 2014（1）： 246-258.

[8] 孙大为，张广艳，郑纬民. 大数据流式计算：关键技术及系统实例[J]. 软件学报， 2014（4）： 839-862.

[9] 张引，陈敏，廖小飞. 大数据应用的现状与展望[J]. 计算机研究与发展， 2013（S2）： 216-233.

[10] 卢辉. 数据挖掘与数据化运营实战：思路、方法、技巧与应用[M]. 北京： 机械工业出版社， 2013.

[11] 中国电信客户感知项目组. 中国电信移动网业务感知分析系统功能规范、技术规范[S]. 2015.