移动基站研发中的大数据运用

赵松峄，姚劲松，柏青，刘继民，吕平宝

移动基站研发中的大数据运用

赵松峄，姚劲松，柏青，刘继民，吕平宝

（上海诺基亚贝尔股份有限公司，上海 201206）

移动基站产品（如4G LTE/5G移动基站、物联网基站）的研发过程非常复杂，基站的各个软件模块彼此依赖，而系统性能分析和故障定位依赖于对各软件模块产生的海量日志数据的挖掘。将物理层、MAC层、RRC层等层间数据相互关联变得非常必要，这能明显提高产品开发过程的效率和研发产品质量。首先介绍了无线大数据的特点，并分析了其面临的问题；然后研究了如何处理数据，包括数据采集，特别是联合跨层数据采集、提取、非结构化数据格式在分布式数据库中的转换以及各域数据之间的同步方法，详细阐述了结果数据和过程数据两类数据的分析方法；最后展望无线网络数据规模进一步扩大后对平台的需求和相关的应用前景。

日志分析 时间序列分析 过程数据分析

1 引言

移动网络产品研发（如基站）是一个巨大而复杂的软件工程，需要组织数千名来自不同领域，具有不同技术背景的工程师一同工作。例如基站的研发通常按移动网络的控制面、用户面及管理面的需求进行分解并协同开发。在这种跨层跨域的环境中，每个软件模块的开发和测试都会产生海量数据，比如日志数据及调试过程信息等，因此迫切需要数据整合工具来帮助工程师跟踪和检查产品各模块的开发进程，尽早整合各模块，以提高产品开发的效率。本文将讨论如何帮助工程师面对大数据的挑战，处理和分析各模块产生的海量数据，加快产品的开发过程。

本文以4G无线基站（eNB）产品开发过程为例，介绍与总结大规模采集、预处理并分析大数据的实践经验以及研发过程中行之有效的一些方法。

2 无线产品开发所面临的挑战

产品工程师眼中的无线大数据常常是指：从所有连接的无线网元设备（包括LTE基站、5G基站、物联网基站等）收集到的数据，包含性能计数器、告警事件、3GPP规范定义的信令类呼叫日志，运营商自定义测量报告、网关深度包检测数据以及设备用于调试的日志数据等。工程师希望借助这些数据了解产品设计是否满足要求、产品工作流程是否达到预期或者是否需要改进。

移动网络产品研发是项复杂的系统工程，每个领域和层面（如控制面、用户面和管理面）都有其专有的日志抓取工具和分析工具，定位与同步各领域的日志数据十分困难。由于采集数据量大，当设备负载增高时会引起日志数据溢出丢失，进一步影响设备性能，这种入侵式调试方法使产品运行时的实际性能受到明显影响。

对于已获取的数据日志的分析，工程师习惯于基于单个事件、单个用户进行行为分析，许多有用信息并未完全利用。如果需要在多个层面，从全局综合性地分析，或者从某个连续覆盖的区域同时抓取海量数据，对这样跨层跨域的数据，需要一个数据分析的方法和统一分析框架。

一个成功的开发工具需要对不同知识背景的工程师提供两个层面的帮助：一种是降低数据处理能力的学习门槛，由工具提供常见的情景化的分析模板，可直接将由专家定义的大量相关且同步的数据图形化一次性地展示出来，这能够让工程师快速地把精力专注于熟悉的领域；另外一种是提供输出控制模板或脚本，让工程师对元数据进行输出定制，而后进行深度挖掘。

从实际运用无线大数据的状态来看，数据分析方法是对两种截然不同的数据类型分别在两个层面进行讨论。无线数据可以分为结果类数据（即平时说的KPI（Key Performance Indication，关键性能指标））和过程类数据（即事件型的数据日志）。两个层面的数据分析是指数据的基本分析和深度分析。基本分析，即探索性数据分析[3-4]，是对所收集的数据用描述性统计语言对其进行多维的图形展示，以便发现其内在联系并为进一步的系统优化提供指导。数据的深度分析则一般根据解决问题的方向，使用各种机器学习算法进行数据挖掘。

3 无线设备日志数据的获取

3.1 日志数据的采集

在设备高处理负荷情况下，日志数据可能产生缓存溢出和掉包。通过对日志数据进行二进制编码存储可实现在基站中等负载情况下，即每扇区200个活动用户情况下，L2调度层产生的日志数据大约是300 kb•s-1•cell-1，能够满足数据采集的需求。

3.2 跨层日志的同步获取

LTE基站eNB的日志采集系统（ETC），能支持实验室和外场两种环境。ETC访问网管设备下达各种采集命令，外场使用现场的日志收集网元TCE（Trace Collection Element）存储获取的数据。系统实现架构如图1所示。单eNB及多eNB的数据采集均可采用该结构来实现。

图1 eNB日志采集系统

3.3 日志数据入库

原始日志数据往往是非结构化的，有不同的数据结构和格式，每条数据内容也千差万别，采集的数据也可能会有遗漏或错误。再一个原因是数据量太大，一个小区10分钟约产生3 GB～4 GB的数据量。因此需要将非结构化的数据导入数据库，并提取结构化的数据，为后续计算机进行自动化处理和统计性机器学习[2]提供可能。比较合适的数据库是支持非结构化的NoSQL数据库，因此适合选用MongoDB作为一级数据库，预处理后的数据一般根据工程师的控制脚本会生成结构化的数据格式，

4 日志数据的预处理

4.1 日志数据的整理

日志数据因为是二进制编码且数量庞大，需要使用分布式数据库服务器进行快速入库。针对日志数据处理，设计了一个MARS（MongoDB-Based Analysis and Research System），它提供了日志数据的跨层跨域数据的分离，能够快速入库，对数据进行同步合并、排序并格式化输出。

MARS系统架构设计如图2所示，ETC访问MARS-C（PC端的控制模块），MARS-C访问远端MARS-M（资源管理模块）进行任务调度，调度多个MARS-S（资源服务模块）进行并行处理以提供具体MongoDB非结构化数据库操作，包括二进制解码、数据同步合并、时间排序等。MARS-C可申请多达16个MARS-S的进程进行并行处理。MARS-M根据系统的忙闲分配资源并释放和回收空闲的资源。

图2 MARS系统结构

日志数据的时间标记有两种：一种是严格按LTE TTI（Transmission Time Interval）时间戳标记，与GPS时钟保持同步；另外一种是随机事件型的，时间点对齐eNB内部时钟。在执行数据同步合并时，对同一UE，具有TTI时间戳的日志数据进行合并，按一个记录处理，对事件型日志则保留逐条记录。这样做能明显降低数据的规模。

4.2 日志数据的格式化输出

数据输出按照分析目的有不同的格式，各预定义了相应的结构化格式，便于后处理。常见的几种格式包括：

（1）按会话日志索引将相关数据选择输出；

（2）按KPI要求将数据按时间单位汇总输出；

（3）按照事件场景将相关UE日志过滤导出；

（4）将事件日志导出等。

5 日志数据的分析方法

日志数据有两种类型，将使用不同的分析方法。一种是结果数据，就是在某一时间节点，统计生成的KPI统计量，可以是毫秒级别或者是秒级别的；另外一种是过程数据，主要是携带时间戳的事件。

5.1 结果数据的分析方法

结果数据的基础分析方法分为描述性统计分析、相关性分析和时间序列分析。以eNB日志为例，可从中提取出各扇区下所有UE的行为，通过绘制日志、吞吐量、干扰等散点图可分析和明显看出基站工作正常与否，具体如图3所示。

根据UE索引，可以进一步选择少量UE进行描述性统计分析、相关性分析以及对某个UE的时间序列进行分析。图4给出描述性统计分析的例子。描述性统计分析一般包括各种无线性能指标的概率密度、概率分布、方差、集中趋势度量等内容，将多维信号同时用图形进行展示，或者将不同配置、不同时刻下的信号用不同颜色进行标注后对比展示，可以让工程师迅速找出差别从而进行进一步的分析。

图4 eNB描述性性统计

图3 UE日志数据散点图

图5 给出了UE日志时间序列分析的例子。时间序列图能看出一个UE在进入系统后在时间上各信号间的相关关系。将各个层间无线指标信号在同步的时间轴上在一个画面上同时展现，信号间的相关性一目了然。图5下方的卷动轴可以选择展现的时间范围，从而同步放大缩小时间维度，有助于解决宏观或者微观定位问题。

将TTI级别的调度信息导入，系统也可以按不同属性输出资源调度图，可以轻易评估资源利用率，图6是LTE TDD的调度器在实际网络中的示例。它将eNB资源调度按照时间和频率展开，每列表示1 ms、100 RB的时频空无线资源，图中不同色块表示不同UE的调度情况，对于多用户调度，分析人员可以直观地评估资源的利用率、资源公平性和效率等指标是否符合设计的初衷。在压力测试下更能找出资源的瓶颈和进一步改进的方向。

图5 UE下行时间序列图

深度的数据分析则是客户化的，平台提供经过预处理的干净数据，分析员根据工作目标定义合适的分析方法。例如需要分析UE测量报告判断UE在室内还是室外，这一结论可以进一步应用于UE位置定位算法。使用不同有督导的学习方式的对比，可得到不同算法的适用程度，表1是各个算法的成功率[2]。可以看到，有些算法具有极高的成功率，能迅速简化问题的复杂度。

图6 TDD LTE资源调度图

表1 各个算法的成功率 %

5.2 过程数据的分析方法

当工程师需要研究无线设备的动态行为时，事件过程数据就十分有用。所谓过程挖掘就是从事件日志数据中提取知识来自动发现过程模型，检验抓取事件日志与设计的过程模型的顺从型和适用性，最后用于评估模型的性能，进行增强型的再设计[1]。

事件日志包含关键字用于区分和跟踪各个事件，一般还包含事件名称、时间戳、事件其它相关属性，比如源、目的、开始/结束时间、其它调用资源等信息。

数据的分析一般是从概况了解开始，如图7所示的散点图可以从各个维度展示日志数据的整体情况。图中的横坐标是时间，纵坐标是日志会话标识。

图7 事件日志的散点图

图8 基于日志的Petri-net模型

图9 Petri-net模型日志顺从性检查

图10 eNB模块间的社交网络图

当所有的事件一起同时分析，则显得比较凌乱。现在无线系统一般都是基于面向对象的构件化软件设计。各个软件构件一般都有相对稳定的软件设计模式，比如ECB（Entity-Controller-Boundary）模式[6]，则控制器里的有限状态机是软件模块性能的关键。可以将日志文件按照软件构件进行分类过滤，对单个构件进行过程自动识别，现有的算法包括alpha miner（阿尔法挖掘）、heuristics miner（启发式挖掘）、inductive miner（归纳挖掘）和fuzzy miner（模糊挖掘）[8]。如图8是基于日志的Petri-net模型[9]。利用inductive visual miner或者fuzzy miner可以将日志的事件动画地重放，这样可以观察诸如延迟拥塞的直观信息。

进一步就是考察发现的过程模型的质量，从顺从性检查、模型的简单性、模型的通用性和模型的准确性几个方面进行衡量。例如图9所示的顺从性检查，将后续的事件日志在发现的模型进行重放比对，对于不匹配的事件进行分析，可以发现问题或者修订模型。图9右侧给出了各个事件的统计值，左侧的深色图标则标注出不匹配的place或者action。

基于这些数据，还可以做性能分析，比如根据Petri-net上的place和action逗留时间，识别出网络中瓶颈节点等。对于封闭系统，系统吞吐量由瓶颈节点控制[5]，这样可以对其进行优化，比如转化为并行处理，从而提高系统性能。另外以软件模块为成员，可以按照社交网络（Social Network）的方式来分析成员间的相互关系。图10给出了eNB模块间的关系图。

如果需要构建量化模型，可以将各成员间的消息传递量化成外部平均到达速率、成员间转移概率、成员平均服务时间，也可以将消息分类，这样可以生成一个相对复杂的分类的排队Jackson网络[5]，例如图11所示：

图11 简单的软件构件Jackson网络

当抽象出Jackson网络模型后，根据排队论可知道该模型可以把每个软件构件看成彼此独立的（数学形式上是M/M/1）模型，于是联合状态空间可以看成独立状态空间的乘积形式。最终可以分析系统处理能力、响应时间等性能参数[5]。

6 结束语

前面讨论了单个基站数据分析的方法，和工程师传统习惯的单UE单会话的分析相比，已经拓展到基站下多UE的同时分析。但仅仅这一步还是不够的，需要进一步拓展到连续覆盖的簇及长时间更大量的数据进行分析。于是需要引入云计算平台进行并行运算。引入的数学工具可能是随机矩阵、泊松点过程等。

在引入云计算平台过程中，除了注重现有成熟平台的选择，更需注重的是无线大数据的应用，可以有许多工作值得逐步展开。例如文中的图4，可以将其转化成实时的流计算，快速地发现基站的运行问题并告警，eNB的区域覆盖特性特别适合于并行计算。

另外一个展望是考虑到LTE业务量增长迅猛，下一步很可能的技术热点是多层异构网的部署，小区部署不规则、动态变化、指数级增长的基站数目对于网络配置和优化是一个挑战。利用无线测量数据，使用指纹匹配可以将UE的位置信息进行提取，于是一个二维地图上面有宏微基站的信息和UE分布等众多数据，集中精力优化特殊场景的最优配置，迅速推广到全网，这样可以大大提高效率和降低成本[10]。

[1] Wil van der Aalst. Process Mining Data Science in Action[M]. New York: Springer, 2016.

[2] Gareth James. An Introduction to Statistical Learning[M].New York: Springer, 2015: 303-368.

[3] Robert I. R in Action: Data analysis and graphics with R[M]. New York: Manning Publications, 2011.

[4] Roger D Peng. Exploratory Data Analysis with R[M].Lean Publishing, 2015.

[5] Mor Harchol-Balter. Performance Modeling and Design of Computer Systems[M]. New York: Cambridge University Press, 2013: 297-311.

[6] Hassan Gomaa. Software Modeling and Design[M]. New York: Cambridge University Press, 2011: 191-368.

[7] J Leskovec. Mining of Massive Datasets[M]. New York:Cambridge University Press, 2014.

[8] Christian W, Gunther. Fuzzy Mining-Adaptive Process Simplification Based on Multi-Perspective Metrics[C]//Wil M.P. van der Aalst. Eindhoven University of Technology, 2007: 328-343.

[9] Wolfgang Reisig. Understanding Petri Nets[M]. Berlin:Springer, 2013: 1-81.

[10] Francesco Ricci. Recommender Systems Handbook[M].New York: Springer, 2011.★

Big Data Application in the Development of Mobile Products

ZHAO Songyi, YAO Jinsong, BAI Qing, LIU Jimin, LV Pingbao
(Nokia Shanghai Bell Co., Ltd., Shanghai 201206, China)

The research and development of mobile base station products (such as 4G LTE/5G mobile base station and IoT base station) are very complicated. Each software module of the base station is dependent on each other. The performance analysis and fault localization of the system depend on the data mining of the massive log data generated by different software modules. It is necessary to correlate the log data on the physical layer, MAC layer and RRC layer, because the product development effi ciency and product development quality can be highly enhanced. Firstly,the characteristics of wireless big data were introduced and the related problems were addressed. Then, the data processing was investigated including data acquisition, especially, the transformation of the joint cross-layer data acquisition, extraction and unstructured data format in the distributed database and the synchronization method between different-domain data. The analysis method of the result data and process data was elaborated. Finally, the platform demand and application prospect after the further expansion of wireless network data scale were outlined.

log analysis time series analysis process data analysis

10.3969/j.issn.1006-1010.2017.22.013

TP929.53

A

1006-1010(2017)22-0062-09

赵松峄,姚劲松,柏青,等. 移动基站研发中的大数据运用[J]. 移动通信, 2017,41(22): 62-70.

2017-06-19

刘妙 liumiao@mbcom.cn

赵松峄：系统顾问工程师，硕士毕业于上海交通大学，现任职于上海诺基亚贝尔股份有限公司，目前在从事LTE产品系统设计相关工作，主要研究方向为LTE无线性能、IP网络架构。

姚劲松：系统顾问工程师，硕士毕业于华中科技大学，现任职于上海诺基亚贝尔股份有限公司，目前从事LTE产品系统设计相关工作，主要研究方向为无线资源管理设计与研究，下一代无线通信系统与物联网的设计与研究。

柏青：系统顾问工程师，学士毕业于东北大学，现任职于上海诺基亚贝尔股份有限公司，主要从事LTE系统设计及性能指标定义方面的工作。