基于分布式搜索模式的线上用户轨迹数据的支撑与应用

胡梦云

摘要：本文对互联网渠道大流量营销的支撑方案进行阐述，通过对系统底层架构的改造，引入分布式搜索，提高数据存储和分析效率，实现百万级用户的数据管理能力。为线上运营提供数据经营分析，深度数据挖掘的能力，获取用户需求，打造线上运营精准高效的数据化营销模式。为用户提供智能高效的服务，提升营销体验，助力运营商数字化转型。

关键词：移动互联网;大数据分析;电信行业;微信公众号;业务支撑系统

中图分类号：TP311        文献标识码： A

文章编号：1009-3044（2021）06-0035-02

1 建设背景

随着运营商全面互联网化转型，“湖北联通”微信公众号作为典型的互联网轻触点渠道，在传统业务能力搭建的基础上，不仅承载着公司线上渠道与用户情感维系的窗口，更是助力渠道数字化转型的重要触点。作为X百万粉丝的公众号，基础能力逐渐丰富，如何精准获取用户需求，为用户提供更智能高效的服务，是我们进一步提升体验的关键。同时，基于微信生态系统内大规模用户的服务与支撑，对系统数据管理和分析能力的要求增强，数据分析与运营之间的依赖也越来越深。

2 建设方案

2.1 建设目标

为了加强公众号系统对线上运营数据分析的能力，专研数据管理，我们引入当下互联网最流行的系统框架，挖掘团队能力，因地制宜，对数字化能力再研判，重构微厅数据结构。将业务的审核与决策点定位于业务流程执行的位置，高频次沟通，提高数据分析效率，缩短迭代周期，减少信息沟通的渠道和时间，从而整体提高对顾客和市场的反应速度。

整体规划系统的架构，以性能为目标，从底层强化系统大数据支撑的能力，实现前后端解耦，引入分布式数据搜索引擎框架（Elasticsearch），深化高可用高并发的改造成果，在支撑高并发营销活动的同时，提供大数据深度挖掘的成果，全面覆盖用户行为轨迹，为全面数字化赋能。

2.2 建设方案

2.1.1 分布式索引数据分析，提升数据深度挖掘能力

通过实现系统前后台分离，引入更高效率的数据分析框架，从底层增强系统对数据分析的支撑能力。基于Mysql+Mycat体量小、速度快、成本低的特点，实现数据库读写分离，多节点协同作战，支撑大规模用户开展高并发营销活动。引入Elasticsearch（后文简称“ES”）分布式底层数据架构，支撑大数据量（亿级）的实时统计查询的能力，提高数据分析效率。Es是分布式可扩展的实时搜索和分析引擎，分布式实时文件存储，并将每个字段都编入索引中，使其可以被搜索。同时，其强大的可扩展性，可支撑上百台服务器，处理PB级别的结构化或非结构化数据。

本项目在重构数据库时，通过ES面向文档型数据库存储方法，将微信公众号粉丝User表设计成ES文档，一条数据在这里就是一个ES文档，用JSON作为文档序列化格式，这个文档会属于一个User的类型，各种类型存在于一个索引当中（Es? 索引（Index） ? 类型（type） ? 文档（Docments） ? 字段（Fields））。

为了提高搜索的性能，减少磁盘寻道次数，将多个值作为一个数组通过连续区间存放，一次寻道读取多个数据，同时也降低树的高度。

例如：粉丝绑定记录表（Name、bandtime、Age），ES会为每一个field建立一个倒排索引，每一条数据的每一个信息都自己的索引ID。

| ID | Name | Bandtime | Age |

| -- |：------------：| -----：| -----：|

| 1  | 张三 | 2019/3/12 | 18

| 2  | 李四 |2020/1/10 | 24

| 3  | 王五 | 2020/9/3 | 24

Name下的名稱“张三”也会有索引编号，也就是Posting list。 Posting list就是一个int的数组，存储了所有符合term的文档id。ID是ES自建的文档id，那么ES建立的索引如下：

Name：

| Term | Posting List |

| -- |：----：|

| 张三 | 1 |

| 李四 | 2 |

| 王五 | 3 |

Bandtime：

| Term | Posting List |

| -- |：----：|

| 2019/3/12 | 1 |

||2020/1/10 | 2 |

| 2020/9/3  | 3 |

Age：

| Term | Posting List |

| -- |：----：|

| 18 | 1 |

| 24 | [1，2] |

2.1.2 可视化搜索引擎工具，强化数据监控和检索能力

为了能快速找到某个用户绑定记录term，将所有的term排个序，二分法查找，logN的查找效率就像是通过字典查找，这就是Term Dictionary。而ES通过内存查找term（记录）和Term Index（索引页），不读磁盘，来减少磁盘寻道次数，从而提高查询性能。然而，ES是一个大数据集群，本项目中微信公众号系统在Linux的环境下，通过 Kibana 可视化界面来管理和监控数据文件存储对服务器磁盘消耗的情况，以及监控文件的大小，见图1。

通过 Kibana 可清晰看到Es某个索引占用磁盘的情况。Kibana提供了傻瓜式的数据检索能力，可以直接通过查找，输入你想检索的任何内容， ES能迅速从PB级的海量数据里给出响应，如图2。

传统的数据库存储方式，百万级数据统计及分析需要一周方能反馈结论，使用ES后的微厅数据分析可提高1-3天内完成，对用户行为和营销策略快速反应。

3 数据化的运用和成果

3.1 数据化运营模式创新，打造高效协同运营团队

通过对数据化运营模式的思考，组建小快灵的协同运营团队，高频率地对粉丝群画像，根据营销的目的快速定位用户。运营报表数据沉淀及数据处理的开发周期，从3周降低到5天完成;临时统计分析由原本的2～3天缩短至10分钟可反馈，效率提升90%。

通过微信公众号粉丝结构的分析，根据绑定用户年龄占比及趋势、主套餐分类和占比、用户ARPU和留存，以及用户使用微信公众号的情况，提炼用户特征，形成用户画像。有针对性地为用户设计标签共7大类，其中包括业务标签、套餐标签、地市标签等。

例如充值用户画像，可知：

1） 单笔充值金额，平均充值金额XX元/笔，同比增长XX%;

2） 活动规则引导，单笔充值XX元用户中XX%通过“周周抽大奖-获取更多抽奖机会”来充值，用户中XX%是网龄2年以上的老用户;

3） 小额充值用户，单笔充值金额在XX元及以下的XX%;小额充值用户群XX%是2I用户，平均年龄32岁;

4） 用户充值偏好，XX%用户选择固定金额[50-500元]的方式进行充值，微厅充值优惠对粉丝吸引力较大。从用户选择偏好来看，选择充值页面充费赠费奖励用户最多XX%。从充值金额来看，选择单笔XX元用户最多;

5） 用户充值次数，XX%用户每月充值一次，仅XX%用户每月充值3次及以上。

通过数据分析提供运营优化策略，进一步对微信充值界面流程进行优化，赋能地市个性化能力，增加充值动态营销浮窗，通过大数据手段，驱动运用对用户价值的提升。

3.2 流量分析驱动运营，推进精准营销与协同运营

为了能够提供高价值的流量分析能力，深度提炼运营需求，强化数据归纳和分析能力，由数据驱动运营精准获取用户需求。在微信生态圈内，将模版消息分为主动营销类和被动提醒类消息两类，打造模版共计XX个，包括月度账单、交费提醒、活动通知等，其中精准营销类的 “活动通知”推送后转化率高达XX%。

根据微信用户标签化的成果，在“为爱充值”活动中，针对目标用户群体推送“活动通知”模板，模板消息共计推送XX万人，共计XXXX名用户进行话费充值，转换率为XX%。整个为爱充值活动共计XXXX名用户进行充值，模版消息带来的用户占总人数的XX%。模版消息的精准推广不打扰用户的同时，成功带来有需求的用户，使得认可率较高，也说明在推广实惠型活动的时候，模版消息是有力的运营手段。

3.3 行为定位区隔属性，内容运营精准送达

通过用户行为轨迹的分析和定位，进行用户画像，不仅可以针对受益群体发送推文，更能对微信3*5菜单做有效的规划提供帮助，有效提高内容运营的转化率。

例如与湖北华盛商城合作的终端零售能力，经过多次数据分析和改进，菜单上线位置从三级到二级再到三级，结合图文推送的宣传，转化率一直稳定上升。初期上线后仅销售XX台终端，通过行为定位后新发展注册用户XXXX个，占华盛商城湖北板块用户总注册量的XX%。

在2020年湖北疫情期间，快速响应湖北人对互联网服务的需求，加深军营和研发的合作，在微信构建H5页面10元10G流量包訂购营销页;并且为线上运营人员提供精细化推广依据。10元10G流量包共进行过X次针对订购过的用户精准营销，用户转化率XX%，在短信营销中效果较好。

4 总结及展望

综上所述，我们依托大数据分析，打造BPR创新团队，以客户为中心，坚持用户画像、行为分析、问题导向的工作方法，创新机制体制，提高工作效率。通过数据来驱动运营，以小快灵的数据化营销模式，上下同欲、左右同频、前后同心，敏捷支撑，确保渠道数字化项目保质保量顺利转型。面向业务流程，直击痛点难点，使运营、数据分析和研发紧密合作，高效运转，助力互联网时代下的快速营销推广。

参考文献：

[1] 赵宏田，江丽萍，李宁.数据化运营-系统方法与实践案例[M]. 北京：机械工业出版社，2018.

【通联编辑：梁书】