网易杭研院汪源:十余年大数据凝结成“网易云”

2016-11-22 10:15
杭州科技 2016年4期
关键词:猛犸网易阶段

网易杭研院汪源:十余年大数据凝结成“网易云”

作为国内最早诞生的互联网公司之一,网易在过去十余年的产品研发、孵化和运维过程中,各个部门对数据有着不同且繁杂的需求。为了把这些繁杂的需求用统一的手段来解决,网易在大数据分析方面进行了十余年的探索,并自2015年开始通过“网易云”推出了一系列面向B端企业客户的云服务产品。

从起步到整合,“平台化”让网易大数据分析进入全新阶段

“如何梳理数据、处理数据、提高数据分析的效率,这是网易一直思考的问题。”为此,汪源将网易大数据分析之路划分为初步阶段、起步阶段和整合阶段。

在2008年以前的初步阶段中,网易和国内的大部分公司一样,使用传统的方法进行数据统计。2009和2010这两年,可以说是网易在大数据分析上的“初体验”年,当然,这也与网易及国内整体互联网行业的快速发展密切相关。汪源介绍,正是因为无法简单面对海量的业务数据,网易开始尝试引入Hadoop等成熟的开源技术来解决数据存储和计算的瓶颈。

从2011年开始,针对在前一阶段中数据格式不规范、产品接入成本高、计算任务不稳定等突出问题,网易开始走上大数据分析的整合阶段,其中最显著的变化便是整合、规范各类采集机制、指标体系等,将数据分析“工具化”,以适应产品、设计、运营和市场等不同场景。

在经历全面整合的阶段之后,“尽管已经将数据分析进行‘工具化’应用,网易的问题依旧无法全部解决,公司对于个性化的数据需求以及灵活的多维分析需求难以完全满足,数据分析的‘平台化’开始被提出,网易的大数据分析进入了全新的阶段。”汪源说。

十年磨一剑,平台化产品逐渐成型

2014年以来,网易开始加速大数据分析的平台化发展,以提高数据获取速度,提升数据分析效率,更快发挥数据价值。“网易猛犸”与“网易有数”两大数据分析平台就是在这个阶段逐渐成型的。

对于很多企业而言,大数据虽然看起来很美,却又面临着数据孤立,需求反馈周期长的问题。网易猛犸大数据平台可以实现从各种不同数据源提取数据,同步到内核存储系统,同时对外提供便捷的操作体验。据悉,现在每天约有130亿条数据进入网易猛犸平台,经过数据建模和清洗,进行数据分析预测。

网易的另一大数据分析平台“网易有数”则可以极大地简化数据探索,提高数据可视化方面的效率,提供灵活报表制作等,帮助分析师专注于自己的工作内容。此外,网易有数在二维空间通过综合运用分区块、颜色、大小等标识,展示多维数据,推动数据文化落地,有

利于管理层和业务人员的自助分析。

未来设想:融合大数据处理平台

汪源对网易未来大数据平台进行了展望。他认为,从网易大数据分析发展历程的第三阶段开始,抽象数据的层次已经很高。进入第四个阶段,网易希望能够开发出更基础的大数据处理平台。

大数据分析面临着各种挑战,既有集成、计算和分析等老问题,同时也有新的挑战,诸如数据量多样性、数据类型多样性、需求多样性等。面对这些问题,汪源对网易大数据分析平台未来的解决方案做了设想:“回归到计算机软硬件设计的基础,各类计算机应用场景,总线和组件的标准是统一的。从底层基础开始,设计大数据平台的数据集成、计算和分析,开发出融合大数据处理平台,从而满足未来遇到的各种个性化的数据分析需求。”

网易云:网易技术服务能力的全面开放

从网易大数据发展的历程来看,基于杭州研究院10年的技术积累,网易已经具备了成熟的互联网产品技术体系,并且有力地支撑了网易云音乐、云课堂、易信、LOFTER、公开课等产品的发展。

汪源表示,网易云将会把这些能力开放出来,提供给更多的用户使用。比如网易易盾作为网易云推出的极速智能反垃圾云服务,其依托的便是网易的大数据和云计算服务,提供文本过滤、图片识别、语音分析、视频检测等服务,帮助企业和开发者实现对垃圾有害信息的实时过滤、精准拦截。

除了网易易盾,从去年开始,以网易技术服务能力的全面开放为初衷,网易云还陆续发布了网易云信(即时通讯云服务)、网易七鱼(全智能云客服)、网易视频云、网易蜂巢(容器云)、网易云捕(质量跟踪平台)一系列产品,并从研发云、运营云、运作云的角度对云服务进行了重新的划分。不难想象,随着网易在云计算、大数据等方面的研发积累日渐成熟,将会有更多样的云服务出现。

猜你喜欢
猛犸网易阶段
关于基础教育阶段实验教学的几点看法
当代青年生活定律
在学前教育阶段,提前抢跑,只能跑得快一时,却跑不快一生。
“网易考拉”缘何加入“阿里大家庭”?
冻土下的猛犸坟场
网易考拉的“一千零一夜”
中国猛犸古象,从北方冰原走来
克隆猛犸?有戏!
大热的O2O三个阶段,你在哪?
两岸婚恋迈入全新阶段