大数据技术简介

■段鹏松

当前,大数据是个很热的词,各种大数据分析工具也时常出现,让人感觉非常时髦。那么,大数据究竟是什么?目前的研究进展如何?对普通人的生活有何影响?本文将围绕这些问题展开介绍。

一、什么是大数据

人类的一切语言文字、图形图画、音像记录等,所有感官可以察觉到的事物,只要能被记下来,能够查询到,都可以称为数据(data)。大数据也是数据,但又不同于一般的数据。一般来说,大数据除了一般数据的特征,还具有体量巨大、处理速度快、数据类型多样和潜在价值高这四个特征。

1.体量巨大。体量巨大指的是大数据包含的数据数量非常多,占用的存储空间较大。以平时接触较多的手机流量来说,常见统计单位为kB、MB和GB等。这些统计单位之间的关系为1GB=1024MB,1MB=1024kB。就目前的技术而言,要成为大数据,存储至少达到TB级别以上,而1TB=1024GB。但要注意,如果只是体量巨大,而结构单一,也不能称为大数据。

2.处理速度快。实际生活中,数据量可能会随着时间的积累而不断增长,也可能随着空间的变化而不断变化。数据都具有一定的时效性,如果采集到的数据不能得到及时处理,最终会过期作废,失去应用的价值。对于海量的数据,如果能在有效时间内完成处理,则可以称为大数据;反之,则不能称之为大数据。

3.数据类型多样。作为大数据,其包含的数据类型可能是多种多样的,并不仅仅局限于一种数据类型。目前,文字、图片、语音、图像,一切在网络上可以传输和显示的信息,都可以属于大数据的范畴。从结构上来说,当前的大数据主要指半结构化和非结构化的信息,如网站的各种日志文件、发布的音视频文件等。

4.潜在价值高。大数据应用的最终目的是通过挖掘和分析,发现趋势或规律,进而指导实际工作。如果数据本身是毫无规律的,不能对实际工作行程进行指导,则不能称为大数据。尽管大数据的潜在价值高,但由于数据量巨大,所以价值密度低,要通过大量分析才能实现从数据到价值的转变。

二、大数据典型案例

迄今为止,已经有不少的大数据应用经典案例,这些案例的出现,使人们真正认识了大数据的威力。

1.啤酒与尿布。20世纪90年代,全球零售业巨头沃尔玛在对消费者购物行为分析时发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来搞劳自己,于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了,取得了较好的经济效益。如今,“啤酒+尿布”的例子早已成了大数据技术应用的经典案例,被人们津津乐道。

2.Google成功预测冬季流感。2009年,Google通过分析5000万条美国人最频繁检索的词汇,将之和美国疾病中心在2003年到2008年间季节性流感传播时期的数据进行比较,并建立一个特定的数学模型。通过该模型,最终成功预测了2009年冬季流感的传播,甚至可以具体到特定的地区和州。

3.大数据与乔布斯癌症治疗。乔布斯是苹果手机的创始人,也是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。他支付了高达几百万美元的费用,得到包括整个基因的数据文档。医生根据分析结果按需下药,最终这种方式帮助乔布斯延长了好几年的生命。

除此之外,还有其他很多的大数据应用案例,如淘宝平台对用户的精准画像、“互联网+”思维下的平台优势,以及近年来频频爆出的演唱会上利用AI技术和人脸大数据抓捕逃犯等。随着技术的不断发展,未来会有更多的大数据应用出现。

三、目前发展情况

目前,IT界普遍认为当前大数据技术主要起源于谷歌。谷歌工程师在2003至2006年先后公开发表了关于MapReduce、GFS和BigTable等核心技术的学术论文,这一系列技术迅速引起巨大反响,吸引了雅虎、Facebook等互联网公司的注意,直接导致了目前应用最为广泛的开源大数据框架ApacheHadoop的诞生。

随着人们对数据科学的深入认识,发达国家都意识到数据作为国家战略资产的重要性,以美国为首的多个国家先后发布了大数据的国家发展战略,联合国也发布了《大数据促发展:挑战与机遇》白皮书。报告中总结了各国政府如何利用大数据更好地服务和保护人民,指出了大数据的到来对于联合国和各国政府是个历史性机遇。

在国内,大数据技术也提上了国家的战略发展日程。2013年,我国多位院士联合上书国务院,建议设立国家专项开展大数据技术研究,将大数据上升为国家战略。在2014年的两会上包括金山和小米公司董事长雷军在内的多位代表提出加快实施大数据国家战略的建议。2016年,工业和信息化部正式印发了《大数据产业发展规划(2016-2020年)》,全面部署“十三五”时期大数据产业发展工作,加快建设数据强国,为实现制造强国和网络强国提供强大的产业支撑。

由上可见,大数据技术及应用已经成为一项新的战略,受到政府部门的高度重视。未来,大数据技术作为一个成熟的技术,将应用到国计民生的各个领域,对各个领域带来巨大的冲击和变革,以及前所未有的发展机遇。

四、未来发展趋势

未来,大大数据技术发展将呈现以下几个趋势。

1.可视化推动大数据发展平民化。大数据可视化技术从存储空间中将这些关键信息进行提取,通过图像、图形的形式将这些信息更直观地表达出来,并运用多种不同的分析手段来提取位置信息,将这些潜在信息通过图形、图像等直观方式展示出来,从而帮助人们更好地理解、挖掘大数据下隐藏的信息。可视化技术将使得普通人群也可以直观看出大数据的价值,推动大数据应用的平民化。

2.与云计算关系越来越密切。大数据的未来正朝着智能化的方向发展,涉及让机器用人的思维去思考,理解人类的行为模式,并对未来进行预测,这些智能化的实现都离不开云计算。云计算是一种基于互联网的计算方式,其计算效率高、速度快、成本低,不需要人们掌握专业的技术知识就可以使用,具有很强的灵活性。目前,很多大数据技术都已和云计算紧密结合。

3.与物联网紧密结合。随着智能交通、智能家居、智能物流、智慧景区等应用的兴起,物联网已成为未来经济的新增长点。物联网是指把所有物品通过信息传感设备与互联网连接起来,实现智能化识别和管理。物联网应用中会有海量的数据需要处理,和大数据结合是必然的趋势。

五、高校的大数据专业

如今,大数据产业发展如日中天,各大高校的大数据专业建设也是如火如荼。2016年初,教育部公布的《2015年度普通高等学校本科专业备案和审批结果》中共有3所高校(分别是北京大学、对外经济贸易大学和中南大学)获批开办“数据科学与大数据技术”专业。2017年和2018年,教育部又进行了两次该专业的申请批准,分别通过了32所高校和248所高校的大数据专业申请。

总体来说,各大高校的大数据技术专业学制均为四年,旨在培养具有大数据思维、运用大数据思维及分析应用技术的高层次大数据人才。在培养过程中,要求学生掌握计算机理论和大数据处理技术,从大数据应用的三个主要层面系统地培养学生掌握大数据应用中的各种典型问题的解决办法,实际提升学生解决实际问题的能力。

大数据专业毕业生能够从事大数据研究和开发应用的高层次人才。毕业生能在政府机构、企业、公司等从事大数据管理、研究、应用开发等方面的工作。同时,也可以考取软件工程、计算机科学与技术、应用统计学等专业的研究生或出国深造。