大数据时代：挑战、现状与展望

赵文林

（中国人民银行兰州中心支行，甘肃 兰州 730000）

一、引言

随着世界不断发展，我们已经进入了云计算大数据时代，大数据对我们生活产生了越来越重要的影响，给我们生活带来翻天覆地变化。当前，我们金融、医疗等等行业都会产生大量数据，淘宝购物、qq聊天、微信也会产生大量的数据，这些数据无时无刻不在影响着我们的正常生活。数据资源已经成为了与智能资源、人力资源相同的战略资源，我们的社会已经全面进入了大数据时代。

二、大数据的概述

（一）大数据的概念

对于大数据概念，不同专家学者和机构都做出了不同解释，麦肯锡认为大数据主要是指在一段时间内通过传统数据库无法进行采集、采样、管理和分析的数据，必须通过当代先进技术才能够进行有效运用。维基百科认为，大数据主要是指数据量非常庞大，在合理的时间内可以对这些数据进行有效管理，并且整理出有助于企业经营决策的数据内容。

（二）大数据特征

第一，速度非常快。一般而言，速度快一般是指数据在获取储存以及信息挖掘方面速度非常快。但是随着我们数据量不断增加，我们已经进入了PB级数据时代，考虑到超大规模数据出现，在进行数据采集时也强调快速动态变化，数据的快速流动难以通过以往传统系统进行有效处理。

第二，价值密度非常低。虽然数据量呈现海量式增加，但是真正具有价值的信息并没有呈现出爆炸式增长，反而使得我们获取有价值信息的难度进一步加大。

第三，数据体量非常大。一般而言，大数据通常都是指10tb以上数据。之所以会出现如此庞大数据，一方面是各种仪器使用使我们可以获得更多数据资源，另一方面主要是通过通讯工具使用可以使人们全时段进行联系，这就使得数据出现几何倍数增长。

第四，数据种类变得非常复杂，随着智能设备不断发展，数据种类变得越来越复杂，这些数据不仅包含有传统数据，也包含有许多新鲜未加工数据，甚至很多数据都是以半结构化的形式出现。

三、“大数据时代”处理数据理念上的三大转变

首先，数据处理并不是随机抽样，而是对所有数据都进行处理。随机抽样方式是在小数据时代最常见使用方式。但是在大数据时代，我们使用的是所有数据而不是依靠小部分数据进行筛选。我们以乔布斯为例，乔布斯在与癌症抗衡期间采用了完全不同治疗方法，他的主治医师将她的DNA和肿瘤DNA进行了全面对比。一是可以根据乔布斯DNA配置特定药物，如果发现药物不会起到任何效果可以及时更换，这样可以保证乔布斯获得有效治疗。虽然乔布斯最终没有治愈，但是通过这种方法延续了乔布斯生命，这也体现了大数据优势。

其次，大数据并不是精确性，而是混杂性。在大数据时代，各种结构化和非结构化数据都汇聚在一起，这样难免会使得数据的结果出现不精确状况。大数据通常是用概率说话，并不是通过确凿无疑数据进行解释，当我们试图扩大大数据规模之时常常也会出现数据混乱现象。

最后，大数据不是因果关系，而是相关关系。在以前，由于数据相对较少，相关关系非常有用，但是在大数据背景之下，相关关系常常可以大放异彩。将大数据与相关关系进行结合，我们常常可以更好对事物进行分析，这样可以帮助我们透过现象看本质，预测未来发展结果。例如，每当飓风来临之时，美国民众不仅会购买手电筒，同时还会购买一些含糖类早餐零食。在这样数据推算之下，许多零售巨头都将手电筒和美式含糖类早餐放在一起，方便客户进行购买，同时也增加自身销售收入。

四、大数据在各行各业应用的典型案例分享

第一，运营商通过大数据淘金。在移动互联网时代，运营商常常具有多经验，很多运营商包含有语音、固定电话等等业务，同时也包含有公众客户、家庭客户等不同客户群体，他们可以通过实体渠道、直销渠道等不同渠道接触到信息。随着语音业务不断发展，数据流量已经成为了很多运营商的主要业务，运营商拥有任何移动互联网都无法比拟的数据优势，这就使得运营商可以通过大数据淘金，由流量经营进入大数据经营已成为很多运营商的发展趋势。当前，各大通讯商都已经开始挖掘大数据的价值。据统计，有超过50%运营商已经着手实施大数据业务。大数据业务的平均成本是运营商总预算的10%左右，而且在未来五年中会不断攀升，成为运营商的战略优势。

第二，大数据对电力企业产生影响。在大数据时代，智能电网是电力企业发展的趋势。随着电力工业与信息化的结合程度越来越深，智能电网在电力流、信息流等方面都发挥着巨大优势，会使电网的整体价值出现飞跃式成长，这种飞跃式成长会使电力企业进入大数据时代。

第三，大数据时代对传媒产业的影响。随着智能手机不断普及，每个人都可以发布信息，每个人都可以编辑信息，手机就是人们手中的媒体。在这样背景之下，信息发布已经不再是媒体能自由权力，我在现场常常是传媒人倍感骄傲的事情。在大数据时代，联网网民和各种电子记录仪已经在社会各个角落散布，可以将信息实时上传，在经过网民分布式集中选择之后形成了热点信息。在这样的背景之下，最有效的新闻常常是在现场的人，而不是到现场的人，这就使得传媒业产生了颠覆式的发展。

五、大数据时代的思考启示

大数据是一种快速崛起的网络数据，大数据可以让商业机构和公共管理部门获得极好调查研究能力，可以大大优化他们的决策。但是大数据还存在一些不稳定性，需要我们继续进行反思。

第一，数据的真实性有待进一步检验。由于大数据所产生的数据都是随机动态而且具有多元性，交互性等特点，非结构化数据具有临时性。在网络社会中，大量假信息充斥着网络世界。例如社交网站很难对所有的注册会员进行信息真实性审核，电子商务网站也无法对每一个交易账号进行实时鉴别等等。

第二，数据合法性尚不明确，在数据采集和被采集过程中，一些数据资源会涉及到个人隐私甚至是国家安全，因此大数据合法性始终是一个不确定的因素。

第三，数据侵权风险日益增加。当前，越来越多的企业都看到了大数据优势，都致力于本行业数据挖掘，搭建为公司商业决策提供依据的数据库。这是在这种空前挖掘背景之下，相关数据以及数据搭建起来的数据库都面临着被侵权的风险，网络环境下的侵权方式更加多元化，不利于保护正当权益。

六、结束语

综上所述，我们已经进入大数据时代，我们需要大数据给我们生活带来的便利，但是我们也需要正视大数据给我们生活带来的弊端，需要充分挖掘大数据的优势，减少大数据给我们带来的弊端，这样才能扬长避短，让大数据更好的为人类社会服务。