大数据对官方统计的影响

茹艳娜

随着社会生产力的不断发展，特别是进入IT时代以来，人类积累了海量的数据。互联网上一天的数据告诉我们，一天之中互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多；200万篇博客文章在网上发布，相当于《时代》杂志刊发770年的总量……更重要的是，数据已经不仅仅是数据本身了，已变成了一种业务。毋庸置疑，大数据时代已经来临。面对日新月异的形势，作为生产和管理数据的政府统计部门，面对大数据带来的新形势和新变化，更是机遇和挑战并存，动力与压力同在。而近几年来，中国政府统计系统积极推进以一套表为核心的统计“四大工程”，极大地提升了政府统计工作的信息化水平，也为大数据的应用奠定了相对较好的基础。我们要高度重视大数据对政府统计工作正在带来和将要带来的各种影响，充分认识推进大数据应用的必要性和紧迫性，加强顶层设计，分专业分步骤实施，以推动统计生产方式的变革和统计生产力水平的提升。

一、“大数据”对统计的冲击

（一）对统计理念的冲击

“大数据”改变了人们对数据的需求层次。过去，人类的认知能力有限，受数据获取技术的制约，想要获取大范围的情况比较困难，只能感知身边的个体数据乃至群体（中观）数据，人们对世界的认识不够全面客观。另一方面，统计数据反映的是总体趋势，往往无法对应到具体的个体情况。但“大数据”时代的来临使人类第一次有机会和条件在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据。在此基础上形成的数据可以更加偏向个体情况，更加符合个体的感知，产生宏观数据无法实现的价值。

（二）对统计生产流程的冲击

（1）制度设计多样化

传统的统计设计是根据统计研究的目的和研究对象的特点，设定统计指标、统计报表以及调查、汇总方法等制度，通过调查、访问将生产行为转化为可以量化的数据。“大数据”下的制度设计面对的是已经存在的或通过一定手段可以获取的大量数据，需要解决数据从哪里来的问题。弄清楚已经存在的相关数据是通过什么方式产生的，从哪些领域产生的，会对研究目的产生哪些影响，进而确定采用什么样的数据来反映统计目标。此外，“大数据”客观上为传统的统计提供了更多的方法，并且可在一定程度上免除调查过程中的人为因素干扰。

（2）数据采集智能化

传统统计是通过结构化的报表和统一的计量方式将被调查对象的行为转化为可用的数据，这其中需要被调查者的参与，统计数据的质量难以控制，并且矫正这些调查误差的成本很高。但在大数据时代，数据来源于信息技术记录下的原始数据，这些数据的参与仅仅依赖于测量方法（如GPS定位测量、超市收银管理系统），而不需要调查对象长期、认真的配合。同时互联网、云计算等技术将大大提高数据采集的智能化水平，这种智能化的数据采集方式是传统统计调查难以相比的。

（3）数据分析专业化

传统的统计分析是根据统计制度设计的要求以及对研究对象的认知，对采集上来的结构化统计数据进行计算分析，重点描述过去的这段时间发生的变化，对未来的发展情况进行统计意义上的预测。“大数据”背景下的数据分析，面临的是大量存储于各处的非结构化或半结构化数据环境，要将这些无法识别和运算的信息转化为结构化的数据，还需洞察出语义、态度、情感、社会关系、效果等传统统计难以解决的问题。即使针对结构化的海量数据，所要做的更为重要的是分析挖掘数据之间的内在关系，寻找更多有价值的信息。在这种背景下，数据分析变成统计部门一个关键性的环节，需要专业化的数据挖掘与处理技术。

（4）统计发布透明化

“大数据”的背景下，数据的获取分析将全社会共享，而非统计部门一家独享。统计数据的产品属性会更加突出，面临的市场竞争压力会更大。在发布结果上，仅仅告诉别人一个结果是远远不够的，还需要通过可视化、交互等方式给予用户更加方便、高效的使用方式提供更为详尽的“意义”信息。也正是由于数据的大量存储和共享，统计数据发布的公开透明程度将会极高，没有公开详细、公允计算方法的数据将会被其他数据替代。

（三）对政府统计职能的冲击

从中国经济发展与政府统计的关系上看，统计的重要性往往是与传统的经济模式连接在一起的。统计数据为经济管理者提供了依据。随着市场化的深入，市场内部的自我调节机制逐步替代了政府对经济的干预。经济发展的主导力量由宏观逐渐走向了微观，统计数据的价值发生了变化。从现已发生的变革上来看，包括进出口、货币供给、财政等数据已经不需要专门进行统计了，在各项相应的行政记录里均可查询。而物联网等网络经济的发展，使得工业生产、运输物流、最终消费、服务等各种交易生成直接可用的数据，而不需要再经过专门的统计采集。因此，“大数据”背景下，政府统计的地位和职能将受到极大的挑战。

二、借力“大数据”加速统计改革

大数据不仅是产业，也是资源。同时，它也是一种科学，有非常重要的值得我们关注的发展空间。统计部门应当借助于“大数据”所带来的有利条件，主动顺应数据社会化的趋势，加快推进政府统计的改革。

（一）统一统计标准。对政府统计部门应用大数据的统计标准进行统一规范，要特别重视和研究如何对非结构化数据进行标准化处理。

（二）规范统计指标。分析大数据的指标数据与政府统计指标在口径、范围、内涵、定义等方面的差异，以对政府统计应用大数据的统计指标进行设计、调整、规范和完善。

（三）改革调查方法。改进和完善大型周期性普查、抽样调查等传统调查方法，研究在“全样本”基础上进行抽样或计算的方法，研究利用行政记录、商业交易记录和网上搜索信息进行测算的方法。

（四）完善采集方式。研究对非结构化数据进行采集的方式，开辟新的采集渠道，应用新的采集技术，探索如何通过搜索、购买、合作等其他方式，采集重要的基础数据。

（五）改进数据处理。积极推动数据处理方式从简单汇总向数据挖掘方向转变，加强对数据的预处理，提高数据处理的智能化程度，要丰富分析手段，提高统计分析的时效性、趋势性和直观性，提升统计工作的分析水平和预警预测能力。

（六）完善数据发布。增加统计数据发布的内容，丰富数据发布的形式，提高数据发布的频率和时效性，加强对数据的解读，更好地满足社会各界对统计数据的多样化需求。

（七）要加强横向合作。既要加强与其他政府职能部门的合作，也要加强与各种类型的大数据生产企业的合作，以研究和推动商业交易记录、网上搜索信息的搜集、处理和转换。

“大数据”的本质实际上是数据生产的社会化，其对统计尤其是政府统计的冲击是重大的，可以大胆预测，未来政府统计的政府角色会被统计专业性取代，经济分析的职能会被更为专业的经济分析部门取代，宏观数据的重要性会让位于更有信息价值的微观数据。统计部门需要正视这种变革，顺应这种潮流，并借助于“大数据”的变革的有利形势，加快提高统计能力，使其在大变革中处于优势地位。