大数据时代的网络舆情研究初探

赵立芳

摘 要 文章主要从大数据时代，如何对网络数据进行分析并建立舆情监控和引导机制，找出了集中分析处理方法，并预测了未来大数据舆情研究方向及存在的问题。

关键词 大数据；网络舆情；发展；分析；机制

中图分类号 G2 文献标识码 A 文章编号 2096-0360（2016）08-0035-02

随着数据统计和采集的发展以及网络背景下结构化数据的普及，“大数据”作为这一背景下新生的要素，给社会的各方面带来了深远的影响。舆情分析，是社会科学中一项较为经典的研究领域，对舆情分析的概念的划分可以分为传统舆情分析与网络舆情分析两个方面。传统社会舆情分析立足于经典的方式方法与传统信息传播媒介，致力于研究社会热点事件、新颁布的政策及法律条文对于社会舆论的影响，并试图探索社会舆论与这些“关键事件”之间的关系；网络舆情的研究则立足于计算机网络这一个新生的信息传播媒介下展开，其早期因为网络普及度相对较低等原因，在研究中相对简单粗放，而随着网络普及程度的提高，尤其是在类似于推特（Twitter）、饭否、Facebook、新浪微博、人人网等具有方便于海量个人用户快速发布信息的功能的“自媒体（owned media）”平台的建立与推广，当前的研究转向应对海量网络数据下的舆情研究。

1 自媒体与社科研究

自媒体的普及与运用改变了人们的信息处理行为，将个体塑造成为传播的核心。在这种根本性的转变中，自媒体成为大数据时代自主生成优质数据的重要平台，同时成为大数据运用的关键阵地，它具有以下2个较为突出的特点。

1）数据数量大，来源广泛。大数据之所以被称之为“大”，源于他的数量相对以前的研究数据来说较大，数据量大的结果便是数据加工与分析的难度远远大于以前的有限数量下的数据研究工作；而来源广泛则是指的用来调查的数据不是从单一的某一个点进行获取，而且扩大到面。

2）数据整体价值高，但单个数据有待进一步规范。在大数据时代，以微博、微信等为代表的“自媒体”中蕴含了大量的、具有不同的知识背景独立个体，而相对“匿名”和不限定格式的表达方式，使得用户得以很方便的表达出自己内心的实际

观点。

2 基于自媒体的网络舆情分析关键技术

如前所述，当前在社会科学领域对大数据的应用最为成功的即为网络舆情分析研究。与传统的基于调查等手段的社会舆情分析不同，大数据背景下所进行的网络舆情调查因为网络的普及等原因，所获取的范围更加广阔，从而大大降低了传统的基于调查的社会舆情分析中因为调查不全而造成的结论不准的情况，使研究成果更能反映真实的社会舆论情况。

当前基于自媒体网络舆情分析的关键技术主要有以下几种。

2.1 信息采集技术

进行网络舆情分析，首要的工作就是进行信息采集。常见的信息采集流程包含数据的爬取、清洗与存储等步骤。

所谓数据爬取，即通过网络爬虫（如比较著名的火车头采集器）或是通过网站API接口获取研究数据，当然如果数据相对较小且人员充足的话，也可以利用人工手动采集的原始方法。但是相比之下机器爬取的准确率和效率较高，可以有效缩短研究的时间，而且现在有足够的开源爬虫软件可以辅助相关的数据抓取工作，因此在现有的研究中提倡使用程序自动爬取。

所谓数据清洗，即对所采集数据进行精简处理，去除与研究无关或重复的数据。对于数据清洗，大致可以分为以下2个阶段。

1）数据采集时期的一次清洗。主要的清除对象是无效链接、重复和无关数据。

2）数据分析时期的二次清洗。主要的清除对象是停用词。

通过爬取所获得的数据中含有大量的诸如HTML语言字段等对于研究来说是无效的数据，如不将其过滤将会因为其较高的重复率影响最终的分析结果。因此需要进行数据清洗工作来去除这些无效

数据。

2.2 网络舆情热点发现技术

所谓网络舆情热点发现，即通过对新闻与目标话题的识别与跟踪，分析并绘制其发展轨迹，最终利用聚类的方式将结果推送给用户。

该技术的技术依据为对关键词或话题（标识标注为“#”号，英文称为hash tag）的统计数量随时间的变动情况，需要大量的数据进行支撑。

2.3 热点评估与跟踪技术

所谓“热点评估与跟踪”，即根据某一特定热点事件中公众的情感和行为反应，分析其对公众舆论的影响，建立一套针对舆情变化的评分方案，并设定其中的各状态极值。在这种研究中，常用的研究手段有词频统计与情感分类。词频统计，即对所采集并清洗后信息进行统计，然后对统计结果进行分析，从而得出结论的方法。情感分类，与前述的“数据清洗”方法类似，将数据与人工编辑成的情感词词典进行相似性比对，然后进行分类统计。

2.4 网络舆情的分析处理技术

网络舆情的分析处理技术，是大数据背景下社会科学领域的服务于决策管理层的技术。该技术包含针对网络舆情事件的早期预警、现场引导、实际反馈以及评估与自我完善机制等诸多方面。

3 结束语

目前，大数据时代社会舆情的研究还处于探索中。在处理技术、分析构架等领域上还存在着很多的问题，具体体现在以下几个方面。

1）针对海量非结构数据处理技术尚不够成熟。

2）研究方向相对分散，缺乏协作。

3）舆情监控对决策支持相对简单，时效性

不高。

结合当前研究，大数据背景下的公众舆情研究将会有如下的发展。

1）行为分析与数据分析交叉验证。

2）人工智能（AI）与心智模型相结合。

3）基于已有的研究成果构建具有学习功能的决策支持平台。

参考文献

[1]杨海龙.论大数据背景下的网络舆情监测[J].情报探索，2015（10）：132-135.

[2]张宁熙.大数据在突发公共事件网络舆情信息工作中的应用[J].现代情报，2015，35（6）：38-42.

[3]郭跃军.论大数据时代网络舆情监管机制的构建[J].山西农业大学学报，2015，14（6）：640-644.