利用搜索引擎实现传播效果分析研究

文/张守先 徐志强 李满江

引言

目前，新媒体作为新闻传播媒介已经成为新闻传播的主要途径，新媒体正在颠覆传统媒体，给传统媒体行业带来了很大冲击，传统媒体市场极度萎缩。新媒体的互动性、时效性、便捷性、内容多元化、个性化等方面，给读者带来了非常舒适的阅读体验，同时新媒体也给新闻生产者了解读者情况带来了很多便利，利用新闻传播效果分析，反过来决定新闻生产的内容、形式、时间等，这点与传统媒体截然不同。新闻传播效果分析已经成为新闻生产质量的一个重要指标，是新闻大数据分析平台的一项重要内容。新闻传播效果可以反映出新闻的阅读量、转发量、地域分布、人群分布、发展趋势、各媒体影响力等。做新闻传播效果分析所需数据的获取，目前的做法是对各网站、App、微博、微信等媒体定时抓取，利用获得的大量数据进行分析，为不同新闻单位、不同新闻稿件分析出传播效果。这样做的好处是数据较全面、数值准确，可以同时为大量的新闻稿件做出分析，缺点是海量的数据存储量大，占用网络带宽大，有效数据少，给互联网带来很多无效流量（抓取的数据未被使用到），所以这种方式并不适合普通新闻单位自行建设分析平台。本文讨论的利用搜索引擎实现新闻传播效果分析，能快速达到所需数据，并且占用存储很小，非常适合普通新闻单位使用。

1.可行性

完成新闻传播效果分析的大数据，其实在各大搜索引擎公司已经存在，可以不用再自行抓取一遍，利用搜索引擎提供的界面，能提取出所要的数据即可。利用搜素引擎公司存储的海量数据，避免了自己重新全网抓取。自己抓取数据的过程，是一个非常繁琐的工作，每个网站都要针对性的分析，不同网站可能有不同的解析办法，同时网站的频繁改版更新，也给抓取造成了很大的工作量，比如新浪微博为了防止抓取，就做了很多技术防御手段对付爬虫，想大量抓取新浪微博的数据比较困难。直接利用搜索引擎的数据，避免了这些抓取工作的工作量，节省了大量成本。

利用新闻标题作为检索关键词，在搜索引擎上搜索出检索结果，检索结果包含新闻总量，每个条目包含了我们需要的媒体名称、发布时间、原始链接等，打开原始链接，到对应的媒体上，就可以得到更详细的数据，包括新闻来源、详细的发布时间，甚至某些媒体可以列出阅读量、转发量、评论等数据。这样就已经包含了一般新闻传播效果分析所必须的数据。

2.实现步骤

利用搜索引擎来实现传播效果分析的编程工作量比较小，但是也需要以下几步：

（1）使用新闻标题作为关键词打开搜索引擎。

（2）分析搜索引擎返回的结果，得到新闻转发的总数。

（3）利用搜索引擎，翻页得到全部转发网站的列表。

（4）列表内容去掉重复内容。

（5）分析列表中媒体名称、发表时间、原始链接。

（6）打开每条新闻对应的原始链接，分析得到新闻的具体标题、新闻来源、详细的发布时间、转发量、阅读量、评论等。

（7）根据每个原始链接的媒体名称、新闻来源，参考发布时间，形成新闻的传播路径、传播趋势等结果。这样，新闻传播效果分析的抓取部分就结束了，剩余的分析、展示部分就比较容易了。

图1 搜索引擎效果

图2 分析出的传播路径

图3 分析出的传播趋势

结语

本文讨论的方法，可以实现新闻传播效果分析，实现的成本上与传统的方法要成数量级的节省，特别适合普通新闻单位每天原创新闻稿件较少的情况，节省了大量的存储和流量，只检索关键的新闻稿件和对应的发布媒体，不对互联网产生无效流量，节省自己的带宽。分析的结果可以解决新媒体稿件的考评依据的难题。不好的地方是分析的准确度依赖于搜索引擎的数据覆盖范围，大多数搜索引擎只有网站的数据，缺少App、微博、微信等新闻传播渠道的数据，这点比较遗憾，不过可以通过多个搜索引擎同时使用的方法来尽量弥补。但是网站渠道传播的情况，也大体地反映了该新闻的影响力，基本不影响不同新闻的传播效果对比，对以微博、微信、App等渠道传播为主的新闻，分析结果偏差较大。

这样，利用搜索引擎做新闻传播效果分析，不失为一个经济的可替代的解决方法。当然，一般的新闻大数据分析平台不仅仅是新闻传播效果分析，还有新闻舆情、热点、情感分析等，传播中用户画像、人群分析、地域分析等，也是新闻大数据分析的一些参考指标。