开放获取资源评价模式的研究：基于单篇论文质量评价*

刘菊红　黄凯文

开放获取资源评价模式的研究：基于单篇论文质量评价*

刘菊红黄凯文

论文分析开放获取出版的发展态势，研究开放获取期刊的质量评价方法，指出开放获取期刊在发展的进程中，逐渐表现出与传统期刊的差异，采用传统评价方法应用于开放获取期刊评价已经具有明显的局限性，并揭示了基于开放获取期刊的评价已经开始向基于单篇论文的质量评价过渡，分析了基于单篇论文质量评价的主要指标、应用情况、评价体系以及评价效果。

开放获取论文质量评价Altmetrics

科学出版在历经了350年的缓慢发展之后，目前已迈入以快速出版和普遍分享为特征的互联网时代，一些新型出版模式正在挑战传统出版模式，其典型代表就是开放获取（以下简称OA）模式。随着OA运动的深入发展，涌现出了一批具有崭新特点的开放获取期刊（以下简称OAJ），这些期刊从出版速度、出版容量、媒体表现形式、语义化出版等方面，都显示出了与传统期刊不同的特点，采用传统文献计量学指标来评价OAJ，已经显示出局限性。因此，针对OAJ本身的特点来设计评价指标，已经成为一项具有重要意义的研究课题。

1　OA资源出版态势分析

1.1在数量上显著增加

OA自提出以来，以其先进的理念，于21世纪取得了长足发展。国际权威的OAJ收录代表——2003年5月由瑞典隆德大学（Lund University Libraries）图书馆创办的OAJ目录（Directory of Open Access Journal，简称DOAJ）截至2014年5月，收录的OAJ已经达到9834种，OA文章约1 659 880篇，见图1。始于2005年1月的“开放存取知识库名录”（Direct of Open Access Repositories，OpenDOAR）是公认的收录OA知识库最为权威的目录网站，截至2014年5月，在OpenDOAR注册的OA知识库已达2604家。OAJ和机构知识库的迅速发展，体现出OA运动迅猛发展的潮流。据一项欧盟资助的研究同时表明，已经有一半的论文在发表两年内可以免费访问。研究的第一作者艾瑞克·阿尔尚博（Eric Archambault）认为，这表明OA出版已经抵达一个拐点［1］。

图1　DOAJ收录OAJ数量

1.2在质量上持续提高

Web of Science数据库收录的研究成果代表着世界基础科学研究的最高水准。通过Web of Science核心合集检索显示，2004年共发表29 394篇OA论文，而截至2014年5月，OA论文总量已经达到1 063 036篇；且OA论文数量占论文总量的百分比一直在增加，由2004年仅占2.54%上升到2013年占比高达16.61%（详见图2）。这说明随着OA运动的深入发展，已经得到了高水平科研人员、科研机构、出版机构的认同，愿意在OAJ上发表论文的研究人员越来越多。

图2　SCI核心合集收录OA论文数量占全部论文数量的百分比

2　OAJ质量评价方法研究综述

自OA诞生以来，其质量问题就成为学术界关注的焦点，国内外研究人员围绕OAJ、OA论文的质量和影响力展开了较为广泛的实证研究。早期国外诸多学者比较了同一学科领域同一期刊或者影响因子接近的期刊、或质量接近的会议论文中，OA论文与非OA论文获得的引用数量的差异，探讨OA对促进学术传播、提高学术成果可见度、增加引用数量的影响［2-6］。国内对OAJ的质量评价，可以划分为以下几个类型：

（1）早期的研究，从学科分布、检索特性、影响因子等角度，将OAJ与传统著名期刊进行对比［7，8］。

（2）基于文献计量学指标构建评价体系。经过初期的探索后，众多学者开始采用传统文献计量学指标如载文量、篇均作者数、总被引频次、平均引文率、影响因子、即时因子、h指数、论文合著率、国际论文比、作者合作度、扩散因子、特征因子（Eigenfactor）、SJR等指标构建OAJ质量评价指标体系［9-14］。

（3）基于文献计量学结合网络计量学、被权威索引体系收录指标构建OAJ质量评价指标体系。因OAJ是源生数字、源生开放的，期刊的出版流程及用户利用行为如作者投稿、同行评议、论文发表、论文阅读、全文下载、同行讨论等都以在线形式展开，因此，OAJ的成败，除了与文章内容质量密不可分之外，还受到依托网站各项指标的影响，比如网站响应速度、界面友好性、检索入口数目、网络载文量、总网页数、网络引文率、链接流行度、网络述及、总网络影响因子、外部网络影响因子、PageRank值、IP访问量、页面浏览量、人均页面浏览量等指标。因此，学术界在使用传统文献计量指标的基础上，联合网络计量学指标以及被权威文摘工具收录情况，构建OAJ质量评价指标体系［15-19］。

（4）从定性和定量两个角度设计OAJ质量评价指标体系。定性指标包括期刊规划？出版机构的权威性？审稿是否严格、标准是否规范、版权保护方案、文字表达、科学创新、数据处理、研究方案等，定量指标包括文献计量学指标、网络计量学相关指标［20，21］。

但随着OAJ的深入发展，OAJ本身开始呈现出与传统期刊不同的特征，如：出版周期不固定、出版容量无限制、出版内容多媒体化、开放获取的全文可计算等。OAJ的种种期刊特征日趋模糊化，与传统期刊的分野日益明显。在传统文献计量学指标广受诟病、OA论文快速激增，科研人员呼吁新型学术工具以解决日益严竣的论文选择矛盾的困境下，OA领域新型评价指标开始出现。

3　OA出版呈现新特点

3.1出版速度快

OA的宗旨之一在于加快同行评审期刊的出版，加快学术成果的传播速率。传统纸质期刊有明确的出版周期，但网络出版无需受到纸质期刊按期出版的限制，可实现按篇即时出版，因此相对纸质出版可以有效缩短出版时滞，加快科研成果的传播。例如，美国光学学会主办的《Optics Express》 和《Optical Materials Express》，提供了“Issues in Progress”栏目，显示已录用并完成编辑加工的文章，每隔一周，会集中将此处的文章集合成为一期，作为最新一期出版。《PLoS One》充分利用互联网优势，采用即时出版，无明确的出版周期。只要稿件经过了严格的质量体系审查，就可以在每个工作日在线发表。所以在《PLoS One》网站只要点击“Browse articles”，就可以看到当天或最近一周出版的文章。据赵树庆和刘永胜研究报道2010年中国的20种科技期刊，3164篇论文的平均发表时滞为11.6个月（约348天）［22］，与OAJ的差距巨大。

3.2出版容量大

在过去的十年间，涌现出了《PLoS One》、《OPTICS》等发文量大、增速较快的OAJ。创刊于2006年的《PLoS One》，2007年全年发表论文4077篇，2013年全年共发表论文32 986篇，7年间年均发文量增长了10倍多，截止2014年5月8日止，共发表文章86 837篇（详见图3），其文章总量超过了1945年创刊，迄今已有59年历史的《The New England Journal of Medicine》，后者截止2014年5月8日止，共发表文章69 972篇。OA的重要意义之一在于加快科学研究成果的传播速度，《PLoS One》在一天中出版的文章量比某些传统期刊一年出版的文章数量还要多。

图3　《PLoS One》历年发表文章数量

3.3富媒体出版

传统的纸质出版只能局限于文本和图形方式的线性展示，而网络出版提供了更多的可能。首先可以展现多种资源形式，如图片、音频、视频、动画、图表、模拟动画、数据模型、流程图等，因此可以传达更多的信息。目前，由中国科学院长春光学精密机械与物理研究所与自然出版集团（Nature Publishing Group，NPG）以OA模式合作出版的《Light》网络版以xml标准出版，提供了各种信息之间的交叉链接，并具有全文检索功能。同时，允许作者在发表文章时，以pdf、wav、gif、ppt等格式出版补充资料，以进一步补充说明论文中的论点［23］。这种富媒体出版，极大地方便了读者使用资源。

3.4富语义出版

Web技术可以帮助网络期刊论文实现多种形式的语义标记和语义增强，比如论文可以包含与论文直接相关的信息及网站的链接，如作者的个人主页、供应商目录、数据库及引用的论文；论文中的关键术语和概念被识别和区分出来，并通过在线网络服务提供鼠标悬停弹窗式语义定义、公式和数据库条目的链接；提供交互式图表，通过语义镜头揭示图表中的数值数据，鼠标弹窗提供与文本引用的上下文有关的引文节选，重新排序参考文献列表；将论文中的数据与数据库中存在的相似信息相融合，比如论文中有关地理位置的数据可以KML文件的形式在谷歌地图中查看等。David Shotton对OAJ的语义增强层级进行了详细的研究，并将其划分为5个层级［24］。

3.5内容单元可计算

与传统纸质期刊及基于订购的数字期刊不同，刊载于OAJ的论文是源生数字、源生开放的，其全文数字内容可以立即获取，其知识单元可以被解析、被描述、被关联、被组织，从而为各种自动化、智能化的知识发现提供了可能，为基于论文内容的服务提供了更为丰富的空间。

4　基于单篇论文的计量指标的兴起

4.1出现背景

4.1.1传统计量指标的局限性

由于OAJ已经呈现出版速度快、出版容量大、并能实现富媒体、富语义出版等显著特征，OA论文规模增速加快。随着科研文献海量激增，科研人员所面临的主要困难，已经不再是文献资源不足，而是如何从海量的文献信息资源中，快速、高效地发现自己所需要的文献。传统文献计量学所采用的主要计量指标被引次数、影响因子等积累需要很长的时间周期，经统计，从论文发表到被引用一般需要1～3年甚至更长时间，引文分析法无法及时反映论文的影响力，这与以快速出版、即时出版为特征的开放获取资源体现出不匹配性。同时，引用指标还面临着评价指标不全面［25］、容易产生马太效应等问题。基于此，国外相关学者认为计量学领域也需要进行一次Web2.0革命，不但要解决传统评价方式存在的问题和缺陷，同时要结合网络时代的特点进行计量学创新，基于单篇论文的计量指标就在这样的背景下诞生。

4.1.2科研行为的网络化

科研人员越来越多地将日常科研工作转移到网络上进行。科学家在网上建立学术博客，就科学问题展开讨论并交流观点，在网上搜索、下载学术文章，将学术文献的题录保存在网页版个人文献管理软件中、阅读网络学术文章、对文章进行评级、打分、发表评论、制作标签等。这些社会网络行为产生了丰富的在线活动“印迹”，为计量学研究发展提供了新兴测度方法和多元化指标，而这些指标在以往是不可能得到的。参考文献管理软件Zotero和Mendeley声称储存了超过400万的文献数量，这比PubMed的文献总量还要大。有1/3的科研人员在使用Twitter，使用学术博客、微博的科研人员也在增长。这些多种多样的行为形成了一个复杂的可以追踪的比以往任何时候都要更丰富的监测指标。

4.1.3基于单篇论文评价指标的出现

OA出版商不仅致力于出版优质的科研内容，促进科学交流与传播，改善因数据库价格门槛形成的科学交流障碍，还针对影响因子以刊评文、时滞太长的显著弊端、开发了新一代论文评价体系。基于科研人员丰富的在线科研活动“印迹”，开发了针对单篇文章的各种利用指标，体现论文被社会各界阅读、下载、收藏、保存、讨论、分享、引用的情况，相当于将同行评议众包给社会大众，实现广泛的同行评议功能。

4.2两种主要的评价体系

4.2.1Altmetrics

“Altmetrics”（别称alternative metrics）是Web2.0环境下一种新兴的计量方法，于2010年由J.Priem最先在Twitter上提出［26］，是对传统科学计量学的继承和补充，国内将其译为补充计量学［27］、替代计量学［28］、选择性计量学［29-30］、另类计量学［31］、网络选择计量学［32］。学者P.Analytics研究了所有的研究成果采用的以及可用的评价指标，将Altmetrics分为5类，分别是被使用情况、被获取情况、被提及情况、社交媒介和引用情况。被使用情况是指评测论文的使用或利用情况，包括下载量、访问量、馆藏数量等指标；被获取情况是指评测论文被读者阅读、保存、收藏、添加书签等；被提及情况是指评测论文指论文被博客、新闻报道、维基百科、评论中提及的次数；社交媒介是指读者在社交网络中对论文的分享、推荐、排名和喜爱情况；引用情况则是指文章被其他学者的引用数量［33］。它的特征是利用补充性指标和引用指标共同去评价待评价的对象，这些对象不仅仅是论文，还可能是数据集、程序段或者论文中的片段等，研究的是评价对象在开放平台的使用情况以及读者在社交媒体中的交流活动。Piwowar认为它提供的影响力分析更为细致，学术产出的阅读、讨论、存储和评论都可被计算；提供实时更新的数据，可以评估一天而不是一年的影响力；可以评估网民对学术产出的影响；该指标受到各种不同受众的影响［34］。

4.2.2Article Level Metrics

2009年3月末，PLOS实施了一项“Article Level Metrics”计划，即“论文层面计量”，提供来自期刊开放存取平台和学术社交网络的评价数据，反映每篇论文的多维使用情况和传播水平。Article Level Metrics是PLOS在线出版商提出的一种评价体系，评价的对象是发表在PLOS出版平台上的文章。

4.2.3两种评价指标体系采用的主要指标

来自Altmetric.com的Altmetrics指标和PLoS平台提供的Article Level Metrics是目前影响力最大、使用范围最广泛的两大评价体系之一，前者的用户包括大型OA出版集团BioMed Central，以及著名数据库出版商NPG、爱思唯尔（Elsevier）、施普林格（springer）等。两大体系采用的主要指标见表1：

表1　两种论文级计量指标体系包含的指标

4.3基于单篇论文的评价指标被广泛应用

Haustain等对文献计量学专家发表论文在社会化媒体中覆盖程度进行调查，发现82%的论文被Mendeley收藏，有一半的被调查者拥有Twitter帐号［35］。调查显示，目前15%-24%的文章拥有Altmetrics指标，社会科学、人文科学、医学和生命科学拥有Altmetrics的文章数量最多，预示这几个学科是Altmetrics有特殊价值的领域。Rodrigo Costas等调查了2011、2012、2013年 SCI数据库收录论文拥有Altmetrcs指标的情况，其比率分别为10.8%、23.8%、25%，可见拥有Altmetrcs指标的文章比例在逐年增加。对2011年7月至11月间发表的具有DOI的500 229篇SCI论文的调查显示，有75 569篇论文（15.11%）拥有Altmetrcs指标，其中生物医学、健康科学领域比例最高，22.83%，其次是社会科学和人文科学领域，达22.50%（见表2）、生命、环境科学15.94%［36］。

表2　Altmetrics指标被采用情况

在各类Altmetrics指标中，Twitter的使用率最高，达到13.3%。其他指标的应用率都相对偏低，Facebook的使用率为2.5%，Blogs的使用率为1.9%，Google+、News outlets的使用率则还不到1%（见表3）。

表3　Altmetrics各项指标的流行情况

4.4Altmetrcs指标的评价效果分析

Altmetrcs诞生还不足5年的时间，其指标选择、评价体系、应用效果还处在大规模的验证、探索阶段。相继有学者针对Altmetrcs与引用指标之间的关系展开研究。Thelwall研究了《nature》《science》发表的文章在Mendeley和CiteUlike中的收藏情况，发现与Web of Science引用数据有显著相关性［37］。Gunther Eysenbach研究了应用Twitter数据预测引用的可能性［38］。由于对Altmetrcs是否有效缺乏系统性的证明，Rodrigo Costas等开展了一次大样本研究，以弥补这一缺陷。通过对SCI数据库收录的、具有DOI的50余万篇论文的11项Altmetrcs指标与引用之间的相关性研究表明，Twitter、Facebook wall posts、research highlights、blogs、mainstream media and forums与引用成正相关关系，Google+ posts则未显示出类似的规律，LinkedIn、Pinterest、question and answer sites、Reddit与引用关系的证据则不足。Altmetrcs分值对高被引文章的预测能力不如期刊被引次数；Altmetrcs分值（特别是在博客中被讨论的次数）对高被引文章的预测能力高于期刊被引次数，但其查全率比较低。目前，Altmetrcs指标更适合作为引文分析的补充工具，而不是替代引文分析。

5　结语

引用数据的偏态分布使得将期刊影响因子用于评价单篇论文饱受诟病，OA运动的深入发展、社交网络的流行与普及、学术界对建立学术过滤机制的强烈需求共同推动了基于单篇论文评价指标体系的诞生。但目前的评价体系还存在诸多的局限性，距离正式纳入科研评价系统还有很多工作要做，但它代表了未来的发展方向，为计量学在Web 2.0时代的发展打开了新的局面。

［1］Commission E.Proportion of Open Access Peer-Reviewed Papers at the European and World Levels［EB/ OL］.［2013-12-13］.http：//apo.org.au/research/proportion-open-access-peer-reviewed-papers-europeanand-world-levels-2004-2011.

［2］Antelman K.Do open-access articles have a greater research impact？［J］.College&research libraries，2004，65（5）：372-382.

［3］ Hajjem C，Harnad S，Gingras Y.Ten-year crossdisciplinary comparison of the growth of open access and how it increases research citation impact［J］. arXiv preprint cs/0606079，2006.

［4］Schwarz G J，Kennicutt J R C.Demographic and citation trends in astrophysical journal papers and preprints［J］.arXiv preprint astro-ph/0411275，2004.

［5］Metcalfe T S.The citation impact of digital preprint archives for solar physics papers［J］.Solar Physics，2006，239（1-2）：549-553.

［6］Kurtz M J，Eichhorn G，Accomazzi A，et al.The effect of use and access on citations［J］.Information Processing&Management，2005，41（6）：1395-1402.

［7］刘辉．网络环境下开放获取期刊的现状和评价［J］．深圳特区科技，2005（z1）：452-455．

［8］刘辉．开放获取期刊的现状与评价分析［J］．图书馆建设，2006（4）：44-47．

［9］胡德华，常小婉．开放存取期刊论文质量和影响力的评价研究［J］．图书情报工作，2008（2）：61-64．

［10］白振田．因特网环境下期刊论文评价体系设计与构建 ［J］．佛山科学技术学院学报：社会科学版，2009（3）：90-93．

［11］方卿，王珏．开放存取期刊学术质量评价（一）：基于总被引频次视角的分析［J］．出版科学，2011（6）：67-70．

［12］王珏，方卿．开放存取期刊学术质量评价（二）：基于影响因子视角的分析［J］．出版科学，2011（6）：70-74．

［13］王珏，方卿．开放存取期刊学术质量评价（三）：基于即年指标视角的分析［J］．出版科学，2011（6）：74-78．

［14］韩鹏鸣．基于特征因子的开放存取期刊学术影响力评价研究［J］．图书馆工作与研究，2012（8）：29-31．

［15］张红芹，黄水清．开放获取期刊质量评价的指标体系构建与评价实践：以化学类期刊为例［J］．情报理论与实践，2008（3）：386-390．

［16］胡德华．生物医学类开放存取期刊学术质量评价及其评价体系研究［D］．中南大学，2009．

［17］董文鸳，陈清文．图情领域开放存取期刊学术影响力评价［J］．图书馆建设，2009（5）：104-107．

［18］陈铭．开放存取期刊评价模型构建［J］．图书情报工作，2010（14）：11-15．

［19］袁顺波，华薇娜．基于引文与网络链接的开放存取期刊学术影响力评价［J］．大学图书馆学报，2010（6）：107-115．

［20］侯集体．开放存取期刊质量评价指标研究［J］．图书情报工作，2009，53（12）：140-143．

［21］尹天久，宗乾进，袁勤俭．开放存取论文开放评价方法［J］．图书情报工作，2012，56（16）：75-79，107．

［22］赵树庆，刘永胜．20种科技期刊2010年论文发表时滞调查［J］．编辑学报，2011（6）：491-493．

［23］常唯，马健，白雨虹．开放获取期刊国际影响力的培育：谈Light办刊体会［J］．科技与出版，2013（12）：9-12．

［24］Shotton D.The five stars of online journal articles-a framework for article evaluation［J］.D-Lib Magazine，2012，18（1-2）：27.

［25］Macroberts M H，Macroberts BR.Problems of citation analysis［J］.Scientometrics，1996，36（3）：435-444.

［26］Priem J，Taraborelli D，Groth P，et al.Altmetrics：A manifesto［EB/OL］.［2014-05-02］.http：//altmetrics.org/ manifesto/.

［27］由庆斌，汤珊红．补充计量学及应用前景［J］．情报理论与实践，2013（12）：6-10．

［28］邱均平，余厚强．替代计量学的提出过程与研究进展［J］．图书情报工作，2013（19）：5-12．

［29］刘春丽．Web 2.0环境下的科学计量学：选择性计量学［J］．图书情报工作，2012（14）：52-56．

［30］王贤文，张春博，毛文莉，等．科学论文在社交网络中的传播机制研究［J］．科学学研究，2013（9）：1287-1295．

［31］顾立平．开放数据计量研究综述：计算网络用户行为和科学社群影响力的Altmetrics计量［J］．现代图书情报技术，2013（6）：1-8．

［32］陈铭．期刊利用统计与Altmetrics的兴起［J］．图书与情报，2014（1）：12-17．

［33］Overview：Plum Metrics［EB/OL］.［2014-05-01］.http：// www.plumanalytics.com/metrics.html.

［34］Piwowar H.Introduction altmetrics：What，why and where？［J］.Bulletin of the American Society for Information Science and Technology，2013，39（4）：8-9.

［35］Haustein S，Peters I，Bar-Ilan J，et al.Coverage and adoption of altmetrics sources in the bibliometric community［J］.Scientometrics，2013：1-19.

［36］Costas R，Zahedi Z，Wouters P.Do altmetrics correlate with citations？Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective［J］.arXiv preprint arXiv：1401.4321，2014.

［37］Li X，Thelwall M，Giustini D.Validating online reference managers for scholarly impact measurement［J］.Scientometrics，2012，91（2）：461-471.

［38］Eysenbach G.Can tweets predict citations？Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact［J］.J Med Internet Res，2011，13（4）：e123.

刘菊红广州中医药大学图书馆馆员。广东广州，邮编：510405。

黄凯文广州中医药大学图书馆研究馆员。广东广州，邮编：510405。

Research on the Evaluation Model of Open Access Resource：Quality Assessment based on the Occasional Papers

Liu Juhong，Huang Kaiwen

This paper analyzes the developing trend of open access publishing，researches the quality assessment method of open access journals（OAJs）.It points out that in the development of OAJs，they have changed a lot.Using the traditional assessment method is outdated.It also announces that the assessment based on journals is transferring to the quality assessment based on the occasional papers，analyzes the main indexes，popularity，assessment system，and performance.

Open Access.Paper.Quality assessment.Altmetrics.

G252.8

*本文系广东省图书馆科研课题“开放获取资源评价模式的研究”（项目编号：GKTK0915）的研究成果。

（2014-07-15编校：刘勇定）