从时间周期看总被引频次与即年指标评价误区*

2014-12-05 06:21俞立平
中国出版 2014年12期
关键词:优度存量影响力

文/俞立平

科技评价包括科技政策评价、科研机构评价、科研人员评价、学术期刊评价等诸多方面,自从影响因子从1972年起成为期刊评价指标以来,总被引频次几乎与之同时出现。即年指标作为和影响因子性质相近的指标,随后也被广泛应用在期刊评价中。在迄今大多数期刊评价中,总被引频次和即年指标成为选取频度较高的两个重要指标。

一、引言

所谓期刊的时间周期,就是指期刊的发表周期或评价周期,包括流量评价或存量评价因素。由于期刊评价的时间特性是隐含的,因此在学术界和期刊评价实践中并没有引起足够的关注。

从发表周期的角度,有些期刊论文发表周期较短,一般是3~6 个月,有些期刊论文发表周期相对较长,在我国论文发表周期超过一年的期刊并不鲜见,比如《科技进步与对策》明确论文发表在定稿后一年左右。赵树庆、刘永胜(2011)以国内20 种科技期刊为样本,对2010年发表的3164 篇论文的发表时滞进行了调查统计,求出科技论文的平均发表时滞为11.6月。期刊的论文发表周期受多种因素影响,比如载文量、投稿数量、期刊影响力、审稿速度等。广义的发表周期还包括论文写作周期、论文退稿周期、纸质期刊上网周期等。

从评价周期的角度,CSSCI 核心期刊的遴选一般是一年一个周期,北京大学《中文核心期刊要目总览》,已于1992年、1996年、2000年、2004年、2008年、2011年出版过六版,基本上以3~4年为一个周期,当然有的评价不具有周期性,主要是政府部门或相关研究机构不定期做一些评价。

关于总被引频次的时间特点与局限研究,李晓红、于善清(2005)认为,总被引频次的大小与期刊的创刊年限有直接关系,创刊早的期刊,其总被引频次一定比创刊晚的期刊要高,因此在使用总被引频次评价期刊时一定要考虑这一因素,不能一概用总被引频次的大小来评价期刊的学术水平。胡兴戎、王晴(2010)发现在2009年累计总被引频次居前10 位的口腔医学期刊中,既有影响因子居前10 位的期刊(4 种),也有影响因子排位较低的期刊。李晓萍、姜瑾秋等(2006)认为总被引频次主要反映科技期刊包括近期状况在内的历史状况,弥补了因载文量过多而导致影响因子偏低的问题。王群英、林耀明(2011)选取资源、生态、地理三个相近学科的8 个期刊,通过分析它们的影响因子、总被引频次与裁文量之间的关系发现,载文量与各刊影响因子的相关程度不一,而与总被引频次有较强相关。

关于即年指标的时间特点与局限研究,刘雪立、董建军等(2007)研究发现,随着我国医学期刊出版周期的缩短,即年指标呈现增大的趋势,条件具备的情况下,缩短出版周期有可能提高即年指标。刘颖(2011)通过总被引速率、他刊引用速率和本学科引用速率3 个分指标加权计算了14 种图书情报类核心期刊的即年指标,并分析研究了这些期刊的学术价值和即时影响能力。王珏、方卿(2011)系统分析2006~2010年JCR 收录开放存取期刊即年指标随时间、学科和地域三个维度变化的情况,以了解开放存取期刊的学术质量。董秀玥、赵瑞芹(2013)从出版周期、影响因子、稿源数量、质量保证和可持续发展等方面论述了缩短文章刊出时滞对医学期刊的影响,并就其可能带来的负面影响提出了防范措施。

总被引频次和影响因子由于界定比较清楚,对其优点与不足学术界并没有太多的争论,但对这两个指标与期刊时间特性的关系并没有深入研究。本文在理论分析的基础上,以汤森·路透2012年期刊引证报告(JCR2012)为例,选取生态学、生物学、数学(跨学科)三个学科,对总被引频次、即年指标的特点及与期刊影响力指标的关系进行深入分析,然后对总被引频次和即年指标用于期刊评价的适用性进行系统总结。

二、总被引频次与期刊评价周期的关系

总被引频次是期刊自创刊以来所刊载的全部论文在统计当年被引用的总次数,在同等情况下,创刊越早的期刊,由于其发表论文较多,总被引频次值一般也较高;新创刊的期刊,由于绝对发表论文量偏少,即使学术质量较高,总被引频次可能也较低。总被引频次的这个问题,本质上是期刊评价的评价周期问题。

评价周期与评价目的及评价的管理功能是紧密关联的。对期刊评价而言,太长的周期意义不大,因为失去了管理功能,所以一般期刊评价周期不会超过5年。当然如果评价周期过短,即使技术上可行,意义也不会太大,所以也没有半年为周期的期刊评价。目前国家社科基金资助期刊遴选就是每年一次。

1.总被引频次与期刊评价周期的理论分析

从评价指标角度,必须注意流量指标与存量指标的区别。所谓流量指标,就是基于当年数据的统计指标;所谓存量指标,就是累计数据的统计指标。期刊评价同样也有流量评价和存量评价。

对于流量评价应该采用流量指标,对于存量评价应该采取存量指标,否则就不具备可比性。在期刊评价中,几乎都是流量评价,所选取的一些评价指标,比如影响因子、即年指标、学科影响指标、特征因子、H 指数、被引半衰期等都是流量指标,只有总被引频次是存量指标,这是期刊评价中的最大问题,最终会导致办刊历史比较悠久的期刊在评价中得分偏高。总被引频次作为每年公布的存量指标,按道理只能用在存量评价中,根本就不能应用在流量评价中,然而实际情况是,目前国内的主流期刊评价,均将总被引频次这个存量指标作为重要指标引入,在逻辑上是存在问题的。

那么,是不是在存量评价中,总被引频次就可以无条件引入呢?其实也并非如此。以评选国家科技进步奖为例,学者A年龄较大,从1970年开始发表论文,学者B年轻一些,从1985年开始发表论文,2013年A 的总被引频次为1000 次,B 的总被引频次为700 次,很明显这是不可比的,因为不同学者、不同学科创新的最佳年龄是不同的。所以对期刊评价而言,不同年度创刊的期刊,总被引频次一般也不可比。

另外一个问题是,能否将总被引频次这个指标通过某种方法折算成可比性指标呢?比如M 期刊1990年创刊,10年后的总被引频次是1500 次,N 期刊2003年创刊,同样10年后的总被引频次是1300 次,能否说M 期刊优于N 期刊呢?也不能,因为引用只有在同年相比才具有可比性,不同年度的学术热点不同,所以不同年度的总被引频次相比就没有任何意义。

表1 总被引频次与期刊影响力指标的拟合优度

2.总被引频次与期刊影响力指标的拟合优度

2012年JCR 生态学期刊共135 种,生物学期刊共83 种,数学(跨学科)期刊共93 种。对三种学科的期刊,分别以总被引频次作为因变量,影响因子、5年影响因子、即年指标、特征因子、论文影响分值作为自变量进行回归,拟合优度如表1 所示。对生态学期刊而言,总被引频次除了和特征因子拟合优度较高外(0.835),和其他期刊影响力指标的拟合优度均不高,拟合优度都在0.4 以下;生物学期刊类似,除了和特征因子拟合优度较高外(0.782),与其他期刊影响力指标的拟合优度均在0.4 以下;数学(跨学科)也类似,除了和特征因子拟合优度较高外(0.859),总被引频次和其他影响力指标的拟合优度均在0.5 以下。

从平均值看,生态学期刊的拟合优度均值为0.367,生物学期刊的拟合优度均值为0.357,数学(跨学科)期刊的拟合优度均值为0.466,均值均在0.5 以下,可见总被引频次与其他期刊影响力指标之间不具备较高的相关性,难以作为期刊影响力指标。

三、即年指标与期刊发表周期的关系

即年指标是期刊即年反应速率的一个指标,是期刊当年发表的论文被引用次数与期刊当年发表论文总数的比值,姑且不考虑期刊的他引问题,源期刊即年指标与引用期刊的发表周期存在着极大的关系。

1.即年指标与期刊发表周期的理论分析

在同等情况下,引用期刊的发表周期越短,源期刊的即年指标越大,因为引用期刊的发表周期越短意味着源期刊论文被引情况越早被检索。引用期刊的发表周期越长,源期刊的即年指标越小,极端情况下,如果引用期刊所有论文的发表周期均超过12 个月,则源期刊即年指标为零。

除了开放存取期刊和电子期刊,大部分均为纸质期刊,由于现在科技写作很多是网上阅读文献,从论文发表到网上能够检索仍然有一个时间间隔,这个因素也要考虑,本质上属于广义的“发表周期”,也就是说,如果引用期刊的全部论文发表周期均为11 个月,但是论文上网时间需要1 个月,那么,源期刊的即年指标也为零。

此外,还有写作周期与退稿周期也要考虑,作者写作论文是需要时间的,比如3 个月,其引用的论文一般也是3 个月前发表的最新论文,这个时间也要作为广义的“发表周期”。如果作者投稿到A 期刊,4个月后被退稿了,再投稿到B 期刊,结果B 期刊录用,那么这4 个月也要计入广义的“发表周期”(这里暂不考虑论文修改中重新查找最新文献的情况)。

也就是说,在所有引用期刊发表周期相同,论文写作周期相同,退稿周期相同,上网时间间隔也相同的情况下,即年指标才有可能作为源期刊影响力的评价指标之一,但是这种前提假设并不存在,考虑到现在期刊发表周期普遍延长,因此即年指标作为期刊评价指标越来越失去了本来的意义。

2.即年指标与期刊影响力指标的拟合优度

对三种学科的期刊,分别以即年指标作为因变量,影响因子、5年影响因子、特征因子、论文影响分值作为自变量进行回归,拟合优度如表2 所示。对生态学期刊而言,即年指标和其他期刊影响力指标的拟合优度均不高,拟合优度都在0.6 以下;生物学期刊类似,即年指标与其他期刊影响力指标拟合优度均在0.4以下;数学(跨学科)期刊即年指标和其他影响力指标的拟合优度均在0.4 以下。

从平均值看,生态学期刊的拟合优度均值最高,为0.456,生物学期刊的拟合优度均值为0.243,数学(跨学科)期刊的拟合优度均值为0.203,均在0.4 以下,说明即年指标与其他期刊影响力指标之间不具备较高的相关性,难以作为期刊影响力指标。

表2 即年指标与期刊影响力指标的拟合优度

四、结论与讨论

期刊评价的时间因素必须予以足够的重视。在期刊评价中,一般都是流量评价,很少用到存量评价。在存量评价中应该采用存量指标,同样在流量评价中也应该采用流量指标。总被引频次作为存量指标,被广泛应用在流量评价中,从逻辑上是存在问题的,在时间上不能做到同步,因此本质上是不可比的。

由于任何期刊都有一定的发表周期,在期刊发表周期普遍变长的情况下,即年指标越来越失去其反映期刊影响力速度的意义。很多期刊论文发表周期平均值已经接近甚至超过一年,在这样的情况下,源期刊的即年指标值就接近零。目前的期刊评价中,即年指标也是被广泛采用的指标之一,但越来越失去其本质含义,因而是值得商榷的。

总被引频次与即年指标难以反映年度期刊影响力。总被引频次指标与即年指标构成总体比较简单,而且还没有除去自引因素。通过JCR2012 生态学、生物学、数学(跨学科)期刊的实证研究表明,总被引频次、即年指标与期刊其他影响力指标的相关性很弱,并没有反映出期刊影响力的某种独特的规律或新的内涵。如果将总被引频次中有限的期刊影响力因素去除,那么总被引频次还能代表什么呢?可能只剩下反映期刊办刊历史的某种因素,问题是如果对期刊办刊历史进行某种考察,直接根据办刊时间判断即可,也用不到总被引频次指标。

[1]Rousseau R,Yang L,Yue T.A discussion of Prathap’s h2_index for institutional evaluation with an application in the field of HIV infection and therapy[J].JournalofInformetrics,2010,4(2)

[2]赵树庆,刘永胜. 20 种科技期刊 2010年论文发表时滞调查[J]. 编辑学报,2011(11-12)

[3]李晓红,于善清. 慎重使用“影响因子”评价科技期刊[J]. 情报科学,2005(1)

[4]胡兴戎,王晴. SCI—E 收录口腔医学类期刊情况及引文评价参数分析[J]. 中国科技期刊研究,2010(4)

[5]李晓萍,姜瑾秋,邢宝山等. 影响因子和总被引频次在期刊评价中的作用[J]. 深圳中西医结合杂志,2006(4)

[6]王群英,林耀明. 影响因子、总被引频次与期刊载文量的关系研究——以资源、生态、地理方面的8 个期刊为例[J]. 中国科技期刊研究,2011(1)

[7]刘雪立,董建军,周志新.我国医学期刊出版周期与即年指标关系的调查研究[J]. 中国科技期刊研究, 2007, 18(4)

[8]刘颖.十年来我国图书情报类核心期刊即年指标测度评价[J]. 晋图学刊,2011(6)

[9]王珏,方卿.开放存取期刊学术质量评价(三)——基于即年指标视角的分析[J]. 出版科学,2011(6)

[10]董秀玥, 赵瑞芹.缩短文章刊出时滞对医学期刊的影响[J]. 中华医学图书情报杂志, 2013(12)

猜你喜欢
优度存量影响力
勘 误 声 明
如何正确运用χ2检验
——拟合优度检验与SAS实现
存量时代下,房企如何把握旧改成本?
天才影响力
基于多级优度评价方法的导弹武器系统效能评估
吉林存量收费公路的PPP改造
黄艳:最深远的影响力
腐败存量
3.15消协三十年十大影响力事件
传媒不可估量的影响力