科研评价中基于文献计量分析的应用初探

●俞 青（国家图书馆，北京 100081）

1 文献计量学的内涵及发展

基于文献计量分析的科研评价，主要可以从数量和质量两个方面来进行。

论文数量指标是指个人或单位在一定时间内发表的论文总数，它主要以一些大型数据库收录的期刊论文作为统计源，最常用的有SCI（科学引文索引）、EI（工程索引）和ISTP（会议论文）。论文数是对科研生产力的直接反映。由于SCI论文绝大部分属于基础科学研究成果，因此为多数国家所认可和使用。但是，仅仅根据论文数量无法测度论文的重要性和影响力，而且SCI所收的数千种学术期刊良莠不齐，学科收录情况也有较大差距，在期刊收录地域上也偏重于对欧美国家期刊的收录，如果片面强调SCI论文的收录数量容易被某些使用者钻空子或产生不公正。［1］

而引证数则是直接反映论文影响力的重要指标。所谓引证数即论文被引用次数，是指已发表论文在发表后的一段时间内被引用的次数之和。引证数能够在很大程度上测度研究成果对科学发展所做的贡献，因此比论文数指标更为客观和准确。但是，由于各期刊的质量和影响力差别较大，使得论文引证数的分布很不对称，存在“80／20现象”，即80%的引证数来自于20%的论文，所以这个现象是这个指标的明显硬伤。

为了克服前两个指标的缺陷，20世纪60年代后，文献计量学又开发出期刊的“影响因子”指标。开发影响因子的初始目的是作为管理论文集合的一个工具，但是一经出现，就立刻被用于对科学研究成果或作者进行定量评价，而且一直主宰着文献计量学的评价指标体系。所谓影响因子，就是先统计出期刊在连续两年内发表的论文在随后一年中被引用的总次数，再用这个总引证数除以该期刊在这两年内发表的论文总数，所得结果即为影响因子。如果一个期刊的影响因子高，则它发表的论文被引用的平均次数多，也就表明该期刊的影响力大，在科学界的地位和受关注程度也就高。但对影响因子是否能够完全反映期刊的档次，科学界一直存在争议。如：即使能反映，也不能把期刊的影响力和具体一篇论文的影响力等同起来；一篇发表在影响因子高的期刊上的论文很少被人引用，而一篇发表在影响因子低的期刊上的论文被高度引用的情况时有发生。

2005年赫希提出的h指数为人们进行文献计量开拓了新的视野，并很好地解决了文献被引次数与期刊声望的关系问题。该指数将发表在“低影响力”期刊上的高引证数论文纳入了评价体系。h指数是把论文引证数作为衡量研究工作的内在指标，而数量作为参考指标，并在这两种指标之间取一个平衡值。具体算法是：一个人的h指数就是指他发表的所有论文中，有h篇论文分别被引用了至少h次。与传统评价指标相比，h指数的最大优势在于把论文数与引证数有机地联系起来，综合考察论文的数量和影响力。正因为如此，对于论文数量多而引证数不高的研究者，或是只有极少数高引证论文的作者，其h指数都不会高。只有论文数量较多，且多数论文具有较高引证数时，才能获得较高的h指数。因此，用h指数评价科研人员的绩效，可以遏制片面追求论文数量的不良倾向。即便如此，h指数仍存在缺陷，如不适宜对年轻学者的评价，不适宜对历史学者的评价，且指数与研究领域关系很大，不适合跨学科比较。与SCI影响因子相比，h指数的较大优势就是h指数不能通过自引来提高。

2 SCIE与SCOPUS的应用比较

SCI是传统的文献计量工具，也是最常用的综合性文献计量工具，由美国科学信息研究所（ISI）于1964年正式发行，共收录期刊3600种左右，涵盖150多个学科领域。随着网络的发展，ISI开始发行网络版SCI，即SCIE。它既是网络版，也是扩展版，收录的期刊数量也上升到6000种以上。它不仅可以从文献引证的角度评估文章的学术价值，还可以迅速地组建研究课题的参考文献网络。发表的学术论文被SCl收录或引用的数量，已被世界上众多科研机构和高校作为评价学术水平的一个重要标准。ISI的另一产品JCR（期刊引证分析报告）的影响因子，常与SCIE收录数据一起作为科研评价的参考指标。SCI不仅提供13个字段的文献收录检索，而且可以从作者、来源文献、被引年份等3条线索来查寻文献被引用的情况。目前SCI只提供期刊文献的收录检索，但引用不限于期刊文献，会议文献及书等的引用也可查到。［2］

SCI是基于文献计量的分析工具，可以客观地对科研进行分析评价。对检索结果，SCI可以从作者、会议标题、国家/地区、文献类型、基金资助机构、授权号、机构名称、语种、出版年、来源出版物、学科类别等11个角度对收录或引用情况进行分析，并根据记录数（论文数量或引用次数）或字段形成明确的百分数及柱状图，可方便地了解不同情况下文献计量的情况。除此之外，还可以提供创建引文报告的功能（10000篇以上文章的检索不提供此功能），即对收录的每篇文献各年的引用情况及所有检索到的文献以图表的形式一目了然地反映出收录文献被引用的情况。引文报告首先以柱状图的形式反映出每年出版的文献数量，然后仍以柱状图的形式反映每年的引用情况，最后以表格的方式显示每篇文献各年被引用的具体数量、引用总数、及每年的平均引用次数。该表格默认以被引频次进行排序，也可按更新日期、第一作者、来源出版物、出版年及会议标题进行排序。同时显示被引频次总计、每项平均引用次数、h指数等，还可点击查看施引文献和去除自引后的引文报告，去除自引后的引文报告所显示的实际是不包含作者自引的其它施引文献。

虽然SCI提供了多角度的分析，但由于收录检索时可检索的字段中没有学科分类，因此很难直接反映个人或机构在某学科的情况。只能通过主题词来查，但主题词不能等同于学科分类，而且SCI不提供规范的主题词库，所谓主题词，也是人为给出的。另外，用SCIE去除自引，需经两三个步骤方可实现，同时检索时也无第一作者字段，所以对一些特殊要求的检索不能实现。

Scopus是Elsevier于2004年底推出的号称世界最大的综合性文摘和引文（A&I）数据库，所收录的数据包含超过5000余家出版社出版的18000余种学术期刊、500余种会议录（收录电子工程、计算机等领域重要论文）、600种商业出版物，以及超过125种的丛书，收录总量已经达到4100余万条。还收录来自全球5大专利组织的2200万条专利摘要信息和4亿条互联网络科技资源。Scopus数据库收录的学科范围比SClE广，而且收录中国期刊350多种，是SCIE的4-5倍。但引文回溯年限不如SCIE长，一般只到1966年，而SCIE可回溯到1900年。Scopus没有专门的引文检索，需要点“Cited By”按钮来查看具体的引用情况。但Scopus设置的检索路径比较多，一般检索可从17个线索入手进行，在高级检索选项中，更是提供了极为细致的65项检索路径以供检索。通过这些细致的检索路径可以较为方便地对某一地区的某个学者或机构进行学科分析，也可建立以单篇文献的“被引频次”为核心的评价体系，来评价某一作者在特定时间、特定区域内的学科成绩或该篇论文的质量。而SCI由于没有学科检索项，只能对已检索出的结果进行学科限定，所以无法进行像Scopus一样的特定作者在特定学科与区域的检索与评价，更难进行以单篇为评价核心的检索。同时，Scopus有第一作者检索，而SCI没有，只能通过对检索结果的肉眼识别来判定。Scopus还可比较方便地对检索结果进行排除自引，而SCI则需要比较复杂的过程才能排除自引。其他检索与引用分析与SCI基本相同。［3］

3 基于实例的科研评价的新探索

随着科研人群的不断扩大及国家和相关机构对科研成果的日益重视，基于文献计量的科研评价也越来越多地被引入各种科研评审与考核之中。以往所采用的文献计量评价，就此两数据库来说，主要是对论文被收录数量（可规定时段）及论文被引用的频次来进行评价，顶多加上论文所载期刊的影响因子，或在被引频次中分出他引频次、第一作者他引频次等，虽能比较客观地反应具体作者或机构的论文发表数量及引用情况，但受学科及地域影响，数据有较大偏差。如针对中国大陆来说，SCIE收录各学科的中文期刊不到百种（七八十种），Scopus虽收录350种左右，但仍不能完全代表各学科的实际情况。所以引入其他评价指标非常必要。现就本馆所做过的以文献计量为依据进行科研评价的两个实例进行介绍和探讨。

案例一： SCI特定状态下的作者排名

具体内容：（检索报告）

检索课题：某某2004-2010年发表学术论文在SCI数据库中（diorganotin*or（organotin*）ANDantitumo*主题下的作者排名及在该类文献总量中所占的百分比

委托单位：××××大学

委 托 人：×××

检索工具：ScienceCitation Index Expanded（SCIE）1900-pre

检索时间：2010年3月3日

检 索 式：Topic=（（diorganotin*）or（organotin*））AND Topic=（antitumo*）ANDYear Published=（2004-2010）

检索结果：根据委托人提供的检索要求，使用以上检索式，在SCI数据库中检索到180篇文献，按作者排序由系统对检索结果进行分析，在该限定主题下×××共发表的论文12篇，按文献记录数排名第4，占该主题文献总量的6.6667%。排名、百分比及12篇文献的详细信息详见附件。

特此证明！

国家图书馆科技查新中心（盖章）

2010年3月5日

上面显示的是检索报告的主要内容，在附件中尚有由SICE中导出的作者排名及文献数量的百分比格式。应作者要求并附上了作者所发表的文献题录12篇。

从检索策略与结果可看出，由于SCIE未提供直接学科及学科细分的检索，只能按检索者提供的主题词来进行检索，而该主题词是否规范、有无同义词等，都会对检索结果有较大的影响，因此检索报告只能进行如实描述，对该文献计量的数据及分析对特定作者或机构在特定区域及学科或学科细类中地位的评判的参考作用就会大打折扣。

案例二：单篇文献被引频次的学科排名

具体内容：（检索报告）

检索课题：×××2006年发表的1篇学术论文在SCOPUS数据库Earth and Planetary Sciences（地球行星科学）-EART（该主题的数据库代码） 主题下被引用次数排名

委托单位：××××研究所

委 托 人：×××

检索工具：SCOPUS---1847-pre

检索时间：2009年11月23日

检索年限：2006-2009年

检索式：SUBJAREA（eart）ANDAFFILCOUNTRY（china）AND（LIMIT-TO（PUBYEAR,2009）ORLIMIT-TO（PUBYEAR,2008）OR LIMIT-TO（PUBYEAR,2007）OR LIMIT-TO（PUBYEAR,2006））

检索结果：根据委托人提供的论文要求，使用以上检索式，在SCOPUS数据库中检索到46984篇文献，其中×××发表的论文“××××××………”被引用49次，在检索到的论文中按被引次数排在第24位（详见附件1），经过对排名前24名论文作者单位的核实，该论文被引情况在第一作者单位为中国大陆地区的论文中排名第13位（详见附件2）。

特此证明！

国家图书馆科技查新中心（盖章）

2009年11月23日

该检索需求的起因是Scopus在2009年初在中国的“科学网”上推出的中国大陆各学科单篇文献被引次数排名前20名的活动。检索委托者的同事被列入大陆地区某学科的前20名榜单中，并对绩效评估产生了直接的影响。本例检索所查的主题范围为数据库提供的规范主题，以数据库给出的主题代码作为主要检索词，并限定区域与年限，在高级检索中进行检索，对检索结果采用“Cited By”按钮进行排序，最终得出结论。同理，可根据需求设定不同的检索策略，得出不同的检索结果，由于数据库提供了多达65个检索入口，并对每个检索条件进行了说明与举例，而且重要的检索条件均进行了规范化，使得检索结果更加可信，进行的排序的基数也更大。从上两例我们不难看出，第一例所设定的主题在2004到2010年间，只检出文献180篇，而第二例检出的文献数是46984篇，且限定了国家为China，第一例则未做此限定。虽然两例所检主题范围相去甚远，但至少可看到第二例的主题范围要较第一例的主题范围大的多，因此，第二例所进行的文献计量在特定主题、特定区域、特定时段的检索效果，要好于第一例。当然，第一例以一定时段发表的文献数量作为文献计量评价参数，而第二例则以单篇文献的引用次数为文献计量参数，所以没有真正的可比性，但从两例仍可看出检索及检索结果的方便与否。由于Scopus可限定区域、可对规范化主题等进行检索，所以也可像第一例一样以文献数量进行排序，但属于自然排序，不具备SCI分析后的正式格式。因此，在对发表的文献数量进行分析的功能上，Scopus弱于 SCI。

以文献计量来评价科研成就，通过对发表文献数量的计量及影响因子来参考评价科研量，通过对发表文献的引用情况、引用分析来评定文献的质量，是一般通行的做法。近几年更是引进了h指数来进一步评价科研情况，该指数把割裂的文献数量与引用次数组合起来给出了综合性的文献计量参数。但目前国内通过文献计量对科研的评价，仍以传统方法为主，利用具有引文分析的检索工具除对文献数量及引用资料进行借鉴外，也同时利用分析数据的不多。建议大专院校、科研院所对自身科研人员及机构的文献评价，不再局限于文献数量及引用次数两组简单的数字上，而应把引用分析、文献数量排名分析及h指数等也综合纳入科研评价体系，同时，在特定的时段内，借鉴并利用构筑的以单篇文献“被引频次”的评价体系，实际上，Scopus近几年一直在发布以单篇文献被引次数为主要依据的“季度热点文献”榜，可按学科查至2004年下半年。

［1］刘辉峰.h指数与科研评价的新视野［J］.中国科技论坛，2008（5）：24-27.

［2］傅立云，等.SCIE和Scopus引文功能的评价分析 ［J］.高校图书馆工作，2009（6）：54-56.

［3］张玲，鼻晓鹏.Scopus在情报研究与科研评价中的应用［J］.数字图书馆论坛，2009（10）.