基于ESI和InCites的学科和学者评价指标探讨

2017-03-14 10:24杨光
科技视界 2016年27期
关键词:评价指标

杨光

【摘 要】以ESI和InCites提供的学科评价指标数据作为依据,分析江苏师范大学Engineering学科特点及学科构成,从科研生产力、科研影响力、科研发展力、科研创新力等方面,分别给出对于学院科研绩效评估、学科发展预测、学者科研水平评估等相关的评价指标和评价模式。

【关键词】学科评估;评价指标;ESI;InCites

Investigation Into Discipline Evaluation Method Based on the ESI and InCites

——Case Engineering Disciplines of Jiangsu Normal University

YANG Guang

(Library of JiangSu Normal University, Xuzhou Jiangsu China 221116,China)

【Abstract】Provided in ESI and InCites discipline evaluation index data as the basis, analysis of Engineering characteristics and disciplines of Jiangsu normal university, from the scientific research productivity force, influence of scientific research, scientific research development, the scientific research innovation, etc., are given for college scientific research evaluation, subject development forecast, to introduce and talent evaluation and related evaluation indicators and evaluation model.

【Key words】Discipline evaluation; Evaluation index; ESI; InCites

1 ESI和InCites作为学科评价工具概述

基本科学指标数据库(Essential Science Indica-tors,ESI)是由美国科技信息所(ISI)推出的衡量科学研究绩效、跟踪科学发展趋势的基本分析评价工具,是基于ISI科学引文索引数据库(SCI)和社会科学引文索引数据库(SSCI)所收录的学术期刊而建立的计量分析数据库[1]。教育部2012年开展的学科评估开始将ESI纳入学科评估体系,将“ESI 高被引论文数”与最新发表的高水平期刊论文同时纳入评价指标,创立了学术论文评价的新质量文化[2]。目前,ESI已被广泛使用与科研绩效评估中。

InCites数据库基于Web of Science核心合集七大索引数据库,对数据进行重新加工整理,从中提供了多元化的分析评价指标,可以发现重点学科或优势学科,跟踪和评估机构的科研绩效,与同行机构开展对标分析,分析本机构的科研合作开展情况,挖掘机构内高影响力和高潜力的研究人员[3]。

本文利用ESI和InCites提供的评估数据,分析江苏师范大学Engineering学科分布特点;探讨师范大学Engineering学科中科研重点所在;预测未来两年发文量,给出学者科研水平评价方法。

2 江苏师范大学Engineering学科概况

2005年1月至2016年4月的10年4个月期间,江苏师范大学共发表InCites收录Engineering学科文献187篇,总被引1570次,篇均被引文献8.4次,被引百分比73.41%,文献作者424人。2009年至今,江苏师范大学的发文量和被引频次呈逐年稳定上升趋势。

2.1 分析学科分布与重点院系

ESI数据库基于Web of science核心合集的七大索引数据库,对其中的数据按出版物进行统计和指标计算。ESI将Web of Science的核心合集中的200多个小学科聚类为22个大学科领域。在ESI与SCI分类体系对比中,发现ESI虽然摆脱了SCI庞大的分类体系,但ESI文献分类体系对文献内容揭示不准确、揭示程度不够[4]。直接使用ESI的22个学科领域分析学校的学科显得比较粗糙,不能明确的了解学校的科研重点和科研优势所在。而通常高校是以学院或专业为单位来设置学科重点、确定发展方向和调整政策等举措,因此科研绩效评估的单位定义到学院更有实际意义。

ESI学科领域和高校院系的设置之间的学科差异导致需要在二者之间进行转换。转换的方式可以采用作者或是论文为中介两种方法。ESI以期刊分类来决定论文分类,因此以论文为转换中介实质上是以期刊为中介进行转换。比较InCites数据库中的12种学科分类模式,发现研究方向是Web of Science下的所有产品数据库都使用的一套分类方法,共分为156个研究方向[5]。研究方向较ESI分类具有更高精度的细分学科分类方法,更适合于在较小规模的研究成果上应用文献计量学的统计方法。同时该分类方法与其他分类方法比较更为接近江苏师范大学的院系设置。因此,本文采用的数据在分析过程中使用了以期刊为中介进行转换,同时对于个别文献采用作者辅助分类的方法。

分析步骤:将从InCites中下载的师范大学ESI分类体系中Engineering类文献,放入Web of Science平臺检索并将检索结果存入InCites中,并在InCites中重新归类到Web of Science中的研究方向下,再根据江苏师范大学学科设置的特点,将Web of Science的研究方向归类到相关院系下。完成学院的文献归类后,重新统计相应的指标对院系科研绩效进行评估。

通过计算比较分析,确定近五年发文主要分布于以下六个研究方向:ENGINEERING ELECTRICAL ELECTRONIC、ENGINEERING MU-

LTIDISCIPLINARY、MATHEMATICS APPLIED、AUTOMATION CONT-

ROL SYSTEMS、OPERATIONS RESEARCH MANAGEMENT SCIENCE、COMPUTER SCIENCE ARTIFICIAL INTELLIGENCE。这六个研究方向在近五年内集中了江苏师范大学Engineering学科的大部分文献,并在近两年内发文增长率排名靠前。这些研究方向分别属于数学与统计学院、物理与电子工程学院、计算机科学与技术学院、机电工程学院、电气工程及自动化学院。这些学院是支撑江苏师范大学Engineering学科的主要力量。

2.2 预测两年内科研生产力

环比增长率是用来计算本期统计数据与上一期数据比较的增长程度,常用于统计经济增长的程度,公式为:

环比增长速度=■×100%(1)

在对江苏师范大学Engineering学科未来两年内科研生产力的预测上,引入了环比增长这一概念。为保证统计数据样本的有效容积,半年为周期单位,逐一计算10年内的每个周期单位的环比增长率,并以用曲线方程加以描述取值。为剔除小概率事件的影响,采用两种措施来保证数据的稳定:(1)对于浮动超过年平均值30%的周期应予加权处理。(2)用环比增长数值构筑曲线方程,并以方程的导数值来预计未来半年内的发文量增长。经计算,2016年江苏师大科研生产力预计为38篇,2017年预计为43篇。

2.3 人才评估

InCites数据库提供了引文影响力、h指数、CNCI和平均百分位等指标来衡量科研工作者的科研水平。除了上述指标外,在对江苏师范大学Engineering学科实际评测过程中,还使用了用于纵向衡量学者个人科研能力发展指标和横向比较学者间科研能力的两个指标。

纵向指标主要应用于新引学者的科研绩效的评估。近5年来,江苏师范大学大力调整相关政策,引进了大批具有博士学位学者。学校引进人才的主要依据是以学者博士学位在读期间取得的科研成果为标准,期望学者在引进师范大学后发挥出同等或是更高水准的科研影响力。据此本文提出用引进人才的博士学位在读期间科研产出和科研质量的数据计算评估基线,作为学校对该学者的期望值,以学者引进后科研影响力与期望值的百分比作为衡量学者科研绩效变化的指标。考虑到科研环境变更的适应期,学者在引进第一年的科研产出变化会受多方面的影响,不能反映学者的真实科研水平,除有突出表现的学者外,一般不予统计在内。

这种方式可以准确客观的描述学者引进后是否达到了学校引进的预期目标,是体现学者个人科研能力发展变化的参数,直观的表示出引进人才在引进前后科研绩效的变化。但不具有与其他学者横向相比较的特点。

横向指标主要应用于在职时间超过5年的学者。以学者所在学院的5年内的科研绩效相关指标计算平均值,作为学者科研绩效的基线。用学者相应指标与基线的百分比来对学者进行排名。实例见公式1和公式2。在不同学院间的学者进行比较时,应考虑其学科特点造成科研成果产出量和被引周期的差异,因此数据处理前,会作学科归一化的计算。

相对院系影响力=学者引文影响力/基数(学院平均引文影响力)×100%(2)

相对院系生产力=学者引发文量/基数(学院平均发文量)×100%(3)

在利用上述公式分析过程中,部分学者的统计数据(发文量、被引频次)比较接近,难以区分,因此设计采用f(x)函数,将被引频次数据归于10为底的对数曲线上,并通过参数调整分布。最终采用的公式为:

学者科研能力=发文量×(4)

其中是将学者被引频次归于对数曲线的函数。

发文年限=|2017-文献发表年|(5)

在公式4中,f(被引频次)与发表年限的比值可视为加权后的年均,其权重大于发文量的权重(权重视为1)。公式体现出高被引的文献会为学者科研能力增加更大比重,同时体现出越是新近发表的文献在未来的年份中越能更多的为学者和学校的科研影响力提供更多贡献。

3 结语

在《2012 中国大学评价研究报告》中 ESI 论文被首次纳入大学评价指标[6] 。其后ESI和InCites数据被广泛应用于高校科研绩效评估中。本文通过挖掘分析ESI和InCites数据库提供的指标数据来评估江苏师范大学Engineering学科的科研绩效。在分析学科优势时,对论文进行了学院的分类,由于两种分类体系的差别,分类中,有部分论文分类存在分歧,但不会影响总体评估数据。评估学者的科研影响力,提供的分类指标还不能完整体现学者科研效能。需要继续改进。

【参考文献】

[1]李茂茂.基于ESI的国内外机构农业科学学科评价研究[J].图书情报工作, 2011(2):280-283.

[2]教育部.2012 年学科评估指标体系五大改革措施[EB/OL].中国学位与研究生教育信息网,[2015-01-30].http://www.cdgdc.edu.cn/xwyyjsjyxx/xxsbdxz/zjgd/276982.shtml.

[3]汤森路透.知识产权与科技[EB/OL].[2016-09-30].

[4]董琳.ESI文献分类研究[J].图书情报工作,2007,51(6):113-115.

[5]InCites 数據库常用指标手册汤森路透[M].

[6]腾讯教育.2012ESI-TOP论文排行榜揭晓清华大学高居榜首[EB/OL].(2012-01-09).[2016-09-30].http://edu.qq.com/a/20120109/000394.htm.

[责任编辑:朱丽娜]

猜你喜欢
评价指标
陕南生态移民生产生活水平评价及后期扶持
旅游产业与文化产业融合理论与实证分析
基于UML的高校思想政治教育工作评价系统的分析与研究