叶青彭辉
学术成果作为科研活动产出的一种重要形式,从一个层面反映了基础及应用研究等方面的进展情况,是衡量一个国家或地区创新能力和水平的重要表现形式。近年来,人文社会科学得到迅猛发展,交叉学科相互渗透不断深入,研究者队伍不断扩大,研究成果大量涌现。根据国家统计局2010年的资料①盛来运:《中国统计年鉴2011年》,中国统计出版社2011年版。显示,在图书领域,全国共出版图书328387种 (从1978—2010年的年均增长率为10.1%),其中新出版的为189295种 (年均增长率为9%),总印数71.7亿册/张 (年均增长率为2%),总印张数606.3亿印张 (年均增长率为4.8%);在期刊领域,全国共有期刊总数9884种 (年均增长率为7.7%),平均期印数16349万册 (年均增长率为3.1%),总印数32.2亿册 (年均增长率为4.6%),总印张数181.1亿印张 (年均增长率为6.7%);在报纸领域,全国共出版报纸总数1939种 (年均增长率为7.6%),平均期印数21438万份 (年均增长率为5.2%),总印数452.1亿份 (年均增长率为4%),总印张数2148亿印张 (年均增长率为9.6%)。
通过以上数据可知,面对海量的人文社会科学成果,如何进行科学有效的学术评价显得越来越迫切和重要,这不仅涉及对学术人才、学科发展、学术成果、学术机构的业绩、水平、研究能力和综合实力的评价,而且与学科的设置、研究机构的建撤、课题的立项、科研经费的投入、研究人员与教师职称的评定、高校与研究院所的学术地位等都具有直接的、重要的关系。一个公正、公平和客观的学术评价机制将有利于科学研究事业的可持续与和谐发展;反之,学术评价机制的缺陷和弊病,将对科学研究事业和高等教育事业的发展,产生负面和消极的影响,诱发学术泡沫、学术失范等现象。
研究成果的影响力包括数量和质量两个维度。学术成果的数量较为容易被度量,但是其质量则较难评价。长期以来,符合学术意义的学术成果质量的评价标准的缺乏一直困扰着我国的学术界和学术管理部门,直接影响了学术活动的开展和学术成果的运用,更限制了中国人文社会科学领域的学术研究及其成果达到其应有的地位和水准。目前,关于学术成果评价的讨论此起彼伏,关于重数量轻质量评价方式的批判比比皆是,关于改革人文社会科学评价制度的呼声也越来越高。最近,教育部下发了《关于进一步改进高等学校哲学社会科学研究评价的意见》,要求各高校要进一步改进高校人文社会科学研究的评价,反对各种简单化的科研排名,维护人文社会科学研究评价的严肃性。我们认为,学术成果评价的前提是建立、健全一套科学、客观、公正的评价体系,这一体系中包括评价对象、评价标准、评价机构等诸多方面,其中评价方法的选择最为基础和关键。本文对人文社科领域学术成果认定与评价方法的主要范式流变和历史传承脉络进行了细致梳理,分析了各种评价方法的利弊得失,以期为深入解构学术评价的源与流提供一个更为细致的分析框架和逻辑进路。
“以评定级”①“以评定级”与同行评议的内涵相当,本文对此不作区分。是一种传统的定性评价方法,历来有“学术守门人”、“黄金法则”之美誉,“以评定级”是指同一个学科或相关学科、同一研究领域或相关研究领域的专家,按照一定的标准,对涉及该领域的研究成果进行评价的活动,如通过召开学术会议,利用到会代表中的专家对所收到的会议论文或著作进行评优,或由某一机构组织的几年一次的学术成果评奖活动,或由从专家库中抽取的专家对被评选人的学术成果进行评定以判断是否符合职称聘任的资格,等等。评价的主要维度包括科学性、价值性、难度、学术规范性、创新程度、论证完备程度等方面,目前,该方式已经被普遍运用于发放科研基金、颁发科学奖项、发表期刊论文、评定专业职称、授予学历学位等领域。
从历史发展的视角来看,“以评定级”最早起源于1416年威尼斯共和国的专利查新,1665年英国皇家学会期刊《哲学会刊》创刊,将提交的论文材料按照主题交由具有该主题领域知识的专家审查,这种评审方式通常被视为早期的“以评定级”方式,由于该方式在长期发展的历史进程中不断实现自我进化,规范性和制度性都得到了明显加强,得到了学界的普遍青睐,并在全世界各国得到普遍运用,美国国家科学基金 (NSF)、德意志联合研究会 (DFG)、英国的人文与艺术基金会 (AHRC)、加拿大的社会科学与人文基金 (SSHRC)、欧洲科学基金会 (ESF)都将该方法运用于本国的学术评价。20世纪90年代中期,中国期刊界将该方式引入,获得学界和政府管理部门的一致好评,目前该方式已经成为学术成果评价和质量控制的一种基本制度规范。如教育部将是否采用该方式作为其所主管期刊评奖的强制性指标;国家社科基金项目实行同行专家评审制,设立评审专家库,按学科划分为学科评审组,届时抽取一定数量的成员参加会议评审,对同行评议专家实施信誉制管理;一些省市地区在地方社会科学基金和成果奖励等工作中,也采用以同行评议为主的评价方法。为了进一步规范和加强“以评定级”的管理工作,我国各级部门还颁布了一些办法和条例。如《中国高校人文社会科学研究优秀成果奖励暂行办法》中提到,奖励委员会根据需要设立若干学科专家评审组,负责从通讯评审结果中筛选优秀成果,评定优秀成果的奖励等级。
这种方法的优点在于:(1)同行对学科发展、研究程度等比较了解,能够做出比较准确的判断;(2)对于资料收集有困难或信息资料需求程度低的被评价主体,可以最大程度发挥专家的经验和智慧,尽量避免或减少由此而产生的局限性和片面性;(3)社会科学评价必然涉及到价值判断、历史判断和性质判断,当评价指标难以量化时,专家更能发挥其独特的作用。基于此,Mark Ware咨询公司①Academics back peer review but want improvements[EB/OL].http://www.researchinformation.info/news/news_story.php?news_id=204.代表出版研究协会进行的一项调查显示,在总共3040位科研人员中有93%支持这一定性评价方式。一些较早采用“以评定级”的学术期刊,如《中国社会科学》等,不仅质量有了较大幅度提升,而且国际化进程也明显提速,已经开始进入国际期刊检索系统。
但与此同时,该方法的缺点也比较明显:(1)主观性。不同的评议人有不同的知识结构、学术水平、学术倾向和学术态度,对同一研究成果,不同评议人的评价可能会有很大的差异。(2)保守性。专家评审的结果多数采用民主集中制,少数服从多数,这容易使突破常规思维的研究工作可能被囿于常规的评议人所否定,这与具有创新性的科学活动特点不相吻合。(3)随机性。同行评议要求参加评审的专家应当掌握有关专业的术语、研究方法和学科动态及发展方向,并且熟悉相关的资料文献,有能力对评价对象的价值作出公允的判断,但是在学科高度细分和广泛交叉的情况下,寻找真正的同行是困难的。(4)苛刻性。该方法实施的前提条件是假定评议人是诚实、公正、客观的。但在现实操作过程中,这一点在现实中很难做到。如2012年5月出现的湖南高校教师评职称“开房收钱”事件②关于事件的详细报道,参见湖南高校职称评委被指开房收钱 教师称系潜规则[EB/OL]。http://news.qq.com/a/20120505/000040.htm中,体育专业评委刘一兵教授为方便老师们送钱,在新天宾馆开了套间并广而告之,这使得同行专家的公信力大打折扣。(5)配套性。专家评价的公信力不仅来自自身的学识水平,更依靠有效的学术评价监督措施,对专家的遴选机制、评审程序进行有效监督,使评议人的权利和责任相对称。
值得关注的是,改进环节有时能够产生所期待的效果,而有时效果却不明显。同时该方式的成本非常大,如果学术成果认定都全部采用该种方式加以处理的话,则科研管理的效率将非常之低,如何避免“以评定级”方式的缺陷是一个世界性难题,而定量评价则为解决这一困境指出了一个方向。
目前学界对于学术成果能否进行定量评价可谓众说纷纭:一是支持论。学者和科研管理部门对这一做法普遍持赞同态度,认为定量评价“有助于促进期刊提升学术质量、规范办刊行为、引导正当的竞争”③朱剑:《面对学术评价现实的改进尝试》,《高校教育管理》2012年第6期。,“有助于弥补同行评议的不足和缺陷,规范评价行为,从而具有较强的严谨性和科学性。”④王婷、崔旭:《中国人文社会科学成果评价方法的现状与趋势》,《太原师范学院学报》2009年第8期。二是否定论。长期以来,学界对人文社会科学的定量化评价颇有微词,认为定量评价“将学者利益与学术成果的数字化紧密地捆绑在一起,一定程度上会引起学术浮躁,滋长弄虚作假之风,造成学术腐败现象的扩大”⑤倪润安:《中国人文社会科学学术成果评价体系建立的困境与出路》,《社会科学管理与评论》2004年第2期。,“使得科研管理的目的大打折扣,甚至走向反面。”⑥这方面的批评意见可参见上官子木《学术管理的有效性:量化管理方式并不适用于学术管理》,《南方周末》2002年9月19日。“势必会造成学术功利主义的更加泛滥。”⑦崔广彬:《关于学术评价的思考》,《大连大学学报》2008年第4期。“衍生学术领域的特殊利益集团”⑧黄安年:《学术量化背离学术评价宗旨》,《科学时报》2007年3月2日。。三是折衷论。在对正反观点辩驳的基础上,折衷论认为定量评价“可以有效地激发学术研究的活力,但过度抬高这种学术评价机制将有悖于学术研究的原初目的和终极追求,消解学术研究的崇高性和严肃性”⑨余三定:《岂能“只认衣裳不认人”》,《人民日报》2010年7月30日。,“对目前的量化学术考评体系要辩证地看待,量化考评体系本身并没有错,错在被过度滥用。”①李国杰:《学术评价不能简单量化》,《光明日报》2006年11月20日。
我们认为,人文社会科学研究的对象主要集中在对人的活动以及作为群体人活动规律的观察和分析,这是一个思想自由甚至是良心判断的成果,它不具有重复性,并在很大程度上也不具有直接意义上的客观性和实验性。因此,在很大意义上讲,我们可以说对人文科学学者及其学术成果的判断是主观判断。但是否可以认为对于人文科学学者及其学术成果的判断不存在客观标准?我们的回答是否定的,因为所有的学者及其学术成果的价值总是和他人及他人的学术成果相比较之下体现出来,也就是说,它存在一个相对的客观标准。因此,学术评价不仅对自然科学适用,而且也基本上适用于社会科学,即对学术成果进行定量评价不仅是可能的、而且也是必须的。马克思甚至指出:“一门科学只有在成功地运用数学时,才算达到了真正完善的地步。”②参见[法]保尔·拉法格《回忆马克思恩格斯》,人民出版社1973年版。另外,对于质疑学术成果定量评价的学者并没有提出足以令人信服的建设性解决方案,因而问题的关键不在于是否采用定量评价方法,而在于如何使定量评价尽可能做到科学、合理和准确。目前主流的定量评价主要有“以刊定级”和“以录定级”两种方式。
该种方式是指利用对期刊质量的高低来认定,即发表在高水平期刊上的学术成果就是高水平学术成果。这种评价方式的优点在于标准明确、简洁实用。目前,我国社会科学期刊评价常用的认定方式是看论文是否被《中文核心期刊要目总览》、《中国人文社科核心期刊要览》、《中文社会科学引文索引 (CSSCI)》入选。按照文献计量统计规律,高水平期刊中所刊载学术成果的水平比一般期刊学术成果水平要高出不少,因此,从宏观角度而言,在高水平期刊上发表的学术成果大多数属于高水平学术成果。因此,该方法对于宏观层面的学术成果评价具有明显的功效。国内外学界对此展开了深入研究。
(1)国际视角:引文索引的评价方式
20世纪50年代,美国著名科学计量学家加菲尔德系统地提出了以引文索引来检索和评价文献的方案。《社会科学引文索引》(SSCI)和《艺术和人文学科引文索引》(A&HCI)是美国科学情报研究所 (ISI)继科学引文索引 (SCI)创立后编辑的另外两种大型综合检索工具,是目前国际上普遍使用,旨在记录和反映期刊中社科和人文文献的收录和引证关系的检索工具。SSCI目前收录了3300余种社会科学刊物,其范围几乎涵盖了50个社科领域的学科,在世界范围内有较大的影响③Thomson Scientific.Social Sciences Citation Index[EB/OL].http://scientific.thomson.com/products/ssci.2006.。
(2)本土实践:中国CSSCI评价的新突破
根据20世纪30年代发现的布拉德福文献分散定律,大约20%的期刊登载了某个学科或领域的80%最具影响的论文。国内学界对如何进行期刊定级进行了诸多尝试,并在1998年有了新的突破,南京大学“中国社会科学研究评价中心”,参照SCI开发CSSCI,从中国正式出版的约2770种学术期刊中精选出作为数据统计源的来源期刊500余种供研究者使用。CSSCI在来源期刊的筛选标准、原则等方面都是与国际接轨的,强调定性与定量,即专家意见与引文数据相结合的评价方法。因此它提供的数据在进行成果评价时,有着较大的借鉴意义和价值,其意义在于“可以提供多途径的检索渠道,实现查新功能,通过文献计量指标的排序和比较,为社会科学管理部门从宏观到微观、从不同角度管理和评价社会科学成果提供了可以操作的定量手段”④“中文社会科学引文索引”(CSSCI)简介[EB/OL]http://cssci.nju.edu.cn/news_show.asp?Articleid=119。。随着我国人文社科领域学术引证规范程度的逐步提高,以及引文数据库的日益完善,将引证指标用于评估人文社科论文的条件也初步具备。目前,CSSCI在国内尤其是高校的影响和使用日益广泛,已成为衡量大学、科研机构、学术期刊和学者学术水平的最重要甚至是唯一的评价尺度。
该方式是将被社会科学领域著名的、带有权威性的转录刊物、文摘和题录刊物收录情况作为衡量社会科学研究成果价值和学术期刊办刊质量的一个重要标尺。从本质上讲,“以录定级”是“以刊定级”的延伸和拓展,目前,中国社会科学界比较重要的学术类转载刊物包括:《新华文摘》①《新华文摘》是大型的综合性、学术性、资料性文摘半月刊,设有政治、法律、社会、哲学、经济、管理、历史、文艺评论、教育、科学技术及读书与传媒、国外社会科学、论点摘编等栏目。、《中国社会科学文摘》②《中国社会科学文摘》是择优推介人文社会科学重要研究成果的文摘类期刊,强调学术品位,突出问题意识,倡导理论创新,兼及新知趣味。、 《高等学校文科学报文章》③《高等学校文科学报文摘》是哲学社会科学综合性大型文摘刊物。运用单篇摘编、观点综述、学术动态、学术卡片、专题论文库、学报专辑专栏等多种形式,从全国上千种高校文科学报、专业学术期刊以及社会学术报刊上介绍具有新观点、新材料、新研究方法的文章以及近期高校较重大的学术活动。和中国人民大学《复印报刊资料》④《复印报刊资料》收录了历年来,由专家学者精选、分类加工整理的学术文献,汇集成以专业性、学术性为代表的百余种系列刊物。其信息资源涵盖了人文科学和社会科学领域国内公开出版的3000多种核心期刊和报刊。。当然,新华文摘、中国社科文摘由于收录量少,其含金量大一些,而人大复印每年收录15000-20000篇,含金量相对低一些。
总而言之,定量评价操作的基本理念是:利用各种数理统计方法,对著者、论文、科学期刊等研究对象的引用和被引用现象进行分析、比较、归纳、抽象、概括等,以了解学科的交叉渗透关系、研究文献老化的速度与规律;或通过某一科研成果载体或某一科研成果引文量的多少,研究科研成果载体或研究者对学科情报信息的吸收能力、反应学科研究的积累程度与发展水平。评价经常所运用的一些指标是:总被引频次⑤指该期刊自创刊以来所登载的全部论文在统计当年的统计刊源中被引用的总次数。该指标可以客观地说明该期刊总体被使用和受重视的程度,以及在学术交流中的作用和地位。、影响因子⑥指某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。这是一个国际上通行的传统期刊评价指标,可克服期刊由于历史长短、刊期不同及载文量多少所带来的偏差,一般说来,影响因子越大,期刊的整体学术影响力也越大。、他引率⑦指该期刊的总被引频次中,被其他期刊引用所占的比例。、被引半衰期⑧指该期刊在统计当年被引用的全部次数中,较新一半的引用数是在多长时间段内累计达到的。被引半衰期是测度期刊老化速度的一种指标。、载文量⑨指来源期刊在统计当年发表的全部论文数。、基金论文比[10]指来源期刊中,各类基金资助的论文占全部论文的比重。这是衡量期刊论文学术质量的重要指标。、Web即年下载率[11]指来源期刊在统计当年出版上网并被全文下载的篇次总和与该期刊当年出版并上网的文献总数之比。该指标可测度上网期刊的即年扩散速率,是研究期刊在网络环境下传播效率的一个新指标。等的测定来评价科学期刊。这些评价指标可以考察各学科研究热点和研究趋势,通过各学科论文引用期刊的数量、期刊的影响广度、半衰期以及期刊影响因子评价各学科期刊的影响力等等,从而实现——通过对学术成果载体的评价→有利于促进学术成果载体规范→提高学术成果载体质量→实现对载体所刊载学术论文的评价→有利于提升学术成果载体水平→吸引更高水平学术论文投稿——的良性循环。
定量评价的优势主要体现为以下三个方面:(1)便于把握学术前沿。通过引文索引数据库的检索和查询,揭示已知理论的应用、提高、发展和修正的过程。(2)提供权威学术资讯。从定量视角评价地区、机构、学科以及学者的研究水平,从而为人文社会科学事业发展与研究提供第一手资料。(3)评价客观性强。通过被引指数从影响强度、影响时限、影响广度等多方面来分析学术期刊及科研成果的学术影响力,能够尽可能排除个人主观因素的干扰和其他非科学因素影响,了解科学成果在各学科分布情况,分析对各学科产生较大社会影响力的研究成果,推进在前人研究基础上的拓展研究,进而推动中国社会科学学术评价的健康发展。
在肯定定量评价的积极作用的同时,我们也要关注其所带来的不足,其不足可以归纳为两大方面:
(1)评价工具本身的缺陷,表现为:①受时空影响较大。从时间角度而言,一篇学术成果是否被引用及引用程度与时间密切关联。一般说来,新发表论文的被引率用不高;从空间角度而言,期刊的传播范围也对被引率影响较大。②受作者主观影响明显。学术成果被引用与作者的主观心理因素密切相关。有的作者用而不引,有的作者引而不用,甚至有的作者担心抄袭行为露馅,有意遗漏了关键性的参考文献,从而无法反映学术成果被引用的真实信息。③期刊编辑部门对参考文献重视程度有待提高。我国目前人文社会科学研究领域对参考文献的著录存在着不够规范的问题,一些期刊编辑部门对参考文献缺乏足够重视,为了减少版面甚至省略了参考文献。④学术成果效益的滞后性。有些社会科学研究成果在短时间内难以进行客观、科学的评价,只有经过历史的经验,才能逐渐被学界认可。因此,这类学术成果的被引率自然偏低,但并不能反映该类成果的学术价值就低。
(2)过度运用定量评价所带来的负面影响。主要表现为:①将学术评价由追求质量引向了追求数量,从而在短时间内使我国快速成为学术数量大国,而非学术创新强国。②追逐短期功利化利益。让在自由的状态下绽放思维之花的学术科研逐渐演化为在功利心理驱使下的投机行为,在这种情况下的学术成果含金量必然大打折扣。③承载了过多的关联利益。从本质上讲,定量评价是为科学研究与发展提供文献资料的重要检索工具,但与此同时又不可避免地延伸出一定的评价和推介功能。能否在核心期刊上发表论文不仅与每一个体的利益相互挂钩 (直接涉及毕业成绩、职称、科研经费),而且也与所在单位的科研管理工作成绩关系密切。据调查,许多高校规定在《法学研究》、《中国法学》、《中国社会科学》和《新华文摘》上发表一篇文章奖励5-10万元。同时在核心期刊上大量发表论文的学者还将相应地收获更高的学术声誉和更多荣誉,甚至是更大的学术权力。最近的一个典型案例是,2011年全国哲学社会科学规划办公室发布了《国家社科基金重点资助期刊第一批 (试点)申报公告》,宣布首批将资助80种期刊,其中一条硬性条件就是“同时入选《中文社会科学引文索引 (2010—2011年)来源期刊目录》 (南京大学)、《中文核心期刊要目总览 (2008年版)》(北京大学)和《中国人文社会科学核心期刊要览(2008年版)》(中国社科院)”。这是国家社科基金对期刊项目进行资助,入选期刊在享受经济资助的同时也意味着期刊获得官方肯定。学术界和期刊界对此也颇多非议。
很明显,这里存在着如何正确看待和使用“以刊定级”或“以录定级”的评价功能问题。我们认为,尽管这一评价方式存在一些不足,但这丝毫不能否定这一定量研究方法在提升学术成果质量和水平、优化期刊资源配置、打造期刊品牌等方面所发挥的积极作用。因此,目前关注的焦点不在于是否应该使用这一“标尺”,而在于如何更为科学、合理的使用这一“标尺”。在这一背景下,需要更为多元化的评价方法来弥补定量评价的缺陷。
学术评价是一个复杂的科学和社会问题,一个全面、完善、科学的学术成果评价体系并不能凭空产生,需要高校、科研院所和管理部门齐心协力共同探索,同时值得关注的是,“以评定级”、“以刊定级”或“以录定级”评价方法虽然有其一定的局限性,但也有其科学合理之处,解决的办法不是推倒现有评价体系,另立炉灶,这样的后果可能更糟,如今一个更为可行的方式是将现有评价体系加以整合,通过充分吸收和借鉴现有评价体系中的优点,抑制其不足,以此完善人文社科成果评估方法,以满足当前评估实践的现状和需求。
学术评价的公正、客观的结果是我们不懈的追求,但由于这一结果的内涵与外延难以界定,因此更为稳妥的解决方式在于设定一套公开、公平、公正和透明的程序,充分发挥学术共同体的作用,排除非学术因素干扰。具体而言,完善程序环节设定,减少评议人主观因素对评议结果客观性的影响,从而实现对学术共同体的有效制约和民主监督。
(1)扩容专家数据库,随着社会科学的飞速发展,边缘学科、交叉学科、新兴学科也在不断涌现。对此不仅需要建立一个覆盖面广的专家数据库,包容相关学科和领域,而且保证这一数据库容量足够大,形成老、中、青相结合的阵容,使得单个评议人对最终结果的影响力得以降低。这里需要注意的是,在扩容专家数据库的过程中要完善专家遴选办法,专家选择失当,那么定性评价不仅不能起到对学术成果进行科学、公平鉴定的作用,反而带来严重的负面效应。
(2)实施有效的奖惩监督机制。在目前的制度框架内,评议人在评价活动过程中享有绝对的独立和自由,但评议人的工作往往缺乏有效的奖惩监督机制加以保障,评价信息也不公开,极大降低了评议人的风险,固化了评议人在评价制度中“超级警察”的身份,这是定性评价方式令人诟病的重要根源之一。对此,亟待实施有效的奖惩监督机制。国家社科基金项目评审制度作出了非常好的范例,每月对认真评审的专家予以褒奖,从而极大地激发了专家的评议热情。
(3)严格实施轮岗制。同行专家与被评议人之间总有可能扯上千丝万缕的关系,长期担任同行专家一职将加剧同行评议中的不公正和以权谋私。以湖南省的职称评选“贿赂门”事件为例,根据该省的有关规定,高级职称评委只能连任2年,只能在评委库中抽取,但在现实操作中,文件规定和现实操作往往产生偏差,刘一兵教授连续在2010、2011和2012年三次参加省属高校高级职称评审工作。对此,必须强化制度的刚性法则。
综合评价法以定性评价为基础,将定性与定量、可行性与科学性、精确性与模糊性结合在一起,为同行专家建立一个可参照的标准体系,从而为人文社会科学成果的评价提供了一种有益的方法。具体而言,综合指数评价法的具体制度设计包括但不限于:
(1)层次分析法。层次分析法是20世纪70年代美国运筹学家、匹茨堡大学教授T.L.Saaty①孙宏才等:《网络层次分析法与决策科学》,国防工业出版社2011年版。提出的定性和定量分析相综合的多因素决策理论和技术。它是一种有效处理那些难以完全用定量方法来分析复杂问题的手段。高自龙、杨红艳②高自龙、杨红艳:《学术评价:理想与现实之间的优化选择》,《江汉论坛》2011年第11期。遵循“体现学术共同体的共识性认知”、“同行评议为主,文献计量为补充”、“坚持质量为本的评估导向”三项基本原则,运用该方法建立了人文社科论文评估新指标体系。杨正等③杨正、梁樑、杨锋:《同行评议结果的可信度研究》,《科技管理研究》2009年第4期。以层次分析法为基础构建了一个包括13个一级因素指标和31个二级因素指标的同行评议结果可信度评价指标体系。
(2)灰色关联分析法。灰色关联分析方法作为一种系统分析方法,弥补了回归分析、方差分析、主成分分析等数理统计方法的不足,揭示了系统因子与主行为之间关系的强弱,在社会和经济生活种得到广泛应用④邓聚龙:《灰理论基础》,华中科技大学出版社2002年版,第300-309页。。我们认为,灰色关联分析法与常用的专家评定法以及模糊数学法相比,主观因素小,用之综合评价期刊,客观公平,是一种非常实用的综合评价期刊的方法。如姚红运用灰色关联分析法,对环境类学术期刊进行综合评价⑤姚红:《基于灰色关联分析法的期刊综合评价》,《情报科学》2003第7期。。
(3)主成分分析法。主成分析的基本思路是将原来众多具有一定相关性指标,转化成一组新的相互无关的综合指标来代替原来的指标,即将P个指标作线性组合,作为新的综合指标。如陈慧敏⑥陈慧敏:《中国区域学术论文影响力评价分析》,《福州大学学报》2012年第3期。运用主成分分析法对全国31个省、自治区和直辖市的学术论文影响力进行评价和分析,从而得出中国学术论文影响力的区域分布特征。
为鼓励和倡导“十年磨一剑”的科研精神,杜绝学风浮躁、急功近利的现象,解决学术成果评定机制中“重数量轻质量”的问题,代表性学术论著制度应运而生。在通常意义上,代表性学术论著制度是指凡取得国内外公认的高水平学术成果者,在职务晋升中可不受任职业务条件中学术成果数量的限制。该制度能够为那些有能力、有思想、有成就而又达不到晋升硬性指标的学者提供更自由的时间和空间。对此,国内著名高等院校机构对学术评价新尝试的代表性学术论著制度保持了一个包容性的态度,南开大学 (2003年)、北京大学 (2004年)、复旦大学 (2010年)、中国人民大学 (2012年)等都开展了该项制度的试点工作。以复旦大学为例,该制度实施两年来,已有10多位优秀年轻教师得益于这一制度获得了高级职称,约占申请人总数的1/3。但需注意的是,推行这一制度,并非抛弃传统的评价方式,只是将“代表作”制度作为一种辅助评价手段,实行双轨评价,从而在刚性规定中加入柔性元素。问题的关键还在于,代表性学术论著制度不仅应有一定的“量”来保证一个最低限度的准入门槛,更需要推行客观的“质”来确定被评价人是否有晋升高一级职称的学术能力。
黑格尔曾说:“现实上很高的利益和为了这些利益而作的斗争,曾经大大地占据了精神上一切的能力和力量以及外在的手段,因而使得人们没有自由的心情去理会那较高的内心生活和较纯洁的精神活动,以致许多较优秀的人才都为这种艰苦环境所束缚,并且部分地被牺牲在里面。”①[德]黑格尔:《哲学史讲演录》(第1卷),贺麟、王太庆译,商务印书馆1959年版,第1页。人文社科领域的学术成果创新并非易事,而对学术成果全面、公平、科学的评价则更显艰难。虽然,近些年学界根据国内外文献计量学的发展态势,对人文社会科学领域科研成果的量化评价进行了积极的探索,从定性评价到定量评价,从单一评价到综合评价。但总体而言,学术成果评价在我国目前尚处于探索阶段,下一步聚焦的重点在于找到一个低成本的评价方法体系,对于不同的评价目的,应该在这一评价方法体系中找到一个合适的位置,相互之间能够相互补充,从而使整个评价体系做到公开、公平、公正。只要我们不变地坚守,只要我们不懈地求索,就能建构一个适合中国当下国情的兼具包容性和成长性的学术成果评价体系,切实促进人文社会科学研究、传播、管理、评价的良性循环。