中国科技评价研究热点述评

张 硕，陶 蕊，施筱勇

(1.北京理工大学管理与经济学院， 北京 100081；2.科技部科技评估中心战略研究部，北京 100081)

党的十九届四中全会提出要健全符合科研规律的科技管理体制和政策体系，改进科技评价体系。构建高效规范的科技评价体系成为我国科技治理体系和治理能力现代化的重要标志。近年来，国家对科技评价工作高度重视，《科技评估工作规定（试行）》《关于深化项目评审、人才评价、机构评估改革的意见》等一系列科技评价政策文件的颁布，显示出国家改进科技评价体系的方向和行动。针对改革需求，对科技评价领域的研究热点进行摸底和分析，进而提出有针对性的建议十分必要。本研究通过检索中国知网（CNKI）数据库2017—2019 年科技评价相关期刊论文，揭示科技评价领域近年来的研究热点分布及演化特征，分析其与国家改革方向的相符程度以及科技评价领域的主要研究机构，并基于分析结果对未来我国科技评价体系的改革提出相关建议。

1 研究方法

以2017—2019 年CNKI 数据库收录的期刊论文为研究对象，采用文献计量和文本挖掘等方法揭示我国科技评价领域的研究热点和演化特征并进行分析。由于“科技评价”的概念十分宽泛，涉及评价方法、评价理论以及计划评估、项目评估、人才评价、成果评估、机构评估、学科评估、绩效评价、政策评估等不同评估类别，且考虑到我国学者对“评估”和“评价”并不作严格区分，为保证数据的查准率和查全率，在制定检索式时均涉及“评估”和“评价”（见表1），最终获得4 552 条有效数据（以下简称“样本”）。

表1 检索策略

首先，参考刘玉琴等［1］的研究，采用ITGInsight软件对样本文献的标题/摘要进行中文分词处理，并与文章中的关键词相结合形成初始分词结果。其次，借鉴汪雪锋等［2］的做法，借助科技评价领域词表对初始结果干预（词义歧义、去停用词等），得到科技评价领域的主题词。第三，对得到的主题词进行LinLog 聚类，形成研究热点；同时，使用固定时间窗口方法对检索得到的数据进行划分，在每个时间段内以主题词作为研究主题表征，分别构建共词网络，研究主题随时间的变化，包括主题内容或强度随时间推移发生的变化。如图1 所示。

图1 我国科技评价研究热点识别及主题演化分析框架

2 研究热点分布

对样本文献进行分析发现，2017—2019年间，“绩效评价”“评价方法”“评价体系”“层次分析法”等主题词在科技评价研究中受到较多关注（见表2）；进一步对主题词进行聚类分析发现，科技评价领域的研究热点主要包括4 类（见图2）：高质量科研成果评价（研究热点1）、学科评估（研究热点2）、绩效评价（研究热点3）、多元化评价方法（研究热点4）。

图2 2017—2019 年我国科技评价研究热点分布

表2 2017—2019 年我国科技评价研究热点主题词（前20 位）

2.1 高质量科研成果评价

样本文献中，“评价体系”作为热点主题词受到科技评价领域的广泛关注，同时出现的高频主题词还有“同行评议” “科技评价” “科研评价”“成果评价”“人才评价”“学术评价”“科技成果”和“项目评估”等，说明科技评价体系作为一个整体受到越来越多的关注，领域内对评价的认识从局部的方法、指标等逐渐上升到评价体系的功能，对评价认识的全面性正在提升。我国科技评价领域对同行评议、成果评价、学术评价的讨论较多，说明对这几方面存在争议较多，需要研究和改进的空间较大。在评价体系中，学者关注以专业同行对科研成果的认可程度作为评价重点，与科技成果、科研成果、成果评价、成果质量等主题相关的文献约有60 篇，其中，王东林等［3］对我国高校现行科研评价机制存在的典型问题进行分析，并提出在科研成果评价方面必须以质量为导向，处理好质量与级别、与科研成果的关系，在科研管理工作中必须强化改革和创新意识，敢于创新和善于借鉴国外在科研评价机制中的成功做法与经验；徐哲根等［4］以2017 年教育部62 所直属高校为研究样本，运用因子分析法和DEA-BCC 模型分别对高校科技成果转化能力与效率进行评价，并考察二者之间的关系，结果表明62 所高校之间的科技成果转化能力差异大，高校科技成果转化能力与效率并不完全匹配。此外，样本文献中还有大量关于同行评议制度公正性和局限性、学术期刊、高校学术治理、科学基金项目评审、科技奖励评审的探讨，如孟美任等［5］对我国科技期刊引入开放同行评议机制的思考与建议，江虎军等［6］对国家自然科学基金项目同行评议的智能化探讨，吴雁［7］以质量为导向的高校科研评价体系建设等。

追溯这一现象，与近年来国家对科技评价体系提出的改革要求密切相关。2016 年，习近平总书记在全国科技创新大会、两院院士大会、中国科协第九次全国代表大会上的讲话中提出，要改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值。2018 年，中共中央办公厅、国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》，要求进一步优化科研项目评审管理制、改进科技人才评价方式、完善科研机构评估制度等。学者们围绕改革需求，研究如何在同行评议、人才评价、成果评价中从重数量向重质量、价值和贡献转变。

2.2 学科评估

近年来，针对高等院校的学科评估和“双一流”建设成为研究热点，尤其在2018 年有关学科评估的研究较多，样本文献中“学科评估”“学科建设”“ESI”“一流学科”“一流大学”“学科排名”和“学科交叉”等高频主题词共同出现在一个研究热点中，反映出科技评价领域对高校和学科评估的关注，学科评估已经成为新热点。如，曹志峰等［8］从学科评价模式的内涵、指标体系和过程等三方面对世界一流大学重点学科评价模式进行了比较分析，进而提出推动我国高校一流学科建设的对策建议；王伟伟［9］基于ESI 数据库，应用因子分析法对我国41 所世界一流大学建设高校的学科建设绩效进行评价，结果表明一流大学学科建设绩效差异显著，并与学科规模呈现正相关关系。

追溯这一现象背后的原因，与2015 年国家提出统筹推进世界一流大学和一流学科建设的政策有关。2015 年，国务院印发《统筹推进世界一流大学和一流学科建设总体方案》；同年，教育部、财政部、国家发展改革委印发《统筹推进世界一流大学和一流学科建设实施办法（暂行）》。2017 年，教育部、财政部、国家发展改革委公布世界一流大学和一流学科建设高校及建设学科名单。

2.3 绩效评价

样本文献中，“绩效评价”“财政支出”“政府绩效评估”“治理绩效”“公共价值”等热点主题词的出现呼应了近年来国家对科研投入绩效的关注，尤其在2017 年有关绩效评价的研究较多。2014年，国务院印发《关于改进加强中央财政科研项目和资金管理的若干意见》，对加强科研项目和资金管理提出具体要求和措施。2016 年，《“十三五”国家科技创新规划》和《国家创新驱动发展战略纲要》中均提到，要推进高等学校和科研院所分类评价，实施绩效评价，把技术转移和科研成果对经济社会的影响纳入评价指标，将评价结果作为财政科技经费支持的重要依据。2018 年，国务院下发《关于优化科研管理提升科研绩效若干措施》的通知，提出进一步优化科研项目和经费管理，完善有利于创新的评价激励制度。

样本文献中，关注财政科研经费的论文共有58篇，研究主题多集中于科研财政投入绩效评价、财政经费绩效评价指标体系等，着重从不同角度出发，加强对财政科研资金的管理，提高财政资金的使用效率。如，何华武等［10］分析认为我国公共财政支持科研创新成果转化中存在科技投入对象缺乏多元化、评价指标缺乏转化导向、评价主体相对单一、评价信息缺乏有效应用等问题；高正等［11］认为我国高校财政投入绩效评价体系的首要要素是价值取向，核心是评价指标体系的建设，并参照学科专业布局与人才培养定位的二维结构分类构建了高校财政资金绩效评价投入与产出指标。

2.4 多元化评价方法

样本文献中，“评价方法”“层次分析法”“指标体系”“TOPSIS 法”“主成分分析”“因子分析法” “灰色关联分析法”“BP 神经网络”“Delphi 法”“机器学习”等涉及各类研究方法的主题词共同出现在一个研究热点中，表明近年来科技评价领域更加注重探索多元化的评价方法以提升评价体系的系统化、科学化、合理化程度。这与“十三五”期间国家出台政策对评价内容、评价方法的要求直接相关，例如2017 年颁布的《关于深化科技奖励制度改革的方案》明确提出，自然科学奖围绕原创性、公认度和科学价值，技术发明奖围绕首创性、先进性和技术价值，科技进步奖围绕创新性、应用效益和经济社会价值，分类制定以科技创新质量、贡献为导向的评价指标体系，因此科技评价领域将评价方法的改进创新作为落实评价制度改革的重要抓手。

科技评价领域的研究中，各类方法的应用场景逐渐从对于企业或项目的绩效评价转向创新能力评价、人才评价等，例如，叶文显［12］依据2005—2014 年西安市科技创新的面板数据，运用综合权重TOPSIS 法分析西安市的科技创新能力，采用BCC 模型、超效率DEA 模型与Malmquist 指数分析西安市的科技创新绩效；刘肖肖等［13］基于数据包络分析方法对我国29 个省份在2013 年间的各项数据进行深入分析，全面评估科技企业孵化器的效率，结果表明我国科技企业孵化器整体上发展迅速，但已经出现规模过大的迹象；杨月坤等［14］采用因子分析法对创新型科技人才的评价模型进行研究，指出对创新型科技人才的评价应注意突出隐性知识价值（职业道德评价），纠正“成果至上”的人才评价思想，强化显性知识价值（能力素质）评价，改变过去“重学历轻能力、重显能轻潜能”的做法，重视流通知识价值（业绩贡献）评价，克服过去“重资历轻业绩、重头衔轻贡献”的倾向。

3 研究主题演化

根据样本文献中词频排在前25 位的主题词绘制科技评价领域研究主题演化图（见图3），共词网络的变化刻画了主题产生、增强、减弱、聚合、裂变、消亡的过程，其中连线粗细代表主题间关系的强弱，不同节点代表不同研究主题。从图3 可以看出，以资源配置以及使用效果为导向的“绩效评价”牢牢占据研究主题的第一位（2017 年270 次，2018 年185 次, 2019 年158 次），且与“指标体系”“平衡计分卡”“数据包络分析”及“层次分析法”等共现（在图中表示为主题词之间有线相连接）。由此可以看出，科技评价领域将评估方法的研究和探索作为提升绩效评价的突破口，尤其是定量评价方法，如TOPSIS 法、模糊综合评价和主成分分析等。

图3 2017—2019 年我国科技评价研究主题演化分布

3.1 2017 年研究热点：政府绩效评估

2017 年样本文献中研究热点分布如图4 所示。相较于其他年份，该年份下出现了“政策评估”（24次）、“政府绩效评估”（19 次）等热点主题词，与之共同出现的还有“绩效评价体系”（23 次）、“财政支出”（8 次）、“财政支出绩效评价”（6 次）、“预算绩效管理”（4 次）和“政府绩效”（4 次）等，表明对政府绩效，特别是财政支出绩效的评估研究成为2017 年的研究热点。这与国家多年来高度重视预算绩效管理工作，全面推进中央预算绩效管理制度有关。

图4 2017 年我国科技评价研究热点分布

3.2 2018 年研究热点：高校学科建设评估

图5 为2018 年样本文献中研究热点的分布图，“学科评估”（31 次）成为突出的热点主题词，“高校”（10 次）、“双一流”（10 次）、“科研评价”（10次）、“成果评价”（7 次）、“科技期刊”（6 次）、“学术期刊”（5 次）、“学科建设”（5 次）、“教育质量评价”（4次）、“学术影响力”（3次）和“ESI” （3次）等主题词也与之同现。2017 年，教育部、财政部、国家发展改革委公布世界一流大学和一流学科建设高校及建设学科名单，高校学科评估、“双一流”建设和以期刊为代表的高校科研成果评价成为研究热点，反映了学界对高校建设评价体系的思考。与此同时，“人文社科”（3 次）一同出现在研究热点中，文科评价体系的研究也逐渐受到关注。

图5 2018 年我国科技评价研究热点分布

3.3 2019 年研究热点：期刊同行评议

图6 为2019 年样本文献中研究热点的分布图，“同行评议”（24 次）是热点主题词之一，“科技期刊”（8 次）、“科研评价”（6 次）、“学术期刊”（5次）、“成果评价”（3 次）和“开放科学”（2 次）等主题词与之同时出现。通过对原始文献的梳理发现，关于学术期刊中的同行评议模式研究较多，如储冀汝等［15］基于国内药学领域审稿专家群和作者群，调研科技期刊同行评议的现状，探寻同行评议的优化策略。还有一部分是关于高校学术治理、科技项目评审、科技奖励评审中同行评议的研究，如高校学术治理的双重绩效与同行评议、国家自然科学基金项目同行评议的智能化探讨等。

图6 2019 年我国科技评价研究热点分布

4 研究机构

4.1 主要研究机构

统计样本文献中的研究机构及其发表论文数量如表3 所示，可见科技评价领域的研究机构较为分散，总共涉及2 725 家机构，其中位于前5 位的为中国科学院大学、武汉大学、同济大学、华南理工大学、上海交通大学，发表论文数量分别为80、78、68、66、63 篇。

表3 2017—2019 年我国科技评价主要研究机构及发文量

4.2 机构合著关系

样本文献中研究机构合著关系如图7 所示，其中节点大小与机构发表论文数量多少成正比，连线粗细与机构间合著数量多少成正比。合著关系较为显著的科研机构为：中国科学院大学、武汉大学、同济大学、华南理工大学、上海交通大学、清华大学、西南交通大学、北京大学等。从机构合作网络规模来看，中国电力科学研究院、北京师范大学、中国科学院大学、中国人民大学、清华大学、同济大学、北京科技大学的合作机构较多，表明这些机构在合作中处于较核心的位置。从机构合作的地域来看，处于相同地域的机构更有利于开展科研合作与交流，例如北京市以中国科学院大学、清华大学、中国人民大学为首的高校与本区域内其他高校合作更加密切，这一分布规律说明空间地域相近有利于推进知识交流。

图7 2017—2019 年我国科技评价研究机构合著关系

4.3 机构关联关系

利用文本挖掘技术，挖掘样本文献中不同机构的研究主题侧重，计算机构之间的关联强度，如图8 所示，其中节点大小与发表论文数量多少成正比，连线粗细与机构之间的关联强度成正比，各节点标注了该机构研究涉及最多的3 个主题词。可见中国科学院大学与中国科学院文献情报中心作为合著关系最为密切的两个机构，其研究重点主要集中于评价体系和同行评议等；浙江大学和哈尔滨工业大学、南昌大学和浙江工商大学、中国石油勘探开发研究院和中国石油大学在研究主题上有较为显著的关联，其中浙江大学和哈尔滨工业大学作为工科优势院校共同关注不同工科专业的评估方法研究，不同的是浙江大学侧重于绩效评价、哈尔滨工业大学侧重于评价方法，南昌大学和浙江工商大学之间的研究主题关联集中在学术期刊评价方法研究，而中国石油勘探开发研究院和中国石油大学则在对评价方法研究方面有较强的关联。

图8 基于研究主题的2017—2019 年我国科技评价研究机构关联关系

5 结论与建议

本研究基于2017—2019 年CNKI 收录的科技评价领域相关文献，对该领域的研究热点分布及其演化、研究机构合作关系等进行分析，得到如下研究结论和启示：

（1）科技评价研究热点与国家政策导向密切相关。2017—2019 年，我国科技评价领域的研究热点包括高质量科技成果评价、学科评估、绩效评价、多元化评价方法等，一方面反映了科技评价领域对国家科技评价改革号召的响应，对构建更加合理、科学的科技评估体系的思考，另一方面也反映了国家出台引导性政策对评估研究工作的推进效果。因此，建议在今后改进科技评价体系、矫正评价导向、优化评价方法过程中继续发挥政策文件、标准规范等的引导作用。

（2）科技评价领域宽泛对相关学术交流与评价改革带来挑战。国外并没有“科技评价”的概念，科技评价在我国是独有的概念，其内涵宽泛，既包括成果评价、学术评价、技术评价等微观评价，也包括计划评价、机构评价、政策评价等中宏观层面的评价，这一特征给学术研究、评价实践以及交流研讨带来了挑战，但科技评价领域缺少统一的学术语言和共同的认知理念，这使得评价体系的改革更为复杂。因此，建议学者深化分类评价的概念，在讨论问题、开展研究和评价实践中明确相关边界和对象，避免造成对科技评价工作的误读误解；同时，科技评价的行业组织应在统一评价共识、加强能力建设、建立标准规范方面加大工作力度，为科技评价体系夯实基础。

（3）科技评价以方法创新作为改革主要突破口。对评价方法的探索已成为评价研究的主要方向，“平衡计分卡”“数据包络分析”“层次分析法”和“模糊综合评价”等是常见的关键词，这一方面反映了定量分析、大数据分析在科技评价中成为趋势，另一方面反映出针对国家出台的“分类评价”“破四唯”等改革导向，科技评价领域尝试从方法层面进行探索和落实，例如通过数据包络分析对科研投入的绩效进行评价。建议学者继续在评价方法方面深耕，借鉴国外最新的研究成果，针对我国建设创新型国家的需求和特点，探索新时代具有中国特色的评估理论和方法，为建设创新型国家提供评估支撑。

（4）科技评价学术研究和实践工作有待进一步融合。我国科技评价的研究机构以高校为主，评价实操机构较少参与评价的学术研究，这符合高校和评价机构的定位。评价工作是一项实践工作，需要学术研究的支撑，评价的发现也可以进一步丰富理论研究。当前，我国科技评价的研究机构与评价实操机构存在一定程度的脱节，因此，建议评价机构加强对评价研究的关注，在评价工作中尝试新的方法，获取更可靠的评价证据，提升评价工作的科学性和严谨性；建议高校等学术研究机构从评价工作的需求出发，提炼研究问题，丰富研究的场景，突出实证特色；建议学者进一步加强学术交流、案例分享等互动，构建促进国内外评价同行沟通交流的平台和载体。