黑龙江省科技成果评价指标体系的构建与对策建议

王文琪

黑龙江省科学技术情报研究院,黑龙江 哈尔滨 150028

0 引言

科技成果体现着整个国家和社会的科技实力,而对科技成果进行评价可以保障成果顺利和加速转化,鼓励科研人员的积极性,是科技评价体系的重要组成部分。

2021年5月21日,中央全面深化改革委员会第十九次会议审议通过了《国务院办公厅关于完善科技成果评价机制的指导意见》(国办发〔2021〕26号)[1],要求各省制定综合实施方案,集中各方面资源力量,系统完善本地区科技成果评价体系。黑龙江省也随之加快了完善科技成果评价工作的进程,并于2022年1月24日印发了《黑龙江省人民政府办公厅关于完善科技成果评价机制的实施意见》(黑政办规〔2022〕1号,下文简称《实施意见》)[2],提出了黑龙江省科技成果评价的分类,即基础研究(含软科学)类成果、应用研究类成果、技术开发和产业化类成果。不同类别的评价指标充分反映成果的科学价值、技术价值、经济价值、社会价值和文化价值。

当前黑龙江省科技成果指标体系尚不健全,为探索出适合于黑龙江省科技发展水平的科技成果评价体系,本文以《实施意见》为指导,展开相关研究。

1 科技成果评价指标体系的构建

1.1 科技成果评价方法的选择

目前在科技成果评价中被广泛采用的方法主要有同行评议法、德尔菲法(专家调查法)、综合评价法等[3]。

同行评议法应用在科技成果评价中,往往是通过选择一定数量的行业专家,按照程序和要求,对某一科技成果提出定性或定量的评估意见[4]。评价专家往往具有丰富的经验,可以对相关科技成果提交较为客观的评价,但也存在一定的缺点,尤其是在当前黑龙江省科技成果评价相关组织体系不健全的背景下,容易造成“走后门”“剽窃”“二流评价一流”等现象[5],且科技成果往往涉及到多学科交叉的情况,对专家的选择也是难点。

德尔菲法又称专家调查法,是通过函询方式,反复征求专家意见,然后将专家趋于一致的意见作为最后评价的依据[6]。德尔菲法可以通过信息的流通和反馈,使预测意见趋向一致,逼近实际值,尤其是在专家之间不见面讨论或匿名征集的情况下,可以得到较为真实的结果。德尔菲法相较于同行评议法,基本不受到空间和人员的限制,且操作费用较低,适用于大部分场景。

综合评价法又称多指标综合评价方法,是指通过系统、规范的方法对多个指标和多个单位同时进行评价的方法[7]。综合分析法是将被评价对象不同角度的指标,通过无量纲化处理后,综合这些相对评价值,对评价对象进行整体评价的一种方法。综合评价法的优点在于:可以不局限于某一角度、某一特征,通过多方面进行分析,可以使多个单位使用同一系统进行评价。但该方法缺点在于设计评价角度和权重时较为复杂,但由于其显著的特点——综合性和系统性,使得综合评价方法得到人们的认可[8]。

基于此,综合分析法可以对科技成果进行系统的描述,并对科技成果的整体状态进行综合测定,对科技成果的复杂程度进行分析,建立动态的评价指标体系,从而得到定性与定量相结合的结果,更适合黑龙江省当前科技发展的实际情况。故本文采用综合分析方法构建黑龙江省科技成果评价指标体系。

1.2 科技成果评价指标的选取

在科技成果评价体系中,科学合理的评价指标体系至关重要,指标体系的设置直接影响评价结果的客观性和科学性。目前国内科技成果评价尽管采用分类指标,并以加权方式获得评价结果,但其分类指标和指标权重比例固定不变,评价的标准定量化问题依然存在,因而在构建指标体系时,在分类指标基础上,采用动态指标的方式,力求评价结果能更真实地反映科研活动研究成果。

1)基础研究(含软科学)类成果:重点评价科技成果在新发现、新观点、新原理等方面的原创性和科学价值,应定量与定性评价相结合。基于该要求,基础研究(含软科学)类成果评价指标如表1所示。

表1 基础研究(含软科学)类成果评价指标

2)应用研究类成果:注重高质量知识产权产出,把新技术、新材料、新工艺、新产品、新设备样机性能作为评价指标,着重评价成果的创新性、成熟性、稳定性、可靠性,以及科技成果转化应用情况及其在支撑引领行业产业发展中发挥的作用。基于该要求,应用研究类成果评价指标如表2所示。

表2 应用研究类成果评价指标

3)技术开发和产业化类成果(涉及军工、国防等敏感领域除外):把技术交易合同金额、市场估值、市场占有率、重大工程或重点企业应用情况等作为主要评价指标,重点评价集成性、先进性、经济适用性、辐射带动作用及产生的经济和社会效益,突出科技成果在服务全省主导产业、战略性新兴产业方面的价值。基于该要求,技术开发和产业化类成果评价指标如表3所示。

1.3 科技成果评价指标的无量纲处理方法的选择

如前所述,科技成果评价指标体系是由众多指标组成,各个指标的计量单位、经济含义、表现形式以及对总目标的作用、趋向等各不相同,因此,不同量纲的指标值不具可比性,如万元、篇、等级等,无法进行统一,故评价时应对其进行无量纲化处理,消除量纲的影响,确保综合评价结果的一致性。当前常用的无量纲化处理方法主要包括极值化、标准化、均值化以及标准差化等方法[11](见表4)。

表4 常用的无量纲化处理方法

由于本文的研究各指标均为正数,符合趋同化要求,故在孵化器绩效评价中,选用极值化方法进行指标的同质化转换。

1.4 科技成果评价指标的权重设置方法

设置权重常用的方法有主成分分析法、熵值法、变异系数法、层次分析法(analytic hierarchy process,AHP)[12]。主成分分析法主要用于大样本、多指标、指标关联性强的情况,此方法可以从根本上解决指标间信息重叠的问题,极大地简化指标体系,但指标间相关程度较低时,主成分分析结果较差[13]。评价指标是基于科技成果的科学、技术、经济、社会、文化价值设立的,各价值之间相关度不高,故不适用主成分分析法。熵值法与变异系数法都是客观的权重设计方法,需要大量样本支持,故不适用。层次分析法常用于解决复杂系统的权重分配及难以完全定量分析的问题,作为一种主观结合客观的赋权方法,其成效在较大程度上依赖于主观判断,因此,在运用该方法时,往往采取专家评价的方式,邀请多位专家,发送评价表,经填写回收后进行平均处理,进而可以在较大程度上提高评价的合理性。另外,采用专家的意见,对问题具有较强的针对性。

对于具有多目标评价特性的科技成果评价问题,应具体问题具体分析,根据被评价对象本身的特性,在遵循客观性、可操作性和有效性原则的基础上选择合适的评价方法。从上述分析可见,对于科技成果评价这样具有复杂性且难以完全定量分析的问题,AHP法具有明显优势。故本文选用AHP法确定权重。

2 科技成果评价的流程设计

基于评价指标权重的动态设置,为保证其合理性,采用成果分批次评价方法,成果评价专家、评价指标、指标权重全部按批次确定,避免由于评价指标绝对化和单一化对评价结果客观性和公正性的影响。评价流程见图1。

图1 科技成果评价流程

在上述评价流程设计中,与评价指标相关的重要环节包括专家遴选、动态指标及评价专家确定、指标权重确定、专家打分与数据无量纲处理、确定得分结果。

2.1 专家遴选

按科技成果评价管理相关规定,在科技成果评价专家库中遴选与被评价成果相匹配的专家。科技成果评价专家由中介机构根据被评价科技成果的具体情况和所属专业领域从专家库中选取,所选专家应是在科技成果所属领域或其他相关专业领域有着比较丰富的理论知识和实践经验,熟悉该领域技术的发展趋势和情况,在相关领域有着一定的学术地位,并且有能力为中介机构提供科技成果评价服务。一般评价专家要包括技术、经济和管理方面的专家,技术专家不得少于1/3,不得多于2/3。

2.2 动态指标及评价专家确定

遴选入围专家通过权威性评价后方可作为正式专家参与成果评价活动。这一设计主要是保证专家的专业性、可信性以及指标权重的客观性和公正性。

通过向遴选专家发放调查问卷进行动态指标及成果评价专家的确定。问卷包括如下内容。①调查问卷的填写规则、填写注意事项、回收时限等。②被评价的科技成果的基本信息。③具体指标项目的合理性评价表。④若专家对拟订的指标有修改、删减或增加等意见,可在问卷表中提出。⑤专家权威系数(Cr)调查:此部分包括专家熟悉程度(Cs)调查表和判断依据(Ca)调查表。

计算公式为:

Cr=0.5×(Cs+Ca)

(1)

当Cr大于0.7为可接受信度,认为该专家符合要求,可以进行后续评价工作,否则不能参与后续评价工作。当Cr大于0.7的专家数大于规定评价专家数时,按得分顺序确定参与评价的专家;若Cr大于0.7的专家数不满足规定评价专家数时,重新进行专家遴选。

第一轮调查结束后,评价专家确定,评价机构对收集到的数据进行整理、统计,依据专家意见,讨论是否修改、删减或增加指标项,若有则根据讨论结果形成第二轮调查问卷,重复上述流程,直至结果稳定。指标项稳定的条件如下。①合理程度赋值均数大于3.5。②变异系数CV小于0.25。③满分率大于20%。其中变异系数CV采用标准差除以平均数获得。此时,评价指标建立完成,评价专家组确定。

2.3 指标权重的确定

评价指标建立完成后,进行评价指标的权重设计。向专家发放调查问卷二,问卷包括如下内容。①填写规则、填写注意事项,回收时限等。②各指标项目的重要程度评价表,打分依据相对重要性标度表。

计算步骤:通过各评价指标的重要程度表构建判断矩阵,并进行一致性(CI)检验,若CI小于0.1认为具有满意的一致性,将其判断矩阵所得权重纳入考量范围;若CI大于等于0.1,认为未通过一致性检验,则返回校正,直至通过。对判断矩阵最大特征值对应的特征向量进行归一化,即为各指标权重。此时,各评价指标的权重确定完成。

2.4 专家打分、数据无量纲处理

专家对评价成果的创新性、先进性、集成性、贡献力等非客观数据进行打分;对客观数据,由于本指标体系各指标均为正指标,满足趋同化要求,故而采用极值法进行无量纲化处理,各指标分数Xi的计算公式为:

(2)

此时,被评价成果各指标分数确定。

2.5 确定结果

评价机构依据专家打分和上述确定的权重对科技成果评价指标进行量化处理,得到被评价成果综合得分(Z)。计算公式为:

(3)

3 科技成果评价对策建议

科技成果评价是科技管理的重要内容之一,在科研管理过程中具有“指挥棒”作用。科技成果评价指标体系是评价的重要组成部分,也是关键要素。评价指标体系以评价标准为核心,由评价制度、评价方法、评价程序等共同构成。2022年1月,黑龙江省政府办公厅印发了《关于完善科技成果评价机制的实施意见》 (黑政办规〔2022〕1号),根据《实施意见》要求,黑龙江省目前在成果评价指标体系构建方面还存在评价制度不完善、成果评价分类不清晰、评价指标单一化、标准定量化、结果功利化、评价程序不规范、没有专业化的第三方评价机构和专业评价人才队伍等问题。面对新时期科技成果评价工作的新要求,本文按《实施意见》构建了以“五元”价值为指标,通过评价程序设计,对不同科研活动产生的成果评价实现动态确定指标项和指标项权重,从而达到科技成果评价定性和定量相结合的科技成果评价指标体系。在此基础上,本文提出黑龙江省目前科技指标体系构建的建议。

3.1 制定《实施意见》落实措施,推进成果评价规范化

《实施意见》的出台为黑龙江省科技成果评价工作提供了基本准则,但在具体落实时,缺乏实施细则。应尽快组织相关部门和相关行业制定科技成果评价管理办法,针对计划项目和非计划项目,特别是科研人员自行研究成果的评价进行规范,明确评价对象。对从事科技成果评价的机构进行规范,特别是对第三方评价机构的管理,确保评价主体具备相应资质。尽快制定适合科研活动规律、反映科技成果价值的评价标准和评价流程,使科技成果评价活动科学规范。对科技成果评价结果的应用进行规范,特别是应用类科技成果技术成熟度结果的应用,对评价成果应用转化、知识产权等情况进行跟踪,借鉴知识产权管理模式,定期向社会公布科技成果评价结果,打通科技成果转化的信息渠道,让更多有价值的成果面向市场,从而推动产出高质量科技成果。

配套制度可以使科技成果评价工作制度化、规范化、标准化,为科技成果评价加快市场化进程提供制度保障。

3.2 建立“五元”价值评价指标,实现价值评价多元化

科技成果包含的不仅是科学价值和技术价值,更包含经济价值和社会价值。《实施意见》明确提出要开展科技成果多维度评价,同时要求根据科技成果不同特点和评价目的,有针对性地评价科技成果多元价值,避免评价指标绝对化和单一化。在设计评价指标时,一级指标应充分考虑科学价值、技术价值、经济价值、社会价值、文化价值维度,二级指标则充分考虑不同成果的特点和评价目的。每级指标的不同指标项评价要点描述要体现考察目的。对于基础理论研究成果要侧重其科学价值和社会文化价值,对于应用研究成果则侧重其技术价值和经济价值,而对于技术开发和产业化成果其经济价值是首要评价指标,尤其是成果在推动黑龙江高质量发展方面作出的贡献应是评价中的重要指标。

3.3 采取动态确定评价指标方法,破解评价标准定量化

目前国内科技成果评价尽管采用分类指标,并以加权方式获得评价结果,但其分类指标和指标权重比例对同类所有评价成果都固定不变。目前跨学科的科研活动日益广泛,跨学科的科研成果也层出不穷,对某一类科技成果采用相同的评价标准和统一的权重,往往不能真实反映成果的实际情况。为解决评价标准定量化问题,在建立指标体系时,应在指标分类基础上,采取动态确定评价指标项的方法,并通过模型对各指标项的重要程度进行评估,依据各指标项的重要程度动态确定不同成果的指标权重,减少评价标准定量化对评价结果的影响。在动态确定评价指标时,也要充分考虑不同量纲(如万元、篇等)指标值不具可比性的问题,不同量纲进行评价指标同质化转换,消除量纲对评价一致性的影响。

4 结束语

目前,黑龙江省科技成果评价机制基本仍沿用科技计划项目验收的评价方式,不适应新时期科技成果评价的新要求。大量社会化、市场化的非计划科技成果缺乏评价渠道,这制约了科研人员的自主研究积极性,也不符合科技成果交易转化和产业化应用的需求。基于此,本文提出了一种科技成果评价指标体系的构建方式,以期对黑龙江省及其他省份科技成果评价指标体系的构建提供思路。未来,黑龙江省科技成果评价体系将朝着更加科学、综合、公正、开放和灵活的方向发展,以更好地激励科研创新,推动科技成果的转化和应用,为社会经济发展提供有力支撑。