生产安全领域科研项目成果评价指标与评价方法研究*

冀 铮，李 群，李 竞

(中国安全生产科学研究院，北京 100012)

0 引言

“生命重于泰山，务必把安全生产摆到重要位置，树牢安全发展理念。”党和政府历来重视安全生产工作，2020年4月，习近平总书记对安全生产作出重要指示，强调“要针对安全生产事故主要特点和突出问题，层层压实责任，狠抓整改落实，强化风险防控，从根本上消除事故隐患，有效遏制重特大事故发生”。“十三五”期间，安全生产领域科研项目聚焦矿山、危化品、特种设备等重点领域生产安全科技需求，重点针对生产安全事故隐患排查、风险识别、监测预警、应急处置、人员安全保护、高危职业危害预防控制等关键问题进行重点突破攻关，研究产出了煤矿井下瓦斯抽采钻孔机器人、水下应急封井装置、长输油气管道检测机器人、尾矿库重大风险评估监测平台、移动式大流量远程泡沫灭火成套装备等一批代表性成果。“十四五”时期是我国全面建成小康社会、实现第一个百年奋斗目标之后，乘势而上开启全面建设社会主义现代化国家新征程、向第二个百年奋斗目标进军的第一个五年[1]，因此全面、准确地评价目前我国生产安全领域科研项目成果水平，进而找不足、寻差距，将是下一步继续提升我国生产安全领域防范化解重大风险能力的前提条件之一。

科研水平是反映一个国家竞争力的关键指标，诸多国际组织、学术机构等已相继研究出多个有关国家科技发展水平的评价指标体系，并通过相关发布的国家科技创新能力或科技竞争力的评价报告得以体现，如美国《科学与工程指标》[2]、日本《科学技术指标》[3]、经合组织(OECD)《科学、技术和工业记分牌》[4]、我国的《中国科学技术与工程指标》[5]等，这些报告和指标更多是从一个国家整体的层面去分析科技创新投入产出、科学技术与工程发展状况等。而从目前我国的科研管理体制以及开展的科技评价工作来看，正向专业化、标准化发展，《科技评估工作规定(试行)》(国科发证[2016]382号)[6]、GB/T 40148—2021《科技评估基本术语》[7]、GB/T 40147—2021《科技评估通则》[8]等相关法规和标准为相关项目成果评价工作的开展指明了方向，但法规标准的落地和具体实施往往需要与具体的评价对象特点相结合，而在生产安全领域科研项目成果评价方面，尚少见到具体的评价指标体系和配套的评价方法，因此，本文拟在相关科技成果评价的法规与标准指引下，结合生产安全领域科研项目成果的自身特点，构建相应的多层次评价指标体系，并提出相应配套的评价方法，为后期相关评价机构开展生产安全领域项目成果的评价工作提供参考和借鉴。

1 评价指标体系的研究与构建

1.1 指标体系构建的原则

1)科学性原则。科学性原则要求用于进行项目成果评价的指标选取要建立在科学的基础上，使其能够充分反映项目成果在学术质量、技术水平、成果效益、成果影响等方面的实际情况，同时，考虑到被评价的项目成果自身特点，需要针对基础研究、应用研究和开发研究的特点构建针对性的指标。此外，除了评价指标的定义需要明确且有一定的科学内涵以外，与评价指标相配套的评价标准设定、阈值的确定、指标权重的计算等都要体现科学性。

2)通用性原则。在选取评价指标时，要扩大指标覆盖面，使其达到普遍适用的目的。由于生产安全是一个较为综合的概念，涉及到矿山、危化、特种设备等多个行业领域，其各个行业领域的业务和技术特点差异较大，因此在构建生产安全领域项目成果评价指标体系的时候，需要考虑提炼出具有较好通用性的指标。

3)可操作性原则。生产安全领域科研项目成果的评价不但涉及成果的学术技术水平，还涉及相应成果的实际效果和影响，因此所要构建的指标体系覆盖范围很大，相应的指标数量也会非常庞大，既有定性指标也有定量指标，因此在相应指标选取的时候，要尽量选择数据可获取性好的指标。

1.2 基于德尔菲法的指标体系建立

德尔菲(Delphi)法又称专家意见法或专家调查法，是针对某一特定问题，咨询相关领域的专家，收集、汇总专家对预测事件的意见，采用数理统计的方法对专家意见进行整理并再次反馈给专家，进行新一轮的咨询与意见汇总，如此反复，最终得到专家们较为一致的预测结果的群体决策行为。从调研情况来看，德尔菲法已经被很多行业领域用作相关评价指标体系的构建[9-10]，但围绕生产安全领域科研项目成果评价方面尚鲜有报道，因此本文基于德尔菲法，通过合理地选取、收集、汇总生产安全领域专家学者对相关项目成果评价指标的意见，构建多层次生产安全领域科研项目成果评价指标体系。

1.2.1 评价指标初步选定

从我国目前的科技项目成果评价相关的法规和标准来看，评价程序、评价指标以及评价方法是其中重点内容[11]，其中评价程序是整个评价工作的组织保障，具有较强的通用性和普适性；而评价指标的构建以及评价方法的选取均具有较强的专业性，往往需要结合被评价成果所在行业和专业特点进行有针对性的选取，本文围绕生产安全领域的成果特点，并结合“十三五”生产安全领域国家重点研发计划项目任务书中的相关考核指标内容，编制初步的评价指标，如表1所示，初选指标的来源及选择理由如下：

表1 生产安全领域成果评价初选指标

1)从“十三五”国家重点研发计划项目任务书中的考核指标角度：从已经下发的任务书考核指标表来看，重点研发计划对于“成果类型”有明确的选项，包括：新理论、新原理、新产品、新技术、新方法、关键部件、数据库、软件、应用解决方案、实验装置/系统、临床指南/规范、工程工艺、标准、论文、发明专利、其他等16项，因此项目研发的产出也大体会对应到这些成果类型，而对项目科研成果的评价，自然也需要从这些成果类型来入手，分类分项进行学术与技术水平的评价。

2)从国家有关科技评价政策角度：从《科技评估工作规定(试行)》(国科发证[2016]382号)中相关的规定来看，围绕科研项目成果可以进行事前、事中、事后的评价，而本文研究的评价指标落脚点在事后阶段，即重点针对项目成果的“产出、效果和影响”，因此，除了成果本身的学术与技术水平以外，重点还要包括“成果效益”和“成果影响”，对于生产安全领域的项目成果来说，往往无法直接产生经济效益，但服务于事故风险的预防与控制显然是重要的成果效益表现形式。

1.2.2 评价指标的筛选过程与标准

在初步选定生产安全领域成果评价指标的基础上，设计德尔菲法的多轮专家问卷。问卷主要包括：指标重要度打分表和专家基本情况表2部分，指标重要度打分表如表2所示。

表2 指标重要度打分

由表2可知，每位参与问卷填写的专家需要对初步设定的成果评价指标进行重要度打分，同时专家还需自评对该指标的熟悉程度以及判断依据，其中判断依据的自评分可参照表3进行计算[9]。

表3 专家判断依据及影响程度量化

由于德尔菲法对指标筛选的质量很大程度上依赖相关专家意见的可靠性，故以专家权威系数Cr为参考标准，计算方法如式(1)所示：

Cr=(Ca+Cs)/2

(1)

式中：Ca为专家判断依据自评分，可参照表3得到；Cs为专家对指标的熟悉程度，[很熟悉，熟悉，比较熟悉，不太熟悉，不熟悉]对应取值为[1.0,0.8,0.6,0.4,0.2]。权威系数Cr介于0～1之间，Cr≥0.7时，表明专家意见结果可靠；Cr≥0.8时，表明专家对内容的选择有较大的把握。

本文研究邀请了15名生产安全领域专家，其中：矿山安全方面专家5人，石油化工安全方面给专家5人，火灾爆炸方面专家3人，信息技术方面专家2人。工作年限均在10 a以上，职称均在副高以上。所有指标的专家权威系数Cr在0.82～0.94之间，表明专家对指标的选择由较大的把握。

在指标的多轮筛选过程中，还需考虑专家的积极性、专家意见的集中程度和专家意见的协调程度，分别可以用专家积极系数、重要性赋分均数(或满分频率)、专家意见变异系数进行测算，如式(2)～式(4)所示：

P=(R/W)×100%

(2)

式中：P为专家积极系数；R表示有效回收的调查问卷数量，份；W表示发出的所有调查问卷数量，份。对于专家积极系数来说，数值越大说明专家参与度越高，本文P至少不小于70%才视为有效。

(3)

式中：Mi为第i个指标的重要性赋分均数；m为参与第i个指标评分的专家总数；Bij为第j个专家对第i个指标的重要性赋分值，取值为1～5。本文Mi至少不小于4才视为有效指标。

(4)

式中：CVi为第i个指标重要度专家意见变异系数；Si为第i个指标的标准差；Mi为第i个指标的重要性赋分均数。CVi反映专家意见的收敛情况，CVi越小，则专家的协调程度越高。本文最终入选的指标CVi需要小于0.30，否则需要继续进行下一轮调查问卷打分或删除该指标。

本文共经历了3轮调查问卷，3轮的专家积极系数P均为1，专家参与积极性良好。第1轮问卷中，专家认为有关“学术与技术水平”的15个二级指标太过分散，且互有交叉，因此提出以成果类型为出发点，以成果具体的表现形式为评价指标，最终聚焦在“知识产权(专利、软著)、学术论文、学术专著、研究报告”等4个指标上。同时“临床指南/规范”这一指标基本与生产安全领域项目成果不相关，予以删除。第2轮问卷中，二级指标“服务于专业培训(含演练)”、“服务于科普宣传”、“成果表彰”的Mi均小于4，其他指标Mi均大于等于4且CVi均小于0.2，故删除二级指标“服务于专业培训(含演练)”、“服务于科普宣传”、“成果表彰”后进行第3轮问卷。第3轮问卷所有指标的Mi均大于4，CVi均小于0.2，如表4所示。

表4 第3轮评估指标重要性赋分情况

2 评价方法的选择与配套工具应用

常用的科技项目评价方法包括同行评议法、投入产出效率法、技术报表法、多维指数评价法、回溯与案例法、科学计量法、层次分析法(AHP)、模糊综合评价等，在实际开展评价过程中，不同的评价方法可以结合政策分析、目标比较、现场考察、座谈调研、专家咨询/评审会议等方式开展。根据生产安全科研项目成果的自身特点，以及前文构建的评价指标体系内容，可以综合采用同行评议法、多维指数评价法、层次分析法、模糊综合评价法和科学计量法等。其中，同行评议法是由若干生产安全领域的专家采用一种评价标准，共同对涉及生产安全领域的一项项目成果进行评价；多维指数评价法是通过多维度指标对生产安全领域科研项目进行评价，衡量和反映科研活动实际取得绩效的效率与水平；科学计量法是对科学研究活动与结果的相关数据进行计算，具有较强的科学性，不受个人主观因素和其他非科学因素的影响，如：科研论文或专著的数量、引用率、平均被引次数等；层析分析法和模糊综合评价法往往在进行项目成果评价过程中进行配套应用，其中层次分析法用来确定指标权重，模糊综合评价法根据多位行业专家的定性评价结果，进行定量分值计算，并最终根据最大隶属度原则，给出最终的评价等级。考虑到以上评价方法的应用较为广泛，相关方法原理及计算公式可查阅相关参考文献[12]，本文重点介绍与选用评价方法相配套的工具应用，以用于指导实际项目成果的评价工作实践。

2.1 基于层次分析法确定指标体系权重

Yaahp软件是以层次分析法和模糊评价法为基础的综合评价辅助软件，可以有效地为利用层次分析法和模糊评价的决策过程提供模型构造、计算和分析等方面的帮助。Yaahp已经应用于多个行业的评估/评价问题处理。它能够实现诸如层次模型的绘制、总目标或子目标排序权重的计算、灵敏度分析、专家数据录入与检查以及模糊综合评价等功能。

在Yaahp中绘制层次明晰的评估指标体系，形成层次结构模型，如图1所示。

图1 生产安全项目成果评价指标层次结构模型

在15位生产安全领域专家的意见基础上，利用软件内置的指标相对重要度评价、判断矩阵构建以及一致性检验功能，最终得到各个指标的权重值，如图2所示。

图2 生产安全项目成果评价指标权重分布

由图2可知，从项目成果评价的角度来看，成果获奖、知识产权、成果对外交流与共享、服务于事故预防实务、服务于事故处置实务等指标的权重较高。

2.2 基于评价指标体系的综合模糊评价

以某“十三五”重点研发计划项目《绩效评估报告》中的内容为基础，在前文建立的项目成果评价指标体系及指标权重基础上，汇总15位生产安全专家的评价结果，指标评价等级论域为{优，良，中，差}，对应的分值为{100，80，60，30}，综合模糊评价结果如图3所示。由图3可知，该项目综合评价分值为82.180 5分，按照最大隶属度原则，属于“优”。

图3 项目成果综合评价结果

3 结论

1)结合生产安全领域项目成果特点，利用德尔菲法，经过3轮专家问卷调查，得到生产安全领域项目成果评价指标体系，包括“学术与技术水平”、“成果效益”和“成果影响”3个一级指标，知识产权(专利、软著)、学术论文、学术专著等11个2级指标。

2)在常用的科技项目评价方法分析的基础上，可综合采用同行评议法、多维指数评价法、层次分析法、模糊综合评价法和科学计量法进行生产安全领域项目成果的评价工作，并可以运用Yaahp作为多维指数评价法、层次分析法、模糊综合评价法的配套工具。

3)本文所提出的生产安全领域项目成果评价指标体系、评价方法和配套工具具有一定的通用性和普适性，在实际进行生产安全领域项目成果评价的时候，需要根据成果所在行业领域进一步细化，下一步将围绕矿山、危化品、特种设备等生产安全重点行业领域，进一步细化指标体系，并提出与相应评价指标相配套的评分标准。