浅析层次分析法在水务科技项目实施效果评估中的应用

汪 燕

(深圳市水务科技信息中心，深圳 518036)

在科技项目实施的全周期内，如何保障科技创新项目研究活动及其成果的水平与质量，如何采用定性与定量分析方法结合起来，对科技管理进行科学、公平、合理的评估一直是科技行政管理部门、科技工作者及社会各界关注的焦点。深圳市水务科技创新项目自设立以来，支持了一大批水环境治理、水安全保障、水资源利用、水生态健康、水管理服务和水利工程运行等水务重点领域项目，取得了非常明显的成效。但是在实施和管理中仍然存在布局整体性和系统性不足、项目来源单一、部分成果的应用和推广性不高等很多问题。如何选择合适的方法、对过去深圳市水务科技创新项目效益成果作出合理的评估，是水务科技创新项目管理中急需解决的问题。本文以深圳市近年来实施的水务科技项目为分析对象，通过调查整理项目实施过程的问题和成效，结合项目管理资料，通过划分项目类型，梳理评价指标种类，建立评估体系，探讨采用层次分析法对项目的效益指标进行赋分评价，进而评判项目实施的质量层次。

1 项目评估体系构建

1.1 评估体系的建立

合理构建项目评估体系是至关重要的，按照深圳市水务科技创新项目实施特征，本文将评估指标体系分为三层：目标层、准则层、指标层。目标层为单一目标——深圳市水务科技创新项目评估指数，深圳市水务科技创新项目评估的目的在于综合评估深圳市水务科技创新项目资金以项目的形式用于深圳市水安全、水资源、水环境、水生态、水管理和水利工程等项目的整体实施过程，分析项目实施过程中存在的问题，对项目实施过程中积累的经验进行总结，为强化项目管理单位和项目实施单位在深圳市水务科技创新项目管理提供决策依据。准则层包括项目立项、项目管理、项目产出和项目效果4个层面，是影响和制约深圳市水务科技创新项目实施的因素，项目立项是决定项目能否为深圳水务科技工作提供有力支撑的重要因素，是项目能否按照既定计划顺利实施的必要条件，也是深圳市水务科技创新项目实施过程中的重要基础工作，包括立项程序、项目目标、项目内容三项基本指标；二是项目管理，项目管理是深圳市水务科技创新项目具体实施过程的核心环节，是决定项目成败的关键，是深圳市水务科技创新项目评估的重要落脚点，包括组织管理、财务管理、验收管理、档案管理四项基本指标；三是项目产出，项目产出是深圳市水务科技创新项目实施规范性的重要考核层面，包括产出进度和产出质量两项基本指标；四是项目效果，项目效果是深圳市水务科技创新项目实施总体成效的集中体现，包括成果应用和实施成效两项基本指标。每一个准则层包含的基本指标构成指标层，共11个单项指标，以全面反映和考核深圳市水务科技创新项目实施情况，每一个指标的含义和评判标准如下：

(1)立项程序：反映和考核项目是否满足申报条件；项目的申请、论证、入库、批复等程序是否符合项目立项相关要求；实施方案的编制内容是否完整，是否按照项目管理部门(单位)的要求进行修改完善。

(2)项目目标：反映和考核项目目标是否符合国家法律法规、方针政策和自己支持方向；是否符合深圳水利事业改革发展方向，是否与项目承担单位的工作职责和任务一致；项目目标是否合理。

(3)项目内容：反映和考核项目内容与项目目标是否匹配；内容设置是否清晰、细化、量化、可衡量。

(4)组织管理：反映和考核承担单位在项目实施过程中权责分工是否明确；项目相关管理制度是否健全，是否严格贯彻执行相关管理制度。

(5)财务管理：反映和考核承担单位项目预算编制是否规范；是否建立独立项目资金账户；预算经费是否及时、全额到位；经费管理、费用支出等制度是否完善，是否严格执行；经费使用是否合规；项目经费是否按时执行完成。

(6)验收管理：反映和考核承担单位项目验收程序是否符合相关规定；验收报告文本是否规范。

(7)资料管理：反映和考核项目承担单位是否严格按照项目管理部门(单位)要求的内容及期限整理并上报项目相关材料，项目上报材料主要包括项目实施方案、总结、验收报告、成果报告、成果信息摘要等。

(8)产出进展：反映和考核项目按照实施方案、项目内容等要求的任务进展情况。

(9)产出质量：反映和考核项目已完成任务是否应用；是否达到项目目标要求；是否满足相应技术标准。

(10)成果应用：反映和考核项目成果是否实际应用及应用过程是否正常。

(11)实施成效：反映和考核项目的实施是否能够推进深圳水务科技创新及应用、水务领域新技术推广与示范、水务业务重大技术攻关、水务工作专题研究等方面。

指标详细划分情况见表1。

表1 深圳市水务科技创新项目评估指标体系

1.2 确定指标权重

指标权重的确定是层次分析法的重要步骤，其目的是确定系统中各因素之间的关系，建立系统层次结构模型。将包含的因素分组，每组作为一个层次，从上至下依次分为目标层(最高层)、准则层(中间层)和指标层(底层)，上一层次对相邻的狭义层次的逐层支配关系，即递阶层次关系。由层次结构模型中每层中的各因素的相对重要性的判断数值列表构成判断矩阵，判断矩阵表示同一层与上一层某因素有关各因素之间相对重要的比较。例如，若A层次中因素Ak与下层次nB1，B2，，Bn有联系，则判断矩阵：

(1)

bij是判断矩阵P的元素，表示对因素而言，与相对重要性的数值，以(1～5)标度值表示比较结果，各级标度的含义详见表2。

表2 判断矩阵标度及其含义

根据判断矩阵求出这n个元素B1，B2，，Bn对Ak的相对权重向量W=(W1，W2，，Wn)T，即计算判断矩阵的最大特征值及对应的特征向量。

对该特征向量进行规范化(归一化处理)，

(2)

采用构造两两比较判断矩阵，由各指标之间的两两比较关系判断矩阵计算指标权重。对同一层次指标，进行两两比较，以标度值表示比较结果，标度值由项目组先行暂定，通过专家咨询环节确定。通过对近期水务科技创新项目的分析，采用上述方法确定深圳市水务科技项目评估指标准则层项目立项、项目管理、项目产出、项目效果四个层面的权重分别为：0.0972、0.1639、0.4018、0.3370。同理，分别得出准则层各层面指标两两比较判断矩阵的最大特征值及一致性比例，准则层各层面指标两两比较判断矩阵的一致性比例均小于0.1，满足要求，结果见表3。

表3 准则层各层面指标判断矩阵最大特征值及一致性比例

准则层各层面评估指标的相对权重规范化处理结果见表4。

表4 规范化处理后准则层各层面评估指标的相对权重

综合各准则层权重值以及准则层各层面评估指标的相对权重值，可得指标层所有指标对目标层的合成权重，见表5。

表5 指标层所有指标对目标层的合成权重

1.3 指标赋分标准

指标层各项基本指标按照100分制进行逐项打分，评分标准以项目立项(C1)和项目内容(C3)为例，打分如下：

项目立项(C1)：一是申报条件(20分)。项目满足申报条件的，20分；不满足的，0分。二是立项程序(50分)。项目立项程序完整且符合相关规定的，50分；立项程序不完整或不符合相关规定的，每少1项程序或每有1项程序不符合规定扣10分，分值扣完为止。三是实施方案编制(30分)。实施方案完整且符合要求或按要求修改完善的，30分；实施方案不完整的，每少1项内容扣3分；未按项目管理部门(单位)的要求修改完善的，0分。上述3项得分相加求和即为该评估指标最终得分。

项目内容(C3)：反映和考核内容设置是否细化、量化可衡量。一是内容匹配性(20分)。项目内容与项目目标匹配的，30分；基本匹配的，15分；不匹配的，0分。内容细化(40分)。内容细化的，40分；比较细化的，20分；未细化的，0分。内容量化(40分)。内容量化的，40分；比较量化的，20分；未量化的，0分。上述3项得分相加求和即为该评估指标最终得分。如此类推，将其他指标的赋分标准一一确定。

2 项目评估分析

2.1 项目样本选定

对于某一特定项目进行评估时，搜集资料越全面，评估结果就越客观。然而，如果为了通过评估掌握某一类项目的实施情况，需要尽量提高评估项目样本所占比例，以反映某类项目的总体情况。2008—2017年，深圳市水务发展专项资金科技项目合计138个，总投资25297万元。其中以2013年为分界，2008—2012年中的科技项目合计37个，总投资3605万元，主要来源为水务发展专项资金中的能力建设投入；2013—2017年，整体的水务科技项目有了较大层次的提高，项目数达到101个，其中水务科技创新项目57个，总投资6955万元。考虑到资料的可获取性和参考价值，本次研究选取2013—2017年的全部水务科技创新项目57个，以及2008—2012年的部分水务科技项目10个，共计67个作为评估项目样本。

通过对已经掌握的项目相关资料的梳理分析，对项目任务进行了分类。评估项目包含水安全项目12个、水环境项目19个、水资源项目5个、水生态项目10个、水管理项目10个、水利工程项目11个，涵盖了水务科技项目的各类任务，各类任务评估项目数占评估项目总数的比例与各类任务项目占项目总数的比例基本一致，评估结果在一定程度上反映了各类任务项目的总体状况，如图1所示。

图1 各类任务评估项目比例与项目总体比例对比

2.2 项目评估总体分析

利用以建立好的评估体系，分别对待选取样本共43个项目逐一打分评估，同时按照每个项目的实际打分情况结合项目拨款进度、项目内容完成质量、项目验收效果、项目审计情况等，将评估样本分为A、B、C、D、E、F六个等级，具体定义见表6。

表6 水务科技评估项目等级划分标准

根据总体打分情况和项目的等级划分情况，43个深圳市水务科技项目评估平均分数为64分，项目实施总体情况达到D级，不同评估等级的项目数为：A级12个，B级10个，C级4个，D级2个，E级13个，F级2个。项目评估不同等级所占比例如图2所示。

图2 项目评估不同等级所占比例

图2表明，分析样本中评估等级A级和B级分别仅占28%和23%，E级所占比例最高，达到30%，甚至出现了个别F级项目，即立项后被搁置或终止的项目，占项目评估总数的5%。由此可见，由于管理制度不健全、项目主管部门人员流动、项目承担单位责任不到位、成果达标率偏低、推广应用率低等原因，2008—2017年深圳市水务科技项目总体实施情况不佳，产出效果不高。

3 结语

采用层次分析法对科技项目实施效益的评价，利用得分分值体现了不同科技项目在同一评估指标体系下的质量好坏相对程度，具有直观性和公平性，通过对二级指标的逐一探讨，可以针对项目实施过程中出现的问题和积累的经验进行总结，有利于项目管理单位和项目承担单位分别提出强化项目管理的对策措施和建议。这一方法对难以定量评价和考核的项目实施成效分析有较强的借鉴意义，但在采用该方法的过程中，应详细分析划分评价指标，并以实施情况加以对比验证。