基于模糊层次分析法的学科建设项目后评价指标体系

金 赛，魏法杰，张所鹏

北京航空航天大学，北京 100191

0 引言

学科建设就是指通过合理的规划，对学科队伍、基地、环境进行改善，促进学科发展，提升学科水平。加强学科建设不仅有利于调整和优化学校的学科结构和学科方向，充实师资队伍，加强科研基地与科研环境建设，更有利于提高高层次创新型人才的培养质量，增强所在高等学校的整体实力，带动高等教育整体水平的提高。

1993年2月13日，国务院启动“211工程”，概括来说就是面向21世纪，重点建设100所左右的高等学校和一批重点学科点。通过“九五”“十五”期间的建设，“211工程”的学校在办学条件、队伍建设、人才培养、科学研究和服务社会等方面的能力得到很大的提升。目前，“211”工程已步入三期阶段，一些大学的重点学科已基本形成特色，一些还正处于起步和建设阶段，总结和借鉴前期的经验教训是当前工作的重中之重。

项目后评价起步于20世纪30年代，现在已广泛应用于西方发达国家以及一些发展中国家的政府国会、国际金融组织和多边机构，但其应用于“非工程项目”还处于探索阶段。虽然国内外均有机构对学科进行排名和评估，教育部也从1994年开始对部分工科院校进行本科教学工作合格评价，国家自然科学基金也在一定程度上对科研项目进行了后评价，但在适合我国国情的学科建设方面，尚无统一权威机构或相关法规文件对学科建设项目进行后评价。

本文拟结合国内“211”工程一期二期开展情况构建学科建设项目后评价体系，旨在深入剖析项目活动实践的过程，透视项目预期目标的达成情况，检验项目的合理合法性，解读项目成败的关键，系统科学地总结经验，提出改进建议，从而有效避免失误，为学科建设新项目建设提供可资借鉴的启迪。

1 学科建设项目后评价指标体系构建原则

学科建设项目后评价指的是在学科建设项目已完成预定的建设计划、接受审查验收之后3～5年内，对学科建设的目的、建设过程、社会及环境影响、可持续性所进行的系统的客观的分析。构建学科建设项目后评价指标体系需要把握一致性、科学性、可行性和动态性的原则，具体分述如下：

1）一致性

项目后评价有别于项目前评估，主要由于在项目开始前已经有了既定的标准，所以在进行学科建设项目后评价工作时，需要保持与项目目标的一致性。

2）科学性

学科建设项目有别于其他工程项目，许多产出价值无法用经济值来衡量，也就无法计算经济效益。因此，在进行评价时，需要科学设置评价指标，系统分析因果关系，使后评价结果全面客观。

3）可行性

为保证学科建设项目后评价工作的切实开展，在指标选取时需考虑是否能定量赋值，数据采集是否方便可行；在制定实施及操作流程时需考虑是否能据此正常开展工作。

4）动态性

学科建设是一项复杂的系统工程，不可能一蹴而就，且基于原有学科基础之上不断投入建设。因此，学科建设项目后评价工作应该体现该学科通过一段时间的建设所取得的进展，既要立足于高校学科当前的实际，同时又要有开放、超前和创新意识。

2 后评价指标体系

2.1 建立三级层次结构

根据学科建设项目后评价体系的原则和逻辑框架，本课题采用三级层次型指标体系对学科建设项目进行后评价。将指标体系分为目标层、准则层和指标层3个层次，其中目标层指标即为学科建设项目后评价，指标层围绕准则层进行设置。结合学科建设项目的特点，根据逻辑框架分析的结果，通过大量搜集和整理与学科建设项目的有关的评价指标设计案例，以及相关项目的后评价指标设计案例，确定8个二级指标：1）人才培养。硕、博士生培养质量，从目的角度进行后评价；2）师资队伍。学术带头人和主要学术骨干的科研水平，从目的角度进行后评价；3）学科结构。学位、学科点设置，教材、课程改进情况，从目的角度进行后评价；4）条件建设。科研基地、大型精密贵重仪器设备建设情况，从目的角度进行后评价；5）科学研究。重大科研项目及对应经费，科研成果及其转化情况，从实施过程角度进行后评价；6）学术活动。举办、参加重大学术会议情况，从实施过程角度进行后评价；7）社会经济影响。项目对社会、经济、科技发展的影响；8）可持续发展：项目的可持续发展情况。

在三级指标的选取时采用定性和定量相结合的分析方法。首先，根据现有资料结合确定的二级指标和逻辑框架，主观确定三级指标，形成初步完整的指标体系；其次，利用德尔菲法将该指标体系以问卷调查方式问询领域专家或其他实践经验丰富的相关人员，得到丰富的三级指标库；第三，进行指标的相关性分析，去除相关程度高的指标，保持指标之间的相对独立性，同时保证该二级指标下三级指标群的完备性，从而筛选出较为合理的三级指标；最后，将该指标体系再次问询专家，得出较为一致的结果，结合共性和差异化因素形成最终的学科建设项目评价指标体系如表1所示。

表1 学科建设项目评价指标体系

2.2 设定权重

1）列写判断矩阵

判断矩阵表示针对上一层的某因素，本层次有关因素之间的相对重要性。判断矩阵的元素反映了各因素间的相对重要程度，通常采用德尔菲法咨询专家意见，采用1～9的标度方法（见表3），构建出各级指标的判断矩阵。

以准则层为例：

（1）构造初级判断矩阵（aij）n×n，n为该层指标的个数。

（2）将初级判断矩阵归一化，得到新的判断矩阵（bij）n×n。

2）计算权重

（1）各行元素相加求和得。

（2）归一化向量得权重ω。

3）一致性检验

（1）计算最大特征根。

（2）进行一致性检验，平均一致性指标RI见表4。

当一致性检验通过时，设定的权重有效。其他各层指标按照这个方法计算可得，由此得出学科建设项目后评价项目指标体系的权重表。

2.3 方案评价

每个指标的当量主要参考项目前评估确定的指标、不同学科的行业标准，以及专家意见的统一结果。

采用问卷调查法，让专家依据标准给各指标赋值，得到该方案的模糊互补判断矩阵R，将各指标值加权计算，即可得到学科建设项目后评价结果S，在实例运用时，最好同时评估两个不同高校的相同学科，以此来排除外界因素，总结出学科建设的实际成效。

3 结论

本文将项目后评价理论及方法引入学科建设中，结合我国学科建设项目的特点，通过分析逻辑框架，采用模糊层次分析法建立后评价指标体系。该体系可以用于对“211”工程一期、二期中已完成的重点建设学科进行后评价，找出实际情况与预期目标间的差异及其原因，以便提出应对策略，为三期工程更好地开展指引方向。