政府购买职业技能培训服务绩效评价指标体系的构建

陈保荣 赵海豹

［摘要］购买职业技能培训服务是当前地方政府提升人才技能水平和就业创业能力、缓解就业结构性矛盾的一种方式。对政府购买职业技能培训服务进行绩效评价必须有一套简单易行、方便操作的评价指标体系，通过运用关键绩效指标法和平衡计分卡法遴选政府购买职业技能培训服务绩效评价的具体指标，可得出一级指标4个、二级指标12个、三级指标40个；运用德尔菲法为遴选出的每项绩效评价指标赋值，构建完整的政府购买职业技能培训服务绩效评价指标体系；采用抽样问卷调查验证绩效评价指标体系具有可行性和研究价值，可为政府后续开展督查和优化资源配置提供公平合理、简单易行的绩效评价评判工具。

［关键词］政府；职业技能培训；绩效评价；评价指标体系

［作者简介］陈保荣（1968- ），女，河南南陽人，天津职业大学，副研究员，硕士；赵海豹（1983- ），男，山东无棣人，天津职业大学，助理研究员，硕士。（天津  300410）

［基金项目］本文系2021年度天津市教育科学规划项目“政府购买职业技能培训服务绩效评价指标体系构建研究”的阶段性研究成果。（项目编号：CJE210209，项目主持人：陈保荣）

［中图分类号］G710    ［文献标识码］A    ［文章编号］1004-3985（2023）08-0095-07

为全面提升劳动者职业技能水平和就业创业能力，提高就业质量，缓解结构性就业矛盾，地方政府积极购买职业技能培训服务，开展劳动者技能培训工作。与此同时，国家也开展了对政府购买服务项目的绩效检查，旨在规范政府购买服务行为，提升财政资金效益和政府公共服务管理水平。但“目前我国尚未完全构建起对政府购买服务项目的系统性绩效评价指标体系，大部分地区的政府购买服务绩效评价形式仍是以财政部门进行绩效考核这种行政评价为主，政府购买服务的绩效评价指标体系往往得不到很好的应用”①。从已有的对政府购买职业技能培训服务的研究来看，主要是围绕政府的管理制度、保障机制、配置效率、支撑体系等展开的，对政府购买公共服务绩效评价指标体系构建方面的研究较少且分散，针对职业技能培训服务绩效评价指标体系的研究则更少。为了加强对职业技能培训服务巨额资金投入与使用进行有效的督查，优化政府后续资源配置，迫切需要构建一套科学合理、公平公正、容易操作的政府购买职业技能培训服务绩效评价指标体系。本研究将关键绩效指标法和平衡计分卡法的基本结构模型作为理论依据遴选绩效评价指标，再用德尔菲法为评价指标赋值，构建绩效评价指标体系，以期为政府购买职业技能培训服务的绩效评价提供评判工具。

一、政府购买职业技能培训服务绩效评价指标遴选

绩效评价指标体系构建首要的是遴选评价指标。评价指标既是对评价对象进行评价的计量工具，也是评价指标体系的载体。为保障遴选出的绩效评价指标准确和公平，保障绩效评价指标体系简单、易操作，本研究采用关键绩效指标法和平衡计分卡法进行评价指标遴选。

（一）利用关键绩效指标法遴选绩效评价指标

1.关键绩效指标法的理论和遴选依据。关键绩效指标（Key Performance Indicator，KPI）又称“二八定律”，是从工作流程的关键性成功因素中提炼和归纳出若干具有强烈目标导向的、最具代表性的、易量化操作的绩效评价指标方法。目前，许多企业的绩效评价指标就是采用这种方法构建的。因此，在政府购买职业技能培训服务绩效评价指标体系构建中只需要遴选出关键指标即可。

2.利用关键指标法遴选一级指标。2020年财政部印发的《项目支出绩效评价管理办法》指出，“绩效指标包括项目的产出数量、质量、时效、成本，以及经济效益、社会效益、生态效益、可持续影响、服务对象满意度等”。据此要求，再以某地方政府职业培训补贴文件为细分基础，运用“二八定律”，将职业培训界定、资金发放、管理方式、业务流程、重点要求、目标实现等归类，找出最能反映绩效目标的关键指标。分析发现，在政府购买职业技能培训服务中，政府投入多少资金和投入资金的目的、措施或方法及是否达到目的是反映政府购买职业技能培训服务绩效目标最关键的内容。因此，本研究将投入指标、产出指标、效益指标和满意度指标设为政府购买职业技能培训服务绩效评价的一级指标。

3.利用关键指标法遴选二级指标。二级指标需围绕一级指标关键内容遴选。对一级指标“投入指标”进行分析，投入资金项目主要有职业培训补贴、鉴定费补贴、定向补贴、专项补贴等细目，这些补贴又可划分为培训投入、补贴投入两类，即围绕关键项遴选出一级指标“投入指标”的二级指标为“培训投入”“补贴投入”。依此，本研究对其他每项一级指标进行关键项分析，“产出指标”的二级指标为“提供职业技能培训项目”“提供职业技能培训机构”，“效益指标”的二级指标为“促就业缓解结构性矛盾”“提升企业经济效益”“促进区域经济高质量发展”，“满意度指标”的二级指标为“培训机构满意度”“企业培训中心满意度”“学员满意度”“用工单位满意度”，共遴选出二级指标11个。

4.利用关键指标法遴选三级指标。三级指标是对二级指标关键内容的再分解、再细化。例如，对二级指标“提供职业技能培训项目”分析，就是根据其提供的具体项目入手，将指标细化为“职业技能培训”“定向就业培训”“创业培训”“公共实训中心专项职业能力培训”4个三级指标；对二级指标“提供职业技能培训机构”分析，就是根据所能提供的培训机构来源分类，将指标细化为“公共实训机构”“职业院校（特指其职业培训）”“签约培训机构”“企业培训中心”4个三级指标。依此，对其他二级指标关键内容进行细化和分解，共得出三级指标46个（略）。

（二）运用平衡计分卡法遴选绩效评价指标

1.平衡计分卡法基本结构模型与绩效评价指标内涵分析。平衡计分卡是构建绩效评价模型的另一种重要方法。平衡计分卡法（BSC）是“以公司战略为中心，把企业及其内部各部门的任务和决策转化为多样的、相互联系的目标，然后再把目标分解成多项指标的多元业绩评价系统。它贯穿于财务、客户、内部经营、学习和成长等4个完整且相互联系的方面”②，如下页图1所示。

根据平衡计分卡法设置评价指标的原则和维度，对应平衡计分卡法结构模型“1个中心4个维度”来分析政府购买职业技能培训服务。作为“使命与战略”的政府购买职业技能培训服务，其目的是提升人才技能水平、调整就业结构、促进经济发展，这是职业技能培训服务的中心任务；“财务维度”就是政府投入财政资金，通过资金的杠杆撬动作用，保障职业技能培训工作落到实处，保障参加培训人员技能水平有所提升；“流程维度”是政府投入资金选用培训机构、建设培训平台、制定考核流程等，加强内部管理，对提供的服务项目考察评判，使政府的资金投入能产出效益达到目的；“学习与成长维度”则是通过政府购买职业技能培训服务，使参培学员、培训机构、培训中心、管理单位各方面都参与其中，各司其职、各尽其能，把职业技能培训这件事做好做实，共同受益、共同成长；“顾客维度”是政府购买职业技能培训服务中通过资金调配和内部管理，调动各方积极性，使参加培训学员、培训机构、用工单位都有所收获，达到满意。

通过分析政府购买职业技能培训服务与平衡计分卡模型各个维度的关系，可将政府购买职业技能培训服务的“1个中心4个维度”标记为：使命与战略=职业技能培训，财务维度=资金投入，学习与成长维度=培训成效，流程维度=提供服务，顾客维度=满意程度，其新模型如图2所示。

新模型因果关系链中，“职业技能培训”是核心，是政府购买职业技能培训服务的总要求。提供“资金投入”是起点，它既指向“职业技能培训”这个战略中心，也向“培训成效”“提供服务”两个方向发力，并最终通过服务和培训让各方满意，从而实现提升人才技能这个总的战略目标。同时，“提供服务”和“培训成效”也与“职业技能培训”有着互动关系，在资金的杠杆调剂作用下，职业培训管理单位可以提供服务资金、培训项目，调动参与机构的积极性，培训中心、培训机构通过开展培训项目获得资金，参培学员则享受政策福利，免费参加培训提升技能水平、服务经济发展，由此实现政府购买职业技能培训服务的战略目标。

2.利用平衡计分卡遴选出绩效评价指标。综上分析，政府购买职业技能培训服务绩效评价的一级指标为资金投入、提供服务、培训成效、满意程度。二级指标则根据政府购买职业技能培训服务的政策要求、管理规程、服务项目、操作流程，并结合一级指标的中心内涵进一步细化。例如，一级指标“资金投入”可以再分解为“职业培训资金”“其他补贴资金”，“提供服务”可以再分解为“提供职业技能培训项目”“提供培训服务机构”，“培训成效”可以再分解为“促进就业缓解结构性矛盾”“提升企业经济效益”“促进经济高质量发展”，“满意程度”可以分解为“培训机构满意度”“企业培训中心满意度”“学员满意度”“用工单位满意度”。

（三）政府购买职业技能培训服务绩效评价指标的确定

1.整理合并两种方法遴选出的评价指标。采用两种方法遴选政府购买职业技能培训服务绩效评价指标时发现，除一级指标名称不一致外，遴选出的二级、三级评价指标基本一致。同時，通过对两个指标体系中一、二级指标内涵与外延的再分析发现，二者的内涵与外延高度相似。由此，本研究将两个指标体系进行合并处理，给予合并后的一级指标双冠名，在保留各自体系名称的同时，体现两种评价指标体系的不同。

2.邀请专家对遴选的评价指标确定。为确保评价指标与具体评价工作一致，在绩效评价指标初步遴选确定后，邀请职业技能培训、绩效评价、培训管理方面的专家对评价指标评判，然后根据专家反馈意见对评价指标进行整理和修订。本研究邀请了职业培训专家2人、财务管理专家1人、企业培训管理专家1人、人社部门培训管理专家1人，他们平均工作年限在8年以上，最长时间达16年。根据5位专家反馈意见整理、修订评价指标：一是重新对一级指标“投入指标（资金投入）”的二级指标进行了划分，增加二级指标“职业能力建设补贴”项，并将原三级指标“培训资源开发补贴”“设施设备购置费”调整到该项目下；二是删除了“职业培训总投入”“可选择培训的工种数”2个三级指标；三是对满意度项的定义词进行了调整，删除三级指标中“人社部门”一词，在二级指标下用括号注明是对谁的满意度调查；四是将二级指标“培训机构”和“企业培训中心”对人社部门的满意度合并为一个二级指标，新定义项为“培训单位满意度（对人社部门）”；等等。经过整理后的评价指标共有一级指标4个、二级指标12个、三级指标40个，详见下页表1。

二、政府购买职业技能培训服务绩效评价指标权重的确定

绩效评价指标体系是包括评价指标和权重的完整体系，不同的权重会对运用评价指标体系进行绩效评价产生不同的结果。为确保赋值准确有效，本研究邀请了15位相关领域专家，运用德尔菲法为评价指标赋值。15位专家中有正高职称6人、副高职称4人、其他5人，地域分布为10个省市，职业分布为高校教师、培训学校管理人员、培训教师、企业管理人员等。

（一）第一轮绩效评价指标赋值和结果分析

1.打分的集中程度。将遴选确定的评价指标分发给每一位专家，要求专家用百分制为一、二、三级指标的每个指标赋值。两周后，回收有效反馈15份。通过对15位专家反馈的赋值表进行统计分析，列出一级、二级、三级指标权重数据，计算出每一项指标的中位数、均值、最大值、最小值、标准差和变异系数。结果显示：一级、二级、三级指标变异系数绝大部分在 0.26～0.57 ，但三级指标中有8项指标的变异系数大于 0.60，其中“提高生产率”的变异系数达到了0.98，这表明第一轮赋值时专家对此项几个指标打分的分散度较大，需要再次进行专家意见征询。

2.打分的协调程度。使用SPSS 26.0软件对打分的协调程度进行统计分析，分别计算一级、二级和三级指标专家打分的肯德尔协调系数，然后对其进行卡方检验。结果显示：一级、二级和三级指标专家打分的肯德尔协调系数分别为0.098、0.256和0.277，说明一级指标协调程度很低，二级指标和三级指标协调程度偏低。经卡方检验，一级指标p值为0.220，不显著，不具有统计学意义。二级指标和三级指标p值均小于0.01，具有统计学意义。

由于第一轮专家赋值的变异系数较大，而且一级、二级和三级指标的协调度均不理想，研究人员决定进行第二轮专家赋值。

（二）第二轮绩效评价指标赋值和结果分析

1.第二次打分的集中程度。将第一轮赋值统计分析发给第一轮赋值的15位专家，请其依此结果并结合个人判断重新给出赋值。两周后，回收有效反馈15份。通过再次统计分析发现，一级指标变异系数在0.13～0.19；二级指标变异系数在0.16～0.32；三级指标变异系数绝大部分在 0.3上下浮动，只有“生活费补贴”和“提升经营管理水平”的变异系数大于 0.5，分别为0.51和0.60，表明此两项指标专家打分的分散度较大。综合考虑三级指标有40项，而且绝大部分在0.3上下浮动，出现2项分散度偏大的结果符合统计学要求，本轮赋值有效。

2.第二次专家打分的协调程度。对第二次专家打分的协调程度进行分析，结果表明：一级、二级和三级指标专家打分的肯德尔协调系数分别为0.452、0.556和0.425，与第一轮肯德尔协调系数相比有明显提高，显著性检验P＜0.05，说明专家意见协调程度较好，结论比较可靠。

（三）确定绩效评价指标权重

通过两轮专家赋值和统计分析可知，两轮赋值基本达到德尔菲法权重赋值的效果，而且专家的意见也趋于一致，因此不再进行第三轮赋值。“参考各级指标权重专家第二轮打分的平均值和中位数”③，对数据进行圆整，最终得到政府购买职业技能培训服务绩效评价指标体系（见下页表1）。

三、抽查部分指标进行可行性验证

指标体系构建完成后，采用问卷调查法进行样本抽查，勘验指标体系的可行性。本研究主要抽查指标体系中需要抽样的二级指标，调查对象为某地区参加职业技能培训的学员（含在职培训）、用工单位、培训单位。

（一）“促进就业缓解就业结构性矛盾”抽查

针对“促进就业缓解就业结构性矛盾”指标，有10287位学员参加问卷星调查，对8717份有效问卷统计显示：经培训后，就业人员的培训专业都与就业专业相关，学员全口径就业率为53.01%，自主创业比例为4.86%，未就业比例为42.13%。其中，在职人员培训中，在智能科技、生物制药、新能源、高端装备、汽车、石油化工、航空航天等高新产业就业的人员占在职培训人员的62.2%。可见，开展职业技能培训对于稳定就业规模、改善就业结构起到了关键作用。

（二）“提升企业经济效益”抽查

针对“提升企业经济效益”指标，对100家用工单位进行了问卷调查，发放问卷 100份，回收有效问卷94份。结果显示：100%的企业认为开展技能培训可提高企业生产率，其中，选择明显提高的占46.81%；96.81%的企业认为开展技能培训可降低企业生产成本，其中，选择明显降低的占37.23%；97.87%的企业认为开展技能培训有助于提高产品质量或降低服务的投诉率；98.94%的企業认为开展技能培训可改善企业经济效益，其中，选择明显改善的占42.55%；98.94%的企业认为开展技能培训可提升企业经营管理水平，其中，选择明显提升的占45.74%。可见，大部分企业认为职业技能培训能够促进企业技术进步和经济效益提升，但是对于降低企业生产成本方面还有待进一步提升。

（三）满意度抽查

满意度抽查包括三个方面：一是培训单位对人社部门的满意度，考察人社部门的服务和管理；二是学员对培训单位的满意度，考察培训单位的教学、师资、条件和管理；三是用工单位对培训后学员的满意度，考察学员的适岗能力、职业技能和综合素质。

本研究对150家培训单位开展满意度调查，发放并回收问卷150份，去除无效问卷4份，问卷有效率为97.3%。结果显示：培训单位对人社部门开展职业技能培训补贴审批流程高效与便捷的满意度为97.5%，对培训补贴发放及时性的满意度为96.9%，对日常管理和检查规范性的满意度为98.3%，对信息发布及时性和便捷性的满意度为98%。可见，培训单位对人社部门开展职业技能培训的满意度基本处于“非常满意”“满意”的状态，对日常管理和检查规范性的满意度最高，而对培训补贴发放及时性的满意度略低于其他指标。

另外，有10287位学员参加了对培训单位满意度的调查，去除重复答题、无效答卷1570份，问卷有效率为84.7%。结果显示：学员对培训单位的培训内容、培训方式、理论教学、实践教学、师资、场地与设备、安全管理的满意度均在99%以上，对职业技能培训整体效果的满意度为99.83%。可见，无论是对培训单位的教学，还是对培训的整体效果，其满意度均处于较高水平。

同时，本研究还对用工单位的满意度进行了调查，发放问卷100份，回收有效问卷94份。结果显示：用工单位对培训学员适岗能力、职业技能、综合素质等方面的满意度分别91.4%、92%、91.2%，均在90%以上。可见，大部分用工单位比较认可员工参加培训后在各方面取得的进步，认为员工在经过系统的理论学习和技能培训后，适岗能力有所增强，知识结构有所改善，职业技能有所提高，综合素质有所提升。

综上证明，本研究构建的政府购买职业技能培训服务绩效评价指标体系具有可行性和研究价值。

四、讨论

本研究是针对政府购买职业技能培训服务绩效评价指标体系构建进行的专题研究，理论上可为其他绩效评价指标体系构建研究提供借鉴，操作上可为政府购买职业技能培训服务绩效评价提供评价工具。但需要注意的是：该绩效评价指标体系中有些指标需要用具体数据支撑，而能提供这些数据的一些企业或单位又不能给出具体数据或无法给出数据，因此，处理此类指标时需要审慎考虑。此外，政府购买职业技能培训服务是根据社会发展和经济发展需要而制定的阶段性政策，政府会随着经济发展和社会需求变化调整方向或资金的支持重点，地区不同出台的政策也会不同，因此，绩效评价指标体系也不是一成不变的，要与时俱进。总之，要让绩效评价指标体系这个工具为达到绩效评价目标服务。

［注释］

①薛建菁.政府购买服务绩效评价指标体系构建思考［J］.市场周刊，2021，34（11）：120.

②殷俊明，王平心，吴清华.平衡记分卡研究述评［J］.经济管理，2005（2）：45.

③刘斌，邹吉权.“双高计划”绩效评价指标体系内涵分析与权重确定［J］.中国高教研究，2021（4）：101.

［参考文献］

［1］陈岳堂，首家荣. 政府购买职业培训服务的博弈关系研究［J］.湘潭大学学报：哲学社会科学版，2019（5）：47-52.

［2］陈保荣.职业教育与产业结构协调性研究［J］.成人教育，2020（7）：51-56.

［3］付雪凌.德国就业培训政策研究［J］.职教通讯，2007（11）：31-33+40.

［4］陳雪.安徽省政府购买公共服务绩效评估体系研究［D/0L］.合肥：安徽大学，2016［2022-12-22］. https：//kns.cnki.net/kcms2/article/abstract？v=3uoqIhG8C475KOm_zrgu4lQARvep2SAkfRP2_0Pu6EiJ0xua_6bqBhtdk58f0A_8xG7C7zbgqtJwhA8ZiLTwVEZtUJfS4Ma1&uniplatform=NZKPT.

［5］邓金霞.政府购买公共服务：演化路径及其条件［J］.上海行政学院学报，2019（2）：22-32．

［6］张萌，王家耀，吴建，等.政府购买绩效合同管理基本农村公共卫生服务评价指标体系的研究［J］.中国卫生经济，2011（12）：54-56.

［7］张璇.政府购买公共服务绩效审计评价体系研究［J］.审计月刊，2015（2）：8-11．

［8］韩伟静，李红，岳卫丽.农民工职业教育培训评价体系建构［J］.统计与决策，2016（16）：64-67.

［9］刘国永，熊羽.全面实施预算绩效管理视角下政府购买服务绩效评价体系构建［J］. 财政监督，2019（4）：10-20.

［10］沈绮云，欧阳河，欧阳育良.产教融合目标达成度评价指标体系构建——基于德尔菲法和层次分析法的研究［J］.高教探索，2021（12）：104-109.

［11］温素彬，郭昱兵.关键绩效指标法：解读与应用案例［J］.会计之友，2020（19）：148-153.