ERP实训课学习过程性评价体系的构建与实践

王 泓

(沈阳师范大学 软件学院, 沈阳 110034)

0 引 言

过程性评价又称为形成性评价,是在教学过程中即时、动态、多次对学生实施的评价,它注重及时反馈,用以强化和改进学生的学习[1]。近年来,关于过程性评价的应用和研究越来越多,张俊超等人研究发现过程性学习评价对学生学习投入度和学习效果均有影响[2],过程性评价的教学研究在幼儿园、小学、中学、高中基础阶段都已经开展[3-6],我国高校最早引入过程性评价是大学英语课堂,袁树厚等对2002—2016年之间关于外语教学形成性评价相关研究文献进行统计和分析,结果显示,研究视角不断学科融合,研究内容由过程性评价向动态即时评价发展[7]。之后过程性评价也被应用到理工类、人文社科类、艺术体育类和中西医学类的不同课程当中,但从袁伟对高校实践教学形成性评价的现存问题进行的研究中发现:目前, 理工类相关专业对于实践教学形成性评价体系的研究较为薄弱。构建合理全面的评价指标体系是理工类专业实践教学研究的重点[8]。林萍等以企业ERP电子沙盘模拟对抗课程为例,基于UbD(理解性教学设计)的“逆向设计”和“过程性评价”思想来设计课程环节和评价指标方案[9]。古平等人针对计算机实践教学中的突出问题,提出一种面向程序设计类试验的形成性评价体系[10]。由于ERP实训课程是本校软件学院计算机科学与技术专业下的一门综合实训类课程,与管理类ERP电子沙盘和理工类的程序语言设计类实验都有所不同,所以本文希望通过分析ERP实训这一课程的特点,设计出符合该门课程要求的过程性评价指标体系,然后根据该指标体系对本课程的教学数据进行收集,获取相关的数据集。最后使用SVM[11](Support Vector Machine支持向量机)数据挖掘技术对收集到的样本数据集进行评价和分析。

1 ERP实训课程引入过程性评价的必要性分析

传统的《ERP实训》课程[12-13]还是主要采用结果性评价方式,即:实验报告+虚拟系统成绩+平时成绩作为评价依据,把重点都放在学生学习结果的价值判断上,缺少形成结果的过程中其他因素的考核和评价,如学生素养、知识点掌握、能力增长和创新能力等。而过程性评价通过定性和定量结合的方法,可以更好地从多个角度对学生的学习情况进行概括和对比,提供个体的差异性评价。

实训课程重在培养学生的实际应用和应变能力,通过过程性评价方法可以把在实际操作过程遇到的问题进行统计并记录学生解决问题的能力。这样就能够把过程性评价融入到实训的教学过程中,更好地帮助学生在培养其专业能力的同时进一步发展他们的创造型思维。

2 ERP实训课程过程性评价目标体系

过程性评价是希望能够更为客观、多方面、多维度地反映出学生在学习过程中的各种表现的一种评价方法。根据ERP实训课程以及过程性评价的特点,建立出基于任务的、难度逐步递增的七大模块和三大维度的课程体系。其中七大模块包括: SAP GBI介绍、SD(销售和分销)模块、MM(物料管理)模块、PP(生产计划)模块、FI(财务会计)模块、CO(成本会计)模块和WM模块(仓库管理)。三大维度的基础练习部分(Exercise)主要着重熟悉和掌握各业务的简单操作流程,案例练习部分(Case Study)主要通过基于具体任务的案例让学生熟悉综合业务的复杂操作流程,挑战练习部分(Challenge)主要强调独立分析以及运用能力,在没有任何提示下给出一个全新任务来具体考察学生的实际应用所学知识的能力。

表1 各部分考核比重

对于构建过程性评价指标来说, 应该遵循“评价有法, 评无定法, 因课而异”[14], 即针对不同专业, 不同课程, 即使是同一专业下的不同课程, 根据其教学要求、学生情况等制定不同的评价内容和形式。本课程是参考林怡的《高校课程学习过程性评价的实践研究》一文中给出的实践课程的过程性评价指标作为参考, 并结合ERP实训课程的教学大纲要求以及本校软件学院本科学生的学习特点, 从学习态度、学习过程、学习效果和创新能力这4个方面来构建学习过程性评价指标体系, 具体内容如表2所示。

3 过程性评价的实施

过程性评价的实施是一个收集→反馈→再收集→再反馈的多次循环迭代的过程。对于ERP实训课程来说,三大维度的项目内容是逐级递进的,难度也具有一定的跨越性。

根据ERP实训课程的安排,本类课程包含的实验可以大体分为2类:一类是基础性的实训内容,另一类是创造性的实训内容。ERP课程实训前期是基于多任务的基础性实验,主要是熟练使用ERP系统,完成若干个系统模块内容的操作。第二类实训内容是基于一个虚拟项目,通过经营一家公司,让一组学生作为公司的管理团队,持续经营6～8期。

3.1 数据的收集和整理

根据表2的学习过程性评价体系,每组数据有10个指标,每种属性有一定的取值范围,数据样本有10个输入和1个目标输出组成,构成学生的向量。学生的ERP实训课程的学习过程性评价等级分为5类,即:优秀、良好、中等、及格和不及格。根据表2的指标体系,把相关数据进行整理,取得73份数据作为训练样本和测试样本数据,并代入指标体系。

表3 过程性评价数据集

3.2 数据预处理

在进行数据分析之前,很重要的一步就是进行数据预处理。scikit-learn(sklearn)[15]是一个开源的基于Python语言的机器学习工具包。本文中数据的预处理通过比较分析,采用sklearn下的Impute模块来填补缺失值,proprocessing.StandardScaler 模块进行数据的归一化处理。

3.3 采用SVM进行评价

支持向量机(support vector machine, SVM)由Vapnik于1995年提出,主要用于解决二值分类模式识别问题[11]。SVM方法建立在统计学VC维和结构风险最小化原则上,具有良好的鲁棒性,对未知数据拥有很强的泛化能力,特别是在数据量较少的情况下,相较其他传统机器学习算法具有更优的性能。学习过程性评价是一种分类问题,并且是一种多分类问题。本文是使用sklearn模块下svm.SVC类来完成的。

通过对评价指标体系及数据进行初步分析(见表4),可以看出评价指标与评价结果两者呈现出明显的非线性关系。

表4 不同的核函数的评价结果对比

使用python sklearn来实现多分类SVM,选用RBF(高斯径向基)函数来作为多分类SVM的核函数,对于高斯径向基核函数,需要调节gamma和coef0这两个参数。通过测试和分析学习曲线,得到gamma=0.042,coef0=22.04,分类结果0.986。

图1 Coef0学习曲线

图2 Gamma学习曲线

4 结 论

2018年8月,教育部《关于加强高校课堂教学建设提高教学质量的指导意见》中提到:要求高校切实加强过程考核,增加过程考核成绩在课程总成绩中的比重,而传统教学中难以把握对学生学习的监控。本文根据ERP实训课程的特点,制定了该门课程的过程性评价指标体系,应用Python下的sklearn模块对收集到的样本数据集进行仿真实验并得到较好的准确率0.986。通过把过程性评价引入实训课程能更准确反映学习过程,提升过程性评价的科学性。