“双高计划”下在线开放课程质量评价和提升

瞿惠琴 吴孔培

(无锡职业技术学院,江苏 无锡 214121)

教育部、财政部公布的中国特色高水平高职学校和专业建设计划(以下简称“双高计划”)作为《国家职业教育改革实施方案》的重点项目,是教育部在职业教育领域的一次重要制度设计。“双高计划”要集中力量建设一批具有引领作用的高职学校和专业,大幅提升新时代职业教育现代化水平[1]。《关于实施中国特色高水平高职学校和专业建设计划的意见》指出,要适应“互联网+职业教育”需求,推进数字资源、教育数据共建共享,建设智慧课堂,广泛应用线上线下混合教学,促进自主、泛在、个性化学习。高职院校建设和改进在线开放课程,是立足“双高计划”建设背景,促进优质课程资源共享,升级高职教育服务供给模式,提升师生信息素养的因应之策。在线开放课程历经6 年时间的发展,形成了国家、省、校三级精品在线开放课程体系,尤其在疫情防控期间“停课不停学”,在线开放课程为处于高峰期的在线教学提供了重要支持[2]。质量是在线课程持续发展的关键,高职院校如何在“双高计划”中有效提升在线开放课程的质量,推出一批高水平且具有高职特色的在线课程,促进高职教育服务升级,引领职业教育高质量发展,是“双高计划”建设中持续关注的问题。基于此,以无锡职业技术学院“自动检测与传感技术”在线开放课程为样本,研究面向课程改进的质量评价方法,再依据质量评价结果,探索提高在线开放课程质量的有效措施。

一、课程质量评价的方法研究

“自动检测与传感技术”课程自立项为江苏省在线开放课程后,主要以MOOC 形式在中国大学MOOC 平台开课。课程通过讲授传感器实际应用中的知识和技能,使学习者能基本掌握典型传感器的工作特性和使用方法,并提升检测系统装配和调试的技能。课程受众定位是关注传感器技术的用户、高职电类专业学生、爱好电子创新制作的学员等,由于中国大学MOOC 平台面向全社会开放,从课程用户来源划分,主要分为本校学生和社会学习者两类,其中社会学习者占较大比例,他们也是课程质量评价的主体。

“双高计划”要求促进优质课程建设,因此实施在线开放课程的质量评价,对课程而言,能促进其质量的提升。就高校层面,不仅对引入的在线课程有了认定标准,还提高了本校在线课程的输出率。学术界对课程质量评价的方法进行了多角度的研究和实践,杨晓宏等认为,应从“在线开放课程的教学特性”和“价值主体需要”两个维度综合考虑在线开放课程质量的内涵[3];李运福等提出在线课程质量的评价主体呈多元化,要重视数据价值的挖掘[4]75;黄璐等提出了从“满足学习者内容需求”的视角来评价在线课程内容质量[5];李爽等采用扎根理论研究方法,综合三类评价主体的质量观,定义出九个在线课程质量要素[6]46;冯雪松等提出一种面向课程改进的评价体系,挖掘在线课程平台中的相关数据作为课程量化评价指标的重要依据[7]72。以上研究成果指出了在线开放课程质量评价的主体是学习者,学习者更重视课程内容能否满足其知识需求,从学习者角度来遴选课程质量要素,再通过分析学习数据来评价质量要素达成度,最终认定课程教学质量。

二、课程质量的评价模型

借鉴学术界的研究成果,结合“自动检测与传感技术”在线开放课程的教学特性,将课程目标、学习内容、学习支持、实施效果确定为课程的四个核心质量要素。从“学习者需求”的视角发掘,每个质量要素都有其内涵,同时四个质量要素之间也有递进关系,根据课程目标来确定课程学习内容,学习内容以项目方式呈现,不同的学习项目支持服务手段也有改变,而最终实施效果也反映出课程目标、学习内容和学习支持设计的合理性。采用面向课程改进的评价方法,建立在线开放课程的质量评价模型,如图1 所示。

图1 课程质量评价模型

课程目标对课程设计与实施具有重要导向作用,合理的目标设计是保证课程质量的前提。课程目标作为质量要素,主要评价课程目标的设计是否符合学习者需求,是否符合培养计划,目标是否分层设计,目标的达成度是否可以测评。学习内容是课程拟帮助学习者构建的知识体系,是课程的核心,也是课程教学质量的基本保障。学习内容质量要素的内涵体现在内容选择、内容呈现方式和内容组织三个方面。学习支持服务主要评价在课程教学实施过程中导学、促学和助学活动开展情况。实施效果能一定程度上反映出课程实际带给学习者怎样的体验和学习成效[6]48。实施效果主要通过用户活跃度、学习满意度、成绩合格率等指标来评价。

三、课程质量的量化评价

相比模糊定性的评价指标,量化的指标更具可操作性,在线课程平台所具备的数据统计和挖掘功能,恰好能够促进课程的量化评价[8]。“自动检测与传感技术”课程在中国大学MOOC 平台连续开课三期,其中第一期课程以SPOC 形式小规模运行,为了更全面评价课程的教学质量,选取第二、三期开课积累的应用数据作为研究样本,对课程质量进行量化评价。

(一)课程目标维度的质量评价

对课程目标适切度的评价采用量化指标和定性研究相结合的方法,选课人数能够大体反映课程的受关注程度以及课程目标与学习者需求的符合度。MOOC 平台统计第二期课程选课人数514人,其中校内选课人数32 人,第三期选课人数2062 人,其中校内选课人数487 人,第三期的总选课人数比第二期增加了3 倍。在第三期课程中对本校学生采用了中国大学MOOC 平台和慕课堂教学工具相结合的教学手段,通过慕课堂对本校学生发布课程质量调查问卷,回收问卷461 份,其中81.2%的学生认为课程目标设计合理,能够达成。MOOC 平台暂未提供问卷调查功能,所以社会学习者对课程目标适切度的评价数据较难统计,由于社会学习者的知识性需求差异较大,理论分析社会学习者的评价数值要低于校内学生。

(二)学习内容维度的质量评价

在线开放课程的内容选择、组织和呈现方式直接影响着学习者的体验,良好的学习体验才能促进其完成课程的学习任务。课程学习内容主要是通过视频来呈现,MOOC 平台统计了每个视频的观看人数,观看人数与总选课人数的比值即为该视频的观看比例,再对本期课程已发布视频的观看比例求平均值,最终得出课程视频的平均观看比例,第二期课程视频平均观看比例为2.15%,第三期课程为13.18%,视频学习的平均值提高了5.1 倍。再从课程视频的角度来看,因为每个视频的观看比例都能统计出来,所以如果在连续几期的课程中某个视频的观看比例都很低,说明学习者对该视频的内容价值评价较低,因此视频的观看比例可以作为评价课程视频质量的一个量化指标,参考观看比例可筛选出需要改进的视频。

与课程视频类似,学习者浏览课程文档和富文本的比例,参与随堂测验、随堂讨论、单元测验、单元作业的比例都可以统计得出。以上从学习者视角提取的评价指标统计结果如图2 所示,图2的评价数据一方面表明了学习者参与课程学习的程度,另一方面也反映出课程内容的质量满足学习者需求的程度。第三期课程的各项数据都高于第二期课程,分析原因是课程团队对课程内容和结构做了改进,使其更符合学习者的内容质量需求,提升了课程的学习体验。

图2 学习内容维度质量评价结果

从慕课堂统计的线上课程数据发现,本校学生观看课程视频、参与线上教学活动的平均比例要高于社会学习者,分析原因是本校学生有教师引导和监督其在线学习进程。由于本校学生占总选课人数比例较低,且他们更重视线下课堂的学习任务,线上课程作为学习补充,而不同教师的教学引导也有差异,所以本校学生的学情数据对MOOC 平台总体质量评价结果影响较小。

(三)学习支持维度的质量评价

学习支持贯穿整个在线教学过程,良好的学习支持服务能促进学习者持续高效地学习。在线开放课程的学习支持与课程团队分不开,除了及时发布课程简介、学习方法指导、课程单元内容外,对课程教学的跟踪和监控主要由课程团队完成。在MOOC 平台上与学习支持相关的评价指标有课程团队人数、发布公告数、发布课堂讨论数、课堂讨论回帖数、论坛总主题帖数、论坛总回帖数、教师回帖数、参与论坛互动的人数等,通过课程后台提取两个学期中以上各项指标的统计数据,再计算两个学期数据的比例关系,最终得到学习支持维度的质量评价结果,如图3 所示。随着课程团队的扩大,平台上发布公告数、论坛总主题帖数、教师回帖数等随之增加,又因为第三期课程的选课人数增长,参与论坛互动的人数增加了16倍,课堂讨论回帖数和论坛总回帖数分别增加了10 倍和5.7 倍。课堂讨论和论坛是师生、生生之间交互的主要渠道,讨论回帖数和论坛回帖数的增加反映出第三期课程的活跃度得到提高。论坛总回帖数与总主题帖数之比能反映出交互的深度[7]75,第二期课程的比值是23.8,第三期课程的比值是37.9,可知第三期课程中师生、生生间的讨论和交流更加深入。课程的活跃度、课堂交互的广度和深度与学习支持服务分不开,而以上相关指标的量化评价结果也表明第三期课程的学习支持质量高于第二期课程。慕课堂仅统计了本校学生参与讨论的数据,并且慕课堂上发布的公告和讨论主题大多数是对应线下教学活动,不同的课堂发布的公告、讨论次数、讨论主题也不相同,所以慕课堂有关学习表现的统计数据不作为学习支持维度质量评价的参考依据。

图3 学习支持维度质量评价结果

(四)实施效果维度的质量评价

课程质量不仅体现在教学活动、资源和技术环境,还应体现在课程的实施效果上。与实施效果相关的评价指标包括课程退选人数、活跃用户、参加单元测验、作业和考试的人数、成绩合格率等。由于两期课程选课人数相差较大,所以对以上指标数据分析时采用了比例值,其中退选人数、活跃用户、参加单元测验和作业的人数比例是实际参加的人数与总选课人数之比,参与考试的人数比例是实际参加考试人数与去除退选人数后的有效选课人数之比。MOOC 平台根据评分规则计算出每一名学习者的综合成绩,其中成绩达到合格的人数与有效选课人数之比为成绩合格率。两期课程的实施效果评价数据如图4 所示,第三期课程的退选人数比例稍高于第二期课程,分析原因是第三期课程后期教学资源质量下降,作业难度较大,导致退选人数增加。每期课程中参与单元测验的人数都大于参与作业的人数,分析原因是作业题的主观性较强、难度大,作业提交和批改的方式较复杂,所以学习者参与度较低。除了退选人数,第三期课程的其余评价指标数据比第二期都提高了,尤其是参与考试的人数比例增幅较大,通常坚持到最后的学习者会参与考试,考试人数增加反映出学习者对课程整体内容满意度的提高。虽然第三期课程的实施效果比第二期有了提高,但是两期课程的成绩合格率都偏低,主要原因是单元测验和作业的完成率较低。合格率是比较能够综合反映课程质量的指标之一[7]76,如何提高成绩合格率是课程后续要着重研究的问题。

图4 实施效果维度质量评价结果

四、课程质量的提升策略

围绕四个核心质量要素,对“自动检测与传感技术”两期在线开放课程进行质量评价,评价结果表明第三期课程的质量在四个维度都得到提升。质量的提高源于课程的改进,比较两期课程在建设和实施过程中的异同点,研究提高课程质量的策略,为在线开放课程的优化和持续发展提供参考。

(一)课程目标维度的质量提升

在课程目标设计方面,第三期课程采用了目标分层,课程学员主要分为社会学习者和在校学生两类。在校学生学习时间相对充裕,常采用线上线下混合学习方式,他们也能进实验室完成实验;而社会学习者并不具备这些条件,他们更注重课程内容的实用性和启发性,如果课程视频中的实验都需要在实验室完成,而实验条件的限制又增加了学习的难度,课程对他们的吸引力就会下降。因此,把课程目标分层,社会学习者可以借助软件完成仿真实验;校内学生根据所在院校的实验条件来选择实验方式,既可以通过软件仿真学习,也可以进实验室实际操作,提升技能。课程目标分层后,课程内容和考核标准也相应变化,课程增加了软件仿真实验教学的内容,考核题基础部分只包含仿真实验的内容,实验室操作内容的考核作为附加题,只有正确完成基础题和附加题,才能获得优秀,如此也实现了考核分层。

当前网络教学平台和在线开放课程的类型、数量都很丰富,学习者的选择范围很大,而适度的推广可以提高课程的关注度。第三期课程开课前,除了在MOOC 平台发布公告,还通过学校微信公众号对课程做了推广,这些措施也会促进选课人数的增加。

(二)学习内容维度的质量提升

第三期课程在学习内容上的改进主要表现在课程视频的增补和修改。第二期课程视频个数60,视频总时长319 分钟,总体内容量偏少,课程知识体系单薄,因此第三期课程重新切分了知识点和技能点,对应每个知识、技能点补充或修改课程视频,对涉及实验操作的知识技能点,提供了软件仿真实验和实验室实验两种方式的学习视频,并标注说明,由学习者自行选学。第三期课程视频个数125,视频总时长825 分钟,平均时长6.6分钟,由于课程目标分层,所以学习者实际需观看的视频时长约为700 分钟,课程周数为10 周,每周平均视频时长约为1.2 小时,按照一周5 天的学习时间核算,学习者每天观看的视频时长约为14 分钟,约两个视频。Philip J.Guo 等研究发现,视频长度是最影响学习者投入程度的一个指标,学习者投入时间中位数小于6 分钟[9],因此第三期课程对每个视频时长都做了限制,时长不超过8 分钟,以提高学习效率。视频质量的提高是参照每个视频的观看比例,筛选出观看比例较低的视频,对视频的内容或表现方式加以改进,并观察该视频后期观看比例的变化。除此以外,课程周数、每周的视频学习量、测验和作业的数量的合理设置,也提升了学习者对课程内容的满意度。

(三)学习支持维度的质量提升

学习支持服务的优化需要课程团队有效利用课程平台和其他教辅工具来实现。第三期课程增加了团队教师人数,并且根据每位教师的工作特点来分工,学习支持主要由发布公告、论坛管理、课堂讨论、作业批改、慕课堂管理等项目组成,每个项目都有对应的教师负责管理,另外还从本校选拔优秀学生成为课程助教,协助教师开展学习支持工作,课程团队的扩大和明确分工有效提高了学习支持的质量。

第三期课程中发帖排行榜前5 名都是教师,论坛精华区的主题帖大多数也是由教师发起,课程团队适时发布一些讨论话题,能活跃论坛的氛围,而课程团队主动发帖和及时回帖,又加强了师生、生生之间的交互深度,因此第三期课程的论坛热度远高于第二期课程。

从学习者在论坛的留言中也发现平台公告的重要性,尤其是新章节、新测验发布时,很有必要在平台发布公告,使学习者能跟随课程节奏走。慕课堂具有问卷发布功能,问卷调查便于教师快速掌握学情和对课程教学的质量评价,因此采用慕课堂作为混合教学的辅助工具,能更利于提升学习支持服务的质量。

(四)实施效果维度的质量提升

课程实施效果的优化是其他核心质量要素提高后的综合表现。在评价学习效果时,练习和考核是非常重要的环节,为了鼓励更多的学习者参与考试,第三期课程调整了评分规则。首先,评分标准中“优秀”的分值要求降为85 分;其次,适当增大单元测验和课程讨论在总分中的占比,降低单元作业的占比,原因是单元作业次数较少,作业以主观题为主,采用学生互评的方式,花费时间较多,完成率不高。再次,在题型题目设置方面也做了改动。由于填空题错判率较高,所以在课程的客观题中减少了填空题型,以选择、判断题为主;课程的结课考试题中50%的题目源自前期随堂测验、单元测验和作业,以此鼓励学习者持续学习课程,按时完成练习。

五、结语

“双高计划”引领了高职教育新一轮改革建设,以“双高计划”建设为契机,改进在线开放课程,既是机遇,更是挑战。质量永远是在线开放课程的生命线[4]70,要提升课程的质量,首先需要排查出课程的薄弱环节,其次再对症下药,研究面向课程改进的方法。以“自动检测与传感技术”课程为样本,建立了课程的质量评价模型,基于四个核心质量要素对课程进行质量评价,通过量化比较连续两期课程的评价数据,提取出质量提升较大的指标点,总结出课程实施中提高质量的策略;而对质量提升较小或下降的指标点,分析原因,提出改进的方法。随着一期期课程的实施,从质量评价到课程改进,依此循环执行,课程质量将逐步提高,课程进入持续发展的轨道。由于课程思政建设成效已纳入“双高计划”评价,而专业课程教学是课程思政的最主要依托[10],所以在线开放课程下一步改进的重点是在课程目标和内容中融入思政元素,课程思政成效也须纳入课程质量评价体系。