基于三维度视角的Moodle课程综合评价系统研究

沈良忠+昝乡镇

【摘 要】 MOOCs浪潮深刻影响了网络课程建设及教学应用，并广泛引起人们对网络课程评价问题的研究。文章针对Moodle平台的课程评价问题，从教学管理部门的实际需求出发，提出三维度视角的课程综合评价模型，设计统一的指标评分算法，采用层次分析法确定各评价指标权重，并基于Moodle系统现有框架以及数据库结构进行课程综合评价功能的二次开发。系统运行表明，评价结果能准确、客观地反映课程建设及使用情况，而且帮助教学管理部门实现了过程性监管。

【关键词】 Moodle课程评价；日志分析；层次分析法

【中图分类号】 G40-057 【文献标识码】 A 【文章编号】 1009—458x（2016）11—0071—06

一、引言

《国家中长期教育改革和发展规划纲要（2010—2020年）》中明确提出要加快教育信息化进程（汪基德，2011），《教育信息化十年发展规划（2011—2020年）》中强调要促进现代信息技术与高等教育的深度融合，完成教育的全面改革和创新（周剑云，2014）。由此可见，教育现代化要取得重要进展就必须发挥信息化的引领和支撑作用。当前，信息技术特别是互联网技术与传统教学的碰撞催生了当代网络教学平台，2011年从美国发展起来的慕课（MOOCS）平台成为网络平台教学典范（李曼丽，等，2013），随后国内“学堂在线”、“好大学在线”以及“爱课程”等慕课平台也相继出现。当代网络教学平台与传统在线静态教学资源展示型平台相比，不仅集优质教育资源、互动教学过程、实时教学反馈于一体，而且比以往任何时候都更加注重学生个性化学习的需求。

慕课平台课程面向全国甚至全世界开放，不仅需要较好的硬件设备，而且需要专业的视频制作团队、教学设计团队和后期运维团队，普通高等院校难以维持。因此，各高校纷纷引进各自的网络教学平台，如Blackboard、Moodle等课程管理系统。笔者所在高校于2011年引进Moodle系统，迄今已经完成网络课程建设近100门，目前Moodle系统积累的教师建设的各类资源活动数超过4万个，学生提交的作业、测验、讨论等总次数超过35万次，每学期产生的师生操作日志高达200多万条。Moodle系统支持课程资源呈现、课堂教学、师生互动、模块评价等教学环节，而且集课程内容自定义设计和教学全过程记录功能于一身，为教师在线教学互动提供有力的技术支持。但是，在教学评价方面，Moodle系统提供的各教学模块评价功能是相对独立的，使得针对教师、学生和课程等的综合评价难以有效开展。数据是基础性资源，也是重要的生产力，如何把Moodle系统的原始数据转换成有价值的信息并实现数据可视化是大数据时代的重要课题，也是科学合理地评价Moodle课程、衡量教师Moodle课程工作量的重要依据。教学管理部门发现针对传统课程的评价体系并不适用于Moodle课程，而Moodle系统模块独立的特点又使得Moodle课程综合评价难以有效开展。本文以Moodle课程为研究对象，通过数据分析与学习技术构建其综合评价体系及评价模型，充分利用现有Moodle系统的教学模块评价功能，通过二次开发实现Moodle课程的综合评价功能，从而实现Moodle课程建设使用的过程性监管和实时动态的综合性评价。

二、日志数据的统计分析

Moodle系统具有强大的日志功能，可以完整记录教师、学生与各教学模块之间的所有交互数据，甚至包括每次登录和退出。显然，数据库所积累的海量日志数据为了解课程建设及使用情况、教学模块师生访问偏好以及评价教师教学与学生学习提供了非常有价值的信息。以往研究者针对单门课程的学习过程日志记录，利用统计分析技术分析师生群体的平台访问行为特点，并针对师生论坛交互数据，利用UCINET生成了师生交互网络（魏顺平，等，2015）。

要构建Moodle课程的综合评价体系，首先要通过数据统计掌握课程评价涉及的主要观测点。Moodle系统提供了十多种教学模块用于课程内容自定义建设，如测验、聊天、论坛、投票、词汇表、互动评价、问卷调查及维基协作等，然而由于传统教学的诸多限制以及对新技术、新模式的接受程度有限，实际教学中经常使用的教学模块具有相对普遍性。汇总我校Moodle系统历年日志数据发现，师生频繁访问的教学模块如图1所示。

教学模块如作业、课程、论坛、测验、资源是师生频繁访问的，投票、维基协作等则使用较少。用户模块主要体现用户信息操作，不建议作为课程评价观测点。通过比较，发现以下结果：① 学生访问中作业和测验的总占比为40%，说明任务驱动型学习特征明显。与测验相比，学生较低的作业访问量说明课程作业少、上交率低的现象普遍存在，研究发现教师批改作业和反馈不及时影响了学生提交作业的积极性。学生较高的测验访问量说明大部分课程针对测验采取了“多次测验、取最高分”的策略，以便吸引学生多次参与课程测验。② 师生论坛访问量总占比为38%，说明师生对于不受时间、空间约束的在线互动交流形式比较热衷，研究表明部分内向的同学也积极参与了论坛互动，但是相对而言学生参与论坛的积极性还有待于进一步提高。③ 师生的资源访问量均较低，说明教师在优质教学资源的建设方面存在明显不足，微视频、微课件等适合碎片化学习的现代教学材料的缺失导致学生学习的积极性、主动性不高，同时也无法满足学生业余时间个性化在线学习的需求。④ 教师对作业及测验模块的访问差别充分说明现有测验主要还是以系统能够自动判分的客观题为主，主观题很少或没有。对日志数据的深入分析可以揭示更多访问偏好，高曼如等（2016）在其研究中指出，学生访问系统的三个峰值时间分别是10点、16点及21点，论坛交互数据的回归分析说明教师通过论坛组织讨论活动的力度与学生的参与度呈现正相关。

三、课程评价模型构建

（一）评价模型理论基础

Moodle系统是基于建构主义学习理论而开发的课程管理系统，它从本质上就认为教师和学生是平等的主体，应该在教学活动中相互协作、相互交流，并逐步根据自己已有经验共同建构知识（黄旌，2012）。因此，Moodle系统的模块化特点使得教师可以根据课程的特点自行设定所需要的各种教学活动模块，实现个性化的教；学生也可以根据学习需要向教师建议使用相关教学活动模块，实现个性化的学。

博耶尔在1995年正式提出“学习共同体”的概念，他认为“学习共同体”是所有人因共同的使命并朝共同的愿景一起学习的组织，共同体中的人共同分享学习的兴趣，共同寻找通向知识的旅程和理解世界运作的方式，朝着教育这一相同的目标相互作用和共同参与（全守杰，2007）。由此可见，学习共同体理论与Moodle系统设计理念有着惊人的契合度。因此，评价Moodle课程就是评价教师和学生基于Moodle平台，首先在平等互助的基础之上形成共同的学习目标，然后通过个人实践与合作实践完成知识的自我超越和自我构建，最终形成学习共同体的过程。李海（2016）指出，在这一教学过程中，教师的教、学生的学以及作为中介的课程是三大基本要素。

（二）评价指标体系构建

传统课堂教学通常缺乏针对课程的综合评价，即使有，其评价结果的数据支撑基础也非常薄弱。Moodle课程在课程资源、教学方法、教学互动等方面与传统课程差异明显。在课程资源方面，教学资料都以电子材料、视频资源等形式上传，由于Moodle课程学习更加注重学生自主构建知识，因此网络平台教学资源的丰富性、多样性将直接影响学生学习的积极性和主动性。教学方法通过教学材料在作业、测验、资源、论坛等模块的有效组织来体现，可以采用翻转课堂教学方法（沈良忠，等，2016）或者混合式教学方法（张其亮，等，2014）。在教学互动方面，师生互动通过网络实现向课前、课后的延伸，基于共同学习目标的师生学习共同体的构建，特别是学生作为构建知识的主体，其参与教学的广度和深度将直接影响课程教学效果。因此，Moodle课程评价包括三个方面：首先是课程建设，即教师前期在Moodle平台上针对课程准备在线教学资源的情况；其次是教师的教，即教学过程中教学内容的有效设计与组织、创新教学方法的应用以及教学完成后的在线和离线辅导；最后是学生的学，即学生根据教学进度安排，在教师的组织下参与课程线上、线下学习，特别是教学过程中师生间的互动协作。基于以上分析得到如表1所示的各层次评价指标。

由表1可见，评价模型的一级指标是教学过程的三大基本要素，命名为课程建设度、教师参与度和学生参与度。课程建设度的二级指标关注课程建设的静态内容展示以及动态活动开展，为鼓励网络试题库的建设同时将网络试题数量归入其中。教师参与度与学生参与度的二级指标则关注教师与学生在Moodle平台的各类交互行为，同时包括师生的平台在线时间。三级指标则是针对相应二级指标的进一步细化，主要是根据每个教学模块的具体操作行为的统计数据进行指标筛选，例如对于课程、资源模块，发现98%以上的操作行为是“浏览”或“全部浏览”，显然这些行为指标的纳入没有任何意义。

（三）指标数据计算

指标数据的计算可分为计算时间（T1、S1）、计算阅览数据（S31、S32、S33、S34）以及计算其他数据（其他剩余指标）三类。计算时间通过判断在一个时间段内用户是否有操作记录作为其是否在线的依据，避免用户可能存在的挂机现象。算法通过设置时间间隔TT，然后从数据库表中读取两条相连的记录，若两条记录的时间间隔小于TT，则进行时间汇总，否则不予计算，计算伪代码如下：

T=0

IF THEN T= （1）

式中n表示操作的记录总数，i表示操作记录序号。最终，汇总的时间数据将作为教师或学生在该课程中的在线时间。同理，如果需要统计学生的阅览数量，也需要额外设置一个时间间隔TR，用户对同一资料进行多次点击浏览时，判断时间间隔是否大于TR，如果大于TR，则该用户在该课程对该资料的浏览数加1，否则不予计算，计算伪代码如下：

R = 0

IF THEN R = （2）

式中其他剩余指标默认采用计算其他数据的方法，即每次操作进行加1。通过以上步骤得到的指标数值大小往往相差很大，例如在线时间通常在100以内，而教师批改量随着班级人数的增加可能达到上千，由于数量级差的存在需要进行数据标准化。采用传统Min-max以及Z-Score标准化方法（王正鹏，等，2012）发现处理效果一般，因此重新设计如下数据标准化方法：

（3）

式中通过均值、标准差对原数据做进一步处理，保持原数据分布特征的同时缩小数据间级差。新数据大部分数值分布在0与1之间，利用公式（4）实现数值与分值间的转换，只有一小部分数值大于1的课程全部按满分计算。

评分 = （IF 新数据 > 1 THEN 100

ELSE 新数据*100 ） （4）

（四）评价指标权重

确定各个层次指标的权重是保证评价指标完整、合理的关键。层次分析法是美国运筹学家萨蒂于20世纪70年代初提出的，是一种定性与定量相结合的多准则决策分析方法（金燕，等，2015）。应用层次分析法的基本步骤包括如下方面：

（1）分析各因素之间的关系，并据此建立评价的层次结构模型。建立层次结构模型的过程就是梳理评价指标的过程，通过图1和表1已经完成了评价模型中各指标的构建。

（2）对同一层次各指标关于上一层次某准则的重要性进行两两比较，构造判断矩阵A。判断矩阵中两两比较的指标哪个重要、重要多少，用重要性标度来刻画，取值范围为1与9之间的整数值，即判断矩阵A如下所示，其中n表示该层次评价指标的个数。

（3）根据判断矩阵计算被比较指标对于该准则的相对权重。计算指标权重有“和法”和“根法”，并做判断矩阵的一致性检验（牟智佳，等，2014）。本文通过“和法”计算指标权重，步骤如下：

③对向量进行归一化，即，得到即为该准则的权重向量，并进行判断矩阵一致性检验即可接受。

（4）计算各层指标对系统目标的合成权重，并进行排序。根据步骤③可以计算得到，则每个评价指标的合成权重如表2所示。

（5）根据各评价指标的合成权重计算课程评价结果并为决策提供参考依据。每个评价指标的统计数据可以由表1得到，评价元素的权重由表2得到，则两者乘积的加和就代表课程的评价结果。笔者以2014—2015学年第2学期针对本科生的必修课程共30门Moodle课程，教师授课班级记录共244条为例，每条授课记录由字段“教师-课程-班级”唯一确定，记录了该课程的三个维度详细评价指标的汇总数据，根据评价模型算法计算得到的评价结果与学院督导评价结果之间的关系如表3所示。

由表3可知，评价模型计算得到的结果与督导的评价结果达到80%的吻合度，具有较高的一致性。由于系统的各层次指标判断矩阵可以在系统运行时进行不断的优化和调整，可以预见系统评价的计算结果也会随之不断优化。

四、Moodle课程综合评价系统开发

（一）需求分析

Moodle系统设计的教学模块均提供了较好的评价反馈机制，但是各模块的评价具有片面性，无法全面反映教师、学生的课程参与程度，更无法完成课程的综合评价。为解决Moodle课程的过程性管理以及综合性评价问题，结合教学管理部门的实际需求，确定系统的需求为：

（1）教师个人：能够实时看到自己建设课程及在课程中参与度的各指标统计数据情况，实现部门内部的横向比较；看到授课班级学生的各指标统计数据情况，实时跟踪学生学习的动态情况并及时提醒不积极参与的学生。

（2）学生个人：能够实时看到自己在课程中各项指标的统计数据情况，实现班级内部学生间的横向比较。

（3）学院领导：能够看到自己学院教师的课程评价结果情况，并分别支持课程建设度、教师参与度及学生参与度三部分数据的钻取查看，实现学院内部的横向比较。

（4）校级管理部门：能够看到全校课程的综合评价结果，能够进行横向和纵向的比较，能够设置系统运行需要的参数。因此，Moodle课程综合评价系统的功能结构如图2所示。

（二）数据库设计

系统的数据库设计充分利用现有Moodle系统的数据库结构，并在此基础之上设计用于存储关于课程建设度、教师参与度以及学生参与度等的数据表格。数据库设计过程中涉及的实体主要有教师、学生、课程、班级等。单门课程既可以由一位教师负责建设，也可以由多位教师进行建设，因此课程建设度可以为多位教师所共享；同理，每位教师也可以负责多门课程的建设。单门课程既可以一个班级学习，也可以由多个班级同时学习。每位教师既可以只负责一个班级的教学，也可以负责多个班级的教学管理。一个班级包含多个学生，班级学生的个人参与度经过加权平均之后作为班级的参与度。由此获得数据库的概念模型设计，如图3所示。

（三）系统开发

Moodle课程综合评价系统的设计与开发完全基于Moodle系统现有的程序框架，并充分利用系统原有的会话与权限模块，保持用户原来的使用习惯，是基于现有系统架构之上的二次开发，运行平台为Ubuntu系统，Web服务器为Apache 2.0，数据库为MySql，系统平台的访问地址为：http：//moodle.wucc.cn：7007/。系统运行主要分为后台数据管理及前端数据展示两部分，图4为系统前端课程综合评价、课程建设度、教师参与度和学生参与度的结果展示。

五、总结

当前，教育信息化以及大数据战略已经成为一种国家意志，针对教育领域的大数据做好数据的学习分析和可视化等是今后一段时间的重点工作，必将对教育领域产生深远的影响。本文所研究的Moodle课程综合评价系统，正是利用了本校Moodle系统自2011年运行以来所积累的海量日志数据，经过对其深入分析挖掘之后得到课程的评价模型，并基于现有Moodle系统架构实现了二次开发工作。系统自2015年投入运行以来，不仅释放了教学管理部门对Moodle课程的手工评价工作，而且实现了课程的过程性监管，对教师在Moodle课程上的工作量投入有了清晰的认识，并进一步提升了教师在Moodle课程建设及使用方面的竞争意识，无形之中引导着学院Moodle课程建设向更好的方向发展。

[参考文献]

高曼如，陈伟，宿月荣，等. 2016. 基于三维度视角的Moodle课程评价模型构建及应用研究[J]. 内蒙古师范大学学报（教育科学版）（8）：80-84.

黄旌. 2012. Moodle在“结构与设计”教学中的应用探究[J]. 教育研究与评论（1）：80-81.

金燕，周婷，詹丽华. 2015. 基于层次分析法的协同内容创建系统质量评价体系研究——以百度百科为例[J]. 图书馆理论与实践（7）：41-45.

李海. 2016. 对教学过程基本要素关系的分析及思考[J]. 教育探索（5）：16-20.

李曼丽，张羽，黄振中. 2013. 大规模开放在线课程：正在酝酿高等教育革新[N]. 中国科学报，5-30（7）.

牟智佳，张文兰. 2013. 基于Moodle平台的网络学习动机影响因素模型构建及启示[J]. 电化教育研究（4）：37-42.

全守杰. 2007. “学习共同体”研究理论考察与新探[J]. 湖北经济学院学报（人文社会科学版）（10）：34-35.

沈良忠，胡捷臻，唐留雄. 2016. 基于Moodle平台的实践类课程翻转课堂教学模式研究[J]. 内蒙古师范大学学报（教育科学版）（4）：83-87.

汪基德. 2011. 从教育信息化到信息化教育——学习《国家中长期教育改革和发展规划纲要（2010—2020年）》之体会[J]. 电化教育研究（9）：5-10.

王正鹏，谢志鹏，邱培超. 2012.语义关系相似度计算中的数据标准化方法比较[J]. 计算机工程，38（10）：38-40.

魏顺平，韩艳辉，王丽娜. 2015. 基于学习过程数据挖掘与分析的在线教学反思研究[J]. 现代教育技术，25（6）：89-95.

张其亮，王爱春. 2014. 基于“翻转课堂”的新型混合式教学模式研究[J]. 现代教育技术，24（4）：27-32.

周剑云. 2014. Moodle平台网络课程数据挖掘模式分析[J]. 中国远程教育（综合版）（17）：68-71.

责任编辑 单 玲