基于大数据的发展性教学质量监控与评价研究①

杜梓平，阚宝朋

（苏州工业园区服务外包职业学院，江苏 苏州 215123）

大数据、区块链等新兴技术的飞速发展已成为不同产业转型升级的核心驱动与有效保障。教育部于2018年4月13日发布《教育信息化2.0行动计划》，明确提出深化教育大数据应用，全面提升教育管理信息化支撑教育业务管理、政务服务、教学管理等工作的能力[1]。与此同时，我国高职教育正迈入一个更加注重高质量发展的时代，2019年，国务院印发《国家职业教育改革实施方案》，明确提出由追求规模扩张向提高质量转变[2]；2021年，习近平总书记在全国职业教育大会上指出职业教育前途广阔、大有可为，必须依靠深化改革消除体制机制弊端，奋力推进职业教育现代化[3]。在职业教育受到如此重视的时代背景下，必须坚定地把提高教学质量作为职业教育发展的生命线。以大数据分析为视角，以多元发展性评价理念为指导，对教育教学过程中产生的数据进行采集、挖掘、分析，探索基于大数据的教学质量监控评价实施方案，以解决传统教学质量监控评价体系难以与现行的教学方式相适应等问题，形成科学的教学质量监控与评价机制，服务学校教学质量诊改，为职业院校教学管理提供决策依据。

一、教学质量监控与评价研究现状分析

当前，国内对职业教育教学质量监控与评价的研究主要集中在理念、内容、方式等方面的转变。在理念方面，向注重多元化和过程性评价转变，更加强调的是如何进行过程性数据的收集和分析，如李葆萍等[4]通过对过程性、实时性数据的采集开展精准教学，体现了教学质量监控与评价从“经验主义”向“数据主义”转变的趋势；在内容方面，针对高职学生学习特点，更加注重如何促进学生全面发展，如杨平[5]基于综合素质评价、探索促进学生发展的多种评价方式，提供持续改善学习效果等评价目标，体现了评价内容从以往注重认知水平的“总结性评价”向综合素养的“发展性评价”转变的趋势；评价方式方面，更加注重从单一主体向多元主体开展评价，更加注重利用信息化手段提升评价的科学性和时效性，如韩成勇[6]提出教学质量监控与评价方式由教学管理部门单一主体，向数据平台、学生、教师自身等多元主体评价方式的转变。整体而言，目前教学质量监控与评价理念、内容和形式方面比较完善，但是不同的学校及教师对教学过程产生的数据如何收集、如何分析，思路不够清晰，没有形成体系化的过程和方法，因此，构建基于大数据分析的教学质量监控与评价体系，从主体、环境、过程、结果等方面设计监控与评价指标，充分合理、高效利用信息化手段对数据进行收集、分析，实现教学质量监控与评价闭环，具有较为重要的现实意义。

二、现有教学质量监控与评价存在的问题

（一）数据标准不一，缺乏规范性

职业院校在进行校园信息化建设时，更多的是问题导向建设，各部门只考虑自身需求，即缺什么建设什么平台，缺少前期的统筹规划，后期教学管理过程中，经常因统计口径、统计时点或统计方法不同而出现各部门重复收集数据、数据冲突等问题。譬如，教务平台、课程平台、学生管理平台等都有各自的信息系统，存在“信息孤岛”现象，数据来源途径缺乏统一的规划，导致教学质量监控评价存在较大困难。

（二）数据收集不全，缺乏精准性

随着大数据技术的不断发展，数据可以通过网格爬虫技术主动爬取，数据收集在教学质量监控与评价过程中已经不是主要障碍，但是由于人才培养各环节产生的数据大量激增与流转，以及信息的碎片化会导致数据的真实性与完整性受到影响，并最终导致教学质量监控与评价决策受到不利影响，因此需要建立有效的数据分析模型对数据进行高效挖掘和筛选。

（三）数据不够合理，缺乏客观性

一是现阶段教学质量评价内容比较单一，主要集中在教师教学结果和学生学习效果两个方面。教师教学结果方面，更多聚焦于教师教学能力，知识理论掌握度及课堂教学效果，缺乏教师的职业素养与师德师风等维度的评价，导致评价指标不够充分。二是在实施教学评价过程中，评价形式过分单一，更多的是教务管理系统中，依据最终结果数据进行评价，如学生考试数据，教师教学质量测评数据，导致数据采集的维度不广，深度不够，只能作浅层分析，不能进行持续深层次研究，使得评价的有效性和精准性受到影响。

（四）数据不重过程，缺乏动态性

目前的教学质量监控与评价体系侧重对教学结果的评价，如课堂评价以单元测试、考试评测为主，教师评价主要以学生评价、同行评价与督导评价结果为主，对学生的学习状态、学习行为，教师的教学手段、组织形式等过程缺乏评价，导致过程性评价数据不足，不能精准实时反映教学质量的真实水平。

三、基于大数据分析的多元发展性教学质量监控与评价的意义

（一）分析价值

随着新一代信息技术的发展，高校智慧教室、智慧教学平台等教学软硬件设施建设到位，在线开放课程及线上教学资源库极为丰富，使学生突破教室限制，得到个性化的教学和辅导成为可能。在这一过程中，大数据产生于智慧校园、智慧课堂之中，使得大数据在教学评价中极具分析价值。

（二）评价价值

与传统评价方式相比，基于大数据的评价更为客观，避免了依赖于经验主义的主观评价，同时教学过程中教师的行为、学生的状态、师生的互动等教学过程数据加以采集、整理、挖掘与分析，并形成“师生数据画像”，使得大数据在教学评价中极具评价价值。

（三）诊断价值

通过采集师生在教学过程中产生的各种数据，利用大数挖掘与分析技术对数据进行清洗、整理与分析，在数据的支持下对教学要素、教学内容、教学环节及教学结果进行分析掌握，教师就能及时发现教学中存在的问题，及时利用自己的教学经验进行诊断与改进，找出问题产生的根源，及时调整教学内容、教学策略、教学方法，从而有效达成教学目标，使得大数据技术在教学评价中极具诊断价值。

四、基于大数据分析的多元发展性教学质量监控与评价模型构建

传统的以经验性判断为依据，分级分类进行教学质量监控与评价的体系很难起到促进师生发展及促进教学诊断与改进的作用，很大程度上影响了职业院校教学质量的提高。在当前大数据时代背景下，智慧教育已成为当前职业教育教学主流教学模式，为准确地反映教学的基本情况，需要应用发展性评价理论指导，如图1所示，从评价主体、数据来源、服务主体等多个维度，构建实用、科学、完整、易操作的教学质量监控评价指标体系及评价模型。

图1 教学质量监控与评价的多维度指标

（一）评价主体从单一向多元转变

从评价主体方面来讲，评价主体从单一主体转变为多元主体，以往更强调以学校为主体，即以教学行政管理部门为主，更多的是以客观的考试结果和主观的师生间互评进行评价。新的模型强调的是多维度，包括两个校内评价主体：教师与在校生，他们更多的是从教学过程及教学结果两方面进行主观与客观方面的评价；三个校外评价主体：毕业学生、企业、专家同行，他们主要从课程教学内容与岗位实际业务吻合度、学生知识技能的掌握度、岗位的对口率与适用度、社会评价度与贡献度、教学软硬件及环境有亮度等方面进行主客观评价。通过多元化的评价主体，关注教学全要素，使得评价更加系统、全面。

（二）服务主体为师生

从服务主体来讲，主要服务对象为师生，通过多元发展性教学质量监控与评价，不但从结果性评价，还可以在教学过程中实时进行监控，采集学生学习与教师教学的全过程数据，对数据进行进一步的清洗、整理与分析，就能及时发现问题，这些问题可能会体现在课程中，比如课程体系设置是否合理？课程内容是否符合岗位需要？内容的难易程度学生是否适应？也可以体现在教师的教学手段与方法上，比如教师教学的状态是否良好？情感是否丰富？教学的组织力是否到位？形式是否多样？手段是否先进等，当发现问题就能及时进行诊断与改进，这将反哺专业的建设质量，进而进一步提升学校的办学质量。

（三）数据来源更全面

从数据来源来讲，大数据之“大”，不在于其表象的“大容量”，而在于其潜在的用于全面对数据进行分析的“大价值”[7]，故而数据来源必须全面，本模型主要考虑以下几个维度数据：平台数据、自主学习数据、教学过程数据、问卷采集数据及学习结果数据。平台数据主要采集师生利用网络学习平台所产生的过程性数据，比如微课观看的时长及频率、作业的完成度等，自主学习数据主要集中在学生课后预复习产生的讨论互动等数据，教学过程数据包含出勤率、回答问题频率等，更进一步可以是学生上课的专注度、面部表情等视觉抓取数据。问卷采集也采用网络调查形式，主要采集满意度等数据，学习结果是结果性评价数据，当然这里也强调了多主体多元评价的形式。

五、基于大数据分析的多元发展性教学质量监控与评价实施

（一）教育教学过程数据采集与分析

数据采集是教学质量监控和评价的重要步骤。如图2所示，为实现“数据”+“证据”为基础的教育质量监控与评价，需要对教与学的过程数据、学生个性数据、学习结果数据等进行有效采集，采集方式与工具包括高清监控器、拾音器、感应设备、教学管理平台和智能机器人、物联网感知设备、智能穿戴设备等新型智能化采集工具，利用大数据技术可以采集到教学过程中教学行为、态度、情感、专注度等数据，完整了解教情与学情，形成数据画像，有效且完整的数据采集会保证评价结果的准确度和可信度，有效地保证教学质量监控与评价的实施。

图2 教学大数据采集、分析、评价与应用流程图

采集到数据以后，需要通过数据挖掘和分析技术提取数据中蕴含的对教学有帮助的信息。首先需要我们针对教学问题确定数据分析对象和数据边界，然后根据分析目标与分析环境、数据结构与类型选择分析工具，借助大数据分析常用的聚类分析和关联分析等数据挖掘技术对数据进行深度分析，探索教学过程中各类隐含的教育信息和规律，充分掌握学生学的状态、教师教的状态及教学目标达成度及效果，及时发现问题、分析问题、解决问题，从而帮助学校及教师更有针对性地开展教育教学改革。

（二）数据分析及应用实施

教育部办公厅印发的《2015年教育信息化工作要点》中指出，全方位推进国家教育科学决策服务系统建设，规范数据的规划、采集、共享和使用，推进大数据应用，发挥监测、评价、预测功能，为科学决策宏观管理提供依据[8]。数据的分析结果首先要被正确地解读，对采集到的教学数据能够进行推理与实际的判断，结合数据分析原理对数据包含的潜在或隐性的信息进行正确的分析，解读数据背后隐含的信息。另一方面，对大数据的分析结果进行准确、客观的解读，作出专业性的解释并得出结论，形成教学诊断报告，为学校教学质量管理提供科学的决策支撑，有针对性地进行教学诊改，从而有效提升人才培养质量。

在学生方面，更加关注学生的全面发展，开展阶段性和全流程评价，针对每次课对学生的课堂参与度、知识技能掌握程度、认知和实践能力提升、素质的养成等方面，提供实时阶段性评价，为学生提供行为习惯矫正、学习方法改进与学习策略完善等方面的意见。针对每学期或者每门课，依据数据分析，形成学生精准知识、能力和素质等方面发展的综合性报告，明确学生学习和发展方向，为当前学习中存在的问题提供有效解决途径。在教师方面，提供教学质量、教学效果、教学能力等方面的分析报告，帮助教师调整教学内容难易度、改革教学模式、选择适合的教学手段与方法、动态调整教学进度等提供决策依据。在专业建设方面，通过数据分析能够精准反映专业建设中存在问题，从而为专业设置、课程设置、师资队伍建设等提供决策帮助。学校层面，通过数据分析揭示出的新的学习和教育规律，将其应用到制度完善、教学改革、人才培养各个环节中，充分体现大数据对教学质量监控评价的支持作用。

六、结论

针对职业院校教学质量监控与评价过程中存在的评价数据不统一、数据收集不完整、评价数据不合理、评价过程重结果轻过程等问题，从评价主体、数据来源、服务主体等维度构建多元发展性教学质量监控与评价模型，通过收集教学各平台产生的教学过程数据，进行高效的数据挖掘与分析，能够有针对性地解决当前教学质量评价各方面存在的问题，全面改善教学质量，促进学生全面发展，为学校人才培养和教学管理提供强有力的支撑。