课堂教学大数据采集与分析平台架构及关键技术研究*

辛继胜，刘泽华，李昊

(1.广东轻工职业技术学院 信息技术学院，广东 广州 510300；2.广州思涵信息科技有限公司，广东 广州 510640)

随着人工智能、大数据的高速发展，给人们的生活和工作带来了巨大影响，创新驱动发展以惊人的速度渗透到各个领域，对未来的社会业态形成深刻改变，智能教育为教育教学注入新的思想，提供新的方法和工具，带动教育教学模式的根本转型，有利于促进教学质量的提升。AI、大数据正引领着教育教学的创新，成为教育信息化发展的重要因素。国务院印发的《促进大数据发展行动纲要》[1]提出：“探索发挥大数据对变革教育方式、促进教育公平、提升教育质量的支撑作用”；《新一代人工智能发展规划的通知》[2]，形成了“利用智能技术加快推动人才培养模式、教学方法改革，构建包含智能学习、交互式学习的新型教育体系。建立以学习者为中心的教育环境，提供精准推送的教育服务，实现日常教育和终身教育定制化”的智能教育发展任务。目前高校课堂教学在教学过程中占了较大比重，为从根本上提升教育教学质量，就必须要深入到课堂中，构建高效、合理的课堂教学分析平台，运用AI、大数据等智能化的手段精确地采集并分析课堂教学数据。

1 高校课堂教学分析研究

目前，高校课堂教学分析研究方向主要有人类行为学和信息系统论。人类行为学的教学分析法将教学视作一种行为活动，重点关注教学过程中教师和学生的行为语言、师生间的行为交互等，重过程而非结果，得到教师课堂教学模式、方法和风格等预期结论，如S-T分析法、弗兰德互动分析系统(FIAS)交互分析法以及后续的扩展与改进。信息系统论的课堂教学分析法将教学过程视作一个信息系统，试图揭示该系统信息流动背后的知识社会性建构水平，重结果而非过程，通过信息流局部特征与知识点整体属性的映射关系得到教学目标、结构和内容等预期结论，典型的系统论分析法是IIS图分析法。两种分析研究方法略有不同，但总体上均为三个步骤：一是对师生行为、语言、教学内容与环境等要素进行预先定义与编码；二是按某个时间段颗粒度[S_T ,flander]或信息流状态变化[IIS]把教学过程进行切割，并对时间片的输出编码进行识别与标注；三是根据整个教学过程的编码汇总、统计结果套入预设的教学分析模型或算法，得到分析结论[3-5]。传统的课堂教学分析研究存在如下问题：基本上关注的是“教”而不是“学”，并且采集的信息不够全面；教学行为或信息流的识别标注与编码转化以人工或半人工操作，复杂度高；随着时间颗粒度越来越细，编码规则越来越复杂，准确度难以保障，分析一堂课往往要花十倍乃至数十倍的时间；数据采集依赖于人，受主观因素影响较大，难以普遍应用。

智能教育的兴起，智慧校园、智慧课室加速建设，课堂常态化录播等信息化配套环境势必成为未来教育基础设施建设的主流，也为课堂教学分析的广泛应用奠定了基础[6-8]。目前只有针对于单一教室数据采集分析的前置型硬件型设备，缺乏规模化部署的平台型整体架构，对整个学校各类数据之间的交换、分析及处理机制的研究处于起步阶段。由此，如何构建高效、精确的校级课堂教学大数据采集与分析平台，有利于探索AI、大数据在助推教育教学创新方面可能发挥的效用，推动高校教学变革和创新，实现课堂教学分析由低层次、粗放型向高层次、精准型转变，解决当前课堂分析研究中面临的问题，构建起系统解决课堂教学分析问题的新样态[9-12]。

2 课堂教学大数据采集与分析平台

课堂教学大数据采集与分析平台从功能大类来看，分为IT支撑环境、数据采集工具、教学质量评估体系三个功能大类，其中每个大类又分为几个小系统，平台架构如图1。

图1 课堂教学大数据采集与分析平台架构图

2.1 IT支撑环境

IT支撑环境主要包括校园网络管理中心、校园云管理平台、校园大数据平台和校园数据交换中心。其中校园网络管理中心为课堂教学大数据采集与分析平台建设提供基础支撑，为保障平台良好的运行环境，应逐步构建灵活高效、满足流程需求的运维组织体系架构；统一的服务平台，辅以系统进行接障、跟进及受理投诉；建立统一的IT运维管理平台，完善的服务内控制度，运维技术操作、管理标准及应用制度。为应对课堂教学大数据采集与分析平台的复杂性，应用校园云管理平台，满足快速访问资源和应用、实时资源自动调配、实现方便的运维管理并提高平台的可用性和安全性，显得尤为必要。基于现有各业务系统的数据进行全校范畴内的有效整合，通过校园大数据平台，构筑具备存储、处理结构化、非结构化数据，实现流计算、批处理计算、内存计算，提供高效检索、集群监控、运维管理，并满足高扩展、高可用、数据安全的课堂教学大数据采集与分析平台。数据交换和共享是打破信息壁垒、消除信息孤岛的前提，全校业务系统在数据治理后，通过数据交换中心实现业务数据在不同业务系统间顺畅、实时、批量传输，课堂教学大数据采集与分析平台能够通过数据交换中心，获取所需业务数据，为后续的分析提供支撑保障。

2.2 数据采集工具

课堂教学大数据采集与分析平台采用人工智能技术，解决课堂教学过程大数据收集难的问题，课堂会产生大量的伴随性数据，包括结构化数据(如教师学生的考勤)、半结构化数据(如各种日志信息)、非结构化数据(教学过程中的视频、图像、声音等)，对这些数据进行采集和分析，建立智慧课堂大数据开放标准体系和应用接口，从而感知教学过程的全要素。

对于结构化数据，如课程数据、学生基本信息、成绩等，将借助传统的数据交换技术，可采用系统接口(webservice或者jdbc)的方式，进行增量采集，在采集过程可以保留数据历史版本；对于半结构化数据，主要包括教师的课件数据、现场答题数据等，运用AI技术(NLP、OCR)将其进行结构化处理，采用“文件监控(flume)”+“消息中间件(kafka)”的方式，进行实时采集；对于非结构化数据，采用AI技术(如人脸识别、情绪识别)进行结构化处理，通过远程文件接口或者是信息流的方式进行采集，在采集的过程可以进行数据的转换和处理。

2.3 全流程的教学质量评估体系

全流程的教学质量评估体系，主要从建立教学质量评估指标、基于教学质量评估指标建立教学质量评估模型进行构建，最终实现真实可用、标准化和产品化的全流程教学评价体系。

2.3.1 教学质量评估指标

本文从教育者、受教育者、教育手段、教育内容这四个维度出发找到所有能对教学质量产生影响的要素，建立教学质量评估指标，并确保这四个维度，能够和中国教育界目前主流的评价方式相融合。关键在于对海量数据的采集和分析，提炼出和分析目标相关的数据信息，需要构建符合信息论和教育四要素科学理论的课堂大数据画像，并通过可视化的方式进行直观的数字化呈现，同时能很好的融合现有成熟的评价维度。教学质量评估指标对应关系如下：

教育者(教师教学画像)——教学态度

教育内容(课堂教学内容画像)——课堂教学内容

教育手段(课堂教学方式画像)——教学方法

受教育者(学生学习画像)——教学效果

2.3.2 教学质量评估模型

本研究有两个关键点，一是提升数据的质量，二是要建立科学合理的多维度教学质量评估模型。首先，信息论是建立在概率论基础上而形成的，也就是从信源符号和信道噪声的概率特性出发的，信息在传递本身就存在一定噪声；其次，根据大数据的4V特性中value(价值密度低)特性，大数据本身就需要进行处理以提取高价值属性；再次，从目前人工智能的技术应用来看，有些技术的准确率已经很高(如人脸检测)，而有些技术的准确率还存在实验阶段(如情绪判断)，由此可见数据质量的提升具有必要性。本研究将根据采用技术的成熟度，对收集到的相关数据，采用统计学的原理，构建数据的置信区间，从而提升数据质量。其次来看多维度教学质量评估模型的构建。按照信息论、教育四要素构成论和传统的教学质量评价维度，在教学质量评估时，会根据此构建四个一级指标。然后，根据整个教学活动流程(课前、课中、课后)所产生的各类型数据，构建成全量化评价的二级指标体系。本研究构建的评价指标体系如表1所示。

2.3.3 教学评价体系

本研究将侧重于产业化研究，通过教学质量评估指标的确定、教学质量评估模型的建立，从而构建一个能真实投入使用的全流程的教学评价体系。

全流程的教学评价体系能够和现有的各种教务类系统进行对接，获取相关的数据，自动实现数据调用；能够根据各种不同的课程类型(包括学校类型：本科、高职；学科类型：文科、理科；课程类型：将授课、讨论课、实践课等)，自定义所采用的评价指标和指标权重；能够最大程度避免人工干预，自动完成教学质量评价，并对教师、学生给出个性化的建议；通过数字化还原，建立课堂教学的可视化视图，使得各级管理人员能够直观地感知到整个单位的教学工作质量。

3 课堂教学分析平台关键技术

3.1 大数据平台

覆盖整个课堂教学过程的过程性数据来源非常多，数据来源包括物联网、移动互联网、数字化校园软件等，数据类型有结构化数据(往往来源于各类现有的管理软件)、半结构化数据(一般来源于各类机器设备，也包括课件等文本内容)、非结构化数据(各类传感数据，包括语音、视频、图片等，通常需要通过人工智能技术按一定模型进行处理)。

本研究将基于学校现有的大数据环境，研究对课堂大数据的采集和管理，对结构化、半结构化、非结构化数据分别建立大数据采集和入库的模型；在原始数据上层，利用大数据交换平台，通过不同的调用方式，将其存储至大数据的数据仓库；通过建立不同的数据分析模型，实现大数据的归类，建立相关的大数据调用接口。大数据平台业务如图2所示，大数据平台接口设计如下：

(1)提供对外部资源的访问与读取接口，同时向外提供读取大数据平台资源的访问接口。

(2)接口采用标准的sql语言，提供通用的JDBC和高级的API格式。用户可连接获取、关闭，执行DML、DCL、DDL等操作。

(3)向外提供读取大数据平台资源的访问接口，以读取大数据平台的数据。

表1 教学质量评估指标体系

续上表

序号一级指标指标项二级全量化指标建议指标项教学过程指标项说明数据来源1819202122232425教学效果︵学生学习画像︶学生专注度分析课堂课堂上学生听课的专注度人脸识别的分析结果学生情感分析课堂课堂上学生听课的情绪分析人脸识别的分析结果课堂活跃度课堂① S-T分析,学生参与的次数② S-T分析,学生参与的时间音频信号的分析结果学生考勤课堂学生考勤的情况,判断听课比例教务系统随堂测成绩课堂本节课的随堂测成绩混合式教学平台统计的数据课后作业成绩课后课后作业成绩混合式教学平台统计的数据考试成绩课后学生考试的成绩(针对整个课程的考试成绩)教务系统评教成绩课后传统的听课后的评教打分(专家、同行、自评、学生)混合式教学平台统计的数据

3.2 校园数据交换中心

课堂教学大数据采集与分析平台通过校园数据交换中心抽取教务系统、录播系统、排课系统、学工系统等各相关业务系统的相关数据，为教学质量评估提供原始的数据支撑，并保证数据源头的正确性。校园数据交换中心对外提供Webservice接口，包含用户授权、资源注册、资源订阅、资源浏览接口，总体架构如图3所示，使用SpringMVC框架为底层支持，开源服务框架dubbo做通信服务，DataX做数据交换服务，QuartZ做调度服务；MyCat做数据库集群，SFTP及分布式文件系统作为文件存储服务。

图3 数据交换中心流程图

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中，实现了在任意的数据处理系统(RDBMS/Hdfs/Local file system)之间的数据交换，交换管理中心数据处理图如图4所示。

(1)Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。

(2)Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。

(3)Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

3.3 数据采集工具

课堂教学大数据采集与分析平台，使用的数据采集工具依赖于学校大数据平台，是在大数据架构之上的一个封装。为了采集数据，需要被采集的业务系统开通数据对接接口，可以是webservice、jdbc、ftp、syslog等方式，数据采集流程图如图5。

结构化数据是指存储在RMDB数据库里，可以用二维表结构来逻辑表达实现的数据。结构化数据的处理包含采集、清洗、去重、去噪等，在业界已经具备比较成熟的技术方案。

非结构化数据是指不方便用数据库二维逻辑表来表现的数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。非结构化较难处理成完整的结构化数据，可以用文件的方式存储到hdfs或者ceph上，hdfs用于存储大文件，ceph用于存储流媒体等视频、图片等文件，都是业界比较成熟的技术。

半结构化数据，就是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据。对于半结构化数据，可以根据业务特点把数据处理成结构化，并把结果存储到数据库中，这个在业界也是比较成熟的案例，例如网络爬虫，爬回来的半结构化数据，可以根据爬取的类别处理成结构化数据。

图4 交换管理中心数据处理图

图5 数据采集流程图

4 结语

人工智能、大数据的发展给高校教育教学实践带来了深刻的影响，改变着教师的教学方式、学生的学习方式，技术变革教育的新时代已经来临。本文深入研究了传统教学分析方法存在的问题、AI、大数据相关技术，提出了基于大数据的课堂教学分析平台，并对平台架构及关键技术进入深入的研究，通过平台精确的采集课堂数据并高效的进行分析，为课堂教学模式的改进提供可视化参考，最大限度的优化教学资源及方式，构建高效课堂教学分析改革的新常态。