基于微表情和头部姿势识别的学生课堂专注度评价平台构架研究

王鑫鑫 曾维佳 王奕霖 李树缘 段铸宸 扈淼

摘要：教育信息化逐渐成为全国关注的重要话题，通过教育信息化提高教学效率是教育事业中课程改革的重大目标。课堂教学是教师与学生交流互动的空间，是教师指导学生学习和学生探索知识的主要途径。以学生为主体的课堂教学中，学生的学习状态与知识的获取情况对于教学过程优化显得尤为重要。本文旨在通过采用基于深度学习的学生课堂表情和头部姿势的智能检测和识别技术，结合课分析和评堂专注度与个性化学习理论，实现对课堂专注度自动技术价，为教师开展学情分析、改善教学方式、实现个性化教学提供有效途径。

关键词：教育信息化;智能检测和识别技术;课程专注度评价

一、研究目的与意义

（一）促进学生个性化发展

近年来，我国的教育改革中始终强调以学生为中心，加强学生的个性化学习，促进全面发展。个性化学习强调在学习的过程中针对学生的个性化特征与发展潜能采用适当的方法、手段、策略、内容和评价等，从而使学习者在各方面都能充分自由地发展。本文通过对学生在课堂学习过程中出现的表情以及头部姿势的变化，判断学生在学习过程中的专注度变化，设置实时提示手段或课后反馈等方式，让学生自我了解课堂学习中存在的问题并及时改进。

（二）提高教学反馈质量

在课堂教学中，学生的面部表情和姿势反映了其心理活动和情感状态的丰富信息。使用基于微表情与姿势识别判断学生专注度的辅助系统，可以对学生的情绪变化与姿势变化进行实时地记录，更大程度地准确判断学生的学习状态以及课堂情感起伏情况，从而帮助教师调整教学进度，提高教学效率。

（三）推动教学评价体系改革

评价是高等学校监控教师教学质量和确保人才培养质量的重要手段。良好的评价手段可以确保学校的教学计划按照预期的培养目标施行，可以保证教学质量和教学效果处于较高的水平。

（四）构建智慧教育发展平台

技术的发展拓宽了教育的思考空间，丰富了教育的内涵实质，为智慧教育环境的发展提供了路径。通过使用基于微表情与头部姿势的课堂专注度评价系统，可以较好地推动智慧教育的环境建设，以较为新颖的技术手段进行数据的智能化收集，内容的快速化分析，评价方式多样化，评价手段全面化，最终促进智慧教育的发展与实现。

二、学生课堂专注度分析方法

（一）学生课堂专注度分析方法研究

1.专注度等级划分

根据所使用的面部表情识别系统的识别情况，本文将课堂中的表情分为7类进行课堂专注度的判断，通过对表情的积极程度进行等级划分，将其中不同的表情划分到4个不同的专注程度中去;同样地，根据课堂中学生头部可能出现的仰俯与偏转角度情况，将其进行综合判断，从而划分不同的专注程度中。

2.基于模糊综合评价的矩阵算法

为了将较为模糊的专注度内容进行精确化地数据处理，选择了模糊综合评价的矩阵算法，对课堂专注度进行分数的评定，根据专注度等级情况分配权重，进而将逐帧保存的数据以分数的方式进行展示。

（二）课堂微表情和头部姿势相关识别技术

1.课堂微表情识别技术

通过使用多任务训练的不同模板的CNN模型，从尺度不变、图像分辨率和相关上下文信息三个方面完成自动人脸和姿势检测和定位，并采用基于面部表情和头部姿势识别的综合深度学习框架FATAUVA-Net，通过动作单元、效价和唤醒空间实现课堂微表情和头部姿势识别。

2.微表情多维度评价体系

应用中科院CASME微表情库SectionA部分对微表情识别模块的准确率进行验证。同时，将课堂视频作为输入，验证系统在整节课全部学生不同时间段专注度的评价效果，并与优秀教师的评分进行对比。

三、基于微表情识别的学生课堂专注度评价可视化平台

（一）建立了基于微表情识别的学生课堂专注度评价可视化平台

该平台能够帮助教师检测每个学生在课堂中的表情变化，从而得到学生的专注度信息，及时反馈，以提升课堂教学质量。研究成果可以丰富教学评价系统，对提高教学质量等具有重要研究意义。以面部表情特征的分析方法，可以使学习状态数据的采集和保存更加的全面，也能更好地用于学习状态的分析，也给了教育工作者更加全面的分析指标。同时，将机器学习用在课堂教学研究，对推进教育大数据有重要的研究意义。

（二）完成对教学过程中的学生专注度自动跟踪、监控、分析以及课堂评价

通过分析学生在愉快等的表情状态，结合唤醒和效果的强度，实现课堂专注度自动跟踪，使用多任务训练的不同模板的CNN模型，实现课堂微表情监控，基于Python和TensorFlow技术，便于教师进行分析，将课堂视频作为输入，验证系统在整节课全部学生专注度等的评价效果。

四、结语

通过采用基于深度学习的学生课堂表情和头部姿态的智能检测和识别技术，结合课堂专注度与个性化学习理论，实现对课堂专注度自动分析和评价，为教师开展学情分析、改善教学方式、实现个性化教学提供有效途径。同时，秉着“人工智能+教育”的思路，将人脸表情分析技术应用于课堂环境中，通过表情识别技术分析学生上课专注情况，从而帮助教师进一步了解学生上课情况，使其能够更合理安排教学内容以及调整教学方式，这也进一部分促进教学信息化、智能化。

参考文献

[1]彭树风，基于深度信息的监控视频人脸识别方法研究与实现[D]，北京邮电大学，2017

[2]李勇，基于跨连接LeNet-5网络的面部表情识别[J]，自动化学报，2018，44（01）：176-182

[3]郭晓旭，基于微表情识别的学生课堂专注度分析系统研究[D]，云南师范大学，2019

项目信息：2021年度大学生创新创业训练项目国家级项目“基于微表情和头部姿势识别的学生课堂专注度评价可视化平台”（项目编號：202113207009）

作者简介：

刘欣宇，女，2002年3月，汉族，本科在读，大连科技学院数字技术学院信息管理与信息系统专业2020级学生，研究方向信息管理与信息系统。

曾维佳，女，1984年3月，汉族，硕士，副教授，研究方向数据处理、信息安全、管理优化。