基于表情识别的智慧教室授课评估系统

蔡玉宝 李德峰 连海根 马留洋

摘要：本文详细分析了目前教室授课评估系统存在的问题，采用监控摄像头配合人脸情绪识别技术，通过实时监控学生情绪状态变化评估课堂授课状态。本文提出一种基于Python+ OpenCV+Dlib的面部情绪分析课堂授课评估系统的设计与实现，该系统实现的功能模块包括人脸图像采集、人脸检测与定位、表情特征提取与识别、课堂活跃程度统计，授课状态报表生成等。系统中人脸检测与识别基于OpenCV的face_recognition模块，采用开源库Dlib进行面部特征点提取，最后提取学生课堂情绪状态。系统经过运行测试，结果表明该系统能够满足一般的基于人脸情绪识别的授课评估任务需求。

关键词：表情识别;智慧教室;教学评估

中图分类号：TP391.41    文献标识码：A      文章编号：1007-9416（2020）10-0000-00

0引言

智慧教室体现在多媒体教室及网络教室的组合，它是由物联网技术、云计算技术和智能技术等新技术构建起来的一种新型教室，这种新型的教室系统由有形的物理空间以及无形的数字空间组成，它通过各类智能装备来辅助教学内容呈现、便利学习资源获取、促进课堂交互开展，实现情境感知和环境管理功能的新型教室[1]。教学评价是根据教学目标对教学过程和结果进行判断并为教学决策服务的活动。教学评价是研究教师教学和学生学习价值的过程。教学评价一般包括教学过程中对教师、学生、教学内容、方法、环境、管理等因素的评价。然而，目前的教学评估工作几乎等同于对教师教学工作的评估，严重忽视针对学生的关注[2]。诸多关注学习本身而忽视学生个性、情绪的现象使得教育偏离其本质与根本追求，而教师本身的教学经验等诸多人为因素对于学生情绪判断也起到了一定的制约作用，从而影响到学生学习与成长，缺少有效的信息来判断学生在校学习的过程中的具体情况。因此，如何能够将信息化技术与教育教学相结合，使得教学过程更加人性化、给予学生更全面的教育与培养，成为教育行业关注的重点课题。而基于表情识别的智慧教室授课评估系统作为智慧教室的一部分，能很好的监视及评估学生接受新知识的状态，方便授课教师实时调整授课方式，对教学工作展开及教学工作评估有很好的促进作用。

1系统组成

系统由视频采集模块、情绪识别模块及教学评估模块组成，如图1所示。其中视频采集模块由攝像头实时采集授课教室中学生们的状态信息，并进行视频预处理操作。情绪识别模块通过分析学生的面部表情、肢体语言及其他状态信息来进行学生的情绪识别。教学评估模块通过分析学生情绪的统计信息来进行授课状态的评估，在软件界面能实时显示学生授课状态信息，同时能将学生授课状态信息上传至远程服务器进行课后教学评估。

2视频采集模块

系统采用海康威视网络高清摄像头，采集课堂学生图像信息。由于成本、环境等因素影响，所获取的原始视频质量并不高，甚至很低。例如，由于环境、噪声、光照、运动等影响，往往所采集的图像常常出现模糊、扭曲、噪点、太亮或太暗、彩色不鲜明等。对于这种质量比较差的视频，直接进行情绪识别，往往识别效果不是特别明显，尤其是通过人脸图像去识别某个学生时，质量较差的图像，识别错误率会增加。因此，在现有的条件下提高采集的视频质量是本系统需要解决的一个问题，对摄像头采集的视频进行预处理，可以提高视频采集质量，有利于后续的视频处理，可以更有效的提取视频中感兴趣的信息。

预处理流程如图 2所示，首先对每帧图像进行高斯滤波，依据霍夫变换计算图像倾斜角，通过倾斜角对图像进行矫正，最后裁剪合适的图像。

3情绪识别模块

尽管情绪是人内心状态的体验，但是往往会伴随一些外在的表现，如面部表情、身体姿态语言及其他外在表现等。根据表情的发生部位和方式的不同，可将表情分为面部表情、体态表情和言语表情[3]。面部表情是通过眼、眉、嘴和脸颊部肌肉变化来表现情绪状态;言语表情是指情感发生时个体在语言的声调、节奏和速度等方面的特征;体态表情是身体各部分的表情动作。

本系统情绪识别包括人脸检测模块、人脸识别模块及情绪识别模块组成。在众多人脸检测算法中，基于Haar特征的Adaboost的人脸检测分类器具有使用简单、速度快、准确率高等优点[4]，OpenCV自带的分类器是在大量的不同光照，不同表情的正样本和其他负样本训练而成的，能够高效准确的实现人脸的检测，因此本系统中人脸检测模块采用基于OpenCV的基于Haar特征的Adaboost的人脸检测分类器进行人脸检测。人脸识别利用开源API：face_recognition实现人脸识别，技术实现相对CNN更简单，只需匹配对应人脸库即可。情绪识别模块首先采用开源库dlib作者训练好人脸特征检测器，进行面部68个特征点的信息获取，在通过嘴巴张开距离占面部识别框宽度的比例，眉毛上扬程度，眯眼睛等信息来识别学生的情绪。将采集到的每帧图像中，统计学生个体的情绪状态，根据学生情绪状态情绪识别模块最终输出三个课堂情绪值分别用H、N、S表示，其中H代表该学生课堂表现良好，N表示该学生课堂表现一般，S表示该学生课堂表现较差。

4教学评估模块

实时统计情绪识别模块输出的学生个体课堂情绪状态，统计信息包括学生个体实时课堂情绪值H/N/S占比、每一分钟统计学生个体和学生群体课堂活跃情况。通过统计H的个数Ci（H），N的个数Ci（N），S的个数Ci（S），来计算课堂活跃情况。

学生个体实时课堂情绪值计算方式：

H占比

Ri（H） = Ci（H）/（ Ci（H） + Ci（N）+ Ci（S））

N占比

Ri（N） = Ci（N）/（ Ci（H） + Ci（N）+ Ci（S））

S占比

Ri（S） = Ci（S）/（ Ci（H） + Ci（N）+ Ci（S））

學生个体课堂活跃情况计算方式：

Ai = 0.5* Ri（H） +0.3* Ri（N） +0.2 *Ri（S）

整个教室学生群体课堂活跃情况计算方式：

根据以上计算结果在系统界面实时显示，课堂结束后生成该节课的pdf报表图，上传至远程服务器。授课老师根据课堂活跃情况可以实时调整自己的授课方式，学校考评组可以根据服务器上的报表评估教师的授课情况。

5结语

本系统采用OpenCV中的face_recognition模块进行人脸检测与识别，采用开源库dlib进行面部68个特征点信息获取，通过计算嘴巴、眉毛及眼睛动作信息获得学生的课堂情绪信息，统计学生个体及学生群体课堂活跃程度，最后生成课堂活跃信息的报表。授课老师可以通过观察学生课堂活跃程度来实时调整自己的授课方式，同时可以对教师的授课情况进行远程评估，对教学工作展开及教学工作评估有很好的促进作用。

参考文献

[1]杨红云，雷体南.智慧教育 物联网之教育应用[M].北京：华文出版社，2016.

[2]曾小芹.智慧教室环境下基于学生微表情的教学评价机制的构建[J].中国多媒体与网络教学学报（上旬刊），2018（8）：22-23.

[3]何良华.人脸表情识别中若干关键技术的研究[D].南京：东南大学，2005.

[4]侯晓雨.视频中的人脸检测与识别系统的设计与实现[D].北京：北京邮电大学，2017.

收稿日期：2020-08-14

作者简介：蔡玉宝（1989—），男，河南信阳人，硕士研究生，工程师，研究方向：人工智能。

Intelligent Classroom Teaching Evaluation System Based on Expression Recognition

CAI Yu-bao1，LI De-feng1，LIAN Hai-gen2，MA Liu-yang1

（1.The 27th Research Institute of China Electronics Technology Group Corporation， Zhenzhou Henan  450000）

（2.Military Representative Office of the Army Equipment Department in Xi'an Region in Zhengzhou，Zhenzhou Henan  450000）

Abstract：This paper analyzes the existing problems of the current classroom teaching evaluation system in detail. We use the monitoring camera and face emotion recognition technology to evaluate the classroom teaching state by monitoring the changes of students' emotional state in real time. This paper presents the design and implementation of a face emotion analysis classroom teaching evaluation system based on Python + OpenCV + Dlib. The functional modules of the system include face image collection， face detection and location， expression feature extraction and recognition， classroom activity statistics， teaching status report generation， etc. In the system， face recognition module based on OpenCV. We use Dlib to extract facial feature points， and finally extracts students' emotional state in class. The result of running test shows that the system can meet the needs of teaching evaluation task based on face emotion recognition.

Key words：expression recognition;intelligent classroom;teaching evaluation