构建潜意识互动的会计在线交流评估方法研究

陈东升

（湖南信息职业技术学院，湖南 长沙 410200）

0 引言

在信息技术高速发展的背景下，课堂教学模式发生了巨大的变化，虚拟教室、线上课堂慕课等教学模式层出不穷。依托于电子信息终端丰富的信息获取渠道，通过手机、电脑的摄像功能，提取图像中学生的面部表情，并对表情进行概括处理，通过眉间距、眼球转动、嘴角形状等面部微表情，映射为疑惑、茫然、欣喜、激动等情绪活动，结合课程进展的时间维度，总结为对当时教授知识点的接受程度，对教学质量进行评价。基于该设计思想，在会计专业的在线教学中使用测试，以便发现会计专业深奥难懂的课程知识点是否为学生所掌握。

基于微表情识别的技术路线，需要获取到清晰、大小合适的学生面部图像，并且能够准确提取到关键位置的变化情况，映射为典型的心理活动表征，再对结果进行统计与分析，概括出多数学生的学习感受，评估教学质量。以上四个关键点为微表情识别的关键技术，也是该文重点涉及的内容。

1 卷积网络神经的特征处理

在卷积层中，通过对特征曲线的卷积运算，将所得的结果输入一个激活函数中，最后生成一个新的特征图，该特征图由多个特征图叠加而成。在公式（1）中表示了卷积层的计算。

式中：为输入的维度，为输出的维度，为突触的初始化值。

式（3）所示神经元网络中的权值由时刻到+1时刻的更新过程。

式中：是学习速率，（）为神经元的输入，（）为其误差项。

为提高模型的平移不变性，提高模型的推广能力，该文引入了神经视觉感知域（Lecun）等概念。局部感觉区允许神经元从视觉中提取出最基础的视觉特性，如眼、眉、唇、棱角、边缘等。如果该特征与其他特征点有关，则该特征的绝对位置信息会被稀释，因为在不同的人脸图像中，它的绝对位置信息会被稀释。就拿震惊的表情来说，因为个人的不同，眉毛的准确位置也会有很大的差别，但是眉毛和眼睛的距离却能让人分辨出一张脸有没有惊讶情绪的倾向。在映射情况下，由于不同的特征会产生不同的编码位置，降低了定位准确度的同时还减少了在线教学中的面部识别控制分辨率。

2 基于低分辨率图像的微表情识别

移动通信端的图像摄录设备解析度偏低，为适应信号传输还进行了图像压缩，损失了部分图像细节，为提取图像中的微表情制造了困难。需要针对低分辨率图像，建立图像还原模型，尽可能多地提取图像中眉眼嘴鼻的器官的变化，表征为具有特定含义的微表情语言。具体实施路径：将低分辨率图像分为小尺寸（Small Size）、低质量（Poor Quality）和小尺寸&低质量（Small Size& Poor Quality），针对不同的图像特征采取相应的处理措施，完成图像重建。

在图像重建任务中，基于高分辨率图像的微表情识别，建立特征库，再将高分辨率图像采用抽值取样等处理手段降为低分辨率图像，由此建立低分辨率图像特征与微表情的对应关系映射，实现低分辨率图像下的微表情识别。

高分辨率图像降为低分辨率图像一般的手段有模糊化、下采样和噪声处理，其数学模型如公式（4）所示。

式中：为下采样，对应通信传输中的图像压缩处理；为模糊化，对应图像处理中的滤波；为高清原图；为加性噪声，对应通信传输中的随机噪声。经过综合处理后，得到低分辨率图像。

基于低分辨率的微表情识别功能主要对MATLAB的GUI功能，对图形用户界面开发环境下的图像进行处理。使用GUI功能中guide方法，进行图像分析与处理。在MATLAB的命令框中输入guide命令，在自动生成的.fig资源文件和.m界面初始化的相关代码两个文件中，调用控件，调整显示区域、调整界面布局。

图1为基于低分辨率的微表情识别功能结构图。首先对上传视频与已知的微表情特征数据集输出共同作用于低分辨率环境下的微表情识别，提取上传视频中与微表情特征数据集的关联数据，定义为该表情结果，在通过参数设置的微调功能，实现结果修正，输出最终微表情结果。

图1 基于低分辨率的微表情识别功能结构图

3 基于微表情的学习专注度映射

人们在外界环境刺激下所产生的心理活动体现在面部表情，这个表情就是微表情，其包括眉眼鼻嘴腮等器官的肌肉收缩，广义上还包括肢体的配合动作。

将微表情概念引入教学活动中，通过拾取学生的微表情，映射出学生的即时心理活动，联系到课堂的授课进程，可以在一定程度上反映学生对所学知识点的理解程度，进而汇总出课堂教学的质量。例如当教师讲授的内容引起学生的兴趣，学生的学习状态表现为专注，体现在面部表情上则为眉头舒展、眼球注视，没有大角度的转动，有时会随着嘴角上扬、颧骨肌肉收缩；而对教师讲授内容疑惑或不懂，会出现眉头紧锁、目光飘忽不定、眼球转动加速等特征；当学生在课堂上分心时，会表现出摇头、眼睛注意力不在屏幕上等表情变化。通过这些微表情折射出的学生内心活动，可以定性的评估学生的课堂投入情况，进而有针对性地提醒某位同学注意听讲，或针对大部分学生不理解的内容进行重点讲解。即通过学生在教学过程情绪外显的表现，辅助教师关注学生学习状态的变化，及时调整授课方式和教学策略，使学生达到更好的学习效果。

4 在线教学质量评估设计

学生的面部表情能间接反应其内心活动，也可以在一定程度上代表对课程内容的参与程度。极具趣味性和技巧性的在线教学课程，能否吸引学生的注意力，使其完全掌握知识点，达到良好的教学效果，从学生的反应中可以得以反馈。该文根据微表情识别出学生的心理活动，通过学生上课的专注程度得出教师的教学质量，对教师的会计在线教学质量进行客观评估。针对教室内的各个学生的面部特征，对常见的视频监控系统设备和结构进行了调查，并根据教室的实际条件，设计出一套具有安全稳定性、技术先进性和性价比合理性的高清全景视频监控系统。对一幅静止图像或视频，要对一张或多张人脸的位置进行准确定位和探测，需要从图像分割、提取人脸、提取细节特征3个方面进行分析。由于脸部的个体、姿势、表情、光线等因素的影响，使脸部特征点的定位和追踪成为一个十分困难的问题。目前，对脸部微表情特征点的定位主要有两种，即模型的定位和非模型的定位。

该方法首先在训练集合中标注出关键点，然后使用主分量分析进行降维，得到最大的平均形态。图2为人脸特征点提取的流程框图，通过训练图像及标记点建立点分布模型，并区分正确样本与错误样本，通过提取特征，建立与形状模块和局部纹理模型的映射关系，实现人脸特征点的提取。为了让人脸的微表情形态模型能更好地适应不同的人脸形态，在训练集合中必须尽量包括人脸的姿态、表情和光照的改变。通过构造局部约束模型，将训练集内的关键节点局部纹理作为正确的样本，将与关键点相隔一定距离的部分作为错误样本，通过SVM的学习，获得局部纹理模型。在进行人脸特征点定位时，首先要对其进行初始化，求出局部反应图象，并将其与形状模型的约束相结合，反复迭代，获得最后的特征点。

图2 人脸特征点提取框图

将形态模型和局部纹理模型相结合，提取出多个姿态的面部微表情特征，从而有效地克服了不同的面部姿态，并能很好地检测到遮挡物体。针对一个学生的近景照片，该系统可以很好地识别出学生的头部转动角度和面部微表情特征区。并且其对眼镜、手部遮挡等干扰，表现出很强的稳定性。通过对侧面局部图像的多目标人脸提取，发现除部分人脸发生偏移或遮挡太大外，其余的人脸特征都能得到。通过对学生头部角度、眉尾和眼中之间的角度、唇部幅度的变化进行分析，并对其头部姿态、唇角、眉眼角度等进行了详细分析。听课中的听觉状态分为5种：倾听、疑惑、理解、抗拒、鄙视。将初始化的头部姿势设定为-1，如果检测成功，就可以得到相应的头部角度。从这一点来看，绝大多数学生都是被系统捕捉到的，系统会自动给每个学生的微表情识别标上一个数值。学生眉、眼、鼻、口等的点是学生的面部表情特点。通过对“倾听”、“疑惑”、“理解”、“抗拒”、“鄙视”等5种不同的表达方式进行界定，并将学生的“眉眼角度”、“唇部角度”、“头部角度”等因素进行综合，得出了“会计在线教学”的具体情况，并对学生的听觉状况进行统计和分析。图3为该文所设计的基于微表情识别的会计在线教学质量评估方法结构图。

图3 教学质量评估方法结构图

课堂教学质量评估是以采集足够相关信息作为数据基础，从中挖掘出有价值信息，并通过模型对信息进行整理、分类，在统计分析的基础上建立共性概念，形成具有指向性的定性结论，实现对教学效果的评估。通过对表情的分类，在教学课堂中常见的微表情按照属性赋值。将无法判断或无意义的表情，权值设置为0；将焦躁、困惑等负面情绪设置为-1；将厌恶、生气等极端情绪设置为-2；将喜悦、开心等正面情绪设置为1；将惊喜、狂欢等非常情绪设置为2。其中，权值为0对教学质量评估没有贡献；权值为正数表明教学质量良好或优秀，而权值为负数则表明教学质量差强人意或令人不满。

影响会计在线课堂教学质量的因素很多，而影响教学的主要因素是对学生活跃时间的计算。通过对各个时间间隔的离散图像进行分析，得到学生的活动时间。根据微表情的有效时间和运算效率，将获取的图像频率设置为2s。活动时间是通过对整节课时间的综合分析得出的，其活动时间的特定统计如公式（5）所示。

式中：为活跃时间，（）为学生参与度，为阈值，为图像采样。

学生参与度（）时，学生整体处于活跃状态。基于微表情识别的会计在线教学质量评估以多种颜色进行标识，例如目前的学生总体关注度为黄色，代表参与度为绿色，而红色为目前教学内容的难点。当学生的注意力、参与度和困难度都很低时，就表明学生的听课状态不佳，教师要提供解决的举措，调整教学策略，活跃课堂气氛，从而达到提高教学效果的目的。会计在线教学质量评估不仅能实时地评估全班情况，而且能侦测到学生的负面情绪（抵触、轻蔑），并发出信息提醒老师，类似为一种“警报装备”，时刻提醒着老师和同学们认真完成线上学习。

对同一知识点的教学质量评估，采取时刻法，即同一时刻各个学生移动客户端采集的单帧图像赋值后，再通过统计平均，得到全班的整体印象，不同情绪、不同理解程度的学生数量分别作为分子，得到各种课堂反应的百分比，以此作为单个知识点的被接受程度，评估该知识点的教学质量。

会计教师在线教学质量评估包括两个方面。1）整节课全部学生课堂状态评价。在假定全体学生完全投入课堂教学的背景下，计算负面情绪的学生占比，作为课堂教学质量的待改进得分；正面情绪的学生占比，作为该节课的经验得分。通过分析待改进得分和经验得分的比值，可以看出全班学生对课堂内容的投入情况。2）时间段全部学生课堂状态评价。统计会计课程教学时长中学生的投入状态，即可作为全部学生课堂状态的数值表征，用以对教学效果做出评价。

最后，通过整堂课的分数得到会计在线教学的教学质量评估等级。

5 结语

随着科学技术的发展，教师利用该文所设计出的基于微表情识别的会计在线教学质量评估方法，一方面能够根据评估结果对自己的专业水平进行提高。另一方面，能够根据学生的反馈结果调整课堂教学方式，提高学习学习积极性和专注度，提高学习效果。由于时间原因该文没有对所设计方法进行试验，还需要在今后的研究中不断完善。