学习投入测评新发展：从单维分析到多模态融合

李新 李艳燕 包昊罡 程露

[摘   要] 学习投入与学生的学习持续性、学业满意度、学习绩效以及学业完成情况高度相关，对其进行有效测评能够准确预测和干预学生的学习结果和学习行为。为了提升学习投入测评的有效性和准确性，首先，对现有六种学习投入测评方法进行了比较分析，即自我报告、编码分析、日志分析、观察评价、智能测量以及生理测量;然后，提出了多模态数据表征的学习投入测评框架，包括数据收集、数据处理、数据融合以及数据应用四个关键步骤;最后，选取参与同伴互动活动的两名不同成就学习者的多模态数据，依托该框架进行探索性案例分析，从多维时空尺度揭示学习投入的深层机制。研究发现，多模态数据表征的学习投入测评有望突破传统测评方法中单一数据源难以实现的逻辑整合问题，揭示学习投入的动态演变规律，为课程设计、学习活动或教学工具的质量提升提供有价值的参考依据，提升教师帮助学生和改善教学的能力，推动数据驱动的研究范式发展以及教与学规律的研究。

[关键词] 多模态; 学习投入; 测评方法; 概念框架; 多模态学习分析; 发展趋势

[中图分类号] G434            [文献标志码] A

[作者简介] 李新（1993—），男，山东日照人。博士研究生，主要从事计算机支持的协作学习、学习投入测评、教师数据素养研究。E-mail：lixin_407@163.com。李艳燕为通讯作者，E-mail：liyy@bnu.edu.cn。

一、引   言

学习投入越来越受到研究者、实践者和政策制定者的关注[1]。研究表明，学习投入与学生的学习持续性、学业满意度、学习绩效以及学业完成情况高度相关[2]，当学生学习更加投入时，其学业表现也相对较好。因此，对学生的学习投入进行有效测评，能够有效预测和干预学生的学习结果和学习行为[3]。但是，研究者针对学习投入已有测评方法的有效性与准确性存在很多争议[4]，一方面，因为学习投入多维、连续、动态的结构特征和难以直接测评的特征属性[5]，另一方面，因为测评方法可能会受到主观因素的影响[6]。因此，有研究者指出，传统的学习投入测评方法阻碍着我们对学习投入的理解[7]，同时呼吁一种本质上与已有测评方法完全不同的方式来监测学生的学习投入。基于此，本研究尝试在分析学习投入多元复杂结构的基础上，梳理已有学习投入的主要测评方法，并对其优势和局限性进行比较分析，在此基础上提出多模态数据表征的学习投入测评框架，随后选取参与同伴互评活动的两名高、低成就学习者的多模态数据，依据该框架进行探索性案例分析，从多维时空尺度揭示学习投入的深层机制，突破传统单维度分析方式的局限，更加深入地揭示学生学习投入的本质特征与演变规律，帮助教师更好地诊断和了解学生的学习状态。

二、学习投入的基本内涵

尽管对学习投入缺乏统一的概念界定，但是學界对于学习投入的研究日益流行。Astin提出，学习投入是学生在学业上身体和心理的双重投入[8]。Martin将学习投入界定为包括行为投入和认知投入的二维框架[9]。Fredricks等则将学习投入定义为学生在学习过程中的参与程度和努力程度，包括行为投入、认知投入、情感投入[10]。

（一）行为投入

行为投入是已有研究关注最多的维度，主要原因在于行为投入的测评相对直接。行为投入主要包括三个层面的定义：首先是学校层面，包括积极参加学校的各种课外活动，如体育运动、社团活动等[11];其次是课堂层面，指学生在课堂上的积极行为，如遵守课堂秩序与规则，同时没有破坏性行为，如逃课、随意讲话等[12];最后是学习过程层面，指学生在学习和学术任务中的参与和行为，如坚持、专注、提问、完成作业等[13]。

（二）认知投入

认知投入相对来说更加难以定义和测评，主要原因在于研究者对于学生认知投入的内在机制缺乏共识。目前，关于认知投入的研究主要来自学校投入和学习指导两个方面，一种观点将认知投入界定为心理投入[10]，比如，学生以高于任务要求的标准来完成学习任务，或者是期望接受更大的学习任务挑战;另一种观点将认知投入界定为自我调节以及学习策略，有策略的学生在完成任务时会使用元认知策略来计划、监控和评价自身的认知过程[14]。

（三）情感投入

情感投入是指学生对学术内容和学习环境的情感反应。前者指学生对学术活动的兴趣、享受、快乐、无聊或焦虑等情感反应[15]，后者则包括学生对同伴、教师以及学校环境的归属感和认同感。从理论上讲，积极情绪和消极情绪都可以激活学生的注意力或投入状态，但是已有研究表明，积极情绪在促进学生投入方面比消极情感更有优势[16]。

三、学习投入测评的发展现状

如何对学习投入进行有效测评，一直以来都是研究者关注的研究领域。梳理学习投入测评的研究脉络可以发现，目前，学习投入测评的方法主要包括自我报告、编码分析、日志分析、观察评价、智能测量以及生理测量，如图1所示。

（一）自我报告

自我报告是学习投入测评的重要方式，是学生主动报告自己注意力、认知状态、情感反应的一种问卷调查方法，主要通过向学生发放量表或问卷的方式来获取学生的情感体验、认知状态等信息，进而推断其投入状态。自我报告的优势在于适用场景较广，易于开展，但是其局限性在于获取的数据都是结果型数据，很难获得学生的即时数据和过程性数据，并且容易受到学生的主观因素影响，导致最后的数据无法代表学生的真实投入状态。

（二）编码分析

编码分析是学生学习投入测评的第二个常用方法，这类方法主要是指采用既定的框架或编码表对视频录像、生生对话等进行定性分析，既可以分析学生个体的学习投入，也可以分析小组整体的学习投入。比如，Sinha等从行为、社交、认知以及“概念—结果”四个维度开发了协作学习情境中小组学习投入编码表，针对每个维度设计了低、中、高的打分依据[17]。编码分析的优势在于可以在不中断学生学习的情况下获取学生的过程性数据，但是其挑战在于难以规模化应用，这在一定程度上限制了研究对象的数量。

（三）日志分析

日志分析也是学习投入测评常用方法之一，这类方法主要是针对学习平台采集到的学生学习日志进行分析，包括学生的登录次数、在线时长、答题正确率等指标，以客观评价学生的学习投入。比如，Soffer等通过分析学习管理系统日志文件来评价学生的学习投入，包括在线作业、同伴交互、学习活动等指标[18]。日志分析的优势在于可以自动获取学生的学习行为数据，通过平台以客观可视化的形式表征学生的学习状态，但是其不足在于对学习投入的评价过于片面化，主要表征学生的行为特征，缺少对认知投入和情感投入的深层次挖掘。

（四）观察评价

观察评价是指教师等外部观察者通过填写评测问卷的方式来评价学生的学习投入。这些问卷可能会询问教师对学生投入程度的主观看法，也可能包含客观测量的量表，通过这些量表来表征学生是否参与或投入。比如，在Lietaert等的研究中，教师利用量表对学生课堂中的行为投入进行打分，1～9分表示完全不投入到高度投入[19]。观察评价的优势在于可以实时对学生的学习投入进行测评，效率较高，但是其局限性在于对观察员的专业素养要求较高，很难找到大量具有专业素养的观察员。

（五）智能测量

智能测量主要是指利用人工智能、计算机视觉等技术对学生的学习投入进行实时分析，是未来学习投入测评发展的重要方向。学习投入的智能测量主要包括两种类型：一是利用智能导师系统、Model学习平台等实现对学生学习投入的自动、实时分析;二是利用计算机视觉技术，在不干扰学生的情况下对其面部表情、身体姿势以及手部动作等进行实时分析[20]，进而判断学习者的学习投入。智能测量的优势在于可以不中断学生的学习过程，但是其局限性在于技术的准确性和有效性仍需提升，难以在短时间内大规模应用。

（六）生理测量

随着可穿戴设备的不断发展，通过生理传感器来监测学生学习过程中的身体反应逐渐成为学习投入测评的一种重要方式。生理测量采用的设备一般包括手环、脑电仪、眼动仪等，收集的数据类型包括心率（HR）、心率变异性（HRV）、脑电图（EEG）、心电图（ECG）、电流皮肤反应（GSR）、皮肤电活动（EDA）等。生理测量的优势在于能够挖掘学生的认知、情感等方面的特征，在一定程度上加深我们对学习投入的理解，但是该方法的难点在于技术相对复杂、设备成本较高，以及生理测量指标的可解释性和科学性有待挖掘和验证。

（七）比较分析

学习投入多元复杂的结构特征导致研究者对学习投入测评方式的有效性与准确性存在很多争议。本研究从适用场景、可靠性、难易程度、测量成本、入侵程度以及优势和局限等维度对六种学习投入测评方法进行了比较分析（见表1）。整体来看，任何一种测评方法都存在优势和不足，研究者只能基于不同的研究场景和研究對象选择合适的学习投入测评方法，最大限度地规避单一测评方法的局限。

四、多模态数据表征的学习投入测评

到目前为止，学习投入测评方法上的进步也仅限于对传统测评方法的组合或迭代，对于深入揭示学生认知、情感等方面的特征存在不足。随着人工智能、大数据等信息技术的发展，多模态学习分析在捕捉和测量学生学习投入和学习行为时具有重要潜能，能够帮助我们更好地理解复杂的学习现象[21]，提升学习投入测评结果的一致性和准确性。

（一）多模态数据的概念

多模态数据分为主观数据和客观数据，主观数据说明学习者对于特定学习活动的看法或对学习过程中心理状态的描述[22]，如自我报告问卷、学习日志、反映学习者心理活动的音视频编码等;客观数据能够捕捉学习者在学习过程中的认知或情感状态[23]，如学生的心率、皮肤电、眼动、脑电波等生理数据。

（二）多模态数据的价值潜能

多模态数据和高级计算分析学的融合使我们能够更好地认识和理解复杂的学习现象[24]。例如，学习日志数据可以解释学生的在线学习行为，视频数据可以解释学生的身体姿势和交流互动情况，眼动追踪数据可以发现学生的瞳孔反应，脑电波数据可以提取与认知负荷等深层心理过程相关的元数据。多模态数据的价值一方面体现在以生理数据为代表的多源数据能够更加全面、深入地揭示学生认知和情感方面的特征与规律，弥补传统单一数据源对学生认知和情感维度关注不足的缺陷;另一方面体现在数据间的三角互证，即通过收集不同来源的数据来解释同一教育现象，获得更多有价值的结论。

（三）多模态数据表征的学习投入测评框架

学生与技术之间的互动为利用不同方式收集丰富的多模态数据提供了机会。多模态数据表征的学习投入测评将生理测量方式与传统主观测量方式相结合，获取学习者丰富的行为、认知以及情感等方面的信息，再通过语义融合和数据对齐等方式刻画全面、立体的学习图景，从而帮助我们更好地理解学习投入的作用机制。牟智佳构建了多通道的多模态学习分析流程，包括数据收集、数据存储、数据标注、数据处理以及数据开采五个流程[25];汪维富等设计了多模态学习分析的DVC过程模型，包括数据发现、数据融合、数据利用的“三大步七小步”处理流程[26]。可以发现，多模态数据分析的一般流程可以归纳为数据收集、数据处理、数据融合以及数据应用。因此，本研究构建了包括如上流程的多模态数据表征的学习投入测评框架，如图2所示。

1. 数据收集

学习投入是学生行为投入、认知投入以及情感投入的综合表征，需要大量、多维的数据指标才能对其进行准确、全面的刻画。量表、视频、音频、学习平台以及生理传感器等多模态数据获取方式能够对学生的学习行为、心理测量以及生理体征等进行表征。其中，量表主要获取学生的自我调节、学习动机等数据;视频主要获取学生的身体姿态、面部表情等数据;音频主要获取学生的对话信息;学习平台主要获取登录时长、登录次数、答题正确率等数据;生理传感器主要用来收集学生的生理数据，包括皮肤电、心率、脑电波等数据。

2. 数据处理

数据处理主要是将收集到的多模态数据进行清洗、降噪、降维以及标注。数据清洗和降噪的主要目的是检查多模态数据的一致性，以及处理无效值和缺失值等;数据降维的目的是提高多模态数据建模时的鲁棒性和泛化性，包括线性降维、非线性降维、流形降维等方法;数据标注则是指通过人工或自动化的方式对清洗后的多模态数据进行整理和标注，为数据融合做好准备，常见的数据标注方法包括分类标注、标框标注、区域标注、描点标注等。

3. 数据融合

数据融合是将处理后的多模态数据进行整合分析，是多模态学习分析的难点。数据融合可以分别从空间维度和时间维度进行，即语义融合和数据对齐两种方式，通过建立融合模型实现多模态数据间的三角互证。与传统单一模态数据相比，数据融合的价值主要体现在通过多源数据的三角互证提高测量结果的准确性和信息的全面性，进而获得更有价值的结论，这也是多模态数据表征的学习投入测评的关键。

4. 数据应用

多模态学习分析为挖掘新的学习理论、洞察新的教育规律提供了可能，数据应用是释放多模态学习分析巨大潜能的根本。数据融合结果可以说明学生的学习投入状态，比如，通过量表获取的学习动机、通过视频获取的面部表情、通过音频获取的生生对话以及通过传感器获取的皮肤电、心率等数据，可以共同表征学生的情感投入。进而，情感投入、认知投入以及行为投入的状态能够共同表征学生的学习投入。可以发现，数据应用中的数据指标与教育指标之间是“多对一”的映射关系，在提升结果可信度的同时，有效规避了传统测评方法的局限。

五、多模态数据表征的学习投入测评应用案例

本研究基于多模态数据表征的学习投入测评框架，围绕同伴互评活动中学习者学习投入的动态测评开展了探索性研究，揭示同伴互评活动中学习者的学习投入演变规律，同时期望能够从实践层面为多模态数据表征的学习投入测评提供借鉴。

（一）案例介绍

本研究依托某高校面向教育技术学本科生开设的人工智能课程，组织学生针对完成的期末作业开展同伴互评活动，活动流程如图3所示。基于該活动，本研究收集学习者的多模态数据来表征其学习投入状态，监测学习者在同伴互评活动中的学习投入变化趋势。

（二）数据收集

本研究利用摄像机、录音笔、计算机以及生理传感器等设备来收集学习者的多模态数据。其中，有3台摄像机获取学生的视频数据，提取学习者的面部表情特征、头部姿势特征以及手部动作特征;4支录音笔获取学生的音频数据，包括同伴互评活动时讨论数据以及活动结束后的访谈数据;1台计算机获取学生的在线评论数量、内容以及学生对同伴评论内容的情感反应;4条心率带捕捉学习者的心率变化情况，见表2。

（三）数据处理与融合

双向对话环节为学生提供了围绕评论内容进行交流讨论的机会，学生对该环节的认同感最强，因此，本研究以双向对话环节中学习者的学习投入为例进行测评与分析。针对视频数据，本研究利用NVivo软件将10秒的视频片段作为一个分析单元，对学习者的面部表情、头部姿势以及手部动作进行编码分析;针对心率数据，本研究利用Excel软件中的Visual Basic编辑器对心率的原始数据进行处理，最后生成心率变化曲线。

本研究组织学生在同伴互评活动前、后分别从切题性、知识性、正确性、创新性、总体性等维度对同伴的期末作品进行评分（1～5分），对比学生的前后测得分差异，将前后测得分均低于15分的学生视为低成就学习者，将前后测得分均高于15分的学生视为高成就学习者。随后，本研究通过时间轴对齐匹配的方式对学生的心率、面部表情、头部姿势、手部动作等数据进行对齐和融合，共同表征学生的学习投入状态。

（四）结果与讨论

本研究以双向对话环节为例，分别选取了1名高成就学习者和1名低成就学习者的多模态数据进行探索性案例分析，如图4、图5所示。案例分析发现，双向对话环节的开始阶段是阅读同伴的评论内容，因此，两名学习者的头部动作主要是低头阅读评论内容，手部动作以操作计算机为主，情绪相对稳定，但是心率波动较为明显，两名学习者在学习投入上并无显著性差异。但是在讨论交流中，可以发现高成就学习者以开心为主的情感体验明显增多，头部姿态也在抬头、转头以及低头间切换，手部动作则主要是与同伴交流时的辅助性动作，心率波动较小。但是，低成就学习者的情绪体验出现了一些厌恶的表情，头部姿势主要在抬头和转头间切换，很少低头阅读自己的作品和评论内容，而且几乎没有与学习投入有关的手部动作，其心率变化也呈现出先升高、后下降的变化趋势。通过比较分析高、低成就学习者的学习投入状态图可以发现，高、低成就学习者在时间投入、面部表情、头部姿势、手部动作以及心率等方面均存在着较大的不同，这也能说明二者在学习投入上的差异，进而在一定程度上解释了两名学习者学习成绩差异的原因。该研究结果与已有相关研究发现相似，Heflin等发现，学习投入的学生在主动发言、眼神交互、手部动作以及头部姿势和情感反应等方面明显好于学习脱离的学生[27]。此外，虽然Darnell等研究发现心率与学生的学习投入高度相关，与本研究高成就小组学生的心率表现一致，但是，心率和学习投入之间的内在关系仍需要进一步挖掘和探讨[6]。

本研究虽然对表征学生学习投入的数据指标进行了融合处理，按照时间维度将学习者的多模态数据进行融合分析，共同表征其学习投入状态。但是各指标之间的语义融合以及数据指标与教育意蕴的映射关系仍需进一步探索。但是整体来看，多模态数据为表征和分析学习者学习投入的变化规律提供了可能，同时在一定程度上规避了传统测评方式的局限，为教师改善学生的学习投入提供了过程性数据支持，将成为未来学习投入测评的重要方式。

六、结   语

多模态数据表征的学习投入测评有望突破传统测评方法中单一数据源难以实现的逻辑整合问题，通过对其进行深入挖掘应用，有助于推动数据驱动的研究范式发展以及教与学规律的研究。通过对学生的学习投入进行有效测评，对于提升课程设计、学习活动或教学工具的质量以及教师帮助学生和改善教学活动提供有价值的证据。但是多模态数据表征的学习投入测评在数据收集、数据处理、数据融合、数据解释以及伦理道德等方面仍面临一些现实难题。未来，基于多模态数据的学习投入测评建议重点加强三个方面的研究：一是建立心率、皮肤电、脑电波、血压等生理数据与认知投入和情感投入之间的教育映射关系，挖掘生理数据的教育意蕴;二是重点分析面部表情、身体姿势、手势以及坐姿等与学生情感投入之间的关系，加强身体数据与教育指标间的关联;三是聚焦学习投入的动态波动属性，利用多模态数据监测学习投入的变化规律，揭示学生行为、认知、情感的本质特征与影响因素，对于提升学生的学习绩效、提高教师的教学能力具有重要意义。

[參考文献]

[1] BOND M， BUNTINS K， BEDENLIER S， et al. Mapping research in student engagement and educational technology in higher education： a systematic evidence map[J]. International journal of educational technology in higher education， 2020， 17（1）：1-30.

[2] 李新，李艳燕.基于系统性文献综述的国外学习投入实证研究分析[J].现代远程教育研究，2021，33（2）：73-83，95.

[3] PALOS R， MARICUTOIU L P， COSTEA I. Relations between academic performance， student engagement and student burnout： a cross-lagged analysis of a two-wave study[J]. Studies in educational evaluation， 2019， 60（1）：199-204.

[4] SINATRA， GALE M， BENJAMIN C， et al. The challenges of defining and measuring student engagement in science[J]. Educational psychologist， 2015， 50（1）：1-13.

[5] APPLETON J J， SANDRA L C， DONGJIN K， et al. Measuring cognitive and psychological engagement： validation of the student engagement instrument [J]. Journal of school psychology， 2006， 44（5）：427-445.

[6] DARNELL D K， KRIEG P A. Student engagement， assessed using heart rate， shows no reset following active learning sessions in lectures[J]. PLOS ONE， 2019， 14（12）：1-13.

[7] D'MELLO， SIDNEY， DIETERLE， et al. Advanced， Analytic， Automated （AAA） measurement of engagement during learning[J]. Educational psychologist， 2017， 52（2）： 104-123.

[8] ASTIN A W. Student involvement： a developmental theory for higher education[J]. Journal of college student development， 1984（25）：297-308.

[9] MARTIN A. Enhancing student motivation and engagement： the effects of a multidimensional intervention[J]. Contemporary educational psychology， 2008， 33（2）：239-269.

[10] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[11] FINN J D， PANNOZZO G M， VOELKL K E. Disruptive and inattentive-withdrawn behavior and achievement among fourth graders[J]. Elementary school journal， 1995， 95（5）：421-454.

[12] FINN J D， ROCK D A. Academic success among students at risk for school failure[J]. Journal of applied psychology， 1997， 82（2）：221-234.

[13] SKINNER E A， BELMONT M J. Motivation in the classroom： reciprocal effect of teacher behavior and student engagement across the school year[J]. Journal of educational psychology， 1993， 85（4）：571-581.

[14] ZIMMERMAN B J. Self-regulated learning and academic achievement： an overview[J]. Educational psychologist， 1990， 25（1）：3-17.

[15] KAHU E R， NELSON K. Student engagement in the educational interface： understanding the mechanisms of student success[J]. Higher education research & development， 2018， 37（1）：58-71.

[16] HEDDY B C， SINATRA G M. Transforming misconceptions： using transformative experience to promote positive affect and conceptual change in students learning about biological evolution[J]. Science education， 2013， 97（5）：725-744.

[17] SINHA S， ROGET K， ADAMS R， et al. Collaborative group engagement in a computer-supported inquiry learning environment[J]. International journal of computer-supported collaborative learning， 2015， 10（3）：273-307.

[18] SOFFER T， COHEN A. Students' engagement characteristics predict success and completion of online courses[J]. Journal of computer assisted learning， 2019， 35（3）：378-389.

[19] LIETAERT S， ROORDA D， LAEVERS F， et al. The gender gap in student engagement： the role of teachers' autonomy support， structure， and involvement[J]. British journal of educational psychology， 2015， 85（4）：498-518.

[20] D'MELLO， GRAESSER A. Multimodal semi-automated affect detection from conversational cues， gross body language， and facial features[J]. User model and user-adapted interaction， 2010， 20（2）：147-187.

[21] 張琪，王红梅.学习投入的多模态数据表征：支撑理论、研究框架与关键技术[J].电化教育研究，2019，40（12）：21-28.

[22] KHALIFEH G， NOROOZI O， FARROKHNIA M. Higher education students' perceived readiness for computer-supported collaborative learning[J]. Multimodal technologies and interaction， 2020， 4（2）：11.

[23] WINNE P H. Improving measurements of self-regulated learning[J]. Educational psychologist， 2010， 45（4）：267-276.

[24] BLIKSTEIN P， WORSLEY M. Multimodal learning analytics and education data mining： using computational technologies to measure complex learning tasks[J]. Journal of learning analytics， 2016， 3（2）：220-238.

[25] 牟智佳.多模态学习分析：学习分析研究新生长点[J].电化教育研究，2020，41（5）：27-32，51.

[26] 汪维富，毛美娟.多模态学习分析：理解与评价真实学习的新路向[J].电化教育研究， 2021，42（2）：25-32.

[27] HEFLIN H， SHEWMAKER J， NGUYEN J. Impact of mobile technology on student attitudes， engagement， and learning[J]. Computers & education， 2017， 107（4）：91-99.