游戏化在线教育对学习效果影响的元分析*

2022-04-25 10:36敏,冉畅,张
图书馆论坛 2022年5期
关键词:学习效果动机学习者

张 敏,冉 畅,张 芳

0 引言

游戏化是指在非游戏情境中应用游戏化元素[1],如积分、排行榜、等级、徽章、好友[2],并在如信息素养教育[3]、信息系统设计[2]、人力资源管理[4]等行业及情境中得到广泛应用。皮尤研究中心调查显示,53%的受访者对游戏化在教育、健康、职业等领域的广泛采纳和应用持积极乐观态度[5]。游戏化研究中,从研究主题看,游戏化理论建构[6]、游戏化信息系统设计[2,7-8]、游戏化用户行为及其影响因素[9-10]最受关注;从研究方法看,实验和准实验(quasi-experimental)方法、问卷调查方法应用较多;从研究情景看,从信息检索、数字图书馆到在线教育均受到关注。截至2021年6月,我国在线教育用户规模3.25亿[11]。在线教育和教育信息化发展为游戏化应用创造了环境。“游戏化在线教育”与“严肃游戏”或“教育游戏”的概念存在显著区别[1],前者是指在线学习(E-learning)情境中对积分、排行榜、任务等常见游戏化元素的运用,本质上是教育为主、游戏为辅;后者是指以游戏界面为交互界面并在游戏中加入教育材料[12],本质上是游戏为主、教育为辅。高辍学率是在线教育的难题,游戏化是一个积极的解决方案[13]。然而,学术界对游戏化在线教育褒贬不一。支持者认为游戏化的应用有助于提升学习者的参与度,并为在线学习中各参与方创造显而易见的价值,如学习平台能获得更多收益,学习者能提升自身学习绩效,而讲授者能丰富授课内容和形式并将知识传播给更多的学习者。批评者认为游戏化会导致“过度合理化”(over-justification),游戏化对学生提供的外在激励会削弱学生出于认可学习价值的内在学习动机[14],会加重学习者的认知负荷,需谨慎进行[15]。

尽管学者们大多采用相似的实验方法来探讨游戏化在线教育对学习效果的影响,但不同实证研究得出的结论并不完全相同,可能存在较大差异甚至完全相反的结论。Yang等[16]发现游戏化学习中徽章的应用对英语学习有正面影响,但Brom等[15]发现游戏化和非游戏化在学习成果上无差异,且游戏化会加重学习者的认知负荷。针对矛盾性结论的现象,部分学者对游戏化与学习效果之间相关关系研究的文献进行了元分析研究。元分析能够对包含不同样本的研究结果进行再统计来寻求一个综合的结论,已有的元分析研究在研究对象、研究情境、效应值计算方法与结果和文献样本上呈现出以下特征:(1)研究对象。关注焦点集中在教育游戏[17]、实体课堂[18]等相对传统的研究对象,突出了教育游戏或课堂游戏与传统教学方式相比的优势,对游戏化在线学习与传统在线学习相比的优势缺乏必要的关注。(2)研究情境。研究情境以学习者个人特征[17]或所处国家[19]进行限定,情境划分差异导致难以归纳出统一的结论。(3)数据结果。出于效应值标准化及样本数量的考虑,许多研究采用Hedge's g作为效应值,最终的元分析总体效应值结果介于0.504-1.695[17-19],存在较大差异。(4)文献样本。已有元分析中实证研究的样本大都集中于2018年之前,需要补充更新的样本。

在线教育平台应用游戏化的有效性是学习者继续或终止应用游戏化的重要前提。本文的创新主要表现在:(1)在研究对象上,重点关注游戏化在线教育与传统在线教育相比的优势,并非线下课堂游戏化与线下传统课堂的对比,也非线上游戏化与线下传统课堂的对比,针对特定研究对象统一了实证研究中的矛盾结论;(2)在研究情境上,不限定特定情境以最大化发挥元分析方法在解决争议问题上的优势,提高结论在不同场景的适用性;(3)在文献样本上,纳入2018年至今的最新研究样本,加强结论的时效性。此外,通过得到“游戏化是否有效”这一争议问题的统一结论,以及对不同条件下游戏化应用效果差异的研究,本文将为产业应用提供建设性意见。

1 研究设计

1.1 整体效应检验

游戏化能提高工作效率、参与度和绩效[20]。既有研究中,心流理论是讨论较多的基础理论,认为当个体处于心流体验状态时,会完全沉浸于从事的事情,心情愉悦且感觉时间过得快[21-22],通常采用控制感、注意力、好奇心和发自肺腑的兴趣等4个状态来呈现[23]。心流理论广泛应用于解释游戏化的正面效应,认为游戏化学习环境能够促使心流体验感觉的产生[24],学习环境中的心流体验是在学习中取得成功的重要预测因素[25]。

在已有实证研究中,部分结论证明游戏化对学习效果存在正面影响。Saran等[26]在计算机架构课程中设置游戏化组和对照组进行对比实验,发现游戏化组学生的成绩显著高于对照组;Wu[27]使用英语词汇练习系统进行对比实验,结果表明游戏化组学生的学习效果更好。当然,也有一些研究认为游戏化对学习效果不存在显著影响甚至存在负面影响。De-Marcos等[28]在本科课程中比较游戏化在线学习和传统在线学习,发现传统在线学习表现优于游戏化在线学习。

本文聚焦国内外游戏化在线学习实证研究,选取游戏化在线学习高速发展的近10年文献为数据样本,采用元分析来系统探究游戏化在线学习与学习者学习效果的关系,从整体效应上探究游戏化对在线学习效果的影响强度。为此提出:

问题1:整体效应上,游戏化对在线学习效果是否存在显著正向影响?

1.2 游戏化在不同条件下影响的差异

参考现有研究,从学习内容、实验方法、学习者个体特征等方面选取对学习效果的影响有理论或实证支持的、实证样本中有明确报告的“学科类型”“实验周期”“学习者年龄段”三个因素检验游戏化在不同条件下对学习效果影响的差异。

(1)学科类型。学习者的认知负荷水平因学科类型而不同。认知负荷理论认为,认知负荷分为内在认知负荷和外在认知负荷,内在认知负荷是指与特定教学主题相关的内在难度水平,外在认知负荷是指学习内容呈现的方式带来的认知负荷[29]。Stodolsky[30]发现,与社会研究课程相比,数学教学更具结构化、顺序性,吸引力更低,但社会研究课程的多样性导致更高的认知复杂度。游戏化元素如任务可能更容易和结构化高的学科类型进行结合,从而降低外在认知负荷。在本文元分析的研究中,学科类别主要分为计算机、语言学习、生物学、工程类、人文社科等。学科的不同特点产生不同的内在认知负荷。其次,将影响游戏化是否以学习者习惯的方式嵌入课程,导致不一致的外在认知负荷。因此,本文提出:

问题2:游戏化对在线学习效果的影响是否因学科类型不同而存在显著差异?

(2)实验周期。游戏化在线学习的积极效应可能来自新颖性,当新颖体验转为普通体验后,游戏化在线学习的积极效应消失[31]。这可能是学习者好奇心减弱的影响。好奇心驱动理论认为,人们希望在思维过程中保持一致性或可理解的状态,新颖或冲突会导致思维过程的不确定性,好奇心被唤起,通过学习使一致性得到复原。好奇心驱动学习过程,产生了获取知识和技能的愿望[32-33]。本文中,游戏化作为好奇心产生的源头之一,唤起学习动机,对在线学习效果产生正面影响。随着实验周期增加,学习者对游戏化的理解不断加深,好奇心减弱,游戏化对在线学习效果的影响减弱。本文将实验周期编码为单次实验、1-8周、9-18周、18周以上,并提出:

问题3:游戏化对在线学习效果的影响是否因实验周期不同而存在显著差异?

(3)学习者年龄段。不同年龄段的学习者,其学习经验和能力存在差异。游戏化的引入主要是为了解决在线学习辍学率高、用户动机不足、参与度低的问题。自我决定理论认为,个体行为由内部(intrinsic)动机和外部(extrinsic)动机同时驱动。其中,内部动机表现为个体基于对某行为的价值充分认可(如发自内心的热爱、认为该行为对自己有意义)而产生的对所实施行为的强烈动机倾向,外部动机表现为个体基于对工作所能带来的外部刺激(如获得奖励/逃避惩罚、社会认可)而产生的对所从事工作的动机倾向[34]。自我决定理论既可以解释游戏化的正面效应,也可以解释游戏化的负面效应。其中,正面效应体现在游戏化对学习者内部动机的影响上,学习者将游戏化的外部动机内化为内部动机,内部动机对学习效果有积极影响[35];负面效应体现在游戏化对学习者外部动机的刺激作用上[36]。对于低龄学习者,其对学习的内部动机认识不足,往往更关注游戏化元素,导致了注意力的分散,且其将外部动机内化的能力有待提高,因此影响自主参与游戏化在线学习的意愿。本文将学习者年龄段编码为小学、中学、大学,并提出:

问题4:游戏化对在线学习效果的影响是否因学习者年龄段不同而存在显著差异?

2 研究过程概述

元分析是一种对多项研究目的相同的独立实证研究进行定量综合的方法,有增加统计检验效能、定量估计研究效应、发现既往研究不足等作用[37]。本研究的具体实验步骤包括文献检索、文献筛选、文献编码、发表偏倚检验、总体效应值计算、调节变量影响检验等。

2.1 数据获取

中文文献的检索结果主要来源于中国知网和万方数据等数据库,检索式为“TI=游戏AND TI=学习AND(TI=效果OR TI=成绩OR TI=实验OR TI=有用OR TI=绩效OR TI=成果)”(TI表示标题)。英文文献的检索结果主要来源于Web of Science、ProQuest、Google Scholar、Academic research complete(EBSCO)等数据库,并在ACM、ScienceDirect、Emerald、Sage、Springer、Wiley、Taylor&Francis等出版商网站进行搜索,检索式为“TI=(gamification OR game-based OR gamified OR gamifying)AND TI=learning AND TI=(performance OR outcome OR achievement)”。具体操作中,在保证检索式主要关键词一致性的前提下,根据检索平台要求(如不同的逻辑运算符)进行微调。检索文献主要包括同行评议期刊文章、会议论文和硕博学位论文等类型。鉴于游戏化在线学习研究文献主要出现在2010年后[1],因而文献检索的时间为2010年至今,获得中文研究文献90篇,英文研究文献952篇。

2.2 数据处理

数据处理过程分为数据预处理、发表偏倚检验、效应值提取和计算3个步骤,详见图1。其中,数据预处理包括去重、筛选和编码。首先,去重。将文献导入EndNote文献管理软件,对标题、作者、发表年份均相同的文献仅保留1篇。然后,筛选。阅读标题和摘要,剔除非实证类研究和定性类研究。进行全文阅读,筛选符合条件的文献,即以游戏化在线学习为研究情境,聚焦游戏化在线学习对学习效果影响,采用实验或准实验的研究方法,研究数据包含可计算的效应值(如实验组和对照组的均值、标准差、样本量)的文献。经筛选获得完全符合研究需求的高相关性文献18篇,共包括18个独立的效应值。最后,编码。本文研究对象是游戏化在线学习,因变量为认知层面的学习成果(如考试成绩)。同时,对学科、学习者年龄段、实验周期作为调节变量进行编码。文献编码结果见表1。

图1 数据处理流程

表1 文献编码结果

效应值提取和计算主要采用标准化均数差(standardized mean difference,SMD)的计算方法。不同研究对学习绩效的衡量采用的测量方法不尽相同,将它们报告的原始均值差进行计算是无意义的,同时也需要做小样本的误差纠正。鉴于上述考虑,本研究选取了比Cohen’s d更好的效应值Hedge’s g[54]。

本研究从文献中提取的效应值是认知表现(如学生在考试中的成绩),而非情感表现(如满意、高兴)或行为表现(如参与度)。在游戏化在线学习与学习者学习效果的关系研究中,规范化的实验研究设计常采取随机分组方式,即将学习者分为游戏化实验组和非游戏化对照组,对实验组施加游戏化干预而对照组不进行游戏化干预,之后对组间学习效果进行测量来比较是否存在显著性差异。随机分组的假设和目标是各组的先验知识无显著差异,在这个假设前提下使用后测值进行计算方能符合本研究的目标。因此,本研究纳入计算的指标为后测成绩,如果研究报告了认知表现的前后测差值的均值和标准差,则使用该值计算效应值。有少量研究分析了复杂数据集,通常包括3种情况:(1)同一实验组和两个及以上控制组;(2)两个及以上的实验组和同一个对照组;(3)多个实验组和对照组的配对。

针对情况1,将两个或多个实验组的数据进行合并,并基于Borenstein等[39]提供的公式(公式1、2、3)来计算游戏化条件下的合并平均值和标准差,然后使用对照组的数据和合并后的实验组数据进行元分析。针对情况2,将对照组的数据进行合并。从De-Marcos等[28]和Dominguez等[38]的研究中提取到的实验组数据相同,按照情况1进行处理,将这条数据的文献信息编码为“De-Marcos等”。针对情况3,本文将每一对实验组和对照组数据视为独立样本纳入元分析,不仅是因为各对实验组和对照组提供了不同的信息,而且这样做更契合研究的主要目标,即游戏化在线学习是否比非游戏化在线学习有效果。完成对复杂数据集的处理后,将所有数据导入R软件4.0.3版本中,使用meta包(package)来进行计算分析[55]。由于不同研究的学习效果衡量和游戏化元素差异悬殊,本研究所有数据通过随机效应模型计算且设置α=0.05,后文将通过异质性检验进一步验证使用随机效应模型的合理性。计算过程中完整保留了原文献提供的数值精确度,对于部分研究提供的方差等数据需要通过计算转化为标准差,以Microsoft Excel的计算精度(小数点前+小数点后共15位)作为这些数据的精确度。在所用的公式中,n表示样本量,μ表示均值,σ表示标准差。

异质性检验主要是用于判断独立样本之间的异质性程度。当异质性程度较高时,需要进行亚组分析,即对调节变量的取值进行分组,通过组间差异的显著性来判断调节变量是否存在调节作用。当亚组的组间差异显著时,可认为调节变量存在显著的调节作用。

发表偏倚(publication bias)是文献往往倾向于呈现显著的结果而非不显著的结果[56],为保证研究结论的可靠性需要进行发表偏倚检验。本文首先使用漏斗图进行可视化检查,若不存在发表偏倚,各个独立研究的效应值将对称分布在平均效应值两侧;若存在发表偏倚,漏斗图将出现顶部对称、中部少许不对称,底部极不对称的情况。漏斗图虽然能用于直观判断但存在主观性的缺点,为更准确地检验发表偏倚,本研究还采用了Egger’s检验。Egger’s检验是对漏斗图的对称性进行数值检验的方法,即以所有独立样本的标准正态离差(standard normal deviate)为因变量,估计精度(precision)为自变量来进行线性回归分析,当回归分析得到的显著性p>0.1时可认为不存在显著的发表偏倚。

3 结果分析

3.1 发表偏倚分析

为避免发表偏倚现象,选取期刊文章、会议论文、硕博学位论文等多样性的研究样本,结合数据分析进一步验证。使用漏斗图对发表偏倚进行可视化(见图2),X轴是每项独立研究的标准化均值差(SMD),Y轴是每项独立研究的标准误差,漏斗内的中线代表本研究的平均效应值,漏斗图整体呈现出对称性。Egger’s检验的结果显示,t值为1.428,自由度为15,p值为0.1738。p值大于0.1,进一步验证研究样本未出现发表偏倚[57],所得数据具有可靠性。

图2 发表偏倚检验漏斗图

3.2 游戏化对在线学习效果的整体效应分析

元分析得到的总体随机效应值为0.6338,置信区间为[0.3228;0.9449],p<0.0001,达到统计显著水平。被试者总共2,983名,其中游戏化条件下的被试者有1,832名,非游戏化条件下的被试有1,151名。结果显示,游戏化对在线学习效果具有正面影响,回答了问题1。图3为游戏化在线学习对在线学习效果影响元分析的森林图,该图显示了每个效应值对应的研究的作者和年份、效应值(Hedge’s g,根据效应值系数进行了排序)、置信区间和权重。其中,灰色的方形代表每项研究的效应值的点估计,穿过箱子的横线代表置信区间。当置信区间包含了0时,说明该独立研究在统计上不显著,共有3项在统计上不显著。

图3 游戏化在线学习对学习效果影响森林图

异质性检验的结果显示,Q值为219.59,自由度是16。p值小于0.0001,值为92.7%,说明不同研究中的真实效应的大小不尽相同,观察到的方差的比例反映了真实效应大小的差异,而不是抽样误差[54]。根据文献[58],值在75%左右可以解释为高异质性,从而印证了使用随机效应模型进行分析的合理性,也说明对可能存在的调节因素进行分析的必要性。

3.3 不同条件下游戏化影响的差异

游戏化对不同学科、不同实验周期、不同年龄段的在线学习效果影响差异见表2。为避免单个研究在实验设计、样本选取上的误差,只包含1条数据的分组未纳入分析。

表2 亚组分析结果

在学科方面,游戏化对工程类(g=0.6772,p=0.0019)、语言学习类(g=1.4437,p=0.0024)、数学类(g=0.7229,p<0.0001)、人文社科类(g=0.2724,p=0.0014)的在线学习效果存在显著正向影响,游戏化在线学习对计算机的学习效果无显著影响。组间差异显著(p=0.0033)。问题2得到了回答。

实验周期方面,游戏化对1-8周(g=0.7161,p<0.0001)、18周以上(g=0.8151,p=0.0337)的在线学习效果存在显著正向影响,游戏化在线学习对单次实验、9-18周实验周期的学习效果无显著影响。组间差异不显著(p=0.2029)。问题3得到了回答。

年龄段方面,游戏化对大学阶段(g=0.6147,p=0.0009)的在线学习效果存在显著正向影响,对小学(g=0.7232,p=0.0568)阶段的在线学习效果无显著影响,组间差异不显著(p=0.7972)。问题4得到了回答。

4 讨论与启示

本文系统梳理游戏化在线学习领域的实证研究结论,旨在通过规范化的元分析,探讨在线教育平台应用游戏化与学习者学习效果之间的关系。通常效应值超过0.4即可认为影响学习效果[59],本研究得到的总效应值为0.6338,表示游戏化在线学习对学习效果具有中等程度的正面影响,即在线教育平台中游戏化元素的应用能提高学习者的在线学习效果。这一结果与李玉斌等[17]的结论一致。究其原因,一是特定的游戏元素设计能引发用户的心理反应,满足用户心理需求,产生愉悦感,提高对系统的使用和参与度[60]。游戏化能提高学习者的动机和参与行为[52],而态度(如动机)和行为是游戏化元素对学习效果产生影响的中介因素[6]。二是游戏化带来沉浸感。游戏化能够促使心流体验的产生[24],且学习环境中的心流体验是在学习中取得成功的重要预测因素[25]。三是游戏化增加了学习者的兴趣,而兴趣是影响学习的重要因素[61]。本研究可为游戏化在线学习的应用拓展和研究提供研究基础和发展思路。纳入元分析样本中,De-Marcos等[28]的研究报告了负效应值。该项研究中,实验组的实践作业成绩优于对照组,但对照组的期末成绩优于游戏化实验组。对此,De-Marcos等[28]给出的解释是传统的在线课程模式更适合知识传达,游戏化干预干扰了学生的注意力,学生在实践和知识中进行取舍,即游戏化和在线学习的同时应用加重了学生的认知负荷。然而,其他纳入研究的样本未报告负效应值。本文认为游戏化是否干扰了学生注意力受到游戏化元素的设计与嵌入在线教育平台的方式的影响,生硬而突兀地应用游戏化元素容易干扰学生的注意力,不利于学习效果的提高。

对学科种类的分析显示,游戏化在线学习对不同学科的学习效果影响有显著差异,对语言学习、数学、工程类、人文社科都有正面影响,其中对语言学习的正面影响最大。造成这一结果的原因可能是:对于语言学习、工程类、数学等结构化强的学科,游戏化元素比较适合与步骤清晰明确的任务相结合来更好地帮助学习者对此类学科内容的学习,外部认知负荷低,因此游戏化的积极效应影响程度被放大。

对实验周期的分析显示,游戏化在线学习在不同实验周期内无显著的组间差异。实验周期在18周以上时,游戏化的正面影响最显著,其次是实验周期为1-8周时。单次实验和9-18周实验周期的影响不显著。究其原因,有学者认为,当游戏化的新颖体验转为普通体验后,游戏化在线学习的积极效应消失[31]。但研究结论并未呈现出周期增加导致影响效果减弱的趋势,与现有研究[62]存在差异。本文认为,长期来看,学习者的学习经验和学习能力趋于成熟,且学习者对游戏化及课程内容更加熟悉,认知负荷降低。

对学习者年龄段的分析显示,游戏化在线学习对不同年龄段的影响无明显差异,对大学的学习者有显著正向影响,对小学阶段学习者无显著影响。究其原因,本文认为,年龄的区别主要表现在学习经验和能力的差异。具体来说,游戏化和在线学习的同时应用加重了学生的认知负荷[28],而学习经验和能力的不足使得认知负荷对低龄学习者造成了更大的影响。另外,游戏化研究中常常将动机分为内部动机和外部动机。在线学习中的游戏化元素与外部动机有关。根据自我决定理论,能力强者能更好地将外部动机转化为内部动机,而内部动机能产出更好的学习成果[35]。

游戏化在线教育平台在未来的设计和实施过程中需要注意以下关键内容:(1)统筹规划,整合平台资源。在对纳入本文的实证样本进行分析时发现,各实证研究中采用的游戏化在线教育平台大多为Moodle等国外开发平台,国内游戏化在线教育平台则较为缺乏。教育部2018年印发的《网络学习空间建设与应用指南》提出针对网络学习空间“在统一标准和规范指导下进行统筹规划”。因此,整合与利用国际、国内已有平台资源,在针对短缺部分进行重点建设和突破的同时杜绝重复开发的现象具有重要意义。(2)扬长避短,平衡游戏学习。对负效应值样本的分析发现,认知负荷也是影响游戏化元素应用效果的因素之一。游戏化在线学习的应用有益于学习效果,但过度引入游戏元素会导致物化移情和失去自我[63]。因此,游戏与学习的平衡助推游戏化在线教育平台的有效应用。可将游戏元素以学习者熟悉的方式嵌入到课程中,避免增加学习者的认知负担。(3)积极创新,丰富应用场景。对学科类型的分析发现,目前游戏化在一些结构性强的学科中具有更好的效果。作为游戏化在线教育平台的建设者或者课程的设计者,需要积极创新,探索游戏化与更多类型课程进行结合的合理方式,丰富游戏化教育的应用场景,以更大程度地发挥游戏化的正面效果。(4)动态变化,保持新颖体验。对调节变量“实验周期”的分析发现,在长期接触游戏化元素干预时,游戏化的积极效果可能因新颖体验转化为普通体验而减弱。因此,游戏化在线教育平台需要动态化、创新型管理方式,可通过动态调整平台游戏化元素的交互方式、界面展示来保持游戏化在线学习的新颖体验。(5)重点建设,丰富学习资源。对调节效应的分析表明,内部动机是影响学生自主学习的因素之一,而学习资源起着为学习者提供内部动机的作用,高质量的学习资源是游戏化在线教育平台有效应用的保证。可通过共享优质资源,推广典型案例的方式加强学习资源的建设。

5 结语

本研究是对游戏化在线教育研究领域已有文献的一次系统梳理,研究结论显示了游戏化对在线学习效果的积极作用,鼓励游戏化在线教育平台的建设方和使用方积极、主动地推动此项工作,并为研究者和从业者提供了一些可供参考的意见和建议。近年尤其是新冠疫情爆发以来,在线教育在全球范围内的发展如火如荼,教育信息化扎实稳步推进。游戏化在线学习依托教育信息化和在线教育的发展将有更多机会对学生成绩提升做出贡献,也更值得学者们深入探讨研究。

猜你喜欢
学习效果动机学习者
Zimbabwean students chase their dreams by learning Chinese
疫情期间线上学习效果评价分析
“百词斩”对于大学英语四级词汇学习效果的实证研究
二语动机自我系统对动机调控策略及动机行为的影响研究
动机比能力重要
基于学习性评价原则提高研究性学习效果的研究
你是哪种类型的学习者
十二星座是什么类型的学习者
莲心宝宝有话说
青年干部要当好新思想的学习者、宣讲者、践行者