学生视角下的英语写作多元评价体系构建

杨 洪, 潘崇堃

(北京化工大学 文法学院, 北京 100029)

英语写作教学中的反馈与评价受到学术界和一线教师持续关注。教师评价由于其权威性常被赋予重要角色,但单一的教师评价,特别是终结性教师评价已无法满足形成性评价和促学评价等评价理论对教学实践的要求。因此,符合形成性评价理念的过程教学法已成为英语写作教学的主流。作为过程教学法的重要环节,同伴评价一直是研究热点。同伴评价为学生提供就近发展区,促进学生在多方面提升自己,包括写作水平、读者意识、思辨能力。随着教育技术的进步和应用,特别是写作自动评价系统AWE(Automatic Writing Evaluation)的发展,机器评价凭借高效性已融入越来越多的写作课堂。不同于教师评价、同伴评价、机器评价等他者评价,自我评价是一种相对主动的评价方式,能激发学生对学习过程和学习成果的反思,从而引发研究者浓厚兴趣。为实现评价促学效果最大化,一些学者开始尝试在写作课堂构建多元评价体系,把教师评价、同伴评价、机器评价和自我评价融入其中。作为学习主体,学生对多元评价体系的认知和情感对评价体系的实施效果必然会产生重要影响,值得深入研究。

一、 文献综述

1. 机器评价

机器评价往往依靠写作自动评价系统完成。写作自动评价系统是一种基于网络平台的教育技术,其主要功能是对作文进行评价和打分。在国内为数不多的写作自动评价系统中,中国外语教育研究中心和外语教学与研究出版社推出的iWrite英语写作教学与评阅系统得到了业界的认可。实证研究发现,iWrite的信度和效度可以媲美人工阅卷[1-2],已经达到可推广水平,可以在考试及日常写作教学中使用[3]。对写作自动评价系统的应用研究发现,iWrite在提升学生学习主体性和自主学习方面发挥了重要作用[4]。

2. 自我评价

自我评价基于建构主义、自主学习等理论,体现了从总结性评价到形成性评价的转变,反映以评促学的学习评价理念。在评价过程中,学生依据学习目标或标准对学习过程和学习成果进行反思和评价。其目的并不是要证明学习者对某一科目的掌握情况,而是收集足够的关于自我学习方面的知识、技能、信念、动机、目标、策略、效果等信息,利用这些信息,找出最适合自己的学习方式,提高学习能力[5]。在写作教学实践中,自我评价常常采用反思日志、评价表等形式。学生根据事先制定的写作要求和标准找出存在的优缺点,强化对写作标准的认识和理解,并对作文进行相应修改。

多项研究表明,自我评价在英语写作学习中产生了积极影响。首先,自我评价有助于提高学生对写作技巧的意识,加深学生对写作任务的理解[6],提高学生写作能力和综合英语水平[7]。其次,自我评价有助于培养学生的元认知能力,帮助学生明确写作发展阶段[8],促进自主学习能力的发展。最后,相对于教师评价,自我评价大大减少了评价给学生造成的压迫感[9],能起到促进自我效能提升的作用。

3. 多元评价实践

鉴于机器评价和自我评价的促学属性,一些学者开始尝试将这类评价融入写作教学。例如:高满满等[10]以促学评价理论为指导,将多元评价引入写作课程。其课程形成性评价包括机器评价、学生互评、教师评价及自我评价,权重分别为10%、10%、50%和30%。不过对于学生如何看待多元评价,特别是学生是否接受各类型评价的权重,文章中并未详述。作为学习主体,学生对教学活动的认知和情感往往直接影响其成效,也可为教学效果进一步提升提供思路,需认真对待。此外,多元评价是否适用于其他英语课程的写作环节,也值得进一步探究。

二、 研究设计

1. 研究问题

本研究试图从学生视角探讨英语写作多元评价在非写作课的接受度,回答下列两个问题:①对于非写作课采用写作多元评价,学生的接受度如何;②有哪些因素影响学生对写作多元评价的接受度。

2. 研究对象

研究对象为北京市某理工院校英语专业77名大一学生和76名大三学生,共153人。该专业大一学生的《综合英语》和大三学生的《高级英语阅读》为综合课程,教学大纲均包含写作训练,写作成绩占课程总成绩的5%～10%。经授课教师同意,研究人员针对这两门课开展了写作多元评价。

3. 多元评价体系构建与实施

参与研究项目教学工作的有三名教师,均拥有超过10年的英语教学经历,在项目初期小组焦点访谈中均表示对多元评价的支持。教师A和教师B讲授《综合英语》,教师C讲授《高级英语阅读》。在他们看来,机器评价能给学生作文提供及时反馈,替代教师提供比较科学合理的反馈和分数,大大降低课程作业批改量。同时,采用自动评阅系统也可缓解既想给学生创造更多写作训练机会,又怕无法完成批阅、及时反馈的状况。学生自我评价与机器评价是互补关系,这种主观评价结合客观评价的方式更全面。自我评价也能帮助学生更好地了解优秀作文标准。三位教师均不认同加入同伴评价,认为在现有作业量基础上增加比自我评价更加费时费力的同伴评价可能会引起学生的反感,影响多元评价效果。至于各类评价类型的比重,三名教师同意将机器评价和自我评价分别设定为70%和30%,其主要原因在于机器评价的相对客观性和自我评价的相对主观性和功利心。

按照研究计划,每结束一个学习单元,授课教师布置一次命题作文,学生在提交作文终稿前需自行完成机器评价和自我评价。机器评价由学生在iWrite 2.0英语写作与评阅系统上完成。在作文提交时间截止前,学生在iWrite上进行多次提交,完成评价与修改,作文最终成绩为所有提交版本中最高分。自我评价是学生对终稿的评价,由学生在学校在线学习平台上根据自我评价表完成。自我评价表基于Andrade等编制的评价表[11]进行了适当调整,涉及内容、语言和格式各方面。学生根据每项标准描述对自己的作文完成情况进行打分。

4. 数据搜集与分析方法

本研究为定量和定性相结合的混合式研究。定量研究以问卷调查为主,旨在发现研究对象对写作多元评价的接受程度。定性研究获取研究对象反思日志文本,通过文本分析得出研究对象对写作多元评价的接受程度,其结果可与问卷调查结果相互印证,同时挖掘影响接受度的潜在因素。

调查问卷旨在发现研究对象对非写作课程写作多元评价体系的认识和态度。调查问卷包含三部分:调查对象个人信息、多元评价体系接受度、各类型评价权重接受度与理想占比。其中,多元评价体系接受度包含三个问题:分别调查学生对现有多元评价体系、机器评价、同伴评价的接受度。各类型评价权重接受度与理想占比包含如下问题:分别了解学生对现有评价体系中两种评价类型权重的总体接受度,对现有评价体系中机器评价占比的意见及其理想占比,对现有评价体系中自我评价占比的意见及其理想占比,对现有评价体系中增加同伴评价的意愿及其理想占比。调查问卷大部分问题采用李克特五级量表,要求研究对象根据所给陈述作出判断选择,1表示完全不同意,5表示完全同意。

调查问卷在学生完成第三次写作任务后通过在线问卷平台发布,共回收问卷128份,回收率为83.7%。回收问卷后,问卷数据先经过在线问卷平台完成描述性统计分析,然后使用SPSS 20.0进行推断性统计分析,借以探讨学生学习经历和写作水平对多元评价接受度的影响。

反思日志由研究对象在完成第三次写作任务后,通过在线学习平台自愿提交。要求研究对象回顾经历的三次机器评价和自我评价,并如实汇报对多元评价的认识与感受,最终收到反思日志41份。获得反思日志文本后,两名研究人员分别进行初步文本分析。经过反复阅读反思日志文本、商讨文本分析初步结果,提炼出多个一级编码和二级编码,最终合并成为五个三级编码----主题编码,包括多元评价体系总体评价、机器评分必要性、自我评分必要性、评价类型增加、iWrite使用问题。

三、 结果与讨论

1. 多元评价体系接受度

调查问卷结果显示,92%的学生对多元评价体系表示认可或不排斥。41%的学生建议在现有评价体系中增加同伴评价,34%的学生反对增加,其他学生持中立态度。80%以上的学生认为有必要或不排斥把机器评分和自我评分纳入写作成绩。

问卷调查结果与反思日志分析结果基本一致。反思日志表明,98%的学生表示对多元评价体系认可,98%的学生认为有必要把机器评分纳入写作成绩,66%的学生认为有必要把自我评分纳入写作成绩。关于是否增加评价类型的问题,超过一半的学生在反思日志中建议增加同伴评价,与问卷调查结果相当。值得注意的是,关于增加评价类型的结果与研究项目参与教师的预期有一定差距。三位教师并不看好同伴评价,担心增加学生作业量,但研究结果表明反对增加评价类型的学生只占少数。相对于同伴评价需付出的额外时间和精力,学生可能更看重反馈多样性和真实读者视角。

2. 各类型评分权重接受度与理想占比

调查问卷结果显示,62%的学生认为多元评价体系中的iWrite评分和自我评分各自比重合理,31%的学生对各类型占比持中立态度。总体而言,大部分学生接受或不排斥当前各类型评分的权重分配。

41%的学生认为当前iWrite评分占比(70%)偏高,iWrite评分理想占比平均值为60%。74%的学生对当前自我评分占比(30%)无异议,自我评分理想占比平均值为32%,与当前自我评分权重并无明显差异。如果在现有多元评价体系中增加同伴评价,学生认为iWrite评分理想权重平均值为46%,自我评分理想权重平均值为26%,同伴评分理想权重平均值为16%。由此可见,学生最认可iWrite评价,其次是自我评价,最后是同伴评价。

3. 多元评价接受度影响因素

(1) 接受多元评价的主要原因。根据反思日志,对多元评价的认可主要源于评价体系在公正性、自主学习、客观高效、自我效能等方面的综合优势。不少学生认为多元评价融合客观评价和主观评价,评价结果比较公正。例如:学生S1表示,“这两种评价方式相结合的评价模式较单一评价来讲,较为客观公正……若使用单一的iWrite系统评价,则评价模式过于客观、死板,机械的评分事实上并不能反映出学生所投入的时间精力及用心程度。”分开来看,学生认为机器评价能够增加课后写作学习机会,促进自主学习;iWrite知名度高、打分公平、效率高;机器评价是发展趋势,应该顺应这一潮流。

学生S2: “对于我们平时锻炼写作有一个更直接方便的途径,因为除了写作课之外,好像寻求别人的评价和帮助的途径很少。”

学生S3: “系统评价比较客观,对待每一个同学都是以一样的标准,这样有利于评分的公平。”

学生S4: “随着科技的不断进步,很多官方考试都由人评变成了机评,机评将成为一种时代趋势。”

即使在机器评价出现误差时,不少学生仍然抓住了自主学习机会。虽然有个别学生为了迎合机器反馈以提高作文分数,但更多的学生对于机器反馈并未全盘接受,而是以批判的眼光,通过查阅字典等参考资料验证机器反馈的合理性。学生S5就表现出较好的批判意识,他表示,“我就相应问题通过字典和其他途径进行查证。在确认自己表达无误后我选择对iWrite系统提出的意见置之不理。”

对于自我评价,除了督促反思、促进自主学习的作用,学生还强调自我评分能激发责任感,体现自我肯定,弥补机器评分的不足。

学生S6: “自我评价也让从多维度进行自我反思成为可能。学生可以看到自己哪里存在不足,下次可以进行改进。”

学生S7: “将自我评分纳入最终成绩会给学生带来一种责任感与使命感,因为这时,学生要开始以某种特定的标准来客观地看待和衡量自己的作品。”

学生S8: “机器评分比较死板……对那些结构新颖且优秀的文章可能会产生误判,给出一个低于学生们预期的分数。增加自我评价可以弥补学生心理的落差。”

学生S9: “这是学生基于一定客观事实给出的自我评价,是学生对自己认可度的一个体现。”

由此可见,学生清楚地认识到自我评价可以对学习投入进行评价、提升自我效能。自我评价是学生的自然诉求,学生学习的动力和意义不仅在于知识的增长和智慧的锤炼,更在于通过有效的学习发现自我、评价自我、强化自我[12]。

从上述研究结果也可发现,无论是机器评价还是自我评价,学生都能从中抓住评价提供的自主学习机会。这一发现也印证了前人的研究结果。在对印度尼西亚学生的一项研究中发现,自我评价让学生清楚认识到写作标准,学会如何独立完成作文修改,养成学习责任感,进而更加积极主动地投入写作学习[13]。

另外,学生认为增加同伴评价能够更好地发挥多元评价的作用。同伴评价可以增加反馈视角,更重要的是同伴评价能提供真实的读者视角。如学生S10所说:“作文是非常主观的一个作品,虽然机器评价确实有它的评分标准,但作文面向的是读者,而不是机器。如果我的作文是给机器看的,我会丧失一点写作文的热情。”

(2) 质疑多元评价的主要原因。尽管学生对多元评价的总体接受度比较高,但也存在质疑。反思日志显示,他们的质疑并非针对多元评价这一概念,而是针对构成多元评价体系的机器评价和自我评价在实操层面的问题。具体而言,学生认为机器评价在评价准确性、针对性等方面还存在不足,自我评价的问题主要体现在主观性、功利心、评价表等方面。

首先,机器评价存在评语笼统、缺乏针对性的问题。学生S11表示,“系统评语会显示语句不够流畅,但是却没有给出任何修改意见。这种只说你写得不好,却又不告诉怎么提升的建议是极其不负责任的。”类似的机器评价恐怕会大大影响学生对写作任务的行为投入和情感投入。正如学生S12所说:“如果我不能收获评价者及时、用心、有价值的反馈,我完成这项任务的热情与拟投入的时间、精力都会随之下降。”

机器评价更严重的问题是错误的反馈意见,影响机器评价的可信度。46%的学生反映机器评价脱离语境,提供错误的反馈意见,有时候错误还比较明显。例如:学生S13在使用iWrite过程中发现,“机器批改时经常‘断章取义’。”iWrite对该学生作文某处的反馈是介词错用,指出“of建议改为for……for good表示‘永久地,永远地’”。但在学生作文中,“making them extraordinary candidates of good husbands”这个短语中的“of good”跟“永久地,永远地”语义不符,机器评价实为误判。

其次,机器评分不够准确,一个主要原因是机器评分标准失衡,词汇、语法权重过高。学生S14表示,“iWrite系统对于语法简单但内容深刻的文章较不友好,评分占比过于注重结构、长短等,对于内容的思辨性、深刻性考虑较少。” 学生S15也反映了相似感受,“看过一些其他同学的文章,有道翻译得挺明显的,但是语法错误很少,分数反而很高,对于真正写的有思想的文章,分数却没有倾斜。”

学生对自我评价的质疑可归纳为主观和客观两个层面。主观层面主要是对评价态度和评价能力两方面的质疑。有些学生对自己的评价能力持怀疑态度,而更多学生指出评价主观性和功利心的负面影响。

学生S16: “以我为例,我并不觉得自己有能力评判一篇文章的好坏,也看不出其中的区别。”

学生S17: “不同的学生对优秀、良好和一般的标准认定也是不同的,因此自我评价有时候也是有点主观了。”

学生S18: “为了追求评分,同学们有盲打满分的倾向,这使得自评这一个环节变了味。”

在客观条件层面,自我评价还存在一些问题。有的学生反映,评价表有些标准的描述不够清楚;有的学生反映,自己不能完全理解评价标准。例如:学生S19表示,“怎样才算是有好的连贯性,词汇怎样才算使用恰当……这些问题仅靠自我评价很难做到客观。”

学生提出的上述自评问题应得到教师的充分重视。关于自评信心问题,教师可在自我评价开始前通过培训等形式降低学生的焦虑感,增强自评熟悉度,逐步提升学生自信心。针对评价表标准描述的问题,教师可以通过课堂讲解的方式让学生熟悉评价表的每一项标准描述;带领学生一起依照评价表讨论多篇学生习作,帮助学生积累评价经验。教师还可尝试让学生加入评价标准的制定,形成大家都理解和认可的评价标准[14]。研究发现,学生不仅愿意参与到评价标准制定中,而且乐于把此标准应用到自我评价中[15]。最后,为抵消评价主观性和功利心导致的负面影响,可增加书面反思环节,或用书面反思替换自评打分。教师根据反思内容的用心程度和论述充分性进行打分。

(3) 学习经历和写作水平对多元评价接受度的影响。研究对象所在专业于大二开设了专门的英文写作课,采用多稿制、多元评价,给予学生系统化写作训练和指导。参与本研究的大三学生已修过写作课,而大一学生还未选修该课程。大三学生在英文写作课上的体验可能会影响他们对非写作课多元评价的感受。为探究两组学生英语写作学习经历和写作水平对多元评价接收度的影响,本研究对相关问卷结果进行了推断性统计分析。

大一学生和大三学生多元评价接受度两组数据为非正态分布,因此,选择非参数检验方法“Mann-Whitney U”以考察两个年级对多元评价的接受度是否存在显著差异。检验结果表明,p值为0.84,说明两组数据之间的差异有84%的可能性由抽样误差导致,即大一学生和大三学生在多元评价接受度方面不存在显著差异。

研究对象在回答调查问卷时,对自己的英语写作水平进行了评价,分为低、中、高三组。三组接受度数据均为非正态分布,因此,选择非参数检验方法“Kruskal-Wallis H”以考察不同写作水平的三组对多元评价的接受度是否存在显著差异。检验结果表明,p值为0.81,说明三组数据之间的差异有81%的可能性由抽样误差导致,即不同写作水平的三组在多元评价接受度方面不存在显著差异。

由此可见,不管学生是否有过多元评价的学习经历,对这种评价体系的接受度都比较高。在本研究中,写作水平由研究对象自己评判,并未参考他们的写作考试成绩,评判结果不一定符合实际情况。虽然本研究发现研究对象写作水平自评等级对多元评价接受度并无显著影响,但学生写作水平对多元评价接受度的影响仍需进一步验证。

四、 结 语

通过分析调查问卷和反思日志,发现大部分研究对象对机器评价和自我评价构成的多元评价体系表示认可。建议增加其他评价类型的人数多于反对的人数;研究对象同意把机器评分和自我评分纳入写作成绩,认为机器评分的比重应大于自我评分。研究对象还认为,多元评价具备公正、客观、高效等特点,能够提供多元读者视角、促进自主学习和提升自我效能。同时,研究对象表达了对机器评价反馈效用等方面的质疑,也指出评价表设计等客观条件及学生主观性和功利心等主观原因引发的自我评价问题。因此,当前的多元评价体系还存在较大提升空间。此外,研究还发现研究对象过去是否参与多元评价及写作水平高低对多元评价体系接受度并无显著影响。

研究发现对非写作课写作多元评价体系构建具有以下几点启示。首先,多元评价体系可在不同年级实施,应尽可能涵盖各种评价类型,以发挥各类评价的作用。每一种评价类型的设置都应该遵循促学原则。其次,虽然自动评价系统近些年发展迅猛,但仍存在不可忽视的技术问题。教师在课堂应用机器评价时仍需谨慎,不能因噎废食,亦不能盲目信任;应鼓励学生利用好机器评价失误时的自主学习机会,培养批判思维,巩固语言知识和写作知识。再次,为避免自我评价的弊端,教师可在自我评价启动前对学生进行相关培训,帮助学生树立自评信心、熟悉评价标准,也可鼓励学生加入评价标准制定,亦可用反思日志替代评价表。最后,多元评价体系中各类评分权重可设置为“机器评价>自我评价>同伴评价”,还可以结合学生认知、情感和学习经历等实际情况进行灵活调整。