英语阅读能力诊断性成绩报告对比研究

摘  要：本研究选取Score Report Plus、DiagnOsis和UDig三份国内外具有代表性的英语阅读能力诊断性成绩报告，使用质性研究方法开展对比研究。首先，运用促学性反馈理论将三份成绩报告内容进行对比;接着，采用深度访谈方法从语言学习者角度调查大学生对三份报告的理解和使用。研究结果表明：1. UDig报告信息最为全面，内容涵盖促学性反馈理论的多个层面。2. 在理解性和使用性方面，受试对三份成绩报告由高至低排序为UDig、DiagnOsis和Score Report Plus。通过对比分析和实证调查，研究总结出有效诊断性成绩报告的特征，以期为我国的诊断性成绩报告设计和应用提供借鉴，从而提高学生的学习效率。

关键词：诊断性成绩报告;促学性反馈理论;学习者视角

Abstract： In this study， Score Report Plus， Diagnosis， and UDig three representative diagnostic reports on English reading ability at home and abroad were used， and a qualitative research method was used to conduct a comparative study. First of all， the content of the three score reports is compared using the academic feedback theory; then， the in-depth interview method is used to investigate the understanding and use of the three reports from the perspective of language learners. The results of the research show that： 1. The UDig report is the most comprehensive， covering multiple levels of academic feedback theory.2. In terms of comprehension and usability， the subjects ranked the three score reports from high to low as UDig， Diagnosis and Score Report Plus. Through comparative analysis and empirical investigation， the study summarizes the characteristics of effective diagnostic performance reports， with a view to providing reference for the design and application of diagnostic performance reports in China， thereby improving students' learning efficiency.

Keywords： diagnostic score report; academic feedback theory; students' perspectives

一、概述

成绩报告是连接测试和使用者的重要一环，它蕴含着测验结果的意义和解释，直接影响着教育决策部门、学校、教师和学生对分数及其背后信息的使用。《大学英语教学指南》（2017）指出，“英语测试应发挥测试对教学的正面导向作用，使之更好地为教学提供诊断和反馈信息，促进大学生英语能力的全面提高”。作为评价工作的重要环节，分数报告对实现教學诊断、建立反馈机制、促进学业质量提升具有积极效用。

受传统的语言测试方法影响，我国的语言测试实践大多采用能力水平的研究范式，从宏观上给学生一个整体评估，在成绩报告上体现为总分或能力值。近年来，随着认知心理学开始渗透到心理测量领域，认知诊断测试逐步发展起来。认知诊断测试着重考查学生认知结构的个体差异，属于认知水平的研究范式。在认知诊断测试理论指导下的成绩报告摆脱了单一总分的限制，可以根据学生的实际水平，展示区分学习者语言能力的关键参数，从而发现学习者在语言学习上的优势与不足，为语言学习提供指导[2]。在英语学习中，阅读是语言输入的最主要环节，是提高英语语言能力的重要手段，因此，认知诊断测试在外语阅读方面得到了广泛应用。在诊断性成绩报告研究与实践中，也以英语阅读报告数量最多、成熟度最高。

本研究选取国内外具有代表性的三份英语阅读能力诊断性成绩报告，首先运用促学性反馈理论[1]将三份成绩报告的内容进行对比;接着，使用深度访谈等质性研究方法，从语言学习者角度调查大学生对三份成绩报告的理解和使用。通过对比分析和实证调查，研究总结出有效的诊断性成绩报告特征，以期为我国的诊断性成绩报告设计和应用提供借鉴，从而促进课堂教学效果、提高学生的学习效率。

二、研究背景

（一）成绩报告研究

成绩报告，又称成绩反馈，是指在测试完成之后，学习者或其他相关人员得到的关于测试结果的通知[1]。报告内容既可以包括受试的知识结构信息，也可以包含认知策略、个人信念等其他维度。国内外成绩报告研究涉及宏观和微观两个层面。宏观研究将成绩报告融入反馈研究范畴，微观层面则聚焦成绩报告的内容与形式、开发与效验[3-4]。其中，Hattie & Timperley[1]基于500多项实证研究结果，以效应量为主要指标考察成绩报告对学生学习的影响，并提出有效成绩反馈的理论框架——促学性反馈理论[1]，在反馈研究领域获得了广泛探讨。

促学性反馈理论涵盖反馈目标、反馈对象、反馈内容和反馈层面四个方面。其中，反馈目标是成绩反馈的出发点。一般而言，任何成绩反馈都是以缩小当前的知识状态、能力表现与学习目标之间的差距为目标的。反馈对象包括学生和教师两类。反馈内容包括依据目标的反馈（Feed Up）、学习现状反馈（Feed Back）和未来学习建议（Feed Forward）三部分内容，分别回答“学习者将要去哪里”、“学习现状如何”以及“下一步怎么办”等问题。三部分内容之间相互联系、相互作用，形成一个有机整体，并在四个层面上发挥作用，分别为：任务层面（Task Level）、过程层面（Process Level）、自我调适层面（Self-regulation Level）和自我认知层面（Self Level）。任务层面反馈通常包含任务完成质量方面的信息。过程层面反馈关注学生完成任务的过程、策略和方法。自我调适层面反馈注重学生在学习过程中的自我调整和自我反思。自我认知层面的反馈一般使用“优秀”、“良好”等评价性语言概括学生的任务表现，而不对任务完成情况进行具体描述。Hattie & Timperly认为，相较于其他三个层面而言，自我认知层面的反馈效果最低[1]。

（二）诊断性成绩报告研究

一般而言，认知诊断测试实施的步骤包括七个方面，分别为明确测量目标，确定认知属性，建立Q矩阵，使用数学模型、分析认知结构，评估诊断模型，反馈诊断信息，以及开展补救性教学[2]。其中，反馈诊断信息是连接测试与教学的“桥梁”，是诊断性教学的前提与保障。成绩报告是反馈诊断信息的主要方式，也是认知诊断测试研究的重要方面。

当前诊断性成绩报告研究呈现三个特点：1. 测试研究为主、反馈研究为辅。尽管认知诊断测试的理论价值与实践意义已渐为国内外学者所认同[5]，但基于诊断测试的成绩报告研究尚处于起步阶段，相关研究十分匮乏。2. 理论研究居多、实证研究较少。已有研究大多从理论层面探究诊断性成绩报告的概念、设计原则与方法，较少运用实证研究方法，从使用者角度考察诊断性成绩报告的效用。3. 国外研究较多、国内研究较少。国外研究人员和相关机构逐步开发出多种具有诊断性质的成绩反馈方式，具有代表性的有Score Report Plus和DiagnOsis。前者由美国大学理事会研发，用于汇报考生参加的高考预考（PSAT）的成绩;后者为Jang[6]经过系列研究得出，并发表于语言测试著名期刊Language Testing。相对于国外研究，国内相关研究很不系统。值得一提的是，外语教学与研究出版社对诊断测试与诊断性成绩报告进行了一项重要探索。研发团队开发出UDig大学生英语能力成长诊学系统，一方面分技能测试学生的英语语言能力，另一方面配套群体（班级）和个体（学习者）诊断性成绩报告，反馈诊断结果。

基于当前研究现状，本研究选取Score Report Plus、DiagnOsis和UDig三份具有代表性的成绩报告為研究对象，开展阅读能力诊断性成绩报告对比研究。研究问题包括：

1. Score Report Plus、DoagnOsis和UDig三份阅读能力诊断性成绩报告有何相同点与不同之处？

2. 语言学习者如何理解和使用三份阅读能力诊断性成绩报告？

三、研究方法

（一）研究设计

本研究采用质性研究中的比较研究与案例分析方法，分两阶段完成。在第一阶段，研究基于促学性反馈理论[1]，对比分析Score Report Plus、DiagnOsis以及UDig

三份阅读能力诊断性成绩报告的特点与异同。第二阶段为案例研究阶段，通过半结构化访谈深入调查语言学习者对三份成绩报告的观点与态度。

（二）参与对象

第一阶段的参与者为研究人员、1名硕士研究生和1名本科学生。他们的主要任务为确定促学性反馈理论的操作框架，并根据该框架对比分析三份成绩报告。第二阶段的受试为7名来自国内某211高校的本科学生。他们均自愿参与研究，并填写背景信息调查表。

（三）数据收集与分析

在研究第一阶段，三位参与者独立阅读三份阅读能力诊断性成绩报告，并根据工作框架将三份成绩报告的内容进行对比;接着，参与者就对比结果进行交流与讨论，形成最后的讨论结果。在第二阶段，研究人员征得参与对象的同意，在参与对象所选地点进行了访谈。访谈完成之后，所有语音访谈资料均转写成文字稿，并使用winMAX pro软件对访谈数据进行关键词标注，从而提炼出具有共性的主题。

四、结果与讨论

（一）研究问题一

基于促学性反馈理论的对比分析结果显示，UDig阅读能力诊断性成绩报告提供的信息最为全面，内容涵盖8个方面。Score Report Plus成绩报告次之，报告了7个方面的信息。而DiagnOsis成绩报告信息量最少，仅涉及5个方面的内容（请见表1）。

就反馈目标而言，UDig成绩报告在起始位置进行标注，即“可根据这份成绩报告了解您目前的阅读能力级别、阅读微技能待提高项、重点关注方面等，以便制定下一步的学习目标”。Score Report Plus报告在其封面页，通过文字表述，详细交代了PSAT考试和成绩报告的目的，即帮助学生提高技能，为高考做准备。而DiagnsOsis成绩报告则没有反馈目标方面的描述。

根据反馈对象的差异，UDig将成绩报告分为个人版和教师版。个人版的反馈对象为考生个体，教师版的反馈对象为班级英语教师。Score Report Plus成绩报告的反馈对象以学生为主。虽然该报告没有专门设立教师版本，但是，报告指出，成绩报告可以同时供教师、学校以及其他教育相关部门使用。而DiagnOsis成绩报告的反馈对象仅为学习者个人，报告中没有提及教师或其他成绩报告的使用人员。

在反馈内容方面，首先，三份成绩报告均包含依据目标的反馈信息，但表现方式不尽相同。UDig通过目标能力级别要求、班级百分比排名等多种方式，展现考生对于学习目标的完成程度。Score Report Plus和DiagnOsis报告中反映目标完成度方面的信息较少。前者汇报了测试的总分、分项分，而后者则报告了总分和高、中、低三类难度题目上考生的完成程度。其次，三份成绩报告均对学习现状做出细颗粒度的描述，内容涉及任务和过程两个层面。UDig个人版成绩报告通过文字与图表相结合的方式，展现考生答题过程方面的优势与劣势，包括阅读微技能掌握情况等。但是，该报告对于任务层面的反馈不够充分，仅列出一道典型题目。Score Report Plus报告在过程层面上以条形图的方式展现考生对于阅读微技能的掌握情况;在任务层面上设立试题回顾部分，列出每一道题目的正确答案和试题难易度信息。DiagnOsis报告在学习现状反馈方面的设计与Score Report Plus报告类似，以表格形式对考生的任务表现进行回顾，并运用条形图展现考生的微技能表现。特别是，该成绩报告对于每项微技能的具体含义和达标要求进行了详细阐述，方便考生开展补救性学习。但是，三份成绩报告均没有出现自我调适和自我认知层面的反馈信息。最后，在三份成绩报告中，UDig和Score Report Plus向考生提供了未來学习建议，以帮助考生制定下一步学习计划为主要目标。但是，DiagnOsis并没有学习建议方面的内容，不利于教师、家长和其他相关人员对考生的学习提供帮助和指导。

（二）研究问题二

研究对访谈数据进行关键词标注和整理，提炼出理解和使用两项主题，前者是受试对三份成绩报告的理解情况，后者为受试对三份成绩报告的有用性反馈。

1. 可理解性

在可理解性方面，7位受试中，5位表示UDig成绩报告可理解程度最高。该报告内容充实具体、语言表达明确、图表展现清晰、色彩搭配科学、整体布局合理，为成绩报告的理解性和易读性提供了充分保障。相对于文字描述而言，受试对图表的理解程度更佳。例如，有学生表示 “可以理解文字内容，知道阅读微技能等描述的含义，但是主要还是看图表，文字描述只是扫了一眼”（S2）。对于文字描述，部分受试表示只关注总结性描述，忽略了细节内容。

2位受试认为DiagnOsis报告语言精练、表述清晰、内容简洁、篇幅较短，理解性最佳。例如，S1表示“DiagnOsis比较清晰，而且第二页关于具体技能的描述十分详细，有助于理解每道题背后考察的微技能是什么”。但是，相对于其他两份报告使用彩色排版，DiagnOsis报告为黑白显示。因此受到部分学生的质疑，认为该报告“排版设计不够吸引人”（S7）。

受试普遍认为Score Report Plus成绩报告的可理解性最差，主要原因包括内容庞杂、排版混乱、语言表述复杂等。例如，S3表示“这份报告页面设计不够简洁，有大段的官方介绍的，对于急于了解自己成绩的学生比较不友好”。

值得注意的是，部分受试将成绩报告的语言和篇幅纳入可理解性的影响因素。例如，S3将UDig成绩报告可理解性较高的原因归结于其使用的语言，即汉语，而其他两份成绩报告均为英语表述。S4则以成绩报告的篇幅为主要指标，依据长度对报告的可理解性进行排序。

2. 有用性

在可接受度和有用性方面，UDig成绩报告最佳，其次为DiagnOsis，最后是Score Report Plus成绩报告。具体而言，UDig成绩报告可接受度和有用性最高的项目为阅读微技能、文本体裁和话题等过程层面的反馈信息，以及未来学习建议部分。受试认为“新手可以利用微技能部分的反馈快速提高阅读能力;老手可以通过体裁、话题表现选择阅读材料、培养阅读兴趣、打好阅读基础”（S6）。对于学习建议部分，受试表示“各部分内容都还是非常有用的，特别是诊断和建议部分，有利于学生根据建议调整学习计划和内容”（S4）。

DiagnOsis成绩报告可接受度和有用性最高的部分为试题回顾，原因是“该成绩报告对每道题答题情况给出了比较详细并且严谨的信息”（S6）。此外，也有部分受试表示，DiagnOsis报告中的阅读微技能阐释具有一定的促学作用。

Score Report Plus成绩报告各项目可接受度和有用性排名从高至低分别为百分比排名、分数区间、试题回顾和微技能表现。受试的表述如下：“这份报告最有用的就是考生分数在所有考生中的位置，有利于我们了解自己英语阅读能力处在哪个水平”（S3）;“报告提供分数所处区间范围非常有用。然后它有对各项表现和能力掌握进行了具体分析，优点是更加直观地了解了长短处，有利于对症下药，针对较弱的部分加强训练”（S4）。

综上所述，受试认为UDig成绩报告中过程性层面的反馈信息内容充实、表达清晰、效果最好，而DiagnOsis和Score Report Plus成绩报告在任务型层面的反馈更为具体有效。综合对比分析和学生访谈结果，可以总结出有效的诊断性成绩报告特征，包括：

（1）目标明确：要求在成绩报告的开头对成绩反馈的目标有一个大致说明，方便学生和家长阅读。

（2）对象具体：针对不同的反馈对象，提供不同版本的成绩报告，一方面以不同的形式汇报考试成绩，另一方面针对对象差异，提供不同的建议。

（3）内容全面：反馈内容应包括依据标准的反馈、学习现状反馈和未来学习建议三个方面，对考生能力和表现做出全面反馈。

（4）层次丰富：成绩报告应涉及任务和过程层面的反馈，可以分别通过试题回顾和考生在不同微技能、文本体裁和话题上的掌握程度进行反馈。此外，也可在测试中增加自评等项目，并将自评结果展现于成绩报告中，实现自我调控层面的反馈。

（5）语言精练：文字描述清晰简洁，避免使用复杂的语言。

（6）结构清晰：成绩报告应结构清楚、排版清晰，建议使用图表方式展现过程层面反馈等关键信息。

五、结束语

本研究選取Score Report Plus、DiagnOsis和UDig三份具有代表性的阅读能力诊断性成绩报告，使用质性研究方法开展对比研究。研究发现：1. UDig阅读能力诊断性成绩报告提供的信息最为全面，内容涵盖促学性反馈理论中的反馈目标、反馈对象、反馈内容等多个方面，并通过任务和过程两个层面发挥作用。但是，相对于其他两份报告，UDig报告对于任务层面的反馈不够充分。2. 在理解性和使用性方面，受试对三份成绩报告由高至低排序为UDig、DiagnOsis和Score Report Plus。大部分受试可以准确理解UDig报告信息，并基于诊断信息进行补救性学习。Score Report Plus报告因其内容庞杂、排版混乱等问题，可理解程度最低，促学作用不强。通过对比分析和实证调查，研究总结出有效诊断性成绩报告特征，以期为我国的诊断性成绩报告设计和应用提供借鉴，从而促进课堂教学效果、提高学生的学习效率。

参考文献：

[1]Hattie， J.， & Timperley， H. The power of feedback[J]. Review of Educational Research， 2007，77（01）：81-112.

[2]范婷婷，曾用强.认知诊断测试及其在阅读理解能力上的应用述评[J].中国外语，2016（02）：82-89.

[3]刘辉.促进学习的评价：从报告分数到建立反馈机制[J].当代教育科学，2016（04）：29-32.

[4]Vezzu， M.， Van Winkle， W.， & Zapata-Rivera， D. Designing and evaluating an interactive score report for students[R]. Research Memorandum， ETS RM-12-01，2012.

[5]范婷婷，曾用强.基于中国英语能力等级量表的阅读能力诊断模型研究[J].中国外语，2019（03）：21-31.

[6]Jang， E. E. Cognitive diagnostic assessment of L2 reading comprehension ability： Validity arguments for Fusion Model application to LanguEdge assessment[J]. Language Testing， 2009，26（01）：31-73.