学业测试阅读项目的真实性刍议

朱晓华

(肇庆学院外国语学院,广东肇庆 526061)

学业测试阅读项目的真实性刍议

朱晓华

(肇庆学院外国语学院,广东肇庆 526061)

真实性是交际语言测试面临的最重要的问题之一。引述有关现代测试理论对真实性的论述以及对阅读测试的要求,然后对一份英语学业测试卷阅读项目进行相关分析和对比研究。通过与理论标准的对照,求证这份试卷的真实性程度,以达到发现差距、缩小差距,对测试的科学性和客观性进行有益探索的目的。

真实性;阅读测试;对比分析

20世纪80年代中期,随着语言学、教育测量学等相关学科的发展和交际外语教学法的逐步普及,交际法外语测试也不断完善。该测试强调考查考生在真实的(authentic)语言环境中完成真实语言任务的能力,因而也被称为真实性语言测试。[1]真实性是交际语言测试的“核心”问题。[2]330首先,只有根据真实性测试的结果,才能推测考生在目的语使用域中(target language use domain)或其他非测试语境中的语言使用能力。其次,真实性测试潜在影响考生对测试的接受程度及其测试行为,有助于激发他们发挥最佳水平。第三,真实性测试的反馈作用能促使学生学习真实的语言材料,从而更有利于提高他们的语言交际能力。[3]23-44

Bachman和Palmer[3]23-44指出,真实性即“某一测试任务的特征与目的语使用任务的特征的一致性程度”。目的语使用域的范围不仅包括真实生活中的语言使用任务,而且包括以交际为目的的(或以任务为根据的)外语教学的课堂用语。

Bachman和Palmer对真实性的论述为其在测试中的可操作性提供了依据,对语言测试实践具有划时代的指导意义。首先,只要使测试任务特征尽可能地接近或具有目的语使用任务的特征,即保持高度的一致性,该测试就具有较高的真实性。其次,目的语使用任务的特征主要涉及交际能力、语言环境及其他测试方法层面的因素,这些因素可以一一总结出来。第三,真实性是一个相对的、动态的概念,一项测试的真实性或高或低,没有百分之百的真实性或完全没有真实性。[1]

本研究旨在讨论外语教学环境下的阅读任务特征与测试环境下的阅读任务特征的一致性,以求证一份学业测试卷阅读项目的真实性程度。

一、理论背景

(一)阅读测试的真实性

杨惠中教授指出:阅读测试是否有效真实主要取决于两个因素,即阅读材料的选择和试题的质量。[4]65-67

1.阅读材料的真实性

选择阅读材料首先要考虑材料内容和语言的合适性。选材内容的真实性包括交际目的的真实性、文体的真实性和语言的真实性几个方面。[4]65-67

根据《大学英语教学大纲》(以下简称《大纲》)的要求,大学英语教学的最终目的是使学生能够借助英语阅读原著,以获取本专业所需的信息。[5]6-7

因此,为确保交际目的和文体的真实性,阅读测试材料的选择应与课本保持一致,以学术英语为主。文体应尽量贴近课本阅读材料,体裁应多样化,包括议论文、叙述文、说明文等,以体现多方面的阅读需要。Weir指出:题材应涵盖多个层面,但应限制在一个合适的专业知识范围内,以保证对不同专业的考生机会公平,做到既不会因材料太生疏而使考生不能应用已有的图式知识实现阅读目的,也不会因材料太熟悉而使考生脱离材料利用已有知识获取答案。[6]67此外,阅读材料的选材还应有利于测试各种层次的阅读能力,最好选择有新意、观点上有转折、有一定信息密度的材料,以便从不同角度提问。

一是有利于开拓教学新阵地。院校各系部、各教研室可以结合自身特点开设专栏，及时发布并更新政府部门制定的一系列会计、税收、工商等财经法规，引入在线精品课程、在线题库、在线交流、掌上高校等教学资源，作为会计教学的出发点和落脚点。同时，积极回应学生、企事业单位、学生家长和社会关注的问题，利用微博、微信及时处理学生反应的问题，解疑释惑。

阅读材料除了内容合适真实外,语言也要合适,即符合《大纲》规定的学生应考时应具备的语言水平。这主要从词汇量和阅读材料的易读度(readability)两个方面考虑。

《大纲》基础阶段教学要求规定,学生领会式掌握的四级词汇量为4200个单词。阅读材料中的超纲词汇不得超出短文总字数的3%。[5]1-166《大纲》测试要求则明确规定:考试命题以所学课本内容为基本依据。基础阶段学习结束后,按《大纲》的基本要求组织考试。据此,我们认为,阅读成就测试中阅读语言水平应严格做到与课本水平保持一致。

除词汇量适当外,阅读材料易读度的合适性也应予以考虑。迄今为止,国际上从事阅读教学研究的应用语言学家们已提出了不少公式,如Flesh公式、Lorge公式、Bormuth公式等等,力求从语言形式上对阅读材料的易读度进行量化。按照Flesh易读度参考量表,易读度愈低的材料愈难读。易读度为50～60的阅读材料为“相当难”(fairly difficult);易读度为30～50的阅读材料为“难”(difficult)。据此,我们认为,应把阅读材料的易读度控制在60以上。因为,易读度太难或太易都考不出学生的实际水平。

选择阅读材料还需考虑阅读材料总量的合适性。因为阅读材料过短或过长都不能测量考生的真实阅读能力。那么,阅读材料的总量应该如何控制才算合适呢?这里有一个公式[7]340:阅读材料的总量=考试时间×阅读速度。《大纲》明确规定,基础阶段学生阅读语言难度中等的一般性题材文章,阅读速度应达到70字/分钟。[5]1-166而我们设计的成就测试阅读理解部分的考试时间通常为35分钟。那么,根据上述公式计算,难度中等的阅读材料总量,即材料总字数加题目字数应以2450字左右为宜。

2.试题质量的真实性

根据《大纲》规定,四级成就测试中阅读理解部分主要测试的阅读技能有11项。因此,阅读测试部分应全面考核多层次的阅读技能,命题时题眼应体现理解得不同层次:不但应涉及理解字面意义,而且应涉及理解字里行间隐含的意义;不但要考核词、句层次的微技能,而且要考核语篇水平的微技能;不但要考查局部理解,而且要考查总体理解。只有这样,阅读测试的效度才能得到保证,阅读成就测试的真实性也才能得以实现。因此,阅读技能的覆盖率是确保阅读测试试题质量的关键。

(二)测试任务及形式的真实性

Clark指出,测试的真实性就是“测试形式和过程尽可能多地重现实际语言运用情景及其过程”[8]10。根据这个观点,“测试形式及具体测试任务只要近似于实际语言运用,那么测试就具备了真实性”[9-10]。阅读测试通常采用的考试形式是否近似于实际语言运用情形呢?它们与课堂阅读任务有无一致性?众所周知,在中国,阅读测试常用的题型有多项选择题、简答题和正误判断题。[10]

多项选择题的优点是:第一,阅卷客观,信度高,可以避免阅卷人员对考生分数的主观偏见影响。第二,试题可以预考,因此,题目的难度和缺陷可以提前调整和修改。最重要的是,多项选择题不会牵涉其他技能,如写作技能,可以保证阅读技能考核的精确性。但是,这种题型的使用有一定的局限性:第一,考生猜测的可能性比较大。第二,设计题目的要求极高,要设计出合适的选项决非易事。第三,用这种题型能否测试阅读能力受到质疑,因为,在现实生活中,我们并不是通过选择答案证实自己理解阅读材料的。尽管如此,在课堂阅读活动中,多项选择题依然是最常见的测试题型,因为,它可以考多样的语言阅读材料,可以问多种多层次的问题,是保证大面积考试高信度,同时又可以提高效度的可能的阅读题型。

2.简答题

简答题这种测试题型比较接近自然的阅读过程,效度较高。它的优点正如Weir[11]46-48指出的那样:第一,这种题型可以排除猜测的因素,直接测量考生的语言能力和理解程度。第二,精心设计的考题只要求考生进行简短回答。这样,大量的题目可以设计出来,保证阅读技能的覆盖率。第三,在这种题型中能够有效地考查诸如归纳推理、确认语义顺序、辨认短文主旨大意这类需要跨距离连通信息的阅读技能。当然,简答题也有它的局限性:第一,书面回答问题牵涉到文字表达能力,从而会影响测试的构想效度(construct validity)。第二,由于涉及到书面表达,评分时难以保证客观,从而影响测试的信度。

3.正误判断题

正误判断题的优点是设计容易,评分简单,信度高。缺点也很明显:因为只有两个选择项,猜测机率达50%,所以,除非设计许多项目,否则不能很好地区分考生的实际语言水平。[12]110

基于以上因素,正误判断题虽然也常用于课堂阅读活动和成就测试中,但与多项选择题和简答题相比,使用的频率相对低一些。

二、案例分析

(一)研究工具

本项研究的工具为广东省肇庆学院外国语学院命题人员自编的校级题库中的一份四级试卷。阅读理解部分采用多项选择题的形式,共包括4篇短文,20道题。

(二)阅读测试的真实性分析

1.阅读材料的真实性分析

根据前文所述,阅读材料的真实性需从内容和语言两个方面考察。我们先考查阅读测试的选材内容。本次考试的阅读理解部分包括四篇短文。题材涉及生物学和人文学,文体以学术英语为主。体裁包括说明文和议论文。短文字数为:第一篇310个词,第二篇285个词,第三篇330个词,第四篇380个词。

分析结果表明,阅读测试材料的内容与课本基本相符,阅读材料总量达到了标准,为68字/分钟。但也发现了一些问题。例如,第一篇短文的题材涉及蛇的生活习性,专业知识过浅,考生可以脱离材料单凭常识就能获取答案,不牵涉阅读能力。这样,测试的构想效度不高,测试的目的就无法达到。再如,体裁的多样性体现得不够。课本中考生熟悉的叙述文和描写文没有纳入测试范围,使考生感到不适应,影响了他们答题的效果。

语言的合适性又是怎样的情形呢?一方面,统计数据表明,有些短文中超纲词汇的出现频率已超出了《大纲》设定的限度。例如,第二篇短文和第四篇短文中分别有11个超纲词汇。第二篇中的生词加了中文注释,而第四篇中的生词未作任何处理。这样无疑会增加阅读的难度,造成考生阅读困难,使考生产生生疏感,不利于他们发挥应有的水平。

语言合适性的另一个方面是阅读材料的易读度。根据Flesh的公式,我们计算出的四篇短文的易读度分别为:67.3,64.2,66.8和66.6。依据前文所述,他们属于易读度比较适中这个档次,这对提高阅读测试的真实性起到了正面效应。

2.试题质量的真实性分析

根据前文所述,阅读成就测试应考核11项阅读微技能。本次考试阅读理解部分涉及到的阅读技能请参见表1。

表1 四级成就测试阅读理解微技能覆盖情况表

从表1所列的数据可以看出,在应考核的11项技能中本次考试涉及到了7项。没有考核的技能有:“作结论”“猜测生词的词义”“理解句内关系”和“利用参阅技能”4项,他们均属于次能力。这些技能的漏考肯定会对测试的真实性小有影响。严格地讲,阅读测试应全面覆盖所有技能,在题目数量有限的情况下,我们应该分清主干信息和分支信息的测试,重点测试那些获取主要信息的能力,以求对考生的主要阅读能力有个框架性的认识,不必追求小而全,试图测试所有的次能力。从这个意义上讲,本次考试基本上全面考核了多层次的阅读能力。试题质量的真实性基本上得到了保证。

(三)测试任务及形式的真实性分析

通过课堂阅读任务及练习形式与测试任务及形式的对比,我们发现,他们之间存在很大程度的一致性。在两种情况下的阅读任务都包括运用仔细阅读以获取相关信息(不论明确表达的还是隐含表达的)、查阅寻找特定信息、略读了解文章大意、理解作者观点态度、辨别文章中心思想、通过上下文猜测词义等技能。阅读练习和阅读测试都采用多项选择题的题型。从表面上看没有什么问题,但应当指出的是,只有多项选择题一种题型,阅读测试就显得单薄。因为多项选择题只能间接测试阅读能力,而且考生有猜测的机率。如果阅读测试能补充其他主观题型,比如简答题,直接测试阅读能力,测试的效度会更高,测试的真实性也就相应更高。

通过以上的对比分析和与理论标准的对照,得出以下结论:总的来说,这份试卷的真实性达到了较高的水平,但也存在着一些问题,与理想的标准还有一定的差距,这些问题应该得到我们的重视与改进,有待于我们进一步的研究和探讨。

三、结语

真实性是交际语言测试中最重要和最棘手的问题之一。它牵涉到测试的目的、测试任务、测试材料与非测试语境中的语言任务及形式的一致性等问题。只有两者保持高度的一致,测试的真实性才能得到保证,我们才能科学、客观、公正地推断考生的语言使用能力。

[1]李清华.论交际测试中的“真实性”[J].外语界,2001, (6):68-71.

[2]Bachman L.F.Fundamental Considerations in Language Testing[M].Oxford:Oxford University Press,1990.

[3]Bachman L.F.&Palmer A.S.Language Testing in Practice[M].Oxford:Oxford University Press,1996.

[4]杨惠中.大学英语四、六级考试效度研究[M].上海:上海外语教育出版社,1998.

[5]大学英语教学大纲(修订本)[M].上海:上海外语教育出版社,1999.

[6]Weir C.J.Understanding&Developing Language Tests [M].London:Prentice Hall International(UK)Ltd., 1993.

[7]李筱菊.语言测试科学与艺术[M].长沙:湖南教育出版社,1997.

[8]Clark J.L.D.Theoretical and Technical Considerations in Oral Proficiency Testing[A].Randall L.J.Spolsky B. Testing Language Proficiency[C].Virginia:Centre for Applied Linguistics,1975.

[9]邹申.试论口语测试的真实性[J].外语界,2001,(3): 74-78.

[10]刘建达.测试方法对阅读测试的影响[J].外语教学与研究,1998,(2):48-52.

[11]Weir C.J.Communicative Language Testing[M].Great Britain:University of Exeter,1988.

[12]刘润清.语言测试和它的方法[M].北京:外语教学与研究出版社,2000.

【责任编辑 马小侠】

A Study of Authenticity of a Reading Achievement Test

ZHU Xiao-hua
(School of Foreign Language,Zhaoqing University,Zhaoqing 526061,China)

Authenticity is one of the most important qualities of communicative language tests.This paper quotes some rules about authenticity and reading test from the language testing theory first and chooses one college-wide reading achievement test paper for non-English majors as a sample to investigate its authenticity.A comparative study of the characteristics of the reading materials between the test and non-test language use domain is followed,with reference to modern testing theory and associated criteria.The purpose is to bring strengths and weaknesses of such tests to the attention of test developers,so that corresponding measures can be adopted to guarantee test authenticity.

authenticity;reading achievement test;comparative study

H319

A

1009-5128(2014)04-0062-04

2013-09-22

朱晓华(1964—),女,陕西渭南人,肇庆学院外国语学院讲师,主要从事应用语言学研究。