口译测试的内容效度研究——以英语专业八级口语与口译测试为例

苗 燕

(中国矿业大学外国语言文化学院，江苏徐州221116)

一、引言

英语专业八级口语与口译测试(简称专八口试)于2003年4月首次推行，其中的口译测试部分是一项测试英语专业学生口译能力的水平考试。2003年4月，10所高校1486名考生参与了测试，同年12月再次举行测试，30所高校3896名考生参与了测试。［1］自2004年以来，专八口试日趋成熟，但是总的来说全国的通过率不是很高，这与专八口试中的口译测试内容不无关系。根据英语专业教学新大纲(2000)［2］，专八口试中的口译部分旨在评估学生的外事口译能力，测试内容的主题应为国内外的热点新闻，在实际操作中，其口译测试内容也多为正式场合下的发言口译，这对于学生来说有较大难度。此外，有些学生虽然通过了该项测试，但其在正式场合下的口译能力仍然不尽如人意。因此，对专八口试中的口译测试做一个详细分析是极为必要的。本文拟研究专八口试中的口译测试的内容效度，因为效度是研究和评估一项测试的客观标准，而内容效度又是测试效度的一个重要组成部分。

二、文献综述

(一)内容效度

测试效度指一套测试对应该测试的内容所测的程度，所测量到的结果与要考察的内容的吻合度，这是巴赫曼(Bachman)理论的重要组成部分。［3］语言测试的测试效度可分为不同种类，如内容效度、预测效度、共时效度和构念效度等。内容效度包括对测试所欲测量的行为领域加以定义和对测试项目的逻辑性设计，从而覆盖该领域的所有重要部分。内容效度的目的是评估这些项目是否充分代表了一个行为领域或者构造了一种特定利益。因此，内容效度能够更为直接地表明八级口试中口译测试效度的高低。

衡量内容效度有3个标准，即测试内容与测试目的是否相关，测试内容是否具有代表性以及测试内容是否适合测试者，［4］即相关性，代表性和适合性。

(二)口译测试的发展

口译测试有不稳定性、瞬间性和临时性的特点。［5］因此，和外语的其他能力测试相比，口译测试较难实施。世界各地的口译测试都发展得较为缓慢，中国尤为如此。在中国，随着经济的发展、对外交流的日益增强，近年来口译测试得到了更多的关注。徐海铭教授在其《我国英语专业口语测试现状的理论分析》［6］中指出:中国口译测试发展缓慢的原因之一在于很难确定测试效度。如今，专八口试中口译测试部分还依然存在着不足，虽然语言学者们展开了许多研究，但口译测试的难度依然难以克服。

(三)对专八口试中口译测试部分的前期研究

北京外国语大学著名应用语言学教授文秋芳对英语测试，尤其是英语专业四级考试、英语专业八级考试和专八口试做了大量宝贵的研究。在其名为《英语专业八级口语统测考试指南》中，文秋芳提到了专八口试的内容和形式以及评分标准。在其另一篇名为《全国英语专业八级口试体系的研究与实施》［7］的论文中，文秋芳对全国专八口试的实施做了研究。这篇论文写于2005年，当时它在专八口试中口译测试部分方面算是一项比较全面的研究，但社会发展如此迅速，根据当今的标准它也许就略显不足了。

南京师范大学教授徐海铭等在《我国英语专业口语测试现状的理论分析》［8］中对专八口试中口译测试部分的真实性、任务类型、评分标准、评分者培训、测试模式和反拨效应做了深入分析。他们认为口译测试的关键问题在于测试效度，他们还指出，专八口试中口译测试部分仅仅关注口译的理论和原则，因而测试的实施似乎过于简单，以经验为导向的针对专八口试中口译测试部分及研究还需要加以完善。

三、专八口试中口译测试部分的内容效度研究

根据内容效度的3个衡量标准，八级口译测试的内容效度取决于测试任务的选择、材料的主题和考生对本次测试的反映。以下部分将根据相关性、代表性、真实性和适应性这4个标准对八级口译测试的测试内容进行充分分析。

(一)专八口试中口译测试部分的相关性

所谓的相关性是指所选材料应限制在固定范围之内，测试的内容不允许超出教学大纲和学生的课程内容。口译课程是一门培养英语专业学生英语基本技能和技巧的课程，通过给予学生基本口译理论和背景知识的指导，培养学生的基本口译技能，让学生学习记忆、复述、笔记及公众演讲等的技巧，掌握对某些话题接续口译的能力，从而能够准确且流利地进行英译汉、汉译英的口译。［9］这种能力正是专八口试中口译测试部分所要考察的能力，也是新教学大纲所要求的能力。因此，英语专业的学生应该能够与外国人进行流利而得体的沟通，有条不紊地、连贯地发表他们对某件事情的深刻意见和见解。专八口试中口译测试部分要求通过测试的考生能够在正式的外事场合下进行口译。［10］如果专八口试中口译测试部分的内容局限于英语口语领域，那么口译能力会因为范围过大而不能得到完全反映，因此口译测试的内容应该是口译。在专八口试中口译测试部分中，第一项任务是英译汉，第二项任务是汉译英。可以看出，八级口译测试的内容范围是明确的，因而是具有高度相关性的。

(二)专八口试中口译测试部分的代表性

代表性是指测试在多大程度上充分地反映了内容域(content demain)。［11］高度的代表性要求所选材料能够广泛涉及各个领域，但同时也要避免在保证了相关性后而局限于某些话题。根据2000年颁布的教学大纲，专八口试中口译测试部分测试内容的主题应该与外事活动密切相关。

笔者对八级口译测试的试卷做了详细的分析，从而发现测试内容的主题为会议和宴会这类正式场合下的发言口译。笔者将测试内容分为企业介绍、宣传或开幕祝词(2004、2006 －2008、2010)、外交事务的政治性演说(2004－2005)、商务宴会致辞(2005)、欢迎致辞(2006)、学术会议演讲(2007)、告别演说(2008)、致谢词(2009)，以及新闻发布会发言(2009－2010)。由此可以看出，所有这些发言或是与时事具有高度的相关性或是展示了深刻的文化底蕴，也就是说所选的主题范围是相当广泛的。这样，一方面可以使学生在仿真情境中进行口译，另一方面培养了其关注时事的意识。

从以上分析可以得出:专八口试中口译测试部分极具口译的代表性。

(三)专八口试中口译测试部分的真实性

除了相关性和代表性，真实性是评估八级口译测试内容效度的另一个重要参数。

在口译测试中，真实性是衡量测试内容是否具有高度的内容效度的尺子，直接反映内容效度的代表性。巴赫曼提出的真实性也是指模拟测试内容的代表性及一个给定的语言和目标应用任务的相符合的程度。［12］仿真度越高，真实性就越高。为创造交际情景作为语境，在实施口译测试时要遵循真实性的法则。在语言测试领域，有分别以巴赫曼和帕默(Palmer)为代表的两派。尽管他们都认为真实性是一个给定语言任务和目标应用任务的相符合的程度，但巴赫曼倾向于用“现实的”方式来论证真实性，这种方法可以通过设计模拟实际语言运用的场景的测试来实现。

在英语口语测试领域，“现实的”方法得到了广泛使用，如求职时的英语口语面试。此外，大学英语四、六级的口语测试也都基本上采用这种方式。［13］这种方法也可以应用到口译测试中。根据前面对专八口试中口译测试部分的内容分析，专八口试中口译测试部分的内容主要是会议和宴会这类正式场合下的发言，这些和现实生活中发生的事情是一样的。因此，模拟的场合对于保持真实性是合适的。

(四)专八口试中口译测试部分的适应性

笔者选了两份专八口试中口译测试部分样本试卷，对材料的主题进行更详细的分析，并以此来检验测试的内容是否适合学生。对于第一项任务英译汉，从这两份样本中可以观察出既没有晦涩的单词，也没有过于复杂的句子，表达方式也非常地道明了。因此，学生很容易理解，而且从上面的分析也可以推断出第一项任务的内容效度并不低。至于第二项任务汉译英，样本试卷中所选的词语是正式且常见的，句子不长不短，适合学生进行口译。因此，根据笔者的分析，第二项任务的内容效度也是适当的。

至于材料的长度，笔者选择了2004－2005、2008和2010年的样本试卷，并给出了原文长度的详细数据，见表1表2。

表1 英译汉

表2 汉译英

如以上表1表2数据所示，第一项任务的材料长度相对而言逐年递增，第二项任务也是如此。因此可以推断出专八口试中口译测试部分的难度正在逐年增大，因为社会需要更有能力的口译员。因此，学生应在日常训练中用较长的材料来锻炼自己。

在2011年专八口试之后，为了能够更加全面而准确地分析考生对试题难易程度的反映，笔者对中国矿业大学的考生做了一项问卷调查以获取他们对此次测试的评价。该问卷包括两部分，第一部分是调查学生对试题难易程度的看法，第二部分是调查学生对试题长度的意见。发出的90份问卷中82份被收回，78份得到分析。问卷调查结果见表3表4:

表3 试题难度(学生总数:78)

表4 试题长度(学生总数:78)

正如参加过专八口试口译测试的学生反映，尽管他们为了此项测试修了口译课，但对于他们大多数人来说，若想在专八口试口译测试中表现良好还没有那么容易。然而，由于参加此次问卷调查的学生数量有限，此项调查仅能反映部分学生对此次测试的看法。为了能够让考生对试题难度的反映更具说服力，笔者将中国矿业大学的专八口试口译测试通过率与全国其它高校的通过率进行了比较。

表5 通过率

从表5可以明显看出，中国矿业大学的通过率比全国平均通过率高。中国矿业大学外国语言文化学院在全国170所高校的外语学院中排行名次约为第60到第70名，学生的英语水平相对较高。［14］因此，可以得出结论:表格3和表格4中的数据在一定程度上是有效的。

四、对专八口试口译测试部分的建议

关于专八口试口译测试的记录形式，录音没有录像那么有效。原因是通过录像口译，评分者不仅可以判断学生的沟通能力，而且还可以观察学生的口译特点，如手势、表情、素养、方法等。但由于资源和技术的匮乏，这种想法至今尚未得到落实。

根据笔者的分析，尽管专八口试口译测试部分的内容效度是较高的，但由于社会对口译员的口译能力要求日益提高，专八口试口译测试部分还存在许多不足和问题，因此口译的内容应紧随社会的发展和日益提高的要求。此外，测试的内容应保证能被大多数学生所接受，也就是说不能太难，也不能太过简单。

至于专八口试口译测试部分的主题，大多数主题是合理的。因此，企业介绍、新闻发布会发言等主题应当保留。然而在现实生活中，也有许多各种各样的正式场合，这些内容都可以用来作为口译测试的素材，这包括政治、经济、文化和公益事业等方面的材料。因此，试卷出题者应该扩大内容的范围，从而使专八口试口译测试部分具有更高的代表性，相关性和真实性。

五、结论

根据效度理论和一些学者对八级口译测试的研究，本文通过分析试卷的口译部分对八级口译测试的内容效度进行了研究。根据前面对内容效度的论证和对测试内容的分析，可以得出专八口试口译测试具有较高的内容效度这一结论。

［1］［7］文秋芳，王文宇，周丹丹，王艳.全国英语专业八级口试体系的研究与实施［J］.外语界，2005，(5):53.

［2］［9］高等学校英语专业英语教学大纲(修订版).高校外语专业教学指导委员会英语组.上海:上海外语教育出版社，2000:19.

［3］［4］邹申.TEM 考试效度研究［M］.上海:上海外语教育出版社，1997.97.

［5］［6］［8］徐海铭，徐忠明.我国英语专业口语测试现状的理论分析［J］.南京师大学报(社会科学版)，2006，(2):92-98.

［10］文秋芳，吴克明，王文宇，任裕海.全国英语专业八级口试的可行性研究［J］.外语界，2002，(4):67.

［11］Messick，S.Validity［A］.In R.L.Linn(eds.)Educational Measurement，3rd edition［C］.New York:American Council on Education and Macmillan，1989:39.

［12］［13］邹申，杨任明.简明英语测试教程［M］.北京:高等教育出版社，2005.

［14］http://wenku.baidu.com/view/59c3a340a8956bec0975e338.html.