《改进和拓展二语研究的定量推理》评介

申云化 马 毅

(吉林大学，长春，130012)

Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).2015.Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research.New Jersey:Wiley－Blackwell.ISSN: 0023－8333.pp.vi+255.

《改进和拓展二语研究的定量推理》评介

申云化 马 毅

(吉林大学，长春，130012)

Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).2015.Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research.New Jersey:Wiley－Blackwell.ISSN: 0023－8333.pp.vi+255.

1.引言

近年来，应用语言学定性研究方法倍受学界青睐，研究者愈发认识到，“社会、文化、语境等因素几乎对语言习得的各个方面产生决定性影响，而定性研究是人们深刻把握这些影响的理想手段”(Dörnyei 2007:36)。但不能否认定量研究仍是应用语言学的重要范式，在二语习得研究中占主导地位(Lazaraton 2005;王立非、江进林2012)。可是因为缺少相应训练，许多研究新手无法正确规范地运用定量研究方法，造成研究结论的外推性差，研究结果不适合二次分析，对教学研究理论与实践贡献不足等问题。有鉴于此，2015年6月应用语言学顶级期刊Language Learning以增刊的形式出版了一期题为“改进和拓展二语研究的定量推理”的专号，发表了二语习得研究领域John M.Norris、Rob Schoonen、Luke Plonsky、James E.Purpura和Nick C.Ellis等国际知名学者关于二语定量研究方法的论文。该系列论文是2013年10月在美国乔治敦大学举办的旨在改善二语定量研究现状的国际会议成果，汇集了作者对二语习得研究方法所存问题的反思以及未来发展趋势的展望。全书由两部分(十章)组成，第一部题为“二语定量研究的测量、设计、分析面临的挑战”(第一至六章)，第二部分题为“二语定量研究的选择、发展与未来”(第七至十章)，共计255页。本文拟对其内容作简要评述。

2.内容简介

第一章作者 John M.Norris、Steven J.Ross和Rob Schoonen介绍Language Learning杂志出版本期增刊的背景与目的，并概述了本卷各章节的主要内容，指出当前应用语言学和二语定量研究仍存在各种问题，例如在实验设计和控制不足的情况下确立因果关系、效果和影响，样本量过小，选择推论统计方法时忽视数据是否满足应用条件，过度和错误解释p值和显著性检验而忽视效应量大小，描述统计和推论统计结果报告不完整，以及由一个或若干个案推论总体等。作者希望上述问题能够引起二语习得研究者的重视，并且能够在新技术层出不穷的背景下，坚持研究方法的终身学习。

第二章作者Luke Plonsky和Talip Gonalul详细阐述了二语定量研究近年来新涌现的研究综合法或元分析法。该方法将二语习得某一领域的原始研究作为样本，系统地分析和评价定量研究的研究方法部分(如Norris＆Ortega 2000)。本章揭示了对二语定量研究方法进行元分析的动机，以及与研究设计和抽样有关的分析热点，例如实验研究的延迟后测，研究结果的效应量，样本量和检验效能等等。本章重点报告了Luke Plonsky和Talip Gonalul对Applied Linguistics等国际期刊上发表的51篇使用探索因子分析(exploratory factor analysis)的二语定量研究所进行的元分析，用实例向读者展示了新的综述研究路径。不同于传统综述研究对研究内容的关注，元分析更侧重研究方法特征的分析、比较和综合，有利于丰富和改进二语习得研究方法的理论与实践。

第三章主要讨论应用语言学实证研究中量具的效度问题，关于如何可靠、有效地操作关键变量，精确测量研究的理论概念。James E.Purpura、James D.Brown和Rob Schoonen强调“不按照公认的规范编制、评价和使用量具，分析变量和变量间关系，将会危及研究结果的可靠性和研究对知识的贡献”(p.41)。作者以伦敦大学学院Révész(2012)的研究为例，该研究使用语法判断任务，书面和口头的图片描述任务考察重铸反馈(recast)对受试过去进行时语法结构习得的影响。利用Kane(2006)的分析框架，作者分析了Révész(2012)研究中口头描述任务的效度验证过程。此外，作者还对测量的评分者间信度和再测信度等问题进行剖析，指出研究者在做出概括性结论之前应提供必要的证据支持。最后，作者总结了应用语言学研究者在测量工具的设计和编制中易犯的错误，例如，试题项过少，编码和计算步骤报告过简，使用参数统计检验分析参照标准测验数据，不正确地测量目标概念等实际问题。

第四章作者重点讨论二语实验研究的设计问题及其与研究结论的关系。Thom Hudson和 Lorena Llosa指出实验研究设计的好坏直接关系到研究质量和确立因果关系的能力。作者认为现实中许多实验研究存在样本量不足(Lazaraton 2005)，设计中缺少前测、延迟后测，受试没有随机分组，以及研究假设过多而导致结果分析和阐释困难等问题。本章还介绍了实验研究中排除干扰变量的方法:(1)尽可能让所有实验步骤标准化;(2)通过随机分组控制无关变量的影响;(3)若可以确定干扰变量，可将干扰变量作为研究设计中的自变量因素直接处理。另外作者还讨论了实验研究中语言的使用问题，强调研究者应使用与研究设计相匹配的语言，谨记“相关不是因果”的箴言，切莫将两种研究设计的语言相互混淆。

第五章作者John M.Norris通过实例详解了二语习得研究中统计显著性检验存在的若干问题及对策。作者认为零假设显著性检验(NHST)作为用样本估计总体的一种方法，时常被二语习得研究者误用和过度解读。实际上统计显著性检验(p值计算)只说明零假设为真时样本中所观测到的现象存在的概率小于预设的显著水平(α)，只起到防止一型错误的作用，却并不包含观测结果为真的概率、零假设为真的概率，研究发现的效应量、重要性和可靠性等信息。作者概括了统计显著性检验存在的四个问题:(1)p值的错误解释;(2)统计意义的过度概化; (3)统计显著性的简单化解释误导研究者忽略回答研究问题的其他重要信息;(4)错误地比较不同研究的结论。接着作者通过若干研究案例说明统计显著性检验的错误用法，并就二语研究者如何正确运用统计显著性检验提出个人建议:(1)使用推论统计前，要认真观察数据，仔细思考所观测到的现象;(2)选用统计分析方法前要考虑数据是否满足应用条件，例如是否正态分布，格子实际频数，方差是否齐性，数据间是否是线性关系等;(3)谨慎使用和解释p值;(4)正确合适地报告统计数据，例如报告全部描述统计结果，统计分析的应用条件检验(如正态性检验)，效应量以及精确的p值大小等。

第六章作者Jenifer Larson－Hall和Luke Plonsky就研究结果的报告内容和规范以及研究结果的分析和解释提出建议。作者指出均值和标准差是任何统计分析的基础，为定量研究的元分析提供重要信息，因此研究者“不仅一次性报告数据组的均值和标准差，还要报告研究者感兴趣的各分组数据的均值与标准差”(p.131)，否则会造成二次分析的知识缺口。除此之外，研究者应当严格遵照APA格式要求，汇报一切相关的统计数据，包括统计检验结果、p值、效应量和置信区间、信度系数(如 Cohen＇s Kappa or Cronbach＇s alpha)。作者还建议研究者使用图表等视觉手段描述和检验数据的分布情况，学会分享原始数据，树立元分析的研究思维，充分意识到每一项研究都会增进人们对本领域知识体系的理解。

第七章介绍结构方程模型(SEM)在二语习得研究中的应用前景。Gregory R.Hancock和 Rob Schoonen首先举例说明ANOVA和多元线性回归等传统分析方法的不足，比方说构念测量存在误差，研究假设包含多个自变量和因变量，纵向追踪研究中导致个体发展差异的因素，或因复杂抽样设计造成的数据非正态分布和方差不齐性等，继而指出结构方程模型的重要价值。作者分别概括说明了协方差结构模型中包含的测量变量路径模型，验证因子分析模型和潜在变量路径模型等三种具体模型，以及潜在均值模型，潜在成长模型和混合模型的相关概念和在二语习得研究中的应用。最后，作者强调了结构方程模型与二语习得研究密切相关的若干问题，包括数据筛选和条件检验，数据模型拟合检验，模型选择、潜在变量和显在变量、因子指标、因子不变性和样本量的确定等。

第八章主要涉及混合效应模型在二语习得研究中的应用和发展。作者 Jared A.Linck和 Ian Cunnings指出许多二语习得研究没有随机抽样，并且忽视样本个体差异，因而建议使用混合效应模型来克服上述问题。作者以一项调查中德英语学习者对主谓一致语法结构的习得研究为例，说明在实际研究中传统统计方法(如ANOVA)会受制于参数检验的应用条件。而作者认为混合影响模型不受方差齐性条件和数据缺失的影响，不仅“适合研究者一般运用ANOVA的标准实验研究，还适用于常常伴有缺失数据的语料库研究和追踪研究”(p.190)。随后，作者使用开放软件R分析了Linck等(2009)关于沉浸式学习效果的数据，演示混合效应模型在R软件中的操作与实现。

第九章介绍贝叶斯统计方法在数据插补、假设检验和参数估计等三方面的应用。作者指出传统的统计方法近年来饱受诟病，尤其是当研究者发现大量应用语言学研究不适合进行元分析时，学界对分析方法的改革呼声此起彼伏，认为引入贝叶斯方法可以弥补传统统计分析的不足。但作者也承认统计显著性检验向贝叶斯方法的转变进程却十分缓慢，贝叶斯方法目前应用最多的还只是插补缺失数据。

第十章是基于使用的语言学理论的常用数据统计方法。作者Stephen Th.Gries和Nick C.Ellis指出，认知语言学和心理语言学的研究成果表明语言习得是对构式的重复性区分和整合过程，受频率、近现率和使用语境的影响。本章主要概述了对理论语言学和认知语言学发展尤为重要的几个心理语言学概念，如频率、分布、偶合性和惊异等，并着重介绍如何基于语料库数据对上述影响因素进行操作、测量和探讨分析。

3.简要评价

正如本书主编Nick C.Ellis所言，“［科学研究方法和统计学理论］的发展不但给语言科学研究者，教师和学生提供了机遇，而且也带来了负担……令我们更容易犯错误”(Ellis 2015)。我们呼吁二语习得研究方法的科学性和规范性的同时，又不得不对定量研究方法抱谨慎态度，因为如果研究过程缺乏逻辑的严密性，就可能会导致错误的结论。本刊帮助读者了解定量研究中可能犯的错误和错误根源，巩固和拓展二语研究者的统计学知识，厘清认识上的误区，提高二语定量研究的总体质量，对于推动二语习得和外语教学的理论建构与实践发展起到积极的作用。概括起来，本刊有如下优点:

3.1 内容全面，例证翔实。

本刊辑录的文章覆盖了二语定量研究方法的各个方面，包括定量研究报告的规范性，测量工具的效度验证，实验研究的设计，统计显著性检验等诸多问题。作者通过丰富的二语定量研究案例，详细剖析了二语定量研究所面临的各种挑战，并给出了应对挑战、解决问题的策略和办法。读者既可根据作者的分析解答反观自己的研究，加强研究设计和研究过程的科学性和系统性，又能从中了解他人的研究，获得关于定量研究推理的有益启示。例如，我们可以通过第三章Révész(2012)的研究，掌握如何通过实证数据证明测试分数的效度，也可通过本刊第四章作者所举的二语定量研究实例，认识研究过程中潜存的问题。

3.2 问题导向，前瞻意识。

本刊各章的作者都从二语定量研究的实际现状出发，以问题为导向，一问一答逐次提出解决问题的办法。本刊各章节的内容安排结构紧凑，次序合理，关联性强，给读者清晰地呈现二语定量研究的逻辑步骤。作者先从研究工具的效度检验入手(第三章)，确保准确测量目标构念，再到如何构思和准备定量研究过程(第四章)，继而指出二语习得研究统计显著性检验的问题与建议(第五章)，最后规范研究结果的报告与解释(第六章)，内容的严密逻辑性从中可见一斑。与此同时，本刊作者还展望了定量研究的文献元分析，结构方程模型、贝叶斯方法以及语义网络分析等高级统计方法的应用前景，反映和代表了当今应用语言学和二语习得研究的前沿。比如，从Norris和Ortega(2000)发轫的定量研究元分析逐渐成为热门的综述研究方法，笔者注意到近来国际应用语言学期刊陆续发表了一系列本领域的元分析研究，例如Plonsky(2011)对二语策略教学效果的元分析和Jeon和Yamashita(2014)对二语阅读理解和语法知识等十个关键因素变量相关性的元分析，国内学者的综述研究还停留在对内容主题的总结评价，对国外二语习得研究文献的元分析研究仍不多见。因此，第二章作者对使用探索因子分析研究的元分析可以为读者提供很好的借鉴与参考。

4.不足之处

本刊文章主要讨论定量研究的参数统计检验，却没有论及非参数统计检验。而非参数统计在应用语言学领域用途也很广泛，比如卡方检验就是“少有的几个分析名义数据的方法之一”(Dörnyei 2007: 228)，如果能对二语习得研究中非参数统计存在的问题加以分析，本刊的内容会更为全面。

Dörnyei，Z.2007.Research Methods in Applied Linguistics［M］.New York:Oxford University Press.

Ellis，N.C.2015.Foreword［A］.In Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research［C］.New Jersey:Wiley－Blackwell.v－vi.

Jeon，E.H.＆J.Yamashita.2014.L2 reading comprehension and its correlates:A meta－analysis［J］.Language Learning64 (1):160－212.

Kane，M.T.2006.Validation［A］.In R.L.Brennan(ed.).Educational measurement(4thedn.)［C］.Westport: American Council of Education and Praeger Serieson Higher Education.17－64.

Lazaraton，A.2005.Quantitative research methods［A］.In E.Hinkel(ed.).Handbook of Research in Second Language Teaching andLearning［C］.New Jersey: Lawrence Erlbaum.209－224.

Linck，J.A.，J.F.Kroll＆G.Sunderman.2009.Losing access to the native language while immersed in a second language: Evidence for the role of inhibition in second language learning［J］.Psychological Science20:1507－1515.

Norris，J.M.＆L.Ortega.2000.Effectiveness of L2 instruction:A researchsynthesis andquantitative meta－analysis ［J］.Language Learning50(3):417－528.

Plonsky，L.2011.The effectiveness of second language strategy instruction:A meta－analysis［J］.Language Learning61 (4):993－1038.

Révész，A.2012.Working memory and observed effectiveness of recasts on different L2 outcome measures［J］.Language Learning62(1):93－132.

王立非、江进林.2012.国际二语习得研究十年热点及趋势的定量分析(2000～2009)［J］.外语界(6):2－9.

(责任编辑 杨丽)

申云化，吉林大学公共外语教育学院讲师。主要研究方向为二语习得。电子邮箱:shenyh@jlu.edu.cn

马毅，吉林大学公共外语教育学院教授。主要研究方向为二语习得、外语教学。电子邮箱:mayi@jlu.edu.cn

*本文系中央高校科研业务费吉林大学种子基金项目“学术英语写作中的文献使用与抄袭问题研究”的阶段性成果。