商务英语视听说教学中多模态教学的实证研究*

王云 王霞

石家庄铁道大学

商务英语视听说教学中多模态教学的实证研究*

王云 王霞

石家庄铁道大学

本文通过采用样本实证研究，对商务英语视听说教学中多模态教学功能、不同模态的多种组合方式对商务英语专业学生视听说能力的影响进行了调查研究。本次实证研究通过不同模态的多种组合考察学生对一段商务英语视听说材料的信息把握能力和语言输出能力。实验结果表明，合理地对不同模态进行设计组合可以有效提高学生的听力和口语表达能力；视觉模态和听觉模态的有效结合发挥了最主要的功能，比单一的模态教学更能提高学生的视听说能力。

多模态，听力理解，口语表达，实证研究

1.引言

多模态也被称之为多符号，是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象(张德禄2009a:24-30)。计算机网络的多媒体的集成功能、教学信息的扩展功能、教学过程的交互功能、教学方法的多样化功能等使自然话语的研究更为广阔，并且为多模态研究提供了有力的支持。多模态话语研究主张在教学中充分利用多种符号资源和丰富的教学手段来达到教学效果的最优化。本文试图将多模态话语研究的成果与商务英语视听说教学实践相结合，采用实证研究的方法，分析多模态视听说教学对学生视听说能力的影响及不同的视听说模态的优缺点，进而探索有效的视听说教学途径、操作模式和运用策略，以期为有效的商务英语视听说教学提供切实可行的实例教学模式。

2.国内外相关研究概述

关于多模态视听说教学的应用，国内外学者通过长期的努力已经取得了颇具价值和意义的理论和实践成果。自20世纪70年代后期开始，西方的研究者就已经开始了对多模态话语的早期探索。R.Barthes在1977年发表论文《图像的修辞》(Rhetoric of the Image)，探讨视觉图像在话语交际中的重要作用，这是关于多模态话语研究的启蒙阶段。Kress and Leeuwen(1996)创建了以“再现”、“互动”、“构图”三大意义为核心的视觉图像语法分析框架，奠定了多模态话语研究的理论基础及研究方法，成为多模态应用于语言教学的先驱。Royce(2002:191-205)研究了多模态语篇中图像与文字产生的互补关系以及多种复合模态在语言教学中的协调关系。Jewitt(2006)使用“互动白板”(Interactive Whiteboards)这一概念，对节奏、多模态和互动性资源分配进行观察分析，讨论了互动白板的语篇设计和课堂教学中多模态读写、教学方法和现代技术的关系。Guichon和Mclornan(2008:85-93)用实验证明了多模态教学模式的使用有助于学生对于语料库的把握。Domínguez Romero和Maíz Arévalo(2010:100-139.)研究了多模态在听力教学中的作用，并且指出采用不同的模态，其发生作用的方式也不尽相同。

李战子(2003:1-8)在国内第一次把多模态话语理论引进来，指出了多模态话语分析的社会符号学分析方法对于英语教学具有重要的理论指导意义。刘晓杰(2011)使用多模态话语分析理论的相关原则指导大学英语听力教学。他发现，基于多模态话语分析理论的听力教学方法更有效，且能够对不同水平的学生体现出不同的教学效果，更有利于高水平学生听力成绩的提高。李欣(2012:59-64)对多模态自主英语听力教学模式进行了实证研究，探讨了多模态自主听力教学模式对学习者听力水平和多元识读能力的影响，结果发现该教学模式受到绝大多数学习者的欢迎并能切实有效地提高学习者的听力水平以及多元识读能力。徐艳丽(2013:168-170)分析了大学英语听力教学中的多模态因素，分别揭示了听觉模态、视觉模态和触觉模态等大学英语听力教学中的主要模态在大学英语听力教学中的不同作用和配置方式，并指出了大学英语听力教学中文化模态教学的必要性和可能途径。

从整体上看，国内外已经取得了一定的成果，但是针对不同模态对视听说教学影响和效果的研究相对较少，也没有明确指出不同的模态在视听说教学中的具体作用。为此，本研究选择商务英语专业学生为研究对象，探讨多模态的综合运用对于视听说能力培养和提高之间的关系以及不同模态的优缺点。

3.研究设计

3.1 研究设计

本研究拟回答以下问题：

(1)商务英语视听说多模态教学模式是否能够充分调动学生的学习积极性及提高信息的获取率？(2)视觉模态在视听说教学过程中的优缺点是什么？(3)听觉模态在视听说理解上的优缺点是什么？(4)商务英语视听说多模态教学模式与学生视听说能力的提高之间的相关性如何？

3.2 研究对象

研究对象为石家庄市某高校商务英语专业三年级3个平行班的学生。从每个班里随机选取25名学生作为研究对象，共分成3组。根据对3组学生的期末口语测试及专业四级听力成绩进行SPSS19.0单因素方差分析，结果显示3组学生的听说能力总体持平(如表1、表2)。在视听说教学实验过程中,对3个组别采用不同模态的教学手段，其中1组为单模态组，即教学过程主要以听力为主；2组为双模态组，教学过程包含音频和视频，但是视频中不显示字幕；3组为三模态组，教学过程包含音频和视频，并带有字幕。以上三个组别采用听觉模态、听觉视觉混合模态。

(F=0.550,P=0.580>0.05,无显著差异)

(F=0.145,P=0.865>0.05,无显著差异)

3.3 研究语料、方法和步骤

本研究选取了一段时长为5分48秒的商务视听材料为测试材料，共有单词589个，主题是商务英语函电中需要注意的7个原则，分别是完整(completeness)、正确(correctness)、清楚(clearness)、简洁(concreteness)、具体(concreteness)、礼貌(courtesy)和体谅(consideration)。整个视频被放置在商务背景之下，将这7个原则分别以具体情景表演的方式予以解释，较为直观的呈现什么是7Cs。

三个组别分别采取了不同模态的教学方法，即1组为音频组，2组为音频、视频(无字幕)组，3组为音频、视频(有字幕)组。测试材料播放三次后，请各组学生根据所记笔记，两两结组重现测试材料中的内容，并录音形成口语语料。老师对学生的口语语料进行分析，以捕获学生对不同模态教学效果的反应。具体实施方法：教师按照不同模态要求分别向3组学生播放测试材料，该材料共播放三次。第一次播放后，请学生注意全文大意，并做笔记记录；第二次播放后，请学生对笔记查缺补漏；第三次播放后，请学生整理笔记，两两结组并口头复述材料中内容，同时录音，形成口语语料库。

3.4 数据的收集和分析

该测试材料层次清楚，共分7个要点，此外，还有2个实例。为了进行数据的分析，学生说出一个要点记1分，要点复述残缺不全的记0.5分，总分为9分，以组为单位打分，每组得分即为两个组员的得分。通过这种方式，将不同组别的学生对不同模态的教学方法的不同反应量化，可以清晰的看出不同组别学生在教学实验过程中的差异。所得到的量化数据采用统计软件SPSS19.0，并进行单因素方差分析及应用Post Hoc事后多重检验方法，得出不同模态下学习效果的差异。此外，基于对学生的调查问卷对分析结果进行佐证。

4.结果分析

4.1 不同模态教学手段间的差异

由于在不同组别间采用了不同模态的教学方法，为探究教学效果之间的差异，我们首先采用了统计软件SPSS19.0对收集到的各组学生口语语料进行了描述，结果见表3.

如表3所示，1组的均值为3.9， 2组为5.26， 3组为6.22， 各组均值相比，3组最高，2组其次，1组最低。其次，我们对该组口语语料数据进行单因素方差分析，结果见表4。

由表4结果显示，F=55.467，P=0.000<0.05，测试材料采用不同的方式传递给学生，学生的学习效果产生了显著的差异。从以上两个表格来看，单模态的1组，即音频组，对教学效果的帮助最小；2组中采用了音频和视频相结合的方式，但是没有字幕，对教学效果的帮助优于1组；3组运用音频、视频，并配上了字幕，对教学效果的帮助最大。之后，我们又对该组语料数据进行了Post Hoc事后多重检验，以进一步验证各组间存在的差异，分析结果见表5。

*.均值差的显著性水平为 0.05。

表5显示了3组之间视听说成绩的不同，结果进一步印证了上述分析数据结果。总之，我们可以看出，采用不同模态对教学效果的影响大小依次为：听觉和视觉(字幕)>听觉和视觉(无字幕)>听觉。我们以图表的形式清晰地列出了不同组别均值差异，见下表：

4.2 学生对多模态教学方法的反应

测试结束后，我们还对采用听觉、视觉模态进行学习的二组、三组学生进行了问卷调查，目的是调查多模态视听说教学模式对教学效果、学习态度、学习效率等的影响。本问卷共发放了50份，回收了50份，其中有效问卷48份。问卷的设计采用了Likert scale量表形式，即1=完全同意，2=同意，3=不确定，4=不同意，5=完全不同意。

调查表明多模态的教学方法对教学效果、学生的学习态度产生积极的影响。79%的学生认为多模态教学方法使他们获得了更多的信息。58%的学生认为通过多模态方式学习，更有成就感，更愿意学习英语课程。而72%的学生认为这样学习更有乐趣，增加了视频、图片，使得教学内容的呈现更加生动，更有助于理解。68%的学生认为这样学习可以激发兴趣，62%的学生认为提高了他们的积极性。由此可见，多模态视听说教学模式产生了良性的反拨效应，达到了较好的预期效果。

4.3 不同模态的影响

4.3.1 视觉模态

首先，在商务英语视听说课程中，视觉模态中的图像，视频等信息形式提供了具体的环境，其视频中图像、字幕、视频的交互作用可以创造附加意义。其次，视觉模态具有其独有的特性，即直观性，使得在必要文字、音频信息缺失的情况下，学习者可以轻易理解学习目标。再次，视觉模态还可以为学生创设身临其境的情景，为其捕获知识模拟了场景。

但是，视觉模态的运用并不适用于所有的商务英语课堂教学内容，对这一模态的运用，要避免一个误区，即过分运用。第一，视频资料的甄选要以配合听力为主。如果所选的视频材料与听力并不能协调配合，那么视觉模态的使用恐怕会产生不良影响。第二，视频资料中图像所提供的信息量应该适中。信息量过多或过少，都不利于学生能力的锻炼。如过早地出现字幕，使学生丧失锻炼听力的机会。

4.3.2 听觉模态

从“商务英语视听说”这一课程名称即可看出，听觉模态必然涉及到模态形式，且具有无可替代的作用。学生对信息的获取，听觉模态是主要形式之一。但是需要注意的是，听觉作为主要的信息接收渠道，应该与其他模态进行配合，适当运用图片、视频等二维甚至三维的视觉模态，为学生对信息进行整合、理解提供帮助，以加深学生对学习材料的理解。这样，既保证学生听力部分的练习起到应有的锻炼作用，又不损害学生学习的积极性、自信心。本次测验对此提供了数据支持。例如，测验中，只有听觉模态的一组均值只有3.9，而采用多模态的二组，三组分别达到了5.25和6.22，差别非常显著。

同时，要注意音频资料的长短结合，避免产生疲劳感。不恰当地使用音频教学内容，如音频资料难度过大、时长过长、内容乏味等都非常容易使学生失去兴趣和注意力，进而造成听力训练事倍功半。

4.3.3 触觉模态等其他模态

除了视觉模态、听觉模态之外，商务英语视听说中还存在其他的模态形式，如触觉模态、嗅觉模态和味觉模态等。而在商务英语视听说课堂上，触觉模态的使用也有助于提高教学效果。触觉模态主要体现在师生互动、学生互动以及师生与教学道具互动等方面。例如，在本次测试的最后一个环节，要求学生两人一组重现测试材料中的例子。例子本身就是一个商务背景下的两人情境对话。学生在角色扮演的过程中产生了一些肢体接触，如握手、拥抱等；另外，学生在角色扮演过程中也接触了一些道具，如打印机、电脑等。这些接触，强化了学生在具体情境下对具体语言的运用。

但是，触觉模态切不可刻意求取，必须遵守视觉模态、听觉模态为中心的原则，使触觉模态与其他模态相协调，共同促进商务英语视听说教学效果的提升。

4.3.4 各模态间的协作

商务英语是在特定环境下以英语为媒介进行的商务活动，而多模态的教学较大程度上为学生还原了商务情景。在综合运用多种模态的教学中，我们发现视觉模态、听觉模态对学生捕获信息能力的提高有明显效果，而触觉模态对学生口语表达能力有着明显的促进作用。

有研究表明，学生在通过各种途径和模式接收信息的时候，由于面对繁多的信息，常常不知道如何去甄别、遴选、加工和输出(Sweller,Van Merrienboer & Paas 1998:251-296)。鉴于此，在商务英语视听说的教学过程中，各种模态间的配合必须遵循正效应的原则，互相协调、互相强化，以增强学生学习效果为最终目标(张德禄2009b)。同时，在实际教学活动中，还应该以某个模态为主，以其他模态为辅，使各个模态按不同比例配置在教学活动中。如本次测验中，视觉、听觉模态处于主导地位，触觉模态处于辅助地位，几种模态共同作用，强化教学效果。本次测验中，对于难点出现的地方，如 definition of concreteness，除了以视频、音频的形式展现给学生外，还配上英文字幕，而对于其他非难点的地方，我们均以视频和音频的形式呈现。

此外，为了给学生呈现出更加逼真的商务活动情景，我们还需要注意触觉模态、嗅觉模态、味觉模态等在学生口语练习时的积极作用。学生在口语组练习过程中，相互间的肢体接触、道具等的恰当运用，都传递着社会特征和文化特征。更多地了解这些特征，可以为学生创设更加真实的语境。

5.结语

本研究的结果表明，将多模态进行合理的设计之后，应用到商务英语视听说的教学过程中是完全可行的。该模式能够更为充分地调动学生的学习积极性并提高他们的信息获取率。商务英语视听说多模态教学模式对于学生视听说能力的提高之间呈现正相关。其中，视觉模态、听觉模态发挥了最主要的作用，触觉模态等也发挥着作用。多模态教学鼓励多种感官的协调参与，更加接近语言实际交际情境下的言语交际过程。总之，在实际教学实践中，任何一种模态都不是单独存在的，是需要协调配合的。

本研究的语料范围有限，只是基于石家庄某高校的样本进行调查分析，而且研究对象是具有一定听说基础的商务英语专业高年级学生，研究结果具有一定的局限性。今后可针对英语专业低年级或者其他方向的学生进行多模态试验研究，以进一步探讨多模态对于视听说教学的作用和影响。

Domínguez,R.E.& Maíz Arévalo C.2010.Multimodality and listening comprehension:Testing and implementing classroom material [J].System(1):85-93.

Guichon,N.& S.McLornan,2008.The effects of multimodality on L2 learners:Implications for CALL resource design [J].System(1):85-93.

Jewittt,C.2006.Technology,LiteracyandLearning:AMultimodalApproach[M].London and New York:Roufledge.

Kress,G.& T.Van Leeuwen,1996.ReadingImages:TheGrammarofVisualDesign[M].London:Rutledge.

Royce,T.2002.Multimodality in the TESOL Classroom:Exploring Visual-verbal Synergy [J].TESOLQuarterly(2):191- 205.

Sweller.J.,Van Merrienboer,J.J.G.& Paas,F.G.W.C,1998.Cognitive architecture and instructional design [J].EducationalPsychologyReview(3):251-296.

李欣、李玫瑛、王佳子，2012，多模态自主听力教学模式有效性的实证研究[J]，《解放军外国语学院学报》(6):59-64。

李战子，2003，多模式话语的社会符号学分析[J]，《外语研究》(5):1-8。

刘晓杰，2011，多模态话语分析理论在大学英语听力教学中的应用研究[D]，东南大学硕士学位论文。

徐艳丽，2013，多模态视域下大学英语听力教学模式的构建[J]，《黑龙江高教研究》(11)：168-170。

张德禄，2009a，多模态话语分析综合理论框架探索[J]，《中国外语》(1):24-30。

张德禄，2009b，多模态话语理论与媒体技术在外语教学中的应用[J]，《外语教学》(4)：15-20。

(王 云：石家庄铁道大学四方学院外语系讲师； 王 霞：石家庄铁道大学四方学院外语系讲师)

通讯地址：050000 河北省石家庄市桥西区南二环和滨河街交叉口南东尹泰东苑18号楼3单元202

*本文系河北省教育厅人文社会科学研究重点项目“实用型商务英语课程优化和教学有效性研究和河北省教育科学研究“十二五”规划青年专项课题“新媒体时代下实用型英语多模态研究”的阶段性，课题项目编号分别为SD141029，1404550。

H319

A

2095-9645(2015)03-0076-05

2015-04-30