多媒体环境下的英语专业听力教学——多模态组合的效能研究

胡永近

多媒体环境下的英语专业听力教学
——多模态组合的效能研究

胡永近

通过16周的实验研究，调查多媒体环境下不同模态组合对学生听力能力的影响，探讨多模态优化组合的制约因素。结果表明：合理利用多模态组合可以显著提高学生听力能力；多模态组合的选择受情景语境的支配；视觉模态和听觉模态之间形成互补关系时，才能发挥正效应；英语字幕比汉语字幕更有利于促进学生对听力语料的理解，因为后者会引起更多的词汇干扰。

多模态；英语听力；多模态功能；效能

一、多模态环境下英语听力教学研究

多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象［1］。在教学中合理运用多模态组合，可以使学生在学习过程中调动各种感官参与学习，在发挥正效应条件下，有利于信息的加工和记忆，产生良好的学习效果。然而多模态学习也是一把双刃剑，处理不好会分散学习者的注意力，发生对知识点记忆的干扰，导致瞬间“热闹”而事后“空空”之感［2］。

国内外学者对多模态在听力教学中的应用进行了颇有建树的研究。Baltova［3］针对加拿大非法语专业学生的实验表明：视频中的二语字幕最有利于帮助学生回忆起听力资料的单词和内容。Guichon和Mclornan［4］通过实验证明了多模态有助于学生对听力资料的理解而且二语字幕比母语字幕对学生听力学习更有利。Lambert［5］通过实验发现使用母语配音——二语字幕的被试组对听力材料的理解得分最高，使用二语配音——二语字幕的被试组次之，二语配音——母语字幕模式无助于被试的听力理解，被试的成绩和二语配音——无字幕、无配音——二语字幕无统计性显著差异。龙宇飞和赵璞［6］通过实验研究了元认知策略与多模态交互作用对听力能力的影响。

本研究选择母语为汉语、二语为英语的中国英语专业学生为研究对象，尝试探讨多模态对听力水平的影响以及模态组合的利弊，目的在于探讨如何优化多模态组合来促进英语听力教学。

二、研究方法

（一）研究设计

本项研究中，无关样本自变量是听力材料的播放形式，包括：音频、音频和视频无字幕、音频和视频配汉语字幕以及音频和视频配英语字幕四种形式；相关样本自变量是学生所掌握的多模态话语分析理论及其技巧的能力。主要因变量是被试在听力资料播放完毕后根据笔记完成的英语概要中所包含的语义单位。

（二）研究被试

研究被试为作者所在学校英语专业大三4个平行班的学生。每班随机抽取30位学生，以班级为单位分组，对四组学生大二下学期期中考试和期末考试成绩进行单因素方差分析，结果显示四组成绩没有显著性差异（期中：F=0.036，P= 0.991＞0.05；期末：F=0.080，P=0.971＞0.05）。教学过程中对每组受试者采取不同方式播放听力材料：第一组为音频；第二组为音频和视频；第三组为音频、视频配汉语字幕；第四组为音频、视频配英语字幕。

（三）研究语料、工具与步骤

四位拥有五年之上英语专业听力教学经验的中国教师和两名美国外教共同制定研究语料，共有16篇长度为4-6分钟不等的VOA新闻，内容涉及到政治、经济、文化、科技和外交等不同题材，既保证了听力内容的丰富性，又涉及到英语学习的各个方面。所有视频根据研究要求都经过技术处理。研究工具为对学生英语概要中语义单位的统计分析以及就学生具体表现所做的个别访谈。由于学生接受多模态理论并掌握多模态听力教学下的学习方式需要一个适应过程，研究每隔一个月选择一次上课的学生概要进行对比分析，分别在第四周、第八周、第十二周、第十六周进行测试。

测试在不同的四个多媒体教室进行。调查过程中，教师以不同方式向四组被试播放听力材料。所有测试都在同一时间进行且每组严格遵守测试步骤：教师向学生解释测试步骤、目标和注意事项；向学生播放听力材料，学生可以用汉语或英语做笔记；播放完毕后，留五分钟的暂停时间，学生独立检查自己笔记；第二次播放听力材料，学生做笔记并进行检查；播放完成，留20分钟的暂停时间，学生用英语写出尽可能完整的概要。

研究小组中的六位老师对每篇原文材料多次讨论，确定语义单位。所有语义单位对于原文的理解不可或缺，包括新闻主题、时间、地点、人物、事件等基本信息。本项研究选择分析学生对听力材料的概要，这种方法更利于研究学生对听力资料的理解程度。

（四）数据收集和分析

研究数据根据计算学生所写的4次英语概要所包含的语义单位数量而得。如果学生概要只是写出和语义单位有关的单词、短语或者句子，即使语法不准确，也被定义为已经理解该句信息，列入统计范畴。鉴于本校平时考试的英语短文听写为30分，研究组决定每次统计成绩按满分30分计算。采用单因素方差分析和Post Hoc事后多重检验方法，借助SPSS16.0对所有数据进行分析和处理，并结合对实验组学生的访谈结果进行讨论。统计分析的显著性水平设定为а=0.05。

三、分析与讨论

（一）多模态方式对听力能力的影响

对一学期中的4次测试结果采用单因素方差分析对数据进行分析，发现合理利用多模态组合可以有效促进学生听力能力的提高。具体结果如下：

第一次的测试结果拒绝方差齐性，表明此次统计时各模式对听力水平的影响不具备显著性。说明第一个月的听力教学中，学生对多模态听力技巧掌握不够，还无法充分发挥多模态优势来提高听力能力。而第二个月的检测就显示出多模态的优势。

表1 第二次测试的单因素方差分析

表1结果表明，多模态环境下听力资料的播放方式对学生听力水平的影响存在显著性差异（F =26.055，P=0.000＜0.05）。整体来看，多模态中音频和视频内容配上英语字幕最能促进学生对听力内容的理解；音频和视频内容配上汉语字幕次之；音频和视频无字幕再次之；单独的音频作用最小。为了检验具体差异，用Post Hoc进行事后多重检验，结果见表2：

表2 第二次测试的Post Hoc事后多重分析

表2显示了四个被试组之间的差异：实验组3分值显著高于其他各组（P=0.000＜0.05）；实验组2和实验组1差异并不明显（P=0.337＞0.05），和对照组具有很大差异（P=0.034＜0. 05）；实验组1和对照组之间差异不明显（P=0. 239＞0.05）。进一步说明了没有字幕条件下，学生还不能充分利用视觉模态，且不能充分利用汉语字幕来提高听力训练。经过另一个月的训练，学生对于多模态理论与技巧掌握更加熟练，多模态组合对听力的影响更加突出：

表3 第三次测试的单因素方差分析

表3数据表明各种方式的影响存在显著性差异（F=169.758，P=0.000＜0.05）。为了检验具体差异，用Post Hoc进行事后多重检验，结果见表4。

表4 第三次测试的Post Hoc事后多重分析

表4表明各组之间存在显著性差异（P=0.000＜0.05），从而说明学生在经过一段时间的训练之后，掌握了多模态的优势，可以利用多模态理论与技巧来提高听力能力，而合理的多模态组合可以显著提高听力教学效果。第四次的检测结果也证明了这一结论：

表5 第四次测试的单因素方差分析

Post Hoc事后多重检验结果见表6.

表6 第四次测试的Post Hoc事后多重分析

（二）多模态优化组合的影响因素

首先，同一多模态组合中，不同话语范围的语料对学生听力能力影响不同。实际研究中前六次检测成绩呈现反复状态，例如第四次选择的语料为一段关于美国西部历史的VOA新闻，第五次检测时选择的语料为VOA报导的美军在阿富汗国内的军事行动。根据统计，第五次学生分数普遍低于第四次。根据对学生的单独访谈，发现外语专业学生中女生所占比例过高，且不太关心政治问题，对阿富汗战争不了解。而对美国西部历史却非常熟悉，接触过大量的相关资料，很容易理解听力资料内容。另外通过前六次统计和学生访谈，还发现学生对科技语料的听力理解最差，其次是政治经济和军事，最容易的是欧美文化和文学。

其次，教师是制约多模态听力教学效果的重要因素。多模态教学环境下，教师需要根据课程内容和学生实际选择合适的模态组合，把多模态理论与方法贯彻到实际教学中，培养学生利用多模态接收、加工并输出有效信息的能力。学生访谈记录显示，听力教学中教师适当的调控和引导，会帮助学生有效利用多模态渠道理解听力资料内容。

再次，学生是多模态听力教学的关键因素。学生的学习目标、学习能力和学习动力决定了学生是否能够掌握多模态听力技巧，以及是否能充分发挥多模态优势。此项研究主要分析多模态对学生整体听力能力的影响，但是针对学生单独因素的分析表明，如果学生不能掌握多模态话语分析理论及听力技巧，对小组能力促进效果最好的多模态组合不能确保对每个学生都是最佳的。

（三）不同模态方式在听力教学中的利弊

听觉（音频）模态作为听力课程的主要手段，一直被广泛的应用于听力课堂，对于学生听力能力的训练有一定程度的帮助。但是研究结果表明，单独运用听觉模态的效果不如综合运用多种模态的效果更好。多种感官同时使用，信息可以经过多渠道传到大脑，经过后者的整合作用，形成感觉统合，更容易促进人们对于信息的理解与认知［7］。

视觉模态和听觉模态形成互补关系时，才能促进听力能力提高，否则冗余信息会阻碍学生对视觉信息的接收、加工和输出，从而延缓听力过程。例如第一次统计测试中（以下例子除特别指出，均来自于同一语料）语义单位的第10、11两条提到罗斯福总统以前住在北达科他州，但是第二组学生概要中语义单位不如第一组多。根据对学生的个别访谈发现，其原因是这一语义信息是画廊工作人员以转述方式提到，视频中并没有关于北达科他州的画面，只有工作人员和记者。视觉模态和听觉模态形成非互补关系，这时视觉信息对听觉信息帮助不明显，或者说并没有帮助。

字幕对一些信息的理解，尤其是在理清原文中的歧义方面，具有决定性作用。第19项的牛仔裤（waist overall）一词，虽然所有学生都知道“overall”，但是前两组学生英语概要中很少使用该词。而视频加上字幕，学生的理解显著提高，尤其是实验组3，有22位学生写出该语义单位。另外，在涉及到专有名词时，字幕的作用尤为显著，尤其是英语字幕，对学生的理解能力和写作概要影响最大。此时，学生接受信息的渠道越多，对听力材料的理解越透彻（第3，8，10，11，24等各项）。

在听力材料相同且被测试者知识水平大致相同情况下，英语字幕比汉语字幕更容易促进学生对听力材料的理解。显然，把英文材料翻译成汉语字幕会导致一些理解问题，例如第19项中的“waist overall”在汉语字幕里是“牛仔裤”，在实验组2写出该语义单位的学生中，无一例外用了“Jeans”一词。显然，汉语在很大程度上干涉了学生对于英语词汇的理解，学生往往把注意力集中在汉语字幕而不是英语听力材料上，母语负迁移影响学生听力输出水平。

四、启示

首先，多媒体环境下的多模态外语教学，尤其是听力教学已成为外语专业教学改革重要的一个环节，外语专业应该借助计算机和网络技术，为教师和学生提供听力教学的必要设备、技术指导与服务。

其次，多模态组合的设计是多模态教学中最重要环节。在设计英语听力教学方案中，教师选择模态要充分考虑教学内容所涉及的领域（话语范围），充分了解学生的情况，以及学生与教师的关系（话语基调），以及教学的条件和场所等（话语方式）。此外，教师必须学会如何利用各模态之间协同、强化或互补关系来提高教学质量。如果不同模态产生矛盾、相互抵消、相互无关、互不衔接等现象，还可能降低教学效果。从这个意义上讲，模态的选择要以增加正效应为原则［8］。

再次，外语专业需要加强师资培训。教师不仅要掌握所教课程的相关知识，还需要掌握多媒体应用于网络技术，能够充分发挥网络资源，扩展学生知识信息量，改革听力教学内容。多模态话语分析理论应该成为外语教师必备的素质之一，多模态对于外语教学的促进作用已被国内外学者研究所证明。外语教师应学会根据各种制约因素来确定多模态的最佳模式。另外，教师在教学的各个环节调整自己角色，当好多媒体操作者、多模态教学设计者、知识的领航者和学习促进者，必须拥有灵活开放的思维和参与精神、快速应变能力、组织能力。

学生是多模态听力教学的主要受益者，应该充分发挥自己的创造性和思维能力，掌握多模态理论与听力技巧来提高听力能力。由于学生听力水平存在差异以及对不同模态的接受能力不同，听力教学应以学生实际能力来分班上课，不应以原来班级为单位接受同一教学模式。另外，对于学生听力成绩的评价应采用多元评估方式，改变过去传统的根据听力考试成绩判断学生听力能力的单一模式。

［1］张德禄.多模态话语分析综合理论框架探索［J］.中国外语，2009a，（1）：24-30.

［2］顾曰国.多媒体、多模态学习剖析［J］.外语电化教学，2007（2）：3-12.

［3］Baltova，I.Multisensory Language Teaching in a Multidimensional Curriculum：The Use of Authentic Bimodal Video in Core French［J］.Canadian Modern Language Review，1999，56（1），32-48.

［4］Guichon，N.&McLornan，S.The effects of multimodality on L2learners：Implications for CALL resource design［J］.System，2008（1）：85-93.

［5］Lambert，et.al.Choosing the Languages of Subtitles and Spoken Dialogues for Media Presentations：Implications for Second Language Education［J］.Applied Psycholinguistics，1981（2）：133-144.

［6］龙宇飞，赵 璞.大学英语听力教学中元认知策略与多模态交互研究［J］.外语电化教学（128）：58-62.

［7］Ayres.A.Jean.Sensory Integration and the Child［J］.Los Angeles：Western Psychological Service，1980.

［8］张德禄.多模态话语理论与媒体技术在外语教学中的应用［J］.外语教学，2009b，（4）：15-20.

Teaching English-listening via Multimedia——a study on the efficiency of multimodality

Hu Yongjin

This paper presents results of a pilot study investigating the effects of multimodality upon second language comprehension.The results indicate that comprehension improves when learners are exposed to a text via reasonable multimodality.What's more，the modality of vision can show positive function when it corresponds to the auditory information.In addition，L2subtitling is more beneficial than L1because it causes less lexical interference.

multimedia；multimodality；English-listening；efficiency

李应青

H319.9

A

1673-1794（2014）03-0114-04

胡永近，宿州学院外国语学院讲师，博士生，研究方向：外语教学（安徽宿州234000）。

安徽省高等学校优秀青年人才基金项目（2010SQRW146）

2013-11-15