二语听力理解的多模态认知模式研究

耿敬北

（宿迁学院 外语系，江苏 宿迁223800）

关于听力认知研究的文章近十几年来层出不穷，这些文章主要从认知学、心理语言学、语用学等角度对听力理解过程进行了研究。近几年出现了多模态理论与听力相结合研究，这一视角无疑是对听力理解研究的创新，具有重要意义。根据目前的研究现状，现有的听力多模态研究主要集中在对听力材料的多模态输入研究以及从多模态视角对听力训练进行元认知策略控制研究。［1－4］但在听力实践中，二语听者面对的往往是语音单模态输入，如接听电话（不可视）、收听无线电广播以及国内大学英语四六级听力测试等。因此，从多模态视角对语音单模态输入的听力理解认知过程进行系统的研究显得尤为必要。

一、认知与元认知

认知科学认为，语言运用的心理过程是以认知为基础的。人脑处理各种心理表征的过程从本质上说是认知的，这一过程的基本模型同样可用来解释人类语言的感知、理解、贮存、检索和产出。［5］因此，认知与语言学习的密切关系，认知对语言技能习得的制约作用是不可低估的。

元认知又称自我认知、反省认知、后设认知等。美国儿童心理学家弗拉维尔（Flavell）于1976年对元认知作出了明确的界定：元认知即指认知主体对自身认知活动的认知，它不仅包括对正在发生的认知过程和自我认知能力及两者相互作用的认知，而且也指认知主体对自身心理状态、能力、目标、策略等方面的认知以及对认知活动的计划、监控和评价。［6］元认知最简单的定义就是有关认知的认知以及对认知的调控。

元认知与认知存在着本质的差别：元认知即指认知主体对自身“认知”的认知或意识，它不包含“认知”本身，而是通过对认知活动的调控间接地对认知活动进行完善。换言之，元认知是认知主体对自身认知的反省或再加工，是以认知为基础的更高一级的思维活动。［7］

二、多模态与听力理解的认知过程

多模态和听力理解的认知存在诸多内在联系，二者均涉及到感官感知和符号运用等过程。多模态与二语听力理解认知的结合，有助于更加清晰地去认识听力理解过程的认知本质。

（一）多模态定义

Halliday认为在具体的社会情景中，人们总是用各种各样的符号资源来完成意义构建，各种不同的符号资源就构成了多模态。［8］Levine＆Scollon，Bladry等认为多模态指交际时所采用的多种模式，如言语、色彩、味道、图像等。多模态同时也可以表示不同的符号资源被调动起来，在一个特定的文本中共同构建意义的各种方式。［9－10］胡壮麟，顾曰国等认为用两个以上感官进行互动就构成多模态。［11－12］可见，不同感官对多种符号资源的调动、对构建多模态具有重要意义。而不同感官与各种符号在听力理解认知的感知、解码和编码等环节中也起着重要作用。

（二）听力理解的认知过程与多模态内在联系

二语听力理解过程的研究在国外起步较早，形成了相对成熟的研究结果。Kenneth认为听力理解由五个成分构成，并且在顺序上，后一个成分总是依赖于前一个成分，即辨音、信息感知、听觉记忆、信息解码、运用所学语言使用或储存信息。［13］Anderson对听力理解过程的划分更为简单，他把听力理解划分为三个相互联系而又循环往复的过程：感知处理、切分和运用。［14］Abbott等则认为，外语的听力理解过程与母语的听力理解过程有相似之处。他们认为，听力理解包括感知、解码、预 测 与 选 择 等 过 程。［15］Helgesen，Rost 和Richards＆Schmidt等都将听力定义为一个主动的意义构建过程，听话人不只是简单地将所听内容进行解码，还主动从看到或听到的信号中获得信息，并将其与他们的已有知识相联系。［16－18］

基于以上学者对听力理解的描述，二语听力理解总是涉及到感知和解码等过程，而这些任务则需要听者借助各种感官去完成。如听到“sour”激发味觉感知，产生酸的味觉体验；“table”则会激发视觉感知，并在大脑中出现桌子的图像；而“cry”则会刺激听觉和视觉感知，产生难过的表情和哭泣的声音。可以这样认为，听力理解过程是多模态的认知过程。此外，在各个感官交互作用下，抽象的听觉模态最终转变成由图像、动作、声音等所构建的多模态场景。因此，听力理解结果也是多模态的。

三、听力理解多模态认知模式构建

在一般二语学习者的听力理解过程中，从听觉到大脑认知往往没有发生模态转换，只是把听到的单语音模态转换成汉语文字模态，即简单的逐字翻译。该过程具有理解零碎性、不连续等特征，且即听即忘，易被陌生信息、焦虑情绪干扰，常出现每个单词都听懂却又无法实现对篇章理解，更谈不上对信息进行预测。这种单模态转换的听力理解模式很难保证短暂记忆长久性和连续性，同时还占用很大的记忆空间，造成严重的认知负荷。而多模态听力理解的认知模式构建主要在于通过多模态的认知加工，构建能够减轻认知负荷的多模态心理情景。

（一）多模态心理情景

所谓多模态心理情景是指输入信息经认知系统的各个感官加工并与已有的多模态生活经历和百科知识相互作用而形成的静态或动态多模态模块。多模态心理情景储存在短暂记忆区，具有较强逻辑性、稳定性、叙事性和直观性，所占记忆空间小，易记等特征，克服了传统听力理解模式中短暂记忆效果不佳等困难。

（二）听力理解多模态认知模式

根据袁传友构建的多模态信息认知模式，在网络信息与多媒体环境下，多模态是学习者利用各种感官来获取、认知和传递信息的手段和方式。［19］认知是对信息的处理和加工，意味着有信息就需认知处理。听力理解的多模态认知模式是利用大脑信息处理系统对听力素材进行多模态转换，听觉在接受单模态语音输入时把信息进行分类并传送到各个感官系统进行多模态加工，该过程就是跟人的长时记忆库中的多模态生活经历和百科知识进行匹配的过程。匹配成功后即会形成相关图像、动作、表情、声音、味道、感受等模态，然后在认知系统进行重组形成连贯性的动态或静态多模态心理情景（动画、图片、表意线条、图表等）。最后，大脑认知系统会对即将发生的多模态心理情景进行预测，随即进入下一个听力循环，该过程如图1所示。

图1 多模态听力循环认知系统

比如，当信息“It’s so cold．Would you please turn on the air－conditioner？”进入听觉系统后，听觉系统会把抽象信息转换成具体感知信息并分类：“cold”转换成寒风呼啸声，即听觉模态以及棉袄、大雪或者口中吐出的寒气等视觉模态；“air－conditioner”转换成空调视觉模态；而“Would you please…”则会转换成说话者有礼貌言语声音和寻求帮助的表情模态；“turn on”则可转换成拿遥控器的动作模态。以上各种模态在认知系统进行重组，形成连贯性的多模态心理情景：一个陈列着各种生活家具包括取暖设施的房间里，两个人在学习或工作，室外飘着大雪，刮着寒风。从一个人表情得知他感觉很冷，于是他随口跟另外一个人发出了“It’s so cold．Would you please turn on the air－conditioner？”请求。听者根据语气模态，以及自身相关生活经历，可以判断两者之间社会关系。由此，一个完整的听力理解的多模态认知过程得以实现。

四、研究设计

（一）研究问题

本研究主要探讨以下2个问题：二语学习者在听力理解多模态认知模式实验后是否养成了听力多模态认知习惯？听力理解多模态认知模式能否真正促进学习者的听力理解，提高学习者的听力成绩？

（二）研究对象

研究对象为江苏某高校非英语专业二年级两个班学生。实验前对三位任课教师所授课的6个班级进行问卷调查和听力水平测试，根据分析结果筛选出在听力各方面没有显著差异的两个班级（由同一位教师承担教学任务）作为实验对象。其中（1）班为实验组（52人），采用听力理解多模态认知模式，（2）班为控制组（50人），采用传统听力理解认知模式，实验为期1年。

（三）实验设计

1．实验工具

实验工具之一是调查问卷，旨在了解学习者在实验前后听力认知习惯。问卷调查采用莱克特量表（Likert Scale），给出5个选项供选择，即：很不同意（1分），不同意（2分），基本同意（3分），同意（4分），非常同意（5分）。平均分与均值“3”比较，某项得分高出均分越高，说明对该项调查内容肯定态度越强烈。

实验工具之二是项目初期及项目后期的听力水平测试卷。初期和后期测试使用往年大学英语四级真题的听力部分。实验所有数据均输入SPSS做相关的统计分析。

实验后通过访谈，旨在了解学习者在多模态认知模式运用过程中遇到的问题和体会，探寻听力成绩存在差异的原因。

2．实验过程

实验前筛选出来的两个班级听力成绩数据分析结果如表1所示：两个班平均分13和12．7很接近，双尾检测值0．576大于0．05表明两组之间差异性不显著，即两个班级的听力水平无显著差异。

表1 前测结果

听力习惯方面，结果如表2。所有的前测听力习惯平均值都小于3，说明学生在听力理解过程中很少使用多模态认知模式。

表2 前测和后测听力习惯对比

听力理解多模态认知模式实验具体操作方法是：实验前，对实验组学生进行多模态认知模式培训，加强学生对“多模态”概念的了解。培训以举例、图示等通俗易懂方式让学生理解听力多模态认知步骤。如有意识地向学习者输入某一个句子，提醒他们根据五官感知联想到与该句表意相关的经历和知识，形成动态或静态多模态心理图像或场景，并有意识地对下一句作出预测。如此反复地对受试者进行多模态转换训练，直至学习者大脑中形成该思维模式。在平时的听力课堂上，反复以简洁易懂、具体直观的语言重复该模式，帮助学生改变原有的听力习惯，养成听力多模态认知习惯。

听力材料主要分为短对话（一问一答）、长对话（两个人之间就一个或多个话题进行多个回合的对话交流）、短文听力和复合式听写。材料的选择遵循从易到难，循序渐进的原则：实验初期选择情境性和直观性较强，话题为大家所熟知，生词少，容易为各种感官所直接感知、转换等特征的素材，然后慢慢过渡到抽象和具体、间接和直观、熟悉和陌生话题相结合，语言难度达到大学英语四级要求的听力材料。这样有利于提高学生听力理解，调动学生学习积极性，也便于多模态认知模式在听力实践教学中的运用。

（四）结果与讨论

经过1年的多模态认知模式训练，对实验组和控制组再一次进行与前测同一问卷多模态认知习惯问卷调查，并对调查结果进行对比。在一年多模态认知模式训练结束后，实验组的多模态认知习惯有了显著的改善（P值都为0．000）。实验组听力习惯平均值都大于3，而控制组的情况与前测相差不大，说明多模态认知习惯已经在听力理解中形成。这种听力理解模式是否在运用之后能有效提高听力水平？在为期1年的实验结束后，又对实验组和控制组进行听力水平测试。两组回收的有效测试卷分别为：实验组46份；控制组42份。表3中的结果显示，实验组相关系数0．514和控制组相关系数0．800都大于0，说此实验是有意义的。实验组平均分由前测的13．31上升到后测的22．54，而控制组则由前测的12．93上升到15．31，说明两个班级成绩都有提高，但实验组的后测平均分远高于控制组。

表3 控制组和实验组前后测对比

此外，后测结果（独立样本t检测）中的Sig．（2－tailed）值0．000小于0．05，见表4。显示了实验组和控制组听力水平存在显著差异，即实验组听力成绩要优于控制组。综上所述，听力理解的多模态认知模式有效促进了听力成绩提高。

表4 后测结果

为了解决听力理解多模态认知习惯和后测成绩是否显著相关这一研究问题，研究确定了后测成绩的高分组和低分组，并对两组进行Pearson相关分析。按照秦晓晴《外语教学研究中的定量数据分析》一书提出的方法，［20］将受试对象分数前25%的确定为高分组，后25%的学生确定为低分组。将后测成绩进行排序，将排名靠前12名学生确定为高分组，排名靠后12名学生确定为低分组。先对高分组和低分组在后测成绩上的差异性进行了独立样本t检验，Sig．（2－tailed）值0．000小于0．05，说明分组区别性显著，这证实了分组的可行性。对两组进行相关分析的结果如表5所示，根据秦晓晴对相关系数的划分标准：相关系数介于0．2和0．4之间为低相关；介于0．4和0．7之间为切实相关即较显著相关；介于0．7和0．9之间的为高相关，即显著相关。高分组听力理解多模态认知习惯和后测成绩相关性显著，R值为0．724，Sig．（2－tailed）值为0．008，而低分组听力理解多模态认知习惯和后测成绩却呈现低相关性，R值为0．369，Sig．（2－tailed）值为0．238。

表5 皮尔森相关性

为了找出导致两组相关分析结果截然不同的原因，对实验组学生进行了访谈。结果表明，高分组和低分组学生对听力多模态认知模式都表达了肯定态度，都能理解和运用该听力模式。这与两组的听力多模态认知习惯均值（高分组均值4．11大于3，低分组均值3．41大于3）相符。两组学生不同点在于：低分组学生的单词发音与标准发音偏差较大，缺乏连读、略读、重度、轻读、语调、断句等方面常识，从而造成对某些单词、短语以及意群的认知盲区，影响了听力理解多模态认知模式效果。此外，高分组在百科知识和生活经验方面较低分组要更加丰富和全面，这有利于在听力理解过程中进行多模态匹配和预测。所以，尽管低分组学生运用了听力理解多模态认知模式，但薄弱的外语基本功却影响了该模式的效果，从而造成了听力理解多模态认知习惯和后测成绩之间的低相关性。

五、结语

对二语听力理解的多模态认知模式较传统听力理解的认知模式更具体化、直观化，更易理解、易操作。改变了以往学习者被动去接受听力信息的局面，使其真正融入到听力材料所呈现的多模态心理情景中去，主动去接受信息，主动去预测信息。一定程度上克服了传统听力课堂上学习者缺乏主动性、易犯困和走神的缺点，充分发挥了学习者的主动性、创造力和想象力，并从中获得多模态认知乐趣。

［1］ 谢竞贤，董剑桥．论多媒体与多模态条件下的大学英语听力教学［J］．外语电化教学，2010（11）：9－13．

［2］ 王玉雯．多模态听力自主学习的设计及其效果研究［J］．外语电化教学，2009（6）：62－65．

［3］ 盛仁泽．元认知策略与多模态交互下的听力理解和词汇附带习得［J］．黑龙江高教研究，2011（9）：179－182．

［4］ 龙宇飞，赵璞．大学英语听力教学中元认知策略与多模态交互研究［J］．外语电化教学，2009（7）：58－62．

［5］ 桂诗春．认知与语言［J］．外语教学与研究，1991（3）：3－9．

［6］ Flavell，J．H．Cognitive Development［M］．（2ndEd）．NJ：Erlbaum，1985．

［7］ 刘绍龙，肖善香．认知、元认知与第二语言习得［J］．西安外国语学院学报，2002（4）：37－41．

［8］ Halliday，M．A．K．An Introduction to Functional Grammar［M］．London：Edward Arnold，1985．

［9］ Levine Philip＆Ron Scollon．Discourse and Technology Multimodal Discourse Analysis［M］．Washington，DC：Georgetown University Press，2004．

［10］ Baldry ＆ Thibault．Multi－modal Transcription and Text A－nalysis［M］．London and Oakville：Equinox，2006：21．

［11］ 胡壮麟．社会符号学研究中的多模态化［J］．语言教学与研究，2007（1）：1－10．

［12］ 顾曰国．多媒体、多模态学习剖析［J］．外语电化教学，2007（2）：3－12．

［13］ Kenneth，C．Developing Second Language Skills；Theory to Practice［M］．Houghton Mifflin Company，The Center for Curriculum Development，INC，1976．

［14］ Anderson，J．R．Cognitive Psychology and Its Implications［M］．New York：W．H．Freeman，1985．

［15］ Abbott G．et al．The Teaching of English As an International Language Practical Guide［M］．Glasgow and London：Collins，1981．

［16］ Helgesen M．＆S．Brown．Practical English Language Teaching：Listening［M］．Beijing：Phoenix Press Media Group＆Yilin Press，2008．

［17］ Rost，M．Teaching and Researching Listening［M］．Harlow，UK：Pearson Education／Longman，2002．

［18］ Richards，J．C．＆R．Schmidt．Longman Dictionary of Language Teaching and Applied Linguistic［M］．London：Longman，2002．

［19］ 袁传友．多模态信息认知教—学模式初探［J］．山东外语教学，2010（4）：10－13．

［20］ 秦晓晴．外语教学研究中的定量数据分析［M］．武汉：华中科技大学出版社，2007．