大学生多模态意义构建实证研究

黄媛媛

（中国药科大学 外语系，江苏 南京 211198）

一、引言

系统功能语言学认为语言不仅是具有社会功能的符号系统，也是一套与社会环境相联系的供人们选择的意义“潜势”（意义的有规则的源泉）。在多元化的信息时代，语言以外的其他符号系统也成为意义的源泉。人们利用听觉、视觉、触觉等多种感官，通过语言、图像、声音、动作等多种手段和符号资源进行交际和意义建构，形成了多模态话语。（张德禄，2009）多模态话语最合适的理论模式是系统功能语言学理论，它所包含的元功能假说认为多模态话语与纯语言符号话语一样,也具有多功能性,即概念功能、人际功能和语篇功能。元功能假说为课堂教学中通过各符号间相互作用来表达意义提供了分析工具。了解和提高学生识解和利用多符号资源建构意义的能力，是多模态课堂需要探讨的重要问题之一。

二、文献回顾

最早研究者之一R.Barthes（1977）探讨了在表达意义中图像与语言的相互作用。Lemke（1995，1998）基于系统功能语言学，对多符号在超文本语篇中的功能进行了研究。Kress,G.&T.van Leeuwen（1996）提出有意义的话语构建要依靠相互联系的符号系统。O’Toole（1994，1995）的研究证明,系统功能模式不仅可以用于对自然语言的分析,同时也为研究其他符号形式提供了可行的分析框架。在国内，李战子（2003）提出了多模态话语的社会符号学分析方法和理论。胡壮麟（2007）把多模态话语定义为有表达意义的两个或两个以上的模态所构成的话语。张德禄（2009）基于系统功能语言学，探讨了多模态话语分析的理论框架。

三、意义建构实践框架

为了在一定的文化语境，意识形态制约下，根据具体的情境语境，即话语范围（教学内容涉及的领域）、话语基调（授课者和教学对象关系）和话语方式（教学场所，条件，渠道），引导学生进行多符号协同下的意义构建，必须先确立多模态话语实践框架。本研究根据语言的三大功能，为学生指派了不同的多模态话语实践任务：

⑴情境语境:①话语范围：多模态意义构建；②话语基调：学生在教师组织辅导下进行的多媒体演示及表演；③话语方式：在多媒体教室，利用多媒体软件（2）功能的具体表现形式：

表1:多模态实践框架

元功能假设是对语言所完成的具有无限可能性的功能的抽象概括，它包括：概念功能、人际功能、和语篇功能。（曾蕾，廖海青，2010）①概念功能是指语言对现实世界与说话人内心世界中种种经历和体验的反映。我的家乡或大学生活介绍是以学生熟悉的本土文化中的生活经验为基础，是学生基于自身经历和知识结构对符号意义的解码。②人际功能反映人与人之间的关系并对话轮的选择做出规定。新闻播报要求学生选取热门话题播报并对其他学生进行现场采访互动；话剧表演是在一定的情境语境下，表演者本身以及表演者和观众进行的双重人际交流。学生从视觉和听觉方面理解事件及环境意义，建立人际关系。③语篇功能是以篇章为单位的语言研究的理论指导，没有相当的分析语篇的意识和能力就难以深刻理解作者的意图。文学作品或电影剧本赏析强调以篇章为单位，要求学生能够对文学及影视作品的可用设计文本进行

批评，赏析，设计及重新设计。

四、研究设计

（一）研究具体问题

1.学生实现多模态话语元功能假设中三大功能时的表现是否有差异？

2.学生在多模态意义建构中存在怎样的问题，如何解决？

（二）研究对象

从南京某高校非英语专业一年级2700名学生中随机抽取了150名学生完成本次实验。其中,女生80名，男生70名。

（三）研究材料及方法

研究所用材料有：①基于新伦敦小组（1996）多元识读能力水平具体描述的评估表（表2）②多模态话语调查问卷（用SPSS软件对问卷进行Alpha信度分析，得出问卷总的内部一致性信度系数为0.9343，说明问卷的信度良好。）

表2：多元识读水平评估表（5=最好,4=好,3=中等,2=不好,1=很差）

本研究采用定量研究、定性研究和访谈的形式进行。150名学生随机分成3个班，学生任选一种语言功能，利用图片，图像，声音，动作等多元符号完成表1任务。学生表演时进行录像，作品电子稿上交。由两位教学经验同样丰富的教师根据多元识读能力评估标准（表2）为学生作品进行打分，取平均分记录。满分25分，以20分为界限划分高、低分组。

表3：人次分布及分数统计表

（四）数据分析与收集

表面上看，选取人际功能的学生偏多，选取三种功能的人次不同，但因为这是抽样调查，造成这种结果有两方面原因：①学生对三种功能的选择确实存在不相等，所以抽取的样本对于不同功能选择不相等。②学生对三种功能的选择是相等的，但由于抽样误差而造成了样本对不同功能的选择不相等。为进行差异显著性检验，做出虚无假设H0：假设学生对三种功能的选择是相等的，即选取不同功能的学生人数不存在显著差异。接下来要检验样本频数分布是否在抽样误差允许的波动范围内，如果在这个范围内，则接受虚无假设；如果超出了这范围，则拒绝虚无假设。现用SPSS软件对选择三大类任务的不同人数进行卡方检验中的适合性X2检验，得出结果为X2=24.960，p=.000<0.05,因此拒绝虚无假设，认为学生在利用多元符号实现多模态话语的三大功能选择上存在显著差异。接下来对于三大功能组的高低分人次分布进行卡方检验中的独立性X2检验得到结果如表4：X2=10.694，p=.005<0.05,说明三个组的学生在高低分人次分布上存在显著差异。概念组的高分率为66.67%，人际组为42%，而语篇组只有30%。

表4：独立性X2检验结果（Chi-Square Tests）

（五）结果与讨论

在得出以上数据的基础上，对学生发放了多模态话语调查问卷，并在每一大组都随机抽取了5名学生进行了访谈。最终得出以下结论：

1.学生在利用多模态实现语言的三大功能选择上存在显著差异。52%的学生选择了利用多元符号实现多模态话语的人际功能。根据调查问卷和访谈，78个学生选择人际功能的原因为：①人际功能的任务相比另两种功能任务来说：a.使用的非语言因素特征更为明显，如伴语言特征：声调、语调变化范围更大。b.使用的非语言因素特征更为丰富,如身体特征：表情、手势、动作、空间移动等更多；②完成人际任务涉及的多媒体软件操作也更为丰富，如新闻播报中对图片、音频和视频的编辑和剪辑以及话剧表演中可以使用到的DV拍摄。③人际功能任务趣味性强，和观众有更多互动，能够刺激他们创作的深层动机。④由于任务涉及多人合作，在表演者本身以及表演者和观众进行的双重人际交流中进行，可以有效地降低学生的情感焦虑。

2.根据表4，三大功能组的高低分人次分布也存在显著差异，概念组的高分人次比率最高，低分人次比率最低，且平均分最高，这说明由于学生对本土文化和自身经历更为熟悉，浓厚思乡情结及对大学生活的热爱给予他们更多的创作源泉，故学生在表现概念功能时的多元识读水平最高，作品思想挖掘的层次更深。相比之下，语篇组的选择人次最少，且高分人次比率最低，低分人次比率最高，平均分也最低。在电影和文学作品赏析两种任务选择中，仅有36.67%的学生选择了后者。结合访谈和问卷，发现学生在语篇批评赏析方面存在认知困难和心理排斥，作品水平也不高。大部分学生认为看英语文学名著费时费力，且做讲座时惯于直接使用大篇幅未经加工，自己也没有充分理解的原版英语段落，致使观众理解困难，兴趣低下。观众的消极反应使得更多学生不愿再做篇章分析，这也构成了极少学生选择表现多模态话语语篇功能的重要原因之一。此外，学生在赏析电影剧本时倾向于将重点放在大段剧情介绍上，对于电影的文化背景及主题思想理解不够透彻。还有的学生直接从网络上下载现成的影评，忽略了对自身批判性思维的培养。

3.根据收集的电子作品和课堂录像，发现一些学生在多模态表达方面也存在很多问题: ①PPT页面上的图片量太少，文字量太多；对字体和印刷版式等符号资源的运用较混乱，不注意排版和编辑；背景色和文字颜色对比度太小，画面模糊不清。②过度使用背景音乐，影响演讲的听觉效果；过度使用画面复杂繁琐的背景图片和活动图标，转移了观众对主题内容的注意力。③对视频编辑工具的操作不够熟悉，导致视频作品的字幕效果和视听效果都较差；PPT中插入的视频，音频和文本、图片内容不衔接。

五、结论与局限性

总之，在建构概念意义，人际意义，及篇章意义的过程中，大部分大学生可以通过空间、图像、声音、颜色等多元符号的参与运用，配合自然语言，使主题意义得到完整的表达。然而，学生的多模态话语表现作品仍停留在直接利用所获取的网络资源阶段，对超文本资源的加工，筛选，处理能力都还有限。尤其是在实现多模态话语的语篇功能方面，学生的水平尚处于初级阶段。因此在英语课堂中教师应该在多媒体技术的支持下，多导入文本批判技巧的介绍；多鼓励学生利用多媒体资源阅读英文世界名著，小说；多开展小组讨论，提高学生建构多模态话语语篇意义的内在动力，全方面多角度地培养学生的多元识读能力。本研究仅为探索性研究，由于所抽取的样本容量不够大，且话题内容及任务设定有相当的局限性，因此研究结果有待进一步的检验和考证。

[1]Halliday.M.A.K.An Introduction to Functional Grammar[M].London:Arnold,1985.

[2]Halliday.M.A.K.Language as Social Semiotic [M].London:Arnold,1978.

[3]Kress,G.&T.van Leeuwen.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.

[4]Lemke,J.Intertextuality and Text Semantics[A].In Gregory,M.&P.Fries(ed.).Discourse in Society:Functional Perspectives[C].Norwood,N.J.:Ablex,1995.

[5]Lemke,J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text [A].In Martin,J.R.&R.Veel(ed.).Reading Science[C].London:Routledge,1998.

[6]New England Group.A pedagogy of multiliteracies:Designing social futures[J].Harvard Educational Review,1996,66 （1）:60-92.

[7]O’Toole.M.A systemic-functional semiotics of art [A].In P.Fries & M.Gregory (eds.). Discourse in Society: Systemic Functional Perspectives[C].Nor-wood:Ablex,1995.185-209.

[8]胡壮麟.社会符号学研究中的多模态化[J].外语教学与研究,2007，（1）:1-10.

[9]李战子.多模式话语的社会符号学分析[J].外语研究,2003，（5）:1-4.

[10]韦琴红.多模态化与大学生多元识读能力研究[J].外语电化教学,2009，（3）:28-32.

[11]张德禄.多模态话语分析综合理论框架探索[J].中国外语,2009，（1）:24-30.

[12]曾蕾,廖海青.功能语言学与外语教学研究[M].北京:外语教学与研究出版社,2010.86-88.