音乐视频语篇的多模态话语分析

摘 要：传统的语篇分析基本集中在文本语言分析，忽视非语言符号资源对语篇意义的构建所起的作用。而实际上在各种语篇中图像、声音、颜色、动漫等其他意义的表现形式对整体语篇的构成意义也有很大的作用。20世纪90年代在西方兴起的多模态语篇分析促进了传统单一的语言交流手段与视觉、听觉、手势等其他表意方式的有机结合。本文尝试用Kress和Leeuwen的视觉图像分析语法框架以及听觉模态方面的声音透视理论对复兴路上工作室制作发行的音乐视频《十三五之歌》中的声音和图像进行意义构成的分析，以说明各种模态和符号在视频中是如何相互关联共同实现语篇的整体意义的。

关键词：多模态语篇分析；意义构建；视觉模态；听觉模态

1.引言

随着数字化和信息化时代的到来，人类交际活动中出现了多种符号相融合的现象，这种话语的多模态现象是当今人类交际中使用各种话语时的一个重要特征（Kress&Leeuwen，2001：2）。电脑技术和多媒体技术的不断进步与发展、广泛运用与普及，更始人类社会跨入了丰富多彩的信息时代。人们观察世界、认知世界与表达感情的渠道也日益多元化，实现了多模态交际。 20世纪90年代，多模态语篇分析在西方语言学界应运而生。早期的研究多集中在对静态多模态语篇的分析上，随着多媒体和数码技术的发展，研究重心开始逐渐转向动态多模态语篇，如视频语篇和网页超文本等。但是由于涉及对音频和视频的采集、合成、重现等技术过程及其符号的动态性、分析的复杂性和对其它相关学科知识的要求，动态多模态视频语篇成为近年来多模态语篇研究者面临的一大挑战。

国外从事多模态语篇分析的学者有很多，其中Kress&vanLeeuwen根据Halliday的系统功能语言学理论，将语言的三大元功能看作是任何人类交际系统所必须具备的，并以此为基础建立了对图片进行分析的视觉语法框架：再现结构、互动意义和构图意义，分别与语言的概念功能、人际功能和语篇功能相对应。近年来，国内也兴起了多模态语篇分析，本文将以Kress&vanLeeuwen所提出的视觉语法框架和系统功能语法为基础，来对多模态视频语篇《十三五之歌》进行分析。

2 多模态语篇及视觉图像语法框架理论基础

2.1 多模态语篇的定义

“多模态”一词源于英语中的“multimodality”，其中“modality”一词源自“mode”，意为“模态/模式/方式”。本文采用“多模态”译法，与单一模态相对。近年来，多模态语篇研究引起了国内外许多学者的关注，但对如何定义模态，何为多模态，尚未达成一致意见。Kress&vanLeween认为，多模态语篇（multimodal discourse）是一种融合了多种交流模态（如声音、文字、形象等）来传递信息的语篇。李战子则指出，多模态语篇是指除了文本之外，还带有图像、图表等的复合话语，或者说任何由一种以上的符号编码实现意义的文本。也就是说，区分单一与多模态的关键在于有多少种符号参与意义构建。顾曰国则认为，模态指人类通过感官（如视觉、听觉等）跟外部环境（如人、机器、物件、动物等）之间的互动方式。用单个感官进行互动的叫单模态，用两个的叫双模态，三个或以上的叫多模态。他认为区分关键在于有多少感官参与互动，比如视觉、听觉或触觉的同时参与或只有一种参与。朱永生认为多模态话语的判断有两条标准，第一是看涉及的模态种类有多少，第二是看涉及的符号系统有多少。他的第一条标准与顾曰国的多感官互动观点相似，而第二条标准与李战子的多符号观点相似。如上所述，诸多学者从不同角度对多模态语篇进行了界定。本文认为，可以从语篇构建要素和语篇处理者两个角度对其定义。前者强调的是参与意义构建的各种符号，后者强调的是作为语篇处理者的人的感官系统。将两条标准合二为一可得出以下结论：单一模态语篇为仅有单一感官参与互动且仅含一种符号的语篇，比如看只含文字的书本或听仅有声音传达的收音机；多模态语篇可分为启用单一感官的多符号语篇或启用多感官的多符号语篇，比如看既有文字又有图片的书本或既有图像又有声音的电视。而现实生活中，绝对的单一模態语篇是很少的，多模态语篇则是普遍存在的，比如人们说话时常伴随手势，人们可在一张网页上既看到文字又看到图像，同时又可听到音乐。因此，语言是人类进行表意交流的主要渠道，但不是唯一有效的渠道。

2.2 多模态话语分析方法

目前对视频语篇的分析还没有统一的框架，而视频语篇出现的模态主要有视觉模态和听觉模态，因此，本文在分析复兴路上工作室出版的《十三五之歌》音乐视频的视觉模态方面，将借鉴 Kress & Van Leeuwen（ 2006） 的理论建立对视觉图像语法的分析框架，包括再现意义、互动意义和构图意义。再现意义包括叙事再现和概念再现； 实现互动意义的要素包括： 视点、距离、接触和情态； 实现构图意义的资源有信息值、取景和显著性。在听觉模态方面，本文将采用VanLeeuwen（ 1999） 的声音透视和社会距离系统网络对MV中声音与听者的关系进行解读。听觉透视系统把同时出现的声音进行分层使听者能分辨出声音重要性的不同，而这种听觉透视由音量的大小来实现。同时出现的声音按照位置可分为三组： 主角、背景和场。主角声音是关注的重点，也是听者需要确认、做出回应或采取行动的声音。被置于背景位置的声音对听者来说是次要、不那么明显的。场声音存在于听者的物理世界，不期待听者适应它或采取任何评论性的姿态。社会距离系统包括五种距离： 亲密距离、个人距离、非正式距离、正式距离和公共距离。这些距离由音质体现，包括喉咙肌肉张力、音高和音量，例如亲密距离由极轻柔的声音低声密语实现。

在研究视觉模态和听觉模态如何体现各自意义的同时，我们也将借鉴张德禄（ 2009） 和 Royce（ 2007） 的研究成果，考查各种模态和符号之间如何相互关联共同实现语篇整体意义。张德禄（ 2009： 26） 认为人类在交际中会用多模态的最主要原因是因为“一种模态不足以表达清楚交际者的意义，从而利用另一者来进行强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的”。他把模态间的关系分为互补关系（ 强化和非强化） 和非互补关系（ 交叠、内包和语境） 。具体到图像和文本的关系，Royce（ 2007： 70） 把图像和文本的合作作用称作“符号间互补”，他认为，从概念意义上，图像与文字材料之间存在重复、同义、反义、上下义、部分整体义和搭配等关系； 图文的人际意义互补可以通过符际语气（ 两种模态呈现给读者的方式） 和情态（ 态度一致和态度不一致） 进行分析； 在组篇意义上，图像和文本涉及到信息值、显著性、取景和阅读途径等方面的协作。

3 分析与讨论

3.1 视觉主题

复兴路工作室制作发行的《十三五之歌》于2015年10月27日由新华社在其官方twitter上首先发布，长三分钟，四个欧美年轻人以民谣的形式反复吟唱“十三五”。按照“十三五”是什么、谁制定、怎样制定、制定完成还要执行、完善等逻辑顺序，层层推进，对每个问题的诠释、演绎都非常通俗。歌词中反复歌唱“分散调研、集中讨论、再分散 调研、再集中讨论。”以此来向外界介绍“十三五规划”是什么以及是怎样出台的。在MV方面，《十三五之歌》所展现的视觉元素也颇为讲究，它主打的是波普拼贴风格，是欧美流行文化的典型代表，将人民币、长城、烤鸭等中国符号展现出来，极具文化亲和力。MV的主角之一的卡通形象，选择了英国著名歌手大卫.鲍勃。这位被称作“摇滚变色龙”的乐坛老将在欧美家喻户晓，由他“阐述”中国十三五，大大拉近了与国外人民的距离。而不同肤色的手，共同摆出“135”的数字手势，也象征着中国与世界成为更加紧密的“命运共同体”：中国的十三五并非只是自身瞩目的政治焦点，也是影响世界的大事件。

Baldry & Thibault（ 2006： 185） 认为阶段之间的过渡可以从表达层面或内容层面的变化得到提示，我们依内容层面的视觉主题把整部作品划分为五个阶段，它们所表达的内容如表1所示：

1，习大大的new style“十三五规划”像中国一样大

2，人民币的图像及各行业照片表示党中央国务院各级党政办参与制定“十三五规划”

3，雨中人头不断出现又消失形容制定过程

4，中国地图、高楼的崛起以及百家姓名册描述“十三五规划”的未来执行状态

5，电视中人头不断涌现提出未来还有“十四五规划”

根据视觉分类的关联元素，作品中四个演唱者站在大巴车顶上，边走边长，其中场景涵盖范围非常广泛，依次有：森林中、蓝天白云下、长城上、花丛中、细雨中、高楼崛起的城市以及边疆的荒原等等。结合

关联元素和视觉连接手段，作者发现这五个阶段均由两个或两个以上的场景组成。将如此多且丰富的背景运用到一首MV中，恰好说明了了中国“十三五规划“所涉及的范围之广、制定过程的复杂性以及参与人员的多样性，与歌曲主题相互呼应。

3.2 视觉模态

虽然在一首歌曲中，听觉模态是主模态，但在音乐视频中，往往视觉模态能赋予MV不同寻常的表现力。本文将从再现意义、互动意义和构图意义三方面入手分析该音乐视频的视觉模态。再现意义表示视觉图像能如实再现客观世界中的人、地点和事物以及人类内心世界的活动。整个作品中，既有叙事再现的行动过程，又有概念再现的象征过程。

在《十三五之歌》的MV中，提到习大大style的时候，配图背景是习近平主席微笑向观众招手的照片，表现了他对人民的热情以及对“十三五规划”的满意程度；在歌词唱到“十三五”计划的宏伟时，配图背景是一位父亲背着一个小女孩儿，两人纷纷张开双臂，面带笑容，显示了他们对党中央“十三五规划”的拥护。

互动意义是指图像的制作者、图像所表征的事物和图像的观看者之间的关系，同时提示观看者对表征事物应持的态度。观看者对画面内容的观看角度，即视点有平视、俯视和仰视之分，它体现了参与者与观看者之间的权势关系。整部作品基本采取平视的视角，让观看者感觉平等亲切融入其中。此首MV的目的是不仅向中国人民更向全世界人民介绍中国“十三五规划”是什么、由谁制定以及怎样出台的，因此，在整首MV中，大部分画面人物都未与观看者有直接眼神接触，主要以提供信息为主。它主打的是波普拼贴风格，是欧美流行文化的典型代表，并选择了英国著名歌手大卫.鲍勃作为MV的主角之一，大大拉近了与国外人民的距离。而不同肤色的手，共同摆出“135”的数字手势，也象征着中国与世界成为更加紧密的“命运共同体”：中国的十三五并非只是自身瞩目的政治焦点，也是影响世界的大事件。整部MV的画面色彩饱和度高，具有高情态，而且呈现一定的色彩倾向，以粉红、黄、绿三者为主色调，象征着生命力蓬勃、温暖可亲和年轻活力，拉近了与观众的距离，同样也以饱满的色彩改变了传统传播政治要闻时肃穆庄重的气氛，愉悦了观众的心情。

构图意义通过信息值、显著性和取景实现。信息值与元素在构图中的放置有关，Kress & van Leeuwen （ 2006） 认为左到右的放置造成了已知 - 新信息的结构，置于上方的是“理想的”，下方的是“真实的”； 显著性可通过被放置在前景或背景、相对尺寸、色调值的对比、鲜明度的不同等来实现； 取景可通过造成分割线条或实际分割框架的线条来实现。Baldry & Thibault（ 2006： 189） 认为在动态的画面中已知信息和新信息的确定还要看元素是不是逐渐变得显著或成为焦点，而不单纯依靠左右的放置。MV中四个歌手站立的大巴首先是位于整个视频的中心靠前位置，而后，穿过森林、平原以及后来又出现许多其他人物时，他们总是时而靠前时而被虚化。例如在MV刚开始时，四位歌手处于前置位置，突出了他们的显著性，后来在用不同颜色的手比划“135”时，他们处于后置位置，显著性被降低。

3.3 听觉模态

整部作品的听觉模态有旁白、歌唱、音乐和效果音响，各种符号高度协调。旁白是活泼的男声或女生不断提出的问题，演唱部分由两男两女交替或者合唱完成，曲风以民谣为主，搭配朋克和独白，整体风格酷似70年代风靡于日本的迷幻摇滚。

首先由一位女声的旁白提出的问题 “Have you guys heared whats going on in China？” 引出了整首歌曲。而在歌曲中间也总是用疑问的形式引出后面的演唱，例如，在49秒的时候，男生问“the 13 what？”；在51秒時问“who makes all the plans？”等，用疑问旁白的形式不仅能使整首歌曲听上去符合逻辑顺序，也引起了听众的兴趣。

3.4 模态的整合

整部作品中视觉模态和听觉模态对构建意义缺一不可，互为补充，为互补关系的非强化关系，有协调、联合和交叉三种形式。在协调关系中，不同的模态共同表达交际者的整体意义，该音乐视频中的画面和歌唱声音都是必需的，缺乏任何一者将难以理解，因为此首MV不同于以往的音乐视频，它的演唱语言是英语，而字幕是汉语，而背景又是融合了中西方不同的文化形象，它的受众群体是全世界的人民，所以两者是协调关系缺一不可，共同构建语篇的整体意义。

4 结语

本文探讨了对动态多模态音乐视频语篇分析的理论框架，并基于此对《十三五之歌》MV进行了多模态话语分析，阐释了视觉模态和听觉模态在语篇意义建构中的作用，以及各种模态和符号如何相互关联共同实现语篇的整体意义。研究表明，音乐视频中文字、背景图像和音乐通过互相增强或补充形成合力构建意义，取得传递信息的最佳效果。但不可否认的是，对图像的语法分析存在主观性，而且各种模态之间的互动和互补作用难以确定。因此在某种程度上，多模态语篇分析有一定的局限性和片面性，但随着越来越多的学者开始关注多模态语篇，其分析方法和理论定会进一步完善。希望此篇文章对后续的研究能有一定的借鉴意义。

参考文献

[1]KressG，vanLeeuwenT.ReadingImages：TheGram-marofVisualDesign[M].London：Routledge，1996.

[2]李战子.多模式话语的符号学分析[J].外语研究，2003，（5）： 1- 8.

[3]HallidayMAK.AnIntroductiontoFunctionalGram-mar[M].London：EdwardArnold，1985.

[4]顾曰国.多媒体、多模态学习剖析[J].外语电化教学，2007，（114）： 3- 12.

[5]朱永生.多模态话语分析的理论基础与研究方法[J]，外语学刊， 2007，（5）： 82- 86.

[6]洪岗，张振. 多模态视频语篇《我和你（ You And Me） 》的構成意义分析[J]，外语电化教学，2010（ 6） .

[7]唐青叶. 电视民生新闻的多模式积极话语分析[J]. 外语研究，2008（ 4） .

[8]张德禄. 多模态话语分析综合理论框架研究[J]. 中国外语，2009（ 1） .

作者简介

王晶晶（1991-），女，汉族，籍贯，河北省泊头市，大连外国语大学在读研究生，研究方向：跨文化交际