英语宣传片的多模态话语分析——以“山西8分钟”英语宣传片为例

高志英，米锦平，赵京博

（山西大同大学外国语学院，山西 大同 037009）

模态(modal)是指人们在社会交往中所利用的手段和媒介，包括语言、图像、声音、手势、颜色等各种符号资源。随着科技的发展和互联网的普及，人们日常交流中的信息以各种各样的模态存在，纯语言文本已无法满足表达意义的需求，语言文字也不再是现代语篇中的唯一模态，人们之间的沟通更多地采用语言、声音、图像、手势等各种符号资源协同表达意义的方式，也就是多模态话语。多模态话语是指运用视觉、听觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。[1]例如，同时包含文字和图像的电影海报、夹杂语调和手势变化的交谈、动态的广告片或视频等都属于多模态话语。

话语分析(discourse analysis)是研究语言的一种方法，由语言学家Harris提出。话语分析的研究对象是人们在日常生活中所使用的语言，通过观察和描述语言的特征来分析语言的功能和用途。多模态话语分析(Multimodal Discourse Analysis)理论兴起于20世纪90 年代。在多模态话语分析中，非语言符号（如绘画、雕塑、音乐、舞蹈等）和语言一起都属于符号资源，这些符号都具有表达和传递意义的功能。不同种类的符号模态可以用来表达相同的含义，多种符号模态也可以分工合作，协同传递一个意思。近些年来，多模态话语研究呈现蓬勃发展态势，研究范畴和领域不断拓展，其代表人物包括Kress，Van Leeuwen，O’Toole，Lemke，O’Halloran，Jewitt 等。Kress 和Van Leeuwen 提出了视觉语法理论，他们认为“视觉语法不仅适用于语言符号分析，也适用于图像、声音、颜色、版面等非语言符号研究”。[2]

国内最早引入的有关多模态研究的论文是李战子《多模态话语的社会符号学分析》。[3]随后，胡壮麟、朱永生、张德禄、陈荫等研究者也在该领域进行了一系列相关研究。多模态话语分析将语言和其他符号资源整合起来加以研究，使符号在社会交往中具有更大的应用价值。多模态话语分析已经广泛应用到社会学、新闻传播、艺术、美学、教育等领域。

在新闻传播领域，多模态话语分析的对象过去多为海报或者时常较短的电视广告，对宣传片的研究较少。相关的研究集中于对英文译文的探讨，如吉文凯《文化宣传片对外译介传播的多模态协同重构》，[4]刘春阳《省份形象宣传片解说词的英译》。[5]从多模态话语分析的角度来研究宣传片也有一些，如翟海霞《安徽省旅游形象广告宣传片的多模态语篇分析》，[6]贾延云《城市形象建构的多模态话语分析》。[7]

实际上，宣传片是非常典型的多模态语篇，多模态语篇分析就是将语言符号和其他符号资源整合起来，从综合和宏观的视角来研究语篇。在多模态分析领域，语言不再被看作是信息传递的唯一渠道，非语言符号(如图像、音乐、空间安排等)也不再像传统语言学认为的那样在交际中只是扮演着辅助语言的角色，它们和语言一同成为符号资源，共同表达和传递着意义。[6]多模态语篇的角度分析不仅可以在提升英语宣传片的制作方面寻求更多的思路和理论依据，而且，在多模态语篇分析的过程中，我们可以更多的将多模态理论应用到中华文化“走出去”战略中，整合多种模态资源全方位分享中国近些年的发展成果，更好地讲述中国故事。

一、多模态话语分析理论依据

多模态话语分析是以系统功能语言学为理论基础，运用听觉、视觉、触觉等多种感觉模式，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。[6]多模态话语分析的理论基础是Halliday 的系统功能语法和Kress 和Van Leeuwen的视觉语法。

根据社会符号学(Social Semiotics)的理论，日常生活中的任何符号都是有意义的单位，如文字、图像、手势、声音等。人类的社会交往实际上可以理解为符号的传播。Saussure 所提出的“语言学是符号学的组成部分”这一观点，在系统功能语法理论中得到了延续。Halliday 认为语言是社会符号，语言符号具有概念功能、人际功能、语篇功能等三大元功能。概念功能表征周围的世界,人际功能触发社会交流,语篇功能使文本中所有要素内部衔接并与外部环境相关联。[6]因为语言是社会交往中各种符号系统中的一种，所以各种符号系统都有相似之处，在研究其他符号系统时可以借鉴现有的语言学理论。

Kress & Van Leeuwen 的视觉语法(Visual Grammar)的概念就是基于社会符号学理论和系统功能语法而提出，同时还受到了Barthes 在视觉符号学方面研究的启发。他们将带有颜色、音乐、排版和其他视觉特征的图像视为和语言一样的符号，认为它们具有和语言一样的概念、人际和语篇功能。由此，Kress&Van Leeuwen 提出视觉符号具有的三个功能意义，即再现意义(representational meaning)、互动意义(interactional meaning)和构图意义(compositional meaning)。Kress &Van Leeuwen 第一次将对语言语法图展到视觉领域，对视觉符号进行了非常全面地分析和研究，为多模态语篇研究提供了扎实的理论基础，具有开创性意义。

二、英语宣传片多模态话语分析

英语宣传片是一种文化输出的形式，以电视传媒为手段，对外宣传某个国家、地区或城市的形象，往往会对当地的政治、经济、文化、历史、人文风貌等进行全方位的展现。在我国政府加快实施“走出去”战略的过程中，英语宣传片已经成为对外传播的一种很好的方式。

2019 年2 月25 日，外交部举办山西省的全球推介活动，期间播放的一条关于山西省的8分钟主题宣传片，被媒体纷纷转发，引爆朋友圈。视频以“新时代的中国：山西新转型 共享新未来”为主题，介绍了山西省近年来大力推动能源革命、打造新兴产业集群、实现经济转型的概况，目的是向与会者和各界人士展示、传播古老山西的新面貌，让全国人民乃至世界人民看到生机勃勃、奋进崛起的山西。

英语宣传片是一种典型的多模态话语，通过图像、背景音乐和声音、字幕等多种模态协同表达和传递某个地区的概况。在对宣传片进行多模态话语分析时，以社会符号学为理论基础的系统功能语法主要用来分析和阐释宣传片中的语言文本所表达的意义，视觉语法则是用来解读其中的图像所传达的意义。两种理论共同为英语宣传片中多种模态的相互作用提供了有效的分析工具。基于系统功能语法和视觉语法，本研究将以“山西8分钟”宣传片中的图片为例，对这部英文宣传片进行了多模态话语分析。

（一）再现意义 根据视觉语法理论，视觉符号具有的三个功能意义，即再现意义、互动意义和构图意义。其中，再现意义所反映的是画面中呈现的各种元素之间的关系，以及观者从图像中所获得的感受。再现意义主要分为叙事再现(narrative representation)和概念再现(conseptual representation)。区别叙事图像与概念图像要看图像中是否存在矢量(vector)。矢量(向量)即动作、行为的方向，通常为一条斜线，在具体的图像中可能是参与者(participent)视线的方向，也可能是手臂所指的方向。在多模态话语分析中，先辨别图像是属于叙事再现还是概念再现有助于进一步探讨图像的再现意义。

此宣传片中既有概念再现，也有叙事再现。概念再现主要通过分类过程(classificational process)、分析过程(analytical process)、象征过程(symbolic process)等来表现。分类过程反映图像参与者之间的类属关系。分析过程反映图像中整体与部分之间的关系。象征过程探讨图像参与者的象征意义。

宣传片开始部分从1 分零1 秒到1 分35 秒出现了概念再现的分类过程，这段视频由一系列山西省境内的历史文物古迹的图像组成，如陶寺观象台、晋侯鸟尊、侯马盟书、五台山、云冈石窟（如图1）、平遥古城等，旁边配有中英文名称，文物遗址一类的图像是静态的展现，一般用来表现一个地方悠久的历史，属于概念再现。背景配音是“Here in Shanxi a birthplace of the Chinese civilization preserves the heritages of over 5000 years of Chinese civilization.(这里是华夏文明起源之一，留下了丰富的历史遗存，贯通上下五千年，成为了解中华文明首选之地)”图像、文字和声音共同构建出语篇的概念意义——山西有厚重的历史文化，境内保存着丰富的旅游资源。该段视频中的图像、文字和声音三者之间是互补和强化的关系。

图1 视频截图（概念再现的分类过程）

当图像中出现矢量(参与者的动作方向)时，就形成叙事过程。叙事再现可以通过行动过程(action process)、反应过程(reactional process)、言语和心理过程(speech process and mental process)、转化过程(conversion process)、几何象征(geometrical symbolism)等体现。行动过程一般涉及行动者(actor)和目标(goal)，行动者是动作的发出者，是矢量的起点，目标是动作的接收者，是矢量的终点。反应过程往往由一个或多个参与者的目光凝视构成，视线即矢量，矢量两端的行动者和目标分别被转化为反应者(reactor)和现象(phenomenon)。对参与者和矢量的分析是研究叙事过程的重点。

图2 是“山西8 分钟”宣传片中2 分56 秒的一个画面，反映的是山西省在教育方面的发展。图像中的小学生们正在教室里学习交流，前景中央的两个学生坐在课桌前好像在探讨课本上的问题，处于右边的小学生用左手指向桌子上的课本，形成一个矢量，这一过程属于行动过程，行动过程是图像中参与者发出矢量的过程。右边学生在此行动过程中是行动者(actor)，是矢量的起点，书是目标(goal)，是矢量的终点。另外，两名学生的目光同时看向课本的内容，好像在思考问题，两个学生的视线各自形成一个矢量，这个过程属于反应过程。反应过程中的矢量通常是人的视线，这一过程中两名学生都是反应者(reactor)，是矢量的起点，课本是现象(phenomenon)，是引起学生做出反应的原因，是矢量的终点。这一帧画面中出现了两种叙事过程，图像的再现意义是由行动过程和反应过程两种过程共同体现。背景配音和字幕是“Nine-year compulsory education extended to the furthermost cornors.(最边远的山区全部实现九年义务教育)”，对画面的意义进行了有效的补充和加强，视觉模态和听觉模态协同表达出的意义是：山西在教育方面做出了巨大努力和投入，给孩子们创造了良好的条件，使他们都能够走进学校接受义务教育，从而提高人口对整体素质。

图2 视频截图（叙事再现的行动过程和反应过程）

（二）互动意义 互动意义通常指图像的作者、图像与观者之间的互动和交流，主要通过接触(contact)、社交距离(social distance)、态度(attitude)和情态(modality)等要素来体现，几个要素之间可以相互作用，共同阐述影像中的参与者与现实中观者产生的特定关系和互动。

接触是指观者与视频画面中的参与者之间的互动关系，这种互动关系一般通过参与者的视线建立起来。观看者不可能与图像中的人物有肢体的接触和互动，所以图像的互动意义主要是通过观看者和图像参与者之间的目光接触来实现的。图像中参与者的目光凝视传达出的意义，可分为提供类(offer)与需求类(demand)。其中，在提供类图像中，图像参与者与观者没有目光接触，而在需求类图像中图像参与者的目光是看向观者的。

社交距离体现图像参与者与观者之间的关系，通过近景、中景和长景的选择来区分图像参与者与观者之间或远或近的社交关系。

态度往往凭借视角来体现，一般分为水平视角和垂直视角。水平视角里常见的有正面视角、背面视角、侧面视角等。水平视角就是人们平时正常的视角，所表现的画面效果与日常生活相似，给人以平和、自然、平等的心理效果，使观者有现场感。相较于侧面视角，正面角度的图像给观者更强的参与感。垂直视角包括仰角和俯角。仰角度有利于主体的突出，使画面主体显得高大、醒目、优越、令人敬仰。俯角度有利于展示空间、规模和层次，表达一种客观、公正、强调的效果。

情态一词源于语言学。无论是语言符号，还是其他符号系统，在表达意义方面存在一个真实性的问题。而情态一词强调就是所表达意义的可信度或真实性。图像中的情态主要通过观察图像的色彩饱和度、色彩区分度、色调、背景等方面来确定。情态反映事物的真实性，一般来说，颜色较饱满、色彩区分度高、背景较清晰的画面更自然，给人的感觉也更真实。

图3 是宣传片2 分22 秒的视频截图，在图3 中，一位农民手捧丰收的果实，眼睛望向镜头之外，与观者形成目光对接，图像属于需求类。她的意图非常明显，就是想和观者一起分享丰收的喜悦，渴望得到观者的共情。图像是近景拍摄，农民只露出上半身，与观者的距离很近，反映了亲切的社交距离。拍摄角度是水平正面，相较于侧面视角，正面角度的图像给观者更强的现场感和参与感。这里表达出图像中的农民希望观者能够参与其中，分享自己喜悦的心情。画面色彩丰富，饱和度高，植物绿色的叶子，红彤彤的西红柿，农民身上鲜亮的衣服，给人身临其境的感觉，画面自然，情态值高。与图像同步的配音是“People’s lives have changed significantly from food and clothing shortage to initial prosperity (人们生活迎来从温饱不足到全面小康。)”图像和声音共同呈现的互动意义是：山西普通老百姓的生活水平显著提高，过去缺衣少食，如今已迈步进入小康社会。一般来说，宣传片中提供类图像所占比重较大，需求类图像相对来说占比较小，但需求类图像往往能够达到使观者产生共鸣的效果，不可或缺。

图3 视频截图（需求类图像的互动意义）

图4 是宣传片3 分37 秒的视频截图。画面呈现的是人们植树造林的场景。图像中没有人看向镜头外的观者，参与者和观者之间没有目光接触，所以该图像属于提供类图像。图像参与者与观者之间的社交距离也比较远，属于公众距离。拍摄视角为俯视，这种视角可以让更多元素进入到画面中，视觉冲击力大，给观者一种纵观全局的体验。整个图像是向观者展现在“右玉精神”的指引下，当地各阶层人民为使绿色成为美丽山西的底色，大力开展植树造林的宏大场面。图像色彩饱满鲜明，色调均匀，背景的蓝天和山峦，黄土地上插满红色的旗帜，人群中穿校服的学生，使得画面真实自然。背景配音是“The Youyu Spirit, features proudly in the history of the People’s Republic(右玉精神载入共和国史册)”。如果只听配音，受众可能无法理解“右玉精神”的内涵，只有看到图像，结合视频之前提供的信息，观者才能体会其中的含义。从这里可以看到图像和声音在表达意义方面相互补充、缺一不可的关系。

图4 视频截图（提供类图像的互动意义）

（三）构图意义 构图意义指的是图像整体传达出的意义，主要是通过图像中各元素的位置和画面的布局来体现。构图意义的要素包括信息值(information value)、显著性(salience)、取景(framing)等。信息值是由各元素在视频图像中所处的位置(左边或右边、上方或下方、中间或边缘)决定，位置不同，信息值不同，也就是重要性不同。根据视觉语法理论，图像中各元素所处的位置不同，体现的意义也不同。一般来说，处于图像右边的元素代表新信息，左边则代表已知信息，处于图像上方的元素代表理想信息，下方则代表真实信息，处于图像中央的元素代表最主要信息，边缘则代表次要信息。显著性要素反映的是图像中某个元素对观看者的吸引力，可以从元素的大小、色调、色彩的对比、前景元素和背景之间的关系等方面进行分析。图像中某个元素的面积越大，与周围元素的色差越大，显著性越高。取景是通过使用边框线条、图像组件之间的空白、或者颜色的间断等来表达意义上的从属或者不从属关系的。例如，网站一般会通过线条、空白或者色差来把网页分成几个模块，不同模块的重要性也有区别。

图5 是宣传片4 分15 秒的视频截图。图像中处于最中心位置的是一台风力发电机，上面站着两名工程技术人员正在现场讨论相关技术问题。图像中央表示最主要信息。并且，这个风力发电机占据画面很大的面积，相比其他风力发电机大得多，显著性最高。构图中色彩对比非常强烈，在深绿色背景的衬托下，白色的风叶尤其突出，使观者第一眼就会注意到它。这幅图着重强调新时代的山西，不再只靠煤炭产业，而是正在努力发展像风能这样的新型能源产业，构建起多元支撑的现代产业体系。背景配音是“Entering the new era, Shanxi, no longer a‘coal giant’,is striving to be a pioneer in energy revolution.(新时代，山西作别‘煤老大’，争当能源革命排头兵)”对画面进行了很好的补充说明。

图5 视频截图（构图意义）

图6 是一幅城市的夜景，出现在宣传片8 分30秒。画面处于中心位置的楼宇灯光璀璨，区别于周围的点点灯光，楼体表面是一大块红色的灯牌，在夜景黑色调的衬托下尤其显眼。这幅图像的特别之处在于画面中出现了语言符号，而且语言符号位于图像的正中央，那么灯牌上“还看今朝”四个大字体现的就是图像的主要信息，旨在表达希望世界看到山西省的今天，对她充满信心的愿望，与配音相互呼应“Shanxi,together with the world,is pursuing a dream for all.(山西与世界一起追梦前行。)”但是，在传达意义方面，“还看今朝”四个汉字其实并没有起到应有的作用。众所周知，“还看今朝”来自于毛泽东诗词《沁园春·雪》，中国观众很熟悉其中的含义。但是一部英文宣传片的受众应该是使用英语的外国人，在没有英文解释的情况下，观者很可能不认识汉字或者不理解其中的深意。作为图像的焦点，也是视觉的焦点，最重要的信息如果不能被理解的话，实际上视觉模态在这里并没有对语篇意义的传达做出贡献。在对外宣传片中，语言符号的交际功能和语境是必须要考虑的因素，宣传片要达到对外传播的效果，制作者应该时刻站在观者的角度来合理地安排符号资源，而不仅仅是将中文解说词翻译成英文，其他方面简单地照搬中文宣传片而已。所以，作为一种文化传播的方式，英语宣传片在制作时应该综合考虑多模态话语中各种模态在目的语文化语境中意义的重构,使英语宣传片在目的语文化中被充分接受，从而得到有效的传播。

图6 视频截图（构图意义存在缺陷）

整部“山西8分钟”英文宣传片全方位、多角度地展现了山西省悠久的历史、壮美的风景、人民的生活和经济的转型。宣传片的最后强调了山西的区位优势、充足的资源、先进的通讯网络、完善的城市安全与卫生体系、便捷的交通出行条件，以吸引企业家和游客来山西进行投资与观光。[5]8 分钟左右的视频要涵盖大量的信息，图像的选择，文本的编辑，声音的配合，多种模态相互配合，统筹协调，才能实现语篇再现意义、互动意义和构图意义的传递，从而达到对外宣传的效果。

三、结语

本研究基于系统功能语法和视觉语法理论,对外交部发布的“山西8 分钟”英文宣传片进行了多模态话语分析，阐释了不同模态之间相互协作，共同呈现语篇的整体意义的过程。研究发现，“山西8分钟”英文宣传片中图像、文字、声音各模态的结合遵循了系统功能语法和视觉语法理论的原则，使山西省悠久的历史文化、人民幸福的生活、优美的生态环境、富有活力的产业转型等良好的形象得以传播，视觉与听觉模态的互补和强化使整部宣传片的再现意义、互动意义和构图意义完整展现，引起观者的共鸣，达到了提升山西省整体形象的目的。但不可否认的是，由于对目的语受众的接受程度欠缺考虑，导致宣传片中的个别地方的图像、文字方面的处理还不够完美。总的来说，本文旨在从观者的角度更深入、更透彻地解读英语宣传片这类多模态语篇，了解多种模态的协同作用，为对外的媒介传播提供合适的理论框架。