多模态外语微课的人际互动意义构建探析

李倩 刘慧

[摘 要] 从多模态话语分析角度出发，在系统功能语法和视觉语法的理论基础上，运用视频分析软件ELAN4.9.4对一则中国外语微课大赛一等奖获奖作品进行了个案研究，探讨目标微课教师在构建人际互动意义时调用的模态符号及符际间的协同作用，为微课教师提升微课互动性和教学效果提供了一定的借鉴和帮助，也验证了ELAN在分析微课视频中的应用价值。

[关 键 词] 多模态话语；外语微课；人际互动

[中图分类号] G642 [文献标志码] A [文章编号] 2096-0603（2018）22-0022-03

一、引言

多模态话语指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象（张德禄，2010：2）。外语微课指围绕外语学科某一特定主题展开教学的简短视频（马武林，2017：4）。根据朱永生（2007：5）提出的识别多模态话语的两个标准，微课是一种多模态话语资源。首先，微课涉及视觉、听觉等多种模态，学习者需要读屏、听音，甚至跟读或回答、记录内容等；其次，微课同时使用了文字、声音、图像等多种符号系统，而有的图像还会涉及手势语、面部表情和身势语等副语言。Halliday（1994）的系统功能语法是多模态话语分析的理论基础。他认为语言的三大元功能是概念功能、人际功能和语篇功能。Kress & Van Leeuwen（1996）将此功能应用到视觉语篇中，对应为再现功能、互动功能和构图功能。外语微课作为多模态话语资源，可以通过每种模态和符号具有的共用特征，体现出意义潜势，实现这两套理论论证的三大功能。而人际互动功能作为三大元功能之一，维系着教师与学生之间的关系，营造课堂氛围，直接影响学生的学习态度和积极性，对外语微课的教学效果发挥着至关重要的作用。

国内对微课的多模态话语分析主要集中在探索微课各种模态间的关系及视觉模态中图文的符际间性（张青妹，2015；吴婷，2017）。还有的学者通过分析教师多模态微课意义构建意识和能力，探讨通过微课发展学生的多元识读能力（马爱梅，2015；彭圆，2016）。但探索微课三大元功能建构的研究并不多见。微课教师不能直接与学生进行面对面交流，那是通过哪些途径实现人际互动功能的呢？本文将探讨外语微课教师实现微课人际互动意义时调用的模态符号及不同模态符号间的配合，以期对外语微课教学有所启示。

二、理论基础

（一）语言系统中的人际功能

在系统功能语法（Halliday，1994）中，语言的人际功能是讲话者作为参与者的“意义潜势”，是语言的参与功能。讲话者使自己参与到某一情景语境中，来表达他的态度和推断，并试图影响别人的态度和行为（胡壮麟等，2017）。语言的人际功能可以从两方面来考查，即互动和态度。“互动功能”指与会话双方互动有关的语言功能，在语法结构上可由陈述语气、疑问语气和祈使语气等实现；态度方面的功能指对话双方对话语的态度和评价，由情态系统来实现。情态系统值可分为高、中、低三级。（见下表）

另外，人际功能还可以通过语调、称呼语、人称代词以及可以表达说话者态度的动词、名词、形容词和副词等具体词汇来体现。

（二）视觉语法中的互动功能

在视觉语法（Kress & Van Leeuwen，1996）中，与人际功能相对应的是互动功能，形成观看者和图像中的世界之间特定的关系。在实现这种互动意义时，有四个要素：接触、距离、视点和情态。“接触”指图像参与者通过目光的指向与观看者之间建立起来的一种想象中的接触关系。直接看着观看者即接触，是“索取”类图像，表明索取信息或服务。如果参与者不是有生命的人或动物，或目光不指向观看者时，就没有接触，被称为“提供”类图像，表达提供信息或服务的意义。图像通过“距离”，即镜头取景的框架尺寸来反映亲疏关系。以下是一些距离尺寸，亲近距离：只看得见脸或头；个人近距离：头和肩部；个人远距离：腰部以上；社會近距离：整个人；社会远距离：整个人且周围有空间环绕；公共距离：至少四到五个人的躯干。“视点”象征着权势。从垂直角度看，仰视表明图像参与者有权势，俯视表明观看者有权势，平视表明二者平等；从水平角度看，正面是情感上的介入，而侧面是二者的疏远。“情态”指的是“某种图画表达手段”使用的程度，可以从色彩饱和度、区分度、调协度等八个视觉标记反映其高低值。在微课这一语域中，情态可通过视频、文字或图像中的图片、高亮、符号等来表现高低值。

视觉图像还可以通过手势表现互动意义，Norris（2004）认为可供选择的意义潜势有具象性、意象性、指示性和节拍性。具象性手势表达言语中某个具体词或行为的语义；意象性手势表征抽象概念，标示出隐喻源域的手势，如“手指指向前方”隐喻为“未来”等；指示性手势是一种指向某一空间位置的手势，如用手指指向黑板等；节拍性手势指简单的重复性节奏动作，意在对某词或词语进行强调。

根据以上语言模态和视觉模态中体现人际互动意义的特征，可以把各种符号分成31层标注、统计和分析。

三、研究设计

（一）研究对象

研究语料为第三届中国外语微课大赛获奖作品展中一等奖作品《英文转述》，时长6分4秒。教学目标为明确英文转述概念，并让学生通过三个简单明了的步骤进行转述。教学过程包括引入概念、讲解基本方法、找出例句关键词、讲解具体转述方法、复习、强调注意部分等六个步骤。视频中有教师出镜、人物动画、PPT讲解等，涉及语言模态和视觉模态，在实现人际互动功能方面具有典型性和示范性。

（二）研究问题

研究问题包括：微课教师主要借助哪些模态符号构建人际互动意义，语言模态和视觉模态的各符号是如何协同配合构建人际互动意义的。

（三）研究工具

研究工具采用多模态视频分析软件ELAN4.9.4，可以对集语言、声音、动作、图像于一身的视频作同步标注，并且可以自动检索和统计。在安装、注册、激活并运行ELAN软件后，选择文件—新建或打开所要分析的视频。接着选择类型—添加新的语言学类型，本文根据研究需要添加了语言系统和视觉系统。然后选择层—添加新层，本文添加了31层，定义了其语言学类型及输入法。以上类型和层在视频标注阶段也可添加、修改、删除等。视频标注阶段，光标定位在开始标注的位置，点鼠标左键并拖动即可选定标注范围，在对应层点鼠标右键新建标注。可以利用界面中间的工具栏精确标注范围，回退或往前一秒、一帧甚至一像素，也可点击播放选段，重复播放所选的标注范围。而标注内容也可以修改、删除、与前后合并等。标注完成后，点击查看—标注统计即可保存各项统计参数。

四、结果和讨论

（一）外语微课的人际互动意义构建各模态符号分析

目标微课中总计有117句话，其中陈述语句61句，标注时长占60.416%；疑问语气28句，占10.739%；祈使语气28句，占24.523%。教师课堂话语的语气能够直接反映师生互动的效果。结果表明，本微课陈述语气居多，以提供信息为主。但是为了构建人际意义，教师在陈述句后使用了不少如“OK？”“Right？”“Ready？”“What do you think？”等疑问语气来获取反馈，引导学生思考，唤起学生注意，加强师生互动。此外，教师使用了如“Lets…”开头的祈使语气发出活动指令，降低命令语气，号召学生参与的同时，也使师生关系更加轻松融洽，有助于人际意义的构建。

在态度方面，高情态值系统使用14处，占标注时长的13.065%，中情态值8处，占8.297%，低情态值20处，占20.359%。教学中，中低情态值话语更委婉，更有利于构建平等的师生关系。结果表明，目标微课教师在构建情态系统时，为了构建人际意义，更多使用“would， should，be to， can，could”等中低情态动词给出自己的推测、意见和建议，表明教师努力弱化自己的主导地位，让学生感到被尊重，营造一种平等、和谐的微课氛围。

在语调上，主要使用升调，占标记时长61.315%，而降调占34.237%。目标微课教师虽然使用陈述语气居多，但经常使用升调来调动课堂气氛，如开头的“Hello， everyone.”“Welcome to todays lesson”等皆使用升调营造轻松活泼的课堂氛围，拉近与学生的距离。此外，教师在较长的陈述句中停顿时也使用升调，一方面表明句子尚未陈述完整，另一方面引起学生对采用升调的词或升调后的语义群信息的重视。

在人称上，第一人称33处，第二人称26处，第三人称17处。目标微课中，教师使用第一人称最多，以“we”和“us”为主，表明教师在组织课堂活动时与学生一体的整体观念，拉近了与学生的距离。I做主语的句子多为教师发表个人观点，如“I think…”“I know…”。教师使用第二人称的场合多为提问：“Can you…”“Do you…”，推测学生思路如“when you…”“you want…”，或给学生提建议如“you can…”“you are gonna…”等。第二人称的使用在微课语境下使教师能尽可能与学生互动，让学生有参与感，从而实现人际意义。

在目光接触方面，图像参与者与观看者目光接触时长长达59.69%，无目光接触时长为37.142%。目标微课教师自己出镜或者利用类似自己形象的动画人物出镜，以此与学生进行目光接触，属于典型的“索取”类图像。教师虽然不能看到学生，但希望能借此与学生交流，索取关注与反馈，构建互动意义。

在距离上，教师未选择亲近距离或社会距离，以个人距离（39.171%）和公共距离（23.972%）交替出现。教师的这种设计表明与学生不是亲密的私人关系，也不是疏远的社会关系。教师出镜时，学生可以看到教师腰部以上，属于个人距离，可见教师希望与学生之间保持较近的互动关系。代表教师的动画人物出现时，虽然是公共距离，但教师是为了留更多空间突出授课重点。相比单纯的PPT页面，动画人物的出现通过其他要素构建出互动意义。

在视点方面，从垂直角度看，没有俯视视角出现，而平视标记23次，占62.443%，只有一次仰视，占0.688%。这表明教师与学生的互动关系是平等的。从水平角度分析，正面出现27次，占58.587%，侧面出现5次，占4.513%。正面视角为主也表明教师与学生平等的互动关系，是面对面交流，有教师对学生情感上的介入。

在情态方面，教师片头使用非常简短的视频进入微课，而后主要通过文字的高亮、放大、加粗等凸显教学重点，占58.843%；配以图片15.795%和一些符号、形状29.637%，及动态图5.204%。教师使用高情态值的文字、图片、符号等使画面颜色丰富多彩却不杂乱，色彩搭配协调，深浅有致，不仅有助于学生快速把握视觉重点，帮助学生理清知识框架和逻辑思路，而且避免繁冗和视觉疲劳，从而实现可靠、有效的互动意义。

在手势方面，节拍性手势37次，占标记时长24.882%，指示性手势22次，占标记时长16.854%，意象性手势15次，占标记时长6.347%；具象性手势11次，占8.614%。结果显示，节拍性手势是教师最常用的，一般出现在句子实词处，如“same”，“different”，“read”等，这种简单重复有节奏的手势搭配语感，能引导学生区分语义群，关注句子重点。教师使用指示性手势指向黑板或PPT页面，将学生的关注点引向知识点。通过意象性手势，教师表征地出一些抽象概念，如伸手指向前方意为“go beyond”，伸出食指拖走或引进内容等，也可辅助学生理解教师语言；具象性手势使用较少，如摇手表示“dont”，记笔记表示“recap”等，帮助学生理解词汇含义并加深记忆。各种手势的运用加强了师生间交互，完善了互动意义的构建。

（二）外语微课人际互动意义构建模态间符际配合分析

目标微课主要使用了语言系统和视觉系统的各符号进行讲解，涉及听觉模态和视觉模态。听觉模态主要是教师讲解，视觉模态包括图像和文本。

整个微课视频中，教师主要使用四种画面：教师本人形象和教室背景作为图像加文本，教师动画形象和PPT背景作为图像加文本，黑板作为图像加文本，人物照片作为图像加文本。四种画面中，字幕文本、空间距离、目光接触、动作手势等多种符号协同配合，产生和构建最佳的人际互动意义。表2以一个片段为例说明教师是如何协同利用多种模态符号构建人际互动意义的。

示例中，教师以语言系统为主，先使用陈述语气传达知识。陈述中开头的“The meaning”配以动画人物的侧面指示性手势，将学生的关注点引向PPT上的文字，“meaning”一词加粗标蓝，表明是句子重点。接着采用should这一中情态值的情态动词使话语更委婉，弱化自己的主导地位，使学生处于平等和谐的课堂氛围中。而此刻人物转为正面，代表教师与学生进行面对面交流，目光接触使学生感受到教师在向他们索取关注与反馈，鼓励学生积极思考。在讲到“the same”时，教师使用升调，表明句子尚未陈述完，但已完成一个语义，暗示学生继续听。画面上“meaning”一词上方出现绿底高亮的单词“same”，表明英文转述重点是意义相同，同时教师抬起双手向右侧做出节拍性手势，也配合强调“same”一词。在讲到“different”时，画面上“words”一词上方同样出现绿底高亮的词，为“different”，与前面作出对比，表明英文转述的另一重点是单词不同，同时教师向左侧作出节拍性手势配合强调“different”，与前半句作出对比。陈述完后教师使用疑问语气“OK？”确认学生注意到本句重点，并寻求认同与反馈，好像在做面对面交流。整个过程人物动画处于画面左侧，与学生為公共距离，在起到互动交流作用的同时，主要引导学生将关注点放在PPT文本上。这段示例表明，在微课教学中，语言系统各符号和视觉系统各符号既可独立实现人际功能，传达和增强互动意义，也可互补接力，不同符号实现不同的功能。多种模态符号协同作用，有助于构建更加完善有效的人际互动意义。

五、結束语

外语微课视频作为一种多模态话语资源，通过多种模态和符号系统生成和构建三大功能。在实现人际互动意义时，教师充分利用各种符号系统特点以取得良好的互动效果，如调用语言系统中的疑问语气和祈使语气、中低情态值情态系统、升调、第一人称和第二人称；调用视觉系统中的目光接触、个人距离、正面平视、各种手势、高情态文字、符号和图片等。听觉模态和视觉模态既独立构建意义，也相互依赖配合，协同构建有效的人际互动功能。文章从实践上分析了构建三大功能意义时调用多模态符号系统的可行性，对提升人际互动效果和教学效果具有启发意义。还借助ELAN视频分析软件使多模态话语分析更加客观便利，验证了其在微课研究中的应用价值。

参考文献：

[1]张德禄，王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊，2010（2）：97-102.

[2]马武林，何静静.优秀外语微课特征分析：以中国外语微课大赛一等奖作品为例[J].外语电化教学，2017（4）：22-26.

[3]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007（5）：82-86.

[4]Halliday， M.A.K. An Introduction to Functional Grammar [M]. London： Arnold，1994.

[5]Kress.G.R， T. van Leeuwen. Reading Images： The Grammar of Visual Design [M]. London： Routledge， 1996.

[6]张青妹.多模态微课的符号间关系与意义共建[J].现代教育技术，2015（9）：65-69.

[7]吴婷.外语微课的多模态话语符际间性研究：以两则微课大赛视频为例[J].外语教学理论与实践，2017（1）：72-77.

[8]马爱梅.多模态话语分析下大学英语微课教学的实践探索[J].湖南科技学院学报，2015（12）：188-191.

[9]彭圆.外语教师多元识读教学能力初探：以外语微课教学为例[J].外国语言文学，2016（3）：200-207.

[10]胡壮麟，朱永生，张德禄，等.系统功能语言学概论（第三版）[M].北京：北京大学出版社，2017.

[11]Norris.S.Analyzing Multimodal Interaction： A Methodolog-ical Framework [M]. London： Routledge，2004.