从言谈应对到言身应对

刘凯

摘    要： 本文回顾了国外会话分析的多模态研究发展过程;指出了多模态序列组织是多模态交际的核心原则，并探索了多模态投射发生的心理学基础，认为言身应对中的前件、后件行为的关系主要体现为准备性，而不是简单体现为时间上的先后序列关系。指出多模态交际的转写本身就是研究过程，运用多模态语料库分析是一种较为客观的描写方法。本文总结了会话分析视角在多模态研究中的优势并做出了展望。

关键词： 会话分析    多模态    序列    言身    语料库

引言

自二十世纪九十年代以来，多模态研究逐渐成为社会科学领域和语言学研究的热点之一。人们从多个领域对多模态现象进行了深入研究，取得了丰硕成果。本研究认为，从多角度、全方位考察多模态现象，才有可能发现各种非语言模态的表意规律及交际行为模式的特点。由于（具身）交际行为涉及个体的行为、动作，因此多模态研究中必然需要对个体的言语与行为进行社会学研究。然而，与国外相比，国内现有多模态研究却鲜有对自然状态下的真实言语及交际行为进行系统研究：研究者们倾向于人为设定语料，因此这些语料（语言、非语言文本）要么过于“理想化”，只反映人们交际中的极端情况，要么是从实验中收集的数据无法避免变量的影响（于国栋，2017）。会话分析（conversational analysis， 以下简称CA）的多模态交际研究恰恰就是基于真实的日常语料，对采集的语料予以转写，揭示交际中言语及具身行为的内在秩序与规律。本文从CA视角出发，根据已有研究，对自然状态下的多模态具身交际行为进行一般理论阐述，对目前国内为数不多的会话视角的多模态研究进行简单梳理，对未来该领域的生长点进行初步探讨。

1.研究现状

1.1多模态研究的常见视角

目前，国内外多模态研究的流派和方法众多，总的来看，主要研究视角（或路径）包括社会功能视角、认知理论视角及语料库语言学视角（冯德正，张德禄，Kay OHalloran， 2014）。由于国外CA研究的社会学渊源，研究者们一开始就注意到将非语言模态纳入研究范围（郭恩华，张德禄，2017）。国内研究者们紧跟前沿动态，一般从功能、认知和语料库等角度入手，但目前将CA作为一种新的视角研究多模态交际的情况尚不多见，主要有郭恩华、张德禄（2017）及郭恩华（2018）、靳晟（2017）三篇与此相关的文献。国内相关研究偏少，可以在这个方面做出更多探索。

1.2 CA领域多模态交际研究的发展过程

CA领域将模态视为一种社会行为资源。CA领域的多模态交际研究始于二十世纪六七十年代，与CA的诞生同步。在CA诞生之初，人们开始认识到只关注语言模态势必会遗漏其他很多重要的投射资源及其意义，因此，非语言交际一开始就伴随着语言交际一起被纳入CA研究范围内。当时人们利用录音、录像设备对自然状态下人们的日常交际行为进行转写、分析，试图发现人类（言语交际与具身行为）交际行为规律与模式，并揭示这些规律和模式背后的社会秩序。“会话分析研究基于的是言谈应对（talk-in-interaction） ，而不仅仅是语言”（于国栋，2017）。此外，CA强调以自然发生的真实交际活动作为语料，“任何基于想象、实验、回忆及观察的语料都被CA所排斥”（郭恩华，张德禄，2017）。这个阶段可以粗略地看成CA的多模态起始阶段。进入二十一世纪后，由于计算机等相关技術大规模应用，很多其他社会科学领域的多模态研究日益成为热点，此时CA的研究者则更加重视多模态交际研究特别是对具身交际行为的分析。表现在人们“开始系统地考察非语言模态在自然交际中的组织程序;研究对象从言谈应对拓展为言身应对（talk-and-body-in-interaction）”（郭恩华，张德禄，2017）。虽然前一阶段对具身行为也有所涉及，但并未形成主流，在CA多模态研究形成潮流的阶段，人们更加关注具身模态，更注重对具身行为刻录视频的研究。

2.多模态投射的语境依赖性及其心理学基础

“投射”关注的是话轮、话轮构建单元前件行为等如何预示、暗指或映射可能的后件行为，有时指对他人行为的后续干预以规避某些投射的可能（Schegloff， 1984：267）。由于多模态投射关涉具身行为，因此必须考虑具身行为的前、后件行为之间的相关性。那么，人类互动时个体之间的具身互动是如何产生的呢？现代心理学研究认为，人类大脑皮层中的一种特殊的感觉—运动神经元，即镜像神经元（mirror neurons，简称MN），（它能）将他人的动作与个体自身的运动系统相匹配，以自身动作的神经环路对他人的动作做出回应，促进了人际沟通与理解，因而成为社会沟通的“神经桥梁”（叶浩生，2016）。MN最典型特征是在“动作理解”与“动作执行”时都被激活。当观察到他人做出某一具身行为时，个体的神经环路被激活，MN产生了具身模拟，使个体能够理解他人动作意图并由此做出相应的回应。例如，手术中的主刀医生只需伸出手掌，助理医师就能理解其意图并作出正确的回应——递上其所需器械、物品，这种默契无疑是建立在对医生动作意图及手术流程理解基础上的。SFL认为，不考虑情景语境的表述是无意义的，又认为语义是语言与社会语境或情景的交叉（胡壮麟，朱永生等。2017）。可以说，以上“模态”只有置于特定语境之中才能解释交际行为的意义。再例如，篮球比赛中的运动员传球时需要队友的配合，往往将目光投向篮板而无须任何言语便能使队友瞬间领会自己传球的意图。“目光投向篮板”这一具身行为只有在篮球竞技中具有独特意义，为同伴所识解。这种互动的默契体现了具身动作的前瞻性（forward-looking），本质是在特定语境下互动之间行为的准备性，这种“特定语境”就是前件行为对后件行为的一种投射关系。CA视角的多模态研究的特点之一，是将话语考察置于动态的互动秩序之中，进而发现互动的规律。这些回应其实就是“多模态投射”。由此可见，人类互动时的多模态投射有深刻的心理学根源。

3.CA多模態研究的基本原则——序列组织

在纯会话分析中，序列组织是言谈应对的基本组织方法，与话轮转换强调简单的时间先后顺序不同，前者侧重于先后序列的相关性，即序列的“链条”呈现某种因果联系。在这种因果关系中，有一个重要概念是“毗邻对”，被Schegloff等人视作序列组织的基本形式（1973）。毗邻对本质上是一种规约性结构，包括前件和后件，如教师的提问与学生根据提问做出的回答。尽管人们最初提出“毗邻对”主要用于分析会话（Schegloff & Sacks， 1973），但其应用范围并不限于话轮组织（Heritage，1989），还可以用来分析多模态交际行为（或称“毗邻行为”）。例如，母亲发话要求孩子把盐递过来，孩子往往无需作答，只需做出相应身体动作——把盐递给母亲即可。这种一一对应的言谈或言身应对行为，构建的就是一个最基本的序列组织—毗邻对，也是CA多模态研究的基本原则。

4.CA多模态研究在话语分析中的优势及存在的问题

CA多模态研究实际上是微观社会学与语言学特别是多模态研究的深度融合。首先，CA强调对大量真实的日常语言交际行为的细节转写。CA不仅关注语言，还重视语言交际现象细节，特别是人们日常鲜活的言谈与言身应对。Moore指出，CA中的所有“可被感知和观察到的语言与非语言细节都是值得被记录和分析的，如笑声、呼吸气、语速、停顿、音高等”。研究者要对这些大量真实的日常语料进行处理（转写），特别是对序列呈现出来的所有细节进行全面描写，而不是先入为主地将研究者的主观观念或其他社会因素代入其中，恰恰符合语料库驱动的原则，即自下而上的归纳法。根据语料库思想对大量真实的日常语料进行处理才有可能发现某些交际规律，这表明起源于社会学的CA由于天然地需要研究大量真实的语料，因而能够得到语言学特别是语料库语言学的滋养。语料库的出现，特别是多模态语料库的逐步应用有可能为论证某一微观社会学问题提供客观依据。可见，CA多模态互动研究是社会学与语言学特别是与语料库语言学的深度融合。

目前一个较为明显的问题是，纯粹会话分析的话轮在时间上的序列性几乎是唯一维度，CA多模态互动交际不但体现时间上的序列性，而且呈现空间上的共时性，因此在研究后者互补的各种模态资源共时构建（具身）交际行为时，发现它们并“不是同步地占据交际序列组织中的某一个位置”（郭恩华，2017）。这就意味着在对具身交际行为进行交际序列切分时，很难为不同的参与者的交际行为找到合适的起始点（Depperman，2013），这种因共时性带来的切分难题在日常多模态互动交际行为中几乎无处不在。关于这一问题，国外学者Goodwin提出了“具身参与框架”理论，取得了较大进展，但目前国内关于这一点的研究较少，有待进一步关注。

此外，由于多模态具身行为涉及参与者有社会意义的动作与行为，必须从源头上对言身应对的发生机制进一步探讨，特别是镜像神经元与具身动作之间的逻辑关系做深入研究。例如，根据Shegloff（1968）提出的投射所遵循的互动基本原则——条件相关性有时存在“显性缺失”，应该从镜像神经元理论角度如何解释？这一问题有待多模态研究进一步关注行为心理学、语言学的交叉与融合。

结语

本文介绍了CA多模态互动研究的一般发展历程：会话分析从诞生之初就一直关注非语言交际行为，随着研究的不断深入，新的研究理论和方法不断出现，人们对序列组织与序列分析中的焦点逐渐从言谈应对转变为言身应对。特别是随着语料库技术的不断成熟与应用，人们根据其提供的大量多模态资源，对CA多模态互动研究分析某一微观社会行为，往往可能得出较为客观的结论。本文也提到了在言身应对中具身活动与多模态投射的心理学基础，还分析了CA多模态互动研究目前存在的具身交际行为的共时性问题。由于国内在这方面的研究涉及甚少，我们应该基于问题，寻找可能的学科交叉点，有可能为未来的进一步研究提供某些生长空间。

参考文献：

[1]Depperman  A.. Introduction：Multimodal Interaction From a Conversation Analytic Perspective[J]. Journal of Pragmatics， 2013（46）：1-7.

[2]Goodwin， C.. Action and Embodiment within Situated Human Interaction[J]. Journal of Pragmatics， 2000（32）：1489-1522.

[3]Heritage J.. Current Developments in Conversation Analysis[J]. In Roger D. & Peter B. （Eds）. Conversation： An Interdisciplinary Perspective[C]. Clevedon， Philadelphia：Muitilingual Matters， Ltd.， 1989：21-47.

[4]Mondada， L.. Challenges of Multimodality： Language and the Body in Social Interaction[J]. Journal of Sociolinguistics， 2016，20（3）：336-366.

[5]Moore， R. J.. Automated Transcription and Conversation Analysis[J]. Research on Language and Social Interaction， 2015， 48（3）：253-270.

[6]Schegloff， E. A.. On Some Gestures Relation to Talk[A]. In J. M. Atkinson&J. Heritage（Eds.）， Structures of Social Action. Cambridge， England： Cambridge University Press， 1984：266-295.

[7]Sacks， H. E. Schegloff & G. Jefferson. A Simplest Systemics for the Organization of Turning-Taking for Conversation [J]. Language， 1974， 50（4）： 696-735.

[8]Streeck， J. & Scott Jordan， J.. Projection and Anticipation： The Forward-Looking Nature of Embodied Communication[J]. Discourse Processes， 2009（46）（2-3）：93-102.

[9]Streeck， J.. Forward-Gesturing [J]. Discourse Processes， 2009（46）：161-179.

[10]Streeck， J.. On Projection [C]// E. Goody. Social Intelligence and Interaction. Cambridge：Cambridge University Press， 1995：87-110.

[11]馮德正，张德禄，Kay OHalloran.多模态语篇分析的进展与前沿[J].当代语言学，2014（1）：88-99.

[12]郭恩华.多模态投射的社会行为基础——以儿童牙科医患互动为例[J].解放军外国语学院学报，2018（2）：26-34.

[13]郭恩华，张德禄.基于会话分析的多模态交际研究探索——论序列分析在CA多模态交际研究中的应用[J].北京第二外国语学院学报，2017（3）：31-45.

[14]胡壮麟，朱永生，等.系统功能语言学概论[M].北京：北京大学出版社，2017：19-20.

[15]靳晟.会话分析视角下的多模态协同研究[J].中国外语，2017（6）：35-42.

[16]梁茂成.什么是语料库语言学[M].上海：上海外语教育出版社，2016：33-34.

[17]李战子，陆丹云.多模态符号学：理论基础、研究途径与发展前景[J].外语研究，2012（2）：1-8.

[18]吴亚欣，于国栋.为会话分析正名[J].山西大学学报（哲学社会科学版），2017（1）：85-90.

[19]辛志英.话语分析的新发展——多模态话语分析[J].社会科学辑刊，2008（2）：208-211.

[20]叶浩生.“具身”涵义的理论辨析[J].心理学报，2014（7）：1032-1042.

[21]叶浩生.镜像神经元：认知具身性的神经生物学证据[J].心理学探新，2012（1）：3-7.

[22]叶浩生.镜像神经元的意义[J].心理学报，2016（4）：444-456.

[23]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊，2007（5）：82-86.

[24]曾小荣.会话分析研究的历史与现状[J].黄冈师范学院学报，2014（5）：117-120.