道德概念的空间形象性：语言因素和具身因素的共同作用*

王汉林 蒋泽亮 冯晓慧 鲁忠义

道德概念的空间形象性：语言因素和具身因素的共同作用

王汉林 蒋泽亮 冯晓慧 鲁忠义

(河北师范大学教育学院, 石家庄 050024)

采用事件相关电位(ERP)技术探讨抽象道德概念的空间形象性效应, 以及语言因素和具身因素对该效应的影响机制及其加工进程。实验1检验词对空间位置对道德词对语义判断(反义程度)所产生的影响, 结果表明不符合空间形象性呈现条件(即道德−下, 不道德−上)诱发了较大的N400, 并且词对语义判断的反应时较长; 实验2检验词对语义的反义程度对道德词对空间形象性判断所产生的影响, 结果表明语义无关词对诱发了较大的N200和N700, 并且词对空间形象性判断的反应时较长。研究结果表明, 抽象道德概念的加工能够表现出空间形象性效应, 该效应由语言因素和具身因素共同塑造, 前者在概念加工过程中优先被激活并发挥持久影响, 后者仅在概念加工的中期发挥作用。

道德概念; 空间形象性; 具身认知; 语言符号; 垂直空间隐喻

1 引言

第二代认知科学认为, 人们对知识概念的建构来源于身体与环境的互动, 因此, 在理解和表征概念的过程中, 人们总会利用那些与概念存在知觉联系的环境信息, 而这其中, 最常用到的便是空间信息。目前已有许多研究表明空间信息对概念的加工过程产生了重要的影响。例如Zwaan和Yaxley (2003)的研究发现, 当被试对一些描述具体概念的词对进行语义相关性的判断时, 词对呈现的空间位置会显著影响被试的判断：当词对以垂直空间方位呈现时, 被试对与现实空间位置相一致的词对(如“天空”呈现在上, “大地”呈现在下)的判断速度要显著快于不一致呈现条件(如“大地”在上, “天空”在下); 而当词对以水平空间方位呈现时, 这种空间位置的影响就会消失。这种现象就是具体概念的“空间形象性”效应(spatial iconicity)。

围绕空间形象性效应, 不同的理论从不同的角度做出了自己的解释。具身认知观认为, 这种效应反映了一种自动化的知觉模拟过程。根据该理论, 对信息意义的建构与理解依赖于对信息的知觉模拟, 因而在被试加工具体概念词对时, 会自动地激活并模拟这些概念在现实中的空间位置, 即具身信息(或称“知觉符号”)。若词对呈现的空间位置与现实经验相反, 与被试的知觉模拟相冲突, 则会导致判断反应时延长, 表现出空间形象性效应(Estes, Verges, & Barsalou, 2008; Zwaan & Yaxley, 2003)。另一派语言符号观(Symbolic theory), 也称命题符号观或非模态理论则认为, 语言的使用过程形成了词与词之间的联结关系, 从而组成概念网络(Lund & Burgess, 1996; Markman & Dietrich, 2000)。而词对的空间形象性效应更可能是由两类词在概念网络中的语言关系导致的, 例如词序频率(word-order frequency, 即两词在语言使用过程中出现的先后顺序的频率)关系。在人们的语言经验中, 空间一致词对的出现顺序(例如“天空−大地”)比不一致词对的出现顺序(例如“大地−天空”)更为常见, 这种词序频率的差异导致了被试对前者的判断快于后者, 因此空间形象性效应还可以由语言统计因素解释, 换句话说, 语言本身编码了知觉信息(Louwerse, 2008)。

以上观点分别利用两种不同的因素(具身或语言因素)对概念的空间形象性效应进行了解释, 而有研究却认为, 概念意义的形成并不是由单一因素所决定, 而是涉及多种编码类型的信息, 有些带有知觉特征(如具身的, 模态的), 有些带有非知觉特征(如语言符号的, 非模态的) (Barsalou, Santos, Simmons, & Wilson, 2008; Dove, 2009, 2010)。在此基础上, 进一步有研究提出符号共存假设(Symbol interdependency hypothesis)来对空间形象性效应进行解释, 认为在概念词对的加工过程中, 具身和语言符号的信息都可能被激活, 而二者是否发挥作用则取决于任务要求及实验材料的特性(Tse, Kurby, Du, 2010; Louwerse & Connell, 2011; Louwerse, 何先友, 邓玉梅, 赵雪汝, 薛颖, 2017)。例如对于垂直空间呈现的具体词对, 在语义关系判断任务中(如判断两个词是否语义相关), 词汇间的词序频率(语言符号信息)会发挥作用; 而在空间形象性判断任务中(即判断词对空间位置是否与现实经验相一致), 词对呈现的空间位置(具身信息)则发挥作用(Louwerse & Hutchinson, 2012)。相似地, 对呈现在垂直空间位置的两个具体概念进行语义关系判断时, 如果概念以词汇形式呈现, 则两词的词序频率对分类正确率和反应时的影响更大, 而如果概念以图片形式呈现, 则两张图片呈现的空间位置对任务的影响更大(Louwerse & Jeuniaux, 2010)。这些研究均表明, 具身因素和语言因素在概念的空间形象性效应中所起的作用, 依实验任务和材料特点的不同而不同。当实验任务关注概念的语言特征时, 则语言符号信息对概念的加工发挥了主要作用, 而当任务关注概念的知觉特征时, 则具身信息发挥了主要作用。

从已有的研究看, 关于空间形象性的不同观点均是根据具体概念的研究而提出来的。一些研究表明, 由于具体概念有现实的对应物提供感知经验, 因而更易被知觉模拟或形成视觉化意象(Binder, Westbury, Mckiernan, Possing, & Medler, 2005; Holcomb, Kounios, Anderson, & West, 1999; Laszlo &Federmeier, 2011; Wang, Conder, Blitzer, & Shinkareva, 2010), 与其不同的是, 抽象概念在日常生活中并没有对应的实物做参考, 因而不存在其与空间位置的直接经验。然而大量研究却又表明诸如情绪、权力、道德等抽象概念的加工同样涉及空间(特别是垂直空间)的激活, 而这种激活往往是通过隐喻的映射作用实现的(Meier, Hauser, Robinson, Friesen, & Schjeldahl, 2007; Schubert, 2005; Stefanucci & Storbeck, 2009)。通过隐喻的映射, 作为目标域的抽象概念同作为始源域的空间位置概念之间形成了间接的联系, 使抽象概念表现出一种具身性, 并可实现知觉模拟(Lakoff & Johnson, 1980, 1999)。由此引出一个问题：如果生活中的直接经验形成了具体概念之间的空间形象性的表征关系, 那么通过隐喻的间接联系是否也能使抽象概念之间表现出相似的空间形象性关系？这是本研究关心的第一个问题。

本研究关心的第二个问题是, 具身因素和语言因素是否共同影响了抽象概念的空间形象性？符号共存假设对空间形象性的解释承认了具身和语言的“共存”性, 是个进步。但是在其作用上, 它却认为两种符号的作用是“分离”的, 忽略了它们的“交互”作用。因此本研究提出的问题是：概念加工中, 具身因素和语言因素的作用是分离的还是交互的？具体说来, 对概念间的语义关系的判断(关注语言符号信息的加工)是否会受到概念具身特征(如概念呈现的空间位置)的影响; 而对概念的空间形象性的判断(关注具身信息的加工)又是否会受到其语义特征的影响？本研究试图回答这个以往研究尚无明确解释的问题。

由第二个问题引申出来的第三个问题是：如果抽象概念的空间形象性是在具身因素和语言因素的共同作用下产生的, 那么在产生过程中, 这两类因素作用的时间进程是否存在差异？已有研究的结果并不一致, 例如王瑞明、莫雷、李利、王穗苹和吴俊(2005)的研究认为知觉符号表征是概念表征的一种早期状态, 而概念表征的最终形式主要是命题符号表征, 因此在概念表征进程中, 具身因素先于语言因素发挥了作用。相似地, Hirschfeld, Zwitserlood和Dobel (2011)的脑磁图研究结果也表明, 概念表征的早期是对具身因素进行加工, 而晚期则主要是对语言因素加工。而Louwerse和Hutchinson (2012)通过EEG技术及溯源分析发现具体概念词对的空间形象性效应涉及大脑语言和视知觉区域的激活, 并且在激活时间上前者(97~291 ms)早于后者(1551~1744 ms), 表明语言符号信息的加工要先于具身信息。以上研究虽支持两种符号在概念加工中的共存, 但对于两者发挥作用的时间进程却没有统一结论, 因此在探讨具身因素和语言因素共同作用的基础上, 本研究试图进一步分析比较两者对空间形象性效应影响时程的差异。

简言之, 本研究旨在探讨三个问题：(1)抽象概念的加工是否也会表现出空间形象性效应; (2)具身因素和语言因素是否共同影响了抽象概念的空间形象性; (3)具身因素和语言因素对抽象概念空间形象性的影响时程是否存在差异？为回答上述问题, 本研究选用抽象道德词汇作为实验材料, 而道德概念与垂直空间(“上”和“下”)构成道德概念垂直空间隐喻。在此基础上, 设计两类道德词对的加工任务, 即词对的语义关系判断任务(涉及语言符号信息的加工)和空间形象性判断任务(涉及具身信息的加工)。本研究关注具身因素和语言因素是否共同影响了语义关系判断和空间形象性判断过程。通过这种方式, 探讨一种因素是否影响了另一因素所主导任务的加工过程, 从而检验具身因素和语言因素对空间形象性的共同作用。本研究采用一种新的方式对语言因素进行操纵, 即词对的反义程度。据此设置语义相反(即道德反义词对)、语义无关(即并不构成反义关系的“道德−不道德”词对)的道德词对(具体含义见“实验材料”部分)。由于语义相反的词对较语义无关词对的语义连接更为紧密, 因此作为一种词与词之间的语义联系特性, 反义程度同词序频率类似, 同样可以表示语言因素。

本研究采用ERP技术考察具身因素和语言因素对抽象概念加工的影响时程。重点关注语义关系判断和空间形象性判断任务中道德词对所诱发的N200、N400以及N700三个成分。N200成分与冲突识别相关(Folstein & van Petten, 2008; Patel & Azzam, 2005), 同时其时间窗与Louwerse和Hutchinson (2012)在空间形象性研究中所发现的语言区域的激活时间相近。N400涉及语义加工的难度, 当出现语义违背现象时将会诱发更大的N400 (Hubbard, Magne, & Langston, 2014; Kutas & Federmeier, 2011)。N700则与想象过程(imagery)相关, 一些研究发现, 当实验任务或材料涉及更大的想象活动时, 会诱发更大N700 (Gullick, Mitra, & Coch, 2013; Malhi & Buchanan, 2018; West & Holcomb, 2000)。

综上所述, 本研究利用行为和脑电技术, 通过操纵词对呈现的空间位置以及词对之间的语义反义程度, 分别考察具身因素(实验1)和语言因素(实验2)对抽象道德概念加工所产生的影响, 进而对抽象概念的空间形象性效应进行检验。

2 实验1：空间位置对道德词对的语义关系判断的影响

2.1 实验目的

实验1考察道德词对的空间呈现位置对词对语义关系判断的影响, 探讨具身因素是否参与了抽象概念的语义加工, 使其表现出空间形象性效应。实验假设是当词对呈现位置与道德垂直空间隐喻映射位置相反时(即道德−下, 不道德−上), 被试对词对的反义关系判断将受到阻碍, 表现为比一致条件下更长的反应时间, 同时诱发更大的N400成分。

2.2 被试

根据Cohen (2013)的研究, 理想的统计检验力和效应量均需高于0.8。使用GPower软件(http: //www.gpower.hhu.de/)计算统计检验力和效应量均为0.8所对应的被试量为15人。在此基础上参考与本研究相关的脑电研究样本量(Hubbard et al., 2014; Louwerse & Hutchinson, 2012), 最终确定计划样本量为30人(实验2被试量的确定依据与此相同)。据此选取某高校在校大学生30人进行脑电实验, 其中4人由于实验过程中出现过多头动等问题, 导致伪迹较多, 予以剔除, 最后选取26人的行为及脑电数据进行分析(其中男生7人), 平均年龄23.8岁。

2.3 实验材料

本研究共用到5类词对, 分别为按空间形象性位置呈现(道德词在上, 不道德词在下)的语义相反道德词对和语义无关道德词对, 呈现位置相反(道德词在下, 不道德词在上)的语义相反道德词对和语义无关道德词对, 以及效价一致的词对(即积极−积极词对和消极−消极词对)。其中前4类用于实验1, 实验2使用了全部5类词对。词对的制作包括三个步骤：(1)首先由50名大学生评定出若干道德、不道德双字词, 所有词均不包含垂直空间方位的字眼; (2)通过网络词库查询两类词汇(道德词和不道德词)的反义词, 组成语义相反道德词对, 将部分词对打乱组合, 形成语义无关道德词对(例如“忠厚−懒散”); (3)将以上两种不同反义程度的词对与效价一致的词对混合, 再次选取25名大学生对各词对的反义程度进行1到7点(1代表完全无反义、7代表完全反义)的评分, 最终选取反义评分较高(作为语义相反)和较低(作为语义无关)的道德词对以及相同效价词对若干组成实验材料。

实验1从以上词单中选取部分语义相反和语义无关道德词对, 按与空间形象性相符和冲突的方式组成实验材料, 其中包括按空间形象性位置呈现的语义相反道德词对(如廉洁−贪污)50对(反义程度 ± 标准误：5.25 ± 0.20, 下同), 语义无关道德词对(如信任−邪恶)50对(2.99 ± 0.21); 与空间形象性相反位置呈现的语义相反道德词对(如恶毒−善良)50对(5.19 ± 0.18), 语义无关道德词对(如软弱−慈爱)50对(2.98 ± 0.22)。在本实验任务中, 被试需对语义相反词对做“是”判断, 对语义无关词对做“否”判断, 而材料评定以及正式实验结果均表明, 语义相反和语义无关道德词对能被明显区分。此外参考以往研究, 本实验主要关注语义相反词对在符合或不符合空间形象性呈现的两个条件下的反应时差异, 而做“否”判断的语义无关词对在本实验中仅作为填充材料, 不做进一步分析。

2.4 实验设计和程序

采用单因素两水平组内设计, 自变量为语义相反词对的呈现方式, 分符合与不符合空间形象性呈现两个水平。实验程序：被试坐在电脑前, 距屏幕约55 cm, 首先在屏幕中呈现中央注视点及上下两个文本框组成的图像, 上下文本框与被试构成的视角约1.5度。预实验表明, 此视角下被试能在紧盯中央注视点的情况下, 用余光清晰识别上下文本框内的信息。实验要求被试始终注视中央点的位置。800~1200 ms的随机时间后, 在上下两个文本框中出现道德词对(随机呈现上述4类实验材料), 呈现时间为1000 ms。接下来中央注视点处变成“请判断”字样, 要求被试此时迅速判断“词对是否属于同类道德概念的相反两极”, 如果是按“F”键, 不是按“J”键。被试按键判断后进入下一个试次。

正式实验前会先让被试进行若干试次练习(练习材料与正式材料不同), 使被试熟悉实验流程, 掌握判断标准, 并能严格遵守实验要求(即始终注视中央点, 用余光识别并判断上下位置词), 实验流程见图1。

脑电记录

采用NeuroScan 4.5软件进行脑电数据收集和分析。使用国际10~20系统扩展的64导电极帽, 将参考电极安置于左侧乳突, 离线分析时转换为双侧乳突平均值作参考。同时记录水平眼电(HEOG)和垂直眼电(VEOG)。采样频率为1000 Hz, 被试头皮阻抗均小于5 kΩ, 在线滤波带通为0.05~100 Hz, 并在离线分析时再次进行30 Hz (24 dB/oct slope)的无相移低通滤波。对数据进行离线分析, 矫正眼电伪迹。ERP分析时程为词对呈现前200 ms (作为基线)到呈现后1000 ms, 排除错误反应分段以及波幅在±75 μV以外的伪迹信号(实验1和实验2中分别有16%、12%的分段因此被排除)。通过平均波幅的测量方法测定各实验条件下的N200成分(时间窗120~200 ms)、N400成分(时间窗300~500 ms)和N700成分(时间窗600~800 ms)。

图1 实验1流程图

对实验1中做出正确判断的语义相反词对所诱发的三个成分进行2(呈现方式：符合/不符合空间形象) × 7(电极区域)因素重复测量方差分析。划定的7个电极区域分别为：前额区(F5、F3、F1、FZ、F2、F4、F6)、前额−中央区(FC5、FC3、FC1、FCZ、FC2、FC4、FC6)、中央区(C5、C3、C1、CZ、C2、C4、C6)、中央−顶区(CP5、CP3、CP1、CPZ、CP2、CP4、CP6)、顶区(P5、P3、P1、PZ、P2、P4、P6)、顶−枕区(PO5、PO3、POZ、PO4、PO6)、枕区(O1、OZ、O2)。将每个区域内记录电极的数据进行平均。当球形假设不成立时, 采用Greenhouse-Geisser法校正值。

2.5 实验结果分析

2.5.1 行为结果

删除错误反应及反应时在±3个标准差以外的极端数据(占总数据的14%), 对语义相反道德词对在不同空间呈现位置条件下的判断反应时进行配对样本检验, 结果表明, 当语义相反词对呈现位置与隐喻相一致时的反应时(677 ± 61 ms, 平均数 ± 标准误, 下同)显著快于相冲突的反应时(721 ± 63 ms),(25) = −2.77,= 0.010, 95% CI [−76.44, −11.25],= −0.14。

2.5.2 脑电结果

对语义相反道德词对所诱发的N200、N400、N700进行2(呈现方式：符合/不符合空间形象) × 7(电极位置)重复测量方差分析。本实验主要关注呈现方式的主效应, 以及呈现方式和电极位置的交互作用。结果表明, 三个ERP成分上的两因素交互作用均不显著。而对于呈现方式的主效应, 仅在N400成分上达到显著水平,(1, 25) = 5.19,= 0.032, 95% CI [0.04, 0.86], η= 0.17, 与空间形象性相冲突的呈现条件所诱发的N400 (−0.45 ± 0.54 μV)显著大于相一致的条件所诱发的N400 (0.002 ± 0.47 μV)。实验1中三个ERP成分的方差分析结果和脑电图见表1和图2。

2.6 讨论

实验1通过操纵词对呈现的空间位置来探讨具身因素对抽象道德概念的语义加工所产生的影响。脑电结果表明, 相比一致条件(道德−上、不道德−下), 当词对呈现位置与其空间形象相冲突时(即道德−下、不道德−上)诱发了更大的N400成分, 而其他ERP成分则没有显著差异。这表明被试对道德词对进行语义判断的过程中, 会自动地对词对进行知觉模拟。虽然抽象道德概念不像具体概念那样可以借助现实对象进行直接模拟, 但其可通过隐喻的作用, 实现由空间位置到语义的映射。因此, 在冲突位置条件下, 词对的空间知觉模拟与词对的呈现位置不一致, 表现出一种语义违背现象, 这就加大了被试对词对进行语义判断的难度, 诱发了更大的N400成分, 也减慢了词对的语义判断速度。

表1 语义相反道德词对所诱发的三个ERP成分的方差分析

注：n.s.代表> 0.05, 下同

图2 语义相反道德词对在两种呈现方式下所诱发的ERPs。时间窗为：红色区域N200, 蓝色区域N400, 绿色区域N700。

实验1的结果表明对词对的语义加工涉及到了词对的空间知觉模拟, 词对呈现的空间位置影响了被试进行语义判断过程中的神经活动和判断的速度。然而,是否同空间位置影响语义判断一样, 语言符号也影响空间位置的形象性判断呢？实验2使用与实验1相似的实验材料, 只是将实验任务换为对词对呈现的空间位置进行空间形象性判断, 以考察词对的语言因素对空间形象性判断所产生的影响。

3 实验2：语义反义程度对道德词对的空间形象性判断的影响

3.1 实验目的

实验2考察语义反义程度对道德词对空间位置判断的影响, 探讨语言因素是否参与了抽象概念空间形象性的表征过程。

实验假设是：(1)在空间形象性判断任务中(“判断词对呈现的空间位置与心中所想是否一致”), 相较于语义相反词对, 语义无关词对的空间形象性判断更为困难, 表现为后者的判断反应时延长; (2)语言因素对空间形象性的影响要早于具身因素, 因而在空间形象性判断过程中, 语义无关词对比语义相反词对会诱发更大的N200成分; (3)由于空间形象性判断任务需要被试想象词对应处的垂直空间位置, 因而反义程度也将影响被试的空间想象过程, 语义无关词对的空间想象更难, 因而将诱发更大的N700成分。

3.2 被试

选取某高校在校大学生30人进行脑电实验, 其中3人由于实验过程中出现过多头动等问题, 导致伪迹较多, 予以剔除, 最后选取27人的行为及脑电数据进行分析(其中男生9人), 平均年龄23.7岁。

3.3 实验材料

实验2共用到5类词对, 包括应做“是”反应的两类词对：即符合空间形象性呈现的语义相反道德词对50对(反义程度 ± 标准误：5.48 ± 0.14, 下同), 语义无关道德词对50对(2.82 ± 0.19); 应做“否”反应的三类词对：即不符合空间形象性呈现的语义相反道德词对15对(5.50 ± 0.16), 语义无关道德词对15对(2.75 ± 0.19), 效价相同词对70对(如：欢乐−生动; 2.10 ± 0.18)。此外, 本实验主要关注当词对符合空间形象呈现(应做“是”判断)时, 词对的语义反义程度对空间形象性判断所产生的影响, 而不符合空间形象性呈现的词对(应做“否”判断)仅作为填充材料, 不做进一步分析。

3.4 实验设计和程序

同样采用单因素两水平组内设计, 自变量为符合空间形象性词对的语义反义程度, 分语义相反、语义无关两个水平。实验程序与实验1类似, 不同之处在于随机呈现上述5类实验材料, 要求被试判断“词对呈现的空间位置与心中所想是否一致” (即空间形象性判断)。

脑电记录同实验1。

3.5 实验结果分析

3.5.1 行为结果

本实验仅对“是”反应条件进行分析, 即对符合空间形象性呈现的道德词对(包括语义相反、语义无关词对)进行分析(ERP结果分析相同)。

删除错误反应及反应时在 ± 3个标准差以外的极端数据(占总数据的12%), 对符合空间形象性位置呈现的道德语义相反词对和语义无关词对进行配对样本检验, 结果表明, 词对的反义程度对空间形象性的判断影响显著,(26) = −4.06,< 0.001, 95% CI [−131.01, −42.87],= −0.35。语义相反词对的判断速度(555 ± 44 ms)显著快于语义无关词对的判断速度(638 ± 56 ms)。

3.5.2 脑电结果

分别对符合空间形象性呈现的词对所诱发的N200、N400、N700进行2(反义程度) × 7(电极位置)重复测量方差分析。本实验主要关注反义程度的主效应, 以及反义程度和电极位置的交互作用。结果表明, 三个ERP成分上的两因素交互作用均不显著。此外, 在N200成分上, 反义程度的主效应显著：(1, 26) = 5.96,= 0.022, 95% CI [0.10, 1.11], η= 0.19, 语义无关词对所诱发的N200(0.83 ± 0.36 μV)显著大于语义相反词对(1.44 ± 0.34 μV); 在N700成分上, 反义程度的主效应显著：(1, 26) = 11.53,= 0.002, 95% CI [0.42, 1.71], η= 0.31, 语义无关词对所诱发的N700 (0.06 ± 0.44 μV)显著大于语义相反词对(1.13 ± 0.41 μV)。

实验2中三个ERP成分的方差分析结果和脑电图见表2和图3。

3.6 讨论

实验2要求被试判断词对呈现的空间位置是否与心中所想相一致, 对于没有实物参考的道德概念, 被试需要借助道德垂直空间隐喻, 想象概念所映射的空间位置。而实验结果表明这一过程受到了词对语义关系的影响。首先脑电结果表明, 语义无关道德词对比语义相反词对在进行空间形象性判断时诱发了更大的N200和N700, 表明这种语言符号的影响主要反映在早期的冲突识别以及晚期的空间想象阶段。比起语义相反词对来, 语义无关词对在语义层面上可看作一种非对立的语义关系, 语义的非对立与空间呈现位置的对立形成了一种不匹配状态, 从而产生了冲突效应并诱发更大的N200。进一步说, 非对立的语义关系阻碍了被试利用隐喻的映射作用, 限制了对词对的空间想象, 所以诱发了更大的N700。而语义的非对立所造成的空间想象的障碍进一步导致被试对语义无关词对空间形象性判断的困难, 使判断的反应时显著慢于语义相反词对。

表2 与空间形象性相一致的位置条件下词对所诱发的三个ERP成分的方差分析

图3 符合空间形象性呈现条件下, 语义相反、语义无关词对所诱发的ERPs。时间窗为：红色区域N200, 蓝色区域N400, 绿色区域N700。

简言之, 道德概念的空间形象性加工会受到概念间语义关系的影响, 说明语言因素在道德概念的加工过程中同样会发挥作用, 只不过其影响时程和机制与具身因素(实验1)有所不同。

4 综合讨论

本研究通过语义判断和空间形象性判断任务考察了具身因素和语言因素在道德词对加工过程中所发挥的作用。研究结果发现词对空间位置影响了词对的语义关系判断, 诱发了N400效应(实验1), 而词对的语义关系也影响了词对空间位置的判断, 诱发了N200和N700效应(实验2)。下面对这些研究结果进行详细讨论。

4.1 抽象道德概念的空间形象性效应

空间形象性效应的探讨开始于具体概念, 以往的研究发现当加工诸如“天花板−地板”的词对时, 人们会自动地联想到这些具体概念所指代的实物, 继而通过知觉模拟激活与实物相关的感知运动信息, 使词对的加工表现出空间形象性效应。根据这一观点, 伴随概念的加工所激活的感知运动经验(特别是空间方位经验)是空间形象性产生的必要条件, 而具体概念更容易通过与实物的联系, 从生活经验中获得丰富的多模态信息, 因此其表现出的空间形象性效应尤为突出。本研究发现, 抽象概念的加工过程同样能够表现出空间形象性效应。实验1采用了与具体概念空间形象性研究相似的任务, 结果发现当被试加工诸如“廉洁−贪污”一类的道德词对时, 词对呈现的空间位置同样影响了词对的语义判断。虽然抽象概念缺乏清晰的知觉参照物, 与感知运动经验也更为分离(Borghi et al., 2017), 但抽象概念的加工过程仍会涉及空间方位等多模态信息的参与。伴随抽象道德词对的加工, 在道德垂直空间隐喻的作用下, 这些词对所隐含的空间维度属性相应地被激活。当词对的空间位置与这些由隐喻映射而来的属性相冲突时,便构成一种类似语义违背的现象, 阻碍了被试对词对语义关系的深入分析, 从而诱发了更大的N400, 也影响了判断的反应时。因此, 虽然抽象道德概念无法像具体概念那样激活直接的空间形象, 但借助隐喻的映射, 其仍然能够进行空间知觉模拟, 表现出空间形象性效应。

4.2 语言因素和具身因素的共存与交互

空间形象性效应最初被看作是概念加工过程中具身因素作用的产物, 而随后有研究认为, 人们的语言是在知觉经验的作用下逐渐形成的, 语言的规则必然能够反映出知觉的特性, 因此空间形象性效应完全可以通过语言因素(例如“词序频率”)独立进行解释。究竟概念的加工仅是一种语言符号的操作过程还是亦包含有形象的具身知觉特征？两种因素在概念空间形象性的形成过程中究竟起到什么作用？虽然不同的研究有不同的解释, 但必须承认的是, 割裂地看待具身因素和语言因素都不足以全面的解释概念的加工过程。越来越多的实证研究表明概念的加工过程不仅涉及概念所包含的语义信息, 也涉及概念所隐含的时间、空间等多模态信息(宋宜琪, 张积家, 2014; 汪新筱, 江珊, 张积家, 2018)。因此更为综合的观点越来越受到认同, 例如概念双加工理论和语言与情景模拟理论。这些理论均认为, 概念加工涉及语言与身体经验, 前者可以实现对概念的迅速加工, 但加工深度较浅, 当概念加工任务较为复杂时, 后者便会参与其中, 以便实现对概念的相对深刻完整的理解(Malhi & Buchanan, 2018)。此外, 针对空间形象性研究而提出的符号共存假设亦对概念加工中的两种符号因素进行了解释, 认为具身符号和语言符号在概念加工过程中共同存在, 只不过二者的效应大小取决于正在执行的认知任务：当任务关注概念的具身特性时(如空间形象性判断)则强调具身因素的作用; 当任务关注概念的语言特性时(如语义相关性判断)则强调语言符号的作用。而本研究进一步发现, 两种符号的作用发挥与否, 并非以实验任务为转移。虽然不同的概念加工任务主要指向其中一类符号因素, 但另一类符号因素也会对当前加工任务产生影响。语义关系判断任务(实验1)关注词对的反义关系, 此时语言信息为主要的加工对象, 但具身信息通过空间隐喻的映射也被激活, 并参与进了加工过程。空间形象性判断任务(实验2)关注词对空间位置的合理性, 此时具身信息成为了主要加工对象, 但词对的反义关系对该任务也产生了影响, 说明语言因素在对词对的知觉模拟中亦发挥了重要的作用。相反的语义关系更易使词对形成对立的空间形象, 而非反义的语义关系则阻碍了空间对立感的形成。我们的两个实验结果进一步丰富了符号共存假设, 说明概念的理解与表征依赖于具身因素和语言因素的共同作用, 无论进行哪种概念加工任务, 两种因素共同塑造了概念的空间形象性效应。

4.3 抽象概念加工中语言因素和具身因素作用的时间进程

实验1发现道德概念的加工过程激活了概念的空间信息(具身因素), 使其表现出空间形象性效应, 实验2则发现空间形象性的形成会涉及概念间语义关系(语言因素)的激活。虽然具身因素和语言因素均在道德概念加工过程中发挥了作用, 但两因素发挥作用的时间进程有所不同。实验1发现, 不符合空间形象性呈现的道德词对诱发了更大的N400成分。这一结果提示具身因素对空间形象的作用大概发生在词汇加工的中期, 约400 ms左右, 这与Hubbard等人(2014)的研究相一致。实验2发现, 词对的语义反义程度首先调节了词对所诱发的N200成分, 对比实验1中词对空间位置所诱发的N400效应, 这一结果提示在空间形象性的形成过程中, 语言因素比具身因素优先得到了加工, 这与Louwerse和Hutchinson (2012)的研究相一致。此外, 语义反义程度还调节了N700成分。这一成分的出现提示, 语言因素的影响一直持续到空间形象加工的晚期阶段, 比具身因素的影响更为持久。据此可以认为, 抽象概念的加工首先涉及对概念的语义及概念间语义关系的理解, 在对概念的语言因素进行一定程度的加工之后, 抽象概念的知觉特性(具身因素)才会借助隐喻而被激活, 进而对概念表征产生影响, 而概念的语言因素则持续对概念加工发挥着作用。符号共存观点认为, 与具身过程相比, 语言过程提供了较浅的表征, 因而语言符号的激活先于具身因素。而本研究结果发现, 除激活时间不同外, 语言和具身因素对抽象概念表征的影响在时间进程上也有区别, 即人们需要持续利用概念的语言符号信息对概念进行加工, 而概念的具身信息可能主要在理解加工的中期发挥辅助性的作用, 其作用并不占主导地位, 因此不应将其夸大。

实验2的结果还提示一个有趣的现象, 即抽象概念的垂直空间隐喻并非一种笼统的效价极性与空间信息的联结(如正极−上, 负极−下), 隐喻效应出现与否取决于概念间的语义是否对立。Lakens (2012)用始源域和目标域概念的极性及其重叠来解释隐喻一致效应。按照此观点, 对隐喻的加工应完全以概念间的极性关系为线索, 而本研究结果显示, 概念间极性的对立并不足以驱动隐喻发挥作用。在借助隐喻进行概念加工的过程中, 概念间语义的对立关系才是隐喻效应出现与否的关键。由于实验2的判断任务为只要满足“道德概念在上和不道德概念在下”就做“是”反应。被试可以仅对词对做道德/不道德的划分, 或做更为笼统的正/负极性划分即可进行判断。然而实验结果表明语义无关词对并没有用到这一“捷径”, 即便词对的极性是对立的, 但语义的非对立关系仍然影响了空间形象性辨别。原因可能在于, 对于语义无关词对, 被试无法利用某一双极隐喻(如“道德−上和不道德−下”)对其进行整体的知觉模拟, 而是需要分别对其中的每个词进行单极的映射(如“道德−上”), 进而确定其空间位置的合理性。反之, 语义相反道德词对则可直接借助双极隐喻进行空间映射。因此语义无关词对较之语义相反词对的空间想象难度更大。这一结果也为隐喻的特性提供了启示, 诸如情绪、权力等抽象概念的垂直空间隐喻也许都有其精确的语义含义, 甚至同一范畴内(如情绪)的不同子概念也有各自对应的空间隐喻, 隐喻的运用需要基于概念的语义信息, 而并非笼统的以极性或效价为标准。

5 结论

(1) 抽象道德概念通过隐喻映射同样可以表现出和具体概念类似的空间形象性效应。

(2) 道德词对的空间位置能够影响词对语义关系的判断; 同样地, 词对的语义关系也会对词对空间位置的加工造成影响。具身因素和语言因素共同塑造了道德概念的空间形象性。

(3) 在道德概念的加工过程中, 语言符号首先得到激活, 并发挥了持久的作用; 而具身因素仅在加工过程的中期发挥了作用。

Barsalou, L. W., Santos, A., Simmons, W. K., & Wilson, C. D. (2008). Language and simulation in conceptualprocessing. In M. de Vega, A. M. Glenberg, & A. C. Graesser (Eds.),(pp. 245−283). Oxford, England: Oxford University Press.

Binder, J. R., Westbury, C. F., Mckiernan, K. A., Possing, E. T., & Medler, D. A. (2005). Distinct brain systems for processing concrete and abstract concepts.(6), 905−917.

Borghi, A. M., Binkofski, F., Castelfranchi, C., Cimatti, F., Scorolli, C., & Tummolini, L. (2017). The challenge of abstract concepts.(3), 263−292.

Cohen, J. (2013).Routledge.

Dove, G. (2009). Beyond perceptual symbols: A call for representational pluralism.(3), 412−431.

Dove, G. (2010). On the need for embodied and dis-embodied cognition.(6), 242.

Estes, Z., Verges, M., & Barsalou, L. W. (2008). Head up, foot down: Object words orient attention to the objects' typical location.(2), 93−97.

Folstein, J. R., & van Petten, C. (2008). Influence of cognitive control and mismatch on the N2 component of the ERP: A review.(1), 152−170.

Gullick, M. M., Mitra, P., & Coch, D. (2013). Imagining the truth and the moon: An electrophysiological study of abstract and concrete word processing.(5), 431−440.

Hirschfeld, G., Zwitserlood, P., & Dobel, C. (2011). Effects of language comprehension on visual processing – MEG dissociates early perceptual and late N400 effects.(2), 91−96.

Holcomb, P. J., Kounios, J., Anderson, J. E., & West, W. C. (1999). Dual-coding, context-availability, and concreteness effects in sentence comprehension: An electrophysiological investigation.(3), 721−742.

Hubbard, T. M., Magne, C., & Langston, W. (2014). Spatial configuration of vertically related word pairs modulates the N400 component.(18), 1424−1428.

Kutas, M., & Federmeier, K. D. (2011). Thirty years and counting: Finding meaning in the N400 component of the event-related brain potential (ERP)., 621−647.

Lakens, D. (2012). Polarity correspondence in metaphor congruency effects: Structural overlap predicts categorization times for bipolar concepts presented in vertical space.(3), 726−736.

Lakoff, G., & Johnson, M. (1980).Chicago: University of Chicago Press.

Lakoff, G., & Johnson, M. (1999).New York: Basic Books.

Laszlo, S., & Federmeier, K. D. (2011). The N400 as a snapshot of interactive processing: Evidence from regression analyses of orthographic neighbor and lexical associate effects.(2), 176−186.

Louwerse, M. M. (2008). Embodied relations are encoded in language.(4), 838−844.

Louwerse, M. M., & Connell, L. (2011). A taste of words: Linguistic context and perceptual simulation predict the modality of words.(2), 381−398.

Louwerse, M. M., & Hutchinson, S. (2012). Neurological evidence linguistic processes precede perceptual simulation in conceptual processing., 385.

Louwerse, M. M., & Jeuniaux, P. (2010). The linguistic and embodied nature of conceptual processing.(1), 96−104.

Louwerse, M. M., He, X. Y., Deng, Y. M., Zhao, X. R., & Xue, Y. (2017). Symbol interdependency in language processing: Interactions between language statistics and perceptual simulation., (2), 51−60.

[Louwerse, M. M., 何先友, 邓玉梅, 赵雪汝, 薛颖. (2017). 语言加工中的符号相互依存: 语言统计和知觉模拟的交互作用.(2), 51−60.]

Lund, K., & Burgess, C. (1996). Producing high-dimensional semantic spaces from lexical co-occurrence.(2), 203−208.

Malhi, S. K., & Buchanan, L. (2018). A test of the symbol interdependency hypothesis with both concrete and abstract stimuli.(3), e0192719.

Markman, A. B., & Dietrich, E. (2000). Extending the classical view of representation.(12), 470−475.

Meier, B. P., Hauser, D. J., Robinson, M. D., Friesen, C. K., & Schjeldahl, K. (2007). What's "up" with God? Vertical space as a representation of the divine.(5), 699−710.

Patel, S. H., & Azzam, P. N. (2005). Characterization of N200 and P300: Selected studies of the event-related potential.(4), 147−154.

Schubert, T. W. (2005). Your highness: Vertical positions as perceptual symbols of power.(1), 1−21.

Song, Y. Q, & Zhang, J. J. (2014). Temporal-spatial metaphor in conceptual representation: Can spatial information be activated when processing the temporal reference which implied in the changing shape of objects?(2), 216−226.

[宋宜琪, 张积家. (2014). 空间隐喻和形状变化对物体内隐时间概念加工的影响.(2), 216−226.]

Stefanucci, J. K., & Storbeck, J. (2009). Don't look down: Emotional arousal elevates height perception.(1), 131−145.

Tse, C. S., Kurby, C. A. & Du, F. (2010). Perceptual simulations and linguistic representations have differential effects on speeded relatedness judgements and recognition memory.(5), 928−941.

Wang, J., Conder, J. A., Blitzer, D. N., & Shinkareva, S. V. (2010). Neural representation of abstract and concrete concepts: A meta-analysis of neuroimaging studies.(10), 1459−1468.

Wang, R. M, Mo, L., Li, L., Wang, S. P., & Wu, J. (2005). Perceptual symbol representation and propositional symbol representation in language comprehension.(2), 143–150.

[王瑞明, 莫雷, 李利, 王穗苹, 吴俊. (2005). 言语理解中的知觉符号表征与命题符号表征.(2), 143−150.]

Wang, X. X., Jiang, S., & Zhang, J. J. (2018). Effect of the spatial linguistic symbol on the container metaphor of seniority rules.(09), 953−964.

[汪新筱, 江珊, 张积家. (2018). 空间语言标记影响亲属关系的容器隐喻.(09), 953−964.]

West, W. C., & Holcomb, P. J. (2000). Imaginal, semantic, and surface-level processing of concrete and abstract words: An electrophysiological investigation.(6), 1024−1037.

Zwaan, R. A., & Yaxley, R. H. (2003). Spatial iconicity affects semantic relatedness judgments.(4), 954−958.

Spatial iconicity of moral concepts: Co-dependence of linguistic and embodied symbols

WANG Hanlin; JIANG Zeliang; FENG Xiaohui; LU Zhongyi

(College of Education, Hebei Normal University, Shijiazhuang 050024, China)

Spatial iconicityis described as the perceptual characteristic of a concrete concept. This idea demonstrates that word pairs are processed faster when their positions match certain references in the physical world (e.g. ‘heaven’ is presented above ‘ground’). Embodied cognition theory explains that spatial iconicity involves processing concrete words to activate their embodied symbols automatically (e.g. spatial and colour symbols). This process then simulates the perceptual characteristics of the words’ physical reference. Symbolic theory proposes that spatial iconicity can also be interpreted by linguistic factors (e.g. word order frequency). Word order frequency is higher in the iconic order than in the reverse-iconic order, which facilitates the processing of word pairs. Symbol interdependency hypothesis integrates the two explanations above, claiming that the embodied and linguistic symbols are involved in shaping spatial iconicity. Furthermore, the respective contributions of these symbols depend on the type of stimuli or task. Despite these claims, the mechanism of spatial iconicity remains controversial. Moreover, whether abstract concepts have a similar spatial iconic effect is still unknown.

In Experiment 1, a semantic relationship judgment task was conducted to investigate the effect of embodied symbols on the processing of moral word pairs. Twenty-six participants were chosen randomly to discriminate the antonymous relationship of the moral word pairs in an iconic (e.g. moral-up & immoral-down) or reverse-iconic (e.g. moral-down & immoral-up) arrangement. In Experiment 2, a spatial iconicity judgment task was conducted to investigate the effect of linguistic symbols on the processing of moral word pairs. Twenty-seven participants were chosen to distinguish the iconicity of the moral word pairs, which may belong to an antonym or not. The EEG signals and the reaction times during both experiments were recorded.

The results showed that when Chinese moral antonyms were arranged against their spatial iconicity (e.g. moral-down & immoral-up), the processing of the antonymous relationship induced a larger N400 than the arrangement that was coherent with the spatial iconicity (e.g. moral-up & immoral-down). Furthermore, the judgment of the antonymous relationship was slower for the antonym pairs in a reverse-iconic arrangement than in an iconic arrangement. The results also showed that the Chinese word pairs, which did not have antonyms (e.g. trust - evil), induced a larger N200 and N700 than the antonym pairs (e.g. incorrupt - corrupt) did. Moreover, the reaction time of the iconicity judgment to the word pairs that did not belong to antonyms was slower than that of the antonym pairs. The results of the two experiments revealed that regardless of the task, the embodied and linguistic symbols contributed to spatial iconicity. Nevertheless, the mechanisms of the two symbols were different.

This study explored the spatial iconicity of abstract moral concepts, the roles of the embodied symbols and the linguistic symbols in shaping spatial iconicity. The results showed that (1) abstract moral concepts had a similar spatial iconicity to concrete concepts, which could be achieved by mapping the metaphors. (2) Furthermore, embodied and linguistic symbols were involved in shaping spatial iconicity regardless of the task. (3) When processing moral words, the linguistic symbols were activated to influence the process. The embodied symbols would only be activated and take effect in the middle of the process.

morality; spatial iconicity; embodied cognition; linguistic symbol; vertical metaphor

2019-04-02

* 河北省社会科学基金项目(HB18JY042)。

鲁忠义, E-mail: zhongyilu@126.com

B842

10.3724/SP.J.1041.2020.00128