不同任务下声调和韵母在诗句中的加工过程——来自ERP 的证据*

张政华 张 航 王 兵 郑子龙 赵黎明 李卫君

(1 辽宁师范大 学脑与认知神经科 学研究中心，大连 116029) (2 辽宁省脑与认知 神经科学重点实验 室，大连 116029) (3 中国人民大 学心理学系，北京 110872) (4 辽宁 师范大学音乐学院，大连 116029) (5 苏州大学 外国语学院，苏 州 215006) (6 教育部人文社会科学重点研究基地天津师范大学心理与行为研究院，天津 300387)

1 引言

音段信息（如韵母）和超音段信息（如声调）是言语信号的基本组成部分。在日常的口语交流中，人们需要从连续复杂的语流中快速提取这两类信息，以便及时和准确地理解说话内容。基于非声调语言（如英语）的研究发现，相比于超音段信息，音段信息更容易捕获注意资源，对词汇和语义限制功能更强（Friedrich,Kotz,Friederici,& Alter,2004）。但不同于非声调语言，声调语言（如汉语）的超音段信息在辨别词汇、区分语义方面的功能更强（Švarný,1972）。所以，不同语言的音段和超音段信息可能存在知觉差异。汉语是典型的声调语言，每个音节（汉字）都由声母、韵母和声调三部分构成，属于超音段信息的声调和属于音段信息的声母和韵母在理解口语内容方面都具有重要作用。本研究将从汉语诗句入手，考察声调和韵母的知觉过程。

目前，行为学研究主要采用音韵检测、异同区分以及词汇决策等任务考察被试对音韵信息的加工。结果发现，声调和韵母信息在识别速度和辨别度上均存在明显差异，判断错误韵母比判断错误声调更快、更准确，也不易受干扰（Cutler & Chen,1997;Ye & Connine,1999）。但使用成语（具有高限制背景）作为材料的研究却发现了相反的效应（Liu & Samuel,2007）：相比于韵母信息，被试对声调的反应更快。更复杂的是，眼动研究发现声调和韵母信息几乎是被同时加工的，且在限制词汇激活方面发挥着同等作用（Malins & Joanisse,2010）。所以，有关声调和韵母加工优势的研究结果仍然存在争议。

研究者利用高时间分辨率的ERP 技术考察声调和韵母加工的认知时间进程。Schirmer，Tang，Penney，Gunter 和Chen（2005）使用高完型概率的粤语句子分析了最后一个字的声调或韵母违反下（如“母鸡今天生病了，所以没有下蛋/单/洞”）的脑电反应，结果发现两类违反均诱发了潜伏期和波幅相似的N400 和LPC 成分，表明声调和韵母是同时加工的，对词汇语义整合的影响相当，且在晚期的语义再分析和修复阶段投入同等认知资源（Schirmer et al.,2005）。但后续采用高限制性成语作为材料的研究却得出了不同的结果：仅韵母违反诱发了早期N1，且韵母违反比声调违反诱发了波幅更大的N400，声调违反则比韵母违反诱发了波幅更大的LPC，表明个体对韵母信息的加工更快速，消耗的认知资源更少，表现出韵母加工优势（Hu,Gao,Ma,& Yao,2012）。Huang，Liu，Yang，Zhao 和Zhou（2018）同样以成语为材料，仅发现韵母违反的N400 效应早于声调，且声调违反效应先消失（Huang et al.,2018）。两个研究最大的区别在于前者采用了正误判断任务，而后者采用的是再认任务。由此看来，实验任务的目的性和指向性可能会影响被试的心理加工过程，在不同任务的指引下，加工相似的内容也可能表现出不同的反应模式。

采用高语义限制背景的材料受语义预期的影响较大（Huang et al.,2018）。为了降低语义限制，Li，Wang 和Yang（2014）采用可理解程度低的七言绝句为材料，探究声调和韵母加工的时间进程，结果发现，韵母违反比声调违反诱发的效应更早（N450），并且韵母和声调在晚期发生交互作用，表现为仅声调合适时韵母违反诱发了更大波幅的LPC，表明在低语义限制语境下，韵母的加工更加快速，声调信息在晚期影响韵母的再分析过程。

综上，以往考察声调和韵母加工的研究大多选用高语义限制语境，可能会混淆语义预期效应，而采用熟悉度和可理解程度低的七言绝句为材料，利用其固有的声韵规则，能在语义限制较低的情境下探究声调、韵母的加工过程。而且，语义、句法和韵律的加工过程一般会受实验任务的影响（Li,Zhang,Zheng,& Li,2019）。研究者一般采用被动任务，如仅要求被试认真听材料而不做额外的判断来避免任务指向对所要探究变量的干扰（Osterhout & Mobley,1995;Perrin & García-Larrea,2003）。此外，在心理语言学研究中，将仅是听或读的条件下与要求被试注意刺激的某方面信息（如节奏）条件下获得的ERP 效应相比较，可以表明刺激的哪些加工过程是自动的，哪些过程是强制的（Perrin & García-Larrea,2003）。例如，研究发现，视觉呈现词对的押韵（rhyming）效应只在指定的任务要求其做押韵判断时才会出现（Rugg & Barrett,1987）。因此，本研究将同时使用声韵判断和无任务聆听两种任务，直接比较加工音段（韵母）和超音段（声调）信息时哪些过程是自动的，哪些过程是强制的，从而较全面地研究音段和超音段信息的加工特性及在口语感知中所起的作用。

本研究预期两种任务下声调/韵母违反可能会诱发早期效应。因为以往研究发现音韵信息的加工十分迅速，出现了早期N1（Hu et al.,2012）和P2（Chen et al.,2016;Huang,Yang,Zhang,& Guo,2014）。此外，参考以往研究结果，本研究预期声韵判断任务中，声调和韵母违反都会诱发N400 和LPC 效应（Li et al.,2014）。本研究假设，在无任务聆听中，如果出现声韵违反效应，则表明听者对声韵信息敏感，并依据长期内化的声韵规则对违反信息进行自动加工；反之，如果声韵违反未诱发显著的脑电效应，则表明听者后天习得的韵律规则对诗句加工的影响受到任务调节，对声韵信息的加工是一种策略性的反应。

2 研究方法

2.1 被试

从辽宁师范大学招募50 名普通话母语者。通过口头询问被试对诗句韵律规则是否了解、了解程度如何，以及是否上过相关课程，确认所有被试均对平仄和押韵的知识有一定了解，但未受过系统的声韵规则学习。其中25 名被试（9 男，平均年龄为20.84±1.85 岁）完成诗句声韵判断任务，另外25 名被试完成无任务聆听（9 男，平均年龄为20.64±1.98 岁）。研究得到辽宁师范大学伦理委员会批准。被试在实验前签署了知情同意书，实验后获得现金报酬。

2.2 实验材料

采用七言绝句古诗为材料（Li et al.,2014）。中国古诗讲究韵律美，七言绝句作为韵律较为严格的近体诗，其韵律规则主要体现在押韵和平仄两方面。在押韵方面，大部分为首句入韵，第二句和第四句的末字押韵（韵母为同一韵辙，如uang，iang，ang）。在平仄方面，要求押韵字押平声韵。现代汉语的三、四声为仄声，一、二声为平声（尽管有少数古汉语的入声为仄声，但本研究选取的诗句不含入声字）。首先，另外招募16 名被试评定每首绝句的熟悉度（是否熟悉）和含义上的可理解程度（7 点量表，分数越高表示含义越清楚）。最终选择不熟悉且含义较模糊（5 分及以下）的240 首诗，以平衡最小语义限制，其中160 首为正式材料，80 首为填充材料。填充材料用来降低位置预期对被试反应偏好的影响。实验材料均为首句入韵，且押平声韵。据此，变化第一联联末字的声调（tone,T）或韵母（vowel,V）可生成4 种实验条件：声调、韵母均合适（V+T+）；声调合适但韵母违反（V-T+）；声调违反但韵母合适（V+T-）；声调和韵母均违反（V-T-）。见图1。最终形成640 首诗。

图1 实验材料各条件举例

参照以往研究的分析方法（Magne et al.,2007;Marie,Magne,& Besson,2011），将4 种条件（V+T+、V+T-、V-T+、V-T-）两两组合，形成韵母合适（“V+T+”+“V+T-”）、韵母违反（“V-T+”+“V-T-”）、声调合适（“V+T+”+“V-T+”）和声调违反（“V+T-”+“V-T-”）4 种情况。各情况的关键声学参数见表1。80 首填充材料中，40 首的声调和韵母均合适，另外40 首通过变化第四句最后一个字的声韵信息生成13 首声调合适但韵母违反、13 首韵母合适但声调违反、14 首声调和韵母均违反的材料。

表1 韵母合适/违反、声调合适/违反四个条件的关键声学参数以及t 检验结果

七言绝句由一名播音专业的男性发音人录制。使用Praat 软件，将声韵合适诗句中的关键字（第一联末字）剪切出来，再把声韵违反的关键字剪出后，拼接在对应位置上，形成三类违反条件（V+T-、V-T+、V-T-）的完整诗句。这种拼接方法能保证每首绝句的4 个条件仅在关键字处存在条件间差异。每种任务下，640 首绝句均通过拉丁方形成4 个系列，每个系列的160 首绝句只包含一种版本。每名被试只听一个系列和80 首填充材料。同一条件的实验材料连续呈现不超过三次。所有实验刺激通过伪随机方式呈现给被试。

2.3 实验程序

正式实验在光线柔和、安静舒适的房间内进行。实验材料通过Panasonic RP-HS47 挂耳式耳机双耳呈现。在声韵判断任务中，被试需要提前了解七言绝句的声韵规则（即需要判断声调和韵母两个维度的信息）。然后根据所听到的诗句声韵是否合适进行按键反应。在无任务聆听的任务中，仅要求被试认真听绝句，但会提前告知被试在实验结束后需要回忆诗句的信息，以保证被试在实验过程中注意力集中。此外，为了了解两组被试对实验材料的熟悉度和含义的获取程度，实验后会询问被试是否听到了自己熟悉的或可以明确理解含义的诗句。

具体流程是，首先屏幕中央呈现300 ms 的注视点“＋”，同时播放提示音，随后播放诗句材料（1500 ms），注视点“＋”不消失直至诗句材料播放结束，以减少被试眼动。其中，声韵判断任务要求被试准确且快速地判断诗句声韵是否合适，并在探测界面出现时进行按键反应，声韵合适按“F”，不合适按“J”，或反之，按键在被试间进行平衡。探测界面占所有试次的1/3，剩下的试次不需要进行按键反应，诗句呈现完后会直接进入1000～1200 ms 的随机间隔，之后进入下一个试次。无任务聆听条件下会在绝句播放完毕后，出现“继续”二字，被试按任意键后进入下一个试次。反应时间均限制在8000 ms 以内。每个实验任务包含6 个组块，每个组块包含40 个试次。正式实验开始前设置练习试次，熟练掌握的被试方能进行正式实验。

2.4 数据采集和分析

采用ANT 设备（ANT Neuro），国际10-20 系统扩展的64 导电极帽记录EEG 信号。采样率为500 Hz，CPz 作为在线参考。电极M1 和M2 分别置于左侧和右侧乳突。电极与头皮之间的阻抗小于5 kΩ，在线记录的滤波带通为0.01～100 Hz。离线再参考为双侧乳突参考。采用Brain Vision Analyzer 2.0 软件进行数据处理，对数据进行高通为0.01 Hz 和低通为30 Hz 的带通滤波。脑电分析锁定的起始点为每首诗中第一联最后一个字（即第二句最后一个字）的开始位置，截取此关键位置之前200 ms 和之后1500 ms 的数据存为EEG 数据，并以关键字开始前的200 ms 时间段为基线进行基线矫正。排除眼动伪迹及电位超过±80 μV 等伪迹后，以实验任务和条件为自变量进行方差分析，并未发现各条件保留试次在任务内部或任务间存在显著差异（ps＞0.05）。

基于对当前诱发脑电波形的观察及以往相关研究（Li et al.,2014;Marie et al.,2011），分别对每种任务下韵母和声调加工诱发的脑电效应进行50ms 步长分析，确定分析的时间窗口。声韵判断任务下确定的分析时间窗为1 5 0～2 5 0 m s、300～500 ms 和600～1200 ms；无任务聆听为150～250 ms 和950～1200 ms。在中线和左右两半球，以任务类型（声韵判断、无任务聆听）为组间变量，韵母（合适、违反）、声调（合适、违反）为组内变量，以不同任务下各时间窗口诱发脑电效应的平均波幅为因变量进行重复测量方差分析。中线以及两半球兴趣区的选择见图2。采用Greenhouse-Geisser 方法对不符合球形检验的p值进行校正，多重比较矫正使用Bonferroni 方法。

图2 脑电数据分析时的兴趣区

3 结果

3.1 行为结果

结果发现，被试完成声韵合适性判断任务准确率较高（M=82.64%,SE=9.15%），说明被试认真完成实验任务。反应时和正确率不作进一步分析和讨论。在无任务聆听任务中，大部分被试（98%）未发现绝句有明显的声韵错误，并且回忆了诗句的朗读节奏、情感和语义等方面的信息。此外，口头采访结果发现，被试都表示不曾听过材料中的诗句，并且较难理解诗句表达的含义。

3.2 ERP 结果

3.2.1 声韵判断

（1）150～250 ms（P2）

在该时间窗进行统计分析发现，中线上，韵母违反（M=-1.1 4,SE=0.21）相比韵母合适（M=-1.59,SE=0.22）诱发了波幅更大的正成分，F(1,24)=8.42，p=0.008，=0.26。韵母和脑区的交互作用显著，F(2,48)=6.75，p=0.009，=0.22。简单效应分析表明，韵母违反相比韵母合适在前部[F(1,24)=16.86,p＜0.001,=0.41] 和中部[F(1,24)=6.10,p=0.021,=0.20]诱发了波幅更大的正成分。在两侧，韵母违反（M=-1.05,SE=0.19）相比韵母合适（M=-1.51,SE=0.20）也诱发了波幅更大的正成分，F(1,24)=13.03，p=0.001，=0.35。韵母和半球交互作用显著，F(1,24)=5.68，p=0.025，=0.19。简单效应分析表明，韵母违反相比韵母合适在右半球诱发了波幅更大的正成分，F(1,24)=31.81，p＜0.001，=0.57。见图3、图4。

图3 声韵判断和无任务聆听中听者加工诗句韵母信息的总平均波形和地形图

图4 声韵判断和无任务聆听中听者加工诗句声调信息的总平均波形和地形图

（2）300～500 ms（N400）

中线上，韵母和脑区交互作用显著，F(2,48)=4.09，p=0.038，=0.15。简单效应分析表明，韵母违反相比韵母合适在中部[F(1,24)=6.36,p=0.019,=0.21]和后部[F(1,24)=6.42,p=0.018,=0.21]诱发了波幅更大的负成分。在两侧，声调和脑区交互作用显著，F(2,48)=5.95，p=0.018，=0.20。简单效应分析表明，声调违反相比声调合适在后部诱发了波幅更大的负成分，F(1,24)=18.83，p＜0.001，=0.44。

（3）600～1200 ms（LPC）

中线上，统计分析发现韵母和脑区交互作用显著，F(2,48)=8.67，p=0.001，=0.27。简单效应分析表明，韵母违反相比韵母合适在后部诱发了波幅更大的正成分，F(1,24)=7.50，p=0.011，=0.24。此外，声调违反（M=1.91,SE=0.41）相比声调合适（M=1.32,SE=0.39）诱发了波幅更大的正成分，F(1,24)=9.92，p=0.004，=0.29。在两侧，韵母和脑区交互作用显著，F(2,48)=8.75，p=0.002，=0.27。简单效应分析发现，韵母违反相比韵母合适在后部诱发了波幅更大的正成分，F(1,24)=7.28，p=0.013，=0.23。声调违反（M=1.27,SE=0.31）相比声调合适（M=0.85,SE=0.31）诱发了波幅更大的正成分，F(1,24)=8.87，p=0.007，=0.27。

3.2.2 无任务聆听

（1）150～250 ms（P2）

对该时间窗统计分析发现，中线上，韵母违反（M=-0.38,SE=0.18）相比韵母合适（M=-0.82,SE=0.16）诱发了波幅更大的正成分，F(1,24)=8.81，p=0.007，=0.27。韵母和脑区交互作用显著，F(2,48)=4.78，p=0.019，=0.17。简单效应分析表明，韵母违反相比韵母合适在前部[F(1,24)=14.44,p=0.001,=0.38]和中部[F(1,24)=7.62,p=0.011,=0.24]诱发了更大的正成分。在两侧，韵母违反（M=0.29,SE=0.14）相比韵母合适（M=-0.29,SE=0.14）诱发了波幅更大的正成分，F(1,24)=4.53，p=0.044，=0.16。韵母和脑区交互作用显著，F(2,48)=4.18，p=0.043，=0.15。简单效应分析表明，韵母违反相比韵母合适在前部诱发了波幅更大的正成分，F(1,24)=11.11，p=0.003，=0.32。

（2）950～1200 ms（LPC）

中线上，韵母主效应以及韵母与脑区的交互作用均不显著（ps＞0.05）。在两侧，韵母违反（M=1.68,SE=0.36）相比韵母合适（M=1.02,SE=0.25）诱发了波幅更大的正成分（边缘显著），F(1,24)=3.57，p=0.071，=0.13。韵母和脑区交互作用显著，F(2,48)=7.18，p=0.007，=0.23。简单效应分析表明，韵母违反相比韵母合适在前部诱发了波幅更大的正成分，F(1,24)=7.29，p=0.013，=0.23。

4 讨论

本研究考察了在声韵判断和无任务聆听两种任务下加工中国古诗韵律特征中声调和韵母信息的认知过程。结果发现，韵母的加工早于声调，听者对诗句声韵信息中的韵母信息更加敏感，即使在无任务聆听时，韵母违反对韵律的影响也能被自动觉察，并在晚期进行再分析，但对声调的加工必须依赖有意识的注意。表明在汉语诗歌题材的加工中，韵母具有加工优势（吴洁敏,朱宏达,2001）。

4.1 韵母信息的早期加工

无论在声韵判断还是无任务聆听过程中，韵母违反相较于韵母合适均诱发了波幅更大的P2，而声调违反与合适条件之间无显著差异（见图3、图4）。以往研究认为，P2 可由低级声学参数的差异诱发，如音强（Geisler & Murphy,2000）、音高（Wunderlich & Cone-Wesson,2001）的不同都会影响P2 的波幅。本研究中，尽管声调违反的音高、音强显著高于声调合适，但声调违反却未发现P2 效应。因此，P2 可能不是对低级声学特征感知的反映。P2 也被认为与早期音韵加工负荷有关，更大波幅的P2 反映了输入的刺激与预期的韵母信息不符，从而导致加工难度增加（Huang et al.,2014;Marie et al.,2011）。例如，相比视觉通道，听觉呈现材料可能更直接地激活音韵表征（Gaskell & Marslen-Wilson,2002）。本研究中，新激活的音韵表征可能与存储在工作记忆中的符合声韵规则的信息发生竞争，相互干扰，导致负荷增加，从而在两种任务的韵母违反条件下均诱发了P2。此外，P2 也可能反映了一般的快速注意捕获过程（Fan et al.,2016;Kanske,Plitschka,& Kotz,2011），随着投入注意资源增多而波幅增大（Fan et al.,2016）。在本研究中，韵母违反诱发更大的P2，结果也可能表明韵母违反快速吸引了被试更多的注意。总之，本研究表明听者对违反声韵规则的韵母信息的加工非常敏感且不受实验任务影响。

相反，声调违反在该时间窗没有诱发任何效应，表明声调信息对韵律加工的影响较小，或者其违反不足以引起被试的注意。这可能缘于讲究音韵美的诗句对韵母信息的要求更加普遍和严格（吴洁敏,朱宏达,2001）。

本研究还发现韵母违反在右半球效应更显著，这与以往研究发现的诗句韵母信息右半球加工优势一致（Chen et al.,2016;Li et al.,2014），可能与右侧前额叶对韵律加工有重要意义相关（Magne et al.,2007）。

4.2 音韵信息的主动预期

在声韵判断任务中，韵母和声调违反相较于合适条件均诱发了波幅更大的N400，而在无任务聆听时未诱发任何效应。本研究使用了不熟悉且可理解程度低的七言绝句，这使得听者难以提取完整的语义信息，因此本研究的N400 不大可能反映语义信息的加工，更可能反映了对声韵信息的加工。这一观点与以往研究结果一致。不押韵的单词诱发了后部分布的N400（Coch,Grossi,Skendzel,& Neville,2005）。在语音启动研究中，当目标词与启动词不押韵时，也会诱发N400（Perrin & García-Larrea,2003）。因此，本研究发现的N400 效应可能反映了以下过程：听者在进行声韵判断时，会根据声韵规则预测诗句中第二、四句最后一个字的声韵信息，并生成一系列可能匹配的候选项，更大波幅的N400 可能反映了预期与实际听到的刺激间的音韵失匹配（Chen et al.,2016;Li et al.,2014）。所以，在此过程中，声调和韵母的加工不存在显著差别。

在无任务聆听时，听者并没有产生对声韵信息的主动预期，也不存在将违反的声调和韵母与合适条件进行比较的过程，因此两类信息违反均未诱发显著效应。这说明听者至少在该阶段对声韵信息的加工是以策略化的方式进行的，声韵信息违反仅在有意识的加工中才会被意识到。以往研究发现听者即使在非主动注意的情况下，声调、韵母信息违反仍会诱发N400 效应，这可能与以往研究使用了成语（Huang et al.,2018）或高语义限制性句子（Schirmer et al.,2005）等语义信息丰富且易提取的材料有关。该结果也进一步表明本研究中的N400 可能主要反映了音韵信息加工。

4.3 韵母信息的再分析加工

在声韵判断任务中，韵母和声调违反相较于合适条件均诱发了波幅更大的LPC，与以往研究结果一致（Hu et al.,2012;Li et al.,2014）。LPC 与错误探测（Kolk,Chwilla,van Herten,& Oor,2003）、再分析和再注意过程有关（Zhang,Li,Gold,& Jiang,2010），体现了任务相关的整合过程（Bornkessel & Schlesewsky,2006）。本研究中，更大波幅的LPC 反映了被试会投入更多的注意资源重新审查听到的内容，并试图将声韵违反的目标词整合到语境中去。在无任务聆听时，韵母违反在950～1200 ms 诱发了前部分布的LPC。这表明，即使被试的注意力并未明确指向加工诗句中的声韵信息，听者仍能探测到韵母违反并进行再分析和整合。这一过程的出现晚于有意识注意的声韵判断任务，也证实了实验任务影响LPC 效应的潜伏期（Marie et al.,2011）。此外，在无任务聆听时诱发的LPC 分布在前部，不同于主动的声韵判断任务（LPC 分布在中后部），可能表明两种任务下听者加工韵母信息的潜在认知过程不同。与韵母相比，声调违反仅在完成主动的声韵判断任务时诱发了LPC。进一步表明在听诗句时，听者对韵母比声调信息更敏感，其只在实验任务明确要求时才会花费更多认知资源加工声调信息。

本研究在被试和实验材料方面存在局限。虽然通过口头询问基本确定不同任务的被试对诗歌声韵知识水平相当，但是并没有对其进行标准化测量。此外，在实验材料上，本研究将韵母部分看作一个整体进行违反变化；未来研究可将韵母部分按照更精细的标准划分为介音、主要元音、韵尾来设置韵母违反材料。

5 结论

本研究发现两种任务中的声调和韵母信息加工过程不同，佐证了声调和韵母虽然通常同时呈现，但仍然是两个独立的加工单元。听者在两种任务中均能于早期快速识别诗句中的韵母信息，并在晚期完成再分析和整合，而对声调的语音分析和整合过程必须依赖听者主动分配认知资源。结果表明韵律限制语境（即诗句）会对韵母和声调加工产生影响，相较于声调信息，听者对诗句声韵信息中的韵母信息更加敏感。